KR102434574B1 - 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법 - Google Patents

이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법 Download PDF

Info

Publication number
KR102434574B1
KR102434574B1 KR1020170103028A KR20170103028A KR102434574B1 KR 102434574 B1 KR102434574 B1 KR 102434574B1 KR 1020170103028 A KR1020170103028 A KR 1020170103028A KR 20170103028 A KR20170103028 A KR 20170103028A KR 102434574 B1 KR102434574 B1 KR 102434574B1
Authority
KR
South Korea
Prior art keywords
subject
clusters
feature points
target image
recognizing
Prior art date
Application number
KR1020170103028A
Other languages
English (en)
Other versions
KR20190018274A (ko
Inventor
이희진
안민수
홍성훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170103028A priority Critical patent/KR102434574B1/ko
Priority to US15/886,100 priority patent/US10726309B2/en
Publication of KR20190018274A publication Critical patent/KR20190018274A/ko
Priority to US16/903,702 priority patent/US11423266B2/en
Application granted granted Critical
Publication of KR102434574B1 publication Critical patent/KR102434574B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7625—Hierarchical techniques, i.e. dividing or merging patterns to obtain a tree-like representation; Dendograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

일실시예에 따른 피사체 인식 장치는 타겟 이미지에 존재하는 피사체를, 특징 포인트와 특징 포인트의 시간상의 움직임(또는 공간상의 움직임)에 기초하여 인식할 수 있다. 피사체 인식 장치는 시간 또는 공간에서 유사하게 움직이는 특징 포인트를 그룹핑하여, 특징 포인트의 군집을 생성할 수 있고, 군집에 존재하는 피사체의 종류를 결정할 수 있다. 피사체 인식 장치가 군집에 존재하는 피사체의 종류를 결정함에 있어서, 피사체를 포함하는 다양한 물체들의 소스 이미지들을 클러스터링하여 생성된 이미지 어휘 트리가 활용될 수 있다. 피사체 인식 장치는 단일 피사체에서 생성된 복수의 군집을 고려하여, 타겟 이미지에 존재하는 피사체를 인식할 수 있다.

Description

이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법{METHOD AND APPARATUS FOR RECOGNIZING A SUBJECT EXISTED IN AN IMAGE BASED ON TEMPORAL MOVEMENT OR SPATIAL MOVEMENT OF A FEATURE POINT OF THE IMAGE}
이하의 실시예는 타겟 이미지에 포함된 피사체를 인식하는 장치 및 방법에 관한 것이다.
타겟 이미지에 포함된 피사체가 무엇인지를 인식하기 위하여, 데이터베이스(DataBase)에 미리 등록되어 있는 물체의 키 프레임이 타겟 이미지에 포함되어 있는지를 판단하는 다양한 방법들이 이용될 수 있다.
타겟 이미지에 포함된 피사체가, 피사체들이 서로 중첩(occlusion)되는 것 등의 이유로 인하여 가려지는 경우, 이러한 방법들은 피사체를 잘못 인식할 수 있다. 또한, 이러한 방법들은 타겟 이미지에 포함된 하나의 피사체를 인식하는 것에 비하여, 타겟 이미지에 포함된 복수의 피사체들을 덜 정확하게 인식할 수 있다. 이외에도, 피사체의 정확한 인식을 위해서는 많은 키 프레임들을 필요로 하지만, 키 프레임이 많아짐에 따라 데이터의 크기가 증가하므로, 이러한 방법들을 모바일 어플리케이션(Mobile Application)에 적용하는 것이 용이하지 않을 수 있다.
미국특허출원공개공보 US2014/0254923 (2014. 9. 11. 공개)
일실시예에 따르면, 타겟 이미지에 포함된 특징 포인트들을 추출하는 단계, 상기 특징 포인트들 각각의 시간상의 움직임 또는 공간상의 움직임을 나타내는 움직임 정보를 측정하는 단계, 상기 측정된 움직임 정보에 기초하여, 상기 특징 포인트들의 군집들을 생성하는 단계 및 상기 타겟 이미지에서 상기 군집들 각각에 존재하는 피사체의 적어도 일부분에 기초하여 상기 타겟 이미지에 포함된 상기 피사체를 인식하는 단계를 포함하는 피사체 인식 방법이 제공된다.
일실시예에 따르면, 상기 인식하는 단계는, 상기 군집들 각각을, 상기 피사체를 포함하는 물체들의 소스 이미지들을 분류한 클래스들과 비교하여, 상기 군집들 각각에 존재하는 상기 피사체의 종류를 결정하는 단계 및 상기 움직임 정보에 기초하여, 상기 군집들 중에서 동일한 종류의 피사체가 존재하는 것으로 결정된 군집들을 결합하는 단계를 포함하는 피사체 인식 방법이 제공된다.
일실시예에 따르면, 상기 클래스들은, 상기 타겟 이미지에서 상기 특징 포인트들이 위치하는 픽셀들의 특징을 나타내는 특징 포인트 기술자들의 성분에 따라 결정되는 특징 공간에서 상기 물체들의 소스 이미지들을 계급적으로 분류하여 생성되는 피사체 인식 방법이 제공된다.
일실시예에 따르면, 상기 군집들 중에서 상기 클래스들과 비교하여 상기 피사체의 종류를 결정할 수 없는 군집에 대하여, 상기 피사체가 존재하지 않는 것으로 결정하는 단계를 더 포함하는 피사체 인식 방법이 제공된다.
일실시예에 따르면, 상기 결합하는 단계는, 상기 군집 별로 상기 특징 포인트들의 움직임 정보를 결합하여 상기 군집들 각각의 움직임 정보를 계산하는 단계 및 상기 군집들 중에서 동일한 종류의 피사체가 존재하는 군집들 각각의 움직임 정보를 비교하여, 동일한 종류의 피사체가 존재하는 군집들을 결합할지 여부를 판단하는 단계를 포함하는 피사체 인식 방법이 제공된다.
일실시예에 따르면, 상기 결합하는 단계는, 상기 동일한 종류의 피사체가 존재하는 군집들을 결합하는 경우, 결합된 군집들에 단일 피사체가 존재하는 것으로 결정하는 단계 및 상기 동일한 종류의 피사체가 존재하는 군집들을 결합하지 않는 경우, 상기 동일한 종류의 피사체가 존재하는 군집들에 종류가 동일한 복수의 피사체가 존재하는 것으로 결정하는 단계 중에서 적어도 하나를 더 포함하는 피사체 인식 방법이 제공된다.
일실시예에 따르면, 상기 결정하는 단계는, 상기 타겟 이미지가 촬영된 시간의 이전 또는 이후에 촬영된 참조 이미지에 기초하여 상기 특징 포인트들 각각의 시간상의 움직임을 나타내는 상기 움직임 정보를 결정하는 피사체 인식 방법이 제공된다.
일실시예에 따르면, 상기 결정하는 단계는, 상기 타겟 이미지를 촬영한 카메라 및 상기 피사체간의 거리를 나타내는 깊이 정보 또는 상기 타겟 이미지가 캡쳐된 위치로부터 미리 설정된 거리만큼 이격된 위치에서 상기 피사체를 촬영하여 획득된 시차 이미지(parallax image) 에 기초하여 상기 특징 포인트들 각각의 공간상의 움직임을 나타내는 상기 움직임 정보를 결정하는 피사체 인식 방법이 제공된다.
일실시예에 따르면, 타겟 이미지에 포함된 특징 포인트들을 그룹핑하여, 상기 특징 포인트들의 군집들을 생성하는 단계, 상기 군집들 각각에 포함된 피사체의 종류를 결정하는 단계 및 상기 군집들 중에서 동일한 종류의 피사체가 존재하는 경우, 동일한 종류의 피사체가 존재하는 군집들이 단일 피사체의 일부분을 포함하는지 여부를 판단하는 단계를 포함하는 피사체 인식 방법이 제공된다.
일실시예에 따르면, 상기 생성하는 단계는, 상기 타겟 이미지 및 상기 타겟 이미지보다 이전에 촬영된 참조 이미지를 비교하여 결정되는 상기 특징 포인트들의 움직임 정보 및 상기 타겟 이미지 상에서 상기 특징 포인트들의 좌표를 서로 비교하여 결정되는 상기 특징 포인트들 사이의 유사도에 따라 상기 군집을 생성하는 피사체 인식 방법이 제공된다.
일실시예에 따르면, 상기 결정하는 단계는, 상기 군집들 각각을, 상기 피사체를 포함하는 물체들의 소스 이미지들을 분류한 클래스들과 비교하여, 상기 군집들 각각에 존재하는 상기 피사체의 종류를 결정하고, 상기 클래스들은, 상기 타겟 이미지에서 상기 특징 포인트들이 위치하는 픽셀들의 특징을 나타내는 특징 포인트 기술자들의 성분에 따라 결정되는 특징 공간에서 상기 물체들의 소스 이미지들을 계급적으로 분류하여 생성되는 피사체 인식 방법이 제공된다.
일실시예에 따르면, 상기 군집들 중에서 상기 클래스들과 비교하여 상기 피사체의 종류를 결정할 수 없는 군집에 대하여, 상기 피사체가 존재하지 않는 것으로 결정하는 단계를 더 포함하는 피사체 인식 방법이 제공된다.
일실시예에 따르면, 상기 판단하는 단계는, 상기 타겟 이미지보다 이전에 촬영된 참조 이미지 및 상기 타겟 이미지 사이에서 상기 군집들 각각의 움직임을 나타낸 움직임 정보를 결정하는 단계 및 동일한 종류의 피사체가 존재하는 군집들 각각의 움직임 정보의 차이가 미리 설정된 임계값 이하인 경우, 동일한 종류의 피사체가 존재하는 군집들이 단일 피사체의 서로 다른 일부분을 포함하는 것으로 결정하는 단계를 포함하는 피사체 인식 방법이 제공된다.
일실시예에 따르면, 동일한 종류의 피사체가 존재하는 군집들이 단일 피사체의 서로 다른 일부분을 포함하는 경우, 동일한 종류의 피사체가 존재하는 군집들을 결합하는 단계를 더 포함하는 피사체 인식 방법이 제공된다.
일실시예에 따르면, 타겟 이미지가 저장되는 메모리 및 상기 타겟 이미지에 포함된 피사체를 인식하는 프로세서를 포함하고, 상기 프로세서는, 상기 타겟 이미지에 포함된 특징 포인트들을 추출하고, 상기 특징 포인트들 각각의 시간상의 움직임 또는 공간상의 움직임을 나타내는 움직임 정보를 결정하고, 상기 결정된 움직임 정보에 기초하여, 상기 특징 포인트들의 군집을 생성하고, 상기 타겟 이미지에서 상기 군집들 각각에 존재하는 피사체의 적어도 일부분에 기초하여 상기 타겟 이미지에 포함된 상기 피사체를 인식하는 피사체 인식 장치가 제공된다.
일실시예에 따르면, 상기 프로세서는, 복수 개의 군집에서 결정된 피사체의 종류가 서로 동일한 경우, 상기 복수 개의 군집에 포함된 특징 포인트들의 움직임 정보를 이용하여 상기 복수 개의 군집들을 결합할지 여부를 판단하고, 상기 복수 개의 군집을 결합하는 경우, 결합된 복수 개의 군집 각각이 단일 피사체의 일부분을 포함하는 것으로 결정하고, 상기 복수 개의 군집을 결합하지 않는 경우, 상기 복수 개의 군집 각각에 서로 다른 피사체가 존재하는 것으로 결정하는 피사체 인식 장치가 제공된다.
일실시예에 따르면, 상기 프로세서는, 상기 복수 개의 군집 각각에 포함된 특징 포인트들의 움직임 정보로부터, 상기 복수 개의 군집 각각의 움직임 정보를 결정하고, 상기 복수 개의 군집 각각에 대응하여 결정된 움직임 정보들의 차이를 미리 설정된 임계값과 비교하여, 상기 복수 개의 군집들을 결합할지 여부를 판단하는 피사체 인식 장치가 제공된다.
일실시예에 따르면, 상기 피사체를 포함하는 물체들의 소스 이미지들이 저장된 소스 이미지 데이터베이스를 더 포함하고, 상기 프로세서는, 상기 특징 포인트들의 성분에 따라 결정되는 특징 공간에서 상기 소스 이미지들을 계급적으로 분류하여 생성된 클래스들을 생성하고, 상기 군집들 각각에 존재하는 피사체의 종류를 상기 생성된 클래스들 중에서 상기 군집들 각각에 매칭되는 클래스에 따라 결정하는 피사체 인식 장치가 제공된다.
도 1은 일실시예에 따른 피사체 인식 장치가 타겟 이미지에 포함된 피사체를 인식하는 동작을 설명하기 위한 흐름도이다.
도 2는 일실시예에 따른 피사체 인식 장치가 특징 포인트들의 시간 상의 움직임 정보에 기초하여 특징 포인트들의 군집들을 생성하는 동작을 설명하기 위한 예시적인 도면이다.
도 3은 일실시예에 따른 피사체 인식 장치가 이미지 어휘 트리에 따라 분할된 특징 공간을 이용하여 군집들 각각에 존재하는 피사체의 종류를 결정하는 동작을 설명하기 위한 흐름도이다.
도 4는 일실시예에 따른 피사체 인식 장치가 소스 이미지를 이미지 어휘 트리의 데이터 구조에 적용하는 동작을 설명하기 위한 예시적인 도면이다.
도 5는 일실시예에 따른 피사체 인식 장치가 도 2의 타겟 이미지의 군집들 각각에 존재하는 피사체의 종류를 결정하는 동작을 설명하기 위한 예시적인 도면이다.
도 6은 일실시예에 따른 피사체 인식 장치가 단일 피사체로부터 생성된 복수의 군집들을 탐색하고, 탐색된 군집들을 병합하는 동작을 설명하기 위한 흐름도이다.
도 7은 일실시예에 따른 피사체 인식 장치가 타겟 이미지의 피사체를 인식하는 동작을 설명하기 위한 예시적인 도면이다.
도 8은 다른 일실시예에 따른 피사체 인식 장치가 특징 포인트의 공간 상의 움직임에 기초하여 타겟 이미지의 피사체를 인식하는 동작을 설명하기 위한 흐름도이다.
도 9는 다른 일실시예에 따른 피사체 인식 장치가 공간상의 움직임에 기초하여 타겟 이미지의 피사체를 인식하는 동작을 설명하기 위한 예시적인 도면이다.
도 10은 다른 일실시예에 따른 피사체 인식 장치가 공간상의 움직임에 기초하여 타겟 이미지의 피사체를 인식하는 동작을 설명하기 위한 또 다른 예를 도시한 도면이다.
도 11은 일실시예에 따른 피사체 인식 장치의 구조를 개념적으로 도시한 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다. 예를 들어, 실시예들은 스마트 폰, 모바일 기기, 스마트 홈 시스템 등에서 사용자를 인증하는데 적용될 수 있다. 실시예들은 사용자 인증을 통한 결제 서비스에 적용될 수 있다. 또한, 실시예들은 사용자를 인증하여 자동으로 시동을 거는 지능형 자동차 시스템 등에도 적용될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 피사체 인식 장치가 타겟 이미지에 포함된 피사체를 인식하는 동작을 설명하기 위한 흐름도이다. 도 1을 참조하면, 피사체 인식 장치가 타겟 이미지에서 적어도 하나의 피사체가 존재하는 영역을 검출하고, 적어도 하나의 피사체가 무엇인지를 인식하는 과정이 설명된다.
도 1을 참고하면, 단계(110)에서, 일실시예에 따른 피사체 인식 장치는 시점 t에 촬영된 타겟 이미지를 수신할 수 있다. 피사체 인식 장치는 인접한 공간을 촬영하는 카메라 또는 이미지 센서와 연결될 수 있다. 카메라(또는 이미지 센서)는 피사체 인식 장치 또는 사용자에 의해 제어될 수 있고, 하나 이상의 피사체를 포함하는 공간을 촬영하여 타겟 이미지를 출력할 수 있다.
더 나아가서, 카메라는 미리 설정된 시간 간격(예를 들어, 수 밀리초 또는 수 초)으로 촬영을 수행하여, 시간에서 연속하는 복수의 이미지들을 출력할 수 있다. 피사체 인식 장치가 미리 설정된 시간 간격을 두고 연속적으로 촬영된 복수의 이미지들을 수신하는 경우, 피사체 인식 장치는 수신된 복수의 이미지들 각각에 존재하는 피사체를 인식하는 동작을, 복수의 이미지들 각각에 대하여 복수의 이미지들이 촬영된 시간 순서에 따라 순차적으로 수행할 수 있다. 이 경우, 복수의 이미지 중에서, 타겟 이미지는 피사체 인식 장치가 피사체를 인식하는 동작을 수행하는 대상이 되는 이미지를 의미한다. 참조 이미지는 복수의 이미지 중 타겟 이미지를 제외한 나머지 이미지들(즉, 타겟 이미지가 촬영된 시점의 이전 또는 이후에 촬영된 이미지들)을 의미한다.
도 1을 참고하면, 단계(120)에서, 일실시예에 따른 피사체 인식 장치는 수신된 타겟 이미지로부터 특징 포인트를 하나 이상 추출할 수 있다. 타겟 이미지는 복수의 픽셀을 포함할 수 있고, 각각의 픽셀은 타겟 이미지를 촬영한 시점에 카메라의 이미지 센서에 맺힌 상에서, 픽셀에 대응하는 위치의 색상에 대한 정보를 포함할 수 있다. 특징 포인트는 타겟 이미지에 포함된 복수의 픽셀 중에서, 다른 픽셀과 비교할 때에 쉽게 구분될 수 있거나, 쉽게 추적할 수 있거나 또는 쉽게 특정할 수 있는 픽셀을 의미한다. 또는, 특징 포인트는 코너 포인트(corner point) 등과 같이 타겟 이미지에 존재하는 피사체를 검출하거나 또는 인식하는데 용이하게 사용될 수 있는 픽셀을 의미한다.
피사체 인식 장치는 SIFT(Scale Invariant Feature Transform), SURF(Speeded up robust features), BRIEF(Binary robust independent elementary features) 및 ORB(Oriented FAST and Rotated BRIEF) 중에서 적어도 하나의 방법에 기초하여 특징 포인트를 추출할 수 있다. 더 나아가서, 피사체 인식 장치는 특징 포인트들 각각에 대하여, 특징 포인트 또는 특징 포인트의 주변 픽셀의 특징과 관련된 정보를 포함하는 특징 포인트 기술자(feature point descriptor)를 획득할 수 있다. 예를 들어, 피사체 인식 장치는 특징 포인트들 각각에 대응하는 특징 포인트 기술자로써, ORB 이진 기술자(ORB binary descriptor)를 획득할 수 있다. 특징 포인트 기술자는 특징 포인트들 각각에 대응하는 '특징 벡터(feature vector)' 또는 '시각적 단어(visual word)'라 부를 수 있다.
도 1을 참고하면, 단계(130)에서, 일실시예에 따른 피사체 인식 장치는 타겟 이미지 및 참조 이미지에서 특징 포인트를 추적할 수 있다. 상술한 바와 같이, 특징 포인트는 타겟 이미지에 포함된 복수의 픽셀 중에서, 다른 픽셀과 비교할 때에 쉽게 추적할 수 있는 픽셀로 결정될 수 있다. 즉, 피사체 인식 장치가 미리 설정된 시간 간격을 두고 연속적으로 촬영된 복수의 이미지들을 수신하는 경우, 피사체 인식 장치가 피사체를 인식하는 동작을 수행하는 대상이 되는 특정 시점의 이미지(즉, 타겟 이미지) 및 나머지 시점의 이미지(즉, 참조 이미지)들을 비교하여, 특징 포인트들 각각의 시간에 따른 움직임을 탐지할 수 있다.
도 1을 참고하면, 단계(140)에서, 일실시예에 따른 피사체 인식 장치는 추적된 특징 포인트들 각각의 시간의 움직임에 기초하여, 특징 포인트들 각각의 움직임 정보를 측정할 수 있다. 움직임 정보는 특징 포인트의 타겟 이미지 상의 좌표, 특징 포인트의 참조 이미지 상의 좌표 및 특징 포인트의 타겟 이미지 및 참조 이미지 사이의 좌표의 변화량 중 적어도 하나를 포함할 수 있다. 보다 구체적으로, 피사체 인식 장치는 탐지된 특징 포인트들 각각의 움직임 및 특징 포인트들의 타겟 이미지상의 좌표를 결합하여, 특징 포인트들 각각에 대한 움직임 벡터를 결정할 수 있다. 피사체 인식 장치가 움직임 벡터를 결정하는 동작은 도 2를 참조하여 상세히 설명한다.
도 1을 참고하면, 단계(150)에서, 일실시예에 따른 피사체 인식 장치는 측정된 움직임 정보에 기초하여, 특징 포인트들의 군집들을 생성할 수 있다. 피사체 인식 장치는 특징 포인트들 각각의 움직임 정보를 서로 비교하여, 시간에 따라 유사하게 움직이는 특징 포인트들을 그룹핑함으로써, 특징 포인트들의 군집을 하나 이상 생성할 수 있다. 바꾸어 말하면, 참조 이미지 및 타겟 이미지에서 유사하게 움직이는 특징 포인트들이 하나의 군집에 포함될 수 있다. 피사체 인식 장치는 특징 포인트들 각각의 움직임 정보를 서로 비교하여, 특징 포인트들 사이의 움직임 유사도를 결정할 수 있으며, 결정된 움직임 유사도에 기초하여 특징 포인트들의 군집을 하나 이상 생성할 수 있다. 따라서, 타겟 이미지에 존재하는 복수의 피사체들이 서로 중첩되더라도, 군집들이 시간에서 유사하게 움직이는 특징 포인트들을 그룹핑하여 생성되므로, 중첩되는 복수의 피사체들 각각에 대응하는 특징 포인트들은 서로 다른 군집으로 그룹핑될 수 있다. 피사체 인식 장치가 특징 포인트들의 군집들을 생성하는 동작은 도 2를 참조하여 상세히 설명한다.
도 1을 참고하면, 단계(160)에서, 일실시예에 따른 피사체 인식 장치는 생성된 군집들 각각에 존재하는 피사체의 종류를 결정할 수 있다. 피사체 인식 장치는 피사체의 종류를 결정하기 위하여, 피사체를 포함하는 다양한 물체들의 소스 이미지들이 특징 포인트 기술자들의 성분에 따라 결정되는 특징 공간에서 클러스터링되어 생성된 클래스들을 사전에 생성할 수 있다. 상기 클래스들은 미리 학습된 이미지 어휘 트리(image vocabulary tree)의 노드들에 대응할 수 있다. 피사체 인식 장치는 특징 공간에서 군집에 포함된 특징 포인트들과 클래스들을 비교하여, 군집에 포함된 특징 포인트들과 가장 일치하는 클래스를 식별할 수 있다. 피사체 인식 장치는 식별된 클래스에 기초하여 군집에 존재하는 피사체의 종류를 결정할 수 있다.
즉, 피사체 인식 장치는 타겟 이미지, 특히, 군집이 위치한 타겟 이미지의 일부분에 존재하는 피사체가 무엇인지를 인식할 수 있다. 또한, 중첩되는 복수의 피사체들 각각에 대응하는 특징 포인트들이 서로 다른 군집으로 그룹핑되고, 군집별로 피사체의 종류가 결정되므로, 피사체 인식 장치는 중첩되는 복수의 피사체들을 용이하게 분별할 수 있다.
도 1을 참고하면, 단계(170)에서, 일실시예에 따른 피사체 인식 장치는 군집들 각각에 존재하는 피사체의 적어도 일부분에 기초하여 타겟 이미지에 포함된 상기 피사체를 인식할 수 있다. 상술한 바와 같이, 군집들은 시간에서 유사하게 움직이는 특징 포인트들을 그룹핑하여 생성되므로, 군집은 피사체와 관련된 특징 포인트들을 모두 포함하지 않을 수 있다. 이 경우, 피사체의 일부만이 군집이 위치하는 타겟 이미지의 영역에 존재할 수 있다. 피사체 인식 장치는 군집들 각각의 움직임 정보를 군집에 포함된 특징 포인트들의 움직임 정보의 평균으로 결정할 수 있다. 피사체 인식 장치는 군집들 각각의 움직임 정보를 서로 비교하여, 시간에서 유사하게 움직이는 군집들을 결합함으로써, 타겟 이미지에 존재하는 단일 피사체를 인식할 수 있다. 따라서, 피사체 인식 장치는 피사체들이 서로 겹치거나 가려지는 상황에서도 보다 정확하게 피사체를 인식할 수 있다. 피사체 인식 장치가 군집들 각각에 존재하는 피사체의 적어도 일부분에 기초하여 타겟 이미지의 피사체를 인식하는 동작은 도 6 내지 도 7을 참조하여 보다 상세히 설명한다.
도 2는 일실시예에 따른 피사체 인식 장치가 특징 포인트들의 시간 상의 움직임 정보에 기초하여 특징 포인트들의 군집들을 생성하는 동작을 설명하기 위한 예시적인 도면이다.
도 2를 참고하면, 피사체 인식 장치가 피사체를 인식하는 타겟 이미지(210) 및 피사체 인식 장치가 타겟 이미지(210)의 피사체를 인식하기 위하여 활용하는 참조 이미지(220)의 일 예가 도시된다. 피사체 인식 장치가 타겟 이미지(210)로부터 추출한 특징 포인트가 'X' 표로 도시된다. 피사체 인식 장치가 타겟 이미지(210)로부터 도 2에 도시된 바와 같이 특징 포인트 f1(230), f2(240) 및 f3(350)를 포함하는 복수 개의 특징 포인트를 추출할 수 있다. 특징 포인트 f1(230), f2(240) 및 f3(250)의 타겟 이미지(210)상의 좌표를 각각 (x1, y1), (x2, y2) 및 (x3, y3)라 한다.
피사체 인식 장치는 타겟 이미지(210) 및 참조 이미지(220)에서 특징 포인트들의 움직임을 추적할 수 있다. 상술한 바와 같이, 참조 이미지(220)는 타겟 이미지(210) 보다 이전 또는 이후에 촬영된 이미지이므로, 피사체 인식 장치는 특징 포인트들의 시간의 움직임을 추적할 수 있다. 참조 이미지(220)는 타겟 이미지(210) 보다 이전에 촬영된 이미지인 것으로 가정하자. 피사체 인식 장치는 참조 이미지(220)에서 타겟 이미지(210)의 특징 포인트들 각각에 대응하는 픽셀들을 탐색할 수 있다.
예를 들어, 피사체 인식 장치는 타겟 이미지(210)의 특징 포인트 f1(230)에 대응하는 참조 이미지(220)의 픽셀 f1'(231)을 탐색할 수 있다. 마찬가지로, 피사체 인식 장치는 타겟 이미지(210)의 특징 포인트 f2(240) 및 f3(250)에 각각 대응하는 참조 이미지(220)의 픽셀 f2’(241) 및 f3'(251)을 탐색할 수 있다. 피사체 인식 장치는 타겟 이미지(210)의 특징 포인트들에 대응하는 참조 이미지(220)의 픽셀(또는 특징 포인트)을 탐색하기 위하여, 참조 이미지(220)를 대상으로 SIFT, SURF, BRIEF 및 ORB 중에서 적어도 하나의 방법을 수행할 수 있다.
피사체 인식 장치는 특징 포인트들 각각의 움직임 정보를, 특징 포인트의 타겟 이미지(210)에서의 좌표 및 특징 포인트에 대응하는 픽셀의 참조 이미지(220)에서의 픽셀의 좌표에 기초하여 결정할 수 있다. 예를 들어, 참조 이미지(220)의 픽셀 f1'(231)의 좌표를 (x1', y1')이라 할 때에, 특징 포인트 f1(230)의 움직임 정보는 특징 포인트 f1(230)의 좌표 (x1, y1) 또는 픽셀 f1'(231)의 좌표 (x1', y1')에 기초하여 결정될 수 있다. 보다 구체적으로, 피사체 인식 장치는 특징 포인트 f1(230)의 움직임 정보로써, 특징 포인트 f1(230)의 좌표 (x1, y1) 및 특징 포인트 f1(230) 및 픽셀 f1'(231)의 좌표 변화량 (dx1, dy1) = (x1-x1', y1-y1')을 결합한 움직임 벡터v1 = (x1, y1, dx1, dy1)를 결정할 수 있다. 유사하게, 참조 이미지(220)의 픽셀 f2'(241) 및 픽셀 f3'(251)의 좌표를 각각 (x2', y2') 및 (x3', t3')이라 하면, 특징 포인트 f1(230) 내지 f3(250)의 움직임 벡터 v1 내지 v3는 수학식 1과 같이 결정될 수 있다.
Figure 112017078227895-pat00001
Figure 112017078227895-pat00002
Figure 112017078227895-pat00003
도 2의 타겟 이미지(210) 및 참조 이미지(220)를 비교하면, 특징 포인트 f1(230)의 좌표 및 픽셀 f1'(231)의 좌표의 차이보다 특징 포인트 f3(250)의 좌표 및 픽셀 f3'(251)의 좌표의 차이가 크다는 것을 알 수 있다. 즉, 특징 포인트 f1(230) 내지 f3(250)에 대하여, (dx1, dy1) < (dx2, dy2) < (dx3, dy3)의 관계가 성립할 수 있다.
같은 피사체 상의 특징 포인트들은 타겟 이미지(210) 및 참조 이미지(220)에서 유사하게 움직일 수 있다. 즉, 같은 피사체 상의 특징 포인트들의 움직임 정보는 서로 유사할 수 있다. 도 2를 참고하면, 타겟 이미지(210)에 놓인 자동차 모형 및 미니 마우스 인형에 대하여, 특징 포인트 f1(230)을 포함하는 자동차 모형의 특징 포인트들의 움직임 정보는 서로 유사할 수 있다. 하지만, 자동차 모형의 특징 포인트들의 움직임 정보는 특징 포인트 f2(240) 및 f3(250)를 포함하는 미니 마우스 인형의 특징 포인트들의 움직임 정보와 다를 수 있다.
피사체 인식 장치는 특징 포인트들의 움직임 정보를 서로 비교하여 유사하게 움직이는 특징 포인트들을 그룹핑함으로써, 특징 포인트들의 군집을 생성할 수 있다. 보다 구체적으로, 피사체 인식 장치는 특징 포인트 fi 및 fj가 서로 유사하게 움직이는지 여부를, 특징 포인트 fi 및 fj 각각에 대응하는 움직임 벡터 vi 및 vj에 기초하여 결정되는 수학식 2의 유사도에 기초하여 결정할 수 있다.
Figure 112017078227895-pat00004
수학식 2를 참고하면, vi(k) 및 vj(k) 각각은 움직임 벡터 vi 및 vj의 k번째 원소를 의미한다.
Figure 112017078227895-pat00005
및
Figure 112017078227895-pat00006
각각은 움직임 벡터 vi 및 vj의 L2-norm으로써, 움직임 벡터에 포함된 모든 원소들의 제곱의 합의 제곱근을 의미한다. 피사체 인식 장치는 계산된 특징 포인트 fi 및 fj의 유사도를 미리 설정된 유사도 임계치와 비교하여, 특징 포인트 fi 및 fj가 서로 유사하게 움직이는지를 판단할 수 있다. 특징 포인트 fi 및 fj가 서로 유사하게 움직이는 경우, 바꾸어 말하면, 특징 포인트 fi 및 fj의 유사도가 미리 설정된 유사도 임계치보다 작은 경우, 피사체 인식 장치는 특징 포인트 fi 및 fj를 하나의 군집으로 그룹핑할 수 있다. 피사체 인식 장치는 타겟 이미지(210) 내의 모든 특징 포인트들을 비교하여 군집을 하나 이상 생성할 수 있다.
도 2를 참고하면, 피사체 인식 장치가 타겟 이미지(210)로부터 생성한 군집 1(260) 내지 군집 4(290)가 도시된다. 같은 피사체 상의 특징 포인트들이 타겟 이미지(210) 및 참조 이미지(220)에서 유사하게 움직이므로, 서로 다른 피사체의 특징 포인트들은 서로 다른 군집으로 그룹핑될 수 있다. 피사체 인식 장치는 생성된 군집 1(260) 내지 군집 4(290) 별로 피사체를 인식할 수 있다. 피사체 인식 장치가 군집 별로 피사체를 인식하는 과정에서 이미지 어휘 트리(image vocabulary tree)가 활용될 수 있다. 이미지 어휘 트리는 피사체를 포함하는 복수의 물체들의 소스 이미지들을 특징 포인트 기술자들의 성분에 따라 결정되는 특징 공간에 배치한 다음, 특징 공간 상에 배치된 소스 이미지들을 계층적으로 클러스터링함으로써 생성될 수 있다.
도 3은 일실시예에 따른 피사체 인식 장치가 이미지 어휘 트리에 따라 분할된 특징 공간을 이용하여 군집들 각각에 존재하는 피사체의 종류를 결정하는 동작을 설명하기 위한 흐름도이다.
도 3을 참고하면, 단계(310)에서, 일실시예에 따른 피사체 인식 장치는 미리 설정된 이미지 어휘 트리를 식별할 수 있다. 피사체 인식 장치는 이미지 어휘 트리를 식별하여, 이미지 어휘 트리의 데이터 구조를 로딩할 수 있다. 보다 구체적으로, 이미지 어휘 트리의 데이터 구조는 피사체 인식 장치의 메모리에 적재될 수 있다.
도 3을 참고하면, 단계(320)에서, 일실시예에 따른 피사체 인식 장치는 피사체를 포함하는 복수의 물체들이 포함된 소스 이미지(예를 들어, 물체의 키 프레임)들을 이미지 어휘 트리의 데이터 구조에 적용함으로써, 데이터베이스를 생성할 수 있다. 생성된 데이터베이스는 소스 이미지들의 특징 포인트에 대응하는 특징 포인트 기술자를 이미지 어휘 트리의 루트 노드(root node)부터 리프 노드(leaf node)를 따라 계층적으로 양자화(quantization)하여 구성될 수 있다.
예를 들어, 피사체 인식 장치는 특징 공간 상에 소스 이미지들의 특징 포인트로부터 결정된 특징 포인트 기술자를 배치한 다음, 배치된 특징 포인트들을 K-평균 알고리즘등을 이용하여 클러스터링할 수 있다. 따라서, 특징 공간 상에서 상대적으로 인접한 특징 포인트들이 하나의 클러스터로 그룹핑될 수 있다. 피사체 인식 장치는 분기 계수(branching factor) 및 레벨 수(number of levels)에 따라 특징 공간상의 특징 포인트들을 계층적으로 그룹핑할 수 있다. 상기 분기 계수 및 라벨 수는 사전에 정의되거나, 사용자로부터 입력받거나 또는 경험적으로(heuristically) 결정될 수 있다. 이미지 어휘 트리를 따라 계층적으로 특징 포인트 기술자, 즉, 소스 이미지들이 클러스터링 될 때에, 이미지 어휘 트리의 최하위 노드들에 대응하는 소스 이미지들의 클러스터들을 클래스라 할 수 있다. 특징 공간 상에서 상대적으로 인접한 특징 포인트들이 하나의 클러스터로 클러스터링되므로, 소스 이미지들은 포함된 물체가 유사한지에 따라 클러스터링될 수 있다. 피사체 인식 장치는 단계(310) 내지 단계(320)에 대응하는 동작을, 타겟 이미지의 피사체를 인식하기에 앞서, 예를 들어, 도 1의 단계(110)와 같이 타겟 이미지를 수신하기에 앞서 수행할 수 있다.
도 4는 일실시예에 따른 피사체 인식 장치가 소스 이미지(410)를 이미지 어휘 트리(440)의 데이터 구조에 적용하는 동작을 설명하기 위한 예시적인 도면이다. 도 4를 참고하면, 소스 이미지(410)의 특징 포인트에 대응하는 특징 포인트 기술자를 이미지 어휘 트리(440)의 데이터 구조에 적용하여 데이터베이스에 소스 이미지(410)를 추가하는 과정이 도시된다.
예를 들어, 타겟 이미지의 피사체의 종류를 식별하기 위하여, 피사체를 포함하는 다양한 물체들에 대응하는 소스 이미지(410)가 피사체 인식 장치로 제공될 수 있다. 피사체 인식 장치는 소스 이미지(410)에 포함된 물체(430)와 관련된 특징 포인트(420)를 추출할 수 있다. 피사체 인식 장치는 추출된 특징 포인트(420)에 대응하는 특징 포인트 기술자를 결정할 수 있다.
도 4를 참고하면, 피사체 인식 장치는 결정된 특징 포인트 기술자를 이미지 어휘 트리(440)의 데이터 구조의 루트 노드에서 리프 노드까지 계층적으로 전파할 수 있다. 예를 들어, 피사체 인식 장치는 이미지 어휘 트리(440)의 노드들 각각과 특징 포인트 기술자 간의 유사도를 해밍 거리(Hamming)에 의해 결정할 수 있다. 피사체 인식 장치는 유사도가 높은 노드에 특징 포인트 기술자를 맵핑할 수 있다. 더 나아가서, 피사체 인식 장치는 유사도가 높은 노드에 특징 포인트 기술자를 맵핑한 결과에 기초하여, 이미지 어휘 트리(440)의 리프 노드에 소스 이미지(410)를 추가할 수 있다.
다시 도 3을 참고하면, 단계(330)에서, 일실시예에 따른 피사체 인식 장치는 특징 포인트에 대응하는 특징 포인트 기술자를 결정할 수 있다. 피사체 인식 장치는 단계(330)에 대응하는 동작을 특징 포인트의 군집을 결정한 다음, 예를 들어, 도 1의 단계(150)에 대응하는 동작을 수행한 이후에 수행할 수 있다. 피사체 인식 장치는 군집들 각각에 포함된 복수의 특징 포인트들 각각의 특징 포인트 기술자를 결정할 수 있다. 피사체 인식 장치가 특징 포인트에 대응하는 특징 포인트 기술자로써, ORB 이진 기술자를 결정하는 경우, 특징 포인트 기술자는 256 비트로 구성된 이진값을 포함할 수 있다. 피사체 인식 장치가 타겟 이미지의 특징 포인트로부터 결정하는 특징 포인트 기술자는, 소스 이미지들을 클러스터링할 때에 소스 이미지의 특징 포인트로부터 결정된 특징 포인트 기술자와 그 포맷이 동일할 수 있다.
도 3을 참고하면, 단계(340)에서, 일실시예에 따른 피사체 인식 장치는 특징 포인트 기술자를 데이터베이스에 입력하여, 특징 포인트 기술자에 대응하는 특징 포인트가 클래스들 각각과 유사한 정도를 결정할 수 있다. 보다 구체적으로, 피사체 인식 장치는 이미지 어휘 트리의 루트 노드에서 리프 노드를 따라 특징 공간상의 소스 이미지의 특징 포인트 기술자들을 계층적으로 분할하여 생성된 클러스터의 대표값(예를 들어, 클러스터의 중심에 위치한 특징 포인트 기술자)과 타겟 이미지의 특징 포인트에 대응하는 특징 포인트 기술자를 비교할 수 있다. 피사체 인식 장치가 클러스터의 대표값 및 특징 포인트 기술자를 비교하는 동작은 이미지 어휘 트리의 루트 노드부터 리프 노드까지 계층적으로 수행될 수 있다.
즉, 타겟 이미지의 특징 포인트에 대응하는 특징 포인트 기술자는 이미지 어휘 트리의 루프 노드에서 리프 노드로 계층적으로 전파될 수 있으며, 피사체 인식 장치는 특징 포인트 기술자가 이미지 어휘 트리의 루프 노드에서 리프 노드로 계층적으로 전파된 결과에 기초하여, 특징 포인트 기술자에 대응하는 특징 포인트가 이미지 어휘 트리의 최하위 노드에 대응하는 클러스터들, 즉, 클래스들 각각과 유사한 정도를 결정할 수 있다. 임의의 군집의 i번째 특징 포인트가 l번째 클래스와 유사한 정도를 Sl(fi)라 한다.
도 3을 참고하면, 단계(350)에서, 일실시예에 따른 피사체 인식 장치는 군집에 포함된 특징 포인트들 각각이 클래스와 유사한 정도를 결합하여, 군집이 클래스와 유사한 정도를 나타내는 스코어를 클래스별로 결정할 수 있다. 보다 구체적으로, o번째 군집이 l번째 클래스와 유사한 정도를 나타내는 스코어는 수학식 3과 같이 결정될 수 있다.
Figure 112017078227895-pat00007
수학식 3을 참고하면, GO는 o번째 군집에 포함된 특징 포인트들의 개수를 나타낸다. 즉, 군집에 포함된 특징 포인트들 중에서 특정 클래스와 유사한 특징 포인트가 많을수록, 특정 클래스에 대한 군집의 스코어가 증가할 수 있다. 피사체 인식 장치는 수학식 3에 기초하여, 타겟 이미지에 포함된 복수의 군집들이 복수의 클래스들 각각과 유사한 정도를 계산할 수 있다.
도 3을 참고하면, 단계(360)에서, 일실시예에 따른 피사체 인식 장치는 군집에서 클래스별로 결정된 스코어를 미리 설정된 스코어 임계값과 비교하여, 클래스별로 결정된 스코어들 중에서 어느 스코어도 스코어 임계값을 초과하지 않는지를 판단할 수 있다.
스코어 임계값을 초과하는 스코어가 하나 이상 존재하는 경우, 단계(370)에서, 일실시예에 따른 피사체 인식 장치는 스코어 임계값을 초과하는 하나 이상의 스코어에 대응하는 하나 이상의 클래스에 기초하여, 군집에 존재하는 피사체의 종류를 결정할 수 있다. 보다 구체적으로, 피사체 인식 장치는 군집에서 클래스별로 결정된 스코어 중에서 스코어 임계값을 초과하는 스코어 중 가장 큰 스코어를 식별할 수 있다. 피사체 인식 장치는 가장 큰 스코어에 대응하는 클래스에 기초하여 군집에 존재하는 피사체의 종류를 결정할 수 있다. 상술한 바와 같이, 소스 이미지들은 소스 이미지에 포함된 물체가 유사한지에 따라 클러스터링 되므로, 소스 이미지가 클러스터링되어 생성된 클래스들은 물체의 종류별로 생성될 수 있다. 따라서, 피사체 인식 장치는 가장 큰 스코어를 가지는 클래스에 대응하는 물체를 군집에 존재하는 피사체로 결정할 수 있다. 피사체 인식 장치는 단계(370)에 대응하는 동작을 군집별로 수행함으로써, 타겟 이미지의 군집들 각각에 존재하는 피사체의 종류가 무엇인지를 결정할 수 있다.
스코어 임계값을 초과하는 스코어가 존재하지 않는 군집에 대하여, 단계(380)에서, 일실시예에 따른 피사체 인식 장치는 상기 군집을 아웃라이어(outlier)로 결정할 수 있다. 아웃라이어는 군집에 어떤 피사체도 존재하지 않거나, 또는 군집에 존재하는 피사체의 종류를 결정할 수 없는 상태를 의미한다. 아웃라이어로 결정된 군집은 이미지에 포함된 피사체를 인식하는 동작에서 활용되지 않을 수 있다.
도 5는 일실시예에 따른 피사체 인식 장치가 도 2의 타겟 이미지(210)의 군집들 각각에 존재하는 피사체의 종류를 결정하는 동작을 설명하기 위한 예시적인 도면이다. 도 5를 참고하면, 피사체 인식 장치가 도 2의 타겟 이미지(210)에서 생성된 군집 1(260) 내지 군집 4(290)들 각각에 존재하는 피사체의 종류를 결정한 결과가 도시된다. 피사체 인식 장치는 타겟 이미지(210)에서 생성된 군집 1(510) 내지 군집 4(540) 각각에 대하여, 도 1의 단계(160) 또는 도 3에서 설명한 동작들을 수행함으로써, 군집 1(260) 내지 군집 4(290)들 각각에 존재하는 피사체의 종류를 결정할 수 있다.
보다 구체적으로, 도 5를 참고하면, 피사체 인식 장치는 군집 1(260)의 특징 포인트들의 특징 포인트 기술자를 이미지 어휘 트리의 데이터 구조에 따라 생성된 데이터베이스에 입력할 수 있다. 데이터베이스는 타겟 이미지(210)에 포함된 자동차 모형, 미니 마우스 인형을 비롯한 다양한 물체들의 소스 이미지들을 특징 포인트 기술자의 특징 공간상에서 클러스터링한 이미지 어휘 트리를 포함할 수 있다. 피사체 인식 장치는 수학식 3에 기초하여 군집 1(260)의 클래스별 유사도를 계산할 수 있다. 계산된 군집 1(260)의 클래스별 유사도 중에서, 피사체 인식 장치는 가장 높은 유사도를 가지는 클래스(즉, 자동차 모형의 소스 이미지들이 클러스터링된 클래스)에 기초하여, 군집 1(260)에 자동차 모형이 존재하는 것으로 결정할 수 있다. 마찬가지로, 피사체 인식 장치는 군집 2(270) 및 군집 3(280)에 미니 마우스 인형이 존재하는 것으로 결정할 수 있다.
도 5를 참고하면, 군집 4(290)의 클래스별 유사도들은 모두 미리 설정된 유사도 임계치보다 낮을 수 있다. 이 경우, 피사체 인식 장치는 군집 4(290)가 아웃라이어, 즉, 군집 4(290)로부터 피사체의 종류를 결정할 수 없는 것으로 판단할 수 있다. 바꾸어 말하면, 피사체 인식 장치는 군집 4(290)에 어느 물체도 존재하지 않는 것으로 결정할 수 있다. 피사체 인식 장치는 타겟 이미지(210)에 포함된 피사체를 인식하는 과정에서, 군집 4(290)를 제외한 군집 1(260) 내지 군집 3(280)에 기초하여 타겟 이미지(210)에 포함된 피사체를 인식할 수 있다.
피사체 인식 장치가 시간에서 유사하게 움직이는 특징 포인트들을 그룹핑하여 군집 1(260) 내지 군집 4(290)를 생성하였음에도 불구하고, 군집들과 타겟 이미지(210) 내의 피사체가 일대일로 대응하지 않을 수 있다. 도 5를 참고하면, 피사체 인식 장치는 단일 피사체(미니 마우스 인형)로부터 서로 다른 군집 2(270) 및 군집 3(280)을 생성할 수 있다. 군집들과 타겟 이미지(210) 내의 피사체가 일대일로 대응하지 않는 경우, 피사체 인식 장치는 단일 피사체로부터 생성된 복수의 군집들을 병합함으로써, 타겟 이미지(210)에 포함된 피사체들을 정확하게 인식할 수 있다.
도 6은 일실시예에 따른 피사체 인식 장치가 단일 피사체로부터 생성된 복수의 군집들을 탐색하고, 탐색된 군집들을 병합하는 동작을 설명하기 위한 흐름도이다. 피사체 인식 장치는 도 6의 동작을 수행하기에 앞서, 도 1 또는 도 3에서 설명한 동작을 수행하여, 특징 포인트의 움직임 정보를 결정하고, 특징 포인트의 군집들 각각에 존재하는 피사체의 종류를 탐지할 수 있다.
도 6을 참고하면, 단계(610)에서, 일실시예에 따른 피사체 인식 장치는 군집에 포함된 특징 포인트의 움직임 정보로부터, 군집들 각각의 움직임 정보를 결정할 수 있다. 예를 들어, 피사체 인식 장치는 군집에 포함된 복수의 특징 포인트들 각각의 움직임 벡터를 결합하여 군집의 움직임 벡터를 결정할 수 있다. 피사체 인식 장치는 특징 포인트들의 움직임 벡터를 결합한 다음, 결합된 움직임 벡터의 원소를 특징 포인트의 수로 나누어, 군집에 포함된 특징 포인트들 각각의 움직임 벡터들을 평균한 벡터를 결정할 수 있다. 피사체 인식 장치는 군집에 포함된 특징 포인트들 각각의 움직임 벡터들을 평균한 벡터를 군집의 움직임 벡터로 결정할 수 있다.
도 6을 참고하면, 단계(620)에서, 일실시예에 따른 피사체 인식 장치는 군집들 각각에서 결정된 피사체의 종류를 서로 비교하여, 피사체의 종류가 동일한 군집들이 존재하는지 판단할 수 있다. 피사체의 종류가 동일한 복수 개의 군집들은 단일 피사체로부터 생성되었을 가능성이 있기 때문이다.
피사체의 종류가 동일한 군집들이 존재하는 경우, 단계(630)에서, 일실시예에 따른 피사체 인식 장치는 피사체의 종류가 동일한 군집들의 움직임 정보를 비교하여, 움직임 정보의 차이가 미리 설정된 임계값 이하인지 판단할 수 있다. 보다 구체적으로, 군집에 포함된 특징 포인트들 각각의 움직임 벡터들을 평균한 벡터를 군집의 움직임 벡터로 결정한 경우, 피사체 인식 장치는 군집들 각각의 움직임 벡터를 서로 뺄셈하여, 군집들의 움직임 벡터의 차이를 벡터의 형태로 계산할 수 있다. 피사체 인식 장치는 움직임 벡터의 차이를 나타내는 벡터의 크기를 미리 설정된 임계값과 비교하여, 움직임 정보의 차이가 미리 설정된 임계값 이하인지 판단할 수 있다.
움직임 정보의 차이가 미리 설정된 임계값 이하인 경우, 단계(640)에서, 일실시예에 따른 피사체 인식 장치는 피사체의 종류가 동일하면서 움직임 정보의 차이가 미리 설정된 임계값 이하인 군집들을 서로 결합할 수 있다. 바꾸어 말하면, 피사체 인식 장치는 피사체의 종류가 동일하면서 움직임 정보의 차이가 미리 설정된 임계값 이하인 군집들이 단일 피사체로부터 생성된 것으로 판단할 수 있다. 따라서, 피사체의 종류가 동일하고 시간을 따라 유사하게 움직이는 군집들이 하나의 군집으로 병합됨으로써, 타겟 이미지 내의 피사체들이 군집들과 일대일 대응할 수 있다. 바꾸어 말하면, 타겟 이미지에 존재하는 피사체의 개수와 군집의 개수가 일치할 수 있다.
움직임 정보의 차이가 미리 설정된 임계값 이상인 경우, 단계(650)에서, 일실시예에 따른 피사체 인식 장치는 결합된 군집에 존재하는 단일 피사체를 인식할 수 있다. 바꾸어 말하면, 피사체 인식 장치는 결합된 군집에 단일 피사체가 존재하는 것으로 결정할 수 있다. 상술한 바와 같이, 타겟 이미지 내의 피사체들이 군집들과 일대일 대응하므로, 피사체 인식 장치는 타겟 이미지에 존재하는 피사체를 정확하게 인식할 수 있다. 보다 구체적으로, 피사체 인식 장치는 타겟 이미지의 피사체의 종류 및 피사체가 존재하는 영역을 정확하게 결정할 수 있다.
피사체의 종류가 동일한 군집들이 존재하지 않거나, 또는, 피사체의 종류가 동일한 군집들의 움직임 정보의 차이가 미리 설정된 임계값 이상인 경우, 단계(660)에서, 일실시예에 따른 피사체 인식 장치는 군집들을 결합하지 않고, 군집들 각각에서 피사체의 종류를 식별한 결과에 기초하여, 타겟 이미지의 피사체를 인식할 수 있다. 바꾸어 말하면, 피사체 인식 장치는 단일 피사체에서 복수의 군집이 생성된 경우가 없는 것으로 판단하고, 군집 별로 서로 다른 피사체가 존재하는 것으로 결정할 수 있다.
예를 들어, 군집들 각각에서 결정된 피사체의 종류가 동일하더라도 군집들의 움직임 정보의 차이가 미리 설정된 임계값 이상인 경우, 피사체 인식 장치는 군집들 각각에 종류는 동일하지만 서로 다른 피사체가 존재하는 것으로 결정할 수 있다. 피사체의 종류가 동일한 군집들이 존재하지 않는 경우, 피사체 인식 장치는 군집들 각각에 서로 다른 종류의 피사체가 존재하는 것으로 결정할 수 있다.
도 7은 일실시예에 따른 피사체 인식 장치가 타겟 이미지(210)의 피사체를 인식하는 동작을 설명하기 위한 예시적인 도면이다. 피사체 인식 장치는 군집들 각각에서 결정된 피사체의 종류에 기초하여 타겟 이미지(210)의 피사체를 인식할 수 있다. 도 7을 참고하면, 피사체 인식 장치가 피사체가 존재하는 타겟 이미지(210)의 영역을 바운딩 박스(bounding box)(710, 720)로 표시한 결과가 도시된다.
상술한 바와 같이, 피사체 인식 장치는 타겟 이미지(210)로부터 네 개의 군집(도 2 및 도 5의 군집 1(260) 내지 군집 4(290))을 생성하고, 군집들 각각에 존재하는 피사체의 종류를 도 5에서 설명한 바와 같이 결정할 수 있다. 피사체 인식 장치는 군집들에 존재하는 피사체의 종류에 기초하여, 타겟 이미지(210)에 존재하는 피사체를 인식할 수 있다. 예를 들어, 자동차 인형이 도 5의 군집 1(260)에 존재하는 것으로 결정되었으므로, 피사체 인식 장치는 군집 1(260)의 위치에 기초하여 자동차 인형이 존재하는 영역을 바운딩 박스(710)로 나타낼 수 있다.
더 나아가서, 피사체 인식 장치는 도 6에서 설명한 동작을 수행하여, 피사체의 종류가 동일하고 유사하게 움직이는 군집들을 식별할 수 있다. 예를 들어, 피사체 인식 장치는 도 5의 군집 2(270) 및 군집 3(280)이 피사체의 종류가 동일하고 유사하게 움직이는 군집인 것으로 결정할 수 있다. 피사체 인식 장치는 도 5의 군집 2(270) 및 군집 3(280)을 결합하여, 이들 군집에 단일 피사체(미니 마우스 인형)가 존재하는 것으로 결정할 수 있다. 도 7을 참고하면, 피사체 인식 장치는 미니 마우스 인형이 존재하는 영역을 바운딩 박스(720)로 나타낼 수 있다. 바운딩 박스(720)는 도 5의 군집 2(270) 및 군집 3(280)의 결합에 기초하여 결정될 수 있다.
또한, 피사체 인식 장치가 타겟 이미지(210)의 피사체를 인식함에 있어서, 아웃라이어로 결정된 군집은 제외될 수 있다. 도 2의 군집 4(290)는 아웃라이어로 결정되었으므로, 피사체 인식 장치는 도 2의 군집 4(290)를 타겟 이미지(210)의 피사체를 인식하는데 사용하지 않을 수 있다.
다른 일실시예에 따르면, 피사체 인식 장치는 특징 포인트의 공간상의 움직임에 기초하여 특징 포인트의 군집을 생성할 수 있다. 도 8은 다른 일실시예에 따른 피사체 인식 장치가 특징 포인트의 공간 상의 움직임에 기초하여 타겟 이미지의 피사체를 인식하는 동작을 설명하기 위한 흐름도이다.
도 8을 참고하면, 단계(810)에서, 다른 일실시예에 따른 피사체 인식 장치는 미리 설정된 이미지 어휘 트리를 식별할 수 있다. 피사체 인식 장치는 식별된 이미지 어휘 트리의 데이터 구조를 메모리로 로드할 수 있다.
도 8을 참고하면, 단계(820)에서, 다른 일실시예에 따른 피사체 인식 장치는 피사체를 포함하는 복수의 물체들의 소스 이미지들을 이미지 어휘 트리의 데이터 구조를 따라 전파함으로써, 피사체의 종류를 결정하는데 사용되는 데이터베이스를 생성할 수 있다. 피사체 인식 장치는 도 3 내지 도 4의 동작에 기초하여 소스 이미지들의 특징 포인트에 대응하는 특징 포인트 기술자를 이미지 어휘 트리에 적용할 수 있다.
도 8을 참고하면, 단계(830)에서, 다른 일실시예에 따른 피사체 인식 장치는 피사체를 촬영한 카메라로부터 타겟 이미지를 수신할 수 있다. 카메라는 피사체를 미리 설정된 시간 간격을 두고 연속적으로 촬영할 수 있다. 또는, 카메라는 일정한 시차만큼 이격된 두 개의 이미지 센서를 포함할 수 있고, 두 개의 이미지 센서를 통해 피사체를 동시에 촬영하여, 타겟 이미지 및 타겟 이미지에 대응하는 시차 이미지를 생성할 수 있다. 또는, 카메라는 깊이 센서를 포함할 수 있고, 타겟 이미지의 픽셀에 존재하는 피사체 및 카메라 간의 거리를 픽셀별로 나타낸 깊이 맵을 생성할 수 있다. 피사체 인식 장치는 타겟 이미지와 함께, 타겟 이미지에 대응하는 참조 이미지, 시차 이미지 및 깊이 맵 중 적어도 하나를 수신할 수 있다.
도 8을 참고하면, 단계(840)에서, 다른 일실시예에 따른 피사체 인식 장치는 타겟 이미지로부터 특징 포인트를 하나 이상 추출할 수 있다. 피사체 인식 장치는 추출된 특징 포인트를 이용하여 타겟 이미지의 피사체를 인식하므로, 타겟 이미지의 모든 픽셀이 피사체의 인식에 사용될 때보다 신속하게 피사체를 인식할 수 있다. 더 나아가서, 피사체 인식 장치는 특징 포인트를 대상으로 피사체를 인식하는데 필요한 정보를 추출하므로, 모든 픽셀에서 피사체를 인식하는데 필요한 정보를 추출함에 따라 불필요한 정보들이 함께 추출되어 피사체를 인식하는 데에 나쁜 영향을 주는 것을 방지할 수 있다.
도 8을 참고하면, 단계(850)에서, 다른 일실시예에 따른 피사체 인식 장치는 특징 포인트의 시간상의 움직임 또는 공간상의 움직임에 기초하여, 유사하게 움직이는 특징 포인트들을 그룹핑하여 특징 포인트들의 군집을 하나 이상 생성할 수 있다. 특징 포인트의 시간상의 움직임은, 타겟 이미지 및 타겟 이미지의 이전 또는 이후에 촬영된 참조 이미지를 비교함으로써 획득될 수 있다. 특징 포인트의 공간상의 움직임은, 타겟 이미지에 대응하는 깊이 맵 또는 시차 이미지에 의해 결정될 수 있다. 또는, 피사체 인식 장치는 ORB SLAM(ORB simultaneous localization and mapping) 방식을 이용하여 특징 포인트들의 상대적인 깊이 정보를 추출할 수 있고, 추출된 상대적인 깊이 정보에 기초하여 특징 포인트들의 군집을 생성할 수 있다.
특징 포인트들이 시간상의 움직임 또는 공간상의 움직임에 기초하여 그룹핑되므로, 타겟 이미지에서 복수의 피사체가 서로 중첩됨에도 불구하고, 복수의 피사체 각각의 특징 포인트들이 서로 다른 군집으로 그룹핑될 수 있다. 피사체 인식 장치는 특징 포인트의 시간상의 움직임 또는 공간상의 움직임을 나타내는 움직임 정보에 대하여, K-평균 알고리즘 또는 밀도 분포의 피크 값(density peak)을 이용하여 군집의 개수를 결정하고, 움직임 정보를 이용하여 특징 포인트들을 그룹핑함으로써 군집을 하나 이상 생성할 수 있다.
도 8을 참고하면, 단계(860)에서, 다른 일실시예에 따른 피사체 인식 장치는 군집들 각각에 존재하는 피사체의 종류를 결정할 수 있다. 피사체 인식 장치는 군집별로 군집에 포함된 특징 포인트들과 가장 유사한 이미지 어휘 트리의 클래스를 식별할 수 있다. 예를 들어, 피사체 인식 장치는 군집들 각각이 클래스들과 유사한 정도를 수학식 3에 기초하여 결정할 수 있다. 더 나아가서, 피사체 인식 장치는 어느 클래스와도 유사하지 않은 군집을 아웃라이어로 결정할 수 있다.
도 8을 참고하면, 단계(870)에서, 다른 일실시예에 따른 피사체 인식 장치는 군집별로 결정된 피사체의 종류에 기초하여, 타겟 이미지에 포함된 피사체를 인식할 수 있다. 피사체 인식 장치는 군집들이 타겟 이미지의 피사체들과 일대일 대응인지 판단할 수 있다. 군집들이 타겟 이미지의 피사체들과 일대일 대응하지 않는 경우, 피사체 인식 장치는 단일 피사체로부터 생성된 군집들을 병합할 수 있다. 피사체 인식 장치는 군집들을 병합한 결과를 고려하여, 타겟 이미지에 포함된 피사체의 종류 및 피사체의 위치를 결정할 수 있다. 피사체 인식 장치는 결정된 피사체의 위치를 바운딩 박스로 표시하여 출력할 수 있다.
도 9는 다른 일실시예에 따른 피사체 인식 장치가 공간상의 움직임에 기초하여 타겟 이미지(920)의 피사체를 인식하는 동작을 설명하기 위한 예시적인 도면이다.
도 9를 참고하면, 피사체 인식 장치가 타겟 이미지(920)에 대응하여 수신한 깊이 맵(910)에 포함된 픽셀별 깊이가 그레이스케일로 시각화화여 도시된다. 피사체 인식 장치는 비슷한 깊이를 가지는 특징 포인트들을 그룹핑하여 군집 1(921) 내지 군집 3(923)을 생성할 수 있다. 피사체 인식 장치는 군집 1(921) 내지 군집 3(923) 각각에 존재하는 피사체의 종류를 식별할 수 있다. 예를 들어, 피사체 인식 장치는 군집 1(921) 및 군집 2(922)에 존재하는 피사체가 찻잔(tea cup) 이고, 군집 3(923)에 존재하는 피사체가 주전자(teapot)임을 식별할 수 있다.
군집 1(921) 및 군집 2(922)에 존재하는 피사체가 찻잔(tea cup)으로 동일하기 때문에, 피사체 인식 장치는 군집 1(921) 및 군집 2(922) 각각의 특징 포인트의 움직임에 기초하여, 군집 1(921) 및 군집 2(922)가 단일 피사체, 즉, 하나의 찻잔으로부터 생성된 군집인지를 판단할 수 있다. 피사체 인식 장치는 깊이 맵(910)을 이용하여, 군집 1(921)에 포함된 특징 포인트들의 평균 깊이 및 군집 2(922)에 포함된 특징 포인트들의 평균 깊이를 결정할 수 있다.
피사체 인식 장치는 군집 1(921)에서 결정된 평균 깊이 및 군집 2(922)에서 결정된 평균 깊이를 비교하여, 군집 1(921) 및 군집 2(922)를 결합할지 여부를 결정할 수 있다. 보다 구체적으로, 피사체 인식 장치는 군집 1(921)에서 결정된 평균 깊이 및 군집 2(922)에서 결정된 평균 깊이의 차이가 미리 설정된 임계값 이하인 경우, 군집 1(921) 및 군집 2(922)를 결합할 수 있다. 도 9를 참고하면, 군집 1(921) 및 군집 2(922)는 서로 다른 찻잔으로부터 생성된 군집으로, 평균 깊이의 차이가 미리 설정된 임계값 이상일 수 있다. 따라서, 피사체 인식 장치는 군집 1(921) 및 군집 2(922)를 결합하지 않고, 군집 1(921) 및 군집 2(922)에 서로 다른 찻잔이 존재하는 것으로 결정할 수 있다.
최종적으로, 피사체 인식 장치는 군집들을 결합할지 여부에 기초하여 타겟 이미지(920)에 포함된 피사체를 인식할 수 있다. 도 9를 참고하면, 피사체 인식 장치는 군집 1(921)에 존재하는 찻잔을 나타내는 바운딩 박스(931), 군집 2(922)에 존재하는 찻잔을 나타내는 바운딩 박스(932) 및 군집 3(923)에 존재하는 주전자를 나타내는 바운딩 박스(933)를 출력할 수 있다. 따라서, 피사체 인식 장치는 타겟 이미지에 존재하는 피사체의 종류 및 피사체의 위치를 동시에 출력할 수 있다.
도 10은 다른 일실시예에 따른 피사체 인식 장치가 공간상의 움직임에 기초하여 타겟 이미지(1020)의 피사체를 인식하는 동작을 설명하기 위한 또 다른 예를 도시한 도면이다.
도 10을 참고하면, 피사체 인식 장치가 타겟 이미지(1020)에 대응하여 수신한 깊이 맵(1010)에 포함된 픽셀별 깊이가 그레이스케일로 시각화화여 도시된다. 피사체 인식 장치는 비슷한 깊이를 가지는 특징 포인트들을 그룹핑하여 군집 1(1021) 내지 군집 3(1023)을 생성할 수 있다. 피사체 인식 장치는 군집 1(1021) 내지 군집 3(1023) 각각에 존재하는 피사체의 종류를 식별할 수 있다. 예를 들어, 피사체 인식 장치는 군집 1(1021) 내지 군집 3(1023)에 존재하는 피사체가 모두 오토바이(motorbike)임을 식별할 수 있다.
군집 1(1021) 내지 군집 3(1023)에 존재하는 피사체가 모두 오토바이(motorbike)로 동일하기 때문에, 피사체 인식 장치는 군집 1(1021) 내지 군집 3(1023) 각각의 특징 포인트의 움직임에 기초하여, 군집 1(1021) 내지 군집 3(1023)이 단일 피사체, 즉, 하나의 찻잔으로부터 생성된 군집인지를 판단할 수 있다. 피사체 인식 장치는 깊이 맵(1010)을 이용하여, 군집 1(1021)에 포함된 특징 포인트들의 평균 깊이 및 군집 2(1022)에 포함된 특징 포인트들의 평균 깊이를 결정할 수 있다.
피사체 인식 장치는 군집 1(1021)에서 결정된 평균 깊이 및 군집 2(1022)에서 결정된 평균 깊이를 비교하여, 군집 1(1021) 및 군집 2(1022)를 결합할지 여부를 결정할 수 있다. 보다 구체적으로, 피사체 인식 장치는 군집 1(1021)에서 결정된 평균 깊이 및 군집 2(1022)에서 결정된 평균 깊이의 차이가 미리 설정된 임계값 이하인 경우, 군집 1(1021) 및 군집 2(1022)를 결합할 수 있다. 도 10을 참고하면, 군집 1(1021) 및 군집 2(1022)는 동일한 오토바이로부터 생성된 군집으로, 평균 깊이의 차이가 미리 설정된 임계값 이하일 수 있다. 따라서, 피사체 인식 장치는 군집 1(1021) 및 군집 2(1022)를 결합할 수 있다. 마찬가지로, 피사체 인식 장치는 군집 3(1023)을 군집 1(1021) 및 군집 2(1022)를 결합하여 생성한 군집과 비교함으로써, 군집 1(1021) 내지 군집 3(1023)을 결합할 수 있다.
최종적으로, 피사체 인식 장치는 군집들을 결합한 결과에 기초하여 타겟 이미지(1020)에 포함된 피사체를 인식할 수 있다. 도 10을 참고하면, 군집 1(1021) 내지 군집 3(1023)이 모두 결합되어 타겟 이미지(1020) 상에 하나의 군집만이 존재할 수 있다. 피사체 인식 장치는 군집 1(1021) 내지 군집 3(1023)에 존재하는 오토바이를 나타내는 바운딩 박스(1031)를 출력할 수 있다. 따라서, 피사체 인식 장치는 타겟 이미지에 존재하는 피사체의 종류 및 피사체의 위치를 동시에 출력할 수 있다.
도 11은 일실시예에 따른 피사체 인식 장치(1110)의 구조를 개념적으로 도시한 도면이다. 피사체 인식 장치(1110)는 카메라(1150)와 연결되어, 카메라(1150)로부터 피사체가 존재하는 타겟 이미지를 수신할 수 있다. 피사체 인식 장치(1110)는 수신한 타겟 이미지를 저장하는 메모리(1130)를 포함할 수 있다. 피사체 인식 장치(1110)는 타겟 이미지에 존재하는 피사체를 인식하는 프로세서(1120)를 포함할 수 있다.
피사체 인식 장치(1110)는 타겟 이미지에 존재하는 피사체를, 특징 포인트와 특징 포인트의 시간상의 움직임(또는 공간상의 움직임)에 기초하여 인식할 수 있다. 특징 포인트의 시간상의 움직임은 타겟 이미지의 이전 또는 이후에 촬영된 참조 이미지 및 타겟 이미지와의 관계로부터 결정될 수 있다. 특징 포인트의 공간상의 움직임은 타겟 이미지에 대응하는 깊이 맵 또는 시차 이미지에 기초하여 결정될 수 있다.
피사체 인식 장치(1110)는 시간 또는 공간에서 유사하게 움직이는 특징 포인트를 그룹핑하여, 특징 포인트의 군집을 생성할 수 있고, 군집에 존재하는 피사체의 종류를 결정할 수 있다. 피사체 인식 장치(1110)가 군집에 존재하는 피사체의 종류를 결정함에 있어서, 피사체를 포함하는 다양한 물체들의 소스 이미지들을 클러스터링하여 생성된 이미지 어휘 트리를 활용함으로써, 피사체 인식 장치는 실시간으로 군집에 존재하는 피사체의 종류를 결정할 수 있다. 피사체 인식 장치(1110)는 군집에 존재하는 피사체의 종류를 결정하기 위하여, 이미지 어휘 트리를 따라 피사체를 포함하는 물체들의 소스 이미지들을 클러스터링한 결과가 저장된 데이터베이스(1140)를 포함할 수 있다.
더 나아가서, 피사체 인식 장치(1110)는 단일 피사체에서 복수의 군집이 생성되는 경우를 고려하여, 단일 피사체에서 생성된 복수의 군집을 식별하고, 식별된 군집들을 서로 결합할 수 있다. 따라서, 특징 포인트의 군집들과 타겟 이미지의 피사체들이 서로 일대일 대응을 이룰 수 있다. 피사체 인식 장치(1110)는 식별된 군집들을 결합한 결과에 기초하여 타겟 이미지의 피사체들을 인식할 수 있다. 따라서, 피사체 인식 장치(1110)는 타겟 이미지에 존재하는 피사체들을 보다 정확하게 인식할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
1110: 피사체 인식 장치
1120: 프로세서
1130: 메모리
1140: 데이터베이스
1150: 카메라

Claims (18)

  1. 타겟 이미지에 포함된 특징 포인트들을 추출하는 단계;
    상기 특징 포인트들 각각의 시간상의 움직임 또는 공간상의 움직임을 나타내는 움직임 정보를 측정하는 단계 - 상기 측정된 움직임 정보는, 상기 추출된 특징 포인트들의 각각의 좌표 위치 움직임에 기초함 -;
    상기 측정된 움직임 정보에 기초하여, 상기 특징 포인트들의 군집들을 생성하는 단계;
    상기 군집들 각각에 존재하는 피사체의 적어도 일부분에 기초하여, 상기 군집들 중 적어도 하나의 군집에 존재하는 피사체의 종류를 결정하는 단계; 및
    상기 피사체의 상기 결정된 종류에 기초하여, 상기 타겟 이미지에 포함된 상기 피사체를 인식하는 단계
    를 포함하는 피사체 인식 방법.
  2. 제1항에 있어서,
    상기 결정하는 단계는,
    상기 군집들 각각을, 상기 피사체를 포함하는 물체들의 소스 이미지들을 분류한 클래스들과 비교하여, 상기 군집들 각각에 존재하는 상기 피사체의 종류를 결정하는 단계; 및
    상기 움직임 정보에 기초하여, 상기 군집들 중에서 동일한 종류의 피사체가 존재하는 것으로 결정된 군집들을 결합하는 단계
    를 포함하는 피사체 인식 방법.
  3. 제2항에 있어서,
    상기 클래스들은,
    상기 타겟 이미지에서 상기 특징 포인트들이 위치하는 픽셀들의 특징을 나타내는 특징 포인트 기술자들의 성분에 따라 결정되는 특징 공간에서 상기 물체들의 소스 이미지들을 계급적으로 분류하여 생성되는,
    피사체 인식 방법.
  4. 제2항에 있어서,
    상기 군집들 중에서 상기 클래스들과 비교하여 상기 피사체의 종류를 결정할 수 없는 군집에 대하여, 상기 피사체가 존재하지 않는 것으로 결정하는 단계
    를 더 포함하는 피사체 인식 방법.
  5. 제2항에 있어서,
    상기 결합하는 단계는,
    상기 군집 별로 상기 특징 포인트들의 움직임 정보를 결합하여 상기 군집들 각각의 움직임 정보를 계산하는 단계; 및
    상기 군집들 중에서 동일한 종류의 피사체가 존재하는 군집들 각각의 움직임 정보를 비교하여, 동일한 종류의 피사체가 존재하는 군집들을 결합할지 여부를 판단하는 단계
    를 포함하는 피사체 인식 방법.
  6. 제5항에 있어서,
    상기 결합하는 단계는,
    상기 동일한 종류의 피사체가 존재하는 군집들을 결합하는 경우, 결합된 군집들에 단일 피사체가 존재하는 것으로 결정하는 단계; 및
    상기 동일한 종류의 피사체가 존재하는 군집들을 결합하지 않는 경우, 상기 동일한 종류의 피사체가 존재하는 군집들에 종류가 동일한 복수의 피사체가 존재하는 것으로 결정하는 단계
    중에서 적어도 하나를 더 포함하는 피사체 인식 방법.
  7. 제1항에 있어서,
    상기 측정하는 단계는,
    상기 타겟 이미지가 촬영된 시간의 이전 또는 이후에 촬영된 참조 이미지에 기초하여 상기 특징 포인트들 각각의 시간상의 움직임을 나타내는 상기 움직임 정보를 결정하는,
    피사체 인식 방법.
  8. 제1항에 있어서,
    상기 측정하는 단계는,
    상기 타겟 이미지를 촬영한 카메라 및 상기 피사체간의 거리를 나타내는 깊이 정보 또는 상기 타겟 이미지가 캡쳐된 위치로부터 미리 설정된 거리만큼 이격된 위치에서 상기 피사체를 촬영하여 획득된 시차 이미지(parallax image)에 기초하여 상기 특징 포인트들 각각의 공간상의 움직임을 나타내는 상기 움직임 정보를 결정하는,
    피사체 인식 방법.
  9. 타겟 이미지에 포함된 특징 포인트들을 그룹핑하여, 상기 특징 포인트들의 군집들을 생성하는 단계;
    상기 군집들 각각에 포함된 피사체의 종류를 결정하는 단계; 및
    상기 군집들 중에서 동일한 종류의 피사체가 존재하는 경우, 동일한 종류의 피사체가 존재하는 군집들이 단일 피사체의 일부분을 포함하는지 여부를 판단하는 단계
    를 포함하고,
    상기 판단하는 단계는,
    상기 타겟 이미지보다 이전에 촬영된 참조 이미지 및 상기 타겟 이미지 사이에서 상기 군집들 각각의 움직임을 나타낸 움직임 정보를 결정하는 단계; 및
    동일한 종류의 피사체가 존재하는 군집들 각각의 움직임 정보의 차이가 미리 설정된 임계값 이하인 경우, 동일한 종류의 피사체가 존재하는 군집들이 단일 피사체의 서로 다른 일부분을 포함하는 것으로 결정하는 단계
    를 포함하는 피사체 인식 방법.
  10. 제9항에 있어서,
    상기 생성하는 단계는,
    상기 타겟 이미지 및 상기 타겟 이미지보다 이전에 촬영된 참조 이미지를 비교하여 결정되는 상기 특징 포인트들의 움직임 정보 및 상기 타겟 이미지 상에서 상기 특징 포인트들의 좌표를 서로 비교하여 결정되는 상기 특징 포인트들 사이의 유사도에 따라 상기 군집을 생성하는 피사체 인식 방법.
  11. 제9항에 있어서,
    상기 결정하는 단계는,
    상기 군집들 각각을, 상기 피사체를 포함하는 물체들의 소스 이미지들을 분류한 클래스들과 비교하여, 상기 군집들 각각에 존재하는 상기 피사체의 종류를 결정하고,
    상기 클래스들은, 상기 타겟 이미지에서 상기 특징 포인트들이 위치하는 픽셀들의 특징을 나타내는 특징 포인트 기술자들의 성분에 따라 결정되는 특징 공간에서 상기 물체들의 소스 이미지들을 계급적으로 분류하여 생성되는 피사체 인식 방법.
  12. 제11항에 있어서,
    상기 군집들 중에서 상기 클래스들과 비교하여 상기 피사체의 종류를 결정할 수 없는 군집에 대하여, 상기 피사체가 존재하지 않는 것으로 결정하는 단계
    를 더 포함하는 피사체 인식 방법.
  13. 삭제
  14. 제9항에 있어서,
    동일한 종류의 피사체가 존재하는 군집들이 단일 피사체의 서로 다른 일부분을 포함하는 경우, 동일한 종류의 피사체가 존재하는 군집들을 결합하는 단계
    를 더 포함하는 피사체 인식 방법.
  15. 타겟 이미지가 저장되는 메모리; 및
    상기 타겟 이미지에 포함된 피사체를 인식하는 프로세서
    를 포함하고,
    상기 프로세서는,
    상기 타겟 이미지에 포함된 특징 포인트들을 추출하고,
    상기 특징 포인트들 각각의 시간상의 움직임 또는 공간상의 움직임을 나타내는 움직임 정보를 결정하고 - 상기 결정된 움직임 정보는, 상기 추출된 특징 포인트들의 각각의 좌표 위치 움직임에 기초함 -;
    상기 결정된 움직임 정보에 기초하여, 상기 특징 포인트들의 군집들을 생성하고,
    상기 군집들 각각에 존재하는 피사체의 적어도 일부분에 기초하여, 상기 군집들 중 적어도 하나의 군집에 존재하는 피사체의 종류를 결정하는 단계; 및
    상기 피사체의 상기 결정된 종류에 기초하여, 상기 타겟 이미지에 포함된 상기 피사체를 인식하는,
    피사체 인식 장치.
  16. 제15항에 있어서,
    상기 프로세서는,
    복수 개의 군집에서 결정된 피사체의 종류가 서로 동일한 경우, 상기 복수 개의 군집에 포함된 특징 포인트들의 움직임 정보를 이용하여 상기 복수 개의 군집들을 결합할지 여부를 판단하고,
    상기 복수 개의 군집을 결합하는 경우, 결합된 복수 개의 군집 각각이 단일 피사체의 일부분을 포함하는 것으로 결정하고,
    상기 복수 개의 군집을 결합하지 않는 경우, 상기 복수 개의 군집 각각에 서로 다른 피사체가 존재하는 것으로 결정하는 피사체 인식 장치.
  17. 제16항에 있어서,
    상기 프로세서는,
    상기 복수 개의 군집 각각에 포함된 특징 포인트들의 움직임 정보로부터, 상기 복수 개의 군집 각각의 움직임 정보를 결정하고,
    상기 복수 개의 군집 각각에 대응하여 결정된 움직임 정보들의 차이를 미리 설정된 임계값과 비교하여, 상기 복수 개의 군집들을 결합할지 여부를 판단하는 피사체 인식 장치.
  18. 제15항에 있어서,
    상기 피사체를 포함하는 물체들의 소스 이미지들이 저장된 소스 이미지 데이터베이스
    를 더 포함하고,
    상기 프로세서는,
    상기 특징 포인트들의 성분에 따라 결정되는 특징 공간에서 상기 소스 이미지들을 계급적으로 분류하여 생성된 클래스들을 생성하고,
    상기 군집들 각각에 존재하는 피사체의 종류를 상기 생성된 클래스들 중에서 상기 군집들 각각에 매칭되는 클래스에 따라 결정하는 피사체 인식 장치.
KR1020170103028A 2017-08-14 2017-08-14 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법 KR102434574B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170103028A KR102434574B1 (ko) 2017-08-14 2017-08-14 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법
US15/886,100 US10726309B2 (en) 2017-08-14 2018-02-01 Subject recognizing method and apparatus
US16/903,702 US11423266B2 (en) 2017-08-14 2020-06-17 Subject recognizing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170103028A KR102434574B1 (ko) 2017-08-14 2017-08-14 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190018274A KR20190018274A (ko) 2019-02-22
KR102434574B1 true KR102434574B1 (ko) 2022-08-22

Family

ID=65274152

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170103028A KR102434574B1 (ko) 2017-08-14 2017-08-14 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법

Country Status (2)

Country Link
US (2) US10726309B2 (ko)
KR (1) KR102434574B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112013844B (zh) * 2019-05-31 2022-02-11 北京小米智能科技有限公司 建立室内环境地图的方法及装置
US11132577B2 (en) * 2019-07-17 2021-09-28 Cognizant Technology Solutions India Pvt. Ltd System and a method for efficient image recognition
KR20210061839A (ko) 2019-11-20 2021-05-28 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2021212297A1 (en) * 2020-04-21 2021-10-28 Beijing Voyager Technology Co., Ltd. Systems and methods for distance measurement

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009070314A (ja) * 2007-09-18 2009-04-02 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
US20140254923A1 (en) * 2011-10-19 2014-09-11 The University Of Sydney Image processing and object classification

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100877071B1 (ko) * 2007-07-18 2009-01-07 삼성전자주식회사 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
RU2542946C2 (ru) * 2009-11-19 2015-02-27 Нокиа Корпорейшн Способ и устройство для отслеживания и распознавания объектов с использованием дескрипторов, инвариантных относительно вращения
KR101706217B1 (ko) 2010-10-27 2017-02-13 한화테크윈 주식회사 지능형 보안 감시 장치 및 그 감시 방법
US20130046793A1 (en) 2011-08-19 2013-02-21 Qualcomm Incorporated Fast matching of image features using multi-dimensional tree data structures
KR101916460B1 (ko) 2012-05-16 2018-11-08 전자부품연구원 깊이 정보를 이용한 물체 인식 방법 및 장치
JP5977591B2 (ja) 2012-06-20 2016-08-24 オリンパス株式会社 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US8768049B2 (en) * 2012-07-13 2014-07-01 Seiko Epson Corporation Small vein image recognition and authorization using constrained geometrical matching and weighted voting under generic tree model
KR101433472B1 (ko) * 2012-11-27 2014-08-22 경기대학교 산학협력단 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US9330471B2 (en) * 2013-02-14 2016-05-03 Qualcomm Incorporated Camera aided motion direction and speed estimation
US9508173B2 (en) 2013-10-30 2016-11-29 Morpho, Inc. Image processing device having depth map generating unit, image processing method and non-transitory computer redable recording medium
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
US9432702B2 (en) * 2014-07-07 2016-08-30 TCL Research America Inc. System and method for video program recognition
JP6309913B2 (ja) 2015-03-31 2018-04-11 セコム株式会社 物体検出装置
JP2017073039A (ja) 2015-10-08 2017-04-13 キヤノン株式会社 物体識別装置、物体識別方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009070314A (ja) * 2007-09-18 2009-04-02 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
US20140254923A1 (en) * 2011-10-19 2014-09-11 The University Of Sydney Image processing and object classification

Also Published As

Publication number Publication date
US10726309B2 (en) 2020-07-28
US11423266B2 (en) 2022-08-23
US20200311488A1 (en) 2020-10-01
US20190050691A1 (en) 2019-02-14
KR20190018274A (ko) 2019-02-22

Similar Documents

Publication Publication Date Title
Zhu et al. Cms-rcnn: contextual multi-scale region-based cnn for unconstrained face detection
EP3327616B1 (en) Object classification in image data using machine learning models
Hannuna et al. Ds-kcf: a real-time tracker for rgb-d data
KR102434574B1 (ko) 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법
US10282639B2 (en) Object detection in image data using depth segmentation
US11663502B2 (en) Information processing apparatus and rule generation method
US9208375B2 (en) Face recognition mechanism
CN114627543A (zh) 用于脸部识别的方法和设备
JPWO2013065220A1 (ja) 画像認識装置、画像認識方法、及び集積回路
JP2019109709A (ja) 画像処理装置、画像処理方法およびプログラム
JP2013206458A (ja) 画像における外観及びコンテキストに基づく物体分類
KR20180092197A (ko) 지문 인식을 위한 후보 지문 이미지를 선정하는 장치 및 방법
US10891740B2 (en) Moving object tracking apparatus, moving object tracking method, and computer program product
US10235594B2 (en) Object detection in image data using color segmentation
KR20210108082A (ko) 위상 차를 이용하는 라이브니스 검출 방법 및 장치
KR102558736B1 (ko) 지문 인식 방법 및 장치
KR102138681B1 (ko) 이종 센서를 기반으로 객체를 검출하는 객체 검출 장치 및 방법
CN111027434B (zh) 一种行人识别模型的训练方法、装置及电子设备
Brun et al. HAck: A system for the recognition of human actions by kernels of visual strings
KR102399673B1 (ko) 어휘 트리에 기반하여 객체를 인식하는 방법 및 장치
KR20220048651A (ko) 3차원 의류 객체 생성 시스템 및 그 동작 방법
KR102027786B1 (ko) 다수의 얼굴 이미지를 동시에 사용하는 얼굴 인식 및 인증 방법 및 시스템
JP6132996B1 (ja) 画像処理装置，画像処理方法，画像処理プログラム
Santoso et al. Learning-based human detection applied to RGB-D images
KR101802061B1 (ko) 얼굴 시공간 특징에 기반한 자동 생체 인증 방법 및 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant