KR101715781B1 - 물체 인식 시스템 및 그 물체 인식 방법 - Google Patents

물체 인식 시스템 및 그 물체 인식 방법 Download PDF

Info

Publication number
KR101715781B1
KR101715781B1 KR1020100084495A KR20100084495A KR101715781B1 KR 101715781 B1 KR101715781 B1 KR 101715781B1 KR 1020100084495 A KR1020100084495 A KR 1020100084495A KR 20100084495 A KR20100084495 A KR 20100084495A KR 101715781 B1 KR101715781 B1 KR 101715781B1
Authority
KR
South Korea
Prior art keywords
image
feature
unit
rotation component
feature point
Prior art date
Application number
KR1020100084495A
Other languages
English (en)
Other versions
KR20120020711A (ko
Inventor
이지효
노경식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100084495A priority Critical patent/KR101715781B1/ko
Priority to US13/197,114 priority patent/US8731326B2/en
Priority to EP11177422.0A priority patent/EP2423850B1/en
Publication of KR20120020711A publication Critical patent/KR20120020711A/ko
Application granted granted Critical
Publication of KR101715781B1 publication Critical patent/KR101715781B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 기존의 물체 인식 알고리즘의 성능 한계를 극복하고자 인간의 시각 모델에 기반하여 환경 변화에 강인한 특징을 추출하여 물체를 인식하는 물체 인식 시스템 및 그 물체 인식 방법을 제공한다.
이를 위해, 본 발명의 일측면에 따른 물체 인식 시스템은 촬영된 영상을 저장하는 영상 데이터 저장부; 영상 데이터 저장부에 저장된 영상이 가지는 회전 성분 중 소정의 회전 성분을 가지는 영상을 추출하고, 추출된 영상에 기초하여 특징 벡터를 추출하는 특징 추출부, 물체 정보가 저장된 데이터 베이스부, 특징 추출부에서 추출된 특징 벡터를 데이터 베이스부와의 대조를 통해 촬영된 영상 중에 데이터 베이스부에 저장되어 있는 물체가 존재하는지 여부를 판단하고, 존재 여부에 따라 데이터 베이스부에 저장된 물체의 정보를 인식하는 인식부, 인식부에서 인식된 물체의 정보를 전달 받는 시스템 관리부를 포함한다.
이를 통해, 기존의 알고리즘보다 Invariance 성능 및 안정적인 인식 성능을 향상시킬 수 있고, 물체들의 종류가 다양한 공간에 지능형 로봇을 공급할 수 있는 동시에 이에 따른 실질적인 서비스를 제공할 수 있다.

Description

물체 인식 시스템 및 그 물체 인식 방법{OBJECT RECOGNITION SYSTEM AND METHOD THE SAME}
본 발명은 물체 인식 시스템 및 그 물체 인식 방법에 관한 것으로, 인간의 시각 모델에 기반하여 특징을 추출하는 알고리즘을 이용하여 물체를 인식하는 물체 인식 장치 및 그 물체 인식 방법에 관한 것이다.
일반적으로 기존의 컴퓨터 비전 분야에서의 물체 인식은 오프라인에서 인식하고자 하는 물체들의 데이터베이스를 구축하여 훈련과정을 거쳐 등록한 후 특징 추출 알고리즘과 인식기를 통해 등록된 물체들을 인식하고, 나아가서 현재 들어오는 영상에 등록된 물체의 유무를 판단하는 형태로 발전되어 왔다.
물체 데이터베이스 구축 시 3차원 CAD 모델을 사용 하는 경우 사람의 수동 작업이 반드시 필요하므로 실제 로봇 서비스 측면에서 볼 때 활용 가능성이 없다. 　최근엔 수동 작업이 필요하지 않은 물체 특징 추출 및 등록 기법이 발전되어 오고 있지만 환경 변화에 강인한 물체 인식 측면에서 볼 때 한계점을 가지고 있다.
물체 인식에서 고려하고 있는 환경 변화란 크게 조명변화나 노이즈 등에 의해 생기는 색도 불변(Photometric Invariance) 측면과, 카메라의 각도나 물체와의 거리 변화와 관련된 기하학적 불변(Geometric Invariance)으로 구분할 수 있다. 불변(Invariance) 요소가 중요한 이유는 로봇의 서비스 측면에서 생각해 볼 때 각 가정 및 개인마다 사용하고 있는 물체의 종류와 특징이 다를 수 밖에 없기 때문에 개인 보호 및 프라이버시 측면에서 엔지니어가 직접 원하는 물체 리스트를 사용자에게 받아 등록 시키는 것은 현실성이 떨어져 사용자가 직접 등록할 수 밖에 없다. 즉, 사용자가 직접 물체를 온라인 또는 오프라인 상에서 학습시켜야 한다는 면에서 물체 별로 각 변화에 대응하도록 많은 영상을 수집하는 것은 번거롭기 때문에 한 번의 등록에서 얼마나 많은 변화에 대응하고 안정적인 인식률을 유지할 수 있는지가 중요한 기준이 된다.
그러나 기존의 물체 인식 시스템은 환경 변화에 강인하지 못한 한계점을 보인다.
본 발명의 일 측면에 따르면, 기존의 물체 인식 알고리즘의 성능 한계를 극복하고자 인간의 시각 모델에 기반하여 환경 변화에 강인한 특징을 추출하여 물체를 인식하는 물체 인식 시스템 및 그 물체 인식 방법을 제공한다.
이를 위해 본 발명의 일 측면에 따른 물체 인식 시스템은, 촬영된 영상을 저장하는 영상 데이터 저장부; 영상 데이터 저장부에 저장된 영상이 가지는 회전 성분 중 소정의 회전 성분을 가지는 영상을 추출하고, 추출된 영상에 기초하여 특징 벡터를 추출하는 특징 추출부; 물체 정보가 저장된 데이터 베이스부; 특징 추출부에서 추출된 특징 벡터를 데이터 베이스부와의 대조를 통해 촬영된 영상 중에 데이터 베이스부에 저장되어 있는 물체가 존재하는지 여부를 판단하고, 존재 여부에 따라 데이터 베이스부에 저장된 물체의 정보를 인식하는 인식부; 인식부에서 인식된 물체의 정보를 전달받는 시스템 관리부를 포함한다.
또한, 물체 인식 시스템의 특징 추출부는 특징 포인트 추출기, 특징 포인트 선별기, 특징 벡터 생성기를 포함할 수 있다.
또한, 물체 인식 시스템의 특징 포인트 추출기는 영상 데이터 저장부에 저장된 영상을 소정의 회전 성분을 가지는 필터에 통과시켜 특징 포인트를 추출하는 Hessian 특징 포인트 추출기가 될 수 있다.
또한, 물체 인식 시스템의 특징 포인트 추출기는 영상 정보에서 특징 벡터를 생성할 후보 포인트들을 추출할 수 있다.
또한, 물체 인식 시스템의 특징 포인트 추출기는 영상이 가지는 회전 성분 중 0도 회전 성분을 가지는 영상을 추출하고 추출된 영상에 기초하여 특징 포인트를 추출하는 0도 특징 포인트 추출기와, 영상이 가지는 회전 성분 중 45도 회전 성분을 가지는 영상을 추출하고 추출된 영상에 기초하여 특징 포인트를 추출하는 45도 특징 포인트 추출기를 포함할 수 있다.
또한, 물체 인식 시스템의 특징 포인트 선별기는 특징 포인트 추출기에 의해 추출된 후보 포인트들로부터 특징 포인트를 선별할 수 있다.
또한, 특징 포인트 선별기는 후보 포인트들 간에 겹치는 좌표가 있는지를 판단하고, 겹치는 좌표가 있다면 겹치는 좌표 중에 위치의 변화량이 큰 포인트를 특징 포인트로 선별할 수 있다.
또한, 물체 인식 시스템의 특징 벡터 생성기는 특징 포인트 선별기에 의해 선별된 포인트들에 기초하여 특징 벡터를 생성할 수 있다.
또한, 인식부는 특징 추출부에 의해 출력된 특징 벡터를 데이터 베이스부와 대조하여 데이터 베이스부에 저장되어 있는 물체의 존재 유무를 판단하고, 존재한다고 판단되면 존재하는 물체들의 정보를 인식하고 시스템 관리부로 인식된 정보를 전달할 수 있다.
본 발명의 다른 측면에 따른 물체 인식 방법은 물체의 영상을 촬영하여 데이터로 저장하고, 데이터로 저장된 영상이 가지는 회전 성분 중 소정의 회전 성분을 가지는 영상을 추출하고 추출된 영상에 기초하여 특징 포인트를 추출하고, 추출된 특징 포인트들 간에 겹치는 좌표가 있는지를 판단하고, 겹치는 좌표가 있다면 상기 겹치는 좌표 중에 위치의 변화량이 큰 포인트를 특징 포인트로 선별하고, 선별된 특징 포인트를 통해 특징 벡터를 생성하고, 생성된 특징 벡터를 데이터 베이스부와 대조하여 데이터 베이스부에 저장되어 있는 물체의 존재 유무를 판단하고, 물체가 존재한다고 판단되면 존재하는 물체의 정보를 출력한다.
이상에서 설명한 본 발명의 실시예에 따르면, 기존의 알고리즘보다 Invariance 성능 및 안정적인 인식 성능을 향상시킬 수 있다. 또한, 물체들의 종류가 다양한 각 공간에 지능형 로봇의 보급 및 실질적인 서비스를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 인간 시각모델 기반 특징 추출 알고리즘을 이용한 물체 인식 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 회전 성분 필터를 도시한 개략도이다.
도 3은 본 발명의 일 실시예에 따른 물체 인식 시스템의 동작과정을 도시한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 특징 포인트 추출기의 동작과정을 도시한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 특징 포인트 선별기의 동작과정을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대해 설명한다.
인간의 시각 시스템은 다양한 각도를 가지고 있는 필터들을 이용해 물체에 대한 특징을 추출하고 물체를 정확하게 인식한다. 따라서, 인간 시각모델 기반 특징 추출 알고리즘을 이용하여 환경 변화에 강인한 물체 인식 시스템을 구현하기 위해서는 인간의 시각에서 사용되는 다양한 각도를 가지고 있는 필터들을 이용하여 특징을 추출하는 것이 중요하다. 본 발명은 이러한 인간 시각모델 기반 알고리즘을 이용하여 물체를 인식하는 Local Feature 방식의 물체 인식 시스템 및 그 방법에 관한 것이다.
도 1은 본 발명의 일 실시예에 따른 인간 시각모델 기반 특징 추출 알고리즘을 이용한 물체 인식 시스템의 블록도이다.
인간의 시각모델 기반 특징 추출 알고리즘을 이용한 물체 인식 시스템은 촬영부(10), 영상 데이터 저장부(20), 특징 추출부(30), 데이터 베이스부(40), 인식부(50), 시스템 관리부(60)로 구성되어 있다.
촬영부(10)는 물체를 영상 이미지로 촬영한다. 촬영부(10)는 카메라, 캠코더를 포함할 수 있다. 또한, 촬영부(10)는 모노 카메라 또는 스테레오 카메라 또는 3대 이상의 카메라를 포함할 수 있다.
영상 데이터 저장부(20)는 촬영부(10)로부터 출력된 영상 데이터를 받아 저장한 후 특징 추출부(30)에 저장된 영상을 전달한다.
특징 추출기(30)는 영상 데이터 저장부(20)로부터 받은 영상 정보를 활용하여 특징 벡터를 추출하고 인식부(50) 및 시스템 관리부(60)에 특징 벡터 추출 결과를 전달한다. 특징 추출부(30)는 세부적으로 Hessian 특징 포인트 추출기(0도)(31), Hessian 특징 포인트 추출기(45도)(32), 특징 포인트 선별기(34), 특징 벡터 생성기(36)를 포함한다.
Hessian 특징 포인트 추출기는 물체를 인식하는데 사용하는 Hessian detector를 포함한다. Hessian detector는 Haar Wavelet Function 필터를 기반으로 하는데, 기존 Haar Wavelet Function 필터는 0도와 90도만을 고려한 필터이다. 본 발명의 일실시예에 따른 Hessian 특징 포인트 추출기는 기존 Haar Wavelet Function 필터에 45도와 135도에 대한 필터를 추가한 Hessian detector를 포함한다.
Hessian 특징 포인트 추출기(0도)(31)는 회전하지 않은 미분 필터들의 결과값들을 바탕으로 영상의 각 지점들에 대한 Determinant값을 출력한다. 여기서, 영상의 각 지점들에 대한 Determinant값은 x, y 방향을 모두 고려하여 2차 미분한 영상의 각 지점들에 대한 값이다.
Hessian 특징 포인트 추출기(45도)(32)는 45도 회전된 미분 필터들의 결과값들을 바탕으로 영상의 각 지점들에 대한 Determinant값을 출력한다.
특징 포인트 선별기(34)는 위의 두 Hessian 특징 포인트 추출기(31, 32)의 영상 각 포인트의 Determinant 값들을 바탕으로 특징 벡터를 추출할 영상의 특정 포인트들을 선별한다.
특징 벡터 생성기(36)는 특징 포인트 선별기(34)로부터 전달된 영상 포인트들로부터 특징 벡터들을 생성한다. 특징 벡터 생성기(36)를 통해 생성된 특징 벡터들은 특징 포인트 선별기(34)를 통해 선별된 포인트들을 기초로 한 위치와 방향성을 가지는 벡터이다.
데이터 베이스부(40)는 존재하는 물체에 대한 정보를 미리 저장해 놓은 곳이다.
인식부(50)는 특징 추출부(30) 및 시스템 관리부(60)로부터 전달받은 물체 정보 및 명령을 기초로 하고, 데이터 베이스부(40)와 대조를 통해, 촬영부(10)에서 촬영된 물체가 데이터 베이스부(40)에 저장되어 있는지 여부를 판단하고, 만약 촬영된 물체가 데이터 베이스부(40)에 존재한다고 판단되는 경우에는, 데이터 베이스부(40)에 존재하는 물체의 정보를 도출한다. 이 때, 물체들의 정보는 물체의 이름 또는 물체의 위치를 포함한다. 또한, 도출된 물체의 정보는 물체의 정보를 활용하기 위해서 시스템 관리부(60)로 전달된다.
시스템 관리부(60)는 촬영부(10)로부터 영상 데이터를 출력하도록 명령하고 영상 데이터 저장부(20)에 데이터 저장 명령을 내리고, 특징 추출부(30)에 특징 벡터를 추출하도록 명령을 내린다. 또한 물체 인식부(50)에 물체 인식 명령을 내리고, 물체 인식 결과인 도출된 물체의 정보를 전달 받는다. 인식부(50)에서 도출된 물체의 정보를 시스템 관리부(60)가 전달 받은 후에는, 시스템 관리부(60)가 전달받은 물체의 정보를 사용자가 볼 수 있도록 표시하거나 다른 제어 명령의 소스(source)로 전달할 수 있다.
도 2는 본 발명의 일 실시예에 따른 회전 성분 필터를 도시한 개략도이다.
본 발명의 일 실시예에 따른 특징 추출부(30)에서 영상 데이터 저장부(20)에 저장된 영상이 가지는 회전 성분 중 소정의 회전 성분을 가지는 영상을 추출하는 과정은 소정의 회전 성분을 가지는 필터(filter)로 달성할 수 있다.
본 발명의 일 실시예에 따른 물체 인식 시스템이 포함하는 필터는 회전 성분이 0도인 필터(1), 회전 성분이 90도인 필터(2), 회전 성분이 45도인 필터(3), 회전 성분이 135도인 필터(4)를 포함한다. 이러한 필터들은 180도에 가까운 회전 범위를 가지는 인간 시각에 기초하여, 최대한 인간 시각에 가깝게 하기 위해서 0도, 45도, 90도, 135도의 회전 각도 성분을 가진다.
기존 물체 인식에 사용된 Hessian detector의 기반이 되는 Haar Wavelet Function 필터의 경우 회전 성분이 0도인 필터(1)와 회전 성분이 90도인 필터(2)만을 고려했다. 따라서 본 발명의 일 실시예에 따른 물체 인식 시스템은 회전 성분이 45도인 필터(3)와 회전 성분이 135도인 필터(4)가 추가된 특징 추출 시스템을 제안한다. 여기서, 특징 추출 시 사용하는 Haar Wavelet Function의 경우, 45도 방향에 대한 필터만 추가하면, 45도 방향에 대한 필터(3)가 135도 방향에 대한 필터(4)의 역할도 수행하므로(자세히는 아래의 수식 설명을 참조), 45도 방향에 대한 필터(3)만 추가하는 것으로도 4가지 방향에 대한 물체 인식이 가능한 본 발명의 특징 추출 시스템이 이루어질 수 있다.
Hessian detector의 경우, (아래의 수식 1에서 보듯이) 2차 미분 값들로 이루어진 행렬에서, (아래 수식 2에서 보듯이) 행렬의 Determinant를 주요 핵심 function으로 사용한다.
수식 1
Figure 112010056259260-pat00001
수식 2
det (H) = DxxDyy -( wDxy ) 2
수식 1에서 H는 Hessian Matrix를 나타내고, Dxx는 x방향에 대해 2차 미분한 값이고, Dxy는 x, y방향에 대해 2차 미분한 값이고, Dyy는 y방향에 대해 2차 미분한 값에 해당한다. Hessian Matrix는 함수 f(x, y)를 y방향으로 먼저 편미분하고 x방향으로 편미분했을 때와, x방향으로 먼저 편미분하고 y방향으로 편미분했을 때의 값이 같은 경우의 Matrix를 말한다.
수식 2에서 det (H) 는 행렬 H의 Determinant을 구하는 식이고, 여기서 w 는 상수값에 해당한다.
수식 1, 2를 45도 회전 성분의 필터(3) 및 135도 회전 성분의 필터(4)에 각각 적용하면, Hessian Matrix 형태는 상이하나, Determinant의 값은 동일하다. 이는 위에서 살펴본 바와 같이, 함수 f(x, y)를 y방향으로 먼저 편미분하고 x방향으로 편미분했을 때와, x방향으로 먼저 편미분하고 y방향으로 편미분했을 때의 값이 같게 나오기 때문이다.
여기서, 45도 회전 성분의 필터(3)가 추가되면 135도 회전 성분 필터(4)일 경우와 동일한 행렬값인 Determinant 값을 가지게 되므로, 결론적으로 45도 회전 성분 필터(3)의 추가만으로 인간이 물체를 인식하는데 있어 중요한 인자로 이용하는 4가지 방향 성분에 대한 결과값들을 얻을 수 있어, 인간 시각에 좀 더 근접하는 물체 인식 시스템을 구현할 수 있고, 이에 따라 향상된 물체 인식 성능을 가질 수 있다.
즉, Geometric Invariance에서 강인한 특성을 보이는 Hessian Detector의 경우에도 시점 변화 (Rotation or View point change)에 약한 면모를 보이는데, 본 발명의 일실시예에 따른 물체 인식 시스템은, 도 2에 도시된 45도 회전 성분 필터(3)를 포함함으로서, 이러한 환경 변화에 강인해질 수 있다.
도 3은 본 발명의 일실시예에 따른 물체 인식 시스템의 동작과정을 도시한 순서도이다.
본 시스템이 시작되면 물체 인식을 위해 시스템 관리부(60)가 촬영부(10)를 호출한다(100). 호출 받은 촬영부(10)는 영상을 촬영하고 촬영된 영상 데이터는 영상 데이터 저장부(20)에 저장된다(110). 영상 데이터가 존재하지 않을 경우에는 다시 촬영부(10)를 호출하고, 영상 데이터가 존재할 경우 특징 추출부(30)를 통해 특징 벡터를 생성하는데, 특징 추출부(30)의 세부 동작은 다음과 같다(120).
먼저, 전달된 영상 데이터로부터 서로 다른 특성을 갖는 Hessian detector를 통해 일차적으로 특징 벡터를 생성할 후보 포인트들을 추출한다(131, 132). 서로 다른 특성을 갖는 Hessian detector 중 하나는 회전 성분이 0도인 필터(1)를 포함하고, 다른 하나는 회전 성분이 45도인 필터(3)를 포함한다. 회전 성분이 0도인 필터(1)를 포함하는 Hessian detector를 통해서는 회전하지 않은 전달 영상의 특징 포인트를 추출한다(131). 회전 성분이 45도인 필터(3)를 포함하는 Hessian detector를 통해서는 45도를 회전한 전달 영상의 특징 포인트를 추출한다(132). 두 가지 Hessian 특징 포인트 추출기를 통해서 추출된 포인트는 포인트 선별 단계의 입력신호로 전달된다.
전달받은 영상 내의 후보 포인트들로부터 특징 포인트를 선별한다(134). 특징 포인트 선별 조건은 첫째, 후보 포인트 간에 겹치는 좌표가 있는가를 판단한다. 둘째, 후보 포인트 간에 겹치는 좌표가 있다면, 더 큰 Determinant 특성을 갖는 포인트는 어느 것인가를 판단한다. 셋째, 겹치는 좌표 중 더 큰 Determinant 특성을 가지는 포인트를 선별한다.
특징 벡터 생성기(36)를 통해 특징 포인트 선별기(34)로부터 전달된 선별된 영상의 포인트들로부터 특징 벡터를 생성한다(136). 생성되는 특징 벡터는 선별된 영상의 포인트들을 기초로 한 방향성과 크기를 가지는 벡터이다.
추출된 특징 벡터는 인식부(50)로 넘어가게 되는데, 인식부(50)에서는 특징 추출부(30)로부터 전달받은 특징 정보로부터 데이터 베이스부(40)와의 대조를 통해 데이터 베이스부(40)에 저장되어 있는 물체의 존재 유무를 판단하고 존재하는 물체들의 정보를 도출한다(150). 물체의 정보는 물체의 이름 또는 위치를 포함한다. 도출된 물체들의 정보는 시스템 관리부(60)로 전달되고, 전달된 물체 정보는 시스템 관리부(60)에 의한 제어에 사용된다.
도 4는 본 발명의 일실시예에 따른 특징 포인트 추출기의 동작과정을 도시한 순서도이다.
도 4에 도시된 것은, 특징 포인트 추출기(31, 32) 중에서 Hessian 특징 포인트 추출기(45도)(32)에 관한 것이다.
45도 Hessian 특징 포인트 추출 과정을 보면(200), 먼저 45도에 해당하는 Integral Image가 인가되면(210), Filter size를 계산한다(210). 다음으로 x, y축에 대한 2차 미분값인 Dxx, Dxy, Dyy를 계산한다(230). 계산된 2차 미분값인 Dxx, Dxy, Dyy로 구성된 행렬의 Determinant를 계산한다(240). 계산된 Determinant값을 가지는 Image를 Image scale space buffer에 저장한다(250). 저장된 Image의 Interval을 기설정된 Interval(INT)과 비교한다(260). Interval은 Image의 특징 포인트를 추출하기 위해 Image에 Gaussian Blurring 효과를 주는 과정에서 Blurrig 정도를 나타내는 값이다. 저장된 Image의 Interval이 기설정된 Interval(INT)보다 작으면 Interval을 1 증가시켜 Filter size를 다시 계산하고(265), 크면 Octave를 비교하는 단계로 넘어간다(270). 저장된 Image의 Octave이 기설정된 Octave(OCT)보다 작으면 Octave를 1 증가시켜 Filter size를 다시 계산하고(275), 크면 Hessian 특징 포인트 결정과정(300)으로 넘어간다. Octave는 Image의 특징 포인트를 추출하기 위해 Image에 Gaussian Blurring 효과를 주는 과정에서 Image size가 줄어드는 정도를 나타내는 값이다.
Hessian 특징 포인트 결정과정(300)은 먼저, Determinant(x, y, int)를 계산한다(310). 다음으로, Determinant(x, y, int)가 인접 픽셀의 determinant보다 큰 값을 가지는지 판단한다(320). 만약 Determinant(x, y, int)가 인접 픽셀의 determinant보다 크면 x, y 좌표를 증가시켜 다시 Determinant(x, y, int)를 계산한다(350). 만약 Determinant(x, y, int)가 인접 픽셀의 determinant보다 작으면 해당 좌표를 저장(330) 및 위치를 보정(Interpolation)(340)한 후, x, y 좌표를 증가시켜 다시 Determinant(x, y, int)를 계산한다(350).
도 5는 본 발명의 일실시예에 따른 특징 포인트 선별기의 동작과정을 도시한 순서도이다.
특징 포인트 선별 과정(400)은 먼저, 0도 및 45도 특징 포인트 bank를 생성한다(410). 다음, 0도의 n번째 특징 포인트 좌표인 (x, y, s)를 선택한다(420). 선택된 특징 포인트 좌표 (x, y, s)와 일치하는 좌표가 45도 특징 포인트 bank 중에 있는지 판단한다(430). 만약 일치하는 좌표가 있으면 45도 특징 포인트 좌표를 삭제하고(440), n값과 기설정된 N값과 비교하는 과정을 수행한다(450). 만약 일치하는 좌표가 없으면 바로 n값과 기설정된 N값과 비교하는 과정을 수행한다(450). n값이 기설정된 N값과 같으면 선별 과정을 종료하고, n값이 설정된 N값과 다르면 n값을 1 증가시키고, 다시 0도의 n번째 특징 포인트 좌표인 (x, y, s)를 선택하는 과정을 수행한다(460).
1 : 0도 회전 성분 필터 2 : 90도 회전 성분 필터
3 : 45도 회전 성분 필터 4 : 135도 회전 성분 필터
10 : 촬영부 20 : 영상 데이터 저장부
30 : 특징 추출부 31, 32 : Hessian 특징 포인트 추출기
34 : 특징 포인트 선별기 36 : 특징 벡터 생성기
40 : 데이터 베이스부 50 : 인식부
60 : 시스템 관리부

Claims (12)

  1. 촬영된 영상을 저장하는 영상 데이터 저장부;
    상기 영상 데이터 저장부에 저장된 영상이 가지는 회전 성분 중 첫 번째 회전 성분을 가지는 영상 및 두 번째 회전 성분을 가지는 영상을 추출하고, 상기 추출된 영상에 기초하여 특징 벡터를 추출하는 특징 추출부;
    물체 정보가 저장된 데이터 베이스부;
    상기 특징 추출부에서 추출된 특징 벡터를 상기 데이터 베이스부에 저장된 물체 정보와의 대조하여, 상기 촬영된 영상 중에 상기 데이터 베이스부에 저장되어 있는 물체가 존재하는지 여부를 판단하고, 존재 여부에 따라 상기 데이터 베이스부에 저장된 물체의 정보를 인식하는 인식부;
    상기 인식부에서 인식된 물체의 정보를 전달 받는 시스템 관리부를 포함하는 물체 인식 시스템.
  2. 제1항에 있어서,
    상기 특징 추출부는 특징 포인트 추출기, 특징 포인트 선별기, 특징 벡터 생성기를 포함하는 물체 인식 시스템.
  3. 제2항에 있어서,
    상기 특징 포인트 추출기는 상기 영상 데이터 저장부에 저장된 영상을 소정의 회전 성분을 가지는 필터에 통과시켜 특징 포인트를 추출하는 Hessian 특징 포인트 추출기인 물체 인식 시스템.
  4. 제3항에 있어서,
    상기 특징 포인트 추출기는 상기 영상 데이터 저장부에 저장된 영상에서 특징 벡터를 생성할 후보 포인트들을 추출하는 물체 인식 시스템.
  5. 제4항에 있어서,
    상기 특징 포인트 추출기는,
    상기 첫 번째 회전 성분을 가지는 영상을 추출하여 상기 추출된 영상에 기초하여 첫 번째 특징 포인트를 추출하고,
    상기 두 번째 회전 성분을 가지는 영상을 추출하여 상기 추출된 영상에 기초하여 두 번째 특징 포인트를 추출하는 물체 인식 시스템.
  6. 제5항에 있어서,
    상기 특징 포인트 선별기는 상기 특징 포인트 추출기에 의해 추출된 후보 포인트들로부터 특징 포인트를 선별하는 물체 인식 시스템.
  7. 제6항에 있어서,
    상기 특징 포인트 선별기는 상기 후보 포인트들 간에 겹치는 좌표가 있는지를 판단하고, 겹치는 좌표가 있다면 상기 겹치는 좌표 중에 위치의 변화량이 최대인 포인트를 특징 포인트로 선별하는 물체 인식 시스템.
  8. 제7항에 있어서,
    상기 특징 벡터 생성기는 상기 특징 포인트 선별기에 의해 선별된 포인트들에 기초하여 특징 벡터를 생성하는 물체 인식 시스템.
  9. 제2항에 있어서,
    상기 인식부는 상기 특징 추출부에 의해 출력된 특징 벡터를 데이터 베이스부와 대조하여 데이터 베이스부에 저장되어 있는 물체의 존재 유무를 판단하고, 존재한다고 판단되면 존재하는 물체들의 정보를 인식하고 상기 시스템 관리부로 인식된 정보를 전달하는 물체 인식 시스템.
  10. 물체의 영상을 촬영하여 데이터로 저장하고,
    상기 데이터로 저장된 영상이 가지는 회전 성분 중 첫 번째 회전 성분을 가지는 영상 및 두 번째 회전 성분을 가지는 영상을 추출하고, 상기 추출된 영상에 기초하여 특징 포인트를 추출하고,
    상기 추출된 특징 포인트들 간에 겹치는 좌표가 있는지를 판단하고, 겹치는 좌표가 있다면 상기 겹치는 좌표 중에 위치의 변화량이 최대인 포인트를 특징 포인트로 선별하고,
    상기 선별된 특징 포인트를 통해 특징 벡터를 생성하고,
    상기 생성된 특징 벡터를 데이터 베이스부와 대조하여 데이터 베이스부에 저장되어 있는 물체의 존재 유무를 판단하고, 상기 물체가 존재한다고 판단되면 존재하는 물체의 정보를 출력하는 물체 인식 방법.
  11. 제 5항에 있어서,
    상기 첫 번째 회전 성분은 0도 회전 성분을 포함하고
    상기 두 번째 회전 성분은 45도 회전 성분을 포함하는 물체 인식 시스템.
  12. 제 5항에 있어서,
    상기 첫 번째 회전 성분은 0도 회전 성분 및 90도 회전 성분을 포함하고
    상기 두 번째 회전 성분은 45도 회전 성분 및 135도 회전 성분을 포함하는 물체 인식 시스템.
KR1020100084495A 2010-08-31 2010-08-31 물체 인식 시스템 및 그 물체 인식 방법 KR101715781B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100084495A KR101715781B1 (ko) 2010-08-31 2010-08-31 물체 인식 시스템 및 그 물체 인식 방법
US13/197,114 US8731326B2 (en) 2010-08-31 2011-08-03 Object recognition system and method
EP11177422.0A EP2423850B1 (en) 2010-08-31 2011-08-12 Object recognition system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100084495A KR101715781B1 (ko) 2010-08-31 2010-08-31 물체 인식 시스템 및 그 물체 인식 방법

Publications (2)

Publication Number Publication Date
KR20120020711A KR20120020711A (ko) 2012-03-08
KR101715781B1 true KR101715781B1 (ko) 2017-03-13

Family

ID=44658633

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100084495A KR101715781B1 (ko) 2010-08-31 2010-08-31 물체 인식 시스템 및 그 물체 인식 방법

Country Status (3)

Country Link
US (1) US8731326B2 (ko)
EP (1) EP2423850B1 (ko)
KR (1) KR101715781B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101385143B1 (ko) * 2012-06-27 2014-04-15 한국과학기술원 중력을 이용한 영상 객체 인식 방법 및 장치
WO2015114621A1 (en) 2014-02-02 2015-08-06 Trax Technology Solutions Pte. Ltd. System and method for panoramic image processing
US10402777B2 (en) 2014-06-18 2019-09-03 Trax Technology Solutions Pte Ltd. Method and a system for object recognition
WO2015193877A1 (en) * 2014-06-18 2015-12-23 Trax Technology Solutions Pte. Ltd. A method and a system for object recognition
JP6598660B2 (ja) * 2015-12-01 2019-10-30 キヤノン株式会社 画像処理装置および画像処理方法
CN110321908A (zh) * 2018-03-29 2019-10-11 华为技术有限公司 图像识别方法、终端设备及计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
EP1850270B1 (en) * 2006-04-28 2010-06-09 Toyota Motor Europe NV Robust interest point detector and descriptor
US20080187213A1 (en) * 2007-02-06 2008-08-07 Microsoft Corporation Fast Landmark Detection Using Regression Methods

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hessian-laplace feature detector anf haar descriptor for image matching*
Robust real-time face detection, Journal of computer vision*

Also Published As

Publication number Publication date
KR20120020711A (ko) 2012-03-08
EP2423850B1 (en) 2022-10-05
US8731326B2 (en) 2014-05-20
EP2423850A2 (en) 2012-02-29
EP2423850A3 (en) 2017-12-20
US20120051652A1 (en) 2012-03-01

Similar Documents

Publication Publication Date Title
CN108111818B (zh) 基于多摄像机协同的运动目标主动感知方法和装置
KR101791590B1 (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
JP5812599B2 (ja) 情報処理方法及びその装置
JP5631086B2 (ja) 情報処理装置及びその制御方法、プログラム
WO2019042426A1 (zh) 增强现实场景的处理方法、设备及计算机存储介质
KR101715781B1 (ko) 물체 인식 시스템 및 그 물체 인식 방법
JP4906683B2 (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
JP2006146323A (ja) 顔特徴照合装置、顔特徴照合方法、及びプログラム
US9323989B2 (en) Tracking device
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
CN108259764A (zh) 摄像机、应用于摄像机的图像处理方法及装置
CN109753930A (zh) 人脸检测方法及人脸检测系统
CN109089102A (zh) 一种基于双目视觉的机器人物品识别分类方法及系统
WO2016116206A1 (en) Object detecting method and object detecting apparatus
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
WO2019215780A1 (ja) 識別システム、モデル再学習方法およびプログラム
KR101715782B1 (ko) 물체 인식 시스템 및 그 물체 인식 방법
CN113610969A (zh) 一种三维人体模型生成方法、装置、电子设备及存储介质
KR20110133677A (ko) 3ｄ 영상 처리 장치 및 그 방법
CN110211155A (zh) 目标跟踪方法及相关装置
US20130076868A1 (en) Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same
Miranto et al. Realization of point cloud maps using ROS & visual sensor on Raspberry Pi 3 based mobile robot
Yan et al. Exposing photo manipulation with inconsistent perspective geometry
KR101718309B1 (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
KR101711307B1 (ko) 깊이정보 기반의 안면인식 휴대장치 또는 컴퓨터 기기 잠금해제시스템

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20100831

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20150831

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20100831

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160523

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20161221

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170307

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170308

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20200225

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210222

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20220216

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20230214

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20240219

Start annual number: 8

End annual number: 8