KR101916460B1 - 깊이 정보를 이용한 물체 인식 방법 및 장치 - Google Patents

깊이 정보를 이용한 물체 인식 방법 및 장치 Download PDF

Info

Publication number
KR101916460B1
KR101916460B1 KR1020120051871A KR20120051871A KR101916460B1 KR 101916460 B1 KR101916460 B1 KR 101916460B1 KR 1020120051871 A KR1020120051871 A KR 1020120051871A KR 20120051871 A KR20120051871 A KR 20120051871A KR 101916460 B1 KR101916460 B1 KR 101916460B1
Authority
KR
South Korea
Prior art keywords
recognized
clusters
color
image
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020120051871A
Other languages
English (en)
Other versions
KR20130128097A (ko
Inventor
황영배
배주한
최병호
김제우
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020120051871A priority Critical patent/KR101916460B1/ko
Publication of KR20130128097A publication Critical patent/KR20130128097A/ko
Application granted granted Critical
Publication of KR101916460B1 publication Critical patent/KR101916460B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

깊이 정보를 이용한 물체 인식 방법 및 장치가 제공된다. 본 물체 인식 방법은, 컬러-이미지와 깊이-이미지를 획득하는 단계, 깊이-이미지에 나타난 깊이 정보를 기초로, 컬러-이미지를 다수의 클러스터들로 클러스터링하는 단계 및 클러스터링된 클러스터들을 기반으로 물체 인식을 수행하는 단계를 포함한다. 이에 의해, 특징점 기반의 물체 인식에서 물체의 특징점이 별로 없는 경우나 복잡 배경을 가진 물체의 경우에도, 보다 신뢰성 있게 물체 인식율을 높일 수 있게 된다.

Description

깊이 정보를 이용한 물체 인식 방법 및 장치{Object recognition method and apparatus using depth information}
본 발명은 물체 인식 방법 및 장치에 관한 것으로, 더욱 상세하게는 깊이 정보를 이용한 물체 인식 방법 및 장치에 관한 것이다.
촬영된 이미지에서 찾고자 하는 물체가 존재하는지 여부를 인식하기 위한 방법으로 특징점 매칭 기법이 주로 이용되고 있다.
이 기법은 이미지 상에서 찾고자 하는 물체의 존재여부는 물론 존재 위치까지 비교적 정확하게 알아낼 수 있지만, 경우에 따라 정확도가 떨어지는 문제를 드러내고 있다.
구체적으로, 배경에 의해 잘못된 물체 인식이 발생할 수 있는데, 이는 배경이 복잡할수록 더욱 그러하다. 뿐만 아니라, 특징 기술자가 식별력이 적은 경우나, 인식 물체가 균일한 경우에도 잘못된 특징점 대응이 나타나, 부정확한 인식을 유발한다.
한편, 물체 인식을 위한 특징점 매칭은 이미지 전체에 대해 수행되기 때문에 처리량의 증가로 인한 인식 속도 저하를 유발하는데, 이미지의 해상도가 높아지는 추세를 고려한다면 속도 저하는 더욱 가중될 것이라는데 문제가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 특징점 기반의 물체 인식에서 물체의 특징점이 별로 없는 경우나 복잡 배경을 가진 물체의 경우에도, 보다 신뢰성 있게 물체 인식율을 높일 수 있는 물체 인식 방법 및 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 물체 인식 방법은, 컬러-이미지와 깊이-이미지를 획득하는 단계; 깊이-이미지에 나타난 깊이 정보를 기초로, 컬러-이미지를 다수의 클러스터들로 클러스터링하는 단계; 및 클러스터링된 클러스터들을 기반으로, 물체 인식을 수행하는 단계;를 포함한다.
그리고, 물체 인식 수행 단계는, 클러스터들 각각과 인식 물체들 각각에 대해 특징점 매칭을 수행하는 단계; 클러스터들 내의 일부 영역들을 후보 영역들로 선정하는 단계; 및 선정된 후보 영역들을 포함하는 클러스터들 밖에서 이루어진 특징점 매칭을 배제하고, 물체 인식을 수행하는 단계;를 포함할 수 있다.
또한, 물체 인식 수행 단계는, 클러스터들 내의 일부 영역들을 후보 영역들로 선정하는 단계; 후보 영역들 각각과 인식 물체들 각각에 대해 특징점 매칭을 수행하는 단계; 및 특징점 매칭 결과를 이용하여, 물체 인식을 수행하는 단계;를 포함할 수 있다.
그리고, 후보 영역 선정 단계는, 클러스터들 각각에 대한 컬러-히스토그램들과 인식 물체들 각각에 대한 컬러-히스토그램들을 비교하여, 클러스터들 내의 일부 영역들을 후보 영역들로 선정하는 제1 선정 단계; 및 제1 선정 단계에서 선정된 후보 영역과 인식 물체의 깊이 통계치들을 비교하고, 통계치 차가 임계치 미만인 후보 영역과 인식 물체를 선정하는 제2 선정단계;를 포함할 수 있다.
또한, 물체 인식 수행 단계는, 클러스터들 내의 일부 영역들을 후보 영역들로 선정하는 제1 선정 단계; 제1 선정단계에서 선정된 후보 영역들 각각과 인식 물체들 각각에 대해 특징점 매칭을 수행하는 단계; 제1 선정단계에서 선정된 후보 영역들 중 일부를 다시 선정하는 제2 선정 단계; 및 제2 선정 단계에서 선정된 후보 영역들 밖에서 이루어진 특징점 매칭을 배제하고, 물체 인식을 수행하는 단계;를 포함할 수 있다.
그리고, 다수의 클러스터에서 인식된 인식 물체는 인식되지 않은 것으로 처리하는 단계;를 더 포함할 수 있다.
또한, 컬러-이미지에서 다수의 인식 물체가 인식되는 경우, 클러스터와 인식 물체들 간의 컬러-상관도를 비교하여, 하나의 인식 물체를 선정하여 인식된 것으로 처리하는 단계;를 더 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 물체 인식 장치는, 컬러-이미지와 깊이-이미지를 획득하는 카메라; 인식 물체들의 이미지가 DB화 되어 있는 저장부; 및 깊이-이미지에 나타난 깊이 정보를 기초로 컬러-이미지를 다수의 클러스터들로 클러스터링하고, 클러스터링된 클러스터들을 기반으로 물체 인식을 수행하는 프로세서;를 포함한다.
이상 설명한 바와 같이, 본 발명에 따르면, 특징점 기반의 물체 인식에서 물체의 특징점이 별로 없는 경우나 복잡 배경을 가진 물체의 경우에도, 보다 신뢰성 있게 물체 인식율을 높일 수 있게 된다.
구체적으로, 깊이 정보를 이용하여 이미지를 클러스터링하고, 컬러-히스토그램 비교를 통해 클러스터 내의 후보 영역을 선정하여 영상 인식에 이용하기 때문에 물체 인식율이 높아짐은 물론, 특징점 매칭 및 그 후속 처리에 소요되는 연산량을 크게 줄일 수 있게 된다.
뿐만 아니라, 후보 영역과 인식 물체 간의 깊이 통계치 비교를 통해, 후보 영역을 검증할 수 있게 되어, 물체 인식율을 더욱 높일 수 있게 된다.
아울러, 깊이 정보를 이용하더라도 인식이 어려울 수 있는 비슷한 물체에 대해서는 컬러 상관도를 보조 지표로 활용하여 유사도를 더 측정하므로 인식율을 더욱 증가시킬 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 깊이 정보를 이용한 물체 인식 방법의 설명에 제공되는 흐름도,
도 2는, 컬러-이미지, 깊이-이미지 및 Depth Proximity Clustering 결과를 나타낸 도면,
도 3은, 클러스터들 중에서 선정한 3개의 후보 영역을 컬러-이미지에 나타낸 도면,
도 4는 인식 물체들의 깊이 표준 편차를 예시한 도면,
도 5와 도 6은, 하나의 인식 물체가 다수의 클러스터에서 인식되는 경우를 예시한 도면,
도 7과 도 8은, 컬러-이미지에서 다수의 인식 물체가 인식되는 경우를 에 예시한 도면,
도 9는 본 발명의 따른 실시예에 따른 깊이 정보를 이용한 물체 인식 방법의 설명에 제공되는 흐름도,
도 10은 본 발명의 또 다른 실시예에 따른 깊이 정보를 이용한 물체 인식 방법의 설명에 제공되는 흐름도, 그리고,
도 11은, 도 1, 도 9 및 도 10에 도시된 물체 인식 방법을 수행할 수 있는 물체 인식 장치를 도시한 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
1. 깊이 정보를 이용한 물체 인식 #1
본 발명의 일 실시예에 따른 깊이 정보를 이용한 물체 인식 방법에서는 컬러-이미지를 클러스터링하고 클러스터 내에 인식하고자 하는 물체가 존재할 가능성이 높은 후보로 선정된 영역을 검증함에 있어 깊이 정보를 이용한다.
도 1은 본 발명의 일 실시예에 따른 깊이 정보를 이용한 물체 인식 방법의 설명에 제공되는 흐름도이다.
도 1에 도시된 바와 같이, 먼저 컬러-이미지와 깊이-이미지를 획득한다(S110). 컬러-이미지와 깊이-이미지는 RGB-카메라와 D-카메라를 이용하여 각각 생성가능하다.
이후, 깊이-이미지에 나타난 깊이 정보를 기초로, 컬러-이미지를 다수의 클러스터들로 클러스터링한다(S120). 엄밀하게, S120단계에서의 클러스터링에서는 깊이 정보 외에 위치 정보가 더 반영되는데, 반영율은 깊이 정보가 더 크다. 여기서, 위치 정보는 깊이(d)에 수직한 평면상의 위치(x,y)에 대한 정보를 말한다.
S120단계에서 수행되는 클러스터링은 깊이가 비슷하고 거리가 가까운 픽셀들을 하나의 클러스터에 클러스터링하는 것이다.
S120단계에 의해, 컬러-이미지 상에 존재하는 '인식하고자 하는 물체'(이하, '인식 물체'로 약칭)는 어느 한 클러스터에 소속될 가능성이 매우 높다. 이는, 하나의 인식 물체를 구성하는 픽셀들의 깊이는 비슷하고 거리가 가깝기 때문이다.
인식 물체는 컬러-이미지에서 찾고자 하는 물체로, DB에 이미지가 저장되어 있다.
다음, 클러스터들 각각과 인식 물체들 각각에 대해 특징점 매칭을 수행한다(S130). 클러스터링된 클러스터가 k개이고, DB에 구축되어 있는 인식 물체의 개수가 n개인 경우, S130단계는,
11) 클러스터-1과 인식 물체-1 간의 특징점 매칭을 수행하고,
12) 클러스터-1과 인식 물체-2 간의 특징점 매칭을 수행하고,
...
1n) 클러스터-1과 인식 물체-n 간의 특징점 매칭을 수행하고,
21) 클러스터-2와 인식 물체-1 간의 특징점 매칭을 수행하고,
22) 클러스터-2와 인식 물체-2 간의 특징점 매칭을 수행하고,
...
2n) 클러스터-2와 인식 물체-n 간의 특징점 매칭을 수행하고,
...
k1) 클러스터-k와 인식 물체-1 간의 특징점 매칭을 수행하고,
k2) 클러스터-k와 인식 물체-2 간의 특징점 매칭을 수행하고,
...
kn) 클러스터-k와 인식 물체-n 간의 특징점 매칭을 수행하는 절차로 수행된다.
이후, 클러스터들 내의 일부 영역들을 후보 영역들로 1차 선정한다(S140). S140단계는, S120단계에서 클러스터링된 클러스터들 각각에 대해 수행되며, 후보 영역 선정은 클러스터와 인식 물체의 컬러-히스토그램 비교를 통해 수행된다.
구체적으로 S140단계는,
11) 클러스터-1에서 인식 물체-1의 컬러-히스토그램과 유사한 컬러-히스토그램을 갖는 영역이 존재하는 경우, 그 영역을 후보 영역으로 선정하고,
12) 클러스터-1에서 인식 물체-2의 컬러-히스토그램과 유사한 컬러-히스토그램을 갖는 영역이 존재하는 경우, 그 영역을 후보 영역으로 선정하고,
...
1n) 클러스터-1에서 인식 물체-n의 컬러-히스토그램과 유사한 컬러-히스토그램을 갖는 영역이 존재하는 경우, 그 영역을 후보 영역으로 선정하고,
21) 클러스터-2에서 인식 물체-1의 컬러-히스토그램과 유사한 컬러-히스토그램을 갖는 영역이 존재하는 경우, 그 영역을 후보 영역으로 선정하고,
22) 클러스터-2에서 인식 물체-2의 컬러-히스토그램과 유사한 컬러-히스토그램을 갖는 영역이 존재하는 경우, 그 영역을 후보 영역으로 선정하고,
...
2n) 클러스터-2에서 인식 물체-n의 컬러-히스토그램과 유사한 컬러-히스토그램을 갖는 영역이 존재하는 경우, 그 영역을 후보 영역으로 선정하고,
...
k1) 클러스터-k에서 인식 물체-1의 컬러-히스토그램과 유사한 컬러-히스토그램을 갖는 영역이 존재하는 경우, 그 영역을 후보 영역으로 선정하고,
k2) 클러스터-k에서 인식 물체-2의 컬러-히스토그램과 유사한 컬러-히스토그램을 갖는 영역이 존재하는 경우, 그 영역을 후보 영역으로 선정하고,
...
kn) 클러스터-k에서 인식 물체-n의 컬러-히스토그램과 유사한 컬러-히스토그램을 갖는 영역이 존재하는 경우, 그 영역을 후보 영역으로 선정한다.
다음, S140단계에서 1차 선정된 후보 영역과 인식 물체 간의 깊이 표준 편차를 각각 비교하여, 후보 영역들을 2차로 선정한다(S150).
여기서, 깊이 표준 편차는 픽셀들에 대한 깊이 값들의 표준 편차로, 후보 영역의 깊이 표준 편차는 후보 영역을 구성하는 픽셀들의 깊이 값들에 대한 표준편차이고, 인식 물체의 깊이 표준 편차는 인식 물체의 이미지를 구성하는 픽셀들의 깊이 값들에 대한 표준편차이다.
인식 물체의 깊이 표준 편차는 미리 계산하여 DB에 저장해 놓는 것이 바람직하다. 한편, 표준 편차를 이외의 다른 통계치, 예를 들면, 분산, 평균, 중간값 등으로 대체하는 것도 가능하다.
S140단계에서,
1) 클러스터-1의 일부 영역이 '인식 물체-1'과 컬러-히스토그램이 유사하여 '후보 영역-1'로 선정되었고,
2) 클러스터-3의 일부 영역이 '인식 물체-1'과 컬러-히스토그램이 유사하여 '후보 영역-2'로 선정되었고,
3) 클러스터-2의 일부 영역이 '인식 물체-2'와 컬러-히스토그램이 유사하여 '후보 영역-3'으로 선정되었으며,
4) 클러스터-4의 일부 영역이 '인식 물체-2'와 컬러-히스토그램이 유사하여 '후보 영역-4'으로 선정되었으며,
5) 클러스터-3의 일부 영역이 '인식 물체-3'과 컬러-히스토그램이 유사하여 '후보 영역-5'로 선정되었고,
6) 클러스터-5의 일부 영역이 '인식 물체-4'와 컬러-히스토그램이 유사하여 '후보 영역-6'으로 선정었으며,
7) 클러스터-6의 일부 영역이 '인식 물체-4'와 컬러-히스토그램이 유사하여 '후보 영역-7'로 선정된 경우를 가정하면,
S150에서는,
1) 후보 영역-1의 깊이 표준 편차와 인식 물체-1의 깊이 표준 편차의 차가 임계치 미만이면, '후보 영역-1과 인식 물체-1'을 선정하고,
2) 후보 영역-2의 깊이 표준 편차와 인식 물체-1의 깊이 표준 편차의 차가 임계치 미만이면, '후보 영역-2와 인식 물체-1'을 선정하며,
3) 후보 영역-3의 깊이 표준 편차와 인식 물체-2의 깊이 표준 편차의 차가 임계치 미만이면, '후보 영역-3과 인식 물체-2'를 선정하며,
4) 후보 영역-4의 깊이 표준 편차와 인식 물체-2의 깊이 표준 편차의 차가 임계치 미만이면, '후보 영역-4와 인식 물체-2'를 선정하고,
5) 후보 영역-5의 깊이 표준 편차와 인식 물체-3의 깊이 표준 편차의 차가 임계치 미만이면, '후보 영역-5와 인식 물체-3'를 선정하며,
6) 후보 영역-6의 깊이 표준 편차와 인식 물체-4의 깊이 표준 편차의 차가 임계치 미만이면, '후보 영역-6과 인식 물체-4'를 선정하고,
7) 후보 영역-7의 깊이 표준 편차와 인식 물체-4의 깊이 표준 편차의 차가 임계치 미만이면, '후보 영역-7과 인식 물체-4'를 선정하게 된다.
이후, S130단계에서의 특징점 매칭 결과에서 S150단계에서 선정된 후보 영역들을 포함하지 않는 클러스터들에 대한 특징점 매칭을 배제하고, 물체 인식을 수행한다(S160). 즉, S130단계에서의 특징점 매칭 결과 중 S150단계에서 선정된 후보 영역들을 포함하는 클러스터들에 대한 특징점 매칭만을 남기고, 물체 인식을 수행한다.
S150단계에서, '후보 영역-1과 인식 물체-1', '후보 영역-2와 인식 물체-1', '후보 영역-3과 인식 물체-2', '후보 영역-5와 인식 물체-3' 및 '후보 영역-6과 인식 물체-4'가 선정된 경우,
후보 영역-1은 클러스터-1에 포함되고, 후보 영역-3은 클러스터-2에 포함되며, 후보 영역-2와 후보 영역-5는 클러스터-3에 포함되고, 후보 영역-6은 클러스터-5에 포함되므로,
S160단계에서는, 클러스터-1, 클러스터-2, 클러스터-3 및 클러스터-5에 대한 특징점 매칭만을 남기고, 나머지 클러스터들에 대한 특징점 매칭을 배제하고, 물체 인식을 수행한다
한편, 하나의 인식 물체가 다수의 클러스터에서 인식되는 경우, 그 인식 물체는 인식되지 않은 것으로 처리할 수 있다(S170). 구체적으로, 특징점 매칭수가 첫 번째로 많은 클러스터와 두 번째로 많은 클러스터 간에 특징점 매칭수의 비율이 특정 범위 내인 인식 물체는, 인식되지 않은 것으로 처리하는 것이다.
예를 들어, 인식 물체-1이 클러스터-1과의 특징점 매칭수(①)가 "100"이고, 클러스터-3과의 특징점 매칭수(②)가 "90"인 경우와 같이, 두 번째 매칭수(②)가 첫 번째 매칭수(①)의 80% 이상이서 인식 물체-1이 클러스터-1과 클러스터-3 모두에서 인식된 것으로 취급할 수 있는 경우, 인식 물체-1은 인식되지 않은 것으로 처리한다.
동일한 인식 물체가 다수의 클러스터에 인식되는 것은 실제 그런 것보다, 영상 인식 과정에서의 오류에 기인했을 확률이 더 높기 때문이며, 잘못된 인식을 미연에 방지하기 위함이다.
또한, 컬러-이미지의 적어도 하나의 클러스터에서 다수의 인식 물체가 인식되는 경우, 특징점 매칭수 상위 2개의 클러스터와 인식 물체들 간의 컬러-상관도를 비교하여 하나의 인식 물체만을 선정하고, 선정된 인식 물체가 인식된 것으로 처리한다(S180).
예를 들어, 인식 물체-2와 클러스터-2의 특징점 매칭수(③)가 "90"이고, 인식 물체-3과 클러스터-3의 특징점 매칭수(④)가 "60"이며, 인식 물체-4와 클러스터-5의 특징점 매칭수(⑤)가 "70"인 경우와 같이, 두 번째 매칭수(⑤)가 첫 번째 매칭수(③)의 70% 이상이서 컬러-이미지에서 인식 물체-2와 인식 물체-4가 모두 인식된 것으로 취급할 수 있는 경우이다.
이 경우에는, '인식 물체-2와 클러스터-2의 컬러-상관도'와 '인식 물체-4와 클러스터-5의 컬러-상관도'를 비교하고, 컬러-상관도가 큰 인식 물체가 컬러-이미지에서 인식된 것으로 처리하는 것이다.
만약, 인식 물체-2와 클러스터-2의 특징점 매칭수(③)가 "90"이고, 인식 물체-3과 클러스터-3의 특징점 매칭수(④)가 "40"이며, 인식 물체-4와 클러스터-5의 특징점 매칭수(⑤)가 "30"인 경우와 같이, 두 번째 매칭수(④)가 첫 번째 매칭수(③)의 70% 미만인 경우에는, 컬러-상관도 비교 없이, 매칭수가 가장 많은 인식 물체-2가 컬러-이미지의 클러스터-2에서 인식된 것으로 처리한다.
지금까지, 깊이 정보를 이용한 물체 인식 방법의 전체 과정에 대해 상세히 설명하였다. 이하에서, 물체 인식 방법을 구성하는 각 단계들에 대해 상세히 설명한다.
2. Depth Proximity Clustering(도 1의 S120 )
Depth Proximity Clustering은 S120단계에서의 클러스터링을 명명한 것으로, 복잡한 배경으로 인해 발생하는 특징점 매칭의 부정확도를 줄이기 위해, 컬러-이미지를 물체와 배경으로 분리하여 클러스터링한다.
클러스터링은 K-means 클러스터링을 응용하여, 깊이 정보와 위치 정보를 참조로 깊이가 비슷하고 거리가 가까운 픽섹들이 하나의 클러스터에 클러스터링할 수 있는데, 구체적으로 아래의 수학식 1에 따라 수행가능하다.
Figure 112012039086610-pat00001
여기서, k는 클러스터링의 개수, μi는 i번째 클러스터의 Si의 기하학적 중심, Xj는 [α1x, α2y, α3d]로 표현되는 벡터이다. x와 y는 픽셀의 x좌표와 y좌표이고, d는 깊이 값이다. α1, α2 및 α3은 가중치로, 픽셀의 위치(x,y) 보다 깊이에 의한 영향을 더 반영하기 위해, α1=0.05, α2 = 0.05 및 α3 = 0.9로 설정함이 바람직하지만, 필요에 따라 변경가능함은 물론이다.
도 2의 좌측 상부에는 특정 공간에 대한 컬러-이미지를 나타내었고, 좌측 하부에는 그 특정 공간에 대한 깊이-이미지를 나타내었으며, 우측에는 Depth Proximity Clustering 결과를 나타내었다.
3. Color Histogram based Object Detection(도 1의 S140 )
특징점이 많이 존재하지 않는 균일한 물체를 복잡한 배경에서 물체 인식을 할 경우 잘못된 특징점 매칭이 많이 나타난다. 따라서, 본 실시예에서는 color histogram back-projection을 이용한 물체 탐지 알고리즘을 사용하여, 클러스터 내에서도 인식 물체가 존재할 가능성이 높은 일부 영역을 후보 영역으로 선정하도록 하였다.
도 3에는 도 2의 클러스터링 결과에 나타난 클러스터들에 대해 Color Histogram based Object Detection 하여 선정한 3개의 후보 영역을 컬러-이미지에 나타내었다.
4. Equality Test of Standard Deviation(도 1의 S150 )
Equality Test of Standard Deviation는 Color Histogram based Object Detection을 통해 선정된 후보 영역들과 인식 물체들에 대해 깊이 표준 편차를 비교하여, 인식 물체가 존재할 가능성이 높은 후보 영역들을 검증 또는 재선정하는 절차로 이해될 수 있다.
도 4에는 인식 물체들인 책, 인형, 쿠션에 대한 깊이 표준 편차를 나타내었다. 도 4에 도시된 바와 같이 하나의 물체에 대한 깊이 표준 편차는 물체의 모양과 상관없이 대부분 가우시안 분포(Gaussian distribution)를 따른다.
따라서, 인식 물체와 후보 영역의 랜덤 샘플이 정규 분포를 따른다고 가정할 경우 표준편차의 비율은 F 분포를 따른다. 그리고, 신뢰도는 α이고, 자유도는 nx-1, ny-1이며, 자유도는 랜덤 샘플의 개수로 설정할 경우 다음과 같은 신뢰 구간을 갖는데, 신뢰 구간을 벗어나는 매칭은 제거되고 나머지가 신뢰할 수 있는 매칭으로 간주된다.
신뢰 구간 : (F1-α/2,nx-1,ny-1 Fα/2,nx-1,ny-1)
5. Depth Layered Feature Matching with Geometric Constraints(도 1의 S160 )
S130단계에서의 특징점 매칭으로, 스케일과 회전에 불변한 특징점 매칭 기법을 사용함이 바람직한데, 다른 종류의 특징점 매칭 기법을 사용하는 것을 배제하는 것은 아니다.
한편, 렌즈에 의해 발생하는 radial distortion을 고려하지 않을 경우, 일반적으로 두 이미지 간의 관계는 하나의 행렬로 표현할 수 있다. 이미지에서 대응점들이 건물 벽과 같은 평면상에 여러 개가 존재하는 경우 하나의 평면상에 존재하는 것으로 근사할 수 있으며 이 관계를 Homography라고 한다.
Depth Proximity Clustering을 통해 생성된 클러스터와 인식 물체 간의 homography는, 인식 물체와 배경의 특징점 매칭이 배제되기 때문에, 컬러-이미지와 인식 물체 간의 homography 보다 정확하다.
이에 더 나아가, Color Histogram based Object Detection과 Equality Test of Standard Deviation(도 1의 S140 및 S150)을 통해 선정한 후보 영역들을 포함하는 클러스터들과 인식 물체 간의 homography는, 인식 물체와 배경의 특징점 매칭이 더욱 더 배제되기 때문에, 클러스터와 인식 물체 간의 homography 보다 정확하다.
6. Final decision with consistency check(도 1의 S170 및 S180 )
Final decision with consistency check는, 하나의 인식 물체가 다수의 클러스터에서 인식되는 경우와 컬러-이미지에서 다수의 인식 물체가 인식되는 경우, 최종적인 물체 인식을 위한 절차이다.
하나의 인식 물체가 다수의 클러스터에서 인식되는 경우를 도 5와 도 6에 예시하였다. 도 5와 도 6에 도시된 바에 따르면, 인식 물체인 "쿠션"이 각기 다른 클러스터들에서 많은 특징점 매칭수를 보이고 있음을 확인할 수 있다. 전술했던 바와 같이, 양자 간에 특징점 매칭수의 비율이 특정 범위 내이면, 컬러-이미지에서 "쿠션"은 인식되지 않은 것으로 처리한다.
컬러-이미지에서 다수의 인식 물체가 인식되는 경우를 도 7과 도 8에 예시하였다. 도 7과 도 8에는, 컬러-이미지에서 특징점 매칭수가 상위 2개인 "책"과 "인형"에 대한 특징점 매칭이 나타나 있다.
양자 간에 특징점 매칭수의 비율이 특정 범위 밖이면, 예를 들어 "책"과 클러스터 간 특징점 매칭수가 "인형"과 클러스터 간 특징점 매칭수 보다 현저히 많은 경우, "책"이 인식된 것으로 취급한다.
반면, 양자 간에 특징점 매칭수의 비율이 특정 범위 내이면, 클러스터와 "책" 간의 컬러-상관도와 클러스터와 "인형" 간의 컬러-상관도를 비교하여, 컬러-상관도가 큰 인식 물체가 클러스터 내에서 인식된 것으로 처리한다.
7. 깊이 정보를 이용한 물체 인식 #2
이하에서는, 본 발명의 다른 실시예에 따른 깊이 정보를 이용한 물체 인식 방법의 설명에 대해 도 9를 참조하여 설명하되, 전술한 설명과 동일한 부분에 대해서는 그 설명을 간략히 하겠다.
도 9에 도시된 바와 같이, 먼저 컬러-이미지와 깊이-이미지를 획득한다(S210). 이후, 깊이-이미지에 나타난 깊이 정보를 기초로, 컬러-이미지를 다수의 클러스터들로 클러스터링한다(S220).
이후, 클러스터들 내의 일부 영역들을 후보 영역들로 1차 선정한다(S230). S230단계는, S220단계에서 클러스터링된 클러스터들 각각에 대해 수행되며, 후보 영역 선정은 클러스터와 인식 물체의 컬러-히스토그램 비교를 통해 수행된다.
다음, 후보 영역들 각각과 인식 물체들 각각에 대해 특징점 매칭을 수행한다(S240). 도 9의 S240단계에서의 특징점 매칭은 "후보 영역"과 인식 물체 간의 특징점 매칭이라는 점에서, 도 1의 S130단계에서의 "클러스터"와 인식 물체 간의 특징점 매칭과 차이가 있다.
이후, S230단계에서 1차 선정된 후보 영역과 인식 물체 간의 깊이 표준 편차가 유사한 후보 영역들을 2차로 선정한다(S250).
다음, S240단계에서의 특징점 매칭 결과에서 S250단계에서 선정된 "후보 영역들" 밖에서 이루어진 특징점 매칭을 배제하고, 물체 인식을 수행한다(S260). 즉, S240단계에서의 특징점 매칭 결과 중 S250단계에서 선정된 후보 영역들에 포함된 특징점 매칭만을 남기고, 물체 인식을 수행한다.
S260단계에서 배제되는 특징점 매칭들은 2차 선정된 후보 영역들 밖에서 이루어진 특징점 매칭이라는 점에서, 2차 선정된 후보 영역들을 포함하는 클러스터들 밖에서 이루어진 특징점 매칭을 배제하는 도 1의 S160단계와 차이가 있다.
한편, 하나의 인식 물체가 다수의 "후보 영역"에서 인식되는 경우, 그 인식 물체는 인식되지 않은 것으로 처리할 수 있다(S270). 구체적으로, 특징점 매칭수가 첫 번째로 많은 후보 영역과 두 번째로 많은 후보 영역 간에 특징점 매칭수의 비율이 특정 범위 내인 인식 물체는, 인식되지 않은 것으로 처리하는 것이다.
또한, 컬러-이미지의 적어도 하나의 후보 영역에서 다수의 인식 물체가 인식되는 경우, 특징점 매칭수가 상위 2개인 후보 영역과 인식 물체들 간의 컬러-상관도를 비교하여 하나의 인식 물체만을 선정하고, 선정된 인식 물체가 인식된 것으로 처리한다(S280).
구체적으로, S280단계도, 특징점 매칭수가 첫 번째로 많은 인식 물체와 두 번째로 많은 인식 물체 간에 특징점 매칭수의 비율이 특정 범위 내인 후보 영역에 대해서만 수행한다. 그렇지 않으면, 특징점 매칭수가 첫 번째로 많은 인식 물체가 인식된 것으로 처리한다.
S270단계와 S280단계에서 처리 기준은 후보 영역이라는 점에서, 처리 기준이 클러스터인 도 1의 S170단계 및 S180단계와 차이가 있다.
8. 깊이 정보를 이용한 물체 인식 #3
이하에서는, 본 발명의 또 다른 실시예에 따른 깊이 정보를 이용한 물체 인식 방법의 설명에 대해 도 10을 참조하여 설명한다.
도 10에 도시된 물체 인식 방법은, 후보 영역 1차 선정 및 2차 선정을 수행한 후에(S330, S340), 2차 선정된 후보 영역들 각각과 인식 물체들 각각에 대해 특징점 매칭을 수행하여(S350), 물체를 인식한다(S360)는 점에서, 도 9에 도시된 물체 인식 방법과 차이가 있을 뿐, 나머지 사항은 동일하므로 이에 대한 상세한 설명은 생략한다.
9. 물체 인식 장치
도 11은 도 1, 도 9 및 도 10에 도시된 물체 인식 방법을 수행할 수 있는 물체 인식 장치를 도시한 도면이다. 도 11에 도시된 바와 같이, 본 발명이 적용가능한 물체 인식 장치는, RGB-카메라(210), D-카메라(420), 프로세서(430), 저장부(440) 및 디스플레이(450)를 구비한다.
RGB-카메라(410)는 컬러-이미지를 생성하고, D-카메라(420)는 깊이-이미지를 생성한다. RGB-카메라(410)와 D-카메라(420)는 도 11에 도시된 바와 같이 별도로 구성할 수도 있지만, 하나의 카메라로 구성할 수도 있다.
저장부(440)에는 인식 물체들의 이미지들이 DB화 되어 있다. 한편, 저장부(440)에는 인식 물체들에 대한 깊이 표준 편차들도 함께 DB화 되어 있다.
프로세서(430)는 RGB-카메라(410)에서 생성된 컬러-이미지, D-카메라(420)에서 생성된 깊이-이미지 및 저장부(440)에는 저장된 인식 물체들을 이용하여, 도 1, 도 9 및 도 10에 도시된 물체 인식 방법을 수행한다.
디스플레이(450)에는 RGB-카메라(410)에 의해 생성된 컬러-이미지가 표시되는데, D-카메라(420)에 의해 생성된 깊이-이미지를 이용하여 입체-이미지로 표시될 수도 있다. 또한, 디스플레이(450)에는 프로세서(430)에 의해 수행된 물체 인식 결과가 디스플레이된다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
410 : RGB-카메라
420 : D-카메라
430 : 프로세서
440 : 저장부
450 : 디스플레이

Claims (8)

  1. 컬러-이미지와 깊이-이미지를 획득하는 단계;
    깊이-이미지에 나타난 깊이 정보를 기초로, 컬러-이미지를 다수의 클러스터들로 클러스터링하는 단계; 및
    클러스터링된 클러스터들을 기반으로, 물체 인식을 수행하는 단계;를 포함하고,
    물체 인식 수행 단계는,
    클러스터들 각각과 인식 물체들 각각에 대해 특징점 매칭을 수행하는 단계;
    클러스터들 내의 일부 영역들을 후보 영역들로 선정하는 단계; 및
    선정된 후보 영역들을 포함하는 클러스터들 밖에서 이루어진 특징점 매칭을 배제하고, 물체 인식을 수행하는 단계;를 포함하며,
    후보 영역 선정 단계는,
    클러스터들 각각에 대한 컬러-히스토그램들과 인식 물체들 각각에 대한 컬러-히스토그램들을 비교하여, 클러스터들 내의 일부 영역들을 후보 영역들로 선정하는 제1 선정 단계; 및
    제1 선정 단계에서 선정된 후보 영역을 구성하는 픽셀들의 깊이 값들에 대한 표준편차와 인식 물체의 이미지를 구성하는 픽셀들의 깊이 값들에 대한 표준편차의 차가 임계치 미만인 후보 영역과 인식 물체를 선정하는 제2 선정단계;를 포함하는 것을 특징으로 하는 물체 인식 방법.
  2. 삭제
  3. 제 1항에 있어서,
    물체 인식 수행 단계는,
    클러스터들 내의 일부 영역들을 후보 영역들로 선정하는 단계;
    후보 영역들 각각과 인식 물체들 각각에 대해 특징점 매칭을 수행하는 단계; 및
    특징점 매칭 결과를 이용하여, 물체 인식을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 물체 인식 방법.
  4. 삭제
  5. 제 1항에 있어서,
    물체 인식 수행 단계는,
    클러스터들 내의 일부 영역들을 후보 영역들로 선정하는 제3 선정 단계;
    제3 선정단계에서 선정된 후보 영역들 각각과 인식 물체들 각각에 대해 특징점 매칭을 수행하는 단계;
    제3 선정단계에서 선정된 후보 영역들 중 일부를 다시 선정하는 제4 선정 단계; 및
    제4 선정 단계에서 선정된 후보 영역들 밖에서 이루어진 특징점 매칭을 배제하고, 물체 인식을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 물체 인식 방법.
  6. 제 1항에 있어서,
    다수의 클러스터에서 인식된 인식 물체는 인식되지 않은 것으로 처리하는 단계;를 더 포함하는 것을 특징으로 하는 물체 인식 방법.
  7. 제 1항에 있어서,
    컬러-이미지에서 다수의 인식 물체가 인식되는 경우, 클러스터와 인식 물체들 간의 컬러-상관도를 비교하여, 하나의 인식 물체를 선정하여 인식된 것으로 처리하는 단계;를 더 포함하는 것을 특징으로 하는 물체 인식 방법.
  8. 컬러-이미지와 깊이-이미지를 획득하는 카메라;
    인식 물체들의 이미지가 DB화 되어 있는 저장부; 및
    깊이-이미지에 나타난 깊이 정보를 기초로 컬러-이미지를 다수의 클러스터들로 클러스터링하고, 클러스터링된 클러스터들을 기반으로 물체 인식을 수행하는 프로세서;를 포함하고,
    프로세서는,
    클러스터들 각각과 인식 물체들 각각에 대해 특징점 매칭을 수행하며, 클러스터들 내의 일부 영역들을 후보 영역들로 선정하고, 선정된 후보 영역들을 포함하는 클러스터들 밖에서 이루어진 특징점 매칭을 배제하고, 물체 인식을 수행하며,
    클러스터들 각각에 대한 컬러-히스토그램들과 인식 물체들 각각에 대한 컬러-히스토그램들을 비교하여 클러스터들 내의 일부 영역들을 후보 영역들로 선정하고, 선정된 후보 영역을 구성하는 픽셀들의 깊이 값들에 대한 표준편차와 인식 물체의 이미지를 구성하는 픽셀들의 깊이 값들에 대한 표준편차의 차가 임계치 미만인 후보 영역과 인식 물체를 선정하는 것을 특징으로 하는 물체 인식 장치.
KR1020120051871A 2012-05-16 2012-05-16 깊이 정보를 이용한 물체 인식 방법 및 장치 Active KR101916460B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120051871A KR101916460B1 (ko) 2012-05-16 2012-05-16 깊이 정보를 이용한 물체 인식 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120051871A KR101916460B1 (ko) 2012-05-16 2012-05-16 깊이 정보를 이용한 물체 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130128097A KR20130128097A (ko) 2013-11-26
KR101916460B1 true KR101916460B1 (ko) 2018-11-08

Family

ID=49855358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120051871A Active KR101916460B1 (ko) 2012-05-16 2012-05-16 깊이 정보를 이용한 물체 인식 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101916460B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101705836B1 (ko) * 2014-04-07 2017-02-10 동의대학교 산학협력단 깊이 정보를 이용한 골프 스윙 분석 시스템 및 방법
KR102434574B1 (ko) 2017-08-14 2022-08-22 삼성전자주식회사 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법
KR102166117B1 (ko) * 2019-01-31 2020-10-15 연세대학교 산학협력단 시멘틱 매칭 장치 및 방법
KR102289668B1 (ko) * 2020-02-21 2021-08-12 연세대학교 산학협력단 매칭 신뢰도 기반 시멘틱 매칭 장치 및 방법
CN112860993B (zh) * 2021-02-04 2023-08-04 北京百度网讯科技有限公司 兴趣点的分类方法、装置、设备、存储介质及程序产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012083855A (ja) * 2010-10-07 2012-04-26 Toyota Motor Corp 物体認識装置及び物体認識方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100519781B1 (ko) * 2004-02-18 2005-10-07 삼성전자주식회사 객체 추적 방법 및 그 장치
KR20110047814A (ko) * 2009-10-30 2011-05-09 한국전자통신연구원 동영상 시스템에서 동영상 데이터 분할 장치 및 방법
KR101068465B1 (ko) * 2009-11-09 2011-09-28 한국과학기술원 삼차원 물체 인식 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012083855A (ja) * 2010-10-07 2012-04-26 Toyota Motor Corp 物体認識装置及び物体認識方法

Also Published As

Publication number Publication date
KR20130128097A (ko) 2013-11-26

Similar Documents

Publication Publication Date Title
CN115082419B (zh) 一种吹塑箱包生产缺陷检测方法
EP3249579B1 (en) Object recognition apparatus, objection recognition method, and program
EP2528017B1 (en) Image identification device, image identification method, image identification program, and recording medium
US9704017B2 (en) Image processing device, program, image processing method, computer-readable medium, and image processing system
US10216979B2 (en) Image processing apparatus, image processing method, and storage medium to detect parts of an object
CN115082683A (zh) 一种基于图像处理的注塑缺陷检测方法
EP1229493A2 (en) Multi-mode digital image processing method for detecting eyes
KR101916460B1 (ko) 깊이 정보를 이용한 물체 인식 방법 및 장치
JP6245880B2 (ja) 情報処理装置および情報処理手法、プログラム
WO2022105655A1 (zh) 图像处理方法、图像处理装置、电子设备和计算机可读存储介质
CN116740072B (zh) 基于机器视觉的道路表面缺陷检测方法及系统
CN109472259B (zh) 基于能量优化的图像协同显著性检测方法
CN105243376A (zh) 一种活体检测方法和装置
CN107092890A (zh) 基于红外视频的舰船检测及跟踪方法
JP2011198130A (ja) 画像処理装置及び画像処理プログラム
CN113076833B (zh) 年龄识别模型的训练方法、人脸年龄识别方法及相关装置
CN112926557B (zh) 一种训练多模态人脸识别模型的方法以及多模态人脸识别方法
CN108960142B (zh) 基于全局特征损失函数的行人再识别方法
US20070036438A1 (en) Methods and systems for identifying red eye pairs
CN110633727A (zh) 基于选择性搜索的深度神经网络舰船目标细粒度识别方法
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及系统
CN109472257B (zh) 一种字符版面确定方法及装置
JP2015204030A (ja) 認識装置及び認識方法
KR20110103223A (ko) 얼굴 인식을 위한 ｓｉｆｔ 알고리즘을 이용한 키포인트 매칭 시스템 및 방법
KR101133225B1 (ko) 자세 추정을 이용한 얼굴 인식 시스템 및 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120516

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20170308

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20120516

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180411

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20181023

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20181101

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20181101

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20211101

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20220929

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20230921

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee