KR20110069923A - 문맥상 사라진 특징점의 복원을 통한 물체 인식 방법 - Google Patents

문맥상 사라진 특징점의 복원을 통한 물체 인식 방법 Download PDF

Info

Publication number
KR20110069923A
KR20110069923A KR1020090126516A KR20090126516A KR20110069923A KR 20110069923 A KR20110069923 A KR 20110069923A KR 1020090126516 A KR1020090126516 A KR 1020090126516A KR 20090126516 A KR20090126516 A KR 20090126516A KR 20110069923 A KR20110069923 A KR 20110069923A
Authority
KR
South Korea
Prior art keywords
image
contextual
feature points
feature point
object recognition
Prior art date
Application number
KR1020090126516A
Other languages
English (en)
Other versions
KR101671488B1 (ko
Inventor
유상원
정지훈
이재영
유원필
Original Assignee
한국전자통신연구원
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 에스케이 텔레콤주식회사 filed Critical 한국전자통신연구원
Priority to KR1020090126516A priority Critical patent/KR101671488B1/ko
Publication of KR20110069923A publication Critical patent/KR20110069923A/ko
Application granted granted Critical
Publication of KR101671488B1 publication Critical patent/KR101671488B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 문맥적 형상 모델(Contextual Shape Model, CSM)을 물체 인식 방법에 적용함으로써, 물체의 크기 등의 확률적 분포와 그것이 문맥상 사라진 특징점에 미치는 영향을 고려하는 문맥상 사라진 특징점의 복원을 통한 물체 인식 방법에 관한 것이다. 본 발명의 일 측면은, 크기(scale) 또는 가려짐(occlusion)을 포함하는 문맥상 사라짐에 의하여 영상으로부터 검출되지 않은 특징점을 문맥상 정보를 이용하여 복원하는 단계, 및 상기 복원된 특징점을 이용하여 상기 영상으로부터 물체를 인식하는 단계를 포함하는 문맥상 사라진 특징점의 복원을 통한 물체 인식 방법을 제공한다. 본 발명의 일 측면에 따르면, 해상도가 낮거나 가려짐이 존재하는 일반적인 실제 상황에서 문맥상 사라진 특징점의 복원을 통하여 안정되고 향상된 물체 인식을 제공할 수 있게 되는 효과가 있다.
물체인식, 영상인식, 문맥상 사라짐, 문맥적 형상 모델, 특징점 복원

Description

문맥상 사라진 특징점의 복원을 통한 물체 인식 방법{Scalable Object Recognition by Hallucinating Contextually Missing Features}
본 발명은 문맥상 사라진 특징점의 복원을 통한 물체 인식 방법에 관한 것이다. 구체적으로 본 발명은, 문맥적 형상 모델(Contextual Shape Model, CSM)을 물체 인식 방법에 적용함으로써, 물체의 크기 등의 확률적 분포와 그것이 문맥상 사라진 특징점에 미치는 영향을 고려하는 문맥상 사라진 특징점의 복원을 통한 물체 인식 방법에 관한 것이다.
영상으로부터의 물체 인식(object recognition)은 다양한 연구 분야에서 관심을 받고 있다. 빠르고 신뢰성 있는 물체 인식은 주변 환경을 인식하고 그것과 상호작용하는 지능 로봇 등 가변적 환경(dynamic environment)을 다루는 기술에서 특히 필수적이다.
종래의 인식 패러다임은, 동일한 물체를 포함하는 서로 다른 두 개의 영상은 유사한 특징점 분포를 나타낼 것이라는 가정 하에서, 영상으로부터 구역의 모양적 특징점(local appearance features)을 추출하는 것이다. 이는 일종의 확률적 접근으로서, 물체의 사진들을 바탕으로 특징점의 분포에 대하여 학습한 후, 이를 바 탕으로 새로운 입력 영상에서 그러한 특징점의 분포를 검출함으로써 물체 인식을 수행한다.
종래의 인식 패러다임에서, 물체(object)의 특징점은 SIFT(Scale-Invariant Feature Transform)를 비롯한 구역의 모양적 기술자(local appearance descriptor)의 형태로 표현될 수 있다. 특징점들은 영상의 일부인 작은 구역의 모양적 정보를 획득하는데, 구역의 모양적 기술자는 현저한 모양적 변화(salient appearance change)를 갖는 구역에 생성될 수 있고, 이들 특징점들의 집합으로 사용될 수 있다. 특징점 내지 구역의 모양적 기술자는 구역의 모양을 묘사하기 위해 필요한 정보를 포함하는 고차원 벡터로 표현될 수 있다. 구역의 모양적 기술자들은 그 모양적 특징에 따라 몇 가지 유형(type)으로 분류될 수 있으며, 유형과 공간적 위치는 모양적 기술자의 중요한 속성으로 사용될 수 있다.
종래의 인식 패러다임 중 발전된 형태에 속하는 암시적 형상 모델(Implicit Shape Model, ISM)은 투표 기반(voting-based) 물체 인식 및 구역화의 확률적 공식화(probabilistic formulation)를 제공한다. 물체는 그것을 구성하는 구역(local regions)과 같은 다수의 패치(patch)로 표현되며, 각 패치로부터 그 중심에 이르는 상대적 위치(relative location)가 계산된다. ISM이 적용된 시스템은 물체가 영상에 존재한다면 올바른 패치가 올바른 장소에 위치하고 있을 것임을 가정한다. 새로운 영상이 입력되면 ISM이 적용된 시스템은 영상으로부터 추출된 특징점의 집합을 분석함으로써 물체를 탐색한다. 새로운 영상에서 물체의 패치 중 어떤 것과 유사하다고 판단되는 특징점들은 물체의 중심(centroid)의 추정 위치에 대해서 확률적으 로 투표하며, ISM 시스템은 높은 투표 값을 갖는 위치에서 물체가 검출되었음을 결정한다.
그러나, ISM을 포함하는 종래의 인식 기술은 문맥적으로 사라진 특징점(contextually missing features)을 갖는 물체의 인식에 어려움이 있다. 종래의 패러다임에는 전체적인 물체의 특징점 대부분이 검출되어야 한다는 한계가 있기 때문이다. 물체 인식이 적용되는 실제 환경에서는 특징점의 일부가 문맥상 사라지는 경우가 많은데, 이러한 경우 종래 패러다임의 한계는 물체 인식의 방해 요인으로 작용한다. 만약 물체와 카메라 사이의 거리가 멀다면(distant), 작고 섬세한 특징점들은 물체 영역의 해상도 저하(resolution degradation)에 의하여 검출되기 어렵다. 나아가, 부분적으로 가려진(partially occluded) 물체의 경우에는 많은 특징점이 생성 자체가 되지 않을 것이며, 이는 물체 인식의 실패로 이어질 수밖에 없는 것이다.
도 1은 물체의 특징점 대부분이 문맥상 사라진 영상을 예시적으로 도시한 것이다. 도 1a와 도 1c는 동일한 인식 대상 물체가 포함된 서로 다른 영상이다. 도 1b 및 도 1d는 각각 도 1a 및 도 1c의 영상에서 구역의 모양적 특징점을 추출하고 대상 물체를 인식한 결과이다.
도 1a는 인식 대상 물체의 모든 모양적 특징점이 검출 가능하나, 도 1c는 크기(scale)나 해상도(resolution)의 문제 및 가려짐(occlusion)으로 인하여 인식 대상 물체의 모양적 특징점의 상당 부분이 문맥상 사라진 상태이다. 도 1b 및 도 1d에서 원(circle)은 구역의 모양적 특징점을 나타내고, 사각형(rectangle)은 동일 한 인식 대상 물체를 나타낸다.
종래 기술에 따르면 도 1a와 같은 이상적인 상황에서 물체의 인식이 가능하더라도, 도 1c와 같이 특징점의 문맥상 사라짐이 발생하거나 이상적인 경우와 크게 다른 실제적 특징점들만이 검출 가능한 상황에서는 도 1d와 같은 인식 결과를 얻기 어렵다.
상기 문제점을 해결하기 위하여 본 발명의 일 측면은, 먼 거리에서 관찰되거나 다른 존재에 의해 가려진 물체의 인식에 있어서 문맥상 사라진 특징점을 복원함으로써 물체 인식의 정확성과 신뢰성을 높이는 것을 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명의 일 측면은, 크기(scale) 또는 가려짐(occlusion)을 포함하는 문맥상 사라짐에 의하여 영상으로부터 검출되지 않은 특징점을 문맥상 정보를 이용하여 복원하는 단계, 및 상기 복원된 특징점을 이용하여 상기 영상으로부터 물체를 인식하는 단계를 포함하는 문맥상 사라진 특징점의 복원을 통한 물체 인식 방법을 제공한다.
본 발명의 일 측면에 따르면, 해상도가 낮거나 가려짐이 존재하는 일반적인 실제 상황에서 문맥상 사라진 특징점의 복원을 통하여 안정되고 향상된 물체 인식을 제공할 수 있게 되는 효과가 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 2는 본 발명의 일 실시예의 문맥상 사라진 특징점의 복원을 통한 물체 인식 방법의 개략적인 흐름을 나타낸 흐름도이다.
먼저, 인식 대상 물체의 특징점에 대한 학습이 이루어진다(S210). 인식 대상 물체를 포함하는 하나 이상의 영상으로부터 인식 대상 물체의 특징점을 추출하고, 특징점의 추출 결과를 제1특징점으로 저장한다. 동일한 인식 대상 물체를 포함하는 서로 다른 다양한 영상으로부터 인식 대상 물체의 특징점을 추출할수록 학습의 신뢰도가 높아질 수 있다.
그리고, 입력 영상에 대한 특징점이 추출된다(S220). 물체 인식 방법을 적용하고자 하는 입력 영상으로부터 특징점을 추출하여 제2특징점으로 저장한다.
다음으로, 제1특징점과 제2특징점의 차이를 파악하는 과정이 수행된다(S230). 입력 영상으로부터 추출된 제2특징점의 집합과 학습 결과로 저장된 제1특징점의 집합을 비교 분석함으로써 물체를 탐색한다. 제2특징점 중에서 학습된 인식 대상 물체의 패치(patch)에 대응하는 제1특징점 중 어떤 것과 유사하다고 판단 되는 제2특징점들이 비교 대상이 될 수 있다.
비교 결과에 기반하여, 그 차이가 제1물체의 제2영상 내에서의 문맥상 사라짐에 의한 것인지, 또는 제1물체의 제2영상 내에서의 부존재에 의한 것인지를 판단한다(S240).
이러한 판단은 문맥적 형상 모델(Contextual Shape Model, CSM)에 따라, 물체의 패치 크기가 측정 가능(scalable)하며, 물체의 크기와 물체까지의 거리나 가려짐 등의 문맥에 따라서 물체가 영상에서 검출되지 않을 수 있음을 고려하여 이루어진다. 물체가 영상에서 검출되지 않을 수 있지만, 물체의 크기 등을 측정함으로써 물체가 영상에서 보이지 않는지 여부에 대한 예측을 할 수는 있다. 예를 들어 물체가 카메라로부터 멀리 떨어져 촬영되었다면, 영상 내에서 물체의 크기가 작고 그 해상도는 낮을 것이므로, 작고 섬세한 패치에 대응하는 특징점들은 추출될 수 없었을 것이라고 판단할 수 있는 것이다.
이러한 판단(S240)의 결과에 따라 이후의 물체 인식 과정이 달라지게 된다. 물체가 입력 영상 내에 존재하지 않는다고 판단된 경우에는 입력 영상 내에서 그 물체를 인식하는 것은 실패로 판정될 것이다(S275). 그러나, 물체가 입력 영상 내에서 문맥상 사라졌다고 판단된 경우에는 문맥상 사라진 특징점을 보완 내지 복원하기 위한 추가적인 과정이 수행된다(S250).
물체가 입력 영상 내에서 문맥상 사라졌다고 판단된 경우에는 크기(scale) 또는 가려짐(occlusion)을 포함하는 문맥상 정보를 활용하여 제2특징점을 보완하는 단계가 수행된다(S250). 이에 대해서는 뒤에서 구체적으로 설명할 것이다.
제2특징점의 보완(S250) 후에는, 제1특징점과 보완된 제2특징점이 소정의 수준 이상 일치하는지 여부에 따라(S260), 제2특징점에 대응하는 영상을 제1물체로 인식할 것인지 여부를 결정하게 된다(S270). 여기서 소정의 수준이란 원하는 인식률 내지 인식 정확도에 따라 달라질 수 있는 판단 기준으로서, 사용자가 필요에 따라 미리 설정할 수 있다. 제1특징점과 보완된 제2특징점이 소정의 수준 이상 일치하지 않는 경우에는 입력 영상 내에서 그 물체를 인식하는 것이 실패로 판정될 것이다(S275).
본 발명의 일 실시예에 따른 물체 인식은 투표 기반(voting-based)으로 이루어지며, 특징점의 보완 내지 복원에 관한 고려(consideration)가 포함된다. 이하에서는 수학식을 이용하여 본 발명의 일 실시예의 특징점 복원을 이용한 투표 기반 물체 인식 기법을 설명한다.
수학식1은 n번째 물체
Figure 112009078317975-PAT00001
이 2차원 좌표(x, y) 위치
Figure 112009078317975-PAT00002
에서 영상 내에서의 상대적 크기
Figure 112009078317975-PAT00003
로 존재할 확률
Figure 112009078317975-PAT00004
에 관한 것이다.
Figure 112009078317975-PAT00005
여기서,
Figure 112009078317975-PAT00006
는 영상 내 k번째 특징점의 유형(type),
Figure 112009078317975-PAT00007
는 특징점의 영상 내 위치,
Figure 112009078317975-PAT00008
는 특징점의 크기,
Figure 112009078317975-PAT00009
는 물체
Figure 112009078317975-PAT00010
을 구성하는 i번째 패치를 의미한다.
수학식 1은 주어진
Figure 112009078317975-PAT00011
에서
Figure 112009078317975-PAT00012
는 다른 인자들과 조건부 독립(conditionally independent)임을 가정한 것이다. 수학식 1은 물체
Figure 112009078317975-PAT00013
의 확률적 검출에 있어서, 물체
Figure 112009078317975-PAT00014
의 영상 내에서의 상대적 크기
Figure 112009078317975-PAT00015
, 그로부터 생성된 구역적 특징점들의 크기
Figure 112009078317975-PAT00016
를 고려한다.
Figure 112009078317975-PAT00017
는 2차원 좌표(x, y) 위치
Figure 112009078317975-PAT00018
가 주어진 물체
Figure 112009078317975-PAT00019
의 영상 내에서의 상대적 크기
Figure 112009078317975-PAT00020
, 주어진 패치
Figure 112009078317975-PAT00021
, 주어진 특징점의 영상 내 위치
Figure 112009078317975-PAT00022
에서 물체
Figure 112009078317975-PAT00023
의 중심에 위치할 확률을 나타낸다. 이에 대해서는 도 3을 참조하여 뒤에서 자세히 설명한다.
Figure 112009078317975-PAT00024
는 각 패치에 관한 신뢰도(confidence)를 나타낸다.
Figure 112009078317975-PAT00025
는 새로운 입력 영상 내의 특징점의 크기
Figure 112009078317975-PAT00026
에 기반하여 추정한, 물체
Figure 112009078317975-PAT00027
의 영상 내에서의 상대적 크기
Figure 112009078317975-PAT00028
의 확률적 분포를 나타낸다.
Figure 112009078317975-PAT00029
는 아래 수학식 2에서 자세히 설명한다.
Figure 112009078317975-PAT00030
수학식 2는
Figure 112009078317975-PAT00031
는 주어진 영상 내 k번째 특징점의 유형(type)
Figure 112009078317975-PAT00032
, 주어진 특징점의 크기
Figure 112009078317975-PAT00033
에서, 패치
Figure 112009078317975-PAT00034
가 영상 내에 존재했을 사후 확률(posterior probability)을 나타낸다.
도 3은 인식 대상 물체와 그 중심의 추정 결과를 도시한 것이다. 도 3a는 인식 대상 물체의 영상이며, 도 3b은 물체
Figure 112009078317975-PAT00035
의 영상 내에서의 상대적 크기
Figure 112009078317975-PAT00036
= 1인 경우, 도 3c는
Figure 112009078317975-PAT00037
= 0.5인 경우, 도 3d는
Figure 112009078317975-PAT00038
= 0.3인 경우에 각각 물체의 중심 추정을 도시한 것이다. 여기서
Figure 112009078317975-PAT00039
는 2차원(x, y) 가우시안 분포(Gaussian distribution)로 모델링될 수 있다.
영상 내의 X 표시는 물체의 추정된 중심의 위치이며, 영상 내의 사각형은 패치의 위치를 나타낸다. 도 3b 내지 도 3d에서 X 표시는 각각 주어진
Figure 112009078317975-PAT00040
값에서 가장 높은 확률
Figure 112009078317975-PAT00041
을 가지는 2차원 화면 상에서의 좌표
Figure 112009078317975-PAT00042
의 위치를 나타낸다. 패치의 관점에서 물체 중심의 상대적 위치에 기반하여, 영상에서 검출된 패치는 크기에 따라 추정된 중심 위치에 대하여 확률적 투표를 하게 된다.
수학식 3은 n번째 물체
Figure 112009078317975-PAT00043
이 2차원 좌표(x, y) 위치
Figure 112009078317975-PAT00044
에서 영상 내에서의 상대적 크기
Figure 112009078317975-PAT00045
로 존재할 확률
Figure 112009078317975-PAT00046
을 (
Figure 112009078317975-PAT00047
,
Figure 112009078317975-PAT00048
) 쌍(pair)에 관한 투표 점수 값으로 이용하기 위한 계산을 나타낸다.
Figure 112009078317975-PAT00049
수학식 3에 따라 계산된 최대 점수 값을 갖는 (
Figure 112009078317975-PAT00050
,
Figure 112009078317975-PAT00051
) 쌍은, 영상 내 물체의 중심 위치와 그 상대적 크기로 선택된다.
문맥적 형상 모델(CSM)은 다양한 형태의 특징점 사라짐을 문맥적으로 복원 내지 보완하기 위하여 제안되었다. 수학식 1 내지 수학식 3은 물체의 크기가 작음으로 인하여 추출되지 않는 특징점들을 물체 인식에 있어서 고려하기 위한 것이다. 그러나, 물체가 부분적으로 가려지는(occluded) 경우도 특징점이 사라지는 대표적인 상황의 하나이다. 본 발명의 일 실시예는 이러한 가려짐으로 인하여 문맥상 사라진 특징점의 복원에도 적용될 수 있다.
문맥적 형상 모델(CSM)이 가려진 특징점을 복원 내지 보완하는 데에 활용되기 위해서는 영상 내 물체의 현재의(current) 가려짐 모델이 제공되어야 한다. 가려짐 모델은 어떤 패치가 눈에 보이고(visible) 어떤 패치가 가려져 있는지(occluded)를 나타낸다. 아래 수학식 4는 특징점과 가려짐 모델이 주어진 경우 물체의 위치와 상대적 크기의 확률을 계산하기 위한 것이다.
Figure 112009078317975-PAT00052
여기서,
Figure 112009078317975-PAT00053
은 현재 영상 내의 n번째 물체
Figure 112009078317975-PAT00054
의 가려짐 모델을 의미한다.
Figure 112009078317975-PAT00055
는 앞의 수학식 1과 마찬가지로 2차원 좌표(x, y) 위치
Figure 112009078317975-PAT00056
가 주어진 물체
Figure 112009078317975-PAT00057
의 영상 내에서의 상대적 크기
Figure 112009078317975-PAT00058
, 주어진 패치
Figure 112009078317975-PAT00059
, 주어진 특징점의 영상 내 위치
Figure 112009078317975-PAT00060
에서 물체
Figure 112009078317975-PAT00061
의 중심에 위치할 확률을 나타낸다.
Figure 112009078317975-PAT00062
는 앞의 수학식 1과 마찬가지로 각 패치에 관한 신뢰도(confidence)를 나타낸다.
Figure 112009078317975-PAT00063
는 앞의 수학식 1과 마찬가지로 새로운 입력 영상 내의 특징점의 크기
Figure 112009078317975-PAT00064
에 기반하여 추정한, 물체
Figure 112009078317975-PAT00065
의 영상 내에서의 상대적 크기
Figure 112009078317975-PAT00066
의 확률적 분포를 나타낸다.
Figure 112009078317975-PAT00067
는 주어진 영상 내 k번째 특징점의 유형(type)
Figure 112009078317975-PAT00068
, 주어진 특징점의 크기
Figure 112009078317975-PAT00069
, 주어진 가려짐 문맥(occlusion context)
Figure 112009078317975-PAT00070
에서 패치
Figure 112009078317975-PAT00071
가 영상 내에 존재할 확률을 나타낸다.
Figure 112009078317975-PAT00072
는 문맥상 사라진 특징점(예를 들어
Figure 112009078317975-PAT00073
)들을 복원, 보완 내지 보상(compensate)하는 역할을 한다. 물체
Figure 112009078317975-PAT00074
가 영상 내에 존재한다고 하더라도 가려진 특징점들은 검출되지 않는다. 마찬가지로 패치
Figure 112009078317975-PAT00075
는 그에 대응하는 특징점이 검출되지 않을 때에도 영상 내에 존재하고 있을 수 있다.
문맥적 형상 모델(CSM)은
Figure 112009078317975-PAT00076
의 경우와 비슷하게
Figure 112009078317975-PAT00077
를 모델링함으로써, 그러한 상황을 확률적으로 처리한다. 아래 수학식 5는
Figure 112009078317975-PAT00078
를 계산하기 위한 것이다.
Figure 112009078317975-PAT00079
여기서는 균등한(uniform) 사전 확률(prior probability)을 가정한다. 수학식 5의 구체적인 확률 분포 모델링(probability distribution modeling)과 가려짐 상황에서의 실제 물체 인식 결과는 뒤에서 자세히 설명한다.
본 발명의 일 실시예의 물체 인식 방법은, n번째 물체
Figure 112009078317975-PAT00080
이 2차원 좌표(x, y) 위치
Figure 112009078317975-PAT00081
에서 n번째 물체
Figure 112009078317975-PAT00082
의 영상 내에서의 상대적 크기
Figure 112009078317975-PAT00083
로 존재할 확률에 대하여 영상에서 검출된 패치들이 확률적 투표를 하도록 하는 방식으로 구현된다. 확률적 점수가 높은 최적(optimum) 위치 및 크기에 인식 대상 물체가 존재한다고 판단하는 것이다. 확률 점수 값은 모든 특징점 k에 대하여 상기 수학식 4의 확률 값을 상기 수학식 3과 유사한 방식으로 더함으로써 계산된다.
최적 위치 및 크기를 탐색하기 위해서는, 3차원 (x, y, r) 공간 내에서의 확률 분포
Figure 112009078317975-PAT00084
를 모델링하여야 한다. 3차원 (x, y, r) 공간은 공간적 위치
Figure 112009078317975-PAT00085
(x, y)와 또 다른 크기인
Figure 112009078317975-PAT00086
로 구성되는 2차원 (
Figure 112009078317975-PAT00087
,
Figure 112009078317975-PAT00088
) 공간 형태로도 표현될 수 있다. 본 실시예에서 전체 3차원 공간은 여러 개의 3차원 상자들(bins)로 분할된다. 각각의 특징점 k는 3차원 공간에서 0이 아닌 확률(non-zero probability)을 갖는 (
Figure 112009078317975-PAT00089
,
Figure 112009078317975-PAT00090
) 상자를 계산하는데, 이들은 물체의 중심과 크기를 탐색하기 위한 투표에 사용된다. 이하에서는
Figure 112009078317975-PAT00091
를 구성하는 조건부 확률 항(conditional probability terms) 각각의 모델링에 대하여 설명한다.
앞서
Figure 112009078317975-PAT00092
는 2차원 (x, y) 가우시안 분포로 모델링된 바 있다. 패치
Figure 112009078317975-PAT00093
의 위치
Figure 112009078317975-PAT00094
에 대한 물체 의 중심
Figure 112009078317975-PAT00096
의 표준화된 상대적 위치(normalized relative location)는 아래 수학식 6의 가우시안 분포를 따른다고 가정한다.
Figure 112009078317975-PAT00097
여기서,
Figure 112009078317975-PAT00098
는 학습 영상(training image)의 물체에서 측정된 중심에 대한 패치
Figure 112009078317975-PAT00099
의 위치의 상대적 좌표(relative coordinate),
Figure 112009078317975-PAT00100
는 학습되거나 입력되는 분산(variance)을 나타낸다.
수학식 6은 투표가 특징점의 위치
Figure 112009078317975-PAT00101
및 물체의 크기
Figure 112009078317975-PAT00102
마다 추정되는 중심에 대한 투표가 이루어짐을 의미한다.
Figure 112009078317975-PAT00103
의 모델링에서
Figure 112009078317975-PAT00104
은 특징점의 크기
Figure 112009078317975-PAT00105
에 종속적인(dependent) 1차원 가우시안 분포를 가진다고 가정한다. 평균 값은
Figure 112009078317975-PAT00106
로 계산되는데, 여기서
Figure 112009078317975-PAT00107
는 원본 학습 영상 내의 패치의 크기를 의미한다. 이는
Figure 112009078317975-PAT00108
이 특징점의 상대적 크기(relative scale of the feature)에 따라 결정되는 가우시안 분포로 모델링된다는 것이다. 아래 수학식 7은 이와 같이
Figure 112009078317975-PAT00109
을 가우시안 분포로 모델링하기 위한 것이다.
Figure 112009078317975-PAT00110
여기서,
Figure 112009078317975-PAT00111
은 분산(variance)을 의미한다.
각각의 패치
Figure 112009078317975-PAT00112
에서
Figure 112009078317975-PAT00113
를 로지스틱 함수(logistic function)로 모델링할 수 있다. 유형
Figure 112009078317975-PAT00114
와 패치
Figure 112009078317975-PAT00115
가 동일하다면,
Figure 112009078317975-PAT00116
는 아래 수학식 8과 같이 모델링될 수 있다.
Figure 112009078317975-PAT00117
여기서,
Figure 112009078317975-PAT00118
와
Figure 112009078317975-PAT00119
는
Figure 112009078317975-PAT00120
에 대한 로지스틱 회귀분석(logistic regression)을 이용하여 학습된 함수의 계수들(coefficients)을 의미한다.
이렇게 모델링된 조건부 확률 항들을 이용하여, 특징점 k마다 각각의 (
Figure 112009078317975-PAT00121
,
Figure 112009078317975-PAT00122
) 상자의
Figure 112009078317975-PAT00123
를 계산할 수 있다. 이러한 확률 점수 값들은 상자의 최종 점수를 얻기 위하여 합산된다.
도 4는 3차원 투표 공간의 분할 및 투표 값의 산출 결과를 도시한 것이다. 이는 본 발명의 일 실시예의 결과에 따라 3차원 공간에서 산출된 확률 점수 값에 관한 것이다. 도 4a는 x, y, r 좌표계에서의 3차원 공간을, 도 4b는 최적 크기 값 의 2차원 평면을 각각 도시한다. 도 4의 중심 부근이 상대적으로 매우 밝게 나타나는 것을 확인할 수 있는데, 이는 확률 점수 값이 최대인 위치로서 물체의 최적 중심 위치임을 의미한다.
본 발명의 일 실시예는, 확률 점수 값의 산출에 사라진 특징점들에 의한 확률적 점수 값을 반영하기 위한 방법으로 환영 특징점(hallucinated features)이라는 개념을 사용한다. 환영 특징점은 인식 대상 물체를 포함하는 다수의 영상으로부터 학습된 물체의 특징점이 영상에서 검출되지 않는 경우 문맥적 형상 모델(CSM)에 의하여 자동적으로 삽입된다.
산출된 최적의(optimum) 중심
Figure 112009078317975-PAT00124
와 최적의 크기
Figure 112009078317975-PAT00125
에 기반하여, 본 발명의 일 실시예의 물체 인식 방법은 어떠한 패치들이 정확히 검출되고 어떠한 패치들이 사라졌는지 판단한다. 여기서 정확한 검출이란 정확한 위치에 존재하는 패치들에 대응하는 특징점들이 검출되는 것을 포함한다. 패치가 사라진 경우에는 가장 높은 확률을 제공하는 위치와 크기로 환영 특징점이 삽입된다.
환영 특징점
Figure 112009078317975-PAT00126
는
Figure 112009078317975-PAT00127
의 점수를 업데이트하기 위하여
Figure 112009078317975-PAT00128
를 계산한다.
Figure 112009078317975-PAT00129
는 상기 수학식 1과 유사하게 계산될 수 있는데, 환영 특징점에서 달라지는 파라미터들은 아래 수학식 9와 같이 정리될 수 있다.
Figure 112009078317975-PAT00130
여기서,
Figure 112009078317975-PAT00131
는
Figure 112009078317975-PAT00132
번째 환영 특징점,
Figure 112009078317975-PAT00133
는 환영 특징점의 영상 내 위치,
Figure 112009078317975-PAT00134
는 영상 내의 환영 특징점의 크기를 나타낸다.
산출된
Figure 112009078317975-PAT00135
는 물체 탐색 점수의 더 나은 추정을 위하여 점수
Figure 112009078317975-PAT00136
에 합산된다. 크기에 민감한(scale sensitive) 특징점이나 가려진 특징점들이 사라지면(hallucinated),
Figure 112009078317975-PAT00137
가 증가하여 점수 상승 폭 역시 증가하게 된다. 이러한 경우가 아니라면 점수 상승 폭은 작을 것이다. 결국 환영 특징점의 도입으로 본 발명의 일 실시예는, 물체가 영상 내에 존재하지 않는데 특징점을 잘못 검출한 경우와, 물체가 영상 내에 존재하나 문맥상 사라져서 약하게 검출된 경우를 구별할 수 있게 된다.
도 5는 본 발명의 일 실시예의 문맥상 사라진 특징점의 복원을 통한 물체 인식 결과를 도시한 것이다. 도 5의 사각형(510)은 사람에 의하여 가려진 도 3a와 동일한 물체가 인식된 것이다. 사각형 좌측의 회색 원(511)과 사각형 중앙과 우측의 검은색 원(512)은 검출되지 못했으나 본 발명의 일 실시예에 따라 복원된 특징점을 나타낸다.
본 실시형태의 모듈, 기능 블록들 또는 수단들은 전자 회로, 집적 회로, ASIC (Application Specific Integrated Circuit) 등 공지된 다양한 소자들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수 있다.
이상과 같이 본 발명의 이해를 위하여 그 실시예를 기술하였으나, 당업자라면 알 수 있듯이, 본 발명은 본 명세서에서 기술된 특정 실시예에 한정되는 것이 아니라, 본 발명의 범주를 벗어나지 않는 범위 내에서 다양하게 변형, 변경 및 대체될 수 있다. 따라서, 본 발명의 진정한 사상 및 범주에 속하는 모든 변형 및 변경을 특허청구범위에 의하여 모두 포괄하고자 한다.
도 1은 물체의 특징점 대부분이 문맥상 사라진 영상을 예시적으로 도시한 것이다.
도 2는 본 발명의 일 실시예의 문맥상 사라진 특징점의 복원을 통한 물체 인식 방법의 개략적인 흐름을 나타낸 흐름도이다.
도 3은 인식 대상 물체와 그 중심의 추정 결과를 도시한 것이다.
도 4는 3차원 투표 공간의 분할 및 투표 값의 산출 결과를 도시한 것이다.
도 5는 본 발명의 일 실시예의 문맥상 사라진 특징점의 복원을 통한 물체 인식 결과를 도시한 것이다.

Claims (1)

  1. 크기(scale) 또는 가려짐(occlusion)을 포함하는 문맥상 사라짐에 의하여 영상으로부터 검출되지 않은 특징점을 문맥상 정보를 이용하여 복원하는 단계와,
    상기 복원된 특징점을 이용하여 상기 영상으로부터 물체를 인식하는 단계를 포함하는
    문맥상 사라진 특징점의 복원을 통한 물체 인식 방법.
KR1020090126516A 2009-12-18 2009-12-18 문맥상 사라진 특징점의 복원을 통한 물체 인식 방법 KR101671488B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090126516A KR101671488B1 (ko) 2009-12-18 2009-12-18 문맥상 사라진 특징점의 복원을 통한 물체 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090126516A KR101671488B1 (ko) 2009-12-18 2009-12-18 문맥상 사라진 특징점의 복원을 통한 물체 인식 방법

Publications (2)

Publication Number Publication Date
KR20110069923A true KR20110069923A (ko) 2011-06-24
KR101671488B1 KR101671488B1 (ko) 2016-11-01

Family

ID=44401520

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090126516A KR101671488B1 (ko) 2009-12-18 2009-12-18 문맥상 사라진 특징점의 복원을 통한 물체 인식 방법

Country Status (1)

Country Link
KR (1) KR101671488B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8903161B2 (en) 2011-12-23 2014-12-02 Samsung Electronics Co., Ltd. Apparatus for estimating robot position and method thereof
US9508152B2 (en) 2012-01-11 2016-11-29 Samsung Electronics Co., Ltd. Object learning and recognition method and system
CN108022254A (zh) * 2017-11-09 2018-05-11 华南理工大学 一种基于征点辅助的时空上下文目标跟踪方法
US11200405B2 (en) 2018-05-30 2021-12-14 Samsung Electronics Co., Ltd. Facial verification method and apparatus based on three-dimensional (3D) image

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001005973A (ja) * 1999-04-20 2001-01-12 Atr Media Integration & Communications Res Lab カラー画像による人物の３次元姿勢推定方法および装置
JP2003242509A (ja) * 2001-12-13 2003-08-29 Toshiba Corp パターン認識装置及びその方法
KR20040085503A (ko) * 2003-03-31 2004-10-08 이성환 얼굴영상 복원장치 및 방법
JP2005250989A (ja) * 2004-03-05 2005-09-15 Sony Corp 移動物体追跡方法及び画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001005973A (ja) * 1999-04-20 2001-01-12 Atr Media Integration & Communications Res Lab カラー画像による人物の３次元姿勢推定方法および装置
JP2003242509A (ja) * 2001-12-13 2003-08-29 Toshiba Corp パターン認識装置及びその方法
KR20040085503A (ko) * 2003-03-31 2004-10-08 이성환 얼굴영상 복원장치 및 방법
JP2005250989A (ja) * 2004-03-05 2005-09-15 Sony Corp 移動物体追跡方法及び画像処理装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8903161B2 (en) 2011-12-23 2014-12-02 Samsung Electronics Co., Ltd. Apparatus for estimating robot position and method thereof
US9508152B2 (en) 2012-01-11 2016-11-29 Samsung Electronics Co., Ltd. Object learning and recognition method and system
US10163215B2 (en) 2012-01-11 2018-12-25 Samsung Electronics Co., Ltd. Object learning and recognition method and system
US10867405B2 (en) 2012-01-11 2020-12-15 Samsung Electronics Co., Ltd. Object learning and recognition method and system
CN108022254A (zh) * 2017-11-09 2018-05-11 华南理工大学 一种基于征点辅助的时空上下文目标跟踪方法
US11200405B2 (en) 2018-05-30 2021-12-14 Samsung Electronics Co., Ltd. Facial verification method and apparatus based on three-dimensional (3D) image
US11790494B2 (en) 2018-05-30 2023-10-17 Samsung Electronics Co., Ltd. Facial verification method and apparatus based on three-dimensional (3D) image

Also Published As

Publication number Publication date
KR101671488B1 (ko) 2016-11-01

Similar Documents

Publication Publication Date Title
US9665803B2 (en) Image processing apparatus and image processing method
US11423266B2 (en) Subject recognizing method and apparatus
Touati et al. Change detection in heterogeneous remote sensing images based on an imaging modality-invariant MDS representation
Krotosky et al. Person surveillance using visual and infrared imagery
do Nascimento et al. On the development of a robust, fast and lightweight keypoint descriptor
Safaei et al. Real-time search-free multiple license plate recognition via likelihood estimation of saliency
JP2012221162A (ja) 対象物検出装置及びプログラム
Li et al. Multi-view vehicle detection based on fusion part model with active learning
Park et al. Hand detection and tracking using depth and color information
KR101671488B1 (ko) 문맥상 사라진 특징점의 복원을 통한 물체 인식 방법
Juang et al. Stereo-camera-based object detection using fuzzy color histograms and a fuzzy classifier with depth and shape estimations
Ghidoni et al. A multi-viewpoint feature-based re-identification system driven by skeleton keypoints
Zhong et al. Markov chain based computational visual attention model that learns from eye tracking data
Wang et al. Hand motion and posture recognition in a network of calibrated cameras
Wang et al. A new method for robust object tracking system based on scale invariant feature transform and camshift
Giordano et al. Kernel density estimation using joint spatial-color-depth data for background modeling
Meshgi et al. Fusion of multiple cues from color and depth domains using occlusion aware bayesian tracker
Dang et al. Fast object hypotheses generation using 3D position and 3D motion
Li et al. Multitarget tracking of pedestrians in video sequences based on particle filters
Sabeti et al. Visual Tracking Using Color Cameras and Time-of-Flight Range Imaging Sensors.
JP2013149146A (ja) 物体検知装置、物体検知方法、および、コンピュータ・プログラム
Prahara et al. Vehicle pose estimation for vehicle detection and tracking based on road direction
Aragon-Camarasa et al. Unsupervised clustering in Hough space for recognition of multiple instances of the same object in a cluttered scene
Han et al. RGB-D human identification and tracking in a smart environment
CN117542008B (zh) 一种融合语义点云的自动驾驶场景识别方法、存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20091218

N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20100616

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PG1501 Laying open of application
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20141204

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20141216

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20091218

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20151021

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20160428

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20161007

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20161026

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20161027

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200928

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240919

Start annual number: 9

End annual number: 9