KR20120095445A - 회전 불변형 특징 디스크립터들을 이용한 추적 및 인식을 위한 방법 및 장치 - Google Patents

회전 불변형 특징 디스크립터들을 이용한 추적 및 인식을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20120095445A
KR20120095445A KR1020127015881A KR20127015881A KR20120095445A KR 20120095445 A KR20120095445 A KR 20120095445A KR 1020127015881 A KR1020127015881 A KR 1020127015881A KR 20127015881 A KR20127015881 A KR 20127015881A KR 20120095445 A KR20120095445 A KR 20120095445A
Authority
KR
South Korea
Prior art keywords
feature descriptors
descriptors
interest
extracting
extract
Prior art date
Application number
KR1020127015881A
Other languages
English (en)
Other versions
KR101399804B1 (ko
Inventor
가브리엘 타칵스
라덱 그르제스크주크
비자이 찬드라세카르
번드 지로드
Original Assignee
보드 오브 트러스티스 오브 더 리랜드 스탠포드 주니어 유니버시티
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 보드 오브 트러스티스 오브 더 리랜드 스탠포드 주니어 유니버시티, 노키아 코포레이션 filed Critical 보드 오브 트러스티스 오브 더 리랜드 스탠포드 주니어 유니버시티
Publication of KR20120095445A publication Critical patent/KR20120095445A/ko
Application granted granted Critical
Publication of KR101399804B1 publication Critical patent/KR101399804B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Abstract

회전 불변형 특징 디스크립터들을 이용한 추적 및 인식을 위한 다양한 방법들이 제공된다. 하나의 예시적인 방법은 이미지 프레임의 이미지 피라미드를 생성하는 단계, 이미지 피라미드내에서 복수의 관심 포인트들을 검출하는 단계, 및 각각의 관심 포인트에 대한 특징 디스크립터들을 추출하는 단계를 포함한다. 일부 예시적인 실시예들에 따르면, 특징 디스크립터들을 회전 불변형이다. 또한, 예시적인 방법은 또한 특징 디스크립터들을 이전의 프레임의 특징 디스크립터들에 매칭함으로써 이동을 추적하는 단계 및 특징 디스크립터들에 기초하여 이미지 프레임내에서 오브젝트의 인식을 수행하는 단계를 포함할 수도 있다. 관련 예시적인 방법들 및 예시적인 장치들이 또한 제공된다.

Description

회전 불변형 특징 디스크립터들을 이용한 추적 및 인식을 위한 방법 및 장치{METHOD AND APPARATUS FOR TRACKING AND RECOGNITION WITH ROTATION INVARIANT FEATURE DESCRIPTORS}
본 발명의 실시예들은 일반적으로 이미지 처리에 관한 것으로, 보다 구체적으로, 추적 및 인식을 위해 디스크립터들(descriptors)을 생성하고 활용하는 방법 및 장치에 관한 것이다.
다수의 애플리케이션들에서, 비디오 프레임들과 같은 일련의 이미지들내에서 특징들을 식별하고, 이미지들내에서 특징들의 이동을 추적할 수 있는 것이 요구되어왔다. 예를 들어, 특유의 오브젝트를 포함하는 일련의 비디오 프레임들이 캡처될 수도 있고, 비디오 프레임들을 가로지르는 오브젝트의 상대적 이동을 식별하고 추적하며, 자동 방식으로 오브젝트를 인식하는 것이 요구될 수도 있다. 이와 관련하여, 이미지내에서 특징들의 식별은 증강 현실(augmented reality)과 같은 컴퓨터 비젼 애플리케이션들에서 활용된다. 이들 애플리케이션들은 실시간 오브젝트 인식, 3차원 재구성, 파노라마 스티칭, 로봇 맵핑, 및 비디오 추적을 위해 점점 더 활용되고 있다.
현재, 모바일 전화들과 같은 핸드헬드 디바이스들에는 일반적으로 비디오 캡처링 능력이 장착된다. 이들 비디오 캡처링 능력은 모바일 증강 현실(MAR; mobile augmented reality)과 같은 모바일 및 적절한 컴퓨터 시각 애플리케이션들에 대해 레버리지될 수 있다. 그러나, 적어도 일부의 경우들에서, 핸드헬드 디바이스들의 처리 전력이 핸드헬드 디바이스의 이미지 처리 능력에 대한 제한일 수 있다.
회전 불변형 특징 디스크립터들을 이용하여 추적 및 인식을 위한 본 발명의 다양한 예시적인 방법들 및 장치들이 여기에 설명된다. 일부 예시적인 실시예들에 따르면, 계산의 관점으로부터 상대적으로 저가이지만, 또한 정확한 추적 및 인식을 수행하는데 충분하게 강건한 회전 불변형 특징 디스크립터들이 생성될 수도 있다. 또한, 다양한 예시적인 실시예들에 따르면, 추적을 위해 활용되는 동일한 특징 디스크립터들이 또한 인식을 위해 활용된다.
하나의 예시적인 방법은 이미지 프레임의 이미지 피라미드를 생성하는 단계, 이미지 피라미드내에서 복수의 관심 포인트들을 검출하는 단계, 및 각각의 관심 포인트에 대한 특징 디스크립터들을 추출하는 단계를 포함한다. 일부 예시적인 실시예들에 따르면, 특징 디스크립터들은 회전 불변형이다. 또한, 예시적인 방법은 또한 이전의 프레임의 특징 디스크립터들에 특징 디스크립터들을 매칭함으로써 이동을 추적하는 단계 및 특징 디스크립터들에 기초하여 이미지 프레임내에서 오브젝트의 인식을 수행하는 단계를 포함할 수도 있다.
회전 불변형 특징 디스크립터들을 이용한 추적 및 인식을 위한 관련 예시적인 장치는 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하고, 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는 적어도 하나의 프로세서를 이용하여, 장치로 하여금 다양한 기능들을 적어도 수행하게 하도록 구성된다. 이와 관련하여, 예시적인 장치는 이미지 프레임의 피라미드의 생성, 이미지 피라미드내에서 복수의 관심 포인트들의 검출, 및 각각의 관심 포인트에 대한 특징 디스크립터들의 추출을 수행하게 된다. 일부 예시적인 실시예에 따르면, 특징 디스크립터들은 회전 불변형이다. 또한, 예시적인 장치는 또한 이전의 프레임의 특징 디스크립터들에 특징 디스크립터들을 매칭함으로써 이동의 추적 및 특징 디스크립터들에 기초하여 이미지 프레임내에서 오브젝트의 인식의 수행을 수행하게 될 수도 있다.
다른 예시적인 실시예는 실행가능한 컴퓨터 판독가능한 프로그램 코드 명령들이 저장된 예시적인 컴퓨터 판독가능한 저장 매체이다. 예시적인 컴퓨터 판독가능한 저장 매체의 컴퓨터 판독가능한 프로그램 코드 명령들은 장치로 하여금 다양한 기능들을 수행하게 하기 위한 것이다. 이와 관련하여, 예시적인 장치는 이미지 프레임의 피라미드의 생성, 이미지 피라미드내에서 복수의 관심 포인트들의 검출, 및 각각의 관심 포인트에 대한 특징 디스크립터들의 추출을 수행하게 된다. 일부 예시적인 실시예에 따르면, 특징 디스크립터들은 회전 불변형이다. 또한, 예시적인 장치는 또한 이전의 프레임의 특징 디스크립터들에 특징 디스크립터들을 매칭함으로써 이동의 추적 및 특징 디스크립터들에 기초하여 이미지 프레임내에서 오브젝트의 인식의 수행을 수행하게 될 수도 있다.
다른 예시적인 실시예는 회전 불변형 특징 디스크립터들을 이용한 추적 및 인식을 위한 예시적인 장치이다. 예시적인 장치는 예시적인 장치는 이미지 프레임의 피라미드를 생성하는 수단, 이미지 피라미드내에서 복수의 관심 포인트들을 검출하는 수단, 및 각각의 관심 포인트에 대한 특징 디스크립터들을 수단을 포함한다. 일부 예시적인 실시예에 따르면, 특징 디스크립터들은 회전 불변형이다. 또한, 예시적인 장치는 또한 이전의 프레임의 특징 디스크립터들에 특징 디스크립터들을 매칭함으로써 이동을 추적하는 수단 및 특징 디스크립터들에 기초하여 이미지 프레임내에서 오브젝트의 인식을 수행하는 수단을 포함할 수도 있다.
따라서, 본 발명을 일반적인 관점에서 설명하면, 이제 반드시 일정한 비율로 그려지지 않는 첨부한 도면들에 대한 참조가 이루어진다.
도 1은 본 발명의 예시적인 실시예에 따른 방사형 그라디언트(radial gradient)들의 생성을 예시한다.
도 2는 본 발명의 예시적인 실시예에 따른 방사형 그라디언트 변환을 사용하는 회전 불변성을 예시한다.
도 3(a) 내지 도 3(d)는 본 발명의 예시적인 실시예에 따른 비닝(binning)을 위한 이미지들의 셀들로의 세그먼트화를 예시한다.
도 4(a) 및 도 4(b)는 본 발명의 예시적인 실시예에 따른 공간 비닝 구성들을 예시한다.
도 5(a) 및 도 5(b)는 본 발명의 예시적인 실시예에 따른 방사형 그라디언트 변환 및 근사된 방사형 그라디언트 변환 기저 벡터 각각을 예시한다.
도 6은 본 발명의 예시적인 실시예에 따른 회전 불변형 특징 디스크립터들을 이용한 추정 및 인식을 위한 장치의 블록도를 예시한다.
도 7은 본 발명의 예시적인 실시예에 따른 회전 불변형 특징 디스크립터들을 이용한 추적 및 인식을 위한 모바일 단말기의 블록도를 예시한다.
도 8은 본 발명의 예시적인 실시예에 따른 회전 불변형 특징 디스크립터들을 이용한 추적 및 인식을 위한 방법의 플로우차트를 예시한다.
도 9는 본 발명의 예시적인 실시예에 따른 회전 불변형 특징 디스크립터들을 이용한 추적 및 인식을 위한 방법의 다른 플로우차트를 예시한다.
이제, 본 발명의 모든 실시예들은 아니지만 일부가 도시되는 첨부한 도면들을 참조하여 본 발명의 예시적인 실시예들이 이하에서 더욱 완전하게 설명될 것이다. 실제로, 본 발명은 다수의 상이한 형태들로 실시될 수도 있고, 여기에 설명하는 실시예들에 제한되는 것으로 해석되어서는 안되고, 오히려, 이들 실시예들은 본 개시물이 적용가능한 적법한 요건들을 충족시키도록 제공된다. 동일한 참조 부호들이 동일한 엘리먼트들을 전반적으로 지칭한다. 용어들 "데이터", "컨텐츠", "정보", 및 유사한 용어들이, 송신되고, 수신되고, 동작되고/되거나 저장될 수 있는 데이터를 지칭하도록, 본 발명의 일부 예시적인 실시예들에 따라 상호교환가능하게 사용될 수도 있다.
여기에서 사용되는 바와 같이, 용어 '회로'는 (a) (오직 아날로그 및/또는 디지털 회로에서의 구현물들과 같은) 하드웨어 전용 회로 구현물들; (b) (적용가능하면) (ⅰ) 프로세서(들)의 조합 또는 (ⅱ) (디지털 신호 프로세서(들), 소프트웨어, 및 모바일 전화 또는 서버와 같은 장치로 하여금 다양한 기능들을 수행하게 하도록 함께 작동하는 메모리(들)를 포함하는) 프로세서(들)/소프트웨어의 부분들과 같은 회로 및 소프트웨어(및/또는 펌웨어)의 조합, 및 (c) 소프트웨어 또는 펌웨어가 물리적으로 제공되지 않더라도, 동작을 위해 소프트웨어 또는 펌웨어를 요구하는 프로세서(들) 또는 프로세서(들)의 부분과 같은 회로들 모두를 지칭한다.
'회로'의 이러한 정의는 임의의 청구항들에 포함하는 본 출원에서의 이러한 용어의 모든 사용들에 적용된다. 다른 예로서, 본 출원에서 사용될 때, 용어 "회로"는 단지 프로세서(또는 다중의 프로세서들) 또는 프로세서의 부분 및 그것의(또는 그들의) 수반하는 소프트웨어 및/또는 펌웨어의 구현물을 또한 커버한다. 용어 "회로"는 예를 들어, 특정한 청구항 엘리먼트에 적용가능하면, 기저대역 집적 회로 또는 서버, 셀룰러 네트워크 디바이스, 또는 다른 네트워크 디바이스에서의 모바일 전화 또는 유사한 집적 회로에 대한 애플리케이션 프로세서 집적 회로를 또한 커버한다.
본 발명의 예시적인 실시예들은 여기에서 설명한 바와 같이 생성된 특징 디스크립터를 사용하여, 모바일 증강 현실(MAR) 애플리케이션들과 같은 이미지 처리 애플리케이션들에서 추적 및 비디오 컨텐츠 인식을 통합하는 방법들 및 장치들을 포함한다. 특징 디스크립터는 회전 불변형, 고속 특징(RIFF) 디스크립터로 지칭될 수도 있다. RIFF 디스크립터는 방사형 그라디언트 변환(RGT) 및/또는 근사 RGT(ARGT)를 사용하여 생성될 수도 있다. 다른 예시적인 실시예들에 따르면, RIFF 디스크립터들은 프레임 레이트 또는 근접 프레임 레이트 추적을 위해 충분히 빠르게 그리고 큰 스케일의 인식 검색 작업들을 위해 충분히 강건하게 생성된다. 예를 들어, 일부 예시적인 실시예들에 따르면, RIFF 디스크립터들을 사용한 추적 방식들은 Kanade-Lucas-Tomasi(KLT) 특징 추적기로부터의 것들에 필적하는 글로벌 아핀 모션 모델을 생성할 수 있고, 이미지들의 데이터베이스로부터 개선된 인식 검색 정확성을 달성할 수 있다.
MAR 애플리케이션들과 같은 이미지 처리 애플리케이션들은 시각-추적 및 인식을 활용할 수도 있다. 본 발명의 예시적인 실시예들은 비디오 프레임 레이트들에서 또는 그 근처에서 추출될 수 있고 추적 및 인식 양자를 위해 사용될 수 있는 특징 디스크립터들을 생성함으로써 추적 및 인식을 통합하는 프레임들 사이의 리던던시를 활용한다. 예시적인 실시예들에 따른 특징 디스크립터들은 인식 및 추적 양자를 위해 유용한 비디오 프레임 레이트들에서 정보를 추출함으로써 생성될 수도 있다. 이러한 방식으로 특징 디스크립터들을 생성함으로써, 추적 및 인식 양자는 특징 디스크립터들에 의해 지지될 수도 있다. 추가로, 다수의 핸드헬드 디바이스의 제한된 계산 전력과 수반되는 도전과제들을 극복하기 위해, 다양한 예시적인 실시예들에 따른 여기에 설명한 특징 디스크립터들은 계산하는데 강건 및 고속 모두이다.
RIFF 디스크립터의 생성은 매우 낮은 비트레이트에서 양호하게 작동하는 것으로 나타난 압축된 히스토그램의 그라디언트(CHoG) 디스크립터를 형성하는 절차로 시작할 수도 있다. 그러나, 일부 예시적인 실시예들에 따르면, CHoG 디스크립터는 키포인트 검출의 배향 할당 위상을 제거하여 속도를 증가시키고, 회전 불변형 고속 특징 디스크립터를 생성하도록 변경될 수도 있다.
이와 관련하여, 2개의 타입의 RIFF 디스크립터들, 그라디언트 비닝에 기초하는 디스크립터 및 공간 비닝에 기초하는 디스크립터가 제공될 수도 있다. 회전 불변성은 강건한 이미지 인식 시스템들에 대한 중요한 특징일 수 있다. 일부 디스크립터들은 배향을 찾고 관련 픽셀들을 보간함으로써 배향 불변성을 달성한다. 그러나, 예시적인 실시예에 따르면, RIFF 디스크립터들의 생성은 배향들의 결정 및 픽셀들의 보간없이 수행될 수도 있다. 이와 관련하여, 히스토그램의 그라디언트(HoG) 타입의 디스크립터가 활용될 수도 있고, 회전 불변성은 그라디언트 비닝 및 공간 비닝에서 달성될 수도 있다.
일부 예시적인 실시예에 따르면, 그라디언트 비닝은 합리적 불변형 디스크립터들을 생성하기 위해 사용될 수도 있다. 그라디언트 비닝을 불변형으로 만들기 위해, 가역 공간-변화 변환이 적용될 수도 있다. 소정의 각도만큼 그라디언트들을 회전시킴으로써, 회전 불변성은 거의 또는 어떠한 정보의 손실없이 달성될 수도 있고, 이것은 방사형 그라디언트 변환(RGT)을 산출한다.
도 1에 도시되어 있는 바와 같이, 2개의 직교 기저 벡터들이 선택되어 그라디언트를 설명하는 로컬, 극성 레퍼런스 프레임을 제공할 수도 있다. 기저 벡터들(r 및 t)은 패치의 중심(c)에 대해, 포인트(p)에서의 방사 및 탄젠트 방향들일 수도 있다.
Figure pct00001
는 각도
Figure pct00002
에 대한 표준 회전 매트릭스로서 정의될 수 있고,
Figure pct00003
를 산출한다.
r 및 t상에 투영함으로써, 그라디언트(g)는
Figure pct00004
와 같은 그것의 로컬 좌표계로 분해될 수 있어서, 그라디언트는 벡터
Figure pct00005
로서 로컬 방사형 좌표계에서 표현될 수 있다. 패치가 일부 각도(
Figure pct00006
)만큼 그것의 중심(c) 주위에서 회전되면, 새로운 로컬 좌표계 및 그라디언트가
Figure pct00007
로서 생성된다.
이와 같이, 따라서, 로컬 프레임에서의 그라디언트의 좌표들은, g 및 g'가 각각의 레퍼런스 프레임들에서 동일한 좌표들에 맵핑하기 때문에, 회전에 대해 불변형인 것으로 나타난다.
Figure pct00008
따라서, 그라디언트들 중 일부 또는 모두는 동일한 각도만큼 회전될 수도 있고,
Figure pct00009
는 일 대 일 맵핑을 생성할 수도 있다. 따라서, 패치 주위에 중심이 있는 임의의 소정의 원에 대한 그라디언트들의 세트가 회전에 대해 불변형일 수도 있다. 도 2는 방사형 그라디언트 변환의 구현으로 인한 회전 불변성을 예시한다. 도 2를 참조하면, 데이터베이스 패치(상부 좌측)는 xy(상부 중간) 및 방사형(상부 우측) 도메인들 양자에서 그라디언트 히스토그램을 생성한다. 유사한 히스토그램들이 업라이트 쿼리 패치(중심 좌측) 및 그것의 회전된 버전(바닥 좌측)으로부터 추출된다. xy-그라디언트 히스토그램들(중심 컬럼)이 패치와 회전하고, 방사형-그라디언트 히스토그램들(우측 컬럼)이 모든 로우들에 걸쳐 동일한 형상을 유지한다는 것에 주목할 수 있다.
이들 회전 불변형 그라디언트들이 제공되면, 비닝 기법들이 적용되어 디스크립터를 포함하는 그라디언트들의 히스토그램들을 생성할 수도 있다. 그라디언트 히스토그램은 비닝되어 강건성을 유지하면서 히스토그램의 차원을 적정한 사이즈로 감소시킬 수도 있다. 도 3(a) 내지 도 3(d)는 RIFF 디스크립터의 생성을 위해 사용되는 그라디언트 비닝 중심들 및 보로노이 셀들을 예시한다. 빈 중심들(셀들내의 도트들) 및 보로노이 셀들은 히스토그램 양자화를 위해 사용될 수 있다. 도 3(c) 및 도 3(d)에 도시된 바와 같은 벡터 양자화기(VQ)들은 더욱 플렉시블할 수도 있고, 도 3(a) 및 도 3(b)에 도시된 바와 같은 스칼라 양자화기(SQ)들이 더 고속일 수도 있다.
회전 불변형 그라디언트 비닝을 설명하였고, 공간 비닝은 RIFF 디스크립터들의 생성을 위해 고려될 수도 있다. 공간 비닝은 도 4(a)에 도시된 환형들과 같은 빈들에 대한 환형들을 사용함으로써 불변형으로 될 수도 있다. 다르게는, 환형들은 각도 빈들로 세분될 수도 있어서, 도 4(b)에 도시된 바와 같은 극성 구성을 산출한다.
일부 예시적인 실시예들에 따른 극성 공간-비닝 기법은 디스크립터의 강건성을 개선시킬 수 있다. 그러나, 배향 불변성이 손실될 수도 있다. 배향 불변성을 회복하기 위해, 디스크립터 각도들 중 일부 또는 모두에 걸쳐 최소 거리(D)를 추정하는 거리 측정(
Figure pct00010
)이 사용될 수도 있다. 따라서,
Figure pct00011
가
Figure pct00012
만큼 회전된 디스크립터이면,
Figure pct00013
이다.
예를 들어, 극성 공간 비닝을 구현하기 위해, 6개의 각도 분할들이 거리 대 각도의 샘플링된 추정치를 대략 제공하기 위해 사용될 수도 있다. 이차 보간이 높은 정확도의 각도 및 거리 추정치를 위해 사용될 수도 있다.
배향 불변성을 달성하기 위해 그라디언트 비닝 및 공간 비닝을 사용한 RIFF 디스크립터들의 생성을 설명하였고, 특징 생성의 증가된 속도를 달성하기 위해 절차들에 대한 다른 변경들이 설명된다. 배향 할당이 특징들의 생성에 포함되지 않았기 때문에, 디스크립터들은 관심 포인트 주위의 업라이트 패치로부터 직접적으로 추출될 수도 있다. 이와 같이, 다양한 예시적인 실시예들에 따르면, 픽셀 보간의 계산적으로 비용이 많이 드는 동작이 수행될 필요가 없다.
또한, 근사된 방사형 그라디언트 변환이 활용되어 RGT를 통해 배향 불변성을 달성하는 계산적 비용을 감소시킬 수도 있다. 일부 실시예들에서, 다수의 플로팅 포인트 매트릭스 승산 또는 고정 포인트 산술을 요구할 수도 있는 RGT가 활용될 수도 있기 때문에, 근사화가 계산적 부하를 감소시키기 위해 대안으로 사용될 수도 있다.
이와 관련하여, r 및 t 기저 벡터들은 더 단순한 쌍(
Figure pct00014
및
Figure pct00015
)에 의해 근사될 수 있다. 도 5(a)를 도 5(b)와 비교하면, 근사 기저 벡터들이 도 5(b)에 도시된 바와 같이 45도와 같은 소정의 각도로 양자화될 수도 있다는 것을 알 수 있다. 이렇게 함으로써, 그라디언트는 추가의 비용없이 각각의 방향을 따라 직접적으로 계산될 수도 있고, 근사 방사형 그라디언트 변환(ARGT)이 적합한 정규화로 이웃하는 픽셀들 사이의 차이들을 찾음으로써 계산될 수도 있다.
ARGT를 계산하였고, 그라디언트 히스토그램들의 스칼라 양자화가 수행되어 RIFF 디스크립터를 구성할 수도 있다. 일부 예시적인 실시예에 따르면, 속도에 대해, 3×3 및 5×5 스칼라 양자화기가 벡터 양자화기들 대신에 극성 및 환형 구성들을 위해 활용될 수도 있다. 일부 예시적인 실시예에서, 100-차원 환형 디스크립터들 및/또는 117-차원 극성 디스크립터들이 산출될 수도 있다.
다양한 예시적인 실시예들에 따르면, 로컬 HoG 디스크립터들은 관심 포인트 주위의 이미지 컨텐츠에 관한 통계를 캡처할 수도 있다. 2개의 관심 포인트의 이미지 컨텐츠가 동일하다고 가정하면, 그라디언트들의 분포가 또한 유사할 수도 있다. 따라서, 기반 분포가 샘플들의 히스토그램에 의해 추정될 수도 있고, 더 많은 샘플들이 개선된 추정에 이른다. 그러나, 각 샘플은 그라디언트의 계산 및 양자화를 요구할 수도 있다. 따라서, 샘플들의 수를 통해, 계산의 속도와 추정의 품질 사이에 트레이드-오프가 존재할 수도 있다. 추정에 대한 적은 저하로 속도를 개선하기 위해, 교호 픽셀들이 관심 포인트 주위에서 샘플링될 수도 있다. 도 4(a) 및 도 4(b)는 바둑판 무늬의 넓은 패턴을 통해 교호하는 픽셀들을 나타내고, 여기서, 어두운 칸들로 표현된 픽셀들은 HoG를 추정하기 위해 샘플링되고, 밝은 칸들로 표현된 픽셀들은 샘플링되지 않는다.
또한, 상술한 바와 같이 생성된 RIFF 디스크립터는 추적 및 인식 작업들 양자를 위한 디스크립터들을 사용함으로써 추적 및 인식을 통합할 수도 있다. 추적을 위해, 이미지 피라미드의 각 레벨에 대한, FAST(features from accelerated segment test) 검출기와 같은 관심 포인트 검출기가 구현될 수도 있다. 일부 예시적인 실시예들에 따르면, 속도에 대해, 피라미드의 비정수 레벨들이 생략될 수도 있고, 이것은 2×다운샘플링을 넘는 픽셀 보간을 요구하지 않으면서, 스케일 공간에서 충분한 커버리지를 제공한다. 또한, 일부 예시적인 실시예에 따르면, 디스크립터들이 인식을 위해 사용될 때, 스케일 공간에서의 커버리지의 어떤 부족이 데이터베이스에서의 리던던시에 의해 교정될 수도 있다.
추적을 위해, 그 후, RIFF 디스크립터들은 이전의 프레임에서의 공간적으로 이웃하는 RIFF 디스크립터들에 매칭될 수도 있다. 2개의 디스크립터들이 고정된 반경(예를 들어, 8개 픽셀들)내에 있으면, 디스크립터들은 매치에 대한 후보들로 고려될 수도 있다. 그 후, 최상의 후보는 거리 임계값에 영향을 받는, 디스크립터 도메인에서 최소 거리를 갖는 것으로서 선택될 수도 있다. 일부 예시적인 실시예들에 따르면, 성능을 매칭하기 위해 Kullback-Leiber 발산이 사용될 수도 있다.
매우 높은 프레임 레이트에서 디스크립터 매칭을 위해, 매칭 후보들의 고속 해싱 및 공간 비닝이 프레임에서 디스크립터의 위치에 따라 수행될 수도 있다. 이와 관련하여, 프레임은 예를 들어, 공간 그리드로 분할될 수도 있고, 현재의 프레임의 디스크립터들은 디스크립터들이 검출되는 그리드의 부분들과 연관된 빈들에 배치될 수도 있다. 일부 예시적인 실시예들에 따르면, 디스크립터들은 공간 그리드에서 8개의 이웃하는 빈들과 같은 이웃하는 빈들에 또한 배치될 수도 있다. 이러한 방식으로 비닝을 수행하는 것은 프레임들 사이에서 공간 이웃들의 고속 룩업을 허용할 수도 있다. 매칭 후보들을 결정하기 위해, 빈들은 어떤 현재의 프레임의 빈들이 디스크립터를 포함하는지 결정하기 위해 분석될 수도 있다. 일부 예시적인 실시예에 따르면, 빈들은 이전의 프레임으로부터 일부 또는 모든 이웃하는 디스크립터들의 짧은 리스트를 포함할 수도 있다.
다양한 예시적인 실시예에 따르면, 매칭 기법은 충분하게 강건하고 분리물(outlier)들이 없는 특징 매치를 제공하여, 분리물 제거가 요구되지 않는다. 이와 관련하여, 프레임의 글로벌 이동을 추적하기 위해, 아핀 모델에 대한 최소 제곱 솔루션이 현재 프레임과 이전 프레임 사이에서 계산될 수도 있다.
또한, 인식 기능을 지원하기 위해, 이전의 프레임의 디스크립터들의 백로그(backlog)가 임의의 매치들 및 아핀 모델들에 따라 저장될 수도 있다. 일부 예시적인 실시예들에 따르면, 프레임 당 적절한 수의 디스크립터들로 품질 인식을 달성하는 이러한 시간적 밀집 정보 세트가 제공될 수도 있다.
상기 언급한 바와 같이, RIFF 디스크립터들은 인식을 위해 또한 사용될 수도 있다. 이와 관련하여, 실시간 또는 거의 실시간 RIFF 디스크립터 추출 및 추적이 예를 들어, 핸드헬드 디바이스상에서 수행될 수도 있다. 추가로, 과거에 추적된 특징들 및 아핀 모델들의 버퍼가 생성될 수도 있다. 버퍼를 생성하기 위해, 일부 예시적인 실시예들은 프레임 당 100개의 특징들을 추출할 수도 있고, 초 당 15개 프레임들에서 1 초 동안, 1500개의 특징들이 추출되고 추적될 수도 있다. 디스크립터들 및 그들의 각각의 추적 정보에 기초하여, 비디오 컨텐츠 인식이 버퍼에 관하여 수행될 수도 있다.
또한, 일부 예시적인 실시예들에서, 동일한 디스크립터들을 통한 추적과 인식의 통합은 인식 데이터에 시간적 코히어런시를 제공하는 추가의 이점을 갖는다. 특징 디스크립터들의 강건성은 비디오 스트림을 통해 디스크립터들의 경로를 검사함으로써 실현될 수도 있다. 추적 정보에 기초하여, 쿼리 특징들로부터 관련없는 데이터의 삭제가 수행될 수도 있다. 의사 관심 포인트들의 삭제에 부가하여, 강건한 관심 포인트의 디스크립션은 이웃하는 프레임들로부터 더 많은 샘플들을 획득함으로써 개선될 수도 있다.
MAR 애플리케이션들과 같은 다수의 애플리케이션들에 대해, 비디오 스트림의 쿼리들이 로컬 또는 원격 데이터베이스에 대해 수행될 수도 있다. 쿼리는 1 Hz와 같이 일정한 간격에서 주기적으로, 또는 상당한 새로운 컨텐츠가 프레임에 존재할 때 수행될 수도 있다. 새로운 컨텐츠의 존재는 추적 데이터로부터 쉽게 추론될 수도 있다.
일부 MAR 애플리케이션들에 대해, 글로벌 포지셔닝 시스템 위치 정보와 같은 위치 정보가 인식을 위해 적합한 로컬 데이터베이스를 프리페치하기 위해 사용될 수도 있다. 이러한 방식으로 데이터베이스를 프리페치하는 것은 오브젝트 인식에 대한 데이터베이스의 사이즈를 제한할 수도 있다. 또한, 일부 예시적인 실시예에 대해, 컴팩트 디스크와 같은 더 큰 데이터베이스 또는 다른 오브젝트 인식 데이터베이스, 추적 정보가 압축될 수도 있고, 서버에 쿼리될 수도 있다.
상술하고 그렇지 않으면 여기에서의 인식 기법들에 기초하여, 쌍으로 된 이미지 매칭 및 검색 성능이 달성될 수도 있다. 일부 예시적인 실시예들에 따르면, 인식을 수행하기 위해, DoG(difference of Gaussian) 관심 포인트들과 같은 관심 포인트들이 식별될 수도 있고, 각각의 디스크립터들이 추출될 수도 있다. 디스크립터들을 사용하여, 어휘 트리가 트레이닝될 수도 있다. 예를 들어, 600개의 관심 포인트들이 추출되면, 깊이 6 및 브랜치 팩터 10을 갖는 트리가 구성될 수도 있어서, 106개의 리프 노드(leaf node)를 갖는 트리를 발생시킨다. 대칭 KL-발산이 트레이닝 및 쿼리 양자에 대한 거리 측정을 위해 사용될 수도 있다. 다르게는, 일부 예시적인 실시예에 따르면, HoG 디스크립터들에 대한 L2 놈이 사용될 수도 있다. KL-발산은 이것이 Bregman 발산이기 때문에 k-평균 클러스터링 프레임워크로 통합될 수도 있다. 개선된 강건성을 위해, 디스크립터들의 소프트-할당이 3개의 가장 근접한 중심들에 관하여 또한 사용될 수도 있다.
쿼리를 위해, 유사도 값이 예를 들어, 시각 워드 발생의 희소 벡터로서 쿼리 및 데이터베이스 이미지들을 나타내는 표준 단어 빈도-인버스 문서 빈도(TF-IDF) 방식을 사용하여 각 쿼리와 데이터베이스 벡터 사이에서 계산될 수도 있다. 덜 특이한 디스크립터들의 기여를 감소시키는 가중 방식이 또한 사용될 수도 있다. 이미지들의 선택 세트가 TF-IDF 보팅(voting)으로부터 선택되면, 쌍으로 된 매치가 예를 들어, 비율-테스트 및 랜덤 샘플 합의(RANSAC)를 사용하여 인식을 완료하기 위해 수행될 수도 있다.
상기 및 여기에서 일반적으로 제공된 디스크립션은 RIFF 특징 생성 및 RIFF 특징들을 사용한 추적 및 인식을 위한 예시적인 방법들, 예시적인 방치들을 예시한다. 예시적인 방법들 및 예시적인 장치들은 MAR에 대한 애플리케이션들을 이용한 통합된 추적 및 비디오 컨텐츠 인식을 달성하기 위해 구현될 수도 있다. RGT 및 그것의 근사화가 활용될 수도 있어서, 회전 불변형 고속 특징(RIFF) 디스크립터를 산출한다. 일부 예시적인 실시예들에 따르면, RIFF 디스크립터들은 실시간 또는 거의 실시간 추적을 위해 충분히 고속이고, 큰 스케일 검색 작업들을 위해 충분히 강건하다. 26×속도에서, 예를 들어, 여기에 설명한 추적 방식의 예시적인 실시예들은 KLT로부터의 것에 필적하는 글로벌 아핀 모션-모델을 획득한다. 추가로, 일부 예시적인 실시예에 따르면, 추적을 위해 사용된 모델들 및 특징 매치들은 비디오 컨텐츠 인식의 강건성을 증가시키기 위해 또한 사용된다. 추적 및 인식을 커플링함으로써, 처리에서의 상호간의 이점들이 실현될 수도 있다.
상술한 바에 기초하여, 도 6 및 도 7은 여기에 설명한 다양한 기능들을 수행하도록 구성된 본 발명의 예시적인 장치의 실시예들을 예시한다. 도 8은 여기에 설명한 바와 같은 추적 및 인식을 위한 예시적인 방법을 나타낸다.
이제 도 6을 참조하면, 일부 예시적인 실시예들에서, 장치(200)는 유선 또는 무선 통신 능력들을 갖는 통신 디바이스로서 구현될 수도 있거나 그것의 컴포넌트로서 포함될 수도 있다. 일부 예시적인 실시예들에서, 장치(200)는 정지형 또는 모바일 단말기와 같은 통신 디바이스의 일부일 수도 있다. 정지형 단말기로서, 장치(200)는 컴퓨터, 서버, 액세스 포인트(예를 들어, 기지국, 무선 라우터 등), 네트워크 통신을 지원하는 디바이스 등의 일부일 수도 있다. 모바일 단말기로서, 장치(200)는 모바일 컴퓨터, 모바일 전화, 휴대용 정보 단말기(PDA), 페이퍼, 모바일 텔레비전, 게임 디바이스, 모바일 컴퓨터, 가능하면 무선 모뎀, 카메라, 비디오 리코더, 오디오/비디오 플레이어, 라디오 및/또는 글로벌 포지셔닝 시스템(GPS) 디바이스를 갖는 랩탑 컴퓨터, 상술한 바의 임의의 조합 등일 수도 있다. 통신 디바이스의 타입에 관계없이, 장치(200)는 또한 컴퓨팅 능력들을 포함할 수도 있다.
예시적인 장치(200)는 프로세서(205), 메모리 디바이스(210), 입/출력(I/O) 인터페이스(206), 통신 인터페이스(215), 사용자 인터페이스(220), 및 소스 접속 관리자(230)를 포함하거나 다르게는 이들과 통신한다. 프로세서(205)는 예를 들어, 마이크로프로세서, 코프로세서, 제어기, 예를 들어, 응용 주문형 집적 회로(ASIC), 필드 프로그램가능 게이트 어레이(FPGA), 또는 하드웨어 가속기와 같은 특수 목적 집적 회로, 프로세싱 회로 등을 포함하는 본 발명의 예시적인 실시예들의 다양한 기능들을 구현하는 다양한 수단으로서 구현될 수도 있다. 하나의 예시적인 실시예에 따르면, 프로세서(205)는 협력하여 동작하는 복수의 프로세서들 또는 하나 이상의 다중 코어 프로세서들을 나타낼 수도 있다. 또한, 프로세서(205)는 여기에 설명한 기능의 수행을 용이하게 하기 위해 복수의 트랜지스터들, 로직 게이트들, 클록(예를 들어, 오실레이터), 다른 회로 등으로 구성될 수도 있다. 프로세서(205)는 하나 이상의 수반하는 디지털 신호 프로세서들을 포함할 수도 있지만, 포함할 필요가 없을 수도 있다. 일부 예시적인 실시예들에서, 프로세서(205)는 메모리 디바이스(210)에 저장된 명령들 또는 그렇지 않으면 프로세서(205)에 액세스가능한 명령들을 실행하도록 구성된다. 프로세서(205)는 프로세서가 장치(200)로 하여금 여기에 설명한 다양한 기능들을 수행하게 하도록 동작하기 위해 구성될 수도 있다.
하드웨어로서 구성되거나 비일시적 컴퓨터 판독가능 저장 매체상에 저장된 명령들을 통하거나, 이들의 조합에 의해서든지, 프로세서(205)는 본 발명의 예시적인 실시예들에 따라 동작들을 수행하면서 그에 따라 구성될 수 있는 엔터티일 수도 있다. 따라서, 프로세서(205)가 ASIC, FPGA 등으로서 구현되거나 이들의 일부인 예시적인 실시예들에서, 프로세서(205)는 구체적으로는, 여기에 설명한 동작들을 실시하기 위해 구성된 하드웨어이다. 다르게는, 프로세서(205)가 컴퓨터 판독가능 저장 매체상에 저장된 명령들의 실행기로서 구현되는 예시적인 실시예들에서, 명령들을 구체적으로는, 여기에 설명한 알고리즘들 및 동작들을 수행하도록 프로세서(205)를 구성한다. 일부 예시적인 실시예들에서, 프로세서(205)는 여기에 설명한 알고리즘들, 방법들, 및 동작들을 수행하는 실행된 명령들을 통해 프로세서(205)의 다른 구성에 의해 본 발명의 예시적인 실시예들을 이용하기 위해 구성된 특정 디바이스(예를 들어, 모바일 단말기)의 프로세서이다.
메모리 디바이스(210)는 휘발성 및/또는 비휘발성 메모리를 포함할 수도 있는 하나 이상의 컴퓨터 판독가능한 저장 매체일 수도 있다. 일부 예시적인 실시예들에서, 메모리 디바이스(210)는 동적 및/또는 정적 랜덤 액세스 메모리(RAM)를 포함하는 RAM, 온-칩 또는 오프-칩 캐시 메모리 등을 포함할 수도 있다. 또한, 메모리 디바이스(210)는 내장 및/또는 착탈가능할 수도 있는 비휘발성 메모리를 포함할 수도 있고, 예를 들어, 판독 전용 메모리, 플래시 메모리, 자기 저장 디바이스들(예를 들어, 하드 디스크들, 플로피 디스크 드라이브들, 자기 테이프 등), 광 디스크 드라이브들 및/또는 매체들, 비휘발성 랜덤 액세스 메모리(NVRAM) 등을 포함할 수도 있다. 메모리 디바이스(210)는 데이터의 임시 저장을 위한 캐시 영역을 포함할 수도 있다. 이와 관련하여, 메모리 디바이스(210)의 일부 또는 모두는 프로세서(205)내에 포함될 수도 있다.
또한, 메모리 디바이스(210)는 프로세서(205) 및 예시적인 장치(200)가 여기에 설명한 본 발명의 예시적인 실시예들에 따른 다양한 기능들을 수행할 수 있게 하는 정보, 데이터, 애플리케이션들, 컴퓨터 판독가능한 프로그램 코드 명령들 등을 저장하도록 구성될 수도 있다. 예를 들어, 메모리 디바이스(210)는 프로세서(205)에 의한 처리를 위해 입력 데이터를 버퍼링하도록 구성될 수 있다. 추가로, 또는 다르게는, 메모리 디바이스(210)는 프로세서(205)에 의한 실행을 위해 명령들을 저장하도록 구성될 수도 있다.
I/O 인터페이스(206)는 프로세서(205)를 통신 인터페이스(215) 및 사용자 인터페이스(220)와 같은 다른 회로 또는 디바이스들과 인터페이스하도록 구성되는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에서 구현된 임의의 디바이스, 회로, 또는 수단일 수도 있다. 일부 예시적인 실시예에서, 프로세서(205)는 I/O 인터페이스(206)를 통해 메모리(210)와 인터페이스할 수도 있다. I/O 인터페이스(206)는 신호들 및 데이터를 프로세서(205)에 의해 해석될 수 있는 형태로 변환하도록 구성될 수도 있다. I/O 인터페이스(206)는 또한, 프로세서(205)의 동작을 지원하도록 입력들 및 출력들의 버퍼링을 수행할 수도 있다. 일부 예시적인 실시예들에 따르면, 프로세서(205) 및 I/O 인터페이스(206)는 본 발명의 다양한 기능들을 수행하거나 장치(200)로 하여금 그 다양한 기능들을 수행하게 하도록 구성된 단일 칩 또는 집적 회로상에서 결합될 수도 있다.
통신 인터페이스(215)는 예시적인 장치(200)와 통신하는 네트워크 및/또는 이의의 다른 디바이스 또는 모듈로부터/로 데이터를 수신/송신하도록 구성되는 하드웨어, 컴퓨터 프로그램 제품, 또는 하드웨어와 컴퓨터 프로그램 제품의 조합에서 구현된 임의의 디바이스 또는 수단일 수도 있다. 일부 예시적인 실시예들에서, 통신 인터페이스는 개인 컴퓨터에 접속된 무선 모뎀의 일부일 수도 있거나 그 무선 모뎀을 포함할 수도 있다. 프로세서(205)는 또한, 예를 들어, 통신 인터페이스(215)내에 포함된 하드웨어를 제어함으로써 통신 인터페이스를 통한 통신을 용이하게 하도록 구성될 수도 있다. 이와 관련하여, 통신 인터페이스(215)는 예를 들어, 하나 이상의 안테나들, 송신기, 수신기, 트랜시버 및/또는 예를 들어, 통신을 가능하게 하는 프로세서를 포함하는 지원 하드웨어를 포함할 수도 있다. 통신 인터페이스(215)를 통해, 예시적인 장치(200)는 디바이스 대 디바이스 방식으로 및/또는 기지국, 액세스 포인트, 서버, 게이트웨이, 라우터 등을 통한 간접 통신을 통해 다양한 다른 네트워크 엔터티들과 통신할 수도 있다.
통신 인터페이스(215)는 임의의 유선 또는 무선 통신 표준에 따른 통신을 제공하도록 구성될 수도 있다. 통신 인터페이스(215)는 다중 입력 다중 출력(MIMO) 환경들과 같은 다중 안테나 환경들에서 통신을 지원하도록 구성될 수도 있다. 또한, 통신 인터페이스(215)는 직교 주파수 분할 멀티플렉싱(OFDM) 시그널링을 지원하도록 구성될 수도 있다. 일부 예시적인 실시예들에서, 통신 인터페이스(215)는 2세대(2G) 무선 통신 프로토콜들, IS-136(시간 분한 다중 액세스(TDMA)), 무선 통신을 위한 글로벌 시스템(GSM), IS-95(코드 분할 다중 액세스(CDMA)), 유니버셜 모바일 전기통신 시스템(UMTS), CDMA2000, 광대역 CDMA(WCDMA) 및 시간 분할 동기화 CDMA(TD-SCDMA)와 같은 3세대(3G) 무선 통신 프로토콜들, 진화된 유니버셜 지상 라디오 액세스 네트워크(E-UTRAN)와 같은 3.9세대(3.9G) 무선 통신 프로토콜들, 4세대(4G) 무선 통신 프로토콜들, 구제 모바일 전기통신 어드밴스드(IMT-Advanced) 프로토콜들, LTE-어드밴스드를 함하는 롱텀 에볼루션(LTE) 프로토콜들 등과 같은 다양한 기법들에 따라 통신하도록 구성될 수도 있다. 또한, 통신 인터페이스(215)는 예를 들어, 무선 주파수(RF), 적외선(IrDA) 또는 IEEE 802.11(예를 들어, 802.11a, 802.11b, 802.11g, 802.11n 등), 무선 로컬 영역 네트워크(WLAN) 프로토콜들과 같은 WLAN 기법들, IEEE 802.16과 같은 와이맥스(WiMAX) 기법들, 및/또는 IEEE 802.15, 블루투스(BT), BT의 저전력 버전, 초광대역(UWB), 와이브리(Wibree), 지그비 등과 같은 무선 개인 영역 네트워크(WPAN) 기법들을 포함하는 임의의 다수의 상이한 무선 네트워킹 기법들과 같은 기법들에 따라 통신을 제공하도록 구성될 수도 있다. 통신 인터페이스(215)는 또한, 가능하면 인터넷 프로토콜(IP)을 통해 네트워크 층에서 통신들을 지원하도록 구성될 수도 있다.
사용자 인터페이스(220)는 사용자 인터페이스(220)를 통해 사용자 입력을 수신하고/하거나 예를 들어, 가청, 시각, 기계적 또는 다른 출력 표시들로서 출력을 사용자에게 제공하기 위해 프로세서(205)와 통신할 수도 있다. 사용자 인터페이스(220)는 예를 들어, 키보드, 마우스, 조이스틱, 디스플레이(예를 들어, 터치스크린 디스플레이), 마이크로폰, 스피커, 또는 다른 입/출력 메카니즘들을 포함할 수도 있다. 또한, 프로세서(205)는 사용자 인터페이스의 하나 이상의 엘리먼트들의 적어도 일부의 기능들을 제어하도록 구성된 사용자 인터페이스 회로를 포함할 수도 있거나, 그 사용자 인터페이스 회로와 통신할 수도 있다. 프로세서(205) 및/또는 사용자 인터페이스 회로는 프로세서(205)에 액세스가능한 메모리(예를 들어, 휘발성 메모리, 비휘발성 메모리 등)상에 저장된 컴퓨터 프로그램 명령들(예를 들어, 소프트웨어 및/또는 펌웨어)을 통해 사용자 인터페이스의 하나 이상의 엘리먼트들의 하나 이상의 기능들을 제어하도록 구성될 수도 있다. 일부 예시적인 실시예들에서, 사용자 인터페이스 회로는 디스플레이의 사용을 통해 장치(200)의 적어도 일부 기능들의 사용자 제어를 용이하게 하도록 구성되고, 사용자 입력들에 응답하도록 구성된다. 프로세서(205)는 또한 사용자 인터페이스의 적어도 일부를 디스플레이하도록 구성된 디스플레이 회로를 포함할 수도 있거나 그 디스플레이 회로와 통신할 수도 있고, 디스플레이 및 디스플레이 회로는 장치(200)의 적어도 일부 기능들의 사용자 제어를 용이하게 하도록 구성된다.
예시적인 장치(200)의 디스크립터 생성기(235), 오브젝트 추적기(240) 및/또는 오브젝트 인식기(245)는 예시적인 장치(200), 여기에 설명한 기능들을 수행하도록 구성된 실행가능한 프로그램 코드 명령들을 저장하는 메모리 디바이스(210), 또는 여기에 설명한 디스크립터 생성기(235), 오브젝트 추적기(240), 및/또는 오브젝트 인식기(245)의 기능들을 수행하도록 구성되는 하드웨어 구성 프로세서(205)를 구성하기 위해 저장된 명령들을 구현하는 프로세서(205)와 같은, 하드웨어, 컴퓨터 프로그램 제품, 또는 하드웨어와 컴퓨터 프로그램 제품의 조합에서 부분적으로 또는 전체적으로 구현된 임의의 수단 또는 디바이스일 수도 있다. 예시적인 실시예에서, 프로세서(205)는 디스크립터 생성기(235), 오브젝트 추적기(240), 및/또는 오브젝트 인식기(245)를 포함하거나 제어한다. 디스크립터 생성기(235), 오브젝트 추적기(240), 및/또는 오브젝트 인식기(245)는 프로세서(205)와 유사하지만 그와 분리된 프로세서들로서 부분적으로 또는 전체적으로 구현될 수도 있다. 이와 관련하여, 디스크립터 생성기(235), 오브젝트 추적기(240), 및/또는 오브젝트 인식기(245)는 프로세서(205)와 통신할 수도 있다. 다양한 예시적인 실시예들에서, 디스크립터 생성기(235), 오브젝트 추적기(240), 및/또는 오브젝트 인식기(245)는 상이한 장치들상에 부분적으로 또는 전체적으로 상주할 수도 있어서, 디스크립터 생성기(235), 오브젝트 추적기(240), 및/또는 오브젝트 인식기(245)의 기능의 일부 또는 전부는 제 1 장치에 의해 수행될 수도 있고, 디스크립터 생성기(235), 오브젝트 추적기(240), 및/또는 오브젝트 인식기(245)의 기능의 나머지는 하나 이상의 다른 장치에 의해 수행될 수도 있다.
장치(200) 및 프로세서(205)는 디스크립터 생성기(235)를 통해 아래의 기능을 수행하도록 구성될 수도 있다. 디스크립터 생성기(235)는 도 8에 나타낸 예시적인 방법과 같은 예시적인 방법의 다수의 동작들을 수행하도록 구성될 수도 있다. 이와 관련하여, 디스크립터 생성기(235)는 400에서 이미지 프레임의 이미지 피라미드를 생성하고, 410에서 이미지 피라미드내에서 복수의 관심 포인트들을 검출하도록 구성될 수도 있다. 디스크립터 생성기(235)는 또한, 420에서 각각의 관심 포인트에 대한 특징 디스크립터들을 추출하도록 구성될 수도 있다. 일부 예시적인 실시예들에 따르면, 특징 디스크립터들은 회전 불변형이다. 또한, 일부 예시적인 실시예들에 따르면, 특징 디스크립터들을 추출하는 것은, 관심 포인트의 그라디언트들을 소정의 각도만큼 회전시켜 방사형 그라디언트 변환을 산출하는 것을 포함할 수도 있다. 일부 예시적인 실시예들에 따르면, 특징 디스크립터들을 추출하는 것은 그라디언트 비닝 및/또는 공간 비닝을 수행하는 것을 포함할 수도 있다. 일부 예시적인 실시예들에 따르면, 특징 디스크립터들을 추출하는 것은 근사 기저 벡터들을 정의하고 근사 기저 벡터들을 사용하여 근사 방사형 그라디언트 변환을 생성하는 것을 더 포함할 수도 있다. 일부 예시적인 실시예들에서, 디스크립터는 디스크립터들 사이의 임계 최소 거리에 기초한 매칭을 위해 선택될 수도 있다.
장치(200) 및 프로세서(205)는 오브젝트 추적기(240)를 통해 아래의 기능을 수행하도록 구성될 수도 있다. 오브젝트 추적기(240)는 도 8에 나타낸 예시적인 방법과 같은 예시적인 방법의 다수의 동작들을 수행하도록 구성될 수도 있다. 이와 관련하여, 오브젝트 추적기(240)는 특징 디스크립터들을 이전의 프레임의 특징 디스크립터들에 매칭함으로써 이동을 추적하도록 구성될 수도 있다.
장치(200) 및 프로세서(205)는 오브젝트 인식기(245)를 통해 아래의 기능을 수행하도록 구성될 수도 있다. 오브젝트 인식기(245)는 도 8에 나타낸 예시적인 방법과 같은 예시적인 방법의 다수의 동작을 수행하도록 구성될 수도 있다. 이와 관련하여, 오브젝트 인식기(245)는 특징 디스크립터들에 기초하여 이미지 프레임내에서 오브젝트의 인식을 수행하도록 구성될 수도 있다.
이제, 도 7을 참조하면, 본 발명의 다양한 실시예들에 따른 더욱 특정한 예시적인 장치가 제공된다. 도 7의 예시적인 장치는 셀룰러 통신 네트워크와 같은 무선 네트워크내에서 통신하도록 구성된 모바일 단말기(10)이다. 모바일 단말기(10)는 여기에 설명한 바와 같은 장치(200) 또는 다른 예시적인 장치들의 기능을 수행하도록 구성될 수도 있다. 더욱 구체적으로는, 모바일 단말기(10)는 프로세서(20)를 통해 디스크립터 생성기(235), 오브젝트 추적기(240), 오브젝트 인식기(245) 및/또는 도 8의 동작들의 기능을 수행하게 될 수도 있다. 이와 관련하여, 프로세서(20)는 예를 들어, I/O 인터페이스(206)와 함께 프로세서(205)와 유사하게 구성된 집적 회로 또는 칩일 수도 있다. 또한, 휘발성 메모리(40) 및 비휘발성 메모리(42)가 컴퓨터 판독가능한 저장 매체로서 프로세서(20)의 동작을 지원하도록 구성될 수도 있다.
모바일 단말기(10)는 모바일 단말기(10)의 통신 인터페이스의 일부들로서 포함될 수도 있는 안테나(12), 송신기(14), 및 수신기(16)를 더 포함할 수도 있다. 스피커(24), 마이크로폰(26), 디스플레이(28), 및 키패드(30)가 사용자 인터페이스의 일부로서 포함될 수도 있다. 일부 예시적인 실시예들에서, 모바일 단말기(10)는 이미지들 또는 일련의 이미지들을 캡처하는 카메라 모듈과 같은 이미지 또는 비디오 캡처 유닛을 포함할 수도 있다.
도 9는 본 발명의 다양한 예시적인 실시예들에 따른 다른 예시적인 방법을 도시한다. 도 9의 예시적인 방법은 장치(200), 프로세서(205), 모바일 단말기(10) 등에 의해 수행될 수도 있다. 예시적인 방법은 500에서 이미지 프레임의 이미지 피라미드를 생성하는 단계 및 510에서 이미지 피라미드의 선택된 레벨들로부터 복수의 관심 포인트들을 검출하는 단계를 포함한다. 이미지 피라미드의 선택된 레벨들은 이미지 피라미드의 정수 레벨들일 수도 있고, 비정수 레벨들은 생략될 수도 있다. 520에서, 방사형 그라디언트 변환 또는 근사 방사형 그라디언트 변환이 생성될 수도 있다. 또한, 530에서, 샘플들의 히스토그램들이 선택된 픽셀들에 기초하여 생성될 수도 있다. 이와 관련하여, 교호하는 픽셀들이 히스토그램 샘플들에 대해 활용될 수도 있다. 540에서, 각각의 관심 포인트에 대한 회전 불변형 특징 디스크립터들이 그라디언트 비닝 및/또는 공간 비닝을 사용하여 추출될 수도 있다. 550에서, 이동의 추적이 최소 거리 임계값에 기초하여 이전 프레임의 디스크립터들에 디스크립터들을 매칭함으로써 수행될 수도 있다. 예시적인 방법은 또한, 560에서 특징 디스크립터들 및 추적 정보를 버퍼링하는 단계를 포함할 수도 있다. 570에서, 이미지 프레임내에서 오브젝트의 인식은 버퍼링된 특징 디스크립터들 및 추적 정보에 기초하여 수행될 수도 있다.
도 8 및 도 9는 본 발명의 예시적인 실시예들에 따른 예시적인 시스템들, 방법들, 및/또는 컴퓨터 프로그램 제품들의 플로우차트들을 예시한다. 플로우차트들의 각 동작, 및/또는 플로우차트들에서의 조합 동작들이 다양한 수단에 의해 구현될 수 있다는 것이 이해될 것이다. 플로우차트들의 동작들, 플로우차트들에서의 조합 동작들, 또는 여기에 설명한 본 발명의 예시적인 실시예의 다른 기능을 구현하는 수단은 하드웨어, 및/또는 하나 이상의 컴퓨터 프로그램 코드 명령들, 프로그램 명령들, 또는 실행가능한 컴퓨터 판독가능한 프로그램 코드 명령들이 그 안에 저장된 컴퓨터 판독가능한 저장 매체(전파하는 신호를 설명하는 컴퓨터 판독가능한 송신 매체와는 반대)를 포함하는 컴퓨터 프로그램 제품을 포함할 수도 있다. 이와 관련하여, 프로그램 코드 명령들은 예시적인 장치(200)와 같은 예시적인 장치의 메모리 디바이스(210)와 같은 메모리 디바이스상에 저장될 수도 있고, 프로세서(205)와 같은 프로세서에 의해 실행될 수도 있다. 이해되는 바와 같이, 임의의 이러한 프로그램 코드 명령들은 특정한 머신을 생산하기 위해 컴퓨터 판독가능한 저장 매체로부터 컴퓨터 또는 다른 프로그램가능한 장치(예를 들어, 프로세서(205), 메모리 디바이스(210) 등)상에 로딩될 수도 있어서, 특정한 머신은 플로우차트의 동작들에서 특정된 기능들을 구현하는 수단이 된다. 이들 프로그램 코드 명령들은 또한, 컴퓨터, 프로세서, 또는 다른 프로그램가능한 장치에게 특정한 방식으로 기능을 수행하도록 지시하여 특정한 머신 또는 특정한 제품을 생성할 수 있는 컴퓨터 판독가능한 저장 매체에 저장될 수도 있다. 컴퓨터 판독가능한 저장 매체에 저장된 명령들은 제품을 생산할 수도 있고, 여기서 제품은 플로우차트의 동작들에서 특정된 기능들을 구현하는 수단이 된다. 프로그램 코드 명령들은 컴퓨터 판독가능한 저장 매체로부터 검색될 수도 있고, 컴퓨터, 프로세서, 또는 다른 프로그램가능한 장치상에서 또는 이들에 의해 수행될 동작을을 실행하도록 컴퓨터, 프로세서, 또는 다른 프로그램 가능한 장치를 구성하기 위해 컴퓨터, 프로세서, 또는 다른 프로그램가능한 장치로 로딩될 수도 있다. 프로그램 코드 명령들의 검색, 로딩, 및 실행은 순차적으로 수행될 수도 있어서, 하나의 명령이 한번에 검색, 로딩, 및 실행된다. 일부 예시적인 실시예에서, 검색, 로딩, 및/또는 실행은 병렬로 수행될 수도 있어서, 다중의 명령들이 함께 검색, 로딩 및/또는 실행된다. 프로그램 코드 명령들의 실행은 컴퓨터 구현 처리를 발생시킬 수 있어서, 컴퓨터, 프로세서, 또는 다른 프로그램가능한 장치에 의해 실행된 명령들은 플로우차트의 동작들에 특정된 기능들을 구현하는 동작들을 제공한다.
따라서, 프로세서에 의한 플로우차트의 동작들과 연관된 명령들의 실행, 또는 플로우차트들의 동작들과 연관된 명령들의 컴퓨터 판독가능한 저장 매체로의 저장은 특정한 기능들을 수행하는 동작들의 조합을 지원한다. 플로우차트들의 하나 이상의 동작들, 및 플로우차트들에서의 동작들의 조합이 특정한 기능들을 수행하는 특수 목적 하드웨어 기반 컴퓨터 시스템들 및/또는 프로세서들, 또는 특수 목적 하드웨어와 프로그램 코드 명령들의 조합에 의해 구현될 수도 있다는 것이 또한 이해될 것이다.
다음은 본 발명의 추가의 예시적인 실시예들을 제공한다. 하나의 예시적인 방법은 이미지 프레임의 이미지 피라미드를 생성하는 단계, 이미지 피라미드내에서 복수의 관심 포인트들을 검출하는 단계, 및 각각의 관심 포인트에 대한 특징 디스크립터들을 추출하는 단계를 포함한다. 일부 예시적인 실시예들에 따르면, 특징 디스크립터들은 회전 불변형이다. 또한, 일부 예시적인 실시예에 따르면, 특징 디스크립터들을 추출하는 것은 관심 포인트의 그라디언트들을 소정의 각도만큼 회전시켜 방사형 그라디언트 변환을 산출하는 것을 포함할 수도 있다. 일부 예시적인 실시예에 따르면, 특징 디스크립터들을 추출하는 것은 그라디언트 비닝 및/또는 공간 비닝을 수행하는 것을 포함할 수도 있다. 일부 예시적인 실시예들에 따르면, 특징 디스크립터들을 추출하는 것은 근사 기저 벡터들을 정의하고 근사 기저 벡터들을 활용하여 근사 방사형 그라디언트 변환을 생성하는 것을 더 포함할 수도 있다. 일부 예시적인 실시예들에서, 디스크립터는 디스크립터들 사이의 임계 최소 거리에 기초하여 매칭을 위해 선택될 수도 있다.
회전 불변형 특징 디스크립터들을 이용한 추적 및 인식을 위한 관련 예시적인 장치는 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하고, 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는 적어도 하나의 프로세서를 이용하여, 장치로 하여금 다양한 기능들을 적어도 수행하게 하도록 구성된다. 이와 관련하여, 예시적인 장치는 이미지 프레임의 이미지 피라미드의 생성, 이미지 피라미드내에서 복수의 관심 포인트들의 검출, 및 각각의 관심 포인트에 대한 특징 디스크립터들의 추출을 수행하게 된다. 일부 예시적인 실시예들에 따르면, 특징 디스크립터들은 회전 불변형이다. 또한, 일부 예시적인 실시예들에 따르면, 특징 디스크립터들을 추출하는 것은 관심 포인트의 그라디언트들을 소정의 각도만큼 회전시켜 방사형 그라디언트 변환을 산출하는 것을 포함할 수도 있다. 일부 예시적인 실시예에 따르면, 특징 디스크립터들을 추출하는 것은 그라디언트 비닝 및/또는 공간 비닝을 수행하는 것을 포함할 수도 있다. 일부 예시적인 실시예들에 따르면, 특징 디스크립터들을 추출하는 것은 근사 기저 벡터들을 정의하고 근사 기저 벡터들을 활용하여 근사 방사형 그라디언트 변환을 생성하는 것을 더 포함할 수도 있다. 일부 예시적인 실시예들에서, 디스크립터는 디스크립터들 사이의 임계 최소 거리에 기초하여 매칭을 위해 선택될 수도 있다.
다른 예시적인 실시예는 실행가능한 컴퓨터 판독가능한 프로그램 코드 명령들이 그 안에 저장된 예시적인 컴퓨터 판독가능한 저장 매체이다. 예시적인 컴퓨터 판독가능 저장 매체의 컴퓨터 판독가능한 프로그램 코드 명령들은 장치로 하여금 다양한 기능들을 수행하게 하기 위한 것이다. 이와 관련하여, 예시적인 장치는 이미지 프레임의 이미지 피라미드의 생성, 이미지 피라미드내에서 복수의 관심 포인트들의 검출, 및 각각의 관심 포인트에 대한 특징 디스크립터들의 추출을 수행하게 된다. 일부 예시적인 실시예들에 따르면, 특징 디스크립터들은 회전 불변형이다. 또한, 일부 예시적인 실시예들에 따르면, 특징 디스크립터들을 추출하는 것은 관심 포인트의 그라디언트들을 소정의 각도만큼 회전시켜 방사형 그라디언트 변환을 산출하는 것을 포함할 수도 있다. 일부 예시적인 실시예에 따르면, 특징 디스크립터들을 추출하는 것은 그라디언트 비닝 및/또는 공간 비닝을 수행하는 것을 포함할 수도 있다. 일부 예시적인 실시예들에 따르면, 특징 디스크립터들을 추출하는 것은 근사 기저 벡터들을 정의하고 근사 기저 벡터들을 활용하여 근사 방사형 그라디언트 변환을 생성하는 것을 더 포함할 수도 있다. 일부 예시적인 실시예들에서, 디스크립터는 디스크립터들 사이의 임계 최소 거리에 기초하여 매칭을 위해 선택될 수도 있다.
다른 예시적인 실시예는 회전 불변형 특징 디스크립터들을 이용한 추적 및 인식을 위한 예시적인 장치이다. 예시적인 장치는 이미지 프레임의 이미지 피라미드를 생성하는 수단, 이미지 피라미드내에서 복수의 관심 포인트들을 검출하는 수단, 및 각각의 관심 포인트에 대한 특징 디스크립터들을 추출하는 수단을 포함한다. 일부 예시적인 실시예들에 따르면, 특징 디스크립터들은 회전 불변형이다. 또한, 일부 예시적인 실시예들에 따르면, 특징 디스크립터들을 추출하는 것은 관심 포인트의 그라디언트들을 소정의 각도만큼 회전시켜 방사형 그라디언트 변환을 산출하는 것을 포함할 수도 있다. 일부 예시적인 실시예에 따르면, 특징 디스크립터들을 추출하는 것은 그라디언트 비닝 및/또는 공간 비닝을 수행하는 것을 포함할 수도 있다. 일부 예시적인 실시예들에 따르면, 특징 디스크립터들을 추출하는 것은 근사 기저 벡터들을 정의하고 근사 기저 벡터들을 활용하여 근사 방사형 그라디언트 변환을 생성하는 것을 더 포함할 수도 있다. 일부 예시적인 실시예들에서, 디스크립터는 디스크립터들 사이의 임계 최소 거리에 기초하여 매칭을 위해 선택될 수도 있다.
여기에 설명한 본 발명의 다수의 변경물들 및 다른 실시예들은 상술한 설명들 및 관련 도면들에 제공된 교시의 이점을 갖는 본 발명의 속하는 분야의 당업자에게 떠오를 것이다. 따라서, 본 발명의 개시된 특정한 실시예들에 한정되지 않고, 변경물들 및 다른 실시예들이 첨부한 청구항들의 범위내에 포함되는 것으로 의도된다는 것이 이해되어야 한다. 또한, 상술한 설명들 및 관련 도면들이 엘리먼트들 및/또는 기능들의 특정한 예시적인 조합과 관련하여 예시적인 실시예들을 설명하지만, 엘리먼트들 및/또는 기능들의 다른 조합이 첨부한 청구항들의 범위로부터 벗어나지 않고 대안의 실시예에 의해 제공될 수도 있다는 것이 이해되어야 한다. 이와 관련하여, 예를 들어, 여기에 명백하게 상술한 것들 이외의 엘리먼트들 및/또는 기능들이 첨부한 청구항들의 일부에 설명될 수도 있는 바와 같이 또한 고려된다. 특정한 용어들이 여기에 이용되었지만, 이들은 단지 일반적이고 설명적인 관점에서 사용되고 한정을 위한 것은 아니다.

Claims (30)

  1. 이미지 프레임의 이미지 피라미드(image pyramid)를 생성하는 단계와,
    상기 이미지 피라미드내에서 복수의 관심 포인트(interest point)들을 검출하는 단계와,
    상기 복수의 관심 포인트들 각각에 대한 특징 디스크립터들(feature descriptors)을 추출하는 단계를 포함하는
    방법.
  2. 제 1 항에 있어서,
    상기 특징 디스크립터들을 추출하는 단계는 특징 디스크립터들을 추출하는 단계를 포함하고, 상기 특징 디스크립터들은 회전 불변형(rotation invariant)인
    방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 특징 디스크립터들을 이전 프레임의 특징 디스크립터들에 매칭함으로써 움직임을 추적하는 단계와,
    상기 특징 디스크립터들에 기초하여 상기 이미지 프레임내에서 오브젝트의 인식을 수행하는 단계를 더 포함하는
    방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 특징 디스크립터들을 추출하는 단계는 관심 포인트의 그라디언트(gradient)들을 소정의 각도만큼 회전시켜 방사형 그라디언트 변환을 산출하는 단계를 포함하는
    방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 특징 디스크립터들을 추출하는 단계는 그라디언트 비닝(gradient binning) 또는 공간적 비닝(spatial binning)을 수행하는 단계를 포함하는
    방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 특징 디스크립터들을 추출하는 단계는 근사 방사형 그라디언트 변환(approximate radial gradient transform)을 생성하기 위해 근사 기저 벡터(approximate basis vector)들을 정의하고 상기 근사 기저 벡터들을 활용하는 단계를 포함하는
    방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 특징 디스크립터들 사이의 임계 최소 거리에 기초하여 매칭하기 위해 상기 특징 디스크립터들 중 적어도 하나를 선택하는 단계를 더 포함하는
    방법.
  8. 적어도 하나의 프로세서, 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는 장치로서,
    상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서를 이용하여, 상기 장치에 대해 적어도,
    이미지 프레임의 이미지 피라미드를 생성하고,
    상기 이미지 피라미드내에서 복수의 관심 포인트들을 검출하며,
    상기 복수의 관심 포인트들 각각에 대한 특징 디스크립터들을 추출할 것
    을 지시하도록 구성되는
    장치.
  9. 제 8 항에 있어서,
    상기 장치가 상기 특징 디스크립터들을 추출하도록 지시되는 것은, 특징 디스크립터들을 추출하도록 지시되는 것을 포함하고, 상기 특징 디스크립터들은 회전 불변형인
    장치.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 장치는 또한,
    상기 특징 디스크립터들을 이전 프레임의 특징 디스크립터들에 매칭함으로써 움직임을 추적하며,
    상기 특징 디스크립터들에 기초하여 상기 이미지 프레임내에서 오브젝트의 인식을 수행할 것을 지시받는
    장치.
  11. 제 8 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 특징 디스크립터들을 추출할 것을 지시받은 상기 장치는, 관심 포인트의 그라디언트들을 소정의 각도만큼 회전시켜 방사형 그라디언트 변환을 산출할 것을 지시받는
    장치.
  12. 제 8 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 특징 디스크립터들을 추출할 것을 지시받는 상기 장치는, 그라디언트 비닝 또는 공간적 비닝을 수행할 것을 지시받는
    장치.
  13. 제 8 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 특징 디스크립터들을 추출할 것을 지시받는 상기 장치는, 근사 방사형 그라디언트 변환을 생성하기 위해 근사 기저 벡터들을 정의하고 상기 근사 기저 벡터들을 활용할 것을 지시받는
    장치.
  14. 제 8 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 장치는 또한, 상기 특징 디스크립터들 사이의 임계 최소 거리에 기초하여 매칭하기 위해 상기 특징 디스크립터들 중 적어도 하나를 선택할 것을 지시받는
    장치.
  15. 제 8 항 내지 제 14 항 중 어느 한 항에 있어서,
    상기 장치는 모바일 단말기를 포함하는
    장치.
  16. 제 8 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 장치는 상기 특징 디스크립터들에 기초하여 오브젝트 추적을 제공하도록 구성된 디스플레이를 포함하는
    장치.
  17. 내부에서 인코딩된 실행가능한 컴퓨터 판독가능한 프로그램 코드 명령들을 갖는 컴퓨터 판독가능한 매체로서,
    상기 명령들은 장치로 하여금 적어도,
    이미지 프레임의 이미지 피라미드를 생성하고,
    상기 이미지 피라미드내에서 복수의 관심 포인트들을 검출하며,
    상기 복수의 관심 포인트들 각각에 대한 특징 디스크립터들을 추출하게 하도록 구성되는
    컴퓨터 판독가능한 매체.
  18. 제 17 항에 있어서,
    상기 명령들이 상기 장치로 하여금 상기 특징 디스크립터들을 추출하게 하도록 구성되는 것은, 상기 장치로 하여금 특징 디스크립터들을 추출하게 하도록 구성되는 것을 포함하고, 상기 특징 디스크립터들은 회전 불변형인
    컴퓨터 판독가능한 매체.
  19. 제 17 항 또는 제 18 항에 있어서,
    상기 명령들은 또한 상기 장치로 하여금,
    상기 특징 디스크립터들을 이전 프레임의 특징 디스크립터들에 매칭함으로써 움직임을 추적하게 하며,
    상기 특징 디스크립터들에 기초하여 상기 이미지 프레임내에서 오브젝트의 인식을 수행하게 하도록 구성되는
    컴퓨터 판독가능한 매체.
  20. 제 17 항 내지 제 19 항 중 어느 한 항에 있어서,
    상기 장치로 하여금 상기 특징 디스크립터들을 추출하게 하도록 구성되는 상기 명령어들은, 상기 장치로 하여금 관심 포인트의 그라디언트들을 소정의 각도만큼 회전시켜 방사형 그라디언트 변환을 산출하게 하도록 구성되는
    컴퓨터 판독가능한 매체.
  21. 제 17 항 내지 제 21 항 중 어느 한 항에 있어서,
    상기 장치로 하여금 상기 특징 디스크립터들을 추출하게 하도록 구성되는 상기 명령어들은, 상기 장치로 하여금 그라디언트 비닝 또는 공간적 비닝을 수행하게 하도록 구성되는
    컴퓨터 판독가능한 매체.
  22. 제 17 항 내지 제 21 항 중 어느 한 항에 있어서,
    상기 장치로 하여금 상기 특징 디스크립터들을 추출하게 하도록 구성되는 상기 명령어들은, 상기 장치로 하여금 근사 방사형 그라디언트 변환을 생성하기 위해 근사 기저 벡터들을 정의하고 상기 근사 기저 벡터들을 활용하게 하도록 구성되는
    컴퓨터 판독가능한 매체.
  23. 제 17 항 내지 제 22 항 중 어느 한 항에 있어서,
    상기 명령들은 상기 장치로 하여금 상기 특징 디스크립터들 사이의 임계 최소 거리에 기초하여 매칭하기 위해 상기 특징 디스크립터들 중 적어도 하나를 선택하게 하도록 또한 구성되는
    컴퓨터 판독가능한 매체.
  24. 이미지 프레임의 이미지 피라미드를 생성하는 수단과,
    상기 이미지 피라미드내에서 복수의 관심 포인트들을 검출하는 수단과,
    상기 복수의 관심 포인트들 각각에 대한 특징 디스크립터들을 추출하는 수단을 포함하는
    장치.
  25. 제 24 항에 있어서,
    상기 특징 디스크립터들을 추출하는 수단은 특징 디스크립터들을 추출하는 수단을 포함하고, 상기 특징 디스크립터들은 회전 불변형인
    장치.
  26. 제 24 항 또는 제 25 항에 있어서,
    상기 특징 디스크립터들을 이전 프레임의 특징 디스크립터들에 매칭함으로써 움직임을 추적하는 수단과,
    상기 특징 디스크립터들에 기초하여 상기 이미지 프레임내에서 오브젝트의 인식을 수행하는 수단을 더 포함하는
    장치.
  27. 제 24 항 내지 제 26 항 중 어느 한 항에 있어서,
    상기 특징 디스크립터들을 추출하는 수단은 관심 포인트의 그라디언트들을 소정의 각도만큼 회전시켜 방사형 그라디언트 변환을 산출하는 수단을 포함하는
    장치.
  28. 제 24 항 내지 제 27 항 중 어느 한 항에 있어서,
    상기 특징 디스크립터들을 추출하는 수단은 그라디언트 비닝 또는 공간적 비닝을 수행하는 수단을 포함하는
    장치.
  29. 제 24 항 내지 제 28 항 중 어느 한 항에 있어서,
    상기 특징 디스크립터들을 추출하는 수단은 근사 방사형 그라디언트 변환을 생성하기 위해 근사 기저 벡터들을 정의하는 수단 및 상기 근사 기저 벡터들을 활용하는 수단을 포함하는
    장치.
  30. 제 24 항 내지 제 29 항 중 어느 한 항에 있어서,
    상기 특징 디스크립터들 사이의 임계 최소 거리에 기초하여 매칭하기 위해 상기 특징 디스크립터들 중 적어도 하나를 선택하는 수단을 더 포함하는
    장치.
KR1020127015881A 2009-11-19 2010-11-18 회전 불변형 특징 디스크립터를 이용한 추적 및 인식을 위한 방법 및 장치 KR101399804B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US26274009P 2009-11-19 2009-11-19
US61/262,740 2009-11-19
PCT/IB2010/055280 WO2011061709A1 (en) 2009-11-19 2010-11-18 Method and apparatus for tracking and recognition with rotation invariant feature descriptors

Publications (2)

Publication Number Publication Date
KR20120095445A true KR20120095445A (ko) 2012-08-28
KR101399804B1 KR101399804B1 (ko) 2014-05-27

Family

ID=44059265

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127015881A KR101399804B1 (ko) 2009-11-19 2010-11-18 회전 불변형 특징 디스크립터를 이용한 추적 및 인식을 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US8687891B2 (ko)
EP (1) EP2502184A4 (ko)
KR (1) KR101399804B1 (ko)
CN (1) CN102844771B (ko)
RU (1) RU2542946C2 (ko)
WO (1) WO2011061709A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140103030A (ko) * 2013-02-15 2014-08-25 삼성전자주식회사 전자장치 및 전자장치의 디스크립터 결정방법
KR20190018274A (ko) * 2017-08-14 2019-02-22 삼성전자주식회사 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082450B2 (en) 2001-08-30 2006-07-25 Nokia Corporation Implementation of a transform and of a subsequent quantization
US9532069B2 (en) 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US8902971B2 (en) * 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
US8942283B2 (en) 2005-03-31 2015-01-27 Euclid Discoveries, Llc Feature-based hybrid video codec comparing compression efficiency of encodings
WO2008091484A2 (en) 2007-01-23 2008-07-31 Euclid Discoveries, Llc Object archival systems and methods
CA2676219C (en) 2007-01-23 2017-10-24 Euclid Discoveries, Llc Computer method and apparatus for processing image data
JP2010517427A (ja) 2007-01-23 2010-05-20 ユークリッド・ディスカバリーズ・エルエルシー 個人向けのビデオサービスを提供するシステムおよび方法
JP5639764B2 (ja) 2007-03-08 2014-12-10 シンク−アールエックス，リミティド 運動する器官と共に使用するイメージング及びツール
US10716528B2 (en) 2007-03-08 2020-07-21 Sync-Rx, Ltd. Automatic display of previously-acquired endoluminal images
US11197651B2 (en) 2007-03-08 2021-12-14 Sync-Rx, Ltd. Identification and presentation of device-to-vessel relative motion
US9629571B2 (en) 2007-03-08 2017-04-25 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
US11064964B2 (en) 2007-03-08 2021-07-20 Sync-Rx, Ltd Determining a characteristic of a lumen by measuring velocity of a contrast agent
US8781193B2 (en) 2007-03-08 2014-07-15 Sync-Rx, Ltd. Automatic quantitative vessel analysis
US9968256B2 (en) 2007-03-08 2018-05-15 Sync-Rx Ltd. Automatic identification of a tool
US9375164B2 (en) 2007-03-08 2016-06-28 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
US10362962B2 (en) 2008-11-18 2019-07-30 Synx-Rx, Ltd. Accounting for skipped imaging locations during movement of an endoluminal imaging probe
US9974509B2 (en) 2008-11-18 2018-05-22 Sync-Rx Ltd. Image super enhancement
US11064903B2 (en) 2008-11-18 2021-07-20 Sync-Rx, Ltd Apparatus and methods for mapping a sequence of images to a roadmap image
US20120182442A1 (en) * 2011-01-14 2012-07-19 Graham Kirsch Hardware generation of image descriptors
EP2723231A4 (en) 2011-06-23 2015-02-25 Sync Rx Ltd LUMINAL BACKGROUND CLEANING
US8948518B2 (en) * 2011-07-14 2015-02-03 Futurewei Technologies, Inc. Scalable query for visual search
US8666169B2 (en) 2011-10-24 2014-03-04 Hewlett-Packard Development Company, L.P. Feature descriptors
WO2013071981A1 (en) * 2011-11-18 2013-05-23 Metaio Gmbh Method of matching image features with reference features and integrated circuit therefor
US8737737B1 (en) * 2012-03-23 2014-05-27 A9.Com, Inc. Representing image patches for matching
CA2875346A1 (en) 2012-06-26 2014-01-03 Sync-Rx, Ltd. Flow-related image processing in luminal organs
WO2014043748A1 (en) * 2012-09-18 2014-03-27 Fink Eric A server for selecting tag data
ITTO20120986A1 (it) * 2012-11-14 2014-05-15 St Microelectronics Srl Procedimento per l'estrazione di informazioni distintive da un flusso di frame video digitali, sistema e prodotto informatico relativi
US9147275B1 (en) 2012-11-19 2015-09-29 A9.Com, Inc. Approaches to text editing
US9043349B1 (en) 2012-11-29 2015-05-26 A9.Com, Inc. Image-based character recognition
CN103871073B (zh) * 2012-12-18 2017-08-25 华为技术有限公司 一种基于增强现实的目标跟踪方法、设备及系统
US9342930B1 (en) 2013-01-25 2016-05-17 A9.Com, Inc. Information aggregation for recognized locations
US20140233859A1 (en) * 2013-02-15 2014-08-21 Samsung Electronics Co., Ltd. Electronic device and method of determining descriptor thereof
CN103530881B (zh) * 2013-10-16 2016-03-09 北京理工大学 适用于移动终端的户外增强现实无标志点跟踪注册方法
CN103632374B (zh) * 2013-12-10 2017-04-26 深圳先进技术研究院 无标记增强现实系统及无标记增强现实系统目标跟踪方法
US9621917B2 (en) 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US20170018011A1 (en) * 2014-03-11 2017-01-19 Research And Innovation Co., Ltd. Purchase information utilization system, purchase information utilization method, and program
US9766628B1 (en) * 2014-04-04 2017-09-19 Waymo Llc Vision-based object detection using a polar grid
US9558426B2 (en) * 2014-04-24 2017-01-31 Nant Holdings Ip, Llc Robust feature identification for image-based object recognition
US10152788B2 (en) * 2014-05-14 2018-12-11 Sync-Rx Ltd. Object identification
US9392293B2 (en) 2014-05-21 2016-07-12 Alcatel Lucent Accelerated image processing
US20150355309A1 (en) * 2014-06-05 2015-12-10 University Of Dayton Target tracking implementing concentric ringlets associated with target features
US9536161B1 (en) 2014-06-17 2017-01-03 Amazon Technologies, Inc. Visual and audio recognition for scene change events
WO2016014020A1 (en) 2014-07-21 2016-01-28 Hewlett-Packard Development Company, L.P. Radial histogram matching
US9791541B2 (en) * 2014-12-19 2017-10-17 The Boeing Company System and method to improve object tracking using multiple tracking systems
US9940726B2 (en) * 2014-12-19 2018-04-10 The Boeing Company System and method to improve object tracking using tracking fingerprints
US9454713B2 (en) * 2014-12-30 2016-09-27 Ebay Inc. Similar item detection
US9483706B2 (en) * 2015-01-08 2016-11-01 Linear Algebra Technologies Limited Hardware accelerator for histogram of gradients
EP3073444A3 (en) 2015-03-25 2017-01-04 Tata Consultancy Services Limited A computer implemented system and method for image texture determination
US9613273B2 (en) * 2015-05-19 2017-04-04 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for object tracking
CN105654092B (zh) * 2015-11-25 2019-08-30 小米科技有限责任公司 特征提取方法及装置
US9830528B2 (en) 2015-12-09 2017-11-28 Axis Ab Rotation invariant object feature recognition
WO2017131744A1 (en) * 2016-01-29 2017-08-03 Hewlett Packard Enterprise Development Lp Radial histogram verification
US10424072B2 (en) 2016-03-01 2019-09-24 Samsung Electronics Co., Ltd. Leveraging multi cues for fine-grained object classification
CA3014670A1 (en) 2016-03-08 2017-09-14 Nant Holdings Ip, Llc Image feature combination for image-based object recognition
US10579860B2 (en) 2016-06-06 2020-03-03 Samsung Electronics Co., Ltd. Learning model for salient facial region detection
CN108073857B (zh) 2016-11-14 2024-02-27 北京三星通信技术研究有限公司 动态视觉传感器dvs事件处理的方法及装置
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
IT201700009585A1 (it) * 2017-01-30 2018-07-30 The Edge Company S R L Metodo per il riconoscimento di oggeti per motori di realta' aumentata mediante un dispositivo elettronico
KR102257226B1 (ko) * 2017-02-16 2021-05-28 현대자동차주식회사 픽토그램 인식 장치, 픽토그램 인식 시스템 및 픽토그램 인식 방법
CN108564787A (zh) * 2018-05-31 2018-09-21 北京理工大学 基于浮动车法的交通观测方法、系统及设备
US10916031B2 (en) * 2018-07-06 2021-02-09 Facebook Technologies, Llc Systems and methods for offloading image-based tracking operations from a general processing unit to a hardware accelerator unit
CN112184776A (zh) * 2020-09-30 2021-01-05 珠海大横琴科技发展有限公司 一种目标跟踪方法、装置及存储介质

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6694311B1 (en) * 1999-01-25 2004-02-17 International Business Machines Corporation Method and apparatus for fast query approximation using adaptive query vector projection
US6643387B1 (en) * 1999-01-28 2003-11-04 Sarnoff Corporation Apparatus and method for context-based indexing and retrieval of image sequences
US6385332B1 (en) * 1999-02-19 2002-05-07 The John P. Roberts Research Institute Automated segmentation method for 3-dimensional ultrasound
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
DE19928231C2 (de) * 1999-06-21 2003-03-27 Max Planck Gesellschaft Verfahren und Vorrichtung zur Segmentierung einer Punkteverteilung
KR100354207B1 (ko) * 2000-05-22 2002-09-27 (주)인터정보 인터넷상의 음란물을 차단하는 방법 및 장치
EP1276324B1 (en) 2001-07-13 2006-10-04 France Telecom Method for compressing a hierarchical tree, corresponding signal and method for decoding a signal
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
US6819117B2 (en) 2002-01-30 2004-11-16 Credence Systems Corporation PICA system timing measurement & calibration
US7177737B2 (en) 2002-12-17 2007-02-13 Evolution Robotics, Inc. Systems and methods for correction of drift via global localization with a visual landmark
KR100584320B1 (ko) * 2003-07-30 2006-05-26 삼성전자주식회사 휴대 단말기의 손금 인식방법
WO2005017820A1 (en) * 2003-08-15 2005-02-24 Scape A/S Computer-vision system for classification and spatial localization of bounded 3d-objects
US7912291B2 (en) 2003-11-10 2011-03-22 Ricoh Co., Ltd Features for retrieval and similarity matching of documents from the JPEG 2000-compressed domain
US7382897B2 (en) 2004-04-27 2008-06-03 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
US7831094B2 (en) * 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
US7738705B2 (en) * 2004-06-30 2010-06-15 Stefano Casadei Hierarchical method and system for pattern recognition and edge detection
US7668376B2 (en) * 2004-06-30 2010-02-23 National Instruments Corporation Shape feature extraction and classification
US20070009159A1 (en) 2005-06-24 2007-01-11 Nokia Corporation Image recognition system and method using holistic Harr-like feature matching
AU2005211665A1 (en) * 2005-09-23 2007-04-19 Canon Kabushiki Kaisha Vectorisation of colour gradients
RU2322694C2 (ru) * 2006-03-09 2008-04-20 Общество с ограниченной ответственностью "Комэксп" Способ обработки изображений
EP1850270B1 (en) * 2006-04-28 2010-06-09 Toyota Motor Europe NV Robust interest point detector and descriptor
WO2007130688A2 (en) 2006-05-10 2007-11-15 Evolution Robotics, Inc. Mobile computing device with imaging capability
US8165407B1 (en) * 2006-10-06 2012-04-24 Hrl Laboratories, Llc Visual attention and object recognition system
US8160880B2 (en) * 2007-04-30 2012-04-17 K-Nfb Reading Technology, Inc. Generalized object recognition for portable reading machine
US8285118B2 (en) * 2007-07-16 2012-10-09 Michael Bronstein Methods and systems for media content control
US8358840B2 (en) * 2007-07-16 2013-01-22 Alexander Bronstein Methods and systems for representation and matching of video content
US7761466B1 (en) * 2007-07-30 2010-07-20 Hewlett-Packard Development Company, L.P. Hash-based image identification
US8306366B2 (en) * 2007-08-23 2012-11-06 Samsung Electronics Co., Ltd. Method and apparatus for extracting feature points from digital image
US8351649B1 (en) * 2008-04-01 2013-01-08 University Of Southern California Video feed target tracking
US8676030B2 (en) 2008-04-15 2014-03-18 Shlomo Selim Rakib Methods and systems for interacting with viewers of video content
GB0807411D0 (en) * 2008-04-23 2008-05-28 Mitsubishi Electric Inf Tech Scale robust feature-based indentfiers for image identification
US8244044B2 (en) * 2008-04-25 2012-08-14 Microsoft Corporation Feature selection and extraction
US8189866B1 (en) * 2008-08-26 2012-05-29 Adobe Systems Incorporated Human-action recognition in images and videos
US8131074B2 (en) * 2008-09-11 2012-03-06 Raytheon Company Specific emitter identification using histogram of oriented gradient features
US8363973B2 (en) * 2008-10-01 2013-01-29 Fuji Xerox Co., Ltd. Descriptor for image corresponding point matching
US8396286B1 (en) * 2009-06-25 2013-03-12 Google Inc. Learning concepts for video annotation
US8336761B1 (en) * 2011-09-15 2012-12-25 Honeywell International, Inc. Barcode verification

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140103030A (ko) * 2013-02-15 2014-08-25 삼성전자주식회사 전자장치 및 전자장치의 디스크립터 결정방법
KR20190018274A (ko) * 2017-08-14 2019-02-22 삼성전자주식회사 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법
US11423266B2 (en) 2017-08-14 2022-08-23 Samsung Electronics Co., Ltd. Subject recognizing method and apparatus

Also Published As

Publication number Publication date
RU2012124836A (ru) 2013-12-27
US20110286627A1 (en) 2011-11-24
CN102844771A (zh) 2012-12-26
EP2502184A1 (en) 2012-09-26
EP2502184A4 (en) 2017-03-22
CN102844771B (zh) 2015-08-05
KR101399804B1 (ko) 2014-05-27
RU2542946C2 (ru) 2015-02-27
US8687891B2 (en) 2014-04-01
WO2011061709A1 (en) 2011-05-26

Similar Documents

Publication Publication Date Title
KR101399804B1 (ko) 회전 불변형 특징 디스크립터를 이용한 추적 및 인식을 위한 방법 및 장치
US10943126B2 (en) Method and apparatus for processing video stream
US10032286B2 (en) Tracking objects between images
US10013765B2 (en) Method and system for image registrations
CN107624189B (zh) 用于生成预测模型的方法和设备
JP5932992B2 (ja) ロケーションを利用した認識
US9483839B1 (en) Occlusion-robust visual object fingerprinting using fusion of multiple sub-region signatures
KR101548834B1 (ko) 클라우드 보조 증강 현실을 위한 적응적 프레임워크
US9710698B2 (en) Method, apparatus and computer program product for human-face features extraction
US9569695B2 (en) Adaptive search window control for visual search
US9690988B2 (en) Image processing apparatus and image processing method for blink detection in an image
US20180082428A1 (en) Use of motion information in video data to track fast moving objects
US20180352213A1 (en) Learning-based matching for active stereo systems
KR20180054808A (ko) 이미지들 내의 움직임 검출
JP5936561B2 (ja) 画像における外観及びコンテキストに基づく物体分類
US10122912B2 (en) Device and method for detecting regions in an image
Piciarelli Visual indoor localization in known environments
KR20230107805A (ko) 이미지 분할 프로세스들에 대한 일관성 측정
KR20210099450A (ko) 딥러닝을 이용한 원거리 소형 드론 탐지 방법
CN112087728B (zh) 获取Wi-Fi指纹空间分布的方法、装置和电子设备
US20160066150A1 (en) Dynamic Configuration of a Positioning System
CN111310595A (zh) 用于生成信息的方法和装置
KR101806066B1 (ko) 주차유도 기능이 구비된 카메라 모듈
Shahbazi et al. Visual–inertial object tracking: Incorporating camera pose into motion models
Li et al. Adaptive object tracking algorithm based on eigenbasis space and compressive sampling

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170420

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180417

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190417

Year of fee payment: 6