KR100943844B1 - 이미지의 크기불변특징 추출에 사용되는 이미지 신호필터링 방법 및 장치와 이를 이용한 이미지 특징 추출방법, 장치 및 기록매체 - Google Patents

이미지의 크기불변특징 추출에 사용되는 이미지 신호필터링 방법 및 장치와 이를 이용한 이미지 특징 추출방법, 장치 및 기록매체 Download PDF

Info

Publication number
KR100943844B1
KR100943844B1 KR1020080015043A KR20080015043A KR100943844B1 KR 100943844 B1 KR100943844 B1 KR 100943844B1 KR 1020080015043 A KR1020080015043 A KR 1020080015043A KR 20080015043 A KR20080015043 A KR 20080015043A KR 100943844 B1 KR100943844 B1 KR 100943844B1
Authority
KR
South Korea
Prior art keywords
image signal
image
sift
input image
generating
Prior art date
Application number
KR1020080015043A
Other languages
English (en)
Other versions
KR20090089723A (ko
Inventor
김민기
오장석
오칠환
신영길
김호철
최석윤
하승한
이언석
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020080015043A priority Critical patent/KR100943844B1/ko
Publication of KR20090089723A publication Critical patent/KR20090089723A/ko
Application granted granted Critical
Publication of KR100943844B1 publication Critical patent/KR100943844B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G06F18/21342—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis using statistical independence, i.e. minimising mutual information or maximising non-gaussianity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods

Abstract

본 발명은 이미지의 크기불변특징 추출에 사용되는 이미지 신호 필터링 방법 및 장치와, 이를 이용한 이미지 특징 추출 방법, 장치 및 기록매체에 관한 것으로서, 본 발명에 따른 이미지 신호 필터링 방법은 크기불변특징 추출 알고리듬을 이용하여 필터링 이미지 신호(filtered image signal)로부터 이미지 특징을 추출하는데 사용하는 이미지 신호 필터링 방법으로서, SCS(Sparse Code Shrinkage)에 사용되는 축소함수(shrinkage function)에서 상기 축소함수의 파라미터 값을 입력 이미지 신호로부터 결정하여 안정화 축소함수를 생성하는 안정화 축소함수 생성 단계; 신경과학적 이미지 재표현 모델을 사용하여 스파스 코딩 변환행렬을 생성하고 상기 스파스 코딩 변환행렬에 의해 상기 입력 이미지 신호의 변환 값을 생성하는 이미지 신호 변환 단계; 상기 입력 이미지 신호의 상기 변환 값을 상기 안정화 축소함수에 대입하여 안정화 스파스 코드를 생성하는 안정화 스파스 코드 생성 단계; 및 상기 스파스 코딩 변환행렬의 수반행렬에 의해 상기 안정화 스파스 코드를 역변환하여 상기 필터링 이미지 신호를 생성하는 필터링 이미지 생성 단계를 포함하며, 입력 이미지에 노이즈가 존재하고 RANSAC을 사용하는 경우에도 이미지 특징을 안정적으로 추출하도록 하고 오차를 감소시킨다.

Description

이미지의 크기불변특징 추출에 사용되는 이미지 신호 필터링 방법 및 장치와 이를 이용한 이미지 특징 추출 방법, 장치 및 기록매체{Image signal filtering method and apparatus used for extracting scale-invariant feature from image, and image feature extracting method, apparatus and recording medium using thereof}
본 발명은 이미지의 크기불변특징 추출에 사용되는 이미지 신호 필터링 방법 및 장치와, 이를 이용한 이미지 특징 추출 방법, 장치 및 기록매체에 관한 것이며, 더 상세하게는 변형 SCS를 기반으로 하여 입력 이미지 신호를 필터링하기 위한 이미지 신호 필터링 방법 및 장치와, 이를 이용한 이미지 특징 추출 방법, 장치 및 기록매체에 관한 것이다.
이미지(image), 예컨대 카메라에 기반한 영상으로부터 특징점(feature point)을 추출하는 기술은 개인 인증, 3차원 복원, 자체추적 등 컴퓨터비전 분야에서 광범위하게 사용되고 있다.
영상의 특징점을 추출하는 대표적인 알고리듬은 『D.G. Lowe, "Distinctive image features from scale-invariant keypoints", Int. J. Comput. Vision 60 (2), 91-110, 2004.』에서 Lowe에 의해 제안된 SIFT(Scale Invariant Feature Transform)이다. SIFT는 이미지 회전, 스케일링, 이동, 부분 조명 변화 및 투영 변환(projective transform)에 불변인 특성을 지니고 있다. SIFT는 로컬 이미지(local image) 특성을 고려하여 특징의 위치, 스케일 및 방향 등의 속성을 추출한다. 즉, 첫 번째 단계로, DOG(Difference-Of-Gaussian) 함수를 통해 생성한 스케일 공간에서 최대·최소(extrema)를 검색하여 샘플점(sample point)을 선택한다( Scale - space extrema detection ). 두 번째 단계로, 안정도(stability) 수치에 기반하여 키포인트들을 선택한다( Keypoint localization ). 세 번째 단계로, 각각의 키포인트에 대하여 1 이상의 방향을 할당한다( Orientation assignment ). 마지막 단계로, 로컬 이미지 기울기(local image gradient)들을 이용하여 키포인트 기술자를 생성한다( Keypoint descriptor ).
특히, SIFT는 3차원 정보를 찾기 위한 첫 걸음인 기본 행렬(fundamental matrix; F)를 구하기 위해 사용될 수 있다. 즉, SIFT에 의해 크기 변화에 불변한 특징점을 추출하고, 상기 특징점들을 이용하여 상기 기본 행렬(F)을 구한다. 상기 특징점들로부터 상기 기본 행렬(F)을 구하는 과정에서, 이상값(outlier)들을 제거하여 일대일 대응 문제(corresponding problem)를 해결하기 위해 키포인트 매칭(keypoint matching), 허프 변환(Hough Transform)에 의한 클러스터링(clustering), 및 RANSAC(RANdom SAmple Consensus)을 이용한 어파인 파라미터(Affine parameter)를 구하는 단계를 거친다.
도 1에는 RANSAC 알고리듬을 설명하는 그림이 도시되어 있다. RANSAC은 어떤 데이터 세트(data set)가 있는 경우, 상기 데이터 세트를 가장 잘 표현하는 라인 또는 함수로서 에러가 최소화되는 상기 라인 또는 함수를 구할 때 사용되는 확률적인 접근방법이다.
현재 RANSAC은 여러 공학 분야에서 많이 쓰이고 있다. 하지만, 제한된 시간 내에 모든 경우의 수를 고려하여 연산을 수행할 수는 없으므로, 현실적으로 한정된 경우의 수만을 고려할 수밖에 없다. 따라서 실험시 고려되는 경우의 수가 달라질 때마다 다른 결과를 도출하는 문제점이 있다. 이러한 문제점은 상품화를 고려할 때 커다란 장애 요소로 여겨진다.
특히, 실제의 입력 영상에는 노이즈가 존재하므로, SIFT만을 사용하여 특징점을 추출하는 경우 3차원 복원 등에서 특징점 매칭 결과가 불안정하고 다소 큰 기하 오차(geometric error)가 발생시키는 문제점이 있다.
따라서, 본 발명이 이루고자 하는 첫 번째 기술적 과제는, 입력 이미지의 노이즈 존재 유무와 무관하게 그리고 RANSAC을 사용하는 경우에도 이미지 특징을 안정적으로 추출하고 오차를 감소시키는 이미지 신호 필터링 방법을 제공하는 것이다.
본 발명이 이루고자 하는 두 번째 기술적 과제는, 입력 이미지의 노이즈 존재 유무와 무관하게 그리고 RANSAC을 사용하는 경우에도 이미지 특징을 안정적으로 추출하고 오차를 감소시키는 이미지 신호 필터링 장치를 제공하는 것이다.
본 발명이 이루고자 하는 세 번째 기술적 과제는, 상기 이미지 신호 필터링 방법을 사용하는 이미지 특징 추출 방법을 제공하는 것이다.
본 발명이 이루고자 하는 네 번째 기술적 과제는, 상기 이미지 신호 필터링 방법을 사용하는 이미지 특징 추출 장치를 제공하는 것이다.
상기와 같은 첫 번째 기술적 과제를 해결하기 위하여, 본 발명은 크기불변특징(scale invariant feature) 추출 알고리듬을 이용하여 필터링 이미지 신호(filtered image signal)로부터 이미지 특징(image feature)을 추출하는데 사용하는 이미지 신호 필터링 방법에 있어서, SCS(Sparse Code Shrinkage)에 사용되는 축소함수(shrinkage function)에서 상기 축소함수의 파라미터 값을 입력 이미지 신호로부터 결정하여 안정화 축소함수(stabilizing shrinkage function)를 생성하는 안정화 축소함수 생성 단계; 신경과학적 이미지 재표현 모델(neuroscientific image representation model)을 사용하여 스파스 코딩 변환행렬(sparse coding transform matrix; W)을 생성하고 상기 스파스 코딩 변환행렬(W)에 의해 상기 입력 이미지 신호의 변환 값을 생성하는 이미지 신호 변환 단계; 상기 입력 이미지 신호의 상기 변환 값을 상기 안정화 축소함수에 대입하여 안정화 스파스 코드(stabilized sparse code)를 생성하는 안정화 스파스 코드 생성 단계; 및 상기 스파스 코딩 변환행렬의 수반행렬(transposed matrix)에 의해 상기 안정화 스파스 코드를 역변환하여 상기 필터링 이미지 신호를 생성하는 필터링 이미지 생성 단계를 포함하는 이미지 신호 필터링 방법을 제공한다.
본 발명의 일 실시예에 따르면, 상기 안정화 축소함수 생성 단계에서 생성되는 상기 안정화 축소함수는, 하기 수학식;
Figure 112008012390434-pat00001
과 같이 표현된다(상기 수학식에서,
Figure 112008012390434-pat00002
는 입력 이미지 신호의 표준편차,
Figure 112008012390434-pat00003
는 입력 이미지 신호의 노이즈 분산값,
Figure 112008012390434-pat00004
는 희소성(sparseness) 조절 파라미터, 그리고
Figure 112008012390434-pat00005
이다).
본 발명의 일 실시예에 따르면, 상기 이미지 신호 변환 단계에서 사용하는 상기 신경과학적 이미지 재표현 모델은, ICA(Independent Component Analysis) 또는 ISA(Independent Subspace Analysis) 또는 TICA(Topographic Independent Component Analysis)이다.
본 발명의 일 실시예에 따르면, 상기 크기불변특징 추출 알고리듬은, SIFT(Scale Invariant Feature Transform) 또는 PCA-SIFT(Principal Component Analysis-SIFT) 또는 ROBPCA-SIFT(robust PCA-SIFT) 이다.
상기와 같은 두 번째 기술적 과제를 해결하기 위하여, 본 발명은 크기불변특징(scale invariant feature) 추출 알고리듬을 이용하여 필터링 이미지 신호(filtered image signal)로부터 이미지 특징(image feature)을 추출하는데 사용하는 이미지 신호 필터링 장치에 있어서, SCS(Sparse Code Shrinkage)에 사용되는 축소함수(shrinkage function)에서 상기 축소함수의 파라미터 값을 입력 이미지 신호로부터 결정하여 안정화 축소함수(stabilizing shrinkage function)를 생성하는 안정화 축소함수 생성 모듈; 신경과학적 이미지 재표현 모델(neuroscientific image representation model)을 사용하여 스파스 코딩 변환행렬(sparse coding transform matrix; W)을 생성하고 상기 스파스 코딩 변환행렬(W)에 의해 상기 입력 이미지 신호의 변환 값을 생성하는 이미지 신호 변환 모듈; 상기 입력 이미지 신호의 상기 변환 값을 상기 안정화 축소함수에 대입하여 안정화 스파스 코드(stabilized sparse code)를 생성하는 안정화 스파스 코드 생성 모듈; 및 상기 스파스 코딩 변환행렬의 수반행렬(transposed matrix)에 의해 상기 안정화 스파스 코드를 역변환하여 상기 필터링 이미지 신호를 생성하는 필터링 이미지 생성 모듈을 포함하는 이미지 신호 필터링 장치를 제공한다.
상기와 같은 세 번째 기술적 과제를 해결하기 위하여, 본 발명은 크기불변특 징(scale invariant feature) 추출 알고리듬을 이용하여 입력 이미지 신호로부터 이미지 특징(image feature)을 추출하는 방법에 있어서, SCS(Sparse Code Shrinkage)를 기반으로 하되 상기 SCS에 사용되는 축소함수(shrinkage function)의 파라미터 값이 입력 이미지 신호로부터 결정되는 변형 SCS에 의해 입력 이미지 신호를 필터링하는 이미지 신호 필터링 단계; 및 상기 이미지 신호 필터링 단계에 의한 필터링 이미지 신호(filtered image signal)에 크기불변특징 추출 알고리듬을 적용하여 이미지 특징을 추출하는 이미지 특징 추출 단계를 포함하는 이미지 특징 추출 방법을 제공한다.
본 발명의 일 실시예에 따르면, 상기 이미지 신호 필터링 단계에서 사용하는 상기 변형 SCS는, SCS(Sparse Code Shrinkage)에 사용되는 축소함수(shrinkage function)에서 상기 축소함수의 파라미터 값을 상기 입력 이미지 신호로부터 결정하여 안정화 축소함수(stabilizing shrinkage function)를 생성하는 안정화 축소함수 생성 단계; 신경과학적 이미지 재표현 모델(neuroscientific image representation model)을 사용하여 스파스 코딩 변환행렬(sparse coding transform matrix; W)을 생성하고 상기 스파스 코딩 변환행렬(W)에 의해 상기 입력 이미지 신호의 변환 값을 생성하는 이미지 신호 변환 단계; 상기 입력 이미지 신호의 상기 변환 값을 상기 안정화 축소함수에 대입하여 안정화 스파스 코드(stabilized sparse code)를 생성하는 안정화 스파스 코드 생성 단계; 및 상기 스파스 코딩 변환행렬의 수반행렬(transposed matrix)에 의해 상기 안정화 스파스 코드를 역변환하여 필터링 이미지 신호(filtered image signal)를 생성하는 필터링 이미지 신호 생성 단계를 포함한다.
본 발명의 일 실시예에 따르면, 상기 이미지 특징 추출 단계에서 사용하는 상기 크기불변특징 추출 알고리듬은, SIFT(Scale Invariant Feature Transform) 또는 PCA-SIFT(Principal Component Analysis-SIFT) 또는 ROBPCA-SIFT(robust PCA-SIFT)이다.
상기와 같은 네 번째 기술적 과제를 해결하기 위하여, 본 발명은 크기불변특징(scale invariant feature) 추출 알고리듬을 이용하여 입력 이미지 신호로부터 이미지 특징(image feature)을 추출하는 장치에 있어서, SCS(Sparse Code Shrinkage)를 기반으로 하되 상기 SCS에 사용되는 축소함수(shrinkage function)의 파라미터 값이 입력 이미지 신호로부터 결정되는 변형 SCS에 의해 입력 이미지 신호를 필터링하는 이미지 신호 필터링부; 및 상기 이미지 신호 필터링부에 의한 필터링 이미지 신호(filtered image signal)에 크기불변특징 추출 알고리듬을 적용하여 이미지 특징을 추출하는 이미지 특징 추출부를 포함하는 이미지 특징 추출 장치를 제공한다.
본 발명의 일 실시예에 따르면, 상기 이미지 신호 필터링부는, SCS(Sparse Code Shrinkage)에 사용되는 축소함수(shrinkage function)에서 상기 축소함수의 파라미터 값을 상기 입력 이미지 신호로부터 결정하여 안정화 축소함수(stabilizing shrinkage function)를 생성하는 안정화 축소함수 생성 모듈; 신경과학적 이미지 재표현 모델(neuroscientific image representation model)을 사용하여 스파스 코딩 변환행렬(sparse coding transform matrix; W)을 생성하고 상기 스파스 코딩 변환행렬(W)에 의해 상기 입력 이미지 신호의 변환 값을 생성하는 이미지 신호 변환 모듈; 상기 입력 이미지 신호의 상기 변환 값을 상기 안정화 축소함수에 대입하여 안정화 스파스 코드(stabilized sparse code)를 생성하는 안정화 스파스 코드 생성 모듈; 및 상기 스파스 코딩 변환행렬의 수반행렬(transposed matrix)에 의해 상기 안정화 스파스 코드를 역변환하여 필터링 이미지 신호(filtered image signal)를 생성하는 필터링 이미지 신호 생성 모듈 포함한다.
본 발명의 일 실시예에 따르면, 상기 이미지 특징 추출부가 사용하는 상기 크기불변특징 추출 알고리듬은, SIFT(Scale Invariant Feature Transform) 또는 PCA-SIFT(Principal Component Analysis-SIFT) 또는 ROBPCA-SIFT(robust PCA-SIFT)이다.
본 발명에 따른 이미지 신호 필터링 방법 및 장치와, 이를 이용한 이미지 특징 추출 방법, 장치 및 기록매체는, 크기불변특징 추출 알고리듬을 사용하여 이미지 특징을 추출하는 경우에 있어서 "입력 이미지에 노이즈가 존재하는지 여부와 무관하게 그리고 RANSAC 을 사용하는 경우에도 이미지 특징을 안정적으로 추출하고 오차를 감소시킨다"는 이점을 제공한다.
본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자하는 기술적 과제의 개요를 우선 제시한다.
도 2에는 인간의 뇌에서 시각 정보가 전달되는 경로가 나타나 있다. 이미지 에 대한 시각 정보는 한 쌍의 망막(retina)을 통해 들어와 뇌의 시상의 측면슬상핵(Lateral Geniculate Nucleus; LGN)을 거쳐 1차 시각 피질(primary visual cortex; V1)로 전달된다. 이는 다시 공간 시각 경로(spatial vision pathway) 및 대상 재인 경로(object recognition pathway)로 전달된다.
인간의 뇌에서 시각 정보가 전달되는 과정을 신경정보과학(neuroinformatics)의 측면에서 해석하면, 1차 시각 피질(V1)의 심플셀(simple cell)에서 이미지의 단순 특징을 추출하는 과정은 신경과학적 이미지 재표현 모델(neuroscientific image representation model) 중의 하나인 ICA(Independent Component Analysis)의 계산 과정으로 비유될 수 있다.
한편, 신경정보과학 분야 등에서 연구되고 있는 바와 같이, 인간의 뇌는 대상을 인식하는데 있어서 이미지의 세부적인 형태, 색 또는 명암대비 등을 통해 인식하는 것이 아니라 saliency map과 같은 이미지의 통계적인 구조(statistical structure)를 통해 인식하는 것으로 보고 있다.
본 발명은 이러한 뇌의 대상 인식 과정에 착안한 것으로서, 이미지의 특징을 추출하는데 있어서 단순히 노이즈가 제거된 선명한 이미지를 사용하는 것이 아니라 인간의 시각 시스템에 한층 더 접근한 방식으로 필터링된 이미지를 생성하여 사용하고자 하는 것이다.
이하, 본 발명의 기술적 과제의 해결 방안을 명확화하기 위해 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다. 다만, 본 발명을 설명함에 있어서 관련된 공지기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불명료하게 할 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자 등의 의도 또는 관례 등에 따라 달라질 수 있을 것이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 3에는 본 발명에 따른 이미지 특징 추출 방법의 일례가 흐름도로 도시되어 있다. 도 3을 참조하면, 우선 입력 이미지 신호가 입력되면 디노이징(denoising) 기법 중의 하나인 SCS(Sparse Code Shrinkage; P. Hoyer. Independent Component Analysis in Image Denoising. Master's Thesis, Helsinki University of Technology, 1999. 참조)를 기반으로 하되 상기 SCS에 사용되는 축소함수(shrinkage function)의 파라미터 값이 상기 입력 이미지 신호로부터 결정되는 변형 SCS에 의해 입력 이미지 신호를 필터링한다(S30). 그리고나서 상기 변형 SCS에 의한 필터링 이미지 신호(filtered image signal)에 크기불변특징 추출 알고리듬을 적용하여 이미지 특징을 추출한다(S32).
도 4에는 본 발명에 따른 이미지 신호 필터링 방법(S30)으로서 상기 변형 SCS에 의한 상기 이미지 신호 필터링 방법의 일례가 구체적인 흐름도로 도시되어 있다. 도 4를 참조하면, 우선 SCS(Sparse Code Shrinkage)에 사용되는 축소함수(shrinkage function)에서 상기 축소함수의 파라미터 값을 상기 입력 이미지 신호로부터 결정하여 안정화 축소함수(stabilizing shrinkage function)를 생성한다(S40).
더욱 구체적으로 설명하면, 도 5에 도시된 바와 같이 이미지는 여러 개의 독 립된 구성요소로 분석할 수 있다. 도 5에서 s 1,…,s n은 임의의 신호 변수(random signal variable; s)를 나타내는 벡터(s)의 컴포넌트들이다. s 1,…,s n은 스파스 분포(sparse distribution)를 보이게 된다.
도 6에는 단위 분산값을 가지는 스파스 밀도(sparse density)로서 희소성(sparseness) 조절 파라미터(
Figure 112008012390434-pat00006
)에 따른 스파스 밀도가 그래프로 도시되어 있다.
Figure 112008012390434-pat00007
(
Figure 112008012390434-pat00008
, "Sparse code shrinkage: Denoising of nongaussian data by maximum likelihood estimation", Technical Report A51, Helsinki University of Technology, Laboratory of Computer and Information Science, 1998.)에 의해 소개된 스파스 분포의 확률은 하기 수학식 1과 같다.
Figure 112008012390434-pat00009
상기 수학식 1에서,
Figure 112008012390434-pat00010
는 표준편차이고,
Figure 112008012390434-pat00011
는 희소성(sparseness) 조절 파라미터이다. 여기서, 상기
Figure 112008012390434-pat00012
는 하기 수학식 2와 같이 표현될 수 있다.
Figure 112008012390434-pat00013
상기 수학식 2에서,
Figure 112008012390434-pat00014
이다.
이러한 스파스 분포로 만들어 주는 것이 바로 SCS의 축소함수(g)이다.
SCS의 MAP(Maximum a Posteriori) 축소함수는 하기 수학식 3과 같이 나타낼 수 있다.
Figure 112008012390434-pat00015
상기 수학식 3에서,
Figure 112008012390434-pat00016
는 표준편차,
Figure 112008012390434-pat00017
는 노이즈 분산값,
Figure 112008012390434-pat00018
는 희소성(sparseness) 조절 파라미터, 그리고
Figure 112008012390434-pat00019
이다.
도 7에는 도 6의 스파스 밀도에 대응하는 MAP 축소함수가 그래프로 도시되어 있으며, 비교를 위해 항등함수(identity function)
Figure 112008012390434-pat00020
가 또한 도시되어 있다.
본래 디노이징 기법으로 사용되는 SCS의 축소함수는 파라미터 값을 노이즈 없는 이미지 신호로부터 구한 것이다.
이에 대하여, 본 발명에 사용되는 상기 안정화 축소함수는 파라미터 값을 노이즈 유·무와 무관하게 입력 이미지 신호로부터 구한다. 즉, 본 발명은 상기 수학식 3과 같은 모델의 축소함수를 사용하더라도 상기 파라미터들,
Figure 112008012390434-pat00021
,
Figure 112008012390434-pat00022
, 및
Figure 112008012390434-pat00023
를 입력 이미지 신호로부터 구한 축소함수(본 명세서에서, "안정화 축소함수( stabilizing shrinkage function )"라고 명명한다.)를 사용한다는 것이다. 아래에서 다시 설명하겠지만, 이러한 점은 본 발명에 따른 이미지 신호 필터링 방법이 단순한 디노이징 기법이 아닌, 인간의 시각 시스템에 한층 더 가까워진 방식으로 이미지의 특징을 추출하도록 하는 의미있는 필터링 방법이 되도록 한다.
한편, 신경과학적 이미지 재표현 모델(neuroscientific image representation model)을 사용하여 스파스 코딩 변환행렬(sparse coding transform matrix; W)을 생성하고 상기 스파스 코딩 변환행렬(W)에 의해 상기 입력 이미지 신호의 변환 값을 생성한다(S42).
상기 신경과학적 이미지 재표현 모델로는 ICA(Independent Component Analysis), ISA(Independent Subspace Analysis) 또는 TICA(Topographic Independent Component Analysis) 등이 있다. ICA를 인간의 뇌에서 이미지의 단순 특징을 추출하는 심플셀(simple cell)에 비유한다면, ISA와 TICA는 복잡한 특징에 반응하는 콤플렉스셀(complex cell)에 비유할 수 있다. 실제로 공간적으로 그리고 형태학적으로 연관성을 지닌 비슷한 심플셀들이 콤플렉스셀을 구성하며, 이러한 점을 고려한 것이 ISA와 TICA이기 때문이다.
도 5에 도시된 바와 같이 신경과학적 이미지 재표현 모델들은 입력 이미지를 독립적인 구성요소들로 분석하는 것이다. 예컨대, ICA의 경우 입력 이미지 신호(X)를 여러 개의 소스 신호(S)로 분석한다. ICA의 기본 개념은 하기 수학식 4와 같다.
X = AS 또는 S = WX
상기 수학식 4에서, A는 믹싱행렬(mixing matrix)이고, W는 ICA 스파스 코딩 변환행렬(ICA sparse coding transform matrix) 또는 ICA 분리행렬(ICA separating matrix) 또는 ICA 필터로 표현할 수 있다. 유의할 점은, 스파스 코딩 변환행렬(W)은 노이즈가 없는 임의의 이미지로부터 얻어진다는 것이다.
상기 신경과학적 이미지 재표현 모델을 통해 얻어진 상기 스파스 코딩 변환행렬(W)에 의해 하기 수학식 5와 같이 입력 이미지 신호(x)의 변환값(y)을 구한다.
y = Wx
도 8a 내지 도 8c에는 각각 ICA, ISA 및 TICA 스파스 코딩 변환행렬의 일례가 독립적인 이미지 구성요소로 나타나 있다. 도 8b에 도시된 바와 같이 ISA의 경우 비슷한 구성요소들을 묶어서 서브스페이스(subspace)를 구성하며, 도 8c에 도시된 바와 같이 TICA의 경우 단순히 비슷할 뿐만 아니라 형태학 구조를 지니도록 구성한다.
그 다음, 상기 입력 이미지 신호의 변환값(y)을 상기 안정화 축소함수(g)에 대입하여 하기 수학식 6과 같이 안정화 스파스 코드(stabilized sparse code; s)를 생성한다(S44).
s = g(y)
마지막으로, 상기 스파스 코딩 변환행렬의 수반행렬(transposed matrix) WT에 의해 상기 안정화 스파스 코드를 역변환하여 하기 수학식 7과 같이 필터링 이미지 신호(filtered image signal; x')를 생성한다(S46).
x' = WTs
도 9a에는 내시경으로 촬영한 원 이미지가 도시되어 있으며, 도 9b에는 도 9a의 이미지에 노이즈가 첨가된 일반적인 입력 이미지가 도시되어 있다.
도 9c에는 도 9b의 이미지에 디노이징 방법으로 일반적으로 사용되는 위너 필터(Wiener filter)를 적용한 이미지가 도시되어 있으며, 도 9d에는 도 9b의 이미지에 본 발명에 따른 이미지 신호 필터링 방법을 적용한 이미지가 도시되어 있다.
도 9d에 도시된 바와 같이, 본 발명에 따른 이미지 신호 필터링 방법을 적용한 경우 노이즈는 어느 정도 제거되었지만, 전체적으로 이미지의 번짐(blur)이 발생한 것처럼 보인다. 이는 본 발명에 따른 이미지 신호 필터링 방법이 단순한 디노이징 방법이 아니라는 것을 단적으로 보여준다. 도 9d의 이미지는 바로 인간의 뇌가 대상을 인식할 때 사용하는 것으로 보이는 saliency map과 유사한 패턴이다.
본 발명에 따른 이미지 특징 추출 방법은 위에서 설명한 변형 SCS에 의해 생성된 필터링 이미지 신호에 크기불변특징 추출 알고리듬을 적용하여 이미지 특징을 추출한다(S32).
상기 크기불변특징 추출 알고리듬으로는, SIFT 또는 PCA-SIFT(Principal Component Analysis-SIFT; Y. Ke and R. Sukthankar, "PCA-SIFT: A more distinctive representation for local image descriptors", In Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition(CVPR), Washington, DC, pp511-517, 2004. 참조) 또는 ROBPCA-SIFT(robust PCA-SIFT; J. oh, H. Kim et al., "ROBPCA-SIFT: a feature point extraction method for the consistent with epipolar geometry in endoscopic images", Image and Vision Computing New Zealand, 221-226, 2006. 참조) 등이 있다.
대표적인 크기불변특징 추출 알고리듬인 SIFT를 일례로서 구체적으로 설명하면, 상기 필터링 이미지를 다양한 스케일의 분산값을 갖는 가우시안 필터에 통과시키고, 그 결과 이미지들을 인접하는 스케일에 따라서 순차적으로 서로 뺀다. 이 차이 이미지를 가우시안 차이(Difference Of Gaussian, DOG) 이미지라 하는데, DOG 이미지를 2:1로 부표본화 하고 다시 다양한 스케일을 갖는 가우시안 필터를 통과시킨다. 도 10a에 도시된 바와 같이, 이러한 과정을 통하여 피라미드 구조의 DOG 이미지들을 얻은 후에, 각 DOG 영상의 최대 또는 최소에 해당하는 키포인트를 찾는다.
도 10b에 도시된 바와 같이, 최대 또는 최소 위치는 주변의 8픽셀과 위 아래 스케일 DOG 이미지의 9픽셀씩, 모두 26픽셀과 비교하여 최대이거나 최소인 경우로 선택된다. 그리고, 노이즈에 의한 요소를 제거하기 위하여 강한 에지선 상에 있거나 그 DOG 값의 크기가 작은 키포인트는 제거한다. 최종 선택된 키포인트를 중심으로 16x16 크기의 블록을 설정하고, 그 블록 내의 픽셀에 대하여 방향성을 측정한다. 각각의 픽셀마다 방향 및 그 크기를 측정하여 해당 블록에서 가장 크게 존재하는 방향을 추정한다. 이 방향을 해당 키포인트의 방향으로 설정한다. 최종적인 SIFT 특징벡터를 구하기 위해서는 다시 각각의 키포인트를 중심으로 16x16 블록을 설정하고 다시 4x4 블록 단위로 나누어 그 블록 내의 각 픽셀에 대하여 픽셀값의 변화 방향을 측정한다. 상기 변화 방향은 변화 기울기에 비례하도록 설정하여 변화의 크기가 클수록 해당 방향의 확률분포도 커지도록 방향에 대한 확률분포를 구한 다.
도 10c에 도시된 바와 같이, 상기 방향성 확률분포는 8개의 방향으로 구분되어 저장되는데, 결국 16x16 블록에 대하여 128 차원의 벡터 형태로 표현된다. 이 방향성 확률분포를 나타내는 벡터가 SIFT 특징 벡터의 구조이며, 키포인트의 이미지 좌표, 방향성, 가우시안 스케일 등의 파라미터와 함께 저장된다. 이와 같이 얻어진 128 차원의 SIFT 특징 벡터는 벡터 양자화를 수행하여 코드북으로 표현된다. 초기에 구해진 SIFT 특징 벡터는 부동 소수점을 갖는 임의의 실수로서, 상기 SIFT 특징 벡터를 전송하거나 거리를 비교할 때 상대적으로 많은 전송용량 및 시간이 필요하다. 따라서, 이러한 단점을 극복하기 위하여, 각 8방향 단위로 구분된 SIFT의 8차원 벡터에 대하여 벡터 양자화를 수행하고 실수값으로 표현되는 8차원 방향분포를 1차원의 코드북으로 대응시킨다. 이러한 벡터 양자화 과정을 거침으로써, 128차원의 실수계수 SIFT 특징 벡터는 16차원의 정수계수의 벡터로 변환될 수 있다. 이러한 16차원의 벡터로 양자화된 SIFT 특징 벡터를 낮은 데이터 양으로 전송하고, 벡터 간의 차이를 계산할 때는 양자화된 코드북의 128 차원 벡터로 환원하여 비교하게 된다.
개인 인증, 3차원 복원 등에 있어서 이미지들의 특징을 매칭시켜야 한다. 이 경우, 이상값(outlier)들을 제거하여 일대일 대응 문제를 해결하기 위해 키포인트를 매칭시키는 단계, 허프 변환(Hough Transform)에 의한 클러스터링 단계 및 어파인 파라미터(Affine parameter)를 구하는 단계를 거친다. 상기 어파인 파라미터를 구하는 단계에서 RANSAC 알고리듬이 사용되지만, 본 발명에 따른 이미지 신호 필터 링 방법에 의해 필터링된 이미지 신호를 사용하는 경우에는 안정적이고 정확한 결과를 얻을 수 있다. 또한, 추가적으로 기본 행렬(fundamental matrix; F)을 이용하여 이상값을 더 제거하는 단계를 거침으로써 정확도를 더욱 개선할 수 있다. 상기 기본 행렬을 구하는 과정에서도 RANSAC이 사용될 수 있다. 기본 행렬 및 3차원 복원에 관한 세부사항은 Richard Hartley 및 Andrew Zisserman의 "Multiple View Geometry in Computer Vision"(Cambridge University Press, 2003.)을 참조한다.
본 발명에 따른 이미지 신호 필터링 방법 및 이를 이용한 이미지 특징 추출 방법은 또한 컴퓨터로 판독할 수 있는 기록매체에 컴퓨터가 읽어드릴 수 있는 프로그램 코드로서 구현하는 것이 가능하다. 본 발명이 소프트웨어를 통해 실행될 때, 본 발명의 구성 수단들은 필요한 작업을 실행하는 코드 세그먼트들이다. 프로그램 또는 코드 세그먼트들은 프로세서 판독 가능 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다.
컴퓨터가 판독할 수 있는 기록매체에는 컴퓨터 시스템으로 읽어들일 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 판독할 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 판독할 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽어들일 수 있는 코드가 저장되고 실행될 수 있다.
도 11에는 본 발명에 따른 이미지 특징 추출 장치가 사용되는 시스템 환경이 블록도로 도시되어 있다.
도 11을 참조하면, 카메라부(112), 예컨대 내시경(endoscope)을 통해 촬영된 피사체의 이미지는 입력 인터페이스(114)를 통해 본 발명에 따른 이미지 특징 추출 장치(110)로 전달된다. 본 발명에 따른 이미지 특징 추출 장치(110)는 크기불변특징 추출 알고리듬을 이용하여 입력 이미지 신호로부터 이미지 특징(image feature)을 추출하는 장치로서 이미지 신호 필터링부(116) 및 이미지 특징 추출부(118)를 포함한다.
상기 이미지 신호 필터링부(116)는, SCS(Sparse Code Shrinkage)를 기반으로 하되 상기 SCS에 사용되는 축소함수(shrinkage function)의 파라미터 값이 입력 이미지 신호로부터 결정되는 변형 SCS에 의해 입력 이미지 신호를 필터링한다.
상기 이미지 특징 추출부(118)는, 상기 이미지 신호 필터링부(116)에 의한 필터링 이미지 신호(filtered image signal)에 크기불변특징 추출 알고리듬을 적용하여 이미지 특징을 추출한다.
도 12에는 상기 이미지 신호 필터링부(116)가 구체적인 블록도로 도시되어 있다.
도 12를 참조하면, 상기 이미지 신호 필터링부(116)는, SCS(Sparse Code Shrinkage)에 사용되는 축소함수(shrinkage function)에서 상기 축소함수의 파라미터 값을 상기 입력 이미지 신호로부터 결정하여 안정화 축소함수(stabilizing shrinkage function)를 생성하는 안정화 축소함수 생성 모듈(120), 신경과학적 이미지 재표현 모델(neuroscientific image representation model)을 사용하여 스파스 코딩 변환행렬(sparse coding transform matrix; W)을 생성하고 상기 스파스 코 딩 변환행렬(W)에 의해 상기 입력 이미지 신호의 변환 값을 생성하는 이미지 신호 변환 모듈(122), 상기 입력 이미지 신호의 상기 변환 값을 상기 안정화 축소함수에 대입하여 안정화 스파스 코드(stabilized sparse code)를 생성하는 안정화 스파스 코드 생성 모듈(124), 및 상기 스파스 코딩 변환행렬의 수반행렬(transposed matrix)에 의해 상기 안정화 스파스 코드를 역변환하여 필터링 이미지 신호(filtered image signal)를 생성하는 필터링 이미지 신호 생성 모듈(126)을 포함한다.
상기 이미지 특징 추출 장치(110)의 상기 이미지 신호 필터링부(116) 및 상기 이미지 신호 추출부(118)와 상기 이미지 신호 필터링부(116)의 각각의 모듈들의 구체적 동작들은, 본 발명에 따른 이미지 특징 추출 방법 및 이미지 신호 필터링 방법의 각각의 단계들과 쌍대적인 설명이 가능하다.
이미지 특징 매칭부(119)는 상기 이미지 특징 추출 장치에 의해 추출된 이미지들의 특징들을 매칭시켜 개인 인증, 3차원 복원 등을 가능하게 한다. 이때, 상기 이미지 특징 매칭부(119)는 이미지들의 키포인트를 매칭시키고, 허프 변환(Hough Transform)에 의한 클러스터링을 수행하고, 그리고 어파인 파라미터(Affine parameter)를 구함으로써 이상값(outlier)들을 제거하여 일대일 대응 문제를 해결한다. 또한, 추가적으로 기본 행렬(fundamental matrix; F)을 이용하여 이상값을 더 제거함으로써 정확도를 더욱 개선할 수 있다.
도 13에는 두 개의 이미지상의 기하 오차(geometric error; d, d')가 나타나 있다. 3차원 공간상의 점(
Figure 112008012390434-pat00024
)은 좌우 이미지상에서 상기 점(
Figure 112008012390434-pat00025
)과 좌우 카메라의 센터(C, C')를 잇는 직선 위의 점(
Figure 112008012390434-pat00026
,
Figure 112008012390434-pat00027
)으로 나타나야 한다. 하지만, 기하 오차가 발생하는 경우 상기 직선에서 벗어난 점(
Figure 112008012390434-pat00028
,
Figure 112008012390434-pat00029
)으로 나타나게 된다.
따라서, 도 9a와 같은 내시경 이미지에 노이즈를 첨가하여 기하 오차를 구함으로써 본 발명의 우수성을 검증해 볼 수 있다. 기존의 SIFT는 0.5픽셀의 정확도를 지니고 있다.
도 14a 내지 도 14c에는, 원 내시경 이미지에 첨가한 노이즈의 분산값(variance)이 0.005일 때, 각각 PCA-SIFT20를 사용한 경우 및 ROBPCA-SIFT20를 사용한 경우와 이들에 본 발명에 따른 이미지 신호 필터링 방법을 적용하여 사용한 경우의 기하 오차가 그래프로 도시되어 있다. 상기 숫자 20은 줄어든 차원의 수를 나타낸다.
도 14a는 PCA-SIFT20만을 사용한 경우로서, 오차가 크고 불안정하다.
도 14b는 ROBPCA-SIFT20만을 사용한 경우로서, 오차는 많이 감소하지만 여전히 불안정하다.
그러나, 도 14c는 본 발명에 따른 이미지 신호 필터링 방법을 적용한 후 PCA-SIFT20 및 ROBPCA-SIFT20를 사용하는 경우로서, 오차가 현저히 줄어들 뿐 아니라 결과가 안정화됨을 알 수 있다.
도 15a 내지 도 15d에는, 원 내시경 이미지에 첨가한 노이즈의 분산값이 0.01일 때, 각각 ROBPCA-SIFT20를 사용한 경우와 PCA-SIFT20 및 ROBPCA-SIFT20에 위너 필터(wiener filter)를 적용하여 사용한 경우, 그리고 본 발명에 따른 이미지 신호 필터링 방법을 적용하여 사용한 경우의 기하 오차가 그래프로 도시되어 있다.
도 15a는 ROBPCA-SIFT20만을 사용한 경우로서, 노이즈 분산값이 0.01로 증가하자 기하 오차도 많이 증가함을 알 수 있다.
도 15b는 위너 필터를 사용하여 노이즈를 제거한 후 PCA-SIFT20를 사용한 경우로서, 여전히 기하 오차가 크고 불안정하다.
도 15c는 위너 필터를 사용하여 노이즈를 제거한 후 ROBPCA-SIFT20를 사용한 경우로서, 역시 기하 오차가 크고 불안정하다.
그러나, 도 15d는 본 발명에 따른 이미지 신호 필터링 방법을 적용한 후 PCA-SIFT20 및 ROBPCA-SIFT20를 사용하는 경우로서, 오차가 현저히 줄어들 뿐 아니라 결과가 안정화됨을 알 수 있다.
상술한 바와 같이, 본 발명은 기하 오차를 감소시킬 뿐 아니라 안정화시킨다는 이점을 제공한다. 또한, 본 발명은 입력 이미지에 노이즈가 존재하는지 여부와 무관하게 적용할 수 있으며, 차원을 줄이기 위해 ROBPCA와 같이 복잡한 알고리듬을 사용하지 않아도 되는 이점을 제공한다.
지금까지 본 발명에 대해 실시예들을 참고하여 설명하였다. 그러나 당업자라면 본 발명의 본질적인 기술적 사상으로부터 벗어나지 않는 범위에서 본 발명이 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 즉, 본 발명의 진정한 기술적 범위는 첨부된 특허청구범위에 나타나 있으며, 그와 균등범위 내에 있는 모든 차이점은 본 발명에 포함되는 것으로 해석되어야 할 것이다.
도 1은 RANSAC 알고리듬의 개념을 나타낸 도면.
도 2는 인간의 뇌에서 시각 정보가 전달되는 경로를 나타낸 도면.
도 3은 본 발명에 따른 이미지 특징 추출 방법의 일례를 나타낸 흐름도.
도 4는 본 발명에 따른 이미지 신호 필터링 방법의 일례를 나타낸 흐름도.
도 5는 이미지의 독립 성분 분석의 개념을 나타낸 도면.
도 6는 희소성 조절 파라미터에 따른 스파스 밀도를 나타낸 그래프.
도 7는 도 6의 스파스 밀도에 대응하는 MAP 축소함수를 나타낸 그래프.
도 8a 내지 도 8c는 각각 ICA, ISA 및 TICA 스파스 코딩 변환행렬의 일례를 이미지의 독립 성분으로 나타낸 도면.
도 9a는 내시경으로 촬영한 원 이미지.
도 9b는 도 9a의 이미지에 노이즈가 첨가된 이미지.
도 9c는 도 9b의 이미지에 위너 필터를 적용한 이미지.
도 9d는 도 9b의 이미지에 본 발명에 따른 이미지 신호 필터링 방법을 적용한 이미지.
도 10a는 SIFT 특징 벡터를 추출하기 위하여 DOG 이미지 피라미드를 구성하는 방법을 나타낸 도면.
도 10b는 키포인트를 추출하기 위하여 비교되는 26개의 인접 픽셀 위치를 나타낸 도면.
도 10c는 8 by 8 블록에 대해 방향성 분포를 추출하여 8개의 방향으로 양자 화하는 방법을 나타낸 도면.
도 11은 본 발명에 따른 이미지 특징 추출 장치가 사용되는 시스템 환경을 나타낸 블록도.
도 12는 본 발명에 따른 이미지 신호 필터링 장치의 일례를 나타낸 블록도.
도 13은 두 개의 이미지상에서 기하 오차를 나타낸 도면.
도 14a 내지 도 14c는, 원 이미지에 첨가한 노이즈의 분산값(variance)이 0.005일 때, 각각 PCA-SIFT20를 사용한 경우 및 ROBPCA-SIFT20를 사용한 경우와 이들에 본 발명에 따른 이미지 신호 필터링 방법을 적용하여 사용한 경우의 기하 오차를 나타낸 그래프.
도 15a 내지 도 15d는, 원 내시경 이미지에 첨가한 노이즈의 분산값이 0.01일 때, 각각 ROBPCA-SIFT20를 사용한 경우와 PCA-SIFT20 및 ROBPCA-SIFT20에 위너 필터(wiener filter)를 적용하여 사용한 경우, 그리고 본 발명에 따른 이미지 신호 필터링 방법을 적용하여 사용한 경우의 기하 오차를 나타낸 그래프.

Claims (20)

  1. 크기불변특징(scale invariant feature) 추출 알고리듬을 이용하여 필터링 이미지 신호(filtered image signal)로부터 이미지 특징(image feature)을 추출하는데 사용하는 이미지 신호 필터링 방법에 있어서,
    SCS(Sparse Code Shrinkage)에 사용되는 축소함수(shrinkage function)에서 상기 축소함수의 파라미터 값을 입력 이미지 신호로부터 결정하여 안정화 축소함수(stabilizing shrinkage function)를 생성하는 안정화 축소함수 생성 단계;
    신경과학적 이미지 재표현 모델(neuroscientific image representation model)을 사용하여 스파스 코딩 변환행렬(sparse coding transform matrix; W)을 생성하고 상기 스파스 코딩 변환행렬(W)에 의해 상기 입력 이미지 신호의 변환 값을 생성하는 이미지 신호 변환 단계;
    상기 입력 이미지 신호의 상기 변환 값을 상기 안정화 축소함수에 대입하여 안정화 스파스 코드(stabilized sparse code)를 생성하는 안정화 스파스 코드 생성 단계; 및
    상기 스파스 코딩 변환행렬의 수반행렬(transposed matrix)에 의해 상기 안정화 스파스 코드를 역변환하여 상기 필터링 이미지 신호를 생성하는 필터링 이미지 생성 단계를 포함하는 이미지 신호 필터링 방법.
  2. 제1항에 있어서,
    상기 안정화 축소함수 생성 단계에서 생성되는 상기 안정화 축소함수는, 하기 수학식 1과 같이 표현되는 것을 특징으로 하는 이미지 신호 필터링 방법.
    [수학식 1]
    Figure 112008012390434-pat00030
    (상기 수학식 1에서,
    Figure 112008012390434-pat00031
    는 입력 이미지 신호의 표준편차,
    Figure 112008012390434-pat00032
    는 입력 이미지 신호의 노이즈 분산값,
    Figure 112008012390434-pat00033
    는 희소성(sparseness) 조절 파라미터, 그리고
    Figure 112008012390434-pat00034
    이다.)
  3. 제1항에 있어서,
    상기 이미지 신호 변환 단계에서 사용하는 상기 신경과학적 이미지 재표현 모델은, ICA(Independent Component Analysis) 또는 ISA(Independent Subspace Analysis) 또는 TICA(Topographic Independent Component Analysis)인 것을 특징으로 하는 이미지 신호 필터링 방법.
  4. 제1항에 있어서,
    상기 크기불변특징 추출 알고리듬은, SIFT(Scale Invariant Feature Transform) 또는 PCA-SIFT(Principal Component Analysis-SIFT) 또는 ROBPCA-SIFT(robust PCA-SIFT)인 것을 특징으로 하는 이미지 신호 필터링 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 따른 이미지 신호 필터링 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 기록매체로서, 컴퓨터로 판독할 수 있는 상기 기록매체.
  6. 크기불변특징(scale invariant feature) 추출 알고리듬을 이용하여 필터링 이미지 신호(filtered image signal)로부터 이미지 특징(image feature)을 추출하는데 사용하는 이미지 신호 필터링 장치에 있어서,
    SCS(Sparse Code Shrinkage)에 사용되는 축소함수(shrinkage function)에서 상기 축소함수의 파라미터 값을 입력 이미지 신호로부터 결정하여 안정화 축소함수(stabilizing shrinkage function)를 생성하는 안정화 축소함수 생성 모듈;
    신경과학적 이미지 재표현 모델(neuroscientific image representation model)을 사용하여 스파스 코딩 변환행렬(sparse coding transform matrix; W)을 생성하고 상기 스파스 코딩 변환행렬(W)에 의해 상기 입력 이미지 신호의 변환 값을 생성하는 이미지 신호 변환 모듈;
    상기 입력 이미지 신호의 상기 변환 값을 상기 안정화 축소함수에 대입하여 안정화 스파스 코드(stabilized sparse code)를 생성하는 안정화 스파스 코드 생성 모듈; 및
    상기 스파스 코딩 변환행렬의 수반행렬(transposed matrix)에 의해 상기 안정화 스파스 코드를 역변환하여 상기 필터링 이미지 신호를 생성하는 필터링 이미지 생성 모듈을 포함하는 이미지 신호 필터링 장치.
  7. 제6항에 있어서,
    상기 안정화 축소함수 생성 모듈이 생성하는 상기 안정화 축소함수는, 하기 수학식 2와 같이 표현되는 것을 특징으로 하는 이미지 신호 필터링 장치.
    [수학식 2]
    Figure 112008012390434-pat00035
    (상기 수학식 2에서,
    Figure 112008012390434-pat00036
    는 입력 이미지 신호의 표준편차,
    Figure 112008012390434-pat00037
    는 입력 이미지 신호의 노이즈 분산값,
    Figure 112008012390434-pat00038
    는 희소성(sparseness) 조절 파라미터, 그리고
    Figure 112008012390434-pat00039
    이다.)
  8. 제6항에 있어서,
    상기 이미지 신호 변환 모듈이 사용하는 상기 신경과학적 이미지 재표현 모델은, ICA(Independent Component Analysis) 또는 ISA(Independent Subspace Analysis) 또는 TICA(Topographic Independent Component Analysis)인 것을 특징으로 하는 이미지 신호 필터링 장치.
  9. 제6항에 있어서,
    상기 크기불변특징 추출 알고리듬은, SIFT(Scale Invariant Feature Transform) 또는 PCA-SIFT(Principal Component Analysis-SIFT) 또는 ROBPCA-SIFT(robust PCA-SIFT)인 것을 특징으로 하는 이미지 신호 필터링 장치.
  10. 크기불변특징(scale invariant feature) 추출 알고리듬을 이용하여 입력 이미지 신호로부터 이미지 특징(image feature)을 추출하는 방법에 있어서,
    SCS(Sparse Code Shrinkage)를 기반으로 하되 상기 SCS에 사용되는 축소함수(shrinkage function)의 파라미터 값이 입력 이미지 신호로부터 결정되는 변형 SCS에 의해 입력 이미지 신호를 필터링하는 이미지 신호 필터링 단계; 및
    상기 이미지 신호 필터링 단계에 의한 필터링 이미지 신호(filtered image signal)에 크기불변특징 추출 알고리듬을 적용하여 이미지 특징을 추출하는 이미지 특징 추출 단계를 포함하는 이미지 특징 추출 방법.
  11. 제10항에 있어서,
    상기 이미지 신호 필터링 단계에서 사용하는 상기 변형 SCS는,
    SCS(Sparse Code Shrinkage)에 사용되는 축소함수(shrinkage function)에서 상기 축소함수의 파라미터 값을 상기 입력 이미지 신호로부터 결정하여 안정화 축소함수(stabilizing shrinkage function)를 생성하는 안정화 축소함수 생성 단계;
    신경과학적 이미지 재표현 모델(neuroscientific image representation model)을 사용하여 스파스 코딩 변환행렬(sparse coding transform matrix; W)을 생성하고 상기 스파스 코딩 변환행렬(W)에 의해 상기 입력 이미지 신호의 변환 값을 생성하는 이미지 신호 변환 단계;
    상기 입력 이미지 신호의 상기 변환 값을 상기 안정화 축소함수에 대입하여 안정화 스파스 코드(stabilized sparse code)를 생성하는 안정화 스파스 코드 생성 단계; 및
    상기 스파스 코딩 변환행렬의 수반행렬(transposed matrix)에 의해 상기 안정화 스파스 코드를 역변환하여 필터링 이미지 신호(filtered image signal)를 생성하는 필터링 이미지 신호 생성 단계를 포함하는 것을 특징으로 하는 이미지 특징 추출 방법.
  12. 제11항에 있어서,
    상기 안정화 축소함수 생성 단계에서 생성되는 상기 안정화 축소함수는, 하기 수학식 3과 같이 표현되는 것을 특징으로 하는 이미지 특징 추출 방법.
    [수학식 3]
    Figure 112008012390434-pat00040
    (상기 수학식 3에서,
    Figure 112008012390434-pat00041
    는 입력 이미지 신호의 표준편차,
    Figure 112008012390434-pat00042
    는 입력 이미지 신호의 노이즈 분산값,
    Figure 112008012390434-pat00043
    는 희소성(sparseness) 조절 파라미터, 그리고
    Figure 112008012390434-pat00044
    이다.)
  13. 제11항에 있어서,
    상기 이미지 신호 변환 단계에서 사용하는 상기 신경과학적 이미지 재표현 모델은, ICA(Independent Component Analysis) 또는 ISA(Independent Subspace Analysis) 또는 TICA(Topographic Independent Component Analysis)인 것을 특징으로 하는 이미지 특징 추출 방법.
  14. 제10항에 있어서,
    상기 이미지 특징 추출 단계에서 사용하는 상기 크기불변특징 추출 알고리듬은, SIFT(Scale Invariant Feature Transform) 또는 PCA-SIFT(Principal Component Analysis-SIFT) 또는 ROBPCA-SIFT(robust PCA-SIFT)인 것을 특징으로 하는 이미지 특징 추출 방법.
  15. 제10항 내지 제14항 중 어느 한 항에 따른 이미지 특징 추출 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 기록매체로서, 컴퓨터로 판독할 수 있는 상기 기록매체.
  16. 크기불변특징(scale invariant feature) 추출 알고리듬을 이용하여 입력 이미지 신호로부터 이미지 특징(image feature)을 추출하는 장치에 있어서,
    SCS(Sparse Code Shrinkage)를 기반으로 하되 상기 SCS에 사용되는 축소함수(shrinkage function)의 파라미터 값이 입력 이미지 신호로부터 결정되는 변형 SCS에 의해 입력 이미지 신호를 필터링하는 이미지 신호 필터링부; 및
    상기 이미지 신호 필터링부에 의한 필터링 이미지 신호(filtered image signal)에 크기불변특징 추출 알고리듬을 적용하여 이미지 특징을 추출하는 이미지 특징 추출부를 포함하는 이미지 특징 추출 장치.
  17. 제16항에 있어서,
    상기 이미지 신호 필터링부는,
    SCS(Sparse Code Shrinkage)에 사용되는 축소함수(shrinkage function)에서 상기 축소함수의 파라미터 값을 상기 입력 이미지 신호로부터 결정하여 안정화 축소함수(stabilizing shrinkage function)를 생성하는 안정화 축소함수 생성 모듈;
    신경과학적 이미지 재표현 모델(neuroscientific image representation model)을 사용하여 스파스 코딩 변환행렬(sparse coding transform matrix; W)을 생성하고 상기 스파스 코딩 변환행렬(W)에 의해 상기 입력 이미지 신호의 변환 값을 생성하는 이미지 신호 변환 모듈;
    상기 입력 이미지 신호의 상기 변환 값을 상기 안정화 축소함수에 대입하여 안정화 스파스 코드(stabilized sparse code)를 생성하는 안정화 스파스 코드 생성 모듈; 및
    상기 스파스 코딩 변환행렬의 수반행렬(transposed matrix)에 의해 상기 안 정화 스파스 코드를 역변환하여 필터링 이미지 신호(filtered image signal)를 생성하는 필터링 이미지 신호 생성 모듈을 포함하는 것을 특징으로 하는 이미지 특징 추출 장치.
  18. 제17항에 있어서,
    상기 안정화 축소함수 생성 모듈이 생성하는 상기 안정화 축소함수는, 하기 수학식 4와 같이 표현되는 것을 특징으로 하는 이미지 특징 추출 장치.
    [수학식 4]
    Figure 112008012390434-pat00045
    (상기 수학식 4에서,
    Figure 112008012390434-pat00046
    는 입력 이미지 신호의 표준편차,
    Figure 112008012390434-pat00047
    는 입력 이미지 신호의 노이즈 분산값,
    Figure 112008012390434-pat00048
    는 희소성(sparseness) 조절 파라미터, 그리고
    Figure 112008012390434-pat00049
    이다.)
  19. 제17항에 있어서,
    상기 이미지 신호 변환 모듈이 사용하는 상기 신경과학적 이미지 재표현 모델은, ICA(Independent Component Analysis) 또는 ISA(Independent Subspace Analysis) 또는 TICA(Topographic Independent Component Analysis)인 것을 특징으로 하는 이미지 특징 추출 장치.
  20. 제16항에 있어서,
    상기 이미지 특징 추출부가 사용하는 상기 크기불변특징 추출 알고리듬은, SIFT(Scale Invariant Feature Transform) 또는 PCA-SIFT(Principal Component Analysis-SIFT) 또는 ROBPCA-SIFT(robust PCA-SIFT)인 것을 특징으로 하는 이미지 특징 추출 장치.
KR1020080015043A 2008-02-19 2008-02-19 이미지의 크기불변특징 추출에 사용되는 이미지 신호필터링 방법 및 장치와 이를 이용한 이미지 특징 추출방법, 장치 및 기록매체 KR100943844B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080015043A KR100943844B1 (ko) 2008-02-19 2008-02-19 이미지의 크기불변특징 추출에 사용되는 이미지 신호필터링 방법 및 장치와 이를 이용한 이미지 특징 추출방법, 장치 및 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080015043A KR100943844B1 (ko) 2008-02-19 2008-02-19 이미지의 크기불변특징 추출에 사용되는 이미지 신호필터링 방법 및 장치와 이를 이용한 이미지 특징 추출방법, 장치 및 기록매체

Publications (2)

Publication Number Publication Date
KR20090089723A KR20090089723A (ko) 2009-08-24
KR100943844B1 true KR100943844B1 (ko) 2010-02-24

Family

ID=41207817

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080015043A KR100943844B1 (ko) 2008-02-19 2008-02-19 이미지의 크기불변특징 추출에 사용되는 이미지 신호필터링 방법 및 장치와 이를 이용한 이미지 특징 추출방법, 장치 및 기록매체

Country Status (1)

Country Link
KR (1) KR100943844B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100972849B1 (ko) * 2009-10-16 2010-07-28 주식회사 쓰리디누리 객체 인식 방법
KR101524548B1 (ko) * 2012-07-26 2015-06-02 삼성테크윈 주식회사 영상 정합 장치 및 방법
CN102968635B (zh) * 2012-11-23 2015-05-20 清华大学 一种基于稀疏编码的图像视觉特征提取方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070080066A (ko) * 2006-02-06 2007-08-09 에스케이 텔레콤주식회사 영상인식을 이용한 개인인증 및 전자서명 시스템 및 그방법
KR20070120780A (ko) * 2006-06-20 2007-12-26 삼성전자주식회사 이동 로봇의 격자지도 작성 방법 및 장치와 이를 이용한영역 분리 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070080066A (ko) * 2006-02-06 2007-08-09 에스케이 텔레콤주식회사 영상인식을 이용한 개인인증 및 전자서명 시스템 및 그방법
KR20070120780A (ko) * 2006-06-20 2007-12-26 삼성전자주식회사 이동 로봇의 격자지도 작성 방법 및 장치와 이를 이용한영역 분리 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
임승빈, 조성배, "SIFT와 베이지안 네트워크를 이용한 불확실한 실내 환경에서의 위치 및 물체 인식", 2005 한국컴퓨터종합학술대회 논문집(B), 한국정보과학회, 2005.7

Also Published As

Publication number Publication date
KR20090089723A (ko) 2009-08-24

Similar Documents

Publication Publication Date Title
Emeršič et al. Evaluation and analysis of ear recognition models: performance, complexity and resource requirements
Walia et al. Fusion of handcrafted and deep features for forgery detection in digital images
KR101637229B1 (ko) Ｓｉｆｔ 기반의 특징점 추출 장치 및 방법과 이를 이용한 얼굴 인식 시스템
KR20090131626A (ko) 영상 데이터내의 특정 클래스의 오브젝트를 세그멘테이션하기 위한 시스템 및 방법
Hassaballah et al. Detection and description of image features: an introduction
KR100950776B1 (ko) 얼굴 인식 방법
US20150302270A1 (en) A method of providing a feature descriptor for describing at least one feature of an object representation
Bicego et al. A hidden Markov model approach for appearance-based 3D object recognition
Zarbakhsh et al. Low-rank sparse coding and region of interest pooling for dynamic 3D facial expression recognition
Tidjani et al. Deep learning features for robust facial kinship verification
KR100943844B1 (ko) 이미지의 크기불변특징 추출에 사용되는 이미지 신호필터링 방법 및 장치와 이를 이용한 이미지 특징 추출방법, 장치 및 기록매체
US7248738B2 (en) Image clustering with metric, local linear structure, and affine symmetry
Bachay et al. Hybrid Deep Learning Model Based on Autoencoder and CNN for Palmprint Authentication.
KR102550864B1 (ko) 개체 이미지의 패턴에 의한 개체 인식 식별 방법 및 시스템
Zhang et al. Robust ear recognition via nonnegative sparse representation of Gabor orientation information
Tschirsich et al. Notes on discrete Gaussian scale space
Purnomo et al. Face recognition using Gabor wavelet and non-negative matrix factorization
WO2015061972A1 (en) High-dimensional feature extraction and mapping
Hu et al. Efficient human detection in crowded environment
Carvajal et al. Comparative evaluation of action recognition methods via Riemannian manifolds, Fisher vectors and GMMs: Ideal and challenging conditions
Wachs-Lopes et al. A strategy based on non-extensive statistics to improve frame-matching algorithms under large viewpoint changes
Ushapreethi et al. Skeleton-based STIP feature and discriminant sparse coding for human action recognition
Soni et al. Text region extraction from scene images using agf and mser
Felsberg Incremental computation of feature hierarchies
Feng et al. The framework of learnable kernel function and its application to dictionary learning of SPD data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130111

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140120

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150108

Year of fee payment: 6