KR20090089723A - Image signal filtering method and apparatus used for extracting scale-invariant feature from image, and image feature extracting method, apparatus and recording medium using thereof - Google Patents
Image signal filtering method and apparatus used for extracting scale-invariant feature from image, and image feature extracting method, apparatus and recording medium using thereof Download PDFInfo
- Publication number
- KR20090089723A KR20090089723A KR1020080015043A KR20080015043A KR20090089723A KR 20090089723 A KR20090089723 A KR 20090089723A KR 1020080015043 A KR1020080015043 A KR 1020080015043A KR 20080015043 A KR20080015043 A KR 20080015043A KR 20090089723 A KR20090089723 A KR 20090089723A
- Authority
- KR
- South Korea
- Prior art keywords
- image signal
- image
- sift
- input image
- stabilization
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
- G06F18/21342—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis using statistical independence, i.e. minimising mutual information or maximising non-gaussianity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 이미지의 크기불변특징 추출에 사용되는 이미지 신호 필터링 방법 및 장치와, 이를 이용한 이미지 특징 추출 방법, 장치 및 기록매체에 관한 것이며, 더 상세하게는 변형 SCS를 기반으로 하여 입력 이미지 신호를 필터링하기 위한 이미지 신호 필터링 방법 및 장치와, 이를 이용한 이미지 특징 추출 방법, 장치 및 기록매체에 관한 것이다.The present invention relates to an image signal filtering method and apparatus used for extracting a constant feature of an image, an image feature extraction method, an apparatus, and a recording medium using the same, and more particularly, to filter an input image signal based on a modified SCS. An image signal filtering method and apparatus, and an image feature extraction method, apparatus, and a recording medium using the same.
이미지(image), 예컨대 카메라에 기반한 영상으로부터 특징점(feature point)을 추출하는 기술은 개인 인증, 3차원 복원, 자체추적 등 컴퓨터비전 분야에서 광범위하게 사용되고 있다.Techniques for extracting feature points from images, such as camera-based images, are widely used in computer vision, such as personal authentication, 3D reconstruction, and self-tracking.
영상의 특징점을 추출하는 대표적인 알고리듬은 『D.G. Lowe, "Distinctive image features from scale-invariant keypoints", Int. J. Comput. Vision 60 (2), 91-110, 2004.』에서 Lowe에 의해 제안된 SIFT(Scale Invariant Feature Transform)이다. SIFT는 이미지 회전, 스케일링, 이동, 부분 조명 변화 및 투영 변환(projective transform)에 불변인 특성을 지니고 있다. SIFT는 로컬 이미지(local image) 특성을 고려하여 특징의 위치, 스케일 및 방향 등의 속성을 추출한다. 즉, 첫 번째 단계로, DOG(Difference-Of-Gaussian) 함수를 통해 생성한 스케일 공간에서 최대·최소(extrema)를 검색하여 샘플점(sample point)을 선택한다( Scale - space extrema detection ). 두 번째 단계로, 안정도(stability) 수치에 기반하여 키포인트들을 선택한다( Keypoint localization ). 세 번째 단계로, 각각의 키포인트에 대하여 1 이상의 방향을 할당한다( Orientation assignment ). 마지막 단계로, 로컬 이미지 기울기(local image gradient)들을 이용하여 키포인트 기술자를 생성한다( Keypoint descriptor ).Representative algorithms for extracting image feature points are described in DG Lowe, "Distinctive image features from scale-invariant keypoints", Int. J. Comput. Vision 60 (2), 91-110, 2004., proposed by the Lowe Scale Invariant Feature Transform (SIFT). SIFT is invariant to image rotation, scaling, shifting, partial illumination changes, and projective transforms. SIFT extracts attributes such as the position, scale, and direction of a feature in consideration of local image characteristics. That is, in the first step, the sample point is selected by searching the maximum and minimum in the scale space generated by the difference-of-Gaussian (DOG) function ( Scale - space extrema detection ) . In the second step, keypoints are selected based on stability values ( Keypoint localization ) . The third step, it allocates at least one direction with respect to each key point (Orientation assignment ) . Finally, create a keypoint descriptor using local image gradients ( Keypoint descriptor ) .
특히, SIFT는 3차원 정보를 찾기 위한 첫 걸음인 기본 행렬(fundamental matrix; F)를 구하기 위해 사용될 수 있다. 즉, SIFT에 의해 크기 변화에 불변한 특징점을 추출하고, 상기 특징점들을 이용하여 상기 기본 행렬(F)을 구한다. 상기 특징점들로부터 상기 기본 행렬(F)을 구하는 과정에서, 이상값(outlier)들을 제거하여 일대일 대응 문제(corresponding problem)를 해결하기 위해 키포인트 매칭(keypoint matching), 허프 변환(Hough Transform)에 의한 클러스터링(clustering), 및 RANSAC(RANdom SAmple Consensus)을 이용한 어파인 파라미터(Affine parameter)를 구하는 단계를 거친다.In particular, SIFT can be used to find a fundamental matrix (F) that is the first step in finding three-dimensional information. That is, feature points invariant to the change in size are extracted by SIFT, and the base matrix F is obtained using the feature points. In the process of obtaining the basic matrix F from the feature points, clustering by keypoint matching and Hough Transform to remove outliers and solve a one-to-one correspondence problem. (clustering) and affine parameters using RANSAC (RANdom SAmple Consensus).
도 1에는 RANSAC 알고리듬을 설명하는 그림이 도시되어 있다. RANSAC은 어떤 데이터 세트(data set)가 있는 경우, 상기 데이터 세트를 가장 잘 표현하는 라인 또는 함수로서 에러가 최소화되는 상기 라인 또는 함수를 구할 때 사용되는 확률적인 접근방법이다.Figure 1 shows a diagram illustrating the RANSAC algorithm. RANSAC is a probabilistic approach used to find the line or function where the error is minimized as the line or function that best represents the data set when there is a data set.
현재 RANSAC은 여러 공학 분야에서 많이 쓰이고 있다. 하지만, 제한된 시간 내에 모든 경우의 수를 고려하여 연산을 수행할 수는 없으므로, 현실적으로 한정된 경우의 수만을 고려할 수밖에 없다. 따라서 실험시 고려되는 경우의 수가 달라질 때마다 다른 결과를 도출하는 문제점이 있다. 이러한 문제점은 상품화를 고려할 때 커다란 장애 요소로 여겨진다.RANSAC is currently used in many engineering fields. However, since the operation cannot be performed in consideration of the number of all cases within a limited time, only a limited number of cases can be considered. Therefore, there is a problem in that different results are obtained whenever the number of cases considered in the experiment is different. This problem is considered to be a big obstacle when considering commercialization.
특히, 실제의 입력 영상에는 노이즈가 존재하므로, SIFT만을 사용하여 특징점을 추출하는 경우 3차원 복원 등에서 특징점 매칭 결과가 불안정하고 다소 큰 기하 오차(geometric error)가 발생시키는 문제점이 있다.In particular, since the noise is present in the actual input image, when the feature point is extracted using only the SIFT, there is a problem in that the feature matching result is unstable and a rather large geometric error occurs in the 3D reconstruction.
따라서, 본 발명이 이루고자 하는 첫 번째 기술적 과제는, 입력 이미지의 노이즈 존재 유무와 무관하게 그리고 RANSAC을 사용하는 경우에도 이미지 특징을 안정적으로 추출하고 오차를 감소시키는 이미지 신호 필터링 방법을 제공하는 것이다.Accordingly, the first technical problem to be achieved by the present invention is to provide an image signal filtering method for stably extracting image features and reducing errors regardless of the presence or absence of noise in an input image and using RANSAC.
본 발명이 이루고자 하는 두 번째 기술적 과제는, 입력 이미지의 노이즈 존재 유무와 무관하게 그리고 RANSAC을 사용하는 경우에도 이미지 특징을 안정적으로 추출하고 오차를 감소시키는 이미지 신호 필터링 장치를 제공하는 것이다.A second technical problem to be achieved by the present invention is to provide an image signal filtering device that stably extracts image features and reduces errors regardless of the presence or absence of noise in an input image and even when using RANSAC.
본 발명이 이루고자 하는 세 번째 기술적 과제는, 상기 이미지 신호 필터링 방법을 사용하는 이미지 특징 추출 방법을 제공하는 것이다.The third technical problem to be achieved by the present invention is to provide an image feature extraction method using the image signal filtering method.
본 발명이 이루고자 하는 네 번째 기술적 과제는, 상기 이미지 신호 필터링 방법을 사용하는 이미지 특징 추출 장치를 제공하는 것이다.A fourth technical problem to be achieved by the present invention is to provide an image feature extraction apparatus using the image signal filtering method.
상기와 같은 첫 번째 기술적 과제를 해결하기 위하여, 본 발명은 크기불변특징(scale invariant feature) 추출 알고리듬을 이용하여 입력 이미지 신호로부터 이미지 특징(image feature)을 추출하는데 사용하는 이미지 신호 필터링 방법에 있어서, SCS(Sparse Code Shrinkage)에 사용되는 축소함수(shrinkage function)에서 상기 축소함수의 파라미터 값을 입력 이미지 신호로부터 결정하여 안정화 축소함수(stabilizing shrinkage function)를 생성하는 안정화 축소함수 생성 단계; 신경 과학적 이미지 재표현 모델(neuroscientific image representation model)을 사용하여 스파스 코딩 변환행렬(sparse coding transform matrix; W)을 생성하고 상기 스파스 코딩 변환행렬(W)에 의해 상기 입력 이미지 신호의 변환 값을 생성하는 이미지 신호 변환 단계; 상기 입력 이미지 신호의 상기 변환 값을 상기 안정화 축소함수에 대입하여 안정화 스파스 코드(stabilized sparse code)를 생성하는 안정화 스파스 코드 생성 단계; 및 상기 스파스 코딩 변환행렬의 수반행렬(transposed matrix)에 의해 상기 안정화 스파스 코드를 역변환하여 필터링 이미지 신호(filtered image signal)를 생성하는 필터링 이미지 생성 단계를 포함하는 이미지 신호 필터링 방법을 제공한다.In order to solve the first technical problem as described above, the present invention provides an image signal filtering method used to extract an image feature from an input image signal using a scale invariant feature extraction algorithm, A stabilization reduction function generation step of generating a stabilizing shrinkage function by determining a parameter value of the reduction function from an input image signal in a shrink function used for SCS (Sparse Code Shrinkage); A sparse coding transform matrix (W) is generated using a neuroscientific image representation model and the transform value of the input image signal is converted by the sparse coding transform matrix (W). Generating an image signal conversion step; A stabilization sparse code generation step of generating a stabilized sparse code by substituting the transform value of the input image signal into the stabilization reduction function; And generating a filtered image signal by inversely transforming the stabilizing sparse code by a transposed matrix of the sparse coding transformation matrix.
본 발명의 일 실시예에 따르면, 상기 안정화 축소함수 생성 단계에서 생성되는 상기 안정화 축소함수는, 하기 수학식;According to an embodiment of the present invention, the stabilization reduction function generated in the stabilization reduction function generating step, the following equation;
본 발명의 일 실시예에 따르면, 상기 이미지 신호 변환 단계에서 사용하는 상기 신경과학적 이미지 재표현 모델은, ICA(Independent Component Analysis) 또는 ISA(Independent Subspace Analysis) 또는 TICA(Topographic Independent Component Analysis)이다.According to an embodiment of the present invention, the neurological image re-expression model used in the image signal conversion step is ICA (Independent Component Analysis) or ISA (Independent Subspace Analysis) or TICA (Topographic Independent Component Analysis).
본 발명의 일 실시예에 따르면, 상기 필터링 이미지 생성 단계에서 생성된 상기 필터링 이미지 신호는, 상기 필터링 이미지 신호에 SIFT(Scale Invariant Feature Transform) 또는 PCA-SIFT(Principal Component Analysis-SIFT) 또는 ROBPCA-SIFT(robust PCA-SIFT)를 적용하여 이미지 특징을 추출하는데 사용된다.According to an embodiment of the present invention, the filtered image signal generated in the filtering image generating step may include a scale invariant feature transform (SIFT) or a principal component analysis-SIFT (PCA-SIFT) or a ROBPCA-SIFT in the filtered image signal. (robust PCA-SIFT) is used to extract image features.
상기와 같은 두 번째 기술적 과제를 해결하기 위하여, 본 발명은 크기불변특징(scale invariant feature) 추출 알고리듬을 이용하여 입력 이미지 신호로부터 이미지 특징(image feature)을 추출하는데 사용하는 이미지 신호 필터링 장치에 있어서, SCS(Sparse Code Shrinkage)에 사용되는 축소함수(shrinkage function)에서 상기 축소함수의 파라미터 값을 입력 이미지 신호로부터 결정하여 안정화 축소함수(stabilizing shrinkage function)를 생성하는 안정화 축소함수 생성 모듈; 신경과학적 이미지 재표현 모델(neuroscientific image representation model)을 사용하여 스파스 코딩 변환행렬(sparse coding transform matrix; W)을 생성하고 상기 스파스 코딩 변환행렬(W)에 의해 상기 입력 이미지 신호의 변환 값을 생성하는 이미지 신호 변환 모듈; 상기 입력 이미지 신호의 상기 변환 값을 상기 안정화 축소함수에 대입하여 안정화 스파스 코드(stabilized sparse code)를 생성하는 안정화 스파스 코드 생성 모듈; 및 상기 스파스 코딩 변환행렬의 수반행렬(transposed matrix)에 의해 상기 안정화 스파스 코드를 역변환하여 필터링 이미지 신호(filtered image signal)를 생성하는 필터링 이미지 생성 모듈을 포함하는 이미지 신호 필터링 장치를 제공한다.In order to solve the second technical problem as described above, the present invention is an image signal filtering apparatus used to extract an image feature from an input image signal using a scale invariant feature extraction algorithm, A stabilization reduction function generation module for generating a stabilizing shrinkage function by determining a parameter value of the reduction function from an input image signal in a shrink function used for SCS (Sparse Code Shrinkage); A sparse coding transform matrix (W) is generated using a neuroscientific image representation model and the transform value of the input image signal is converted by the sparse coding transform matrix (W). Generating an image signal conversion module; A stabilization sparse code generation module generating a stabilized sparse code by substituting the transform value of the input image signal into the stabilization reduction function; And a filtering image generation module configured to inversely transform the stabilizing sparse code by a transposed matrix of the sparse coding transformation matrix to generate a filtered image signal.
상기와 같은 세 번째 기술적 과제를 해결하기 위하여, 본 발명은 크기불변특 징(scale invariant feature) 추출 알고리듬을 이용하여 입력 이미지 신호로부터 이미지 특징(image feature)을 추출하는 방법에 있어서, SCS(Sparse Code Shrinkage)를 기반으로 하되 상기 SCS에 사용되는 축소함수(shrinkage function)의 파라미터 값이 입력 이미지 신호로부터 결정되는 변형 SCS에 의해 입력 이미지 신호를 필터링하는 이미지 신호 필터링 단계; 및 상기 이미지 신호 필터링 단계에 의한 필터링 이미지 신호(filtered image signal)에 크기불변특징 추출 알고리듬을 적용하여 이미지 특징을 추출하는 이미지 특징 추출 단계를 포함하는 이미지 특징 추출 방법을 제공한다.In order to solve the third technical problem as described above, the present invention provides a method for extracting an image feature from an input image signal using a scale invariant feature extraction algorithm, SCS (Sparse Code) An image signal filtering step of filtering the input image signal by a modified SCS based on a Shrinkage, wherein a parameter value of a shrinkage function used in the SCS is determined from the input image signal; And an image feature extraction step of extracting an image feature by applying a size-invariant feature extraction algorithm to the filtered image signal by the image signal filtering step.
본 발명의 일 실시예에 따르면, 상기 이미지 필터링 단계에서 사용하는 상기 변형 SCS는, SCS(Sparse Code Shrinkage)에 사용되는 축소함수(shrinkage function)에서 상기 축소함수의 파라미터 값을 상기 입력 이미지 신호로부터 결정하여 안정화 축소함수(stabilizing shrinkage function)를 생성하는 안정화 축소함수 생성 단계; 신경과학적 이미지 재표현 모델(neuroscientific image representation model)을 사용하여 스파스 코딩 변환행렬(sparse coding transform matrix; W)을 생성하고 상기 스파스 코딩 변환행렬(W)에 의해 상기 입력 이미지 신호의 변환 값을 생성하는 이미지 신호 변환 단계; 상기 입력 이미지 신호의 상기 변환 값을 상기 안정화 축소함수에 대입하여 안정화 스파스 코드(stabilized sparse code)를 생성하는 안정화 스파스 코드 생성 단계; 및 상기 스파스 코딩 변환행렬의 수반행렬(transposed matrix)에 의해 상기 안정화 스파스 코드를 역변환하여 필터링 이미지 신호(filtered image signal)를 생성하는 필터링 이미지 신호 생성 단계를 포함한다.According to an embodiment of the present invention, the modified SCS used in the image filtering step determines a parameter value of the reduction function from the input image signal in a shrinkage function used for a SCS (Sparse Code Shrinkage). Generating a stabilizing shrinkage function to generate a stabilizing shrinkage function; A sparse coding transform matrix (W) is generated using a neuroscientific image representation model and the transform value of the input image signal is converted by the sparse coding transform matrix (W). Generating an image signal conversion step; A stabilization sparse code generation step of generating a stabilized sparse code by substituting the transform value of the input image signal into the stabilization reduction function; And generating a filtered image signal by inversely transforming the stabilizing sparse code by a transposed matrix of the sparse coding transformation matrix.
본 발명의 일 실시예에 따르면, 상기 이미지 특징 추출 단계에서 사용하는 상기 크기불변특징 추출 알고리듬은, SIFT(Scale Invariant Feature Transform) 또는 PCA-SIFT(Principal Component Analysis-SIFT) 또는 ROBPCA-SIFT(robust PCA-SIFT)이다.According to an embodiment of the present invention, the size-invariant feature extraction algorithm used in the image feature extraction step, Scale Invariant Feature Transform (SIFT) or Principal Component Analysis-SIFT (PCA-SIFT) or ROBPCA-SIFT (robust PCA) -SIFT).
상기와 같은 네 번째 기술적 과제를 해결하기 위하여, 본 발명은 크기불변특징(scale invariant feature) 추출 알고리듬을 이용하여 입력 이미지 신호로부터 이미지 특징(image feature)을 추출하는 장치에 있어서, SCS(Sparse Code Shrinkage)를 기반으로 하되 상기 SCS에 사용되는 축소함수(shrinkage function)의 파라미터 값이 입력 이미지 신호로부터 결정되는 변형 SCS에 의해 입력 이미지 신호를 필터링하는 이미지 신호 필터링부; 및 상기 이미지 신호 필터링부에 의한 필터링 이미지 신호(filtered image signal)에 크기불변특징 추출 알고리듬을 적용하여 이미지 특징을 추출하는 이미지 특징 추출부를 포함하는 이미지 특징 추출 장치를 제공한다.In order to solve the fourth technical problem as described above, the present invention provides an apparatus for extracting an image feature from an input image signal using a scale invariant feature extraction algorithm, wherein the SCS (Sparse Code Shrinkage) An image signal filtering unit for filtering the input image signal by a modified SCS based on a reference value, wherein a parameter value of a shrinkage function used in the SCS is determined from an input image signal; And an image feature extraction unit for extracting an image feature by applying a size-invariant feature extraction algorithm to the filtered image signal by the image signal filtering unit.
본 발명의 일 실시예에 따르면, 상기 이미지 신호 필터링부는, SCS(Sparse Code Shrinkage)에 사용되는 축소함수(shrinkage function)에서 상기 축소함수의 파라미터 값을 상기 입력 이미지 신호로부터 결정하여 안정화 축소함수(stabilizing shrinkage function)를 생성하는 안정화 축소함수 생성 모듈; 신경과학적 이미지 재표현 모델(neuroscientific image representation model)을 사용하여 스파스 코딩 변환행렬(sparse coding transform matrix; W)을 생성하고 상기 스파스 코딩 변환행렬(W)에 의해 상기 입력 이미지 신호의 변환 값을 생성하는 이미지 신호 변환 모듈; 상기 입력 이미지 신호의 상기 변환 값을 상기 안정화 축소함수에 대입하여 안정화 스파스 코드(stabilized sparse code)를 생성하는 안정화 스파스 코드 생성 모듈; 및 상기 스파스 코딩 변환행렬의 수반행렬(transposed matrix)에 의해 상기 안정화 스파스 코드를 역변환하여 필터링 이미지 신호(filtered image signal)를 생성하는 필터링 이미지 신호 생성 모듈 포함한다.According to an embodiment of the present invention, the image signal filtering unit stabilizes a reduction function by determining a parameter value of the reduction function from the input image signal in a shrinkage function used for a SCS (Sparse Code Shrinkage). a stabilization shrinkage function generation module for generating a shrinkage function; A sparse coding transform matrix (W) is generated using a neuroscientific image representation model and the transform value of the input image signal is converted by the sparse coding transform matrix (W). Generating an image signal conversion module; A stabilization sparse code generation module generating a stabilized sparse code by substituting the transform value of the input image signal into the stabilization reduction function; And a filtering image signal generation module generating an filtered image signal by inversely transforming the stabilizing sparse code by a transposed matrix of the sparse coding transformation matrix.
본 발명의 일 실시예에 따르면, 상기 이미지 특징 추출부가 사용하는 상기 크기불변특징 추출 알고리듬은, SIFT(Scale Invariant Feature Transform) 또는 PCA-SIFT(Principal Component Analysis-SIFT) 또는 ROBPCA-SIFT(robust PCA-SIFT)이다.According to an embodiment of the present invention, the size-invariant feature extraction algorithm used by the image feature extractor may be a scale invariant feature transform (SIFT) or a principal component analysis-SIFT (PCA-SIFT) or a robust PCA-ROFTCA-SIFT (robust PCA-SIFT). SIFT).
본 발명에 따른 이미지 신호 필터링 방법 및 장치와, 이를 이용한 이미지 특징 추출 방법, 장치 및 기록매체는, 크기불변특징 추출 알고리듬을 사용하여 이미지 특징을 추출하는 경우에 있어서 "입력 이미지에 노이즈가 존재하는지 여부와 무관하게 그리고 RANSAC 을 사용하는 경우에도 이미지 특징을 안정적으로 추출하고 오차를 감소시킨다"는 이점을 제공한다.Image signal filtering method and apparatus, and image feature extraction method using the same apparatus and recording medium according to the present invention, whether or not "the noise present in the input image in a case of extracting an image feature using a size invariant feature extraction algorithm Regardless of and even when using RANSAC , image features can be reliably extracted and errors reduced .
본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자하는 기술적 과제의 개요를 우선 제시한다.Prior to the description of the specific contents of the present invention, for the sake of understanding, an outline of the technical problem to be solved by the present invention is first presented.
도 2에는 인간의 뇌에서 시각 정보가 전달되는 경로가 나타나 있다. 이미지 에 대한 시각 정보는 한 쌍의 망막(retina)을 통해 들어와 뇌의 시상의 측면슬상핵(Lateral Geniculate Nucleus; LGN)을 거쳐 1차 시각 피질(primary visual cortex; V1)로 전달된다. 이는 다시 공간 시각 경로(spatial vision pathway) 및 대상 재인 경로(object recognition pathway)로 전달된다.2 shows a path through which visual information is transmitted in the human brain. Visual information about the image enters through a pair of retinas and passes through the brain's Lateral Geniculate Nucleus (LGN) to the primary visual cortex (V1). It is in turn transferred to the spatial vision pathway and the object recognition pathway.
인간의 뇌에서 시각 정보가 전달되는 과정을 신경정보과학(neuroinformatics)의 측면에서 해석하면, 1차 시각 피질(V1)의 심플셀(simple cell)에서 이미지의 단순 특징을 추출하는 과정은 신경과학적 이미지 재표현 모델(neuroscientific image representation model) 중의 하나인 ICA(Independent Component Analysis)의 계산 과정으로 비유될 수 있다.When the process of visual information transmission in the human brain is interpreted in terms of neuroinformatics, the process of extracting the simple features of the image from the simple cells of the primary visual cortex (V1) is a neuroscientific image. It can be compared to the calculation process of ICA (Independent Component Analysis), which is one of a neuroroscientific image representation model.
한편, 신경정보과학 분야 등에서 연구되고 있는 바와 같이, 인간의 뇌는 대상을 인식하는데 있어서 이미지의 세부적인 형태, 색 또는 명암대비 등을 통해 인식하는 것이 아니라 saliency map과 같은 이미지의 통계적인 구조(statistical structure)를 통해 인식하는 것으로 보고 있다.On the other hand, as studied in the field of neuroinformatics and the like, the human brain does not recognize the image through the detailed form, color, or contrast of the image, but rather the statistical structure of the image such as a saliency map. through the structure).
본 발명은 이러한 뇌의 대상 인식 과정에 착안한 것으로서, 이미지의 특징을 추출하는데 있어서 단순히 노이즈가 제거된 선명한 이미지를 사용하는 것이 아니라 인간의 시각 시스템에 한층 더 접근한 방식으로 필터링된 이미지를 생성하여 사용하고자 하는 것이다.The present invention focuses on the object recognition process of the brain, and in extracting the features of the image, instead of simply using a clear image with no noise removed, the filtered image is generated in a way that is closer to the human visual system. It is intended to be used.
이하, 본 발명의 기술적 과제의 해결 방안을 명확화하기 위해 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다. 다만, 본 발명을 설명함에 있어서 관련된 공지기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불명료하게 할 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자 등의 의도 또는 관례 등에 따라 달라질 수 있을 것이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to clarify the solutions of the technical problems of the present invention. However, in describing the present invention, when it is determined that the detailed description of the related known technology or configuration may make the gist of the present invention unclear, the detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to intention or custom of a user, an operator, or the like. Therefore, the definition should be made based on the contents throughout the specification.
도 3에는 본 발명에 따른 이미지 특징 추출 방법의 일례가 흐름도로 도시되어 있다. 도 3을 참조하면, 우선 입력 이미지 신호가 입력되면 디노이징(denoising) 기법 중의 하나인 SCS(Sparse Code Shrinkage; P. Hoyer. Independent Component Analysis in Image Denoising. Master's Thesis, Helsinki University of Technology, 1999. 참조)를 기반으로 하되 상기 SCS에 사용되는 축소함수(shrinkage function)의 파라미터 값이 상기 입력 이미지 신호로부터 결정되는 변형 SCS에 의해 입력 이미지 신호를 필터링한다(S30). 그리고나서 상기 변형 SCS에 의한 필터링 이미지 신호(filtered image signal)에 크기불변특징 추출 알고리듬을 적용하여 이미지 특징을 추출한다(S32).3 shows an example of an image feature extraction method according to the present invention in a flowchart. Referring to FIG. 3, first, when an input image signal is input, SCS (Sparse Code Shrinkage), which is one of denoising techniques, is referred to as P. Hoyer.Independent Component Analysis in Image Denoising.Master's Thesis, Helsinki University of Technology, 1999. ) And filter the input image signal by the modified SCS whose parameter value of the shrinkage function used in the SCS is determined from the input image signal (S30). Then, an image feature is extracted by applying a size-invariant feature extraction algorithm to the filtered image signal by the modified SCS (S32).
도 4에는 본 발명에 따른 이미지 신호 필터링 방법(S30)으로서 상기 변형 SCS에 의한 상기 이미지 신호 필터링 방법의 일례가 구체적인 흐름도로 도시되어 있다. 도 4를 참조하면, 우선 SCS(Sparse Code Shrinkage)에 사용되는 축소함수(shrinkage function)에서 상기 축소함수의 파라미터 값을 상기 입력 이미지 신호로부터 결정하여 안정화 축소함수(stabilizing shrinkage function)를 생성한다(S40).4 shows an example of the image signal filtering method by the modified SCS as an image signal filtering method S30 according to the present invention in a specific flowchart. Referring to FIG. 4, a stabilizing shrinkage function is generated by first determining a parameter value of the reduction function from the input image signal in a shrinkage function used for a sparse code shrink (SCS) (S40). ).
더욱 구체적으로 설명하면, 도 5에 도시된 바와 같이 이미지는 여러 개의 독 립된 구성요소로 분석할 수 있다. 도 5에서 s 1,…,s n은 임의의 신호 변수(random signal variable; s)를 나타내는 벡터(s)의 컴포넌트들이다. s 1,…,s n은 스파스 분포(sparse distribution)를 보이게 된다.In more detail, as illustrated in FIG. 5, the image may be analyzed as a plurality of independent components. S 1 ,. , S n is a random variable of the signal; are the components of the vector (s) that indicates (signal random variable s). s 1 ,.. , s n will show a sparse distribution.
도 6에는 단위 분산값을 가지는 스파스 밀도(sparse density)로서 희소성(sparseness) 조절 파라미터(
상기 수학식 1에서, 
상기 수학식 2에서, 
이러한 스파스 분포로 만들어 주는 것이 바로 SCS의 축소함수(g)이다.This sparse distribution is what makes SCS's reduction function (g).
SCS의 MAP(Maximum a Posteriori) 축소함수는 하기 수학식 3과 같이 나타낼 수 있다.MAP (Maximum a Posteriori) reduction function of the SCS can be expressed as
상기 수학식 3에서, 
도 7에는 도 6의 스파스 밀도에 대응하는 MAP 축소함수가 그래프로 도시되어 있으며, 비교를 위해 항등함수(identity function) 
본래 디노이징 기법으로 사용되는 SCS의 축소함수는 파라미터 값을 노이즈 없는 이미지 신호로부터 구한 것이다.SCS's reduction function, originally used as a denoising technique, is obtained from a noise-free image signal.
이에 대하여, 본 발명에 사용되는 상기 안정화 축소함수는 파라미터 값을 노이즈 유·무와 무관하게 입력 이미지 신호로부터 구한다. 즉, 본 발명은 상기 수학식 3과 같은 모델의 축소함수를 사용하더라도 상기 파라미터들, 
한편, 신경과학적 이미지 재표현 모델(neuroscientific image representation model)을 사용하여 스파스 코딩 변환행렬(sparse coding transform matrix; W)을 생성하고 상기 스파스 코딩 변환행렬(W)에 의해 상기 입력 이미지 신호의 변환 값을 생성한다(S42).Meanwhile, a sparse coding transform matrix W is generated using a neuroscientific image representation model, and the input image signal is transformed by the sparse coding transform matrix W. A value is generated (S42).
상기 신경과학적 이미지 재표현 모델로는 ICA(Independent Component Analysis), ISA(Independent Subspace Analysis) 또는 TICA(Topographic Independent Component Analysis) 등이 있다. ICA를 인간의 뇌에서 이미지의 단순 특징을 추출하는 심플셀(simple cell)에 비유한다면, ISA와 TICA는 복잡한 특징에 반응하는 콤플렉스셀(complex cell)에 비유할 수 있다. 실제로 공간적으로 그리고 형태학적으로 연관성을 지닌 비슷한 심플셀들이 콤플렉스셀을 구성하며, 이러한 점을 고려한 것이 ISA와 TICA이기 때문이다.The neuroscientific image re-expression model includes Independent Component Analysis (ICA), Independent Subspace Analysis (ISA), or Topographic Independent Component Analysis (TIC). If ICA is likened to a simple cell that extracts simple features of an image from the human brain, ISA and TICA can be likened to complex cells that respond to complex features. In fact, similar simple cells that are spatially and morphologically related form a complex cell, and this is taken into account by ISA and TICA.
도 5에 도시된 바와 같이 신경과학적 이미지 재표현 모델들은 입력 이미지를 독립적인 구성요소들로 분석하는 것이다. 예컨대, ICA의 경우 입력 이미지 신호(X)를 여러 개의 소스 신호(S)로 분석한다. ICA의 기본 개념은 하기 수학식 4와 같다.As shown in FIG. 5, neuroscientific image re-expression models analyze the input image as independent components. For example, in the case of ICA, the input image signal X is analyzed as a plurality of source signals S. The basic concept of ICA is shown in
상기 수학식 4에서, A는 믹싱행렬(mixing matrix)이고, W는 ICA 스파스 코딩 변환행렬(ICA sparse coding transform matrix) 또는 ICA 분리행렬(ICA separating matrix) 또는 ICA 필터로 표현할 수 있다. 유의할 점은, 스파스 코딩 변환행렬(W)은 노이즈가 없는 임의의 이미지로부터 얻어진다는 것이다.In
상기 신경과학적 이미지 재표현 모델을 통해 얻어진 상기 스파스 코딩 변환행렬(W)에 의해 하기 수학식 5와 같이 입력 이미지 신호(x)의 변환값(y)을 구한다.A transform value y of the input image signal x is obtained by using the sparse coding transform matrix W obtained through the neuroscientific image reexpression model as shown in
도 8a 내지 도 8c에는 각각 ICA, ISA 및 TICA 스파스 코딩 변환행렬의 일례가 독립적인 이미지 구성요소로 나타나 있다. 도 8b에 도시된 바와 같이 ISA의 경우 비슷한 구성요소들을 묶어서 서브스페이스(subspace)를 구성하며, 도 8c에 도시된 바와 같이 TICA의 경우 단순히 비슷할 뿐만 아니라 형태학 구조를 지니도록 구성한다.8A to 8C show examples of ICA, ISA, and TICA sparse coding transformation matrices, respectively, as independent image components. As shown in FIG. 8B, in the case of ISA, similar components are bundled to form a subspace, and as shown in FIG. 8C, the TICA is not only similar but also configured to have a morphological structure.
그 다음, 상기 입력 이미지 신호의 변환값(y)을 상기 안정화 축소함수(g)에 대입하여 하기 수학식 6과 같이 안정화 스파스 코드(stabilized sparse code; s)를 생성한다(S44).Subsequently, a stabilized sparse code s is generated as shown in
마지막으로, 상기 스파스 코딩 변환행렬의 수반행렬(transposed matrix) WT에 의해 상기 안정화 스파스 코드를 역변환하여 하기 수학식 7과 같이 필터링 이미지 신호(filtered image signal; x')를 생성한다(S46).Finally, the stabilized sparse code is inversely transformed by the transposed matrix W T of the sparse coding transform matrix to generate a filtered image signal x ′ as shown in
도 9a에는 내시경으로 촬영한 원 이미지가 도시되어 있으며, 도 9b에는 도 9a의 이미지에 노이즈가 첨가된 일반적인 입력 이미지가 도시되어 있다.FIG. 9A shows an original image taken by an endoscope, and FIG. 9B shows a general input image in which noise is added to the image of FIG. 9A.
도 9c에는 도 9b의 이미지에 디노이징 방법으로 일반적으로 사용되는 위너 필터(Wiener filter)를 적용한 이미지가 도시되어 있으며, 도 9d에는 도 9b의 이미지에 본 발명에 따른 이미지 신호 필터링 방법을 적용한 이미지가 도시되어 있다.FIG. 9C illustrates an image in which a Wiener filter, which is generally used as a denoising method, is applied to the image of FIG. 9B. FIG. 9D illustrates an image to which the image signal filtering method according to the present invention is applied to the image of FIG. 9B. Is shown.
도 9d에 도시된 바와 같이, 본 발명에 따른 이미지 신호 필터링 방법을 적용한 경우 노이즈는 어느 정도 제거되었지만, 전체적으로 이미지의 번짐(blur)이 발생한 것처럼 보인다. 이는 본 발명에 따른 이미지 신호 필터링 방법이 단순한 디노이징 방법이 아니라는 것을 단적으로 보여준다. 도 9d의 이미지는 바로 인간의 뇌가 대상을 인식할 때 사용하는 것으로 보이는 saliency map과 유사한 패턴이다.As shown in FIG. 9D, when the image signal filtering method according to the present invention is applied, the noise is removed to some extent, but it appears that the blur of the image occurs as a whole. This simply shows that the image signal filtering method according to the present invention is not a simple denoising method. The image of FIG. 9D is a pattern similar to the saliency map that the human brain appears to use when recognizing an object.
본 발명에 따른 이미지 특징 추출 방법은 위에서 설명한 변형 SCS에 의해 생성된 필터링 이미지 신호에 크기불변특징 추출 알고리듬을 적용하여 이미지 특징을 추출한다(S32).The image feature extraction method according to the present invention extracts an image feature by applying a size-invariant feature extraction algorithm to the filtered image signal generated by the modified SCS described above (S32).
상기 크기불변특징 추출 알고리듬으로는, SIFT 또는 PCA-SIFT(Principal Component Analysis-SIFT; Y. Ke and R. Sukthankar, "PCA-SIFT: A more distinctive representation for local image descriptors", In Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition(CVPR), Washington, DC, pp511-517, 2004. 참조) 또는 ROBPCA-SIFT(robust PCA-SIFT; J. oh, H. Kim et al., "ROBPCA-SIFT: a feature point extraction method for the consistent with epipolar geometry in endoscopic images", Image and Vision Computing New Zealand, 221-226, 2006. 참조) 등이 있다.The size-invariant feature extraction algorithm may include SIFT or PCA-SIFT (Principal Component Analysis-SIFT; Y. Ke and R. Sukthankar, "PCA-SIFT: A more distinctive representation for local image descriptors", In Proc. Of the IEEE Conf. On Computer Vision and Pattern Recognition (CVPR), Washington, DC, pp 511-517, 2004.) or ROBPCA-SIFT (robust PCA-SIFT; J. oh, H. Kim et al., "ROBPCA-SIFT: a feature point extraction method for the consistent with epipolar geometry in endoscopic images ", Image and Vision Computing New Zealand, 221-226, 2006.).
대표적인 크기불변특징 추출 알고리듬인 SIFT를 일례로서 구체적으로 설명하면, 상기 필터링 이미지를 다양한 스케일의 분산값을 갖는 가우시안 필터에 통과시키고, 그 결과 이미지들을 인접하는 스케일에 따라서 순차적으로 서로 뺀다. 이 차이 이미지를 가우시안 차이(Difference Of Gaussian, DOG) 이미지라 하는데, DOG 이미지를 2:1로 부표본화 하고 다시 다양한 스케일을 갖는 가우시안 필터를 통과시킨다. 도 10a에 도시된 바와 같이, 이러한 과정을 통하여 피라미드 구조의 DOG 이미지들을 얻은 후에, 각 DOG 영상의 최대 또는 최소에 해당하는 키포인트를 찾는다.As an example, SIFT, a representative size-invariant feature extraction algorithm, is described in detail. The filtered image is passed through a Gaussian filter having variance values of various scales, and the images are sequentially subtracted from each other according to adjacent scales. This difference image is called a Gaussian difference (DOG) image, which subsamples the DOG image 2: 1 and passes a Gaussian filter of varying scale. As shown in FIG. 10A, after obtaining DOG images of a pyramid structure through this process, a key point corresponding to the maximum or minimum of each DOG image is found.
도 10b에 도시된 바와 같이, 최대 또는 최소 위치는 주변의 8픽셀과 위 아래 스케일 DOG 이미지의 9픽셀씩, 모두 26픽셀과 비교하여 최대이거나 최소인 경우로 선택된다. 그리고, 노이즈에 의한 요소를 제거하기 위하여 강한 에지선 상에 있거나 그 DOG 값의 크기가 작은 키포인트는 제거한다. 최종 선택된 키포인트를 중심으로 16x16 크기의 블록을 설정하고, 그 블록 내의 픽셀에 대하여 방향성을 측정한다. 각각의 픽셀마다 방향 및 그 크기를 측정하여 해당 블록에서 가장 크게 존재하는 방향을 추정한다. 이 방향을 해당 키포인트의 방향으로 설정한다. 최종적인 SIFT 특징벡터를 구하기 위해서는 다시 각각의 키포인트를 중심으로 16x16 블록을 설정하고 다시 4x4 블록 단위로 나누어 그 블록 내의 각 픽셀에 대하여 픽셀값의 변화 방향을 측정한다. 상기 변화 방향은 변화 기울기에 비례하도록 설정하여 변화의 크기가 클수록 해당 방향의 확률분포도 커지도록 방향에 대한 확률분포를 구한 다.As shown in FIG. 10B, the maximum or minimum position is selected to be the maximum or minimum when all of the surrounding 8 pixels and the 9 pixels of the up and down scale DOG image are all compared to 26 pixels. Then, to remove the noise-induced elements, keypoints on the strong edge line or small in the DOG value are removed. Set a 16x16 block around the last selected keypoint, and measure the directionality of the pixels within that block. The direction and the size of each pixel are measured to estimate the direction that is largest in the block. Set this direction to the direction of the corresponding keypoint. In order to obtain the final SIFT feature vector, 16x16 blocks are set again around each key point, and then divided into 4x4 block units to measure the direction of change of pixel values for each pixel in the block. The change direction is set to be proportional to the change slope to obtain a probability distribution with respect to the direction such that the larger the magnitude of the change, the greater the probability distribution of the corresponding direction.
도 10c에 도시된 바와 같이, 상기 방향성 확률분포는 8개의 방향으로 구분되어 저장되는데, 결국 16x16 블록에 대하여 128 차원의 벡터 형태로 표현된다. 이 방향성 확률분포를 나타내는 벡터가 SIFT 특징 벡터의 구조이며, 키포인트의 이미지 좌표, 방향성, 가우시안 스케일 등의 파라미터와 함께 저장된다. 이와 같이 얻어진 128 차원의 SIFT 특징 벡터는 벡터 양자화를 수행하여 코드북으로 표현된다. 초기에 구해진 SIFT 특징 벡터는 부동 소수점을 갖는 임의의 실수로서, 상기 SIFT 특징 벡터를 전송하거나 거리를 비교할 때 상대적으로 많은 전송용량 및 시간이 필요하다. 따라서, 이러한 단점을 극복하기 위하여, 각 8방향 단위로 구분된 SIFT의 8차원 벡터에 대하여 벡터 양자화를 수행하고 실수값으로 표현되는 8차원 방향분포를 1차원의 코드북으로 대응시킨다. 이러한 벡터 양자화 과정을 거침으로써, 128차원의 실수계수 SIFT 특징 벡터는 16차원의 정수계수의 벡터로 변환될 수 있다. 이러한 16차원의 벡터로 양자화된 SIFT 특징 벡터를 낮은 데이터 양으로 전송하고, 벡터 간의 차이를 계산할 때는 양자화된 코드북의 128 차원 벡터로 환원하여 비교하게 된다.As shown in FIG. 10C, the directional probability distribution is stored in eight directions, which are represented in a 128-dimensional vector form for a 16 × 16 block. The vector representing the directional probability distribution is a structure of the SIFT feature vector, and is stored together with parameters such as image coordinates, directionality, and Gaussian scale of the keypoint. The 128-dimensional SIFT feature vector thus obtained is represented by a codebook by performing vector quantization. The initially obtained SIFT feature vector is any real number with floating point, which requires a relatively large capacity and time when transmitting the SIFT feature vector or comparing distances. Therefore, in order to overcome this disadvantage, vector quantization is performed on 8-dimensional vectors of SIFT divided into 8-direction units, and 8-dimensional direction distributions expressed by real values are mapped to 1-dimensional codebooks. Through this vector quantization process, a 128-dimensional real coefficient SIFT feature vector can be converted into a 16-dimensional integer coefficient vector. When the SIFT feature vector quantized with the 16-dimensional vector is transmitted with a low data amount and the difference between the vectors is calculated, the SIFT feature vector is reduced and compared with the 128-dimensional vector of the quantized codebook.
개인 인증, 3차원 복원 등에 있어서 이미지들의 특징을 매칭시켜야 한다. 이 경우, 이상값(outlier)들을 제거하여 일대일 대응 문제를 해결하기 위해 키포인트를 매칭시키는 단계, 허프 변환(Hough Transform)에 의한 클러스터링 단계 및 어파인 파라미터(Affine parameter)를 구하는 단계를 거친다. 상기 어파인 파라미터를 구하는 단계에서 RANSAC 알고리듬이 사용되지만, 본 발명에 따른 이미지 신호 필터 링 방법에 의해 필터링된 이미지 신호를 사용하는 경우에는 안정적이고 정확한 결과를 얻을 수 있다. 또한, 추가적으로 기본 행렬(fundamental matrix; F)을 이용하여 이상값을 더 제거하는 단계를 거침으로써 정확도를 더욱 개선할 수 있다. 상기 기본 행렬을 구하는 과정에서도 RANSAC이 사용될 수 있다. 기본 행렬 및 3차원 복원에 관한 세부사항은 Richard Hartley 및 Andrew Zisserman의 "Multiple View Geometry in Computer Vision"(Cambridge University Press, 2003.)을 참조한다.The characteristics of the images must be matched in personal authentication, 3D reconstruction, and the like. In this case, in order to solve the one-to-one correspondence problem by removing the outliers, matching of keypoints, clustering by Hough Transform, and obtaining affine parameters are performed. Although the RANSAC algorithm is used in the step of obtaining the affine parameters, stable and accurate results can be obtained when using an image signal filtered by the image signal filtering method according to the present invention. In addition, the accuracy can be further improved by further removing the outliers using a fundamental matrix (F). RANSAC can also be used in the process of obtaining the basic matrix. See Richard Hartley and Andrew Zisserman's "Multiple View Geometry in Computer Vision" (Cambridge University Press, 2003.) for details on basic matrix and three-dimensional reconstruction.
본 발명에 따른 이미지 신호 필터링 방법 및 이를 이용한 이미지 특징 추출 방법은 또한 컴퓨터로 판독할 수 있는 기록매체에 컴퓨터가 읽어드릴 수 있는 프로그램 코드로서 구현하는 것이 가능하다. 본 발명이 소프트웨어를 통해 실행될 때, 본 발명의 구성 수단들은 필요한 작업을 실행하는 코드 세그먼트들이다. 프로그램 또는 코드 세그먼트들은 프로세서 판독 가능 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다.The image signal filtering method and the image feature extraction method using the same according to the present invention can also be embodied as computer readable program codes on a computer readable recording medium. When the present invention is executed through software, the constituent means of the present invention are code segments for performing necessary tasks. The program or code segments may be stored on a processor readable medium or transmitted by a computer data signal coupled with a carrier on a transmission medium or network.
컴퓨터가 판독할 수 있는 기록매체에는 컴퓨터 시스템으로 읽어들일 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 판독할 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 판독할 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽어들일 수 있는 코드가 저장되고 실행될 수 있다.Computer-readable recording media include all types of recording devices that store data that can be read into a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
도 11에는 본 발명에 따른 이미지 특징 추출 장치가 사용되는 시스템 환경이 블록도로 도시되어 있다.11 is a block diagram showing a system environment in which the image feature extraction apparatus according to the present invention is used.
도 11을 참조하면, 카메라부(112), 예컨대 내시경(endoscope)을 통해 촬영된 피사체의 이미지는 입력 인터페이스(114)를 통해 본 발명에 따른 이미지 특징 추출 장치(110)로 전달된다. 본 발명에 따른 이미지 특징 추출 장치(110)는 크기불변특징 추출 알고리듬을 이용하여 입력 이미지 신호로부터 이미지 특징(image feature)을 추출하는 장치로서 이미지 신호 필터링부(116) 및 이미지 특징 추출부(118)를 포함한다.Referring to FIG. 11, an image of a subject photographed through a
상기 이미지 신호 필터링부(116)는, SCS(Sparse Code Shrinkage)를 기반으로 하되 상기 SCS에 사용되는 축소함수(shrinkage function)의 파라미터 값이 입력 이미지 신호로부터 결정되는 변형 SCS에 의해 입력 이미지 신호를 필터링한다.The image
상기 이미지 특징 추출부(118)는, 상기 이미지 신호 필터링부(116)에 의한 필터링 이미지 신호(filtered image signal)에 크기불변특징 추출 알고리듬을 적용하여 이미지 특징을 추출한다.The
도 12에는 상기 이미지 신호 필터링부(116)가 구체적인 블록도로 도시되어 있다.In FIG. 12, the image
도 12를 참조하면, 상기 이미지 신호 필터링부(116)는, SCS(Sparse Code Shrinkage)에 사용되는 축소함수(shrinkage function)에서 상기 축소함수의 파라미터 값을 상기 입력 이미지 신호로부터 결정하여 안정화 축소함수(stabilizing shrinkage function)를 생성하는 안정화 축소함수 생성 모듈(120), 신경과학적 이미지 재표현 모델(neuroscientific image representation model)을 사용하여 스파스 코딩 변환행렬(sparse coding transform matrix; W)을 생성하고 상기 스파스 코 딩 변환행렬(W)에 의해 상기 입력 이미지 신호의 변환 값을 생성하는 이미지 신호 변환 모듈(122), 상기 입력 이미지 신호의 상기 변환 값을 상기 안정화 축소함수에 대입하여 안정화 스파스 코드(stabilized sparse code)를 생성하는 안정화 스파스 코드 생성 모듈(124), 및 상기 스파스 코딩 변환행렬의 수반행렬(transposed matrix)에 의해 상기 안정화 스파스 코드를 역변환하여 필터링 이미지 신호(filtered image signal)를 생성하는 필터링 이미지 신호 생성 모듈(126)을 포함한다.Referring to FIG. 12, the image
상기 이미지 특징 추출 장치(110)의 상기 이미지 신호 필터링부(116) 및 상기 이미지 신호 추출부(118)와 상기 이미지 신호 필터링부(116)의 각각의 모듈들의 구체적 동작들은, 본 발명에 따른 이미지 특징 추출 방법 및 이미지 신호 필터링 방법의 각각의 단계들과 쌍대적인 설명이 가능하다.Specific operations of the respective modules of the image
이미지 특징 매칭부(119)는 상기 이미지 특징 추출 장치에 의해 추출된 이미지들의 특징들을 매칭시켜 개인 인증, 3차원 복원 등을 가능하게 한다. 이때, 상기 이미지 특징 매칭부(119)는 이미지들의 키포인트를 매칭시키고, 허프 변환(Hough Transform)에 의한 클러스터링을 수행하고, 그리고 어파인 파라미터(Affine parameter)를 구함으로써 이상값(outlier)들을 제거하여 일대일 대응 문제를 해결한다. 또한, 추가적으로 기본 행렬(fundamental matrix; F)을 이용하여 이상값을 더 제거함으로써 정확도를 더욱 개선할 수 있다.The image
도 13에는 두 개의 이미지상의 기하 오차(geometric error; d, d')가 나타나 있다. 3차원 공간상의 점(
따라서, 도 9a와 같은 내시경 이미지에 노이즈를 첨가하여 기하 오차를 구함으로써 본 발명의 우수성을 검증해 볼 수 있다. 기존의 SIFT는 0.5픽셀의 정확도를 지니고 있다.Therefore, the superiority of the present invention can be verified by adding noise to the endoscope image as shown in FIG. 9A to obtain a geometric error. Conventional SIFTs have an accuracy of 0.5 pixels.
도 14a 내지 도 14c에는, 원 내시경 이미지에 첨가한 노이즈의 분산값(variance)이 0.005일 때, 각각 PCA-SIFT20를 사용한 경우 및 ROBPCA-SIFT20를 사용한 경우와 이들에 본 발명에 따른 이미지 신호 필터링 방법을 적용하여 사용한 경우의 기하 오차가 그래프로 도시되어 있다. 상기 숫자 20은 줄어든 차원의 수를 나타낸다.14A to 14C, when the variance of noise added to the original endoscope image is 0.005, the case of using the PCA-SIFT20 and the case of using the ROBPCA-SIFT20 and the image signal filtering method according to the present invention, respectively The geometric error when used with is shown graphically. The
도 14a는 PCA-SIFT20만을 사용한 경우로서, 오차가 크고 불안정하다.14A illustrates a case where only PCA-SIFT20 is used, and the error is large and unstable.
도 14b는 ROBPCA-SIFT20만을 사용한 경우로서, 오차는 많이 감소하지만 여전히 불안정하다.FIG. 14B is a case where only ROBPCA-SIFT20 is used, and the error is greatly reduced but still unstable.
그러나, 도 14c는 본 발명에 따른 이미지 신호 필터링 방법을 적용한 후 PCA-SIFT20 및 ROBPCA-SIFT20를 사용하는 경우로서, 오차가 현저히 줄어들 뿐 아니라 결과가 안정화됨을 알 수 있다.However, FIG. 14C shows a case where PCA-SIFT20 and ROBPCA-SIFT20 are used after applying the image signal filtering method according to the present invention. As a result, the error is significantly reduced and the result is stabilized.
도 15a 내지 도 15d에는, 원 내시경 이미지에 첨가한 노이즈의 분산값이 0.01일 때, 각각 ROBPCA-SIFT20를 사용한 경우와 PCA-SIFT20 및 ROBPCA-SIFT20에 위너 필터(wiener filter)를 적용하여 사용한 경우, 그리고 본 발명에 따른 이미지 신호 필터링 방법을 적용하여 사용한 경우의 기하 오차가 그래프로 도시되어 있다.15A to 15D, when the dispersion value of noise added to the original endoscope image is 0.01, when the ROBPCA-SIFT20 is used and when the Wiener filter is applied to the PCA-SIFT20 and ROBPCA-SIFT20, respectively, And the geometric error in the case of using the image signal filtering method according to the present invention is shown as a graph.
도 15a는 ROBPCA-SIFT20만을 사용한 경우로서, 노이즈 분산값이 0.01로 증가하자 기하 오차도 많이 증가함을 알 수 있다.FIG. 15A illustrates that only ROBPCA-SIFT20 is used. As the noise variance value increases to 0.01, the geometric error also increases.
도 15b는 위너 필터를 사용하여 노이즈를 제거한 후 PCA-SIFT20를 사용한 경우로서, 여전히 기하 오차가 크고 불안정하다.FIG. 15B illustrates a case where PCA-SIFT20 is used after removing noise using a Wiener filter, and the geometric error is still large and unstable.
도 15c는 위너 필터를 사용하여 노이즈를 제거한 후 ROBPCA-SIFT20를 사용한 경우로서, 역시 기하 오차가 크고 불안정하다.FIG. 15C illustrates a case in which ROBPCA-SIFT20 is used after removing noise using a Wiener filter, and also has a large geometric error and is unstable.
그러나, 도 15d는 본 발명에 따른 이미지 신호 필터링 방법을 적용한 후 PCA-SIFT20 및 ROBPCA-SIFT20를 사용하는 경우로서, 오차가 현저히 줄어들 뿐 아니라 결과가 안정화됨을 알 수 있다.However, FIG. 15D illustrates a case in which the PCA-SIFT20 and the ROBPCA-SIFT20 are used after the image signal filtering method according to the present invention is used. In addition, the error is significantly reduced and the result is stabilized.
상술한 바와 같이, 본 발명은 기하 오차를 감소시킬 뿐 아니라 안정화시킨다는 이점을 제공한다. 또한, 본 발명은 입력 이미지에 노이즈가 존재하는지 여부와 무관하게 적용할 수 있으며, 차원을 줄이기 위해 ROBPCA와 같이 복잡한 알고리듬을 사용하지 않아도 되는 이점을 제공한다.As mentioned above, the present invention provides the advantage of stabilizing as well as reducing geometric error. In addition, the present invention can be applied regardless of whether noise exists in the input image, and provides an advantage of not having to use a complicated algorithm such as ROBPCA to reduce the dimension.
지금까지 본 발명에 대해 실시예들을 참고하여 설명하였다. 그러나 당업자라면 본 발명의 본질적인 기술적 사상으로부터 벗어나지 않는 범위에서 본 발명이 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 즉, 본 발명의 진정한 기술적 범위는 첨부된 특허청구범위에 나타나 있으며, 그와 균등범위 내에 있는 모든 차이점은 본 발명에 포함되는 것으로 해석되어야 할 것이다.So far, the present invention has been described with reference to the embodiments. However, one of ordinary skill in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential technical spirit of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. That is, the true technical scope of the present invention is shown in the appended claims, and all differences within the equivalent scope will be construed as being included in the present invention.
도 1은 RANSAC 알고리듬의 개념을 나타낸 도면.1 illustrates the concept of a RANSAC algorithm.
도 2는 인간의 뇌에서 시각 정보가 전달되는 경로를 나타낸 도면.2 is a view showing a path through which visual information is transmitted in the human brain.
도 3은 본 발명에 따른 이미지 특징 추출 방법의 일례를 나타낸 흐름도.3 is a flowchart showing an example of an image feature extraction method according to the present invention;
도 4는 본 발명에 따른 이미지 신호 필터링 방법의 일례를 나타낸 흐름도.4 is a flowchart showing an example of an image signal filtering method according to the present invention;
도 5는 이미지의 독립 성분 분석의 개념을 나타낸 도면.5 illustrates the concept of independent component analysis of an image.
도 6는 희소성 조절 파라미터에 따른 스파스 밀도를 나타낸 그래프.6 is a graph showing sparse density according to sparsity control parameters.
도 7는 도 6의 스파스 밀도에 대응하는 MAP 축소함수를 나타낸 그래프.FIG. 7 is a graph illustrating a MAP reduction function corresponding to the sparse density of FIG. 6. FIG.
도 8a 내지 도 8c는 각각 ICA, ISA 및 TICA 스파스 코딩 변환행렬의 일례를 이미지의 독립 성분으로 나타낸 도면.8A-8C show examples of ICA, ISA, and TICA sparse coding transformation matrices, respectively, as independent components of an image.
도 9a는 내시경으로 촬영한 원 이미지.9A is an original image taken by an endoscope.
도 9b는 도 9a의 이미지에 노이즈가 첨가된 이미지.9B is an image in which noise is added to the image of FIG. 9A.
도 9c는 도 9b의 이미지에 위너 필터를 적용한 이미지.9C is an image of a Wiener filter applied to the image of FIG. 9B.
도 9d는 도 9b의 이미지에 본 발명에 따른 이미지 신호 필터링 방법을 적용한 이미지.9D is an image to which the image signal filtering method according to the present invention is applied to the image of FIG. 9B.
도 10a는 SIFT 특징 벡터를 추출하기 위하여 DOG 이미지 피라미드를 구성하는 방법을 나타낸 도면.10A illustrates a method of constructing a DOG image pyramid to extract SIFT feature vectors.
도 10b는 키포인트를 추출하기 위하여 비교되는 26개의 인접 픽셀 위치를 나타낸 도면.10B illustrates 26 adjacent pixel positions that are compared to extract keypoints.
도 10c는 8 by 8 블록에 대해 방향성 분포를 추출하여 8개의 방향으로 양자 화하는 방법을 나타낸 도면.10c is a diagram illustrating a method of extracting directional distributions for 8 by 8 blocks and quantizing them in eight directions.
도 11은 본 발명에 따른 이미지 특징 추출 장치가 사용되는 시스템 환경을 나타낸 블록도.11 is a block diagram showing a system environment in which an image feature extraction apparatus according to the present invention is used.
도 12는 본 발명에 따른 이미지 신호 필터링 장치의 일례를 나타낸 블록도.12 is a block diagram showing an example of an image signal filtering device according to the present invention;
도 13은 두 개의 이미지상에서 기하 오차를 나타낸 도면.FIG. 13 shows geometric error on two images. FIG.
도 14a 내지 도 14c는, 원 이미지에 첨가한 노이즈의 분산값(variance)이 0.005일 때, 각각 PCA-SIFT20를 사용한 경우 및 ROBPCA-SIFT20를 사용한 경우와 이들에 본 발명에 따른 이미지 신호 필터링 방법을 적용하여 사용한 경우의 기하 오차를 나타낸 그래프.14A to 14C show the case where PCA-SIFT20 and ROBPCA-SIFT20 are used and the image signal filtering method according to the present invention, respectively, when the variance of noise added to the original image is 0.005. Graph showing geometric error when applied and used.
도 15a 내지 도 15d는, 원 내시경 이미지에 첨가한 노이즈의 분산값이 0.01일 때, 각각 ROBPCA-SIFT20를 사용한 경우와 PCA-SIFT20 및 ROBPCA-SIFT20에 위너 필터(wiener filter)를 적용하여 사용한 경우, 그리고 본 발명에 따른 이미지 신호 필터링 방법을 적용하여 사용한 경우의 기하 오차를 나타낸 그래프.15A to 15D illustrate a case in which the ROBPCA-SIFT20 is used and the Wiener filter is applied to the PCA-SIFT20 and ROBPCA-SIFT20 when the variance of noise added to the original endoscope image is 0.01, respectively. And a graph showing the geometric error when the image signal filtering method according to the present invention is applied.
Claims (20)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080015043A KR100943844B1 (en) | 2008-02-19 | 2008-02-19 | Image signal filtering method and apparatus used for extracting scale-invariant feature from image, and image feature extracting method, apparatus and recording medium using thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080015043A KR100943844B1 (en) | 2008-02-19 | 2008-02-19 | Image signal filtering method and apparatus used for extracting scale-invariant feature from image, and image feature extracting method, apparatus and recording medium using thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20090089723A true KR20090089723A (en) | 2009-08-24 |
| KR100943844B1 KR100943844B1 (en) | 2010-02-24 |
Family
ID=41207817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080015043A KR100943844B1 (en) | 2008-02-19 | 2008-02-19 | Image signal filtering method and apparatus used for extracting scale-invariant feature from image, and image feature extracting method, apparatus and recording medium using thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100943844B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100972849B1 (en) * | 2009-10-16 | 2010-07-28 | 주식회사 쓰리디누리 | Method of object recognition |
| CN102968635A (en) * | 2012-11-23 | 2013-03-13 | 清华大学 | Image visual characteristic extraction method based on sparse coding |
| KR101524548B1 (en) * | 2012-07-26 | 2015-06-02 | 삼성테크윈 주식회사 | Apparatus and method for alignment of images |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100777922B1 (en) * | 2006-02-06 | 2007-11-21 | 에스케이 텔레콤주식회사 | System For Personal Authentication and Electronic Signature Using Image Recognition And Method Thereof |
| KR100843085B1 (en) * | 2006-06-20 | 2008-07-02 | 삼성전자주식회사 | Method of building gridmap in mobile robot and method of cell decomposition using it |
-
2008
- 2008-02-19 KR KR1020080015043A patent/KR100943844B1/en active IP Right Grant
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100972849B1 (en) * | 2009-10-16 | 2010-07-28 | 주식회사 쓰리디누리 | Method of object recognition |
| KR101524548B1 (en) * | 2012-07-26 | 2015-06-02 | 삼성테크윈 주식회사 | Apparatus and method for alignment of images |
| CN102968635A (en) * | 2012-11-23 | 2013-03-13 | 清华大学 | Image visual characteristic extraction method based on sparse coding |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100943844B1 (en) | 2010-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Emeršič et al. | Evaluation and analysis of ear recognition models: performance, complexity and resource requirements | |
| Ghrabat et al. | An effective image retrieval based on optimized genetic algorithm utilized a novel SVM-based convolutional neural network classifier | |
| KR101637229B1 (en) | Apparatus and method for extracting feature point based on SIFT, and face recognition system using thereof | |
| Hassaballah et al. | Detection and description of image features: an introduction | |
| KR20090131626A (en) | System and method for class-specific object segmentation of image data | |
| Bukar et al. | Automatic age and gender classification using supervised appearance model | |
| KR100950776B1 (en) | Method of face recognition | |
| US20150302270A1 (en) | A method of providing a feature descriptor for describing at least one feature of an object representation | |
| Bicego et al. | A hidden Markov model approach for appearance-based 3D object recognition | |
| Karanwal | Robust local binary pattern for face recognition in different challenges | |
| Zarbakhsh et al. | Low-rank sparse coding and region of interest pooling for dynamic 3D facial expression recognition | |
| Tidjani et al. | Deep learning features for robust facial kinship verification | |
| KR100943844B1 (en) | Image signal filtering method and apparatus used for extracting scale-invariant feature from image, and image feature extracting method, apparatus and recording medium using thereof | |
| US7248738B2 (en) | Image clustering with metric, local linear structure, and affine symmetry | |
| Bachay et al. | Hybrid Deep Learning Model Based on Autoencoder and CNN for Palmprint Authentication. | |
| KR102550864B1 (en) | Method and System for Object Identification by Patterns of Object Image | |
| Zhang et al. | Robust ear recognition via nonnegative sparse representation of Gabor orientation information | |
| Tschirsich et al. | Notes on discrete Gaussian scale space | |
| Purnomo et al. | Face recognition using Gabor wavelet and non-negative matrix factorization | |
| WO2015061972A1 (en) | High-dimensional feature extraction and mapping | |
| Hu et al. | Efficient human detection in crowded environment | |
| Carvajal et al. | Comparative evaluation of action recognition methods via Riemannian manifolds, Fisher vectors and GMMs: Ideal and challenging conditions | |
| Wachs-Lopes et al. | A strategy based on non-extensive statistics to improve frame-matching algorithms under large viewpoint changes | |
| Meenakumari et al. | An efficient method for text detection and recognition in still images | |
| Ushapreethi et al. | Skeleton-based STIP feature and discriminant sparse coding for human action recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130111 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20140120 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20150108 Year of fee payment: 6 |