KR102528453B1 - 영상 내의 특징 추출 방법, 이를 이용하는 영상 매칭 방법 및 영상 처리 방법 - Google Patents
영상 내의 특징 추출 방법, 이를 이용하는 영상 매칭 방법 및 영상 처리 방법 Download PDFInfo
- Publication number
- KR102528453B1 KR102528453B1 KR1020180124329A KR20180124329A KR102528453B1 KR 102528453 B1 KR102528453 B1 KR 102528453B1 KR 1020180124329 A KR1020180124329 A KR 1020180124329A KR 20180124329 A KR20180124329 A KR 20180124329A KR 102528453 B1 KR102528453 B1 KR 102528453B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- input image
- keypoints
- points
- keypoint
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000000605 extraction Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 7
- 239000013256 coordination polymer Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 101150071665 img2 gene Proteins 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
영상 내의 특징 추출 방법에서, 입력 영상에 기초하여 복수의 최초 키포인트(key point)들을 추정한다. 입력 영상을 다운 스케일(down-scale)하여 발생된 다운 스케일 영상에 기초하여 복수의 표현자(descriptor)들을 발생한다. 복수의 최초 키포인트들과 복수의 표현자들을 대응시켜 복수의 특징점(feature point)들을 획득한다.
Description
본 발명은 영상 처리에 관한 것으로서, 더욱 상세하게는 영상 내의 특징 추출 방법, 상기 특징 추출 방법을 이용하는 영상 매칭 방법 및 상기 영상 매칭 방법을 이용하는 영상 처리 방법에 관한 것이다.
컴퓨터 비전(computer vision) 분야는 인간의 오감 중 시각적인 인식 능력을 다양한 전자 기기에 구현하는 인공 지능 분야이다. 특히, 컴퓨터 비전 분야에서 영상 매칭 기술은 지능형 로봇, 증강 현실, 가상 현실, 3차원 구조물 구성, 얼굴 인식을 통한 보안 기술 등의 많은 응용 분야에 적용 가능함에 따라 활발하게 연구가 진행되고 있다. 또한, 최근 이동 통신 기술의 발전으로 인하여 스마트폰, 태블릿 PC 등과 같은 이동 통신 단말기가 발달함에 따라 모바일 환경에서 실시간으로 영상 매칭을 하고자 하는 요구가 증가하고 있다. 그러나, 모바일 환경에서 촬영되는 영상은 크기, 조명, 장애물 및 회전과 같은 다양한 요소의 영향을 받을 수 있고, 특히 영상 내의 모션이 큰 경우나 어두운 환경에서 촬영된 저조도 영상인 경우에 영상 내의 특징을 강인하게 인식하는 것이 어려워 영상 매칭의 정확도가 떨어지는 문제가 있었다.
본 발명의 일 목적은 영상 내의 특징을 정확하고 효과적으로 추출할 수 있는 방법을 제공하는 것이다.
본 발명의 다른 목적은 상기 특징 추출 방법을 이용하여 두 영상들을 정확하게 매칭할 수 있는 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 상기 영상 매칭 방법을 이용하는 영상 처리 방법을 제공하는 것이다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 영상 내의 특징 추출 방법에서는, 입력 영상에 기초하여 복수의 최초 키포인트(key point)들을 추정한다. 상기 입력 영상을 다운 스케일(down-scale)하여 발생된 다운 스케일 영상에 기초하여 복수의 표현자(descriptor)들을 발생한다. 상기 복수의 최초 키포인트들과 상기 복수의 표현자들을 대응시켜 복수의 특징점(feature point)들을 획득한다.
상기 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 영상 매칭 방법에서는, 제1 입력 영상에 기초하여 복수의 제1 특징점(feature point)들을 검출한다. 제2 입력 영상에 기초하여 복수의 제2 특징점들을 검출한다. 상기 복수의 제1 특징점들 및 상기 복수의 제2 특징점들에 기초하여 상기 제1 입력 영상과 상기 제2 입력 영상 사이의 복수의 대응점들을 획득한다. 상기 복수의 제1 특징점들을 검출하는데 있어서, 상기 제1 입력 영상에 기초하여 복수의 제1 최초 키포인트(key point)들을 추정한다. 상기 제1 입력 영상을 다운 스케일(down-scale)하여 발생된 제1 다운 스케일 영상에 기초하여 복수의 제1 표현자(descriptor)들을 발생한다. 상기 복수의 제1 최초 키포인트들과 상기 복수의 제1 표현자들을 대응시켜 상기 복수의 제1 특징점들을 획득한다.
상기 또 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 영상 처리 방법에서는, 제1 입력 영상과 제2 입력 영상 사이의 복수의 대응점들을 설정한다. 상기 복수의 대응점들에 기초하여 상기 제1 입력 영상 및 상기 제2 입력 영상 중 적어도 하나에 대한 영상 처리를 수행한다. 상기 복수의 대응점들을 설정하는데 있어서, 상기 제1 입력 영상에 기초하여 복수의 제1 특징점(feature point)들을 검출한다. 상기 제2 입력 영상에 기초하여 복수의 제2 특징점들을 검출한다. 상기 복수의 제1 특징점들 및 상기 복수의 제2 특징점들에 기초하여 상기 복수의 대응점들을 획득한다. 상기 복수의 제1 특징점들을 검출하는데 있어서, 상기 제1 입력 영상에 기초하여 복수의 제1 최초 키포인트(key point)들을 추정한다. 상기 제1 입력 영상을 다운 스케일(down-scale)하여 발생된 제1 다운 스케일 영상에 기초하여 복수의 제1 표현자(descriptor)들을 발생한다. 상기 복수의 제1 최초 키포인트들과 상기 복수의 제1 표현자들을 대응시켜 상기 복수의 제1 특징점들을 획득한다.
상기와 같은 본 발명의 실시예들에 따른 영상 내의 특징 추출 방법, 영상 매칭 방법 및 영상 처리 방법에서는, 입력 영상에 기초하여 복수의 키포인트들을 추정하고 다운 스케일 영상에 기초하여 복수의 표현자들을 발생한다. 원본 스케일 영상을 이용하여 키포인트들을 추정함으로써 키포인트들의 위치 정밀도를 유지할 수 있으며, 인접 픽셀 간 강도 차이가 상대적으로 큰 다운 스케일 영상을 이용하여 표현자들을 발생함으로써, 노이즈에 강인하고 특이성이 향상된 표현자를 획득할 수 있다. 또한, 상기와 같은 특이성이 향상된 표현자들을 이용하여 두 개의 입력 영상들 사이의 복수의 대응점들을 획득하는 경우에, 두 개의 입력 영상들 간의 대응점 추정 정확도, 즉 매칭 정확도가 향상될 수 있다.
특히, 야간 촬영 등 상대적으로 어두운 환경에서 촬영된 저조도 영상 및/또는 영상 내의 모션이 상대적으로 커서 영상 블러가 상대적으로 심한 영상이 입력 영상으로 제공되더라도, 특이성이 향상된 표현자를 획득할 수 있고, 대응점 추정 정확도가 향상될 수 있다.
도 1은 본 발명의 실시예들에 따른 영상 내의 특징 추출 방법을 나타내는 순서도이다.
도 2는 본 발명의 실시예들에 따른 특징 추출 장치를 나타내는 블록도이다.
도 3은 도 1의 복수의 표현자들을 발생하는 단계의 일 예를 나타내는 순서도이다.
도 4a, 4b, 5a 및 5b는 도 3의 복수의 표현자들을 발생하는 동작을 설명하기 위한 도면들이다.
도 6은 본 발명의 실시예들에 따른 영상 내의 특징 추출 방법을 나타내는 순서도이다.
도 7은 본 발명의 실시예들에 따른 특징 추출 장치를 나타내는 블록도이다.
도 8은 도 1의 입력 영상을 1채널 영상으로 변환하는 단계의 일 예를 나타내는 순서도이다.
도 9는 도 8의 복수의 1채널 픽셀 데이터들을 발생하는 단계의 일 예를 나타내는 순서도이다.
도 10a 및 10b는 도 8의 입력 영상을 1채널 영상으로 변환하는 동작을 설명하기 위한 도면들이다.
도 11은 도 1의 입력 영상을 1채널 영상으로 변환하는 단계의 다른 예를 나타내는 순서도이다.
도 12는 도 11의 복수의 1채널 픽셀 데이터들을 발생하는 단계의 일 예를 나타내는 순서도이다.
도 13은 본 발명의 실시예들에 따른 영상 매칭 방법을 나타내는 순서도이다.
도 14는 본 발명의 실시예들에 따른 영상 매칭 장치를 나타내는 블록도이다.
도 15는 도 13의 복수의 대응점들을 획득하는 단계의 일 예를 나타내는 순서도이다.
도 16은 도 15의 복수의 대응점들을 획득하는 동작을 설명하기 위한 도면이다.
도 17은 본 발명의 실시예들에 따른 영상 처리 방법을 나타내는 순서도이다.
도 18은 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도이다.
도 19는 본 발명의 실시예들에 따른 전자 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예들에 따른 특징 추출 장치를 나타내는 블록도이다.
도 3은 도 1의 복수의 표현자들을 발생하는 단계의 일 예를 나타내는 순서도이다.
도 4a, 4b, 5a 및 5b는 도 3의 복수의 표현자들을 발생하는 동작을 설명하기 위한 도면들이다.
도 6은 본 발명의 실시예들에 따른 영상 내의 특징 추출 방법을 나타내는 순서도이다.
도 7은 본 발명의 실시예들에 따른 특징 추출 장치를 나타내는 블록도이다.
도 8은 도 1의 입력 영상을 1채널 영상으로 변환하는 단계의 일 예를 나타내는 순서도이다.
도 9는 도 8의 복수의 1채널 픽셀 데이터들을 발생하는 단계의 일 예를 나타내는 순서도이다.
도 10a 및 10b는 도 8의 입력 영상을 1채널 영상으로 변환하는 동작을 설명하기 위한 도면들이다.
도 11은 도 1의 입력 영상을 1채널 영상으로 변환하는 단계의 다른 예를 나타내는 순서도이다.
도 12는 도 11의 복수의 1채널 픽셀 데이터들을 발생하는 단계의 일 예를 나타내는 순서도이다.
도 13은 본 발명의 실시예들에 따른 영상 매칭 방법을 나타내는 순서도이다.
도 14는 본 발명의 실시예들에 따른 영상 매칭 장치를 나타내는 블록도이다.
도 15는 도 13의 복수의 대응점들을 획득하는 단계의 일 예를 나타내는 순서도이다.
도 16은 도 15의 복수의 대응점들을 획득하는 동작을 설명하기 위한 도면이다.
도 17은 본 발명의 실시예들에 따른 영상 처리 방법을 나타내는 순서도이다.
도 18은 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도이다.
도 19는 본 발명의 실시예들에 따른 전자 시스템을 나타내는 블록도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예들에 따른 영상 내의 특징 추출 방법을 나타내는 순서도이다.
도 1을 참조하면, 본 발명의 실시예들에 따른 영상 내의 특징 추출 방법에서, 입력 영상에 기초하여 복수의 최초 키포인트(key point)들을 추정한다(단계 S200). 키포인트는 상기 입력 영상의 특성과 관련된 포인트를 나타내며, 관심 포인트(interest point)로 부를 수도 있다. 상기 복수의 최초 키포인트들은 다양한 알고리즘에 기초하여 상기 입력 영상으로부터 추정될 수 있으며, 이에 대해서는 후술하도록 한다.
일 실시예에서, 상기 입력 영상은 1채널 영상일 수 있다. 1채널 영상은 컬러 정보가 없고 광도 정보만을 가지며, 그레이(gray) 영상, 계조(grayscale) 영상 또는 흑백 영상으로 부를 수도 있다. 상기 입력 영상이 1채널 영상이 아닌 경우에는 상기 입력 영상을 1채널 영상으로 변환하는 과정이 필요하며, 이에 대해서는 도 6 등을 참조하여 후술하도록 한다.
상기 입력 영상을 다운 스케일(down-scale)하여 발생된 다운 스케일 영상에 기초하여 복수의 표현자(descriptor)들을 발생한다(단계 S400). 각 표현자는 각 키포인트의 특성을 나타낼 수 있다. 상기 복수의 표현자들 역시 다양한 알고리즘에 기초하여 발생될 수 있으며, 이에 대해서는 후술하도록 한다.
상기 입력 영상과 비교하였을 때, 상기 다운 스케일 영상에서는 인접 픽셀 간 강도(intensity) 차이가 증가하며, 따라서 상기 다운 스케일 영상에 기초하여 상기 복수의 표현자들을 발생하는 경우에 노이즈에 강인하고 특이성이 향상된 표현자를 발생할 수 있다.
상기 복수의 최초 키포인트들과 상기 복수의 표현자들을 대응시켜 복수의 특징점(feature point)들을 획득한다(단계 S600). 예를 들어, 하나의 최초 키포인트와 하나의 표현자를 대응시켜 하나의 특징점을 획득할 수 있다. 상기 복수의 특징점들을 이용하여 두 개의 영상들 사이의 대응점을 획득할 수 있으며, 이에 대해서는 도 13 등을 참조하여 후술하도록 한다.
도 2는 본 발명의 실시예들에 따른 특징 추출 장치를 나타내는 블록도이다.
도 2를 참조하면, 특징 추출 장치(100a)는 키포인트 추정부(110), 표현자 발생부(120) 및 특징점 발생부(130)를 포함한다.
키포인트 추정부(110)는 입력 영상을 나타내는 1채널 영상 신호(IS_1C)를 수신하고, 상기 입력 영상에 기초하여 복수의 최초 키포인트들을 추정하며, 상기 복수의 최초 키포인트들을 나타내는 최초 키포인트 신호(IKP)를 출력한다. 다시 말하면, 키포인트 추정부(110)는 도 1의 단계 S200을 수행할 수 있다. 상기 입력 영상은 1채널 영상일 수 있다.
실시예에 따라서, 1채널 영상 신호(IS_1C)는 외부의 영상 촬상 장치(예를 들어, 도 19의 1050) 또는 메모리 장치(예를 들어, 도 19의 1030)로부터 제공될 수도 있고, 별도의 영상 변환부(예를 들어, 도 7의 140)로부터 제공될 수도 있다.
표현자 발생부(120)는 1채널 영상 신호(IS_1C), 최초 키포인트 신호(IKP) 및 스케일링 값(scale factor)(SF)을 수신하고, 상기 입력 영상을 다운 스케일하여 발생된 다운 스케일 영상에 기초하여 복수의 표현자들을 발생하며, 상기 복수의 표현자들을 나타내는 표현자 신호(DSC)를 출력한다. 다시 말하면, 표현자 발생부(120)는 도 1의 단계 S400을 수행할 수 있다.
표현자 발생부(120)는 스케일러(122), 키포인트 연산기(124) 및 표현자 연산기(126)를 포함할 수 있다.
스케일러(122)는 1채널 영상 신호(IS_1C) 및 스케일링 값(SF)을 수신하고, 상기 입력 영상을 다운 스케일하여 상기 다운 스케일 영상을 발생하며, 상기 다운 스케일 영상을 나타내는 다운 스케일 영상 신호(SIS)를 출력할 수 있다. 스케일링 값(SF)은 특징 추출 장치(100a)의 내부 또는 외부에 배치되는 제어부(미도시)로부터 제공될 수 있다.
키포인트 연산기(124)는 다운 스케일 영상 신호(SIS), 스케일링 값(SF) 및 최초 키포인트 신호(IKP)를 수신하고, 상기 복수의 최초 키포인트들에 대응하는 상기 다운 스케일 영상 내의 복수의 다운 스케일 키포인트들을 연산하며, 상기 복수의 다운 스케일 키포인트들을 나타내는 다운 스케일 키포인트 신호(SKP)를 출력할 수 있다.
표현자 연산기(126)는 다운 스케일 영상 신호(SIS) 및 다운 스케일 키포인트 신호(SKP)를 수신하고, 상기 복수의 표현자들을 연산하며, 표현자 신호(DSC)를 출력할 수 있다.
특징점 발생부(130)는 최초 키포인트 신호(IKP) 및 표현자 신호(DSC)를 상기 복수의 최초 키포인트들과 상기 복수의 표현자들을 대응시켜 복수의 특징점들을 획득하며, 상기 복수의 특징점들을 나타내는 특징점 신호(FP)를 출력한다. 다시 말하면, 특징점 발생부(130)는 도 1의 단계 S600을 수행할 수 있다.
실시예에 따라서, 키포인트 추정부(110), 표현자 발생부(120) 및 특징점 발생부(130)의 일부 또는 전부는 하드웨어의 형태로 구현될 수도 있고, 소프트웨어(즉, 프로그램)의 형태로 구현되어 저장 장치에 저장될 수도 있다.
도 3은 도 1의 복수의 표현자들을 발생하는 단계의 일 예를 나타내는 순서도이다. 도 4a, 4b, 5a 및 5b는 도 3의 복수의 표현자들을 발생하는 동작을 설명하기 위한 도면들이다.
도 1, 3, 4a 및 4b를 참조하면, 상기 복수의 표현자들을 발생하기 이전에, 먼저 도 4a에 도시된 것처럼 입력 영상(IMG1)에 기초하여 복수의 최초 키포인트들(IKP11, IKP12, IKP13)을 추정한다(단계 S200).
예를 들어, 입력 영상(IMG1)은 두 개의 피사체들(OBJ11, OBJ12)을 포함할 수 있다. 도 4a의 예에서는 피사체(OBJ11)의 두 개의 코너 포인트(corner point)들 및 피사체(OBJ12)의 하나의 코너 포인트를 복수의 최초 키포인트들(IKP11, IKP12, IKP13)로 추정할 수 있다. 이와 같이 코너 포인트를 키포인트로 추정하는 것을 코너 검출 기법(corner detection)으로 부를 수 있다.
코너 또는 모서리는 두 개의 에지(edge)들의 교차점으로 정의할 수 있고, 인접한 곳에 두 개의 우세하고 다른 에지의 방향들이 존재하는 점으로 정의할 수도 있다. 키포인트 또는 관심 포인트는 영상 내에서 잘 정의된 위치를 가지며 강인하게 검출할 수 있는 지점을 나타내며, 따라서 코너 포인트를 키포인트로 사용할 수 있다.
일 실시예에서, FAST(Features from Accelerated Segment Test), 해리스(Harris) 등과 같은 다양한 알고리즘들 중 적어도 하나를 이용하여 코너 포인트들을 검출하고 상기 검출된 코너 포인트들을 최초 키포인트들(IKP11, IKP12, IKP13)로 추정할 수 있다.
도시하지는 않았으나, 입력 영상(IMG1) 내의 블롭 포인트(blob point) 또는 블롭 영역을 복수의 최초 키포인트들로 추정할 수도 있다. 이와 같이 블롭 포인트를 키포인트로 추정하는 것을 블롭 검출 기법(blob detection)으로 부를 수 있다.
블롭은 주변 영역과 비교하여 밝기 또는 색상과 같은 특성이 구별되는 영역일 수 있다. 예를 들어, 블롭은 영상의 일부 속성이 일정하거나 거의 일정하며, 블롭 내의 모든 포인트들은 어떤 의미에서 서로 유사하다고 간주될 수 있다. 따라서, 블롭 포인트 또는 블롭 영역을 키포인트로 사용할 수 있다. 블롭 영역은 관심 영역(region of interest; ROI)으로 부를 수도 있다.
일 실시예에서, MSER(Maximally Stable Extremal Regions) 등과 같은 다양한 알고리즘들 중 적어도 하나를 이용하여 블롭 포인트들을 검출하고 상기 검출된 블롭 포인트들을 최초 키포인트들로 추정할 수 있다.
상술한 것처럼, 본 발명의 실시예에서 복수의 최초 키포인트들은 코너 검출 기법 및 블롭 검출 기법 중 적어도 하나에 기초하여 추정될 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 리지 검출 기법(ridge detection), 에지 검출 기법(edge detection) 등과 같은 다양한 검출 기법에 기초하여 최초 키포인트들이 추정될 수도 있다.
이하에서는 코너 포인트들을 복수의 최초 키포인트들(IKP11, IKP12, IKP13)로 추정한 경우에 기초하여 본 발명의 실시예들을 상세하게 설명하도록 한다.
상기 복수의 표현자들을 발생하는데 있어서(단계 S400), 스케일링 값을 기초로 입력 영상(IMG1)을 다운 스케일하여 다운 스케일 영상(SIMG1)을 발생할 수 있다(단계 S410). 단계 S410은 도 2의 스케일러(122)에 의해 수행될 수 있다.
예를 들어, 도 4b에 도시된 것처럼 다운 스케일 영상(SIMG1)은 입력 영상(IMG1)을 약 1/2로 다운 스케일하여 발생된 영상이며, 이 때 상기 스케일링 값은 약 2일 수 있다. 다운 스케일 영상(SIMG1) 내에서 피사체들(SOBJ11, SOBJ12)의 크기가 다운 스케일 되었으며, 다운 스케일 영상(SIMG1) 내에는 입력 영상(IMG1) 내의 복수의 최초 키포인트들(IKP11, IKP12, IKP13)에 대응하는 복수의 다운 스케일 키포인트들(SKP11, SKP12, SKP13)이 존재할 수 있다.
상기 스케일링 값 및 복수의 최초 키포인트들(IKP11, IKP12, IKP13)에 기초하여, 복수의 최초 키포인트들(IKP11, IKP12, IKP13)에 대응하는 다운 스케일 영상(SIMG1) 내의 복수의 다운 스케일 키포인트들(SKP11, SKP12, SKP13)을 연산할 수 있다(단계 S420). 단계 S420은 도 2의 키포인트 연산기(124)에 의해 수행될 수 있다.
일 실시예에서, 입력 영상(IMG1) 내의 n(n은 2 이상의 자연수)개의 최초 키포인트들의 픽셀 위치가 
인 경우에, 이에 대응하는 다운 스케일 영상(SIMG1) 내의 n개의 다운 스케일 키포인트들의 픽셀 위치 
는 하기의 [수학식 1]에 의해 획득될 수 있다.
[수학식 1]
상기의 [수학식 1]에서, Δs는 상기 스케일링 값을 나타낼 수 있다.
예를 들어, 상술한 것처럼 상기 스케일링 값이 약 2인 경우에, 입력 영상(IMG1) 및 다운 스케일 영상(SIMG1)에서 좌측 최상단의 픽셀 위치가 (1,1)이고 입력 영상(IMG1) 내의 최초 키포인트(IKP11)의 픽셀 위치가 (60,20)이라고 가정하면, 이에 대응하는 다운 스케일 영상(SIMG1) 내의 다운 스케일 키포인트(SKP11)의 픽셀 위치는 (30,10)일 수 있다.
상술한 것처럼, 원본 스케일에서 추정된 최초 키포인트들의 픽셀 위치를 다운 스케일하여 다운 스케일 키포인트들을 연산하는 경우에, 키포인트들에 대한 위치 정보의 손실이 방지되며, 따라서 원본 영상에서 추정된 키포인트들의 위치 정밀도를 유지할 수 있다.
다운 스케일 영상(SIMG1) 내에서 복수의 다운 스케일 키포인트들(SKP11, SKP12, SKP13)과 인접하는 복수의 인접포인트들에 기초하여, 다운 스케일 영상(SIMG1)에 대한 상기 복수의 표현자들을 연산할 수 있다(단계 S430). 상기 복수의 인접포인트들은 복수의 다운 스케일 키포인트들(SKP11, SKP12, SKP13)의 픽셀 위치와 인접하는 픽셀들을 나타낼 수 있다. 단계 S430은 도 2의 표현자 연산기(126)에 의해 수행될 수 있다.
일 실시예에서, 상기 복수의 표현자들은 ORB(Oriented FAST and Rotated BRIEF(Binary Robust Independent Elementary Features)), SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features) 및 MSD(Maximal Self-Dissimilarities) 등과 같은 다양한 알고리즘들 중 적어도 하나에 기초하여 발생될 수 있다.
SIFT는 감시카메라, 자율 주행 시스템과 같은 영상 처리 시스템에 응용되는 방법으로, 물체의 특징점으로부터 고차원의 표현자를 산출함으로써 물체를 인식할 수 있다. SURF는 물체를 추적하거나 파노라마 영상 생성과 같은 영상 처리 시스템에 응용되는 방법으로, 영상으로부터 픽셀 값을 누적한 적분 영상을 생성하여 스케일 별로 특징점 및 고차원의 표현자를 산출함으로써 물체를 인식할 수 있다. SIFT와 SURF는 크기, 조명 및 회전에 따른 영상의 변화에 강인하지만, 생성되는 표현자가 실수(real value) 또는 부동 소수점(floating) 벡터임에 따라 연산량이 많을 수 있다.
ORB는 FAST 또는 BRIEF를 이용하여 특징점을 추출하고 이진(binary) 표현자를 생성하여 물체를 인식할 수 있다. 생성되는 표현자가 이진 벡터이므로, 연산량이 감소되어 물체 인식 속도가 증가할 수 있다.
상술한 알고리즘에 기초하여, 다운 스케일 영상(SIMG1) 내의 n개의 다운 스케일 키포인트들 
에 대한 n개의 표현자들 
이 발생될 수 있다.
상술한 것처럼, 본 발명의 실시예에서 복수의 표현자들은 ORB, SIFT, SURF 및 MSD 중 적어도 하나에 기초하여 발생될 수 있다. 다만, 본 발명은 이에 한정되지 않으며, BRIEF, BRISK(Binary Robust Invariant Scalable Keypoint), FREAK(Fast Retina Keypoint) 등과 같은 다양한 알고리즘에 기초하여 표현자들이 발생될 수도 있다.
상기 복수의 표현자들을 발생한 이후에, 입력 영상(IMG1) 내의 복수의 최초 키포인트들(IKP11, IKP12, IKP13)과 상기 복수의 표현자들을 대응시켜 상기 복수의 특징점들을 획득한다(단계 S600).
예를 들어, 다운 스케일 키포인트(SKP11)에 대한 표현자와 최초 키포인트(IKP11)를 대응시켜 하나의 특징점을 획득할 수 있다. 이와 유사하게, n개의 최초 키포인트들 
및 n개의 표현자들 
에 기초하여 n개의 특징점들 
이 획득될 수 있다.
도 5a 및 5b를 참조하면, 도 5a는 도 4a의 A영역을 확대한 도면이고, 도 5b는 도 4b의 A'영역을 확대한 도면이다.
도 5a에서는 픽셀(PA)이 상대적으로 연한 회색을 나타내고, 픽셀(PA)과 인접한 픽셀들(PB, PC)이 상대적으로 진한 회색을 나타내며, 픽셀들(PB, PC)과 인접한 픽셀들(PD, PE)이 검정색을 나타낼 수 있다. 도 5b에서는 영상이 1/2로 다운 스케일됨에 따라, 도 5a의 픽셀(PA)에 대응하는 픽셀(PA')이 상대적으로 연한 회색을 나타내고, 도 5a의 픽셀들(PB, PC)에 대응하는 픽셀들은 생략 또는 삭제되었으며, 도 5a의 픽셀들(PD, PE)에 대응하고 픽셀(PA')과 인접한 픽셀들(PD', PE')이 검정색을 나타낼 수 있다.
도 5a에 도시된 입력 영상(IMG1)에서 인접 픽셀들(PA, PB) 사이의 강도 차이(PIDIFF)보다, 도 5b에 도시된 다운 스케일 영상(SIMG1)에서 인접 픽셀들(PA', PD') 사이의 강도 차이(PIDIFF')가 더 클 수 있다. 다시 말하면, 입력 영상(IMG1)을 다운 스케일 영상(SIMG1)으로 변환하는 경우에, 인접 픽셀 간 강도 차이가 증가할 수 있다.
상술한 것처럼, 키포인트들의 위치 정밀도를 유지하기 위해 입력 영상(IMG1)을 이용하여 복수의 최초 키포인트들(IKP11, IKP12, IKP13)을 추정하며, 인접 픽셀들(PA', PD') 사이의 강도 차이(PIDIFF')가 상대적으로 큰 다운 스케일 영상(SIMG1)을 이용하여 상기 복수의 표현자들을 발생함으로써, 노이즈에 강인하고 특이성이 향상된 표현자를 획득할 수 있다. 특히, 야간 촬영 등 상대적으로 어두운 환경에서 촬영된 저조도 영상 및/또는 영상 내의 모션이 상대적으로 커서 영상 블러(blur)가 상대적으로 심한 영상이 다운 스케일되는 경우에, 인접 픽셀 간의 밝기 차이가 증가함에 따라 원본 영상 대비 특이성이 향상된 표현자를 획득할 수 있다.
도 6은 본 발명의 실시예들에 따른 영상 내의 특징 추출 방법을 나타내는 순서도이다. 이하 도 1과 중복되는 설명은 생략한다.
도 6을 참조하면, 본 발명의 실시예들에 따른 영상 내의 특징 추출 방법에서, 상기 입력 영상이 1채널 영상이 아닌 경우에, 상기 입력 영상을 상기 1채널 영상으로 변환한다(단계 S100).
일 실시예에서, 상기 입력 영상은 베이어 패턴(Bayer pattern)을 가지는 3채널 RGB 영상일 수 있다. 베이어 패턴의 픽셀 데이터를 가지는 원시 영상을 그대로 사용하기 어려우므로, 상기 원시 영상을 상기 1채널 영상으로 변환하여 사용할 수 있다.
상기 1채널 영상에 기초하여 복수의 최초 키포인트들을 추정하며(단계 S200a), 상기 1채널 영상을 다운 스케일하여 발생된 다운 스케일 영상에 기초하여 복수의 표현자들을 발생한다(단계 S400a). 상기 1채널 영상에 기초하여 수행되는 것을 제외하면, 도 6의 단계 S200a 및 S400a는 도 1의 단계 S200 및 S400과 각각 실질적으로 동일할 수 있다.
상기 복수의 최초 키포인트들과 상기 복수의 표현자들을 대응시켜 복수의 특징점들을 획득한다(단계 S600). 도 6의 단계 S600은 도 1의 단계 S600과 실질적으로 동일할 수 있다.
도 7은 본 발명의 실시예들에 따른 특징 추출 장치를 나타내는 블록도이다. 이하 도 2와 중복되는 설명은 생략한다.
도 7을 참조하면, 특징 추출 장치(100b)는 키포인트 추정부(110), 표현자 발생부(120), 특징점 발생부(130) 및 영상 변환부(140)를 포함한다.
영상 변환부(140)를 더 포함하는 것을 제외하면, 도 7의 특징 추출 장치(100b)는 도 2의 특징 추출 장치(100a)와 실질적으로 동일할 수 있다.
영상 변환부(140)는 입력 영상을 나타내는 원시 영상 신호(IS_R)를 수신하고, 상기 입력 영상을 1채널 영상으로 변환하며, 상기 1채널 영상을 나타내는 1채널 영상 신호(IS_1C)를 출력한다. 상기 입력 영상은 가공되지 않은 원시 영상일 수 있다. 다시 말하면, 영상 변환부(140)는 도 6의 단계 S100을 수행할 수 있다.
일 실시예에서, 원시 영상 신호(IS_R)는 외부의 영상 촬상 장치(예를 들어, 도 19의 1050) 또는 메모리 장치(예를 들어, 도 19의 1030)로부터 제공될 수 있다.
실시예에 따라서, 영상 변환부(140)의 일부 또는 전부는 하드웨어의 형태로 구현될 수도 있고, 소프트웨어(즉, 프로그램)의 형태로 구현되어 저장 장치에 저장될 수도 있다.
도 8은 도 1의 입력 영상을 1채널 영상으로 변환하는 단계의 일 예를 나타내는 순서도이다. 도 9는 도 8의 복수의 1채널 픽셀 데이터들을 발생하는 단계의 일 예를 나타내는 순서도이다. 도 10a 및 10b는 도 8의 입력 영상을 1채널 영상으로 변환하는 동작을 설명하기 위한 도면들이다.
도 6, 8, 9, 10a 및 10b를 참조하면, 상기 입력 영상을 상기 1채널 영상으로 변환하는데 있어서(단계 S100), 가공되지 않은 원시 영상(RIMG)을 상기 입력 영상으로 수신할 수 있다(단계 S110).
도 10a에 도시된 것처럼, 원시 영상(RIMG)은 베이어 패턴을 가지는 3채널 RGB 영상일 수 있다. 예를 들어, 원시 영상(RIMG)은 복수의 컬러 픽셀들을 포함하며, 상기 복수의 컬러 픽셀들은 레드 픽셀들(R11, R13, R15, ..., R31, R33, R35, ...), 그린 픽셀들(G12, G14, G16, ..., G21, G23, G25, ..., G32, G34, G36, ..., G41, G43, G45, ...) 및 블루 픽셀들(B22, B24, B26, ..., B42, B44, B46, ...)을 포함할 수 있다. 원시 영상(RIMG) 내에서 하나의 레드 픽셀(예를 들어, R11), 두 개의 그린 픽셀들(예를 들어, G12, G21) 및 하나의 블루 픽셀(예를 들어, B22)이 2*2 매트릭스 형태로 배치되어 하나의 픽셀 그룹을 형성하며, 원시 영상(RIMG)은 상기 픽셀 그룹이 제1 방향(D1) 및 이와 교차하는(예를 들어, 직교하는) 제2 방향(D2)을 따라 반복되는 RGGB 컬러 패턴을 가질 수 있다.
원시 영상(RIMG)에 포함되는 상기 복수의 컬러 픽셀들의 픽셀 값(예를 들어, 계조)들을 나타내는 복수의 원시 픽셀 데이터들 전부에 기초하여, 1채널 영상(GIMG)에 포함되는 복수의 픽셀들(P11, P12, P13, P14, P15, P16, ..., P21, P22, P23, P24, P25, P26, ..., P31, P32, P33, P34, P35, P36, ..., P41, P42, P43, P44, P45, P46, ...)의 픽셀 값들을 나타내는 복수의 1채널 픽셀 데이터들을 발생할 수 있다(단계 S120).
일 실시예에서, 원시 영상(RIMG)과 1채널 영상(GIMG)은 실질적으로 동일한 크기를 가질 수 있다. 다시 말하면, 원시 영상(RIMG)에 포함되는 상기 복수의 컬러 픽셀들의 개수와 1채널 영상(GIMG)에 포함되는 상기 복수의 픽셀들의 개수는 실질적으로 동일할 수 있다.
상기 복수의 1채널 픽셀 데이터들을 발생하는데 있어서(단계 S120), 상기 복수의 원시 픽셀 데이터들 중 서로 인접하는 X(X는 2 이상의 자연수)개의 원시 픽셀 데이터들에 기초하여 상기 복수의 1채널 픽셀 데이터들 중 하나의 1채널 픽셀 데이터를 발생할 수 있다. 예를 들어, 상기 X개의 원시 픽셀 데이터들을 모두 더하여 합산 원시 픽셀 데이터를 발생할 수 있고(단계 S122), 상기 합산 원시 픽셀 데이터를 X로 나누어 상기 하나의 1채널 픽셀 데이터를 발생할 수 있다(단계 S124).
일 실시예에서, 상기 X개의 원시 픽셀 데이터들은 2*2 형태로 배치된 4개의 픽셀들로부터 획득될 수 있다. 다시 말하면, X=4일 수 있으며, 원시 영상(RIMG) 내에 2*2 매트릭스 형태로 배치되는 RGGB 픽셀 그룹이 반복되므로, 픽셀 그룹 단위로 1채널 픽셀 데이터를 발생할 수 있다.
구체적으로, 1채널 영상(GIMG) 내의 픽셀(P11)에 대한 1채널 픽셀 데이터는 원시 영상(RIMG) 내의 대응하는 위치의 픽셀(R11) 및 이와 인접하여 2*2 매트릭스 형태로 배치되는 픽셀들(G12, G21, B22)에 대한 원시 픽셀 데이터들을 이용하여 연산될 수 있다. 예를 들어, P11=(R11+G12+G21+B22)/4를 만족하는 픽셀 값을 가지도록 픽셀(P11)에 대한 1채널 픽셀 데이터가 획득될 수 있다.
이와 유사하게, 1채널 영상(GIMG) 내의 픽셀(P12)에 대한 1채널 픽셀 데이터는 원시 영상(RIMG) 내의 픽셀들(G12, R13, B22, G23)에 대한 원시 픽셀 데이터들을 이용하여 연산되고, 1채널 영상(GIMG) 내의 픽셀(P21)에 대한 1채널 픽셀 데이터는 원시 영상(RIMG) 내의 픽셀들(G21, B22, R31, G32)에 대한 원시 픽셀 데이터들을 이용하여 연산되며, 마찬가지로 1채널 영상(GIMG) 내의 나머지 픽셀들에 대한 1채널 픽셀 데이터들이 연산될 수 있다.
일 실시예에서, 1채널 영상(GIMG) 내의 마지막 행 및 마지막 열에 배치되는 픽셀들은 원시 영상(RIMG) 내에 대응하는 2*2 매트리스 형태의 픽셀들이 존재하지 않을 수 있으며, 이 경우 원시 영상(RIMG) 내에 대응하는 하나의 픽셀만을 이용하거나 원시 영상(RIMG) 내에 대응하는 하나의 픽셀 및 이와 인접한 다른 하나의 픽셀만을 이용하여 1채널 픽셀 데이터가 연산될 수 있다. 예를 들어, 1채널 영상(GIMG) 내의 1행 마지막 열에 배치되는 픽셀의 픽셀 값은 원시 영상(RIMG) 내에 대응하는 1행 마지막 열에 배치되는 픽셀의 픽셀 값과 동일하거나, 1행 마지막 열 및 이와 인접한 2행 마지막 열에 배치되는 픽셀들의 픽셀 값들을 더하고 2로 나눈 값과 동일할 수 있다.
도 11은 도 1의 입력 영상을 1채널 영상으로 변환하는 단계의 다른 예를 나타내는 순서도이다. 도 12는 도 11의 복수의 1채널 픽셀 데이터들을 발생하는 단계의 일 예를 나타내는 순서도이다. 이하 도 8 및 9와 중복되는 설명은 생략한다.
도 6, 10a, 10b, 11 및 12를 참조하면, 상기 입력 영상을 상기 1채널 영상으로 변환하는데 있어서(단계 S100), 가공되지 않은 원시 영상(RIMG)을 상기 입력 영상으로 수신할 수 있다(단계 S110). 도 11의 단계 S110은 도 8의 단계 S110과 실질적으로 동일할 수 있다.
원시 영상(RIMG)에 포함되는 상기 복수의 원시 픽셀 데이터들 중 일부에 기초하여, 1채널 영상(GIMG)에 포함되는 상기 복수의 1채널 픽셀 데이터들을 발생할 수 있다(단계 S130).
상기 복수의 1채널 픽셀 데이터들을 발생하는데 있어서(단계 S130), 상기 복수의 원시 픽셀 데이터들 중 동일 컬러의 제1 픽셀들에 대응하는 제1 원시 픽셀 데이터들을 선택할 수 있고(단계 S132), 상기 제1 원시 픽셀 데이터들을 업 스케일(up-scale)하여 상기 복수의 1채널 픽셀 데이터들을 획득할 수 있다(단계 S134). 예를 들어, 상기 제1 원시 픽셀 데이터들을 상기 복수의 1채널 픽셀 데이터들 중 일부로서 설정할 수 있고(단계 S136), 상기 제1 원시 픽셀 데이터들을 기초로 보간(interpolation) 동작을 수행하여 상기 복수의 1채널 픽셀 데이터들 중 나머지를 연산할 수 있다(단계 S138).
일 실시예에서, 원시 영상(RIMG) 내의 레드 픽셀들(R11, R13, R15, ..., R31, R33, R35, ...)에 대한 원시 레드 픽셀 데이터들을 선택할 수 있고, 1채널 영상(GIMG) 내의 대응하는 위치의 픽셀들(P11, P13, P15, ..., P31, P33, P35, ...)에 대한 1채널 픽셀 데이터들을 상기 원시 레드 픽셀 데이터들과 동일하게 설정할 수 있다.
1채널 영상(GIMG) 내의 나머지 픽셀들(P12, P14, P16, ..., P21, P22, P23, P24, P25, P26, ..., P32, P34, P36, ..., P41, P42, P43, P44, P45, P46, ...)에 대한 1채널 픽셀 데이터들은 상기 보간 동작에 의해 획득될 수 있다. 예를 들어, P12=(P11+P13)/2=(R11+R13)/2를 만족하는 픽셀 값을 가지도록 픽셀(P12)에 대한 1채널 픽셀 데이터가 획득될 수 있다.
이와 유사하게, 1채널 영상(GIMG) 내의 픽셀(P21)에 대한 1채널 픽셀 데이터는 픽셀들(P11, P31)에 대한 1채널 픽셀 데이터들을 이용하여 연산되고, 1채널 영상(GIMG) 내의 픽셀(P22)에 대한 1채널 픽셀 데이터는 픽셀들(P11, P33)에 대한 1채널 픽셀 데이터들을 이용하여 연산되며, 마찬가지로 1채널 영상(GIMG) 내의 나머지 픽셀들에 대한 1채널 픽셀 데이터들이 연산될 수 있다.
다른 실시예에서, 원시 영상(RIMG) 내의 블루 픽셀들(B22, B24, B26, ..., B42, B44, B46, ...)에 대한 원시 블루 픽셀 데이터들을 선택할 수 있고, 이에 기초하여 1채널 영상(GIMG) 내의 상기 복수의 1채널 픽셀 데이터들을 획득할 수 있다.
도 13은 본 발명의 실시예들에 따른 영상 매칭 방법을 나타내는 순서도이다. 이하 도 1 및 6과 중복되는 설명은 생략한다.
도 13을 참조하면, 본 발명의 실시예들에 따른 영상 매칭 방법에서, 제1 입력 영상에 기초하여 복수의 제1 특징점들을 검출하고(단계 S1100), 제2 입력 영상에 기초하여 복수의 제2 특징점들을 검출한다(단계 S1200). 상기 제1 입력 영상과 상기 제2 입력 영상은 서로 다른 영상일 수 있다. 예를 들어, 상기 제1 입력 영상과 상기 제2 입력 영상은 동영상 내의 연속하는 두 개의 프레임 영상들이며, 각각 (t-1)번째 프레임 영상 및 t번째 프레임 영상일 수 있다.
단계 S1100 및 S1200은 각각 도 1 내지 12를 참조하여 상술한 본 발명의 실시예들에 따른 특징 추출 방법에 기초하여 수행될 수 있다. 예를 들어, 상기 제1 입력 영상에 기초하여 복수의 제1 최초 키포인트들을 추정하고, 상기 제1 입력 영상을 다운 스케일하여 발생된 제1 다운 스케일 영상에 기초하여 복수의 제1 표현자들을 발생하며, 상기 복수의 제1 최초 키포인트들과 상기 복수의 제1 표현자들을 대응시켜 상기 복수의 제1 특징점들을 획득할 수 있다. 이와 유사하게, 상기 제2 입력 영상에 기초하여 복수의 제2 최초 키포인트들을 추정하고, 상기 제2 입력 영상을 다운 스케일하여 발생된 제2 다운 스케일 영상에 기초하여 복수의 제2 표현자들을 발생하며, 상기 복수의 제2 최초 키포인트들과 상기 복수의 제2 표현자들을 대응시켜 상기 복수의 제2 특징점들을 획득할 수 있다.
상기 복수의 제1 특징점들 및 상기 복수의 제2 특징점들에 기초하여 상기 제1 입력 영상과 상기 제2 입력 영상 사이의 복수의 대응점(correspondence point)들을 획득한다(단계 S1300). 예를 들어, 상기 제1 입력 영상 내의 하나의 제1 최초 키포인트와 상기 제2 입력 영상 내의 하나의 제2 최초 키포인트를 대응시켜 하나의 대응점을 획득할 수 있다. 이러한 매칭 동작은 원본 스케일의 영상을 이용하여 수행될 수 있다.
상술한 것처럼, 본 발명의 실시예들에 따른 특징 추출 방법에 기초하여 단계 S1100 및 S1200이 수행되는 경우에 노이즈에 강인하고 특이성이 향상된 표현자들을 발생할 수 있으며, 특이성이 향상된 제1 및 제2 표현자들을 이용하여 상기 복수의 대응점들을 획득하는 경우에 상기 제1 및 제2 입력 영상들 간의 대응점 추정 정확도, 즉 상기 제1 및 제2 입력 영상들에 대한 매칭 정확도가 향상될 수 있다.
도 14는 본 발명의 실시예들에 따른 영상 매칭 장치를 나타내는 블록도이다. 이하 도 2 및 7과 중복되는 설명은 생략한다.
도 14를 참조하면, 영상 매칭 장치(200)는 특징 추출 장치(100), 유사도 비교부(210) 및 대응점 발생부(220)를 포함한다.
특징 추출 장치(100)는 제1 입력 영상 및 제2 입력 영상을 나타내는 제1 영상 신호(IS1) 및 제2 영상 신호(IS2)를 수신하고, 상기 제1 입력 영상 및 상기 제2 입력 영상에 기초하여 복수의 제1 특징점들 및 복수의 제2 특징점들을 검출하며, 상기 복수의 제1 특징점들 및 상기 복수의 제2 특징점들을 나타내는 제1 특징점 신호(FP1) 및 제2 특징점 신호(FP)를 출력한다.
특징 추출 장치(100)는 도 2의 특징 추출 장치(100a) 또는 도 7의 특징 추출 장치(100b)일 수 있다. 예를 들어, 상기 제1 및 제2 입력 영상들이 1채널 영상인 경우에 도 14의 특징 추출 장치(100)는 도 2의 특징 추출 장치(100a)이고, 상기 제1 및 제2 입력 영상들이 원시 영상인 경우에 도 14의 특징 추출 장치(100)는 도 7의 특징 추출 장치(100b)일 수 있다.
유사도 비교부(210)는 제1 특징점 신호(FP1) 및 제2 특징점 신호(FP)를 수신하고, 상기 복수의 제1 특징점들에 포함되는 복수의 제1 표현자들과 상기 복수의 제2 특징점들에 포함되는 복수의 제2 표현자들의 유사도를 비교하며, 비교 결과를 나타내는 비교 신호(COMP)를 출력한다.
대응점 발생부(220)는 제1 특징점 신호(FP1), 제2 특징점 신호(FP) 및 비교 신호(COMP)를 수신하고, 상기 제1 입력 영상과 상기 제2 입력 영상 사이의 복수의 대응점들을 획득하며, 상기 복수의 대응점들을 나타내는 대응점 신호(CP)를 출력한다.
실시예에 따라서, 유사도 비교부(210) 및 대응점 발생부(220)의 일부 또는 전부는 하드웨어의 형태로 구현될 수도 있고, 소프트웨어(즉, 프로그램)의 형태로 구현되어 저장 장치에 저장될 수도 있다.
도 15는 도 13의 복수의 대응점들을 획득하는 단계의 일 예를 나타내는 순서도이다. 도 16은 도 15의 복수의 대응점들을 획득하는 동작을 설명하기 위한 도면이다.
도 4a, 13, 15 및 16을 참조하면, 상기 복수의 대응점들을 획득하기 이전에, 도 4a에 도시된 것처럼 (t-1)번째 프레임 영상인 제1 입력 영상(IMG1) 내의 복수의 제1 최초 키포인트들(IKP11, IKP12, IKP13) 및 이에 대한 복수의 제1 표현자들을 대응시켜 복수의 제1 특징점들 
을 획득하고, 도 16에 도시된 것처럼 t번째 프레임 영상인 제2 입력 영상(IMG2) 내의 복수의 제2 최초 키포인트들(IKP21, IKP22, IKP23) 및 이에 대한 복수의 제2 표현자들을 대응시켜 복수의 제2 특징점들 
을 획득한다. 제1 입력 영상(IMG1)과 비교하였을 때, 제2 입력 영상(IMG2) 내의 피사체들(OBJ21, OBJ22)은 오른쪽 아래 방향으로 이동하였다.
상기 복수의 대응점들을 획득하는데 있어서(단계 S1300), 상기 복수의 제1 특징점들 내의 상기 복수의 제1 표현자들 중 하나를 선택할 수 있고(단계 S1310), 상기 선택된 제1 표현자와 상기 복수의 제2 특징점들 내의 상기 복수의 제2 표현자들 사이의 유사도를 비교하여, 상기 복수의 제2 표현자들 중 상기 선택된 제1 표현자와 유사도가 가장 높은 하나를 선택할 수 있다(단계 S1320). 단계 S1310 및 S1320은 도 14의 유사도 비교부(210)에 의해 수행될 수 있다.
상기 복수의 제1 특징점들 내의 상기 복수의 제1 최초 키포인트들 중 상기 선택된 제1 표현자에 대응하는 하나의 제1 최초 키포인트 및 상기 복수의 제2 특징점들 내의 상기 복수의 제2 최초 키포인트들 중 상기 선택된 제2 표현자에 대응하는 하나의 제2 최초 키포인트를 상기 복수의 대응점들 중 하나로 설정할 수 있다(단계 S1330). 단계 S1330은 도 14의 대응점 발생부(220)에 의해 수행될 수 있다.
구체적으로, 제1 최초 키포인트들(IKP11)에 대응하는 제1 표현자를 선택하고, 제2 최초 키포인트들(IKP21, IKP22, IKP23)에 대응하는 제2 표현자들 모두와 상기 선택된 제1 표현자의 유사도를 비교하여, 유사도가 가장 높은 제2 표현자에 대응하는 제2 최초 키포인트를 선택할 수 있다. 제1 최초 키포인트들(IKP11) 및 제2 최초 키포인트(IKP21)가 하나의 대응점으로 설정될 수 있다.
이와 유사하게, 나머지 제1 표현자들에 대해서도 유사도 비교를 수행하여, 제1 최초 키포인트들(IKP12) 및 제2 최초 키포인트(IKP22)가 다른 하나의 대응점으로 설정되며, 제1 최초 키포인트들(IKP13) 및 제2 최초 키포인트(IKP23)가 또 다른 하나의 대응점으로 설정될 수 있다. 이와 같이, 복수의 제1 특징점들 
및 복수의 제2 특징점들 
의 표현자들의 유사도 
를 비교하여 모든 대응점들을 획득할 수 있다.
일 실시예에서, 상기 복수의 제1 표현자들과 상기 복수의 제2 표현자들 사이의 유사도는 해밍 거리(Hamming distance) 및 유클리디안 거리(Euclidean distance) 중 적어도 하나에 기초하여 판단될 수 있다. 다만, 본 발명은 이에 한정되지 않으며, 다양한 다른 알고리즘에 기초하여 유사도가 판단될 수도 있다.
도 15를 참조하여 제1 표현자를 기준으로 하여, 즉 하나의 제1 표현자와 복수의 제2 표현자들 모두의 유사도를 비교하여 대응점을 설정하는 방식을 설명하였으나, 본 발명은 이에 한정되지 않을 수 있다. 예를 들어, 제2 표현자를 기준으로 하여, 즉 하나의 제2 표현자를 선택하고 선택된 제2 표현자와 복수의 제1 표현자들 모두의 유사도를 비교하여 유사도가 가장 높은 제1 표현자를 선택하며 선택된 제1 및 제2 표현자들에 대응하는 제1 및 제2 키포인트들을 하나의 대응점으로 설정할 수도 있다.
도 17은 본 발명의 실시예들에 따른 영상 처리 방법을 나타내는 순서도이다. 이하 도 13과 중복되는 설명은 생략한다.
도 17을 참조하면, 본 발명의 실시예들에 따른 영상 처리 방법에서, 제1 입력 영상과 제2 입력 영상 사이의 복수의 대응점들을 설정한다(단계 S2100).
단계 S2100은 도 13 내지 16을 참조하여 상술한 본 발명의 실시예들에 따른 영상 매칭 방법에 기초하여 수행될 수 있다. 예를 들어, 상기 제1 입력 영상에 기초하여 복수의 제1 특징점들을 검출하고, 상기 제2 입력 영상에 기초하여 복수의 제2 특징점들을 검출하며, 상기 복수의 제1 특징점들 및 상기 복수의 제2 특징점들에 기초하여 상기 제1 입력 영상과 상기 제2 입력 영상 사이의 복수의 대응점들을 획득할 수 있다.
상기 복수의 대응점들에 기초하여 상기 제1 입력 영상 및 상기 제2 입력 영상 중 적어도 하나에 대한 영상 처리를 수행한다(단계 S2200). 예를 들어, 상기 영상 처리는 카메라 모션, 노이즈 감소(noise reduction), VDIS(Video Digital Image Stabilization), HDR(High Dynamic Range) 등과 같은 다양한 기능을 포함할 수 있다. 또한, 상기 영상 처리는 움직임 검출(motion detection), 영상 정합(image registration), 비디오 추적(video tracking), 영상 모자이싱(image mosaicing), 파노라마 스티칭(panorama stitching), 3차원 모델링(3D modeling), 피사체 인식(object recognition) 등과 같은 다양한 기능을 더 포함할 수 있다.
도 18은 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도이다. 이하 도 14와 중복되는 설명은 생략한다.
도 18을 참조하면, 영상 처리 장치(300)는 영상 매칭 장치(200) 및 처리부(310)를 포함한다.
영상 매칭 장치(200)는 제1 입력 영상 및 제2 입력 영상을 나타내는 제1 영상 신호(IS1) 및 제2 영상 신호(IS2)를 수신하고, 상기 제1 입력 영상과 상기 제2 입력 영상 사이의 복수의 대응점들을 설정하며, 상기 복수의 대응점들을 나타내는 대응점 신호(CP)를 출력한다. 영상 매칭 장치(200)는 도 14의 영상 매칭 장치(200)일 수 있다.
처리부(310)는 제1 영상 신호(IS1), 제2 영상 신호(IS2) 및 대응점 신호(CP)를 수신하고, 상기 제1 입력 영상 및 상기 제2 입력 영상 중 적어도 하나에 대한 영상 처리를 수행하며, 상기 영상 처리 결과를 나타내는 출력 영상 신호(OIS)를 출력한다.
실시예에 따라서, 처리부(310)의 일부 또는 전부는 하드웨어의 형태로 구현될 수도 있고, 소프트웨어(즉, 프로그램)의 형태로 구현되어 저장 장치에 저장될 수도 있다.
실시예에 따라서, 본 발명의 영상 내의 특징 추출 방법, 영상 매칭 방법 및 영상 처리 방법은, 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터로 판독 가능한 프로그램 코드를 포함하는 제품 등의 형태로 구현될 수도 있다. 상기 컴퓨터로 판독 가능한 프로그램 코드는 다양한 컴퓨터 또는 다른 데이터 처리 장치의 프로세서로 제공될 수 있다. 상기 컴퓨터로 판독 가능한 매체는 컴퓨터로 판독 가능한 신호 매체 또는 컴퓨터로 판독 가능한 기록 매체일 수 있다. 상기 컴퓨터로 판독 가능한 기록 매체는 명령어 실행 시스템, 장비 또는 장치 내에 또는 이들과 접속되어 프로그램을 저장하거나 포함할 수 있는 임의의 유형적인 매체일 수 있다.
도 19는 본 발명의 실시예들에 따른 전자 시스템을 나타내는 블록도이다.
도 19를 참조하면, 전자 시스템(1000)은 프로세서(1010), 통신부(1020), 메모리 장치(1030), 사용자 인터페이스(1040), 영상 촬상 장치(1050) 및 영상 처리 장치(1060)를 포함하며, 전원 장치(미도시)를 더 포함할 수 있다.
프로세서(1010)는 특정 계산들 또는 태스크들과 같은 다양한 컴퓨팅 기능들을 실행할 수 있다. 통신부(1020)는 외부 장치와 통신을 수행할 수 있다. 메모리 장치(1030)는 프로세서(1010)에 의해 처리되는 데이터를 저장할 수 있다. 사용자 인터페이스(1040)는 하나 이상의 입/출력 장치를 포함할 수 있다. 상기 전원 장치는 전원을 공급할 수 있다.
영상 촬상 장치(1050) 및 영상 처리 장치(1060)는 프로세서(1010)에 의해 제어된다. 영상 촬상 장치(1050)는 입력 영상을 제공하며, 예를 들어 CMOS(complementary metal oxide semiconductor) 이미지 센서, CCD(charge-coupled device) 이미지 센서 등을 포함할 수 있다. 영상 처리 장치(1060)는 도 18의 영상 처리 장치(300)이며, 도 1 내지 18을 참조하여 상술한 본 발명의 실시예들에 따라 동작할 수 있다.
본 발명의 실시예들은 영상 처리 장치를 포함하는 임의의 전자 장치 및 시스템에 유용하게 이용될 수 있다. 예를 들어, 본 발명의 실시예들은 컴퓨터(computer), 노트북(laptop), 핸드폰(cellular), 스마트 폰(smart phone), MP3 플레이어, PDA(personal digital assistant), PMP(portable multimedia player), 디지털 TV, 디지털 카메라, 포터블 게임 콘솔(portable game console), 네비게이션(navigation) 기기, 웨어러블(wearable) 기기, IoT(internet of things) 기기, IoE(internet of everything) 기기, e-북(e-book), VR(virtual reality) 기기, AR(augmented reality) 기기 등과 같은 전자 기기에 더욱 유용하게 적용될 수 있다. 또한, 자동차용(automotive) 카메라, 의료용 카메라 등과 같은 영상 처리가 필요한 다양한 분야에도 적용될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.
Claims (10)
- 특징 추출 장치에 의해 수행되는 영상 내의 특징 추출 방법으로서,
상기 특징 추출 장치가 입력 영상에 기초하여 복수의 최초 키포인트(key point)들을 추정하는 단계;
상기 특징 추출 장치가 상기 입력 영상을 다운 스케일(down-scale)하여 발생된 다운 스케일 영상에 기초하여 복수의 표현자(descriptor)들을 발생하는 단계; 및
상기 특징 추출 장치가 상기 복수의 최초 키포인트들과 상기 복수의 표현자들을 대응시켜 복수의 특징점(feature point)들을 획득하는 단계를 포함하고,
상기 다운 스케일 영상은 상기 복수의 최초 키포인트들에 대응하는 복수의 다운 스케일 키포인트들을 포함하고, 각 표현자는 각 최초 키포인트 및 각 다운 스케일 키포인트의 특성을 나타내고, 하나의 표현자는 하나의 최초 키포인트 및 하나의 다운 스케일 키포인트에 대응하며,
상기 입력 영상이 1채널 영상이 아닌 경우에, 상기 입력 영상을 상기 1채널 영상으로 변환하는 단계를 더 포함하고,
상기 입력 영상을 상기 1채널 영상으로 변환하는 단계는,
영상 촬상 장치로부터 가공되지 않은 원시(raw) 영상을 상기 입력 영상으로 수신하는 단계; 및
상기 원시 영상에 포함되는 복수의 원시 픽셀 데이터들 전부에 기초하여 상기 1채널 영상의 복수의 1채널 픽셀 데이터들을 발생하는 단계를 포함하고,
상기 복수의 1채널 픽셀 데이터들을 발생하는 단계는,
상기 복수의 원시 픽셀 데이터들 중 서로 인접하는 X(X는 2 이상의 자연수)개의 원시 픽셀 데이터들에 기초하여 상기 복수의 1채널 픽셀 데이터들 중 하나의 1채널 픽셀 데이터를 발생하는 단계를 포함하는 영상 내의 특징 추출 방법. - 제 1 항에 있어서, 상기 복수의 표현자들을 발생하는 단계는,
스케일링 값을 기초로 상기 입력 영상을 다운 스케일하여 상기 다운 스케일 영상을 발생하는 단계;
상기 스케일링 값 및 상기 복수의 최초 키포인트들에 기초하여, 상기 복수의 최초 키포인트들에 대응하는 상기 다운 스케일 영상 내의 상기 복수의 다운 스케일 키포인트들을 연산하는 단계; 및
상기 다운 스케일 영상 내에서 상기 복수의 다운 스케일 키포인트들과 인접하는 복수의 인접포인트들에 기초하여, 상기 다운 스케일 영상에 대한 상기 복수의 표현자들을 연산하는 단계를 포함하는 것을 특징으로 하는 영상 내의 특징 추출 방법. - 제 2 항에 있어서,
상기 입력 영상을 상기 다운 스케일 영상으로 변환하는 경우에, 인접 픽셀 간 강도(intensity) 차이가 증가하는 것을 특징으로 하는 영상 내의 특징 추출 방법. - 삭제
- 삭제
- 특징 추출 장치에 의해 수행되는 영상 내의 특징 추출 방법으로서,
상기 특징 추출 장치가 입력 영상에 기초하여 복수의 최초 키포인트(key point)들을 추정하는 단계;
상기 특징 추출 장치가 상기 입력 영상을 다운 스케일(down-scale)하여 발생된 다운 스케일 영상에 기초하여 복수의 표현자(descriptor)들을 발생하는 단계; 및
상기 특징 추출 장치가 상기 복수의 최초 키포인트들과 상기 복수의 표현자들을 대응시켜 복수의 특징점(feature point)들을 획득하는 단계를 포함하고,
상기 다운 스케일 영상은 상기 복수의 최초 키포인트들에 대응하는 복수의 다운 스케일 키포인트들을 포함하고, 각 표현자는 각 최초 키포인트 및 각 다운 스케일 키포인트의 특성을 나타내고, 하나의 표현자는 하나의 최초 키포인트 및 하나의 다운 스케일 키포인트에 대응하며,
상기 입력 영상이 1채널 영상이 아닌 경우에, 상기 입력 영상을 상기 1채널 영상으로 변환하는 단계를 더 포함하고,
상기 입력 영상을 상기 1채널 영상으로 변환하는 단계는,
영상 촬상 장치로부터 가공되지 않은 원시(raw) 영상을 상기 입력 영상으로 수신하는 단계; 및
상기 원시 영상에 포함되는 복수의 원시 픽셀 데이터들 중 일부에 기초하여 상기 1채널 영상의 복수의 1채널 픽셀 데이터들을 발생하는 단계를 포함하고,
상기 복수의 1채널 픽셀 데이터들을 발생하는 단계는,
상기 복수의 원시 픽셀 데이터들 중 동일 컬러의 제1 픽셀들에 대응하는 제1 원시 픽셀 데이터들을 선택하는 단계; 및
상기 제1 원시 픽셀 데이터들을 업 스케일(up-scale)하여 상기 복수의 1채널 픽셀 데이터들을 획득하는 단계를 포함하는 것을 특징으로 하는 영상 내의 특징 추출 방법. - 영상 매칭 장치에 의해 수행되는 영상 매칭 방법으로서,
상기 영상 매칭 장치가 제1 입력 영상에 기초하여 복수의 제1 특징점(feature point)들을 검출하는 단계;
상기 영상 매칭 장치가 제2 입력 영상에 기초하여 복수의 제2 특징점들을 검출하는 단계; 및
상기 영상 매칭 장치가 상기 복수의 제1 특징점들 및 상기 복수의 제2 특징점들에 기초하여 상기 제1 입력 영상과 상기 제2 입력 영상 사이의 복수의 대응점들을 획득하는 단계를 포함하고,
상기 복수의 제1 특징점들을 검출하는 단계는,
상기 제1 입력 영상에 기초하여 복수의 제1 최초 키포인트(key point)들을 추정하는 단계;
상기 제1 입력 영상을 다운 스케일(down-scale)하여 발생된 제1 다운 스케일 영상에 기초하여 복수의 제1 표현자(descriptor)들을 발생하는 단계; 및
상기 복수의 제1 최초 키포인트들과 상기 복수의 제1 표현자들을 대응시켜 상기 복수의 제1 특징점들을 획득하는 단계를 포함하며,
상기 제1 다운 스케일 영상은 상기 복수의 제1 최초 키포인트들에 대응하는 복수의 제1 다운 스케일 키포인트들을 포함하고, 각 제1 표현자는 각 제1 최초 키포인트 및 각 제1 다운 스케일 키포인트의 특성을 나타내고, 하나의 제1 표현자는 하나의 제1 최초 키포인트 및 하나의 제1 다운 스케일 키포인트에 대응하며,
상기 복수의 대응점들을 획득하는 단계는,
상기 복수의 제1 특징점들 내의 상기 복수의 제1 표현자들 중 하나를 선택하는 단계;
상기 선택된 제1 표현자와 상기 복수의 제2 특징점들 내의 복수의 제2 표현자들 사이의 유사도를 비교하여, 상기 복수의 제2 표현자들 중 상기 선택된 제1 표현자와 유사도가 가장 높은 하나를 선택하는 단계; 및
상기 복수의 제1 특징점들 내의 상기 복수의 제1 최초 키포인트들 중 상기 선택된 제1 표현자에 대응하는 하나의 제1 최초 키포인트 및 상기 복수의 제2 특징점들 내의 복수의 제2 최초 키포인트들 중 상기 선택된 제2 표현자에 대응하는 하나의 제2 최초 키포인트를 상기 복수의 대응점들 중 하나로 설정하는 단계를 포함하는 영상 매칭 방법. - 제 7 항에 있어서, 상기 복수의 제2 특징점들을 검출하는 단계는,
상기 제2 입력 영상에 기초하여 복수의 제2 최초 키포인트들을 추정하는 단계;
상기 제2 입력 영상을 다운 스케일하여 발생된 제2 다운 스케일 영상에 기초하여 복수의 제2 표현자들을 발생하는 단계; 및
상기 복수의 제2 최초 키포인트들과 상기 복수의 제2 표현자들을 대응시켜 상기 복수의 제2 특징점들을 획득하는 단계를 포함하는 것을 특징으로 하는 영상 매칭 방법. - 삭제
- 영상 처리 장치에 의해 수행되는 영상 처리 방법으로서,
상기 영상 처리 장치가 제1 입력 영상과 제2 입력 영상 사이의 복수의 대응점들을 설정하는 단계; 및
상기 영상 처리 장치가 상기 복수의 대응점들에 기초하여 상기 제1 입력 영상 및 상기 제2 입력 영상 중 적어도 하나에 대한 영상 처리를 수행하는 단계를 포함하고,
상기 복수의 대응점들을 설정하는 단계는,
상기 제1 입력 영상에 기초하여 복수의 제1 특징점(feature point)들을 검출하는 단계;
상기 제2 입력 영상에 기초하여 복수의 제2 특징점들을 검출하는 단계; 및
상기 복수의 제1 특징점들 및 상기 복수의 제2 특징점들에 기초하여 상기 복수의 대응점들을 획득하는 단계를 포함하며,
상기 복수의 제1 특징점들을 검출하는 단계는,
상기 제1 입력 영상에 기초하여 복수의 제1 최초 키포인트(key point)들을 추정하는 단계;
상기 제1 입력 영상을 다운 스케일(down-scale)하여 발생된 제1 다운 스케일 영상에 기초하여 복수의 제1 표현자(descriptor)들을 발생하는 단계; 및
상기 복수의 제1 최초 키포인트들과 상기 복수의 제1 표현자들을 대응시켜 상기 복수의 제1 특징점들을 획득하는 단계를 포함하고,
상기 제1 다운 스케일 영상은 상기 복수의 제1 최초 키포인트들에 대응하는 복수의 제1 다운 스케일 키포인트들을 포함하고, 각 제1 표현자는 각 제1 최초 키포인트 및 각 제1 다운 스케일 키포인트의 특성을 나타내고, 하나의 제1 표현자는 하나의 제1 최초 키포인트 및 하나의 제1 다운 스케일 키포인트에 대응하며,
상기 복수의 대응점들을 획득하는 단계는,
상기 복수의 제1 특징점들 내의 상기 복수의 제1 표현자들 중 하나를 선택하는 단계;
상기 선택된 제1 표현자와 상기 복수의 제2 특징점들 내의 복수의 제2 표현자들 사이의 유사도를 비교하여, 상기 복수의 제2 표현자들 중 상기 선택된 제1 표현자와 유사도가 가장 높은 하나를 선택하는 단계; 및
상기 복수의 제1 특징점들 내의 상기 복수의 제1 최초 키포인트들 중 상기 선택된 제1 표현자에 대응하는 하나의 제1 최초 키포인트 및 상기 복수의 제2 특징점들 내의 복수의 제2 최초 키포인트들 중 상기 선택된 제2 표현자에 대응하는 하나의 제2 최초 키포인트를 상기 복수의 대응점들 중 하나로 설정하는 단계를 포함하는 영상 처리 방법.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180124329A KR102528453B1 (ko) | 2018-10-18 | 2018-10-18 | 영상 내의 특징 추출 방법, 이를 이용하는 영상 매칭 방법 및 영상 처리 방법 |
| US16/428,046 US11295159B2 (en) | 2018-10-18 | 2019-05-31 | Method of extracting features from image, method of matching images using the same and method of processing images using the same |
| TW108123229A TWI798459B (zh) | 2018-10-18 | 2019-07-02 | 提取特徵之方法、圖像匹配之方法以及處理圖像之方法 |
| CN201910859247.1A CN111079770A (zh) | 2018-10-18 | 2019-09-11 | 提取特征的方法、图像匹配的方法、及处理图像的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180124329A KR102528453B1 (ko) | 2018-10-18 | 2018-10-18 | 영상 내의 특징 추출 방법, 이를 이용하는 영상 매칭 방법 및 영상 처리 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200043680A KR20200043680A (ko) | 2020-04-28 |
| KR102528453B1 true KR102528453B1 (ko) | 2023-05-02 |
Family
ID=70279578
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180124329A KR102528453B1 (ko) | 2018-10-18 | 2018-10-18 | 영상 내의 특징 추출 방법, 이를 이용하는 영상 매칭 방법 및 영상 처리 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11295159B2 (ko) |
| KR (1) | KR102528453B1 (ko) |
| CN (1) | CN111079770A (ko) |
| TW (1) | TWI798459B (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11189000B2 (en) * | 2019-06-24 | 2021-11-30 | Intel Corporation | Architecture to generate binary descriptor for image feature point |
| CN113743418B (zh) * | 2020-05-28 | 2024-04-26 | 中科寒武纪科技股份有限公司 | 图像中特征点的描述子的生成方法、装置和存储介质 |
| CN113537392B (zh) * | 2021-08-06 | 2023-10-03 | 数贸科技（北京）有限公司 | 相似图像的识别方法、装置、计算设备及计算机存储介质 |
| CN114119686A (zh) * | 2021-11-24 | 2022-03-01 | 刘文平 | 空间布局相似计算的多源遥感影像配准方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101752742B1 (ko) * | 2015-12-29 | 2017-06-30 | 서울대학교산학협력단 | 가우시안 스케일 공간 생성 단순화를 기반으로 한 특징점 추출 방법 및 장치 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100776134B1 (ko) * | 2005-12-23 | 2007-11-15 | 매그나칩 반도체 유한회사 | 이미지 센서 및 이미지 밝기 분포 조절방법 |
| US7945576B2 (en) | 2007-05-29 | 2011-05-17 | Microsoft Corporation | Location recognition using informative feature vocabulary trees |
| TWI459821B (zh) * | 2007-12-31 | 2014-11-01 | Altek Corp | Identification device of image feature pixel and its identification method |
| US8385971B2 (en) * | 2008-08-19 | 2013-02-26 | Digimarc Corporation | Methods and systems for content processing |
| US8363973B2 (en) | 2008-10-01 | 2013-01-29 | Fuji Xerox Co., Ltd. | Descriptor for image corresponding point matching |
| US8712109B2 (en) | 2009-05-08 | 2014-04-29 | Microsoft Corporation | Pose-variant face recognition using multiscale local descriptors |
| US20120082372A1 (en) | 2010-10-01 | 2012-04-05 | Siemens Corporation | Automatic document image extraction and comparison |
| US20120182442A1 (en) * | 2011-01-14 | 2012-07-19 | Graham Kirsch | Hardware generation of image descriptors |
| KR101913336B1 (ko) * | 2011-10-06 | 2018-10-31 | 삼성전자주식회사 | 이동 장치 및 그 제어 방법 |
| US9805282B2 (en) * | 2011-11-18 | 2017-10-31 | Nec Corporation | Local feature descriptor extracting apparatus, method for extracting local feature descriptor, and program |
| KR101954395B1 (ko) | 2012-01-02 | 2019-03-05 | 텔레콤 이탈리아 소시에떼 퍼 아찌오니 | 이미지 분석을 위한 방법 및 시스템 |
| KR101912748B1 (ko) | 2012-02-28 | 2018-10-30 | 한국전자통신연구원 | 확장성을 고려한 특징 기술자 생성 및 특징 기술자를 이용한 정합 장치 및 방법 |
| CN104541290A (zh) * | 2012-07-23 | 2015-04-22 | Metaio有限公司 | 提供图像特征描述符的方法 |
| KR101491461B1 (ko) * | 2013-08-02 | 2015-02-23 | 포항공과대학교 산학협력단 | 공분산 기술자를 이용하는 물체 인식 방법 및 장치 |
| KR101454692B1 (ko) | 2013-11-20 | 2014-10-27 | 한국과학기술원 | 객체 추적장치 및 그 방법 |
| KR102209008B1 (ko) * | 2014-02-17 | 2021-01-28 | 삼성전자주식회사 | 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법 |
| KR101581112B1 (ko) | 2014-03-26 | 2015-12-30 | 포항공과대학교 산학협력단 | 계층적 패턴 구조에 기반한 기술자 생성 방법 및 이를 이용한 객체 인식 방법과 장치 |
| JP6334735B2 (ja) * | 2014-05-06 | 2018-05-30 | ナント・ホールデイングス・アイ・ピー・エル・エル・シー | エッジベクトルを利用した画像特徴検出 |
| US9524432B1 (en) | 2014-06-24 | 2016-12-20 | A9.Com, Inc. | Fast interest point extraction for augmented reality |
| KR102251960B1 (ko) | 2015-01-15 | 2021-05-14 | 삼성전자주식회사 | 이미지 분석 방법과 이를 수행하는 전자 장치 및 서버 |
| JP6393230B2 (ja) | 2015-04-20 | 2018-09-19 | 株式会社日立製作所 | オブジェクト検出方法及び画像検索システム |
| US9754182B2 (en) * | 2015-09-02 | 2017-09-05 | Apple Inc. | Detecting keypoints in image data |
| CN105354248B (zh) * | 2015-10-19 | 2019-03-26 | 南通大学 | 基于灰度的分布式图像底层特征识别方法及系统 |
| KR20180087994A (ko) * | 2017-01-26 | 2018-08-03 | 삼성전자주식회사 | 스테레오 매칭 방법 및 영상 처리 장치 |
| CN107239780A (zh) * | 2017-04-29 | 2017-10-10 | 安徽慧视金瞳科技有限公司 | 一种多特征融合的图像匹配方法 |
-
2018
- 2018-10-18 KR KR1020180124329A patent/KR102528453B1/ko active IP Right Grant
-
2019
- 2019-05-31 US US16/428,046 patent/US11295159B2/en active Active
- 2019-07-02 TW TW108123229A patent/TWI798459B/zh active
- 2019-09-11 CN CN201910859247.1A patent/CN111079770A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101752742B1 (ko) * | 2015-12-29 | 2017-06-30 | 서울대학교산학협력단 | 가우시안 스케일 공간 생성 단순화를 기반으로 한 특징점 추출 방법 및 장치 |
Non-Patent Citations (1)
| Title |
|---|
| 류권열 저, ‘다중 스케일 영상 공간에서 특징점 클러스터를 이용한 영상 스케일 예측,’ 한국융합신호처리학회 논문지 Vol. 19, No. 1 : 1~6 March. 2018 (2018.03.01.) |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200043680A (ko) | 2020-04-28 |
| US20200125884A1 (en) | 2020-04-23 |
| US11295159B2 (en) | 2022-04-05 |
| CN111079770A (zh) | 2020-04-28 |
| TWI798459B (zh) | 2023-04-11 |
| TW202016793A (zh) | 2020-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102528453B1 (ko) | 영상 내의 특징 추출 방법, 이를 이용하는 영상 매칭 방법 및 영상 처리 방법 | |
| US10303973B2 (en) | Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data | |
| WO2021236296A1 (en) | Maintaining fixed sizes for target objects in frames | |
| US20160286138A1 (en) | Apparatus and method for stitching panoramaic video | |
| WO2022083504A1 (en) | Machine-learning model, methods and systems for removal of unwanted people from photographs | |
| US20180012341A1 (en) | Distortion rectification method and terminal | |
| CN116324878A (zh) | 针对图像效果的分割 | |
| KR102383129B1 (ko) | 이미지에 포함된 오브젝트의 카테고리 및 인식률에 기반하여 이미지를 보정하는 방법 및 이를 구현한 전자 장치 | |
| KR20140015892A (ko) | 영상 정합 장치 및 방법 | |
| US20220108470A1 (en) | Method and system for monocular depth estimation of persons | |
| CN108229281B (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
| CN114390186B (zh) | 视频拍摄方法及电子设备 | |
| US9117110B2 (en) | Face detection-processing circuit and image pickup device including the same | |
| CN115049819A (zh) | 注视区域识别方法及装置 | |
| CN111080683A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US20210235009A1 (en) | Method of automatically photographing an image, image processing device and image processing system performing the same | |
| CN112150351A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| Al-Rawashdeh et al. | Creating color image features using local contrast method | |
| CN114841863A (zh) | 一种图像颜色校正方法和设备 | |
| TWI696981B (zh) | 使用紅外線攝影機的互動影像處理系統 | |
| WO2022041506A1 (zh) | 一种图像深度估计方法、终端设备及计算机可读存储介质 | |
| TWI696149B (zh) | 使用深度引擎的互動影像處理方法、裝置及媒體 | |
| TWI696980B (zh) | 使用深度引擎和數位訊號處理器的互動影像處理方法、裝置及媒體 | |
| JP2011259044A (ja) | 画像処理装置、方法 | |
| CN116883305A (zh) | 全景图像拼接方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |