KR101524548B1 - 영상 정합 장치 및 방법 - Google Patents
영상 정합 장치 및 방법 Download PDFInfo
- Publication number
- KR101524548B1 KR101524548B1 KR1020120081969A KR20120081969A KR101524548B1 KR 101524548 B1 KR101524548 B1 KR 101524548B1 KR 1020120081969 A KR1020120081969 A KR 1020120081969A KR 20120081969 A KR20120081969 A KR 20120081969A KR 101524548 B1 KR101524548 B1 KR 101524548B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- matching
- images
- minutiae
- points
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000009466 transformation Effects 0.000 claims abstract description 60
- 239000011159 matrix material Substances 0.000 claims abstract description 54
- 230000033001 locomotion Effects 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims description 16
- 239000006185 dispersion Substances 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000002547 anomalous effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 영상 정합 장치 및 방법에 관한 것으로, 보다 상세하게는 영상 정합의 성공 또는 실패를 판단할 수 있는 영상 정합 장치 및 방법에 관한 것이다. 영상 정합 방법은 제1 카메라로 촬영된 제1 영상 및 제2 카메라로 촬영된 제2 영상 각각의 특징점을 추출하는 단계, 특징점 정보들을 이용하여 제1 및 제2 영상간 매칭을 수행하는 단계, 제1 영상의 특징점 및 제2 영상의 특징점 매칭의 대응 관계로서, 회전정보, 평행이동 정보 및 크기 변환정보를 포함하고 있는 변환행렬을 추정하는 단계, 변환행렬의 분산값을 계산하는 단계 및 분산값 계산 결과에 따라 제1 및 제2 영상 정합 결과의 성공 또는 실패를 판단하는 단계를 포함한다.
Description
본 발명은 영상 정합 장치 및 방법에 관한 것으로, 보다 상세하게는 영상 정합의 성공 또는 실패를 판단할 수 있는 영상 정합 장치 및 방법에 관한 것이다.
최근 감시 시스템과 의료 영상 등의 분야에서 변화 감지, 움직임 검출, 초해상도 영상 복원 및 물체 인식과 추적 등의 알고리즘에 대한 정확도와 신뢰도를 향상시키기 위해 두 개 이상의 센서를 이용한 상호 보완적인 정보 융합 연구가 활발히 이루어 지고 있다. 이를 위해서는 영상정합 과정이 필수적이다. 영상 정합은 같은 장면에 대한 두 개 이상의 영상들을 하나의 좌표계로 정렬시켜주는 과정으로서, 정합의 대상이 되는 영상으로는 시차를 두어 획득한 영상, 서로 다른 시점에서 획득한 영상, 혹은 서로 다른 센서로부터 획득된 영상이 있다.
영상 정합 시에 두 영상으로부터 각각 특징점을 추출하고, 특징점의 매칭을 통해 영상 정합을 수행하는데, 특징점 매칭의 대응관계를 나타내는 변환행렬 추정이 필수적이다. 정확한 변환행렬 추정이 영상 정합 결과의 좋고 나쁨을 좌우하게 되는데, 현재 영상 정합에서는 정확한 변환 행렬이 추정되었는지 확인할 수 없고, 추정된 변환행렬을 통한 영상 정합 결과가 성공적인지 여부를 알 수 없는 문제점이 있다.
본 발명이 해결하고자 하는 기술적인 과제는 영상 정합을 위해 추정된 변환행렬의 분산값을 이용하여 영상 정합 결과의 성공 또는 실패를 판단할 수 있는 영상 정합 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 영상 정합 방법은 동일한 피사체에 대하여 제1 카메라로 촬영된 제1 영상 및 제2 카메라로 촬영된 제2 영상 각각의 특징점을 추출하는 단계; 상기 특징점 정보들을 이용하여 상기 제1 및 제2 영상간 매칭을 수행하는 단계; 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점 매칭의 대응 관계로서, 회전정보, 평행이동 정보 및 크기 변환정보를 포함하고 있는 변환행렬을 추정하는 단계; 상기 변환행렬의 분산값을 계산하는 단계; 및 상기 분산값 계산 결과에 따라 상기 제1 및 제2 영상의 정합 성공 또는 실패를 판단하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제1 및 제2 영상간 매칭을 수행하는 단계에서, 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점이 잘못 매칭된 이상점(outliers) 및 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점이 적합하게 매칭된 적합점(inliers)를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 변환행렬 추정 단계는, RANSAC 알고리즘에 의해 수행 되며, N회 반복되는 것을 특징으로 한다.
본 발명에 있어서, 상기 변환행렬 추정 단계에서, 상기 적합점의 개수가 가장 많은 상위 m개의 변환행렬을 추정 결과로 출력하는 것을 특징으로 한다.
본 발명에 있어서, 상기 분산값을 계산하는 단계에서, 상기 m개 변환행렬의 성분들 중, 상기 평행이동 정보를 나타내는 성분의 분산값을 계산하는 것을 특징으로 한다.
본 발명에 있어서, 상기 영상 정합의 정합 또는 실패를 판단하는 단계에서, 상기 분산값이 임계값 이하인 경우 정합 성공을 판단하고, 그 이외의 경우 정합 실패를 판단하는 것을 특징으로 한다.
본 발명에 있어서, 상기 매칭의 실패 판단 시에, 상기 일련의 단계를 재 수행하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 영상 정합 장치는 제1 카메라; 제2 카메라; 및 동일한 피사체에 대하여 상기 제1 및 제2 카메라로 촬영된 제1 및 제2 영상 각각의 특징점 추출하여 매칭하고, 상기 제1 및 제2 영상의 특징점 매칭 대응 관계인 변환행렬을 추정하여 상기 변환행렬의 분산값 계산 결과에 따라 상기 제1 및 제2 영상 정합 결과의 성공 또는 실패를 판단하는 정합부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 정합부는, 제1 카메라로 촬영된 제1 영상 및 제2 카메라로 촬영된 제2 영상 각각의 특징점을 추출하는 특징점 추출부; 상기 특징점 정보들을 이용하여 상기 제1 및 제2 영상간 매칭을 수행하는 매칭부; 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점 매칭의 대응 관계로서, 회전정보, 평행이동 정보 및 크기 변환정보를 포함하고 있는 변환행렬을 추정하는 변환행렬 추정부; 상기 변환행렬의 분산값을 계산하는 분산값 계산부; 및 상기 분산값이 임계값 이하이면 상기 제1 및 제2 영상의 정합 성공을 판단하고, 그 이외의 경우 상기 제1 및 제2 영상의 정합 실패를 판단하는 판단부;를 포함하는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 영상 정합 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체는 동일한 피사체에 대하여 제1 카메라로 촬영된 제1 영상 및 제2 카메라로 촬영된 제2 영상 각각의 특징점을 추출하는 단계; 상기 특징점 정보들을 이용하여 상기 제1 및 제2 영상간 매칭을 수행하는 단계; 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점 매칭의 대응 관계로서, 회전정보, 평행이동 정보 및 크기 변환정보를 포함하고 있는 변환행렬을 추정하는 단계; 상기 변환행렬의 분산값을 계산하는 단계; 및 상기 분산값 계산 결과에 따라 상기 제1 및 제2 영상 정합 결과의 성공 또는 실패를 판단하는 단계;를 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따르면, 영상 정합을 위해 추정된 변환행렬의 분산값을 이용하여 영상 정합 결과의 성공 또는 실패를 판단하여, 영상 정합의 신뢰성을 향상시킬 수 있다.
도 1은 본 발명에 따른 영상 정합 장치의 구성을 보이는 블록도 이다.
도 2는 도 1 중 제1 및 제2 카메라로부터 촬영된 제1 및 제2 영상을 보이는 도면이다.
도 3은 도 1 중 제1 및 제2 영상의 특징점 추출을 보이는 도면이다.
도 4는 도 1 중 제1 및 제2 영상의 특징점 매칭을 보이는 도면이다.
도 5 및 도 6은 도 1 중 N개의 변환행렬 추정 및 분산 계산 결과를 보이는 도면이다.
도 7은 도 1 중 영상 정합 성공 또는 실패 영상을 보이는 도면이다.
도 8은 본 발명의 실시 예에 따른 영상 정합 방법의 동작을 보이는 흐름도 이다.
도 2는 도 1 중 제1 및 제2 카메라로부터 촬영된 제1 및 제2 영상을 보이는 도면이다.
도 3은 도 1 중 제1 및 제2 영상의 특징점 추출을 보이는 도면이다.
도 4는 도 1 중 제1 및 제2 영상의 특징점 매칭을 보이는 도면이다.
도 5 및 도 6은 도 1 중 N개의 변환행렬 추정 및 분산 계산 결과를 보이는 도면이다.
도 7은 도 1 중 영상 정합 성공 또는 실패 영상을 보이는 도면이다.
도 8은 본 발명의 실시 예에 따른 영상 정합 방법의 동작을 보이는 흐름도 이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명에 따른 영상 정합 장치(10)의 구성을 보이는 블록도 이다.
도 1을 참조하면, 영상 정합 장치(10)는 제1 카메라(100), 제2 카메라(200), 영상 처리부(300) 및 정합부(400)를 포함한다.
제1 카메라(100) 및 제2 카메라(200)는, 예컨대 COMS(complementary metal-oxide semiconductor) 모듈 또는 CCD(charge coupled device) 모듈 등을 이용하여 피사체를 촬영하는 좌측 카메라 및 우측 카메라를 의미하는 것으로, 동일한 피사체에 대하여 입력되는 제1 및 제2 이미지(또는 동영상)는 렌즈를 통해 COMS 모듈 또는 CCD 모듈로 제공되고, COMS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(촬영 신호)로 변환하여 출력한다. 더 나아가 제1 카메라(100) 또는 제2 카메라(200) 중 어느 하나는 열상 카메라 일 수도 있다. 열상 카메라는 각 물체로부터 방출되는 복사 에너지에 의해 물체와 그 물체의 주변 배경 간의 온도 차이를 검출하고 이를 전기 신호로 변환하여 영상화하는 카메라를 말한다.
영상 처리부(300)는 제1 카메라(100) 및 제2 카메라(200)로부터 출력되는 제1 및 제2 영상 신호에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행한다.
또한, 영상 처리부(300)는 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식을 포함한다.
또한, 영상 처리부(300)에서는 기능적으로 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다.
정합부(400)는 제1 카메라(100)로 촬영된 제1 영상 및 제2 카메라(200)로 촬영된 제2 영상 각각의 특징점 추출하고, 특징점 정보들을 이용하여 제1 및 제2 영상을 매칭하며, 제1 및 제2 영상의 특징점 매칭 대응 관계인 변환행렬을 추정하여 변환행렬의 분산값 계산 결과에 따라 제1 및 제2 영상 정합 결과의 성공 또는 실패를 판단한다.
이러한 정합부(400)는 특징점 추출부(410), 특징점 매칭부(420), 변환행렬 추정부(430), 분산값 계산부(440) 및 판단부(450)를 포함한다.
특징점 추출부(410)는 제1 카메라(100)로 촬영된 제1 영상 및 제2 카메라(200)로 촬영된 제2 영상으로부터 각각의 특징점을 추출한다. 특징점 추출부(410)는 SHIF 알고리즘 또는 HARRIS 알고리즘을 이용하여 제1 및 제2 영상으로부터 특징점(예를 들어, 모서리(corner))를 추출한다.
영상의 특징점을 추출하는 대표적인 알고리즘으로서의 SIFT는 <D. G. Lowe, "Distinctive image features from scale-invariant key points" Int. J. Comput. Vision 60 (2), 91-110, 2004>에서 Lowe에 의해 제안되었다.
SIFT 알고리즘에 의해 추출된 특징점들은 영상의 스케일, 회전, 왜곡, 삼차원 관점 변화 등에 의해 영향을 받지 않는 좋은 특성을 가진다. SIFT 알고리즘은 먼저, 디지털 영상에 대하여 가우시안 필터를 이용하여 레벨을 변화시키며 단계적으로 블러링(blurring) 작업을 수행한다. 이때 영상의 스케일(scale)를 변화시키며 블러링 작업을 반복한다. 다음에, 동일한 스케일에서 단계적으로 블러링된 영상들 간의 가우시안 차(DOG, difference of Gaussian)를 계산한다. 다음에, 계산된 가우시안 차에 기초하여 소정의 기준에 따라 특징점을 선택한다. 다음에, 원래 영상에서 모든 픽셀들의 그라디언트(gradient)를 계산하여 그라디언트 맵을 생성한다. 다음에, 그라디언트 맵을 이용하여 선택된 특징점들의 디스크립터(descriptor)를 계산한다. 마지막으로, 최종적인 특징점 데이터를 생성한다. 여기서, 특징점 데이터는 특징점의 좌표 및 해당 특징점의 디스크립터를 포함한다.
영상의 특징점을 추출하는 대표적인 알고리즘으로서의 Harris 알고리즘은 Chris Harris 와 Mike Stephens에 의하여 <A Combined Corner and Edge Detector Proceedings of the Fourth Alvey Vision Conference, Manchester, pp 147-151,1988>으로 소개되었다. 이 알고리즘은 이미지 안에서 에지(Edge)나 플레이트(flat)가 아닌 코너를 찾는 알고리즘 이다.
Harris 알고리즘은 기본적으로 영상 내에 상하 좌우로 움직이는 윈도우가 존재하며 이 윈도우 내의 화소값의 변화를 분석하여 코너점을 찾은 방식으로 구현된다. 영상 내 객체의 밝기값 변화가 없다면 윈도우를 상하 좌우 방향으로 움직여도 화소값의 변화량은 없을 것이다. 하지만 좌우로 이동하면서 상하방향으로 존재하는 영상의 경계선을 만났을 경우 당연히 좌우 방향으로 움직이는 윈도우 내의 화소값에는 큰 변화가 생기지만 상하 방향으로 움직이는 윈도우에 대해서는 화소값의 변화가 없을 것이다. 그럼 이 윈도우가 좌우방향뿐만 아니라, 상하 방향으로도 움직인다고 생각하면 상하 방향으로 움직이는 동안 분명히 화소값의 변화가 큰 지점을 지나가게 될 것이다. 즉, 이점이 최종적인 코너점이 되는 것이다. 코너점은 영상이 회전하여도 같은 위치로 찾아지는 장점이 있다.
도 2a에는 제1 카메라(100)가 촬영한 제1 영상이 도시되어 있고, 도 2b에는 제2 카메라(200)가 촬영한 제2 영상이 도시되어 있다. 도 3에는 도 2에 도시된 제1 및 제2 영상에 대하여 특징점 추출부(410)가 특징점을 추출하여 표시한 예가 도시되어 있다.
특징점 매칭부(420)는 제1 영상 및 제2 영상의 특징점을 매칭한다. 특징점 매칭부(420)는 제1 영상의 특징점에 대한 제2 영상에서 매칭점을 찾을 때, 탐색 영역을 설정하여 이 영역 내에서 먼저 후보 특징을 찾고 이들 중 가장 유사도가 큰 것을 선택하여 매칭 대상으로 결정하는 방법을 사용할 수 있다.
도 4에는 제1 영상의 특징점들과 제2 영상의 특징점들을 매칭한 결과를 보여준다. 이와 같은 특징점 매칭 결과, 제1 영상의 특징점 및 상기 제2 영상의 특징점이 잘못 매칭된 이상점(outliers)과 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점이 적합하게 매칭된 적합점(inliers)을 포함하고 있다.
이와 같이 특징점 매칭부(420)의 특징점 매칭은 제1 영상 및 제2 영상에서 추출한 특징점들의 정보를 이용하여 제1 영상 및 제2 영상 사이에 일치하는 특징점들을 매칭시킴으로써 제1 및 제2 영상을 연결에 주는 과정이라 할 수 있다.
변환행렬 추정부(430)는 제1 및 제2 영상의 특징점 매칭의 대응 관계인 변환행렬(homography, H)을 추정한다. 제1 및 제2 영상의 특징점 매칭 결과에는 이상점들이 포함되어, 이들은 영상 정합 성능의 정확도를 저하시킨다. 따라서 이러한 이상점들을 제거하고 변환행렬(H)을 구해야 영상 정합 성능의 정확도를 향상시킬 수 있다. 이러한 변환행렬(H) 추정은 RANSAC(random sample consensus) 알고리즘을 이용하여 수행될 수 있는데, 제1 및 제2 영상의 특징점 매칭 결과로부터, 매칭된 특징점들을 랜덤하게 선택하여 변환행렬(H)을 계산한 후, 나머지 매칭된 특징점들이 계산된 변환행렬(H)에 적합한지 검사한다. 여기서 랜덤하게 선택되는 매칭된 특징점들은, 변환행렬을 정의할 수 있는 최소한의 매칭된 특징점의 개수로, 예를 들어 4개일 수 있다. 제1 및 제2 영상에서 매칭된 특징점들을 {
}라고 하면, 특징점 매칭의 대응 관계인 변환행렬(H)은 다음 수학식 1과 같이 표현될 수 있다.
이러한 변환행렬(H)의 각 성분(h1-h9)은 어떤 회전각으로 회전할지를 나타내는 회전(rotation) 정보, x, y, z 방향으로 얼마만큼 이동할지를 나타내는 평행이동(translation) 정보 및 x, y, z 방향으로 각각 얼마만큼 크기를 변화시킬지를 나타내는 크기 변환(scaling)정보를 포함하고 있다.
본 실시 예에서, 변환행렬 추정부(430)는 N 회 예를 들어, 5회(H(1)-H(5))의 변환행렬을 추정하는데, 도 5에는 5회의 변환행렬(H(1)-H(5))추정 결과의 실 예를 보여주고 있다.
분산값 계산부(440)는 5회 변환행렬(H(1)-H(5))의 분산값을 계산한다. 여기서 정합 성공률이 높은 영상은 변환행렬들(H(1)-H(5))이 유사하기 때문에 분산값이 작게 되고, 정합 성공률이 낮은 영상은 변환행렬들(H(1)-H(5))이 차이가 크기 때문에 분산값이 큼을 알 수 있다.
여기서, 분산값 계산부(440)는 5회 변환행렬들(H(1)-H(5)) 중 적합점(inlier)의 개수가 가장 많은 상위 m개, 예를 들어 3개의 변환행렬에 대해 분산값을 계산한다. 그 이유에 대해서는 하기에 설명하도록 한다. 도 5에는 5개의 변환행렬에 대하여 적합점의 개수가 가장 많은 즉, 38개인 상위 3개를 별도로 표시하고 있다.
또한 분산값 계산부(440)는 적합점의 개수가 가장 많은 상위 m개의 변환행렬의 성분 중 평행이동 정보를 포함하고 있는 성분, h3 및 h6 성분에 대한 분산값을 계산한다. h3 및 h6 성분은 제1 또는 제2 영상 중 어느 한 영상을 기준영상으로 하여 상기 기준영상의 좌표로 상기 나머지 영상을 정렬 시에 각각 x, y 좌표를 이동시키는 평행이동 정보를 포함하고 있으며, 이 평행이동 정보를 이용하여 분산값 계산 시에 더 정확한 영상 정합 성공률을 판단할 수 있다.
판단부(450)는 계산된 분산값을 임계값과 비교하여 영상 정합 성공 또는 실패를 판단한다. 여기서 임계값은 예를 들어 3일 수 있다. 판단부(450)는 h3 및 h6 성분의 분산값 각각이 임계값 보다 작은 경우 영상 정합 성공을 판단하고, 해당 정합된 영상을 출력한다. 그러나, h3 및 h6 성분의 분산값이 임계값 보다 작지 않은 경우, 또는 h3 또는 h6 성분의 분산값이 임계값 보다 작지 않은 경우, 영상 정합 실패를 판단하고, 특징점 추출, 매칭, 변환행렬 추정, 분산값 계산 및 판단의 과정을 다시 수행한다.
다음에, 분산값 계산부(440)는 변환행렬들(H(1)-H(5)) 중 적합점(inlier)의 개수가 가장 많은 상위 m개, 예를 들어 3개에 대해 분산값을 계산하는데, 도 6에 도시된 바와 같이 상위 3개 변환행렬 H(1), H(3) 및 H(5)의 분산값 계산 결과 h3 및 h6 성분의 분산값은 모두 임계값 보다 작음을 알 수 있다. 그러나, 변환행렬들(H(1)-H(5))의 분산값 결과 h3 및 h6 성분의 분산값은 모두 임계값 보다 큼을 알 수 있다. 이로부터 판단부(450)는 상위 3개 변환행렬 H(1), H(3) 및 H(5)의 분산값으로부터 정합 성공을 판단하였으나, 5개의 변환행렬들(H(1)-H(5))의 분산값으로부터 정합 실패를 판단하여, 결과적으로 상위 m개의 변환행렬들에 대한 분산값을 이용하게 되면 영상 정합 성공의 검출율을 향상시킬 수 있게 되고, 처리속도도 빨라진다.
도 7a에는 변환행렬(H)의 분산값이 임계값 보다 작아 정합 성공을 판단한 도면이 도시되어 있고, 도 7b에는 변환행렬(H)의 분산값이 임계값 보다 작지않아 정합 실패를 판단한 도면이 도시되어 있다. 도 7a의 영상은 정합 결과 영상으로 출력될 수 있으나, 도 7b 영상은 정합 결과 영상으로 출력될 수 없고, 정합과정을 다시 수행해야 한다.
이와 같이 영상 정합을 위해 추정된 변환행렬의 분산값을 이용하여 영상 정합의 성공 또는 실패를 판단하여, 영상 정합의 신뢰성을 향상시킬 수 있게 된다.
도 8은 본 발명의 실시 예에 따른 영상 정합 방법의 동작을 보이는 흐름도 이다. 이하의 설명에서 도 1 내지 도 7에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 8을 참조하면, 영상 정합 장치(10)는 제1 카메라(100)로 촬영된 제1 영상 및 제2 카메라(200)로 촬영된 제2 영상으로부터 각각의 특징점을 추출하는 단계(S10)를 수행한다. 제1 및 제2 영상의 특징점 추출은 SHIF 알고리즘 또는 HARRIS 알고리즘을 이용하여 특징점(예를 들어, 모서리(corner))를 추출할 수 있다.
제1 및 제2 영상으로부터 특징점 추출이 완료되면, 영상 정합 장치(10)는 제1 영상 및 제2 영상의 특징점을 매칭하는 단계(S20)를 수행한다. 영상 정합 장치(10)는 제1 영상의 특징점에 대한 제2 영상에서 매칭점을 찾을 때, 탐색 영역을 설정하여 이 영역 내에서 먼저 후보 특징을 찾고 이들 중 가장 유사도가 큰 것을 선택하여 매칭 대상으로 결정하는 방법을 사용할 수 있다. 특징점 매칭 결과, 제1 영상의 특징점 및 상기 제2 영상의 특징점이 잘못 매칭된 이상점(outliers)과 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점이 적합하게 매칭된 적합점(inliers)을 포함하고 있다.
특징점 매칭이 완료되면, 영상 정합 장치(10)는 제1 영상의 특징점 및 상기 제2 영상의 특징점 매칭의 대응 관계로서, 변환행렬(H)을 추정하는 단계(S30)를 수행한다. 변환행렬(H)의 추정은 RANSAC 알고리즘을 이용하여 수행될 수 있으며, 추정된 변환행렬(H)의 각 성분(h1-h9)은 어떤 회전각으로 회전할지를 나타내는 회전(rotation) 정보, x, y, z 방향으로 얼마만큼 이동할지를 나타내는 평행이동(translation) 정보 및 x, y, z 방향으로 각각 얼마만큼 크기를 변화시킬지를 나타내는 크기 변환(scaling)정보를 포함하고 있다. 본 실시 예에서, 변환행렬의 추정은 N 회 예를 들어, 5회(H(1)-H(5))의 변환행렬을 추정한다.
변환행렬(H) 추정이 완료되면, 영상 정합 장치(10)는 5회 변환행렬(H(1)-H(5))의 분산값을 계산하는 단계(S40)를 수행한다. 분산값 계산 시에 5회 변환행렬들(H(1)-H(5)) 중 적합점(inlier)의 개수가 가장 많은 상위 m개, 예를 들어 3개의 변환행렬에 대해 분산값을 계산한다. 더 나아가 분산값 계산 시에 적합점의 개수가 가장 많은 상위 m개의 변환행렬의 성분 중 평행이동 정보를 포함하고 있는 성분, h3 및 h6 성분에 대한 분산값을 계산한다.
분산값 계산이 완료되면, 영상 정합 장치(10)는 계산된 분산값을 임계값 예를 들어, 3과 비교하여 영상 정합 성공 또는 실패를 판단하는 단계(S50)를 수행한다. 영상 정합 장치(10)는 h3 및 h6 성분의 분산값 각각이 임계값 보다 작은 경우 영상 정합 성공을 판단하고, 해당 정합된 영상을 출력한다. 그러나, h3 및 h6 성분의 분산값이 임계값 보다 작지 않은 경우, 또는 h3 또는 h6 성분의 분산값이 임계값 보다 작지 않은 경우, 영상 정합 실패를 판단하고, 특징점 추출, 매칭, 변환행렬 추정, 분산값 계산 및 판단의 과정을 다시 수행한다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.
100: 제1 카메라 200: 제2 카메라
300: 영상 처리부 400: 정합부
410: 특징점 추출부 420: 특징점 매칭부
430: 변환행렬 추정부 440: 분산값 계산부
450; 판단부
300: 영상 처리부 400: 정합부
410: 특징점 추출부 420: 특징점 매칭부
430: 변환행렬 추정부 440: 분산값 계산부
450; 판단부
Claims (10)
- 동일한 피사체에 대하여 제1 카메라로 촬영된 제1 영상 및 제2 카메라로 촬영된 제2 영상 각각의 특징점을 추출하는 단계;
상기 특징점 정보들을 이용하여 상기 제1 및 제2 영상간 매칭을 수행하여 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점이 잘못 매칭된 이상점(outliers) 및 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점이 적합하게 매칭된 적합점(inliers)을 생성하는 단계;
상기 제1 영상의 특징점 및 상기 제2 영상의 특징점 매칭의 대응 관계로서, 회전정보, 평행이동 정보 및 크기 변환정보를 포함하고 있는 변환행렬을 N회 추정하는 단계;
상기 N회 변환행렬 추정 결과로부터 상기 적합점의 개수가 가장 많은 상위 m개의 변환행렬의 성분들 중 상기 평행이동 정보를 나타내는 성분에 대한 분산값을 계산하는 단계; 및
상기 분산값이 임계값 이하이면 상기 제1 및 제2 영상의 정합 성공을 판단하고, 그 이외의 경우 상기 제1 및 제2 영상의 정합 실패를 판단하는 단계;를 포함하는 것을 특징으로 하는 영상 정합 방법. - 삭제
- 제 1항에 있어서,
상기 변환행렬을 N회 추정하는 단계는, RANSAC 알고리즘에 의해 수행되는 것을 특징으로 하는 영상 정합 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 제1 카메라;
제2 카메라;
상기 제1 카메라로 촬영된 제1 영상 및 상기 제2 카메라로 촬영된 제2 영상 각각의 특징점을 추출하는 특징점 추출부;
상기 특징점 정보들을 이용하여 상기 제1 및 제2 영상간 매칭을 수행하여 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점이 잘못 매칭된 이상점(outliers) 및 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점이 적합하게 매칭된 적합점(inliers)을 생성하는 매칭부;
상기 제1 영상의 특징점 및 상기 제2 영상의 특징점 매칭의 대응 관계로서, 회전정보, 평행이동 정보 및 크기 변환정보를 포함하고 있는 변환행렬을 N회 추정하는 변환행렬 추정부;
상기 N회 변환행렬 추정 결과로부터 상기 적합점의 개수가 가장 많은 상위 m개의 변환행렬의 성분들 중 상기 평행이동 정보를 나타내는 성분에 대한 분산값을 계산하는 분산값 계산부; 및
상기 분산값이 임계값 이하이면 상기 제1 및 제2 영상의 정합 성공을 판단하고, 그 이외의 경우 상기 제1 및 제2 영상의 정합 실패를 판단하는 판단부;를 포함하는 것을 특징으로 하는 영상 정합 장치. - 삭제
- 동일한 피사체에 대하여 제1 카메라로 촬영된 제1 영상 및 제2 카메라로 촬영된 제2 영상 각각의 특징점을 추출하는 단계;
상기 특징점 정보들을 이용하여 상기 제1 및 제2 영상간 매칭을 수행하여 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점이 잘못 매칭된 이상점(outliers) 및 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점이 적합하게 매칭된 적합점(inliers)을 생성하는 단계;
상기 제1 영상의 특징점 및 상기 제2 영상의 특징점 매칭의 대응 관계로서, 회전정보, 평행이동 정보 및 크기 변환정보를 포함하고 있는 변환행렬을 N회 추정하는 단계;
상기 N회 변환행렬 추정 결과로부터 상기 적합점의 개수가 가장 많은 상위 m개의 변환행렬의 성분들 중 상기 평행이동 정보를 나타내는 성분에 대한 분산값을 계산하는 단계; 및
상기 분산값이 임계값 이하이면 상기 제1 및 제2 영상의 정합 성공을 판단하고, 그 이외의 경우 상기 제1 및 제2 영상의 정합 실패를 판단하는 단계;를 포함하는 것을 특징으로 하는 영상 정합 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120081969A KR101524548B1 (ko) | 2012-07-26 | 2012-07-26 | 영상 정합 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120081969A KR101524548B1 (ko) | 2012-07-26 | 2012-07-26 | 영상 정합 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140015892A KR20140015892A (ko) | 2014-02-07 |
| KR101524548B1 true KR101524548B1 (ko) | 2015-06-02 |
Family
ID=50265167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120081969A KR101524548B1 (ko) | 2012-07-26 | 2012-07-26 | 영상 정합 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101524548B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102003475B1 (ko) * | 2019-01-09 | 2019-07-24 | 주식회사 이오씨 | 영상 및 열화상을 이용한 영상 합성 방법 및 장치 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101617078B1 (ko) * | 2014-02-24 | 2016-04-29 | 주식회사 한화 | 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법 |
| KR102331534B1 (ko) * | 2014-04-11 | 2021-11-26 | 한화테크윈 주식회사 | 카메라 시스템 및 카메라 제어 방법 |
| KR101932547B1 (ko) * | 2014-10-23 | 2018-12-27 | 한화테크윈 주식회사 | 카메라 시스템 및 이의 영상 정합 방법 |
| CN108121764B (zh) * | 2016-11-26 | 2022-03-11 | 星克跃尔株式会社 | 图像处理装置、图像处理方法、电脑程序及电脑可读取记录介质 |
| KR102506264B1 (ko) * | 2016-11-26 | 2023-03-06 | 팅크웨어(주) | 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
| DE112019001358T5 (de) * | 2018-03-15 | 2020-12-31 | Murakami Corporation | Vorrichtung zur erstellung zusammengesetzter videobilder, verfahren zur erstellung zusammengesetzter videobilder und programm zur erstellung zusammengesetzter videobilder |
| KR102223269B1 (ko) * | 2019-03-19 | 2021-03-08 | 오스템임플란트 주식회사 | 스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법과 이를 수행하는 영상 처리장치 |
| SG10201913798WA (en) * | 2019-12-30 | 2021-07-29 | Sensetime Int Pte Ltd | Image processing method and apparatus, and electronic device |
| US11354883B2 (en) | 2019-12-30 | 2022-06-07 | Sensetime International Pte. Ltd. | Image processing method and apparatus, and electronic device |
| KR102473724B1 (ko) * | 2020-10-30 | 2022-12-02 | 계명대학교 산학협력단 | 샴 랜덤 포레스트를 이용한 영상 정합 방법 및 영상 정합 장치 |
| US11900561B2 (en) | 2020-11-25 | 2024-02-13 | Electronics And Telecommunications Research Institute | Deep learning-based image stitching method and apparatus |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010075948A (ko) * | 2000-01-21 | 2001-08-11 | 오길록 | 영상 특징점 매칭을 이용한 변환 행렬 추정 장치 및 그방법과 그를 이용한 모자이크 영상 생성 장치 및 그 방법 |
| KR20090089723A (ko) * | 2008-02-19 | 2009-08-24 | 고려대학교 산학협력단 | 이미지의 크기불변특징 추출에 사용되는 이미지 신호필터링 방법 및 장치와 이를 이용한 이미지 특징 추출방법, 장치 및 기록매체 |
-
2012
- 2012-07-26 KR KR1020120081969A patent/KR101524548B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010075948A (ko) * | 2000-01-21 | 2001-08-11 | 오길록 | 영상 특징점 매칭을 이용한 변환 행렬 추정 장치 및 그방법과 그를 이용한 모자이크 영상 생성 장치 및 그 방법 |
| KR20090089723A (ko) * | 2008-02-19 | 2009-08-24 | 고려대학교 산학협력단 | 이미지의 크기불변특징 추출에 사용되는 이미지 신호필터링 방법 및 장치와 이를 이용한 이미지 특징 추출방법, 장치 및 기록매체 |
Non-Patent Citations (2)
| Title |
|---|
| 주재용 외 3명, 한국 컴퓨터 정보학회지, vol.17 No.6(2012.06.30. 공개) * |
| 주재용 외 3명, 한국 컴퓨터 정보학회지, vol.17 No.6(2012.06.30. 공개)* |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102003475B1 (ko) * | 2019-01-09 | 2019-07-24 | 주식회사 이오씨 | 영상 및 열화상을 이용한 영상 합성 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20140015892A (ko) | 2014-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101524548B1 (ko) | 영상 정합 장치 및 방법 | |
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| US9607240B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, image capturing method, and non-transitory computer-readable medium for focus bracketing | |
| KR101706216B1 (ko) | 고밀도 삼차원 영상 재구성 장치 및 방법 | |
| KR101758684B1 (ko) | 객체 추적 장치 및 방법 | |
| GB2501810B (en) | Method for determining the extent of a foreground object in an image | |
| KR101883481B1 (ko) | 영상 안정화 장치 및 방법 | |
| CN110248097B (zh) | 追焦方法、装置、终端设备、计算机可读存储介质 | |
| US9147118B2 (en) | Image alignment method and image alignment system | |
| EP3082065A1 (en) | Duplicate reduction for face detection | |
| Okade et al. | Video stabilization using maximally stable extremal region features | |
| WO2016025328A1 (en) | Systems and methods for depth enhanced and content aware video stabilization | |
| US9466095B2 (en) | Image stabilizing method and apparatus | |
| JP2016038415A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
| US20110085026A1 (en) | Detection method and detection system of moving object | |
| EP4139840A2 (en) | Joint objects image signal processing in temporal domain | |
| JP5173549B2 (ja) | 画像処理装置及び撮像装置 | |
| US9392146B2 (en) | Apparatus and method for extracting object | |
| US20230069608A1 (en) | Object Tracking Apparatus and Method | |
| KR20160000533A (ko) | 증강 현실에서 물체의 정보 제공을 위한 지역 특징점을 이용한 오브젝트 다중 검출, 추적 방법 및 그 시스템 | |
| Walha et al. | Moving object detection system in aerial video surveillance | |
| JP2014153517A (ja) | 画像処理装置および画像処理方法、プログラム並びに記憶媒体 | |
| Asundi et al. | Raindrop detection algorithm for ADAS | |
| Gurrala et al. | Enhancing Safety and Security: Face Tracking and Detection in Dehazed Video Frames Using KLT and Viola-Jones Algorithms. | |
| JP6525693B2 (ja) | 画像処理装置及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20180425 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20190425 Year of fee payment: 5 |