KR101781172B1 - 영상 정합 장치 및 방법 - Google Patents

영상 정합 장치 및 방법 Download PDF

Info

Publication number
KR101781172B1
KR101781172B1 KR1020160096169A KR20160096169A KR101781172B1 KR 101781172 B1 KR101781172 B1 KR 101781172B1 KR 1020160096169 A KR1020160096169 A KR 1020160096169A KR 20160096169 A KR20160096169 A KR 20160096169A KR 101781172 B1 KR101781172 B1 KR 101781172B1
Authority
KR
South Korea
Prior art keywords
images
image
group
matching
overlapping
Prior art date
Application number
KR1020160096169A
Other languages
English (en)
Inventor
이동욱
이중현
한주용
유영준
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020160096169A priority Critical patent/KR101781172B1/ko
Application granted granted Critical
Publication of KR101781172B1 publication Critical patent/KR101781172B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G06T3/0006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 정합 장치 및 방법에 관한 것으로, 보다 상세하게는 다수 개의 영상을 하나의 영상으로 정합하는 영상 정합 장치 및 방법에 관한 것이다. 본 발명은 다수 개의 2차원 영상을 하나의 영상으로 반복적 수행 없이 실시간으로 정합하여 처리시간을 최소화할 수 있다.

Description

영상 정합 장치 및 방법{APPARATUS AND METHOD FOR MATCHING IMAGES}
본 발명은 영상 정합 장치 및 방법에 관한 것으로, 보다 상세하게는 다수 개의 영상을 하나의 영상으로 정합하는 영상 정합 장치 및 방법에 관한 것이다.
영상 정합(image matching) 기술은 다수의 2차원 영상으로부터 1개의 2차원 영상을 얻기 위한 것이다. 여기서, 2차원 영상은 동일 피사체를 서로 다른 위치에 위치한 두 대 이상의 카메라로 각각 촬영하여 서로 짝(pair)의 관계에 있는 다수의 2차원 영상을 의미한다. 즉, 영상 정합은 영상의 시차를 이용하여 다수 개의 2차원 영상을 1개의 2차원 영상으로 생성하는 과정이라고 볼 수 있다.
본 발명의 배경기술은 대한민국 공개특허 제 2010-0068751 (2010년 6월 24일 공개)에 개시되어 있다.
본 발명은 다수 개의 2차원 영상을 반복적 수행 없이 하나의 영상으로 실시간 정합하여 처리시간을 최소화하는 영상 정합 장치 및 방법을 제공한다.
본 발명은 물체의 중요도에 따라 변형 파라미터의 가중치를 조절하여 영상 정합 시 중요도가 높은 물체의 왜곡이 적게 발생하는 영상 정합 장치 및 방법을 제공한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 영상 정합 장치가 제공된다.
본 발명의 일 실시 예에 따른 영상 정합 장치는 입력된 다수 개의 영상을 2개의 그룹으로 분류하는 영상 그룹 분류부, 일 그룹의 영상들을 기준으로 설정된 타 그룹의 영상들에 겹쳐지게 배치되도록 이동, 변형 또는 회전 변환하는 영상 변환부, 인접한 일 그룹의 영상과 타 그룹의 영상 사이에 겹쳐지는 영역에서 오브젝트를 검출하고 각각의 영상에서 검출된 오브젝트가 동일한 위치에 오도록 매칭하는 오브젝트 검출 및 매칭부 및 기준으로 설정된 타 그룹의 영상에서 오브젝트의 특징 점을 이용하여 일 그룹의 영상을 매칭하는 영상 매칭부를 포함할 수 있다.
본 발명의 다른 일 실시 예에 따른 영상 정합 장치는 겹쳐지는 영상들간의 색상과 밝기를 조절하는 영상 조절부를 더 포함할 수 있다.
본 발명의 다른 일 실시 예에 따른 영상 정합 장치는 검출되어 매칭된 오브젝트들에 대한 중요도를 산출하는 중요도 산출부를 더 포함할 수 있다.
상기 중요도는, 상기 영상들을 촬영하는 다수 개의 카메라가 지면에 평행하게 위치하고, 같은 방향으로 촬영 방향이 향하도록 가정하였을 때로 영상을 변환한 경우 카메라의 촬영 방향에 수직한 면을 포함하는 정도에 따라 또는 각 영상들에서 매칭되는 동일한 오브젝트를 각 영상 사이에서 비교하였을 때, 오브젝트 간의 면적의 차이에 따라 산출될 수 있다.
상기 영상 매칭부는 기준으로 설정된 타 그룹의 영상에서 중요도가 미리 설정된 기준 이상인 오브젝트의 특징 점을 이용하여 일 그룹의 영상과 매칭하고, 기준으로 설정된 타 그룹의 영상에서 중요도가 미리 설정된 기준 이상인 오브젝트 이외의 나머지 부분들의 특징 점을 이용하여 일 그룹의 영상과 매칭할 수 있다.
본 발명의 다른 측면에 따르면, 영상 정합 방법 및 이를 실행하는 컴퓨터 프로그램이 제공된다.
본 발명의 일 실시 예에 따른 영상 정합 방법은 다수 개의 영상을 입력하는 단계, 다수 개의 영상을 2개의 그룹 나누어 분류하는 단계-상기 2개의 그룹으로 분류하는 영상들은 일 그룹의 영상들이 타 그룹의 영상들 사이에 교차적으로 위치함-, 일 그룹의 영상들을 기준으로 설정된 타 그룹의 영상들에 겹쳐지게 배치되도록 이동, 변형 또는 회전 변환하는 단계, 인접한 일 그룹의 영상과 타 그룹의 영상 사이에 겹쳐지는 영역에서 동일한 오브젝트를 검출하고 매칭하는 단계 및 기준으로 설정된 타 그룹의 영상에서 오브젝트의 특징 점을 이용하여 일 그룹의 영상을 매칭하는 단계를 포함할 수 있다.
상기 기준으로 설정된 타 그룹의 영상에서 오브젝트의 특징 점을 이용하여 일 그룹의 영상을 매칭하는 단계는 코너 감지(corner detection) 알고리즘 및 소실선 감지(vanishing line detection) 알고리즘 중 적어도 하나를 이용하여 특징 점(feature point)을 추출하는 단계, 겹쳐지는 영상들 간의 특징 점을 매칭하는 단계, 겹쳐지는 영상들 간의 매칭되는 특징 점들을 연결하여 삼각형을 형성하는 단계 및 상기 타 그룹의 영상에서 형성된 삼각형들을 변형하여 상기 일 그룹의 매칭되는 특징 점들을 기준으로 매칭하는 단계를 포함할 수 있다.
본 발명의 다른 일 실시 예에 따른 영상 정합 방법은 매칭되어 겹쳐지는 영상들간의 색상과 밝기를 조절하는 단계를 더 포함할 수 있다.
상기 매칭되어 겹쳐지는 영상들간의 색상과 밝기를 조절하는 단계는 겹쳐지는 영역들간의 색상과 밝기는 겹쳐지는 각 영상 영역의 색상 평균 값 및 밝기 평균 값으로 조절하고 각 영상의 겹쳐지지 않은 영역의 색상과 밝기는 겹쳐지는 영역의 색상 평균 값 및 밝기 평균 값에서 선형적으로 변화되도록 조절할 수 있다.
상술한 바와 같이 본 발명에 따르면, 다수 개의 2차원 영상을 반복적 수행 없이 하나의 영상으로 실시간으로 정합하여 처리시간을 최소화할 수 있다.
본 발명은 물체의 중요도에 따라 변형 파라미터의 가중치를 조절하여 영상 정합 시 중요도가 높은 물체의 왜곡이 적게 발생할 수 있다.
도 1 내지 도 3은 본 발명의 일 실시 예에 따른 영상 정합 장치를 설명하기 위한 도면들.
도 4 내지 도 9는 본 발명의 일 실시 예에 따른 영상 정합 방법을 설명하기 위한 도면들.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하, 첨부된 도면을 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 1 내지 도 3은 본 발명의 일 실시 예에 따른 영상 정합 장치를 설명하기 위한 도면들이다.
도 1을 참조하면, 영상 정합 장치는 영상 입력부(100) 및 영상 정합부(200)를 포함한다.
영상 입력부(100)는 다수의 카메라에 촬영한 다수의 영상이 입력된다. 여기서, 다수의 카메라는 각각 다른 위치에서 다른 각도로 영상을 촬영한다. 다수의 영상은 동일한 오브젝트를 서로 다른 위치에서 다른 각도로 촬영되어 서로 겹쳐지는 영역이 존재한다.
영상 정합부(200)는 입력된 다수의 영상들을 1개의 영상으로 정합한다. 이하 도 2 및 도 3을 참조하여 영상 정합부(200)를 더욱 상세히 설명하기로 한다.
도 2를 참조하면, 영상 정합부(200)는 영상 그룹 분류부(210), 영상 변환부(220), 오브젝트 검출 및 매칭부(230), 중요도 산출부(240), 영상 매칭부(250) 및 영상 조절부(260)를 포함한다.
영상 그룹 분류부(210)는 입력된 다수 개의 영상을 2개의 그룹으로 분류한다. 영상 그룹 분류부(210)는 도 3 (a)를 참조하면, 입력된 다수 개의 영상을 예를 들면, A 그룹 및 B 그룹으로 나누어 분류한다. 영상 그룹 분류부(210)는 예를 들면, B 그룹 영상들을 영상 정합의 기준으로 설정하고 A 그룹의 영상들은 B 그룹의 영상들 사이에 교차적으로 위치할 수 있다.
영상 변환부(220)는 일 그룹의 영상들을 기준으로 설정된 타 그룹의 영상들에 겹쳐지게 배치되도록 이동, 변형 또는 회전 변환한다. 영상 변환부(220)는 입력된 영상들을 촬영하는 카메라가 지면과 평행하도록 위치하여 촬영된 영상들로 변환할 수 있고, 입력된 영상들을 카메라의 z축(카메라의 촬영방향)이 평행한 상태에서 촬영된 영상들로 변환할 수 있다.
영상 변환부(220)는 도 3(b) 및 3(c)를 참조하면, A 그룹의 영상들을 거리, 크기 및 각도(요잉(yawing), 피칭(pitching) 또는 롤링(rolling)) 중 적어도 하나의 카메라 파라미터를 사용하여 변환할 수 있고, B 그룹의 영상들도 이동할 수 있다.
오브젝트 검출 및 매칭부(230)는 인접한 일 그룹의 영상과 타 그룹의 영상 사이에 겹쳐지는 영역에서 동일한 오브젝트를 검출하고 매칭한다. 오브젝트 검출 및 매칭부(230)는 z축이 평행되도록 변환한 영상들에서 2차원 미분을 통해 그라디언트 영상(에지 영상)을 획득할 수 있다. 오브젝트 검출 및 매칭부(230)는 그라디언트 영상을 슬라이딩하여 상관 계수(correlation)가 미리 설정된 임계 값 이상이면, 중심 좌표의 기울기와 절편 값을 저장하고, 각 절편마다의 히스토그램을 그려 절편이 동일한 점들의 집합을 하나의 특징 선으로 검출할 수 있다. 오브젝트 검출 및 매칭부(230)는 대응되는 영상에서 순서대로 특징 선이 매칭하며, 특징 선의 각 선은 삼각형의 한 변이 되도록 하고, 각 선의 끝점을 특징 점으로 이용할 수 있다. 또한, 오브젝트 검출 및 매칭부(230)는 특징 점 매칭 알고리즘을 이용한 특징 점까지 추가하여 삼각형을 형성할 수 있다.
중요도 산출부(240)는 검출되어 매칭된 오브젝트들에 대한 중요도를 산출한다. 중요도 산출부(240)는 영상들을 촬영하는 다수 개의 카메라가 지면에 평행하게 위치하고, 같은 방향으로 촬영 방향이 향하도록 가정하였을 때로 영상을 변환한 경우, 카메라의 촬영 방향에 수직한 면을 포함하는 정도에 따라 오브젝트의 중요도를 산출할 수 있다. 중요도 산출부(240)는 각 영상들에서 매칭되는 동일한 오브젝트를 각 영상 사이에서 비교하였을 때, 오브젝트 간의 면적의 차이에 따라 오브젝트의 중요도를 산출할 수 있다.
영상 매칭부(250)는 기준으로 설정된 타 그룹의 영상에서 오브젝트의 특징 점을 이용하여 일 그룹의 영상을 매칭한다. 영상 매칭부(250)는 기준으로 설정된 타 그룹의 영상에서 중요도가 미리 설정된 기준 이상인 오브젝트의 특징 점을 이용하여 일 그룹의 영상과 매칭한다. 또한, 영상 매칭부(250)는 기준으로 설정된 타 그룹의 영상에서 중요도가 미리 설정된 기준 이상인 오브젝트 이외의 나머지 부분들의 특징 점을 이용하여 일 그룹의 영상과 매칭한다. 영상 매칭부(250)는 도 3(d)를 참조하면, B 그룹의 영상을 오브젝트의 특징 점을 이용하여 A 그룹의 영상에 매칭한다.
영상 조절부(260)는 겹쳐지는 영상들간의 색상과 밝기를 조절한다. 이는 각각의 영상들이 다른 위치 및 각도의 카메라에서 촬영되어 입력되었기 때문에 카메라의 기기 특성 및 환경에 따라 각각의 영상들의 색상과 밝기가 상이할 수 있기 때문이다. 영상 조절부(260)는 도 3(e)를 참조하면, 정합된 영상의 색상과 밝기를 조절하고 영상의 크기를 조절할 수 있다.
도 4 내지 도 8은 본 발명의 일 실시 예에 따른 영상 정합 방법을 설명하기 위한 도면들이다.
도 4를 참조하면, 단계 S410에서 영상 정합 장치는 다수 개의 영상이 입력된다. 여기서, 다수 개의 영상은 위치가 다른 다수 개의 카메라에 의해 촬영된 영상일 수 있다. 도 5를 참조하면 영상 정합 장치는 예를 들면, 3개의 카메라를 이용하여 좌측 영상(a), 정면 영상(b) 및 우측 영상(c)을 촬영하여 입력할 수 있다.
단계 S420에서 영상 정합 장치는 다수 개의 영상을 2개의 그룹, 예를 들면, A 그룹 및 B 그룹으로 나누어 분류한다. 여기서, B 그룹은 영상 정합의 기준이 되는 그룹이고, A 그룹의 영상들은 B 그룹의 영상들 사이에 교차적으로 위치한다. B 그룹을 영상 정합의 기준이 되는 그룹으로 설정하는 이유는 A그룹에 더 중요한 오브젝트가 위치한 경우일 수 있다. 왜냐하면, 이후 단계 들을 거치면서 B 그룹의 영상들의 왜곡이 발생될 수 있어 각 영상들의 변화율을 고루 분배하기 위함이다.
단계 S430에서 영상 정합 장치는 A 그룹의 영상들을 기준이 되는 B 그룹의 영상들에 적합하도록 이동, 변형 또는 회전 변환한다. 여기서, A 그룹의 영상들은 거리, 크기 및 각도 등의 카메라 파라미터를 사용하여 변환될 수 있으며, 변환의 기준이 영상에서 표시되는 지평선과 같은 공통되는 직선 부분이 이용될 수 있다. 카메라 파라미터는 외적 파라미터로 각도, 크기 또는 위치 정보를 포함할 수 있으며, 내적 파라미터로 초점거리, 주점 또는 비틀어짐 정보를 포함할 수 있다.
단계 S440에서 영상 정합 장치는 인접한 A 그룹의 영상과 B 그룹의 영상 사이에 겹쳐지는 영역에서 동일한 오브젝트를 검출하고 매칭한다. 여기서 오브젝트의 검출은 공지의 다양한 검출 알고리즘을 적용할 수 있다.
단계 S450에서 영상 정합 장치는 검출되어 매칭된 오브젝트들에 대한 중요도를 산출한다. 영상 정합 장치는 촬영하는 다수 개의 카메라가 지면에 평행하게 위치하고, 같은 방향으로 촬영 방향이 향하도록 가정하였을 때로 영상을 변환한 경우 카메라의 촬영 방향에 수직한 면을 포함하고, 각 영상들에서 매칭되는 동일한 오브젝트들 간의 면적의 차이가 적을수록 중요도를 높게 산출할 수 있다. 중요도가 높게 산출되는 각 영상에서의 오브젝트들은 단계 S430에서 변형이 적고 이동만 있는 경우가 많다. 중요도가 높은 오브젝트는 예를 들면, 자동차 또는 사람일 수 있다.
단계 S460에서 영상 정합 장치는 B 그룹의 영상에서 오브젝트의 특징 점을 이용하여 A 그룹의 영상을 매칭한다. 영상 정합 장치는 B 그룹의 영상에서 중요도가 미리 설정된 기준 이상인 오브젝트의 특징 점을 이용하여 A 그룹의 영상과 매칭한다. 이하 도 6을 참조하여 더욱 상세히 설명하기로 한다.
단계 S461에서 영상 정합 장치는 코너 감지(corner detection) 알고리즘 및 소실선 감지(vanishing line detection) 알고리즘 중 적어도 하나를 이용하여 특징 점(feature point)을 추출한다. 여기서, 코너 감지 알고리즘은 오브젝트의 꼭지점을 감지하는 알고리즘이며, 소실선 감지 알고리즘은 배경이 꺾이는 부분 예를 들면, 노면과 건물을 감지할 수 있다.
단계 S463에서 영상 정합 장치는 겹쳐지는 영상들 간의 특징 점을 매칭한다.
단계 S465에서 영상 정합 장치는 겹쳐지는 영상들 간의 매칭되지 않은 특징 점은 삭제한다.
단계 S467에서 영상 정합 장치는 겹쳐지는 영상들 간의 매칭되는 특징 점들을 연결하여 삼각형을 형성한다. 도 7을 참조하면, 영상 정합 장치는 특징 점들을 연결하여 삼각형을 형성할 수 있다.
단계 S469에서 영상 정합 장치는 B 그룹의 영상에서 형성된 삼각형들을 변형하여 A 그룹의 매칭되는 특징 점들을 기준으로 매칭한다. 도 8을 참조하면 영상 정합 장치는 겹쳐지는 영상들간의 특징 점들을 기준으로 매칭하여 1개의 영상으로 정합할 수 있다.
또한, 영상 정합 장치는 B 그룹의 영상에서 중요도가 미리 설정된 기준 이상인 오브젝트 이외의 나머지 부분들의 특징 점을 이용하여 A 그룹의 영상과 매칭한다.
다시 도 4를 참조하면, 단계 S470에서 영상 정합 장치는 겹쳐지는 영상들간의 색상과 밝기를 조절한다.
도 9를 참조하면, 영상 정합 장치는 영상의 겹쳐지는 영역의 색상과 밝기를 겹쳐지는 각 영상 영역의 색상 평균 값 및 밝기 평균 값(910, 920)으로 조절할 수 있다. 영상 정합 장치는 각 영상의 겹쳐지지 않은 영역의 색상과 밝기는 겹쳐지는 영역의 색상 평균 값 및 밝기 평균 값에서 선형적으로 변화(도 9에 점선으로 표시)되도록 조절할 수 있다. 영상 정합 장치는 겹쳐지는 영역의 영상을 페이드 아웃(fade out) 방식으로 처리할 수 있다.
본 발명의 다양한 실시 예에 따른 영상 정합 방법은 다양한 서버 등의 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현될 수 있다. 또한, 본 발명에 따른 영상 정합 방법을 실행하는 프로그램은 컴퓨터 수단에 설치되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
210: 영상 그룹 분류부
220: 영상 변환부
230: 오브젝트 검출 및 매칭부
240: 중요도 산출부
250: 영상 매칭부
260: 영상 조절부

Claims (10)

  1. 영상 정합 장치에 있어서,
    입력된 다수 개의 영상을 2개의 그룹으로 분류하는 영상 그룹 분류부;
    일 그룹의 영상들을 기준으로 설정된 타 그룹의 영상들에 겹쳐지게 배치되도록 이동, 변형 또는 회전 변환하는 영상 변환부;
    인접한 일 그룹의 영상과 타 그룹의 영상 사이에 겹쳐지는 영역에서 동일한 오브젝트를 검출하고 매칭하는 오브젝트 검출 및 매칭부;
    검출되어 매칭된 오브젝트들에 대한 중요도를 산출하는 중요도 산출부; 및
    기준으로 설정된 타 그룹의 영상에서 상기 중요도에 의해 설정된 오브젝트의 특징 점을 이용하여 일 그룹의 영상을 매칭하는 영상 매칭부를 포함하되,
    상기 중요도는 상기 영상들을 촬영하는 다수 개의 카메라가 지면에 평행하게 위치하고, 같은 방향으로 촬영 방향이 향하도록 가정하였을 때로 영상을 변환한 경우, 카메라의 촬영 방향에 수직한 면을 포함하는 정도에 따라 또는 각 영상들에서 매칭되는 동일한 오브젝트를 각 영상 사이에서 비교하였을 때, 오브젝트 간의 면적의 차이에 따라 산출되는 영상 정합 장치.
  2. 제1 항에 있어서,
    겹쳐지는 영상들간의 색상과 밝기를 조절하는 영상 조절부를 더 포함하는 영상 정합 장치.
  3. 삭제
  4. 삭제
  5. 제1 항에 있어서,
    상기 영상 매칭부는
    기준으로 설정된 타 그룹의 영상에서 중요도가 미리 설정된 기준 이상인 오브젝트의 특징 점을 이용하여 일 그룹의 영상과 매칭하고, 기준으로 설정된 타 그룹의 영상에서 중요도가 미리 설정된 기준 이상인 오브젝트 이외의 나머지 부분들의 특징 점을 이용하여 일 그룹의 영상과 매칭하는 영상 정합 장치.
  6. 영상 정합 장치가 영상을 정합하는 방법에 있어서,
    다수 개의 영상을 입력하는 단계;
    다수 개의 영상을 2개의 그룹 나누어 분류하는 단계;
    일 그룹의 영상들을 기준으로 설정된 타 그룹의 영상들에 겹쳐지게 배치되도록 이동, 변형 또는 회전 변환하는 단계;
    인접한 일 그룹의 영상과 타 그룹의 영상 사이에 겹쳐지는 영역에서 동일한 오브젝트를 검출하고 매칭하는 단계;
    검출되어 매칭된 오브젝트들에 대한 중요도를 산출하는 단계; 및
    기준으로 설정된 타 그룹의 영상에서 상기 중요도에 의해 설정된 오브젝트의 특징 점을 이용하여 일 그룹의 영상을 매칭하는 단계를 포함하되,
    상기 중요도는 상기 영상들을 촬영하는 다수 개의 카메라가 지면에 평행하게 위치하고, 같은 방향으로 촬영 방향이 향하도록 가정하였을 때로 영상을 변환한 경우, 카메라의 촬영 방향에 수직한 면을 포함하는 정도에 따라 또는 각 영상들에서 매칭되는 동일한 오브젝트를 각 영상 사이에서 비교하였을 때, 오브젝트 간의 면적의 차이에 따라 산출되는 영상 정합 방법.
  7. 제6 항에 있어서,
    상기 기준으로 설정된 타 그룹의 영상에서 오브젝트의 특징 점을 이용하여 일 그룹의 영상을 매칭하는 단계는
    코너 감지(corner detection) 알고리즘 및 소실선 감지(vanishing line detection) 알고리즘 중 적어도 하나를 이용하여 특징 점(feature point)을 추출하는 단계;
    겹쳐지는 영상들 간의 특징 점을 매칭하는 단계;
    겹쳐지는 영상들 간의 매칭되는 특징 점들을 연결하여 삼각형을 형성하는 단계; 및
    상기 타 그룹의 영상에서 형성된 삼각형들을 변형하여 상기 일 그룹의 매칭되는 특징 점들을 기준으로 매칭하는 단계를 포함하는 영상 정합 방법.
  8. 제6 항에 있어서,
    매칭되어 겹쳐지는 영상들간의 색상과 밝기를 조절하는 단계를 더 포함하는 영상 정합 방법.
  9. 제8 항에 있어서,
    상기 매칭되어 겹쳐지는 영상들간의 색상과 밝기를 조절하는 단계는
    겹쳐지는 영역들간의 색상과 밝기는 겹쳐지는 각 영상 영역의 색상 평균 값 및 밝기 평균 값으로 조절하고 각 영상의 겹쳐지지 않은 영역의 색상과 밝기는 겹쳐지는 영역의 색상 평균 값 및 밝기 평균 값에서 선형적으로 변화되도록 조절하는 영상 정합 방법.
  10. 제6항 내지 제9항 중 어느 한 항의 영상 정합 방법을 실행하고 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.

KR1020160096169A 2016-07-28 2016-07-28 영상 정합 장치 및 방법 KR101781172B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160096169A KR101781172B1 (ko) 2016-07-28 2016-07-28 영상 정합 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160096169A KR101781172B1 (ko) 2016-07-28 2016-07-28 영상 정합 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101781172B1 true KR101781172B1 (ko) 2017-09-25

Family

ID=60035207

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160096169A KR101781172B1 (ko) 2016-07-28 2016-07-28 영상 정합 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101781172B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220136797A (ko) * 2021-04-01 2022-10-11 경희대학교 산학협력단 우선순위 사물 기반의 영상 정합 장치 및 그 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007266713A (ja) 2006-03-27 2007-10-11 Fujifilm Corp 監視システム、監視方法、及びプログラム
JP2012060309A (ja) * 2010-09-07 2012-03-22 Casio Comput Co Ltd 撮像装置、撮像方法及びプログラム
JP2012194641A (ja) * 2011-03-15 2012-10-11 Omron Corp 画像処理装置および画像処理プログラム
JP2013145291A (ja) * 2012-01-13 2013-07-25 Nikon Corp 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007266713A (ja) 2006-03-27 2007-10-11 Fujifilm Corp 監視システム、監視方法、及びプログラム
JP2012060309A (ja) * 2010-09-07 2012-03-22 Casio Comput Co Ltd 撮像装置、撮像方法及びプログラム
JP2012194641A (ja) * 2011-03-15 2012-10-11 Omron Corp 画像処理装置および画像処理プログラム
JP2013145291A (ja) * 2012-01-13 2013-07-25 Nikon Corp 撮像装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Speed-up of image matching using feature strength information, The Journal of The Institute of Internet, Broadcasting and Communication vol.13.6 (2013)*
영상검색을 위한 SVM-기반 중요 영역 추출 알고리즘, 한국정보과학회 학술발표논문집 (2004)*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220136797A (ko) * 2021-04-01 2022-10-11 경희대학교 산학협력단 우선순위 사물 기반의 영상 정합 장치 및 그 방법
KR102630106B1 (ko) * 2021-04-01 2024-01-25 경희대학교 산학협력단 우선순위 사물 기반의 영상 정합 장치 및 그 방법

Similar Documents

Publication Publication Date Title
Walha et al. Video stabilization with moving object detecting and tracking for aerial video surveillance
US9741130B2 (en) Method and apparatus for detecting object
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
JP5782088B2 (ja) 歪みのあるカメラ画像を補正するシステム及び方法
CN110493488B (zh) 视频稳像方法、视频稳像装置和计算机可读存储介质
US9367920B2 (en) Method and apparatus for processing images
Toropov et al. Traffic flow from a low frame rate city camera
Okade et al. Video stabilization using maximally stable extremal region features
JP2018205870A (ja) オブジェクト追跡方法および装置
Meshram et al. Traffic surveillance by using image processing
CN113724335B (zh) 一种基于单目相机的三维目标定位方法及系统
CN107977981B (zh) 一种运动目标跟踪方法及装置
KR101781172B1 (ko) 영상 정합 장치 및 방법
Delibasoglu UAV images dataset for moving object detection from moving cameras
TWI517100B (zh) 移動物體追蹤方法及電子裝置
Tasson et al. FPGA-based pedestrian detection under strong distortions
Sincan et al. Moving object detection by a mounted moving camera
Lezki et al. Joint exploitation of features and optical flow for real-time moving object detection on drones
Lee et al. Vehicle counting based on a stereo vision depth maps for parking management
Walha et al. Moving object detection system in aerial video surveillance
JP6988860B2 (ja) 情報処理システム、情報処理方法及び情報処理プログラム
JP7338174B2 (ja) 物体検出装置および物体検出方法
Yaakob et al. Moving object extraction in PTZ camera using the integration of background subtraction and local histogram processing
JP2010286963A (ja) 移動物体検出装置、及び移動物体検出方法
KR102629213B1 (ko) 경사 촬영 동영상 이동물체 탐지 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant