KR20100026123A - 이동 물체의 특징점을 이용하는 영상 검지 방법 - Google Patents

이동 물체의 특징점을 이용하는 영상 검지 방법 Download PDF

Info

Publication number
KR20100026123A
KR20100026123A KR1020080085000A KR20080085000A KR20100026123A KR 20100026123 A KR20100026123 A KR 20100026123A KR 1020080085000 A KR1020080085000 A KR 1020080085000A KR 20080085000 A KR20080085000 A KR 20080085000A KR 20100026123 A KR20100026123 A KR 20100026123A
Authority
KR
South Korea
Prior art keywords
moving object
feature points
feature
feature point
image
Prior art date
Application number
KR1020080085000A
Other languages
English (en)
Other versions
KR100979726B1 (ko
Inventor
한승준
Original Assignee
주식회사 세인시스템
한국건설기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 세인시스템, 한국건설기술연구원 filed Critical 주식회사 세인시스템
Priority to KR1020080085000A priority Critical patent/KR100979726B1/ko
Publication of KR20100026123A publication Critical patent/KR20100026123A/ko
Application granted granted Critical
Publication of KR100979726B1 publication Critical patent/KR100979726B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

영상 검지 시스템은 도로의 훼손 없이 설치하여 다차로의 교통정보를 취득할 수 있고 유지보수가 용이하여 선호되는 차량 검지 시스템이다. 하지만 영상 검지 시스템의 성능은 카메라의 설치 위치가 가장 큰 영향을 미치게 된다. 그러나 카메라의 설치 위치는 도로구조, 비용, 미관 등의 이유로 많은 제약을 갖게 되며 이로 인해 같은 영상 검지 시스템이라 할지라도 경우에 따라 많은 성능차이를 보이게 된다. 본 발명에서는 영상 검지 시스템의 대표적 문제로 지적되는 부분 가려짐 문제를 개선하여 카메라의 설치 위치의 유연성 제공 및 실질적인 검지기의 성능향상을 꾀하려 한다. 즉, 영상 평면상에 겹침이 발생하더라도 주행하는 차량은 강체이므로 동일차량의 특징점에 대한 운동 특성만이 동일하게 발생하고 별개 차량이나 잡음의 경우 다르게 발생하게 된다. 본 발명에서는 이러한 특성을 이용하여 물체를 분류하고 또한 각 특징점의 높이를 추정하여 차량의 특징과 비교함으로써 겹침이 발생한 차량 영상에서 각각을 개별 차량으로 분류하여 검지기의 성능을 개선한다.
영상 검지 시스템, 차량 검지, 특징점, 추출, 추적

Description

이동 물체의 특징점을 이용하는 영상 검지 방법{Method of image vehicle detection using feature of moving object}
본 발명은 이동 물체의 특징점을 이용하는 영상 검지 방법에 관한 것이다.
영상 검지 시스템은 도로의 훼손 없이 설치하여 다차로의 교통정보를 취득할 수 있고 유지보수가 용이하여 선호되는 차량 검지 시스템이다.
도 1에 도시한 바와 같이, 도로가 평탄하다고 가정할 때, 차량의 구분이 가능한 최대 거리
Figure 112008061694008-PAT00001
는 아래와 같이 근사화될 수 있다.
Figure 112008061694008-PAT00002
여기서,
Figure 112008061694008-PAT00003
는 카메라의 설치 위치,
Figure 112008061694008-PAT00004
는 차량사이의 거리,
Figure 112008061694008-PAT00005
는 차량의 높이이다. 상기 수식에 의해서 예를 들어, 차량의 높이가 4ft(1.5m)일 경우와 13ft(4m)일 경우에 차량을 구분할 수 있는 최대 거리와 앞, 뒤차의 분리가능한 거리에 대해 도식화하면 도 2에 도시한 바와 같다.
즉, 충분한 해상도가 확보되었다고 가정할 경우 카메라의 높이가 높을수록 차량을 검지할 수 있는 거리가 길어진다. 그러나, 현실적으로 카메라의 설치 높이는 경제성을 이유로 8m에서 최대 15m 이내로 결정된다. 만일 9m(30ft)에 설치된 카메라로 90m(300ft) 떨어진 승용차(높이 1.5m)를 검지할 경우에는 앞뒤승용차 사이의 최소 거리는 30m(100ft) 이상이 되어야한다. 이러한 이유로 대부분의 영상 검지기는 검지기가 설치된 근방만을 감시하여 정보를 취득하도록 설계되어 있다.
본 발명에서는 영상 검지기에서 앞뒤차량의 부분 가려짐이 발생하더라도 두 차량을 분리시켜 앞뒤차량의 분리가능거리를 좁힘으로써 영상 검지기의 검지 가능 영역을 넓힐 수 있는 영상 검지 방법을 제공하는데 목적이 있다.
본 발명에 따른 이동 물체의 특징점을 이용하는 영상 검지 방법은 움직이는 영상에서 이동 물체를 검지하고 검지된 이동 물체에 대한 특징점을 추출한 후, 추출된 특징점에 대하여 실시간으로 추적하는 제1단계와, 상기 특징점의 추적에 의한 이동 물체의 궤적을 이용하여 특징점의 높이를 추정하는 제2단계 및 추정된 특징점들의 높이에 따라 차량을 구분하여 분리하는 제3단계를 포함한다.
상기 제1단계에서, 이동 물체 검지는 연속하는 에지 영상으로부터 각각 이웃하는 영상 사이의 절대값과 그 값 사이의 논리적 곱에 의해 수행되며, 상기 특징점 추적은 특징점에 대한 정규화 상호 상관도(NCC:Normalized Cross-Correlation) 매칭 및 광류(Optical flow)를 이용하는 피라미드 영상 기법을 사용하여 구현하는 것이 바람직하다. 이때, 상기 상기 피라미드 영상 기법은 첫 단계에서 NCC를 사용하여 각 특징점에 대해 임계영역 내에서 최대가 되는 값을 찾아 그 값이 매칭하는 위치의 두 배가 되는 점을 두 번째 단계 영상의 초기값으로 선정하고 광류 이동벡터를 구하는 것을 특징으로 한다.
또한, 상기 제2단계는 바닥면에 투영된 특징점에 대한 실세계 위치를 계산하는 단계와, 특징점 궤적의 변위벡터 클러스터링(clustering)을 통하여 기준점을 선정하는 단계 및 기준점과 특징점 사이의 물리적 변위 오차가 최소가 되는 특징점들의 높이를 추정하는 단계를 포함한다. 이때, 상기 클러스터링을 통하여 같은 방향을 가진 그룹과 다른 방향으로 이동하는 그룹을 구분하며, 상기 차량 구분은 추정된 특징점의 높이를 특징점의 이동 궤적에 순차적으로 대입하여 얻어지는 특징점의 실세계의 3차원 벡터들의 상대 거리를 확인하여 수행하는 것을 특징으로 한다.
이때, 상기 상대 거리가 오차범위 이상이면 해당하는 특징점은 잡음이거나 다른 물체이므로 제거하고, 외곽에 존재하면서 임계값 이하로 낮은 특징점들은 그림자로 판단하고 제거하며, 임계값 이상의 특징점들은 그 크기에 따라 차량의 겹침 상태를 확인하여 구분하는 것이 바람직하다.
본 발명에 따른 영상 검지 시스템은 영상 검지의 정확도를 향상시키고 검지 가능 영역을 확장할 수 있는 효과가 있다. 또한, 카메라 설치 위치의 유연성을 제공할 수 있으며 차량의 분리와 추적을 통해 교통정보 이외의 돌발 검지 등의 부가 정보를 얻을 수 있는 효과가 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 따른 영상 검지 시스템 에 관하여 상세히 설명한다.
이동체 특징점의 궤적을 통해 특징점의 높이를 추정하고 이로부터 부분적으로 가려진 물체를 분리해 내는 것이 본 발명의 핵심으로 특징점 높이 추정 및 교통정보 연산을 위해 우선 카메라 보정이 우선되어야 한다. 카메라 보정은 실세계에 존재하는 특정위치가 카메라상에 투영되어 보여질 때 이 둘 사이의 상관관계를 규명하는 것으로, 본 발명에서는 산술적인 방법을 통해 이들의 정방향, 역방향 관계식을 유도하여 사용한다.
즉, 도 4에 도시된 실세계 좌표계
Figure 112008061694008-PAT00006
에 존재하는 한 점
Figure 112008061694008-PAT00007
가 카메라를 통해 비춰지는 카메라 좌표계
Figure 112008061694008-PAT00008
의 한점
Figure 112008061694008-PAT00009
로 표현될 경우 이 사이의 상관관계를 규명하는 것을 카메라 켈리브레이션이라고 하는데, 이상적인 카메라의 경우 전체의 기하학적 모델은 다음과 같이 표현된다.
여기서, 롤(roll), 피치(pitch), 요(yaw) 각을 사용할 경우
Figure 112008061694008-PAT00011
,
Figure 112008061694008-PAT00012
(여기서
Figure 112008061694008-PAT00013
)
이며, 행렬식 형태로 다음과 같이 표현된다.
Figure 112008061694008-PAT00014
초점거리
Figure 112008061694008-PAT00015
가 알려져 있고, 여기에서 1로 일반화할 수 있으면, 이 모델은 표준 투영(standard projection)
Figure 112008061694008-PAT00016
을 따르는 유클리디언 변환
Figure 112008061694008-PAT00017
로 간단하게 정리할 수 있다.
Figure 112008061694008-PAT00018
(1)
즉, 3×4 차원을 갖는
Figure 112008061694008-PAT00019
행렬 및 4×4 차원을 갖는
Figure 112008061694008-PAT00020
행렬의 해를 구하는 것이 카메라 켈리브레이션 문제이다. 이를 위한 여러 방법들이 연구되어 오고 있으며, 체크 같은 특정 모양의 지그를 사용하는 것이 일반적인 방법이다.
본 발명에서 요구되는 높이 정보에 따른 실제 물리좌표 계산 및 카메라 회전에 따른 켈리브레이션 정보 보정을 위해서는 앞서 명시한 켈리브레이션 매트릭스의 엘리먼트 값 뿐 만이 아니라 이 엘리먼트의 요소인 실제 카메라 파라미터 정보 즉, 회전각도
Figure 112008061694008-PAT00021
와 설치위치
Figure 112008061694008-PAT00022
및 포커스 거리
Figure 112008061694008-PAT00023
와 화소크기
Figure 112008061694008-PAT00024
(대부분의 경우
Figure 112008061694008-PAT00025
)를 알 필요가 있다.
따라서, 도 5에 도시한 바와 같이, 실시계의 좌표계
Figure 112008061694008-PAT00026
에의 바닥면
Figure 112008061694008-PAT00027
에 존재하는 크기를 아는 직사각형의 4개의 꼭지점
Figure 112008061694008-PAT00028
가 영상 안에서 관찰되었을 경우 수리적인 방법으로 해를 구해 사용한다. 상기 수식 (1)에서
Figure 112008061694008-PAT00029
이라고 가정하면
Figure 112008061694008-PAT00030
행렬은 2×2로 간략화될 수 있으며, 이를
Figure 112008061694008-PAT00031
라고 한다면 각 꼭지점의 실세계와 영상 사이의 관계를 다음과 같이 표현할 수 있다.
Figure 112008061694008-PAT00032
(2)
Figure 112008061694008-PAT00033
(3)
Figure 112008061694008-PAT00034
(4)
Figure 112008061694008-PAT00035
(5)
상기 수식 (2)부터 (5)까지의 연립방정식의 해를 구해야하며, 이때 행렬의 엘리먼트를 구하는 선형방정식의 해는 쉽게 구할 수 있지만, 우리가 원하는 카메라 파라미터를 얻기 위해 각 파라미터를 대입하여, 비선형 방정식을 구해야 하며, 이 경우 산술적인 방법으로는 그 해를 구하기 매우 어렵기 때문에 수리적 방법을 사용한다. 그리고 비선형 다원 고차 방정식의 해를 구하기 위한 일반적이고 강건한 방법은 뉴튼(Newton) 방법이 있지만, 이상의 경우와 같은 복잡한 비선형 방정식에는 지역 최적값(local-minima)에 빠지는 경우가 다수 발생하므로 전역 수렴이 가능한 브로이덴(Broyden) 방법을 사용한다.
상기와 같이 카메라 파라미터가 구해지면 임의의 실세계 좌표계
Figure 112008061694008-PAT00036
에 대한 값에 대해서 영상좌표계
Figure 112008061694008-PAT00037
에 나타나는 값을 상기 수식 (1)로 구할 수 있다. 반대로 영상에 보여지는 좌표가 실세계에서 어떤 좌표에 있는지 계산하기 위해서는 상기 수식 (1)의 역함수를 구한다. 그러나, 카메라 좌표계의 변수는 2개이고, 실세계 좌표계의 변수는 3개로 단일 해가 구해지지 않고 무한히 많은 해가 존재하게 되고, 참고로 이때 두 개의 다른 카메라로 각각의 카메라 좌표를 구해 해를 구하는 것이 스테레오 비전이다. 하지만 본 발명에서는 단일카메라에서 사용하기 위해 높이를 또 하나의 변수로 입력하고 해를 구하면 다음과 같이 표현된다.
Figure 112008061694008-PAT00038
(6)
따라서 수식 (1)로부터 임의의 실세계 좌표로부터 맵핑(mapping)되는 카메라 좌표와 수식 (6)으로부터 카메라에 보이는 한 점이 특정 높이일 경우의 실세계 좌표를 구해낼 수 있게 되었으며, 이는 본 발명의 여러 부분에서 핵심적인 역할을 하 게 된다.
본 발명의 수행을 위한 첫 단계로 도 3에 도시한 바와 같이 포인트 특징점을 찾아(S301) 추적한다(S303). 포인트 특징점 추출과 그 추적은 기본적으로 많은 연산이 소요되며, 실시간 처리가 어렵다고 알려져 있으나, 본 발명에서는 움직이는 물체를 찾는 단계, 움직이는 물체에 대한 특징점 추출 단계, 특징점에 대해 피라미드 기법, 정규화 상호 상관도(NCC:Normalized Cross-Correlation) 및 광류(Optical Flow) 연산 단계를 거쳐 실시간 처리가 가능하도록 하였다.
또한, 움직이는 영상에서 이동체를 검지하기 위해 배경 영상을 사용하는 방법은 카메라의 이용이나 광량의 변화가 있을 경우 심한 오차를 발생함으로 환경 변화가 급격한 영상 검지 시스템에서는 유효하지 않으므로 본 발명에서는 도 6에 도시한 바와 같이, 이동체를 찾기 위해 연속하는 3개의 에지 영상으로부터 각각 이웃하는 영상 사이의 절대값과 그 값 사이의 논리적 AND 값을 구하면 움직이는 물체만의 에지를 구할 수 있고, 이를 수식으로 표현하면 다음과 같다.
Figure 112008061694008-PAT00039
(7)
여기서,
Figure 112008061694008-PAT00040
는 움직이는 물체가 포함된 에지 영상이며,
Figure 112008061694008-PAT00041
는 시간
Figure 112008061694008-PAT00042
에서의 에지 영상이다. 또한
Figure 112008061694008-PAT00043
은 마스크 영상으로 물체 영상
Figure 112008061694008-PAT00044
와 서브마스크
Figure 112008061694008-PAT00045
와 딜레이션(dilation) 연산을 통해 구하며, 최종적으로
Figure 112008061694008-PAT00046
시간에서 이동 물체의 영역을 구한다.
이후, 앞서 구해진 움직이는 물체 영역에 대해서 포인트 특징점을 추출한다(S301). 포인트 특징점 추출은 모든 점에 대해 다음과 같이 정의된 행렬의 고유값으로부터 구할 수 있다.
Figure 112008061694008-PAT00047
(8)
여기서
Figure 112008061694008-PAT00048
는 특정 크기의 마스크 크기를 갖는
Figure 112008061694008-PAT00049
축에 대한 기울기 영상과
Figure 112008061694008-PAT00050
축에 대한 기울기 영상이다. 다음은 Harri's 기준(criterion)으로 알려진 특징점 성질 평가 함수이다.
Figure 112008061694008-PAT00051
(9)
여기서
Figure 112008061694008-PAT00052
는 무게변수(weight value)이며, 본 발명에서는 다음 단계에서 특징점의 광류(Optical flow)를 구하기 위해 행렬
Figure 112008061694008-PAT00053
의 계수(rank)가 2로 역함수를 구할 수 있고, 수식 (9)에서 구해진 벡터
Figure 112008061694008-PAT00054
의 엘리먼트 값 중 최소값이 임계값보다 큰 경우를 모두 만족할 때 그 점을 포인트 특징점으로 정의한다.
이후, 상기와 같이 선정된 포인트 특징점에 대한 추적을 실시간으로 수행한 다(S303). 이를 위해 특징점에 대한 정규화 상호 상관도(NCC:Normalized Cross-Correlation) 매칭 및 광류(Optical Flow)를 활용하여 추적을 피라미드 영상 기법을 사용하여 구현하며, 이를 도식화하면 도 7과 같다.
먼저 시간
Figure 112008061694008-PAT00055
의 영상에 대해 3단계 피라미드 영상을 생성하고, 가장 작은 3번째 단계의 영상
Figure 112008061694008-PAT00056
으로부터 추적을 시작한다. 영상의 변화가 클 경우 광류를 사용한 추적에 실패할 확률이 높아지므로, 첫 번째 수행하는 3번째 단계에서 다음과 같이 정의된 정규화 상호 상관도를 구해 매칭점을 찾는다.
Figure 112008061694008-PAT00057
(10)
여기서,
Figure 112008061694008-PAT00058
는 각각 시간
Figure 112008061694008-PAT00059
및
Figure 112008061694008-PAT00060
에 대한 비 균일한 영상 영역이며,
Figure 112008061694008-PAT00061
는 각 영역의 밝기 평균값이다. NCC는 -1에서 1 사이의 값을 갖는데 각 포인트 특징점에 대해 임계 영역내에서 최대가 되는 값을 찾는다. 여기서 찾아진 포인트 특징점 매칭 위치의 두 배가 되는 점을 2번째 단계의 영상
Figure 112008061694008-PAT00062
의 초기값으로 선정하고 광류 이동벡터를 구한다. 광류의 이동벡터를 구하는 방법은 먼저 광류는 다음과 같이 정의되는 두 영상의 오차함수가 최소가 되는 값으로 정의될 수 있으며,
Figure 112008061694008-PAT00063
(11)
양변을 편미분 하여, 행렬 형태로 정의하면 다음과 같고,
Figure 112008061694008-PAT00064
(12)
여기서, 오차가 최소가 되는 점
Figure 112008061694008-PAT00065
으로부터 최종적으로 광류 이동벡터
Figure 112008061694008-PAT00066
를 구할 수 있다.
Figure 112008061694008-PAT00067
(13)
여기서
Figure 112008061694008-PAT00068
이며,
Figure 112008061694008-PAT00069
는
Figure 112008061694008-PAT00070
사이의 시간 축에 대한 기울기 영상이다. 상기 단계의 NCC 매칭을 통해 구해진 값을 초기 값으로 광류 이동벡터
Figure 112008061694008-PAT00071
를 구하고, 이 이동벡터만큼 이동한 위치에 대해 다시 이동벡터를 구하는 과정
Figure 112008061694008-PAT00072
을 이동벡터 값이 '0'이 될 때까지 반복하며, 첫 번째 단계의 영상
Figure 112008061694008-PAT00073
에도 동일한 방법을 적용하여 최종적인 이동벡터를 구함으로써 추적단계를 종료한다.
다음으로, 특징점의 높이를 추정한다(S305). 특징점의 높이를 추정하는 단계는 서로 겹쳐진 물체를 분리해 내기 위한 핵심적인 정보를 제공하며, 바닥면에 투영된 특징점에 대한 실세계 위치 계산, 특징점 궤적의 변위벡터 클러스터링을 통한 기준점 선정, 기준점과 특징점 사이의 물리적 변위의 오차가 최소가 되는 특징점들의 높이 추정 단계로 이루어진다.
도 8에서 보는 바와 같이, 실세계에 존재하는 물체의 특징점은 a나 b처럼 실제로 유일한 존재 하나이지만 선분 A 또는 B를 따라 무수히 많이 존재하는 점들이 영상평면상에는 같은 점에 맵핑된다. 특징점의 높이를 추정하는 문제는 이 무수히 존재하는 점들 중 하나인 벡터
Figure 112008061694008-PAT00074
를 구하기 위해 높이
Figure 112008061694008-PAT00075
를 선택하는 문제로 귀결되며, 특징점 a의 경우 특징점의 높이가 0이므로 실제 특징점 벡터와 바닥면에 투영된 특징점의 벡터는 같으며
Figure 112008061694008-PAT00076
, 강체인 경우 두 벡터의 차이인
Figure 112008061694008-PAT00077
는 물체가 이동하더라도 변하지 않으므로 이러한 특성을 이용해 각각의 높이를 추정한다.
즉, 도 9에서 보는 바와 같이 우선 각 특징점을 바닥면에 투영된 벡터를 카메라 보정의 역 변환식인 수식 (6)에서 높이
Figure 112008061694008-PAT00078
을 대입하여 구한다. 앞선 단계에서 각 특징점의 이동 궤적을 추적하였으므로 바닥면에 투영된 특징점의 궤적을 알 수 있다. 이 궤적은 이동 벡터로 표현될 수 있으며, 영상 평면상에는 그 높이에 따라 다르게 나타나지만
Figure 112008061694008-PAT00079
, 강체이며 선형운동을 하는 경우 실세계의 이동벡터는 동일하다.
Figure 112008061694008-PAT00080
따라서, 각 이동벡터를 연립하여 풀면 높이를 구할 수 있으나 실제로 많은 경우 그 해는 이동 벡터가 최소가 되는 값 즉, 높이가 최대가 되는 값으로 수렴하는 경우가 발생하며, 원하는 해를 구하기 어려워진다. 이 경우 물체의 실제 이동벡터를 알게 됨으로써 문제를 해결할 수 있으나 이것은 사실상 불가능하며 실제 이동벡터를 추정하여야 한다.
우선, 이동체 추출단계에서 구한 이동체 마스크 영상에서 각 이동체를 레이블링(leveling)하고 각각의 레이블안에 속하는 특징점들을 같은 물체라 가정한다. 그리고 같은 물체로 가정된 특징점들의 집합에서 특징점의 운동특성을 분류하기 위해 특징점들의 바닥면에 투영된 움직임 벡터
Figure 112008061694008-PAT00081
들의 놈(norm)과 각도로부터 거리(distance) 함수를 다음과 같이 정의한다.
Figure 112008061694008-PAT00082
(14)
여기서
Figure 112008061694008-PAT00083
는 각 항에 대한 무게변수(weight value)이다. 수식 (14)의 거리 함수를 퍼지 k-means 알고리즘을 사용하여 클러스터링(clustering)하면 도 10과 같은 형태로 나타낼 수 있다. 만일 도 10에 도시한 바와 같이, A, B, C 세 그룹으로 클러스터링 되었다고 가정하면 같은 방향을 갖는 그룹(A, B)는 같은 물체로 볼 수 있으나, 다른 방향으로 이동하는 그룹 C는 다른 물체이거나 잡음이다.
같은 물체로 여겨지는 그룹(A, B) 중 이동량이 적은 그룹 A는 물체의 하부에 존재하는 특징점들로 가정할 수 있으며, 만일 이들이 바닥면에 존재하는 특징점이라면 이들의 이동거리의 평균인
Figure 112008061694008-PAT00084
는 물체의 실제 이동거리와 같으므로,
Figure 112008061694008-PAT00085
를 이동체의 실제 이동거리로 둔다. 이상의 정의로부터 각각의 특징점들의 이동벡터를 아래와 같이 정의할 수 있다.
Figure 112008061694008-PAT00086
(15)
이를 양변을 제곱하여 정리하면 다음과 같다.
Figure 112008061694008-PAT00087
(16)
상기 수식 (16)의 해인 특징점의 높이는 수식 (6)을 수식 (16)에 대입한 일원 방정식의 해로 쉽게 구할 수 있다.
다음으로, 앞선 단계를 통해 획득한 특징점들의 이동궤적, 특징점의 운동벡터 특성에 의한 그룹 그리고 각 특징점들의 실세계의 높이 추정 정보와 차량의 형태 정보를 활용하여 특징점들을 구분(segmentation)하는 단계를 수행한다(S307).
추정된 특징점의 높이를 특징점의 이동궤적에 순차적으로 대입하고, 이로부터 얻어지는 특징점의 실세계의 3차원 벡터들의 상대 거리를 확인한다. 이때, 이들 의 상대거리가 오차범위 이상으로 변하는 경우 이 특징점은 잡음이거나 다른 물체이므로 제거한다. 이후, 도 11에 도시한 바와 같이 (A) 그룹과 같이 물체의 외곽에 존재하면서 높이가 임계값 이하로 낮은 특징점들은 그림자로 판단하고 제거한다. 다음으로 낮은 높이의 특징점과 높은 높이의 특징점이 혼재하는 (B) 그룹은 차량의 외곽이며, 차량의 외곽이 발견되면 임계값 이상의 특징점들의 외곽의 크기로부터 차량의 겹침 상태를 확인한다.
대부분의 차량을 크기로 구분하면 도 12에 도시한 바와 같은 범주에 속하게 된다. 앞서 찾은 차량의 외곽으로부터 특징점이 어떤 범주에 속하는지 찾고, 차량으로 판단된 특징점은 차량으로 구분하고 제거한다. 모든 특징점이 제거될 때까지 같은 방법을 반복하여 겹쳐진 차량을 구분하여 분리한다.
이후, 선형 강인 예측기인 칼만 필터와 특징점 추적을 통해 차량 추적을 수행한다(S309). 차량으로 구분된 특징점의 그룹에 속하는 이동벡터의 평균값을 차량의 이동벡터로 정의하고, 차량의 외곽은 선택된 범주로 정의하며, 차량의 위치는 외곽의 중심으로 정의한다. 특징점들은 차량으로 구분되기까지 여러 장면에 걸쳐 추적되었다. 처음 차량으로 구분되면, 이 특징점들의 처음 발견 시점부터 차량으로 구분된 현재까지의 궤적을 입력으로 칼만 필터의 게인을 초기화한다.
필터 게인의 초기화가 완료되면, 다음 장면에서의 차량의 위치를 예측한다. 다음 장면에서 특징점을 추적하여 차량에 소속된 특징점이 예측 위치의 범위 안에 존재하면 예측 위치를 차량의 새로운 위치로 정하고 칼만 필터 게인을 갱신한다. 예측 범위를 벗어나면 차량구분을 새로 수행하여 새로운 위치를 얻어 이로부터 필 터 게인을 갱신한다.
영상 검지 시스템이 요구되는 기본적인 교통정보들은 교통량, 통행 속도 및 점유율이다. 이상의 정보를 취득하기 위한 기준이 필요한데, 종래 시스템과의 호환성을 위해 기존 정보를 취득하는 영역을 정의한다. 도로상의 정보 취득을 요하는 위치에 가상의 3차원 터널 영역을 설정하고, 이 터널을 통과하는 차량의 대수를 교통량, 터널을 통과하는 속도를 통행속도 및 터널을 지나는 동안의 시간을 점유시간으로 정의하여 종래의 시스템과 호환되는 교통정보를 얻는다.
여기서 통행 속도는 차량의 속도가 아니라 차량의 각 특징점의 속도의 평균으로 정의한다. 이는 속도 정보를 취득하는 샘플수를 증가시켜 확률이론에서 잘 알려진 중심극한정리(Central limit theorem)에 따라 속도 오차를 줄일 수 있어 더욱 정확한 속도 정보를 얻을 수 있다. 이와 같은 기본적인 교통정보 이외에 차량의 크기로 구분되는 차량의 차종 정보를 얻을 수 있고, 주행차량의 실시간 현재 위치와 궤적 및 이동 속도를 통해 이용차로 이외의 차량 주행(갓길 주행), 불법 주차, 역주행, 불법 유턴, 교통사고 검지 등의 돌발상황 정보도 얻을 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범 위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 종래의 영상 검지 방법을 나타내는 도면이다.
도 2는 종래의 영상 검지 방법에서 카메라의 높이와 차량 간격의 관계를 나타내는 도면이다.
도 3은 본 발명의 실시 예에 따른 영상 검지 방법을 나타내는 순서도이다.
도 4는 실세계에 존재하는 특정위치가 카메라상에 투영되어 보여지는 것을 나타내는 도면이다.
도 5는 본 발명의 실시 예에 따른 영상 검지 방법에서 실세계 좌표계에 존재하는 직사각형의 4개의 꼭지점이 카메라상에 투영되어 보여지는 것을 나타내는 도면이다.
도 6은 본 발명의 실시 예에 따른 영상 검지 방법에서 특징점을 추출하는 과정을 나타내는 도면이다.
도 7은 본 발명의 실시 예에 따른 영상 검지 방법에서 피라미드 영상 기법을 이용하여 특징점 추출 및 추적을 구현하는 것을 나타내는 도면이다.
도 8은 본 발명의 실시 예에 따른 영상 검지 방법에서 실세계에 존재하는 물체의 특징점을 나타내는 도면이다.
도 9는 본 발명의 실시 예에 따른 영상 검지 방법에서 실세계에 존재하는 물체의 이동벡터를 나타내는 도면이다.
도 10은 본 발명의 실시 예에 따른 영상 검지 방법에서 추정된 특징점들의 높이를 클러스터링한 것을 나타내는 도면이다.
도 11은 본 발명의 실시 예에 따른 영상 검지 방법에서 차량을 구분하는 것을 나타내는 도면이다.
도 12는 본 발명에서 사용한 크기에 의해 구분된 차량의 범주를 나타내는 도면이다.

Claims (8)

  1. 움직이는 영상에서 이동 물체를 검지하고 검지된 이동 물체에 대한 특징점을 추출한 후, 추출된 특징점에 대하여 실시간으로 추적하는 제1단계;
    상기 특징점의 추적에 의한 이동 물체의 궤적을 이용하여 특징점의 높이를 추정하는 제2단계;
    추정된 특징점들의 높이에 따라 차량을 구분하여 분리하는 제3단계
    를 포함하는 것을 특징으로 하는 이동 물체의 특징점을 이용하는 영상 검지 방법.
  2. 제 1항에 있어서, 상기 제1단계에서
    이동 물체 검지는 연속하는 에지 영상으로부터 각각 이웃하는 영상 사이의 절대값과 그 값 사이의 논리적 곱에 의해 수행되는 것을 특징으로 하는 이동 물체 특징점을 이용하는 영상 검지 방법.
  3. 제 1항에 있어서, 상기 제1단계에서
    상기 특징점 추적은 특징점에 대한 정규화 상호 상관도(NCC:Normalized Cross-Correlation) 매칭 및 광류(Optical flow)를 이용하는 피라미드 영상 기법을 사용하여 구현하는 것을 특징으로 하는 이동 물체 특징점을 이용하는 영상 검지 방법.
  4. 제 3항에 있어서,
    상기 피라미드 영상 기법은 첫 단계에서 NCC를 사용하여 각 특징점에 대해 임계영역 내에서 최대가 되는 값을 찾아 그 값이 매칭하는 위치의 두 배가 되는 점을 두 번째 단계 영상의 초기값으로 선정하고 광류 이동벡터를 구하는 것을 특징으로 하는 이동 물체 특징점을 이용하는 영상 검지 방법.
  5. 제 1항에 있어서, 상기 제2단계는
    바닥면에 투영된 특징점에 대한 실세계 위치를 계산하는 단계;
    특징점 궤적의 변위벡터 클러스터링(clustering)을 통하여 기준점을 선정하는 단계;
    기준점과 특징점 사이의 물리적 변위 오차가 최소가 되는 특징점들의 높이를 추정하는 단계
    를 포함하는 것을 특징으로 하는 이동 물체 특징점을 이용하는 영상 검지 방법.
  6. 제 5항에 있어서,
    상기 클러스터링을 통하여 같은 방향을 가진 그룹과 다른 방향으로 이동하는 그룹을 구분하는 것을 특징으로 하는 이동 물체 특징점을 이용하는 영상 검지 방법.
  7. 제 1항에 있어서,
    상기 차량 구분은 추정된 특징점의 높이를 특징점의 이동 궤적에 순차적으로 대입하여 얻어지는 특징점의 실세계의 3차원 벡터들의 상대 거리를 확인하여 수행하는 것을 특징으로 하는 이동 물체 특징점을 이용하는 영상 검지 방법.
  8. 제 7항에 있어서,
    상기 상대 거리가 오차범위 이상이면 해당하는 특징점은 잡음이거나 다른 물체이므로 제거하고, 외곽에 존재하면서 임계값 이하로 낮은 특징점들은 그림자로 판단하고 제거하며, 임계값 이상의 특징점들은 그 크기에 따라 차량의 겹침 상태를 확인하여 구분하는 것을 특징으로 하는 이동 물체 특징점을 이용하는 영상 검지 방법.
KR1020080085000A 2008-08-29 2008-08-29 이동 물체의 특징점을 이용하는 영상 검지 방법 KR100979726B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080085000A KR100979726B1 (ko) 2008-08-29 2008-08-29 이동 물체의 특징점을 이용하는 영상 검지 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080085000A KR100979726B1 (ko) 2008-08-29 2008-08-29 이동 물체의 특징점을 이용하는 영상 검지 방법

Publications (2)

Publication Number Publication Date
KR20100026123A true KR20100026123A (ko) 2010-03-10
KR100979726B1 KR100979726B1 (ko) 2010-09-02

Family

ID=42177507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080085000A KR100979726B1 (ko) 2008-08-29 2008-08-29 이동 물체의 특징점을 이용하는 영상 검지 방법

Country Status (1)

Country Link
KR (1) KR100979726B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101514366B1 (ko) * 2014-09-17 2015-04-23 한국건설기술연구원 감시 카메라 시스템의 영상합성 장치 및 그 방법
KR20160026271A (ko) * 2014-08-29 2016-03-09 주식회사 에스원 달리기 감지 방법 및 시스템
KR20160136689A (ko) 2015-05-20 2016-11-30 한화테크윈 주식회사 다중 객체 추적 방법 및 이를 위한 장치
KR102283482B1 (ko) * 2021-02-19 2021-07-29 주식회사 싸인텔레콤 객체추적을 통해 교통정보를 산출할 수 있는 영상시스템
KR102454599B1 (ko) * 2021-05-26 2022-10-17 포티투닷 주식회사 차로 맵 상에 객체의 위치를 결정하기 위한 방법 및 장치
WO2022250480A1 (ko) * 2021-05-26 2022-12-01 포티투닷 주식회사 차로 맵 상에 객체의 위치를 결정하기 위한 방법 및 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101726692B1 (ko) 2012-08-24 2017-04-14 한화테크윈 주식회사 객체 추출 장치 및 방법
KR101639722B1 (ko) 2015-05-26 2016-07-15 주식회사 피엘케이 테크놀로지 소실점 보정 장치 및 방법
KR102186983B1 (ko) * 2019-09-17 2020-12-04 한성대학교 산학협력단 사용자 영상 단말의 이동거리 측정 방법 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0156610B1 (ko) * 1995-02-15 1998-12-15 심광호 이동차량 자동계수시스템 및 방법
JP2000048298A (ja) 1998-07-31 2000-02-18 Matsushita Electric Ind Co Ltd 車両検出装置
KR20060098508A (ko) * 2005-03-03 2006-09-19 장성윤 초음파센서를 이용한 차종 분류 방법
KR100814028B1 (ko) * 2006-05-30 2008-03-14 김주현 주행 차량 자동 계중 시스템

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160026271A (ko) * 2014-08-29 2016-03-09 주식회사 에스원 달리기 감지 방법 및 시스템
KR101514366B1 (ko) * 2014-09-17 2015-04-23 한국건설기술연구원 감시 카메라 시스템의 영상합성 장치 및 그 방법
KR20160136689A (ko) 2015-05-20 2016-11-30 한화테크윈 주식회사 다중 객체 추적 방법 및 이를 위한 장치
KR20220075273A (ko) 2015-05-20 2022-06-08 한화테크윈 주식회사 다중 객체 추적 방법 및 이를 위한 장치
KR102283482B1 (ko) * 2021-02-19 2021-07-29 주식회사 싸인텔레콤 객체추적을 통해 교통정보를 산출할 수 있는 영상시스템
KR102454599B1 (ko) * 2021-05-26 2022-10-17 포티투닷 주식회사 차로 맵 상에 객체의 위치를 결정하기 위한 방법 및 장치
WO2022250480A1 (ko) * 2021-05-26 2022-12-01 포티투닷 주식회사 차로 맵 상에 객체의 위치를 결정하기 위한 방법 및 장치
KR20220159868A (ko) * 2021-05-26 2022-12-05 포티투닷 주식회사 차로 피팅을 수행하기 위한 방법 및 장치

Also Published As

Publication number Publication date
KR100979726B1 (ko) 2010-09-02

Similar Documents

Publication Publication Date Title
KR100979726B1 (ko) 이동 물체의 특징점을 이용하는 영상 검지 방법
US10452931B2 (en) Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system
EP3788597B1 (en) Associating lidar data and image data
Yamaguchi et al. Vehicle ego-motion estimation and moving object detection using a monocular camera
EP2958054B1 (en) Hazard detection in a scene with moving shadows
US8406472B2 (en) Method and system for processing image data
Barth et al. Estimating the driving state of oncoming vehicles from a moving platform using stereo vision
WO2016129403A1 (ja) 物体検知装置
US20110001615A1 (en) Obstacle detection procedure for motor vehicle
JP2000074645A (ja) 周辺監視装置及び方法
WO2005086078A1 (en) Method and apparatus for classifying an object
CN110543807A (zh) 验证障碍物候选的方法
JP4967758B2 (ja) 物体移動の検出方法及び検出装置
JP2008225784A (ja) 消失点抽出装置
Kanhere et al. Vehicle segmentation and tracking in the presence of occlusions
CN113221739B (zh) 基于单目视觉的车距测量方法
Kim et al. Pedestrian detection with simplified depth prediction
JP2021092996A (ja) 計測システム、車両、計測方法、計測装置及び計測プログラム
JP6171608B2 (ja) 物体検出装置
Tian et al. Fast and robust cyclist detection for monocular camera systems
Catalin et al. Object tracking from stereo sequences using particle filter
Bui et al. Multi-sensors people detection system for heavy machines
Dang et al. Fast object hypotheses generation using 3D position and 3D motion
Rosebrock et al. Real-time vehicle detection with a single camera using shadow segmentation and temporal verification
Li et al. A review of vision-based vehicle detection and tracking techniques for intelligent vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130827

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140827

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150827

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160826

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170802

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180801

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20200210

Year of fee payment: 10