KR102172849B1 - 동영상에서 근접해오는 차량 검출 시스템 및 그 방법 - Google Patents

동영상에서 근접해오는 차량 검출 시스템 및 그 방법 Download PDF

Info

Publication number
KR102172849B1
KR102172849B1 KR1020180168583A KR20180168583A KR102172849B1 KR 102172849 B1 KR102172849 B1 KR 102172849B1 KR 1020180168583 A KR1020180168583 A KR 1020180168583A KR 20180168583 A KR20180168583 A KR 20180168583A KR 102172849 B1 KR102172849 B1 KR 102172849B1
Authority
KR
South Korea
Prior art keywords
vehicle
block
previous frame
current frame
vehicle block
Prior art date
Application number
KR1020180168583A
Other languages
English (en)
Other versions
KR20200079070A (ko
Inventor
심재창
이영학
Original Assignee
안동대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 안동대학교 산학협력단 filed Critical 안동대학교 산학협력단
Priority to KR1020180168583A priority Critical patent/KR102172849B1/ko
Publication of KR20200079070A publication Critical patent/KR20200079070A/ko
Application granted granted Critical
Publication of KR102172849B1 publication Critical patent/KR102172849B1/ko

Links

Images

Classifications

    • G06K9/00791—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06K9/4642—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 동영상에서 근접해오는 차량 검출 시스템 및 그 방법에 관한 것이다. 본 동영상에서 근접해오는 차량 검출 시스템은, 차량에 설치되어 후방을 촬영하는 카메라, 상기 카메라가 촬영한 영상을 저장하는 저장부, 상기 카메라가 촬영한 영상을 표시하는 표시부, 상기 카메라가 촬영한 영상에서 이전 프레임과 현재 프레임에서 차량을 추출하여 블록화하고, 각 차량 블록의 중심점을 산출하고, 이전 프레임의 기준 차량 블록과 다음 프레임의 각 차량 블록의 중심점에 의해 거리 및 벡터를 산출하고, 산출한 거리 및 벡터에 기초하여 이전 프레임의 기준 차량 블록에 대해 벡터가 일정 각도 이상을 갖는 현재 프레임에서 차량 블록은 비교 대상에서 제거하고, 이전 프레임의 기준 차량 블록에 대해 가까운 거리 순으로 현재 프레임의 차량 블록을 비교하여 동일한 컬러 히스토그램을 갖는 차량 블록을 동일 차량으로 인식하고, 근접해오는 차량으로 추출하여, 상기 표시부에 출력하는 제어부를 포함하는 것을 특징으로 한다. 이러한 구성에 의하여, 동영상에서 움직이는 기준 차량을 향해 근접해오는 차량을 정확히 검출 가능할 수 있다.

Description

동영상에서 근접해오는 차량 검출 시스템 및 그 방법{DETECTING SYSTEM FOR APPROACHING VEHICLE IN VIDEO AND METHOD THEREOF}
본 발명은 동영상에서 차량을 추출하는 시스템 및 방법에 관한 것으로서, 보다 상세하게는 차량의 후방을 촬영한 동영상에서 근접해오는 차량을 검출하는 시스템 및 방법에 관한 것이다.
최근 차량이나 로봇 등의 자율주행에 관한 관심이 높게 대두되고 있다. 자율주행에 있어서 다른 부분도 중요하지만 특히 자율주행시스템은 추돌을 방지하기 위해 물체를 감지하고 이를 피해 주행할 수 있도록 하는 것이 자율주행시 가장 우선순위가 높은 관심 분야이기도 하다.
이러한 이유는 자율주행시스템의 안전주행시 물체를 감지하기 위해서는 물체와 자율주행시스템 간의 거리를 파악하여 물체가 자율주행시스템으로부터 멀어지는지 또는 가까워지는지를 파악하여야 한다.
도 1을 참조하면, 동영상 화면에서 이동하는 기준 물체의 뒤에는, 이동하는 기준 물체를 향해서 근접해오는 물체, 이동하는 기준 물체의 뒤에서 가로지르는 물체, 그리고 이동하는 기준 물체의 옆에서 뒤쪽 방향으로 지나가는 물체가 존재한다. 이때, 근접해오는 물체, 지나가는 물체는 동영상의 이전 프레임 및 현재 프레임에서 각각의 위치값이 변화한다.
예를 들어, 도로에는 뒤따라오는 차량과 중앙차선 너머에서는 지나가는 차량이 있다. 차량 추돌 방지를 위한 시스템에서, 동영상에서 차량 검출 시 후방에서 근접해오는 차량은 필요하지만 중앙차선 너머에 있는 지나가는 차량의 검출은 필요하지 않다.
현재의 차량 추적 방법에서는, 이전 프레임(f(t-1))에서 검출된 차량의 사각형 중심좌표(x, y)와 현재 프레임(f(t))에서 추출된 차량의 사각형 중심좌표(x', y') 사이의 거리를 계산하여 현재 프레임에서 가장 가까운 거리에 있는 차량을 대응하는 차량으로 선택하여 검출한다.
차량 촬영 영상에서, 이전 프레임과 현재 프레임의 차량을 대응시켜 일반적으로 아이디를 부여하는 도면을 나타낸 도 2를 참조하면, 이전 프레임에서 추출한 차량 블록에 아이디(ID1, ID2, ID3...)를 부여한다. 그리고, 이전 프레임의 소정 차량 블록 ID1에 대해, 현재 프레임에서 추출한 차량 블록까지의 거리를 기준으로 가장 가까운 현재 프레임의 차량 블록을 대응하는 차량 블록으로 검출하여, 아이디'ID-1', 'ID-2', 'ID-3'...라고 부여한다.
그런데, 이러한 차량 검출 방법은 현재 프레임에서 차량을 모두 검출하므로, 움직이는 기준 차량을 향해 근접해오는 차량만을 검출하는 것은 불가능하다. 즉, 현재 프레임에서 검출된 차량이 후방에서 접근하는 차량인지, 지나가는 차량인지를 구분하는 방법이 요구된다.
따라서, 본 발명은 상기한 문제점을 해결하기 위해 창안된 것으로, 본 발명의 목적은, 움직이는 기준 차량을 향해 근접해오는 차량을 정확히 검출 가능한 시스템 및 방법을 제공하는 것이다.
그러나, 본 발명의 목적은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위한 본 발명의 제1양태에 따른 구성은, 동영상에서 근접해오는 차량 검출 시스템에 있어서, 차량에 설치되어 후방을 촬영하는 카메라, 상기 카메라가 촬영한 영상을 저장하는 저장부, 상기 카메라가 촬영한 영상을 표시하는 표시부, 상기 카메라가 촬영한 영상에서 이전 프레임과 현재 프레임에서 차량을 추출하여 블록화하고, 각 차량 블록의 중심점을 산출하고, 이전 프레임의 기준 차량 블록과 다음 프레임의 각 차량 블록의 중심점에 의해 거리 및 벡터를 산출하고, 산출한 거리 및 벡터에 기초하여 이전 프레임의 기준 차량 블록에 대해 벡터가 일정 각도 이상을 갖는 현재 프레임에서 차량 블록은 비교 대상에서 제거하되, 블록화된 차량 블록들에 대하여 이전 프레임에서 검출된 차량 블록들의 중심 좌표와 현재 프레임에서 검출된 차량 블록들의 중심 좌표에 대해 유클리디안 거리 계산을 하고, 이전 프레임과 현재 프레임의 벡터 방향을 구하여 벡터 방향이 유효 범위 내에 있는 차량 블록을, 근접해오는 후보 차량 블록으로 간주하고, 이전 프레임의 기준 차량 블록에 대해 가까운 거리 순으로 현재 프레임의 상기 후보 차량 블록을 비교하여 동일한 컬러 히스토그램을 갖는 차량 블록을 동일 차량으로 인식하고, 근접해오는 차량으로 추출하여, 상기 표시부에 출력하는 제어부를 포함하고, 상기 제어부는 촬영 영상에서 차량을 추출하여 블록으로 형성하는 차량 추출/블록화부, 동영상의 이전 프레임 및 현재 프레임에서 차량 블록의 중심 좌표값(x, y)을 추출하는 중심점 추출부와, 이전 프레임의 소정 차량 블록을 기준으로 현재 프레임의 모든 차량 블록까지의 거리 및 벡터를 각각 계산하는 거리/벡터 계산부와, 거리/벡터 계산부의 계산 결과로 산출된 벡터에 기초하여 이전 프레임의 기준 차량 블록에 대해 산출한 벡터 각도가 일정 각도 이상에 위치한 현재 프레임의 차량 블록은 멀어지는 차량이므로 비교 대상에서 제거하고 이전 프레임의 각 차량 블록에 대해 현재 프레임에서 대응하는 후보 차량 블록을 추출하는 후보 차량 블록 추출부와, 이전 프레임 및 현재 프레임의 차량 블록의 컬러히스토그램을 형성하는 컬러히스토그램 형성부를 포함하는 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명의 제2양태에 따른 구성은, 동영상에서 근접해오는 차량 검출 방법에 있어서, 차량에 설치된 카메라로 후방을 촬영하여 일정 시간 간격으로 촬영 영상을 저장하는 제1단계; 물체 추출 기술을 이용하여 촬영 영상 중 이전 프레임과 현재 프레임에서 차량을 추출하여 블록화하는 제2단계; 각 차량 블록의 중심점 위치값을 산출하는 제3단계; 상기 중심점 위치값에 의해 이전 프레임의 소정 차량 블록을 기준으로 현재 프레임의 각 차량 블록까지의 거리 및 벡터를 산출하는 제4단계; 거리 및 벡터 계산 결과에 기초하여 이전 프레임의 각 차량 블록에 대해 현재 프레임에서 대응하는 차량 블록을 추출하는 제5단계; 산출한 벡터에 기초하여 이전 프레임의 기준 차량 블록에 대해 산출한 벡터 각도가 일정 각도 이상에 위치한 현재 프레임의 차량 블록은 멀어지는 차량이므로 비교 대상에서 제거하는 제6단계; 이전 프레임의 기준 차량 블록과 현재 프레임의 각 차량 블록의 컬러 히스토그램을 형성하는 제7단계; 기준 차량 블록과 현재 프레임의 차량 블록의 컬러 히스토그램을 근거리 순으로 비교하는 제8단계; 이전 프레임의 기준 차량 블록과 동일한 컬러 히스토그램을 갖는 차량 블록을 추출하여 동일 차량으로 인식하여 근접해오는 차량으로 검출하는 제9단계; 이전 프레임의 모든 차량에 대해 상기 제4단계 내지 제9단계를 반복하는 단계를 포함하고; 상기 제6단계는 블록화된 후보 차량 블록들에 대하여 이전 프레임에서 검출된 차량 블록들의 중심 좌표와 현재 프레임에서 검출된 차량 블록들의 중심 좌표에 대해 유클리디안 거리 계산을 하고, 이전 프레임과 현재 프레임의 벡터 방향을 구하여 벡터 방향이 유효 범위 내에 있는 차량 블록을, 근접해오는 후보 차량 블록으로 간주하는 단계를 포함하는 것을 특징으로 하는 동영상에서 근접해오는 차량 검출 방법.을 특징으로 한다.
상기의 구성으로 이루어진 동영상에서 근접해오는 차량 검출 시스템 및 그 방법에 따르면, 동영상에서 움직이는 기준 차량을 향해 근접해오는 차량을 정확히 검출 가능할 수 있다.
도 1은 일반적인 후방 카메라로 촬영한 차량 영상에서 근접해오거나 멀어지는 차량을 나타내는 간략도,
도 2는 차량 촬영 영상에서, 이전 프레임과 현재 프레임의 차량을 대응시켜 일반적으로 아이디를 부여하는 도면,
도 3은 본 발명에 따른 동영상에서 근접해오는 차량 검출 시스템의 구성도,
도 4는 본 발명에 따른 동영상에서 근접해오는 차량 검출 방법의 순서도,
도 5a는 동영상에서 근접해오는 차량 검출시 오검출하는 경우를 나타내는 도면,
도 5b는 본 발명에 따라 동영상에서 근접해오는 차량 검출시 유사도를 이용하는 경우를 나타내는 도면이다.
본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 통해 설명될 것이다. 그러나 본 발명은 여기에서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 본 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.
도면들에 있어서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니며 명확성을 기하기 위하여 과장된 것이다. 또한, 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소를 나타낸다. 본 명세서에서 "및/또는"이란 표현은 전후에 나열된 구성요소들 중 적어도 하나를 포함하는 의미로 사용된다. 또한, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 명세서에서 사용되는 "포함한다" 또는 "포함하는"으로 언급된 구성요소, 단계, 동작 및 소자는 하나 이상의 다른 구성요소, 단계, 동작, 소자 및 장치의 존재 또는 추가를 의미한다.
이하에서, 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 본 발명을 구체적으로 설명한다. 본 발명을 설명함에 있어서 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
본 발명은 동영상에서 뒤에서 근접해오는 물체만을 검출 및 추적하는 방법을 제안한다. 이동하는 물체를 동영상으로 촬영한 경우, 이전 프레임의 소정 물체의 중심좌표 값과 현재 프레임의 물체의 중심좌표 값을 비교하면, x와 y의 값이 일정값 이상 증가하게 된다.
설정된 후보 물체들에 대하여 이전 프레임에서 검출된 물체들의 중심 좌표와 현재 프레임에서 검출된 물체들의 중심 좌표에 대해 유클리디안 거리 계산을 하고, 이전 프레임과 현재 프레임의 벡터 방향을 구하여 벡터 방향이 유효 범위 내에 있는 물체를 근접해오는 후보 물체로 간주한다.
그리고, 이들 후보 물체들 중에서, 이전 프레임에서 기준 물체들의 사각형과 현재 프레임에서 검출된 물체들의 사각형에 대해 컬러히스토그램 유사도 비교를 수행하여 최종적으로 추적 대상 물체를 결정한다.
이하에서, 실시예 도면을 참조하여 상술한 본 발명의 구성을 상세하게 설명한다.
도 3은 본 발명에 따른 동영상에서 근접해오는 차량 검출 시스템의 구성도이다. 도 3에 보인 바와 같이, 카메라(10), 카메라(10)에서 촬영된 영상을 저장하는 저장부(20), 촬영된 영상을 표시하는 표시부(30), 저장부(20)에 저장된 촬영 영상을 분석하여 근접해오는 차량만을 검출하는 기능을 처리하는 제어부(40)를 포함한다.
제어부(40)는 이전 프레임의 차량 블록을 기준으로, 차순위(예를 들어, 3순위까지)의 거리값을 가지는 현재 프레임의 차량 블록을 선택하여 유사도를 비교하여, 유사도가 가장 큰 차량 블록을 검출한다. 이에 따라, 가장 근접한 현재 프레임의 차량 블록인 경우라도 유사도가 떨어지는 경우를 제외할 수 있다.
이때, 유사도는 유사도(SSID)를 비교하는 방법, MSE(Mean Sqaure Error) 비교 방법, 컬러히스토그램(Color Histogram) 비교 방법을 사용할 수 있다.
이하 실시예에서는, 제어부(40)가 유사도를 비교시에 컬러히스토그램을 이용하는 경우를 설명한다.
제어부(40)는 촬영 영상에서 차량을 추출하여 블록으로 형성하는 차량 추출/블록화부(41), 동영상의 이전 프레임 및 현재 프레임에서 차량 블록의 중심 좌표값(x, y)을 추출하는 중심점 추출부(42), 이전 프레임의 소정 차량 블록을 기준으로 현재 프레임의 모든 차량 블록까지의 거리 및 벡터를 각각 계산하는 거리/벡터 계산부(43), 거리/벡터 계산부(43)의 계산 결과에 기초하여 이전 프레임의 각 차량 블록에 대해 현재 프레임에서 대응하는 후보 차량 블록을 추출하는 후보 차량 블록 추출부(44), 이전 프레임 및 현재 프레임의 차량 블록의 컬러히스토그램을 형성하는 컬러히스토그램 형성부(45)를 포함한다.
차량 추출/블록화부(41)는 영상에서 물체의 추출은 여러가지 특징점(Haar, HOG, LBP, 딥러닝 등) 추출 방법을 이용한다. 딥러닝 등 물체 추출 방법은 공지된 기술이므로 상세한 설명은 생략한다.
중심점 추출부(42)는 차량 추출/블록화부(41)가 이전 프레임 및 현재 프레임에서 추출한 차량 블록들의 중심점(중심 위치값)을 모두 추출한다. 중심점 추출부(42)는 차량 블록의 대각선이 교차하는 점을 구하여 중심점을 산출할 수 있다.
후보 차량 블록 추출부(44)는 산출한 벡터에 기초하여 이전 프레임의 기준 차량 블록에 대해 산출한 벡터 각도가 일정 각도(예를 들어, 100°이상에 위치한 현재 프레임의 차량 블록은 비교 대상에서 제거하고, 이전 프레임 및 현재 프레임의 각 차량 블록의 유사도를 비교하여 이전 프레임의 기준 차량 블록에 대해 가까운 거리 순으로 정렬한다.
제어부(40)는 이전 프레임의 기준 차량 블록에 대해 가까운 거리 순으로 현재 프레임의 차량 블록을 비교하여 동일한 컬러 히스토그램을 갖는 차량 블록을 동일 차량으로 인식하고, 근접해오는 차량으로 추출하여, 표시부(30)에 출력한다.
도 4는 본 발명에 따른 동영상에서 근접해오는 차량 검출 방법의 순서도이다. 도 4에 보인 바와 같이, 카메라(10)가 후방을 촬영하여 저장부(20)에 저장하고(S1), 제어부(40)가 촬영 영상의 이전 프레임 및 현재 프레임에서 차량을 추출하여 블록화한다(S2).
제어부(40)가 이전 프레임과 현재 프레임에서 차량 블록들의 중심값(x, y)을 구한다(S3). 그 다음, 이전 프레임의 기준 차량의 중심 위치값과 다음 프레임의 각 차량 블록의 중심 위치값에 의해 벡터 방향과 각도를 산출한다(S4).
제어부(40)가 산출한 벡터 각도가 일정 각도(예를 들어 100도) 이상인 차량 블록은 멀어지는 차량이므로 비교 대상에서 제거한다(S5).
제어부(40)가 이전 프레임의 기준 차량과 다음 프레임의 차량 블록들까지의 거리에 의해, 거리가 가까운 순으로 차량 블록을 정렬하여, 후보 차량 블록을 추출한다(S6).
제어부(40)가 이전 프레임의 기준 차량의 컬러 히스토그램과 정렬한 차량의 컬러 히스토그램을 형성한다(S7).
제어부(40)가 이전 프레임의 기준 차량의 컬러 히스토그램과 정렬한 차량의 컬러 히스토그램을 비교한다(S8).
제어부(40)가 비교결과, 동일한 컬러 히스토그램을 갖는 차량을 동일 차량인 것으로 인식하고, 근접해오는 차량인 것으로 검출한다(S9).
제어부(40)가 이전 차량의 모든 차량 블록에 대해 상기 과정을 반복한다(S10).
일반적으로 ID를 부여하는 방법에서 에러가 발생하는 경우는 다음과 같다.
도 5a의 좌측 도면은 이전 프레임의 차량 블록 ID1에 대해 현재 프레임에서 가장 근접한 차량 블록을 대응하는 차량 블록으로 정상적으로 검출하여 ID1-1로 지정하는 경우이다.
도 5a의 우측 도면을 참조하면, 이전 프레임의 차량 블록과 현재 프레임의 차량 블록의 거리비교만으로 대응하는 차량 블록을 검출할 경우, 다른 차량 블록이 선택될 수 있는 경우를 나타낸다.
즉, 이전 프레임의 차량 블록 ID2에 대해, 거리값이 현재 프레임의 차량 블록 ID2-1에 비해 차량 블록 ID1-1이 더 가까우므로, 차량 블록 ID2에 대응하는 차량으로 차량 블록 ID-1을 선택하는 경우가 발생할 수 있다. 만약 먼저 검출된 물체(차량 블록)를 제외하는 알고리즘을 사용하는 경우 그 물체가 다른 ID의 물체일 수도 있게 된다.
따라서, 일반적으로 ID를 부여하는 방법에서 에러가 발생하는 것을 방지하기 위해, 본원 발명에서는, 이전 프레임의 차량 블록과 현재 프레임 차량 블록의 유사도를 비교한다.
도 5b는 본 발명에 따라 동영상에서 근접해오는 차량 검출시 유사도를 이용하는 경우를 나타내는 도면이다.
도 5b의 우측 도면은, 동영상의 이전 프레임과 현재 프레임을 비교하여 이전 프레임의 각 차량 블록에서 최소 거리에 있는 차량 블록을 검출시 이전 프레임의 차량 블록에 대응하는 차량 블록의 컬러히스토그램을 비교하는 것을 나타내는 도면이다.
상술한 실시예에서는 제어부(40)가 유사도를 비교시에 컬러 히스토그램을 비교하는 방법을 서술하였으나, 다른 실시예로서 가장 비슷한 크기의 차량을 선택하는 방법을 이용할 수도 있다.
이러한 구성에 의하여, 동영상에서 근접해오는 차량 검출 시스템 및 방법에 따르면, 움직이는 기준 차량을 향해 근접해오는 차량을 정확히 검출 가능하게 된다.
1 : 동영상에서 근접해오는 차량 검출 시스템
10 : 카메라 20 : 저장부
30 : 표시부 40 : 제어부
41 : 차량 추출/블록화부 42 : 중심점 추출부
43 : 거리/벡터 계산부 44 : 후보블록 추출부
45 : 컬러히스토그램 형성부

Claims (2)

  1. 동영상에서 근접해오는 차량 검출 시스템에 있어서,
    차량에 설치되어 후방을 촬영하는 카메라,
    상기 카메라가 촬영한 영상을 저장하는 저장부,
    상기 카메라가 촬영한 영상을 표시하는 표시부,
    상기 카메라가 촬영한 영상에서 이전 프레임과 현재 프레임에서 차량을 추출하여 블록화하고, 각 차량 블록의 중심점을 산출하고, 이전 프레임의 기준 차량 블록과 다음 프레임의 각 차량 블록의 중심점에 의해 거리 및 벡터를 산출하고, 산출한 거리 및 벡터에 기초하여 이전 프레임의 기준 차량 블록에 대해 벡터가 일정 각도 이상을 갖는 현재 프레임에서 차량 블록은 멀어지는 차량이므로 비교 대상에서 제거하되, 블록화된 차량 블록들에 대하여 이전 프레임에서 검출된 차량 블록들의 중심 좌표와 현재 프레임에서 검출된 차량 블록들의 중심 좌표에 대해 유클리디안 거리 계산을 하고, 이전 프레임과 현재 프레임의 벡터 방향을 구하여 벡터 방향이 유효 범위 내에 있는 차량 블록을, 근접해오는 후보 차량 블록으로 간주하고, 이전 프레임의 기준 차량 블록에 대해 가까운 거리 순으로 현재 프레임의 상기 후보 차량 블록을 비교하여 동일한 컬러 히스토그램을 갖는 차량 블록을 동일 차량으로 인식하고, 근접해오는 차량으로 추출하여, 상기 표시부에 출력하는 제어부를 포함하고,
    상기 제어부는 촬영 영상에서 차량을 추출하여 블록으로 형성하는 차량 추출/블록화부, 동영상의 이전 프레임 및 현재 프레임에서 차량 블록의 중심 좌표값(x, y)을 추출하는 중심점 추출부와, 이전 프레임의 소정 차량 블록을 기준으로 현재 프레임의 모든 차량 블록까지의 거리 및 벡터를 각각 계산하는 거리/벡터 계산부와, 거리/벡터 계산부의 계산 결과로 산출된 벡터에 기초하여 이전 프레임의 기준 차량 블록에 대해 산출한 벡터 각도가 일정 각도 이상에 위치한 현재 프레임의 차량 블록은 비교 대상에서 제거하고 이전 프레임의 각 차량 블록에 대해 현재 프레임에서 대응하는 후보 차량 블록을 추출하는 후보 차량 블록 추출부와, 이전 프레임 및 현재 프레임의 차량 블록의 컬러히스토그램을 형성하는 컬러히스토그램 형성부를 포함하는 것을 특징으로 하는 동영상에서 근접해오는 차량 검출 시스템.
  2. 동영상에서 근접해오는 차량 검출 방법에 있어서,
    차량에 설치된 카메라로 후방을 촬영하여 일정 시간 간격으로 촬영 영상을 저장하는 제1단계;
    물체 추출 기술을 이용하여 촬영 영상 중 이전 프레임과 현재 프레임에서 차량을 추출하여 블록화하는 제2단계;
    각 차량 블록의 중심점 위치값(x, y)을 산출하는 제3단계;
    상기 중심점 위치값에 의해 이전 프레임의 소정 차량 블록을 기준으로 현재 프레임의 각 차량 블록까지의 거리 및 벡터를 산출하는 제4단계;
    거리 및 벡터 계산 결과에 기초하여 이전 프레임의 각 차량 블록에 대해 현재 프레임에서 대응하는 차량 블록을 추출하는 제5단계,
    산출한 벡터에 기초하여 이전 프레임의 기준 차량 블록에 대해 산출한 벡터 각도가 일정 각도 이상에 위치한 현재 프레임의 차량 블록은 멀어지는 차량이므로 비교 대상에서 제거하는 제6단계;
    이전 프레임의 기준 차량 블록과 현재 프레임의 각 차량 블록의 컬러 히스토그램을 형성하는 제7단계;
    기준 차량 블록과 현재 프레임의 차량 블록의 컬러 히스토그램을 근거리 순으로 비교하는 제8단계;
    이전 프레임의 기준 차량 블록과 동일한 컬러 히스토그램을 갖는 차량 블록을 추출하여 동일 차량으로 인식하여 근접해오는 차량으로 검출하는 제9단계;
    이전 프레임의 모든 차량에 대해 상기 제4단계 내지 제9단계를 반복하는 단계를 포함하고;
    상기 제6단계는 블록화된 차량 블록들에 대하여 이전 프레임에서 검출된 차량 블록들의 중심 좌표와 현재 프레임에서 검출된 차량 블록들의 중심 좌표에 대해 유클리디안 거리 계산을 하고, 이전 프레임과 현재 프레임의 벡터 방향을 구하여 벡터 방향이 유효 범위 내에 있는 차량 블록을, 근접해오는 후보 차량 블록으로 간주하는 단계를 포함하는 것을 특징으로 하는 동영상에서 근접해오는 차량 검출 방법.
KR1020180168583A 2018-12-24 2018-12-24 동영상에서 근접해오는 차량 검출 시스템 및 그 방법 KR102172849B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180168583A KR102172849B1 (ko) 2018-12-24 2018-12-24 동영상에서 근접해오는 차량 검출 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180168583A KR102172849B1 (ko) 2018-12-24 2018-12-24 동영상에서 근접해오는 차량 검출 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200079070A KR20200079070A (ko) 2020-07-02
KR102172849B1 true KR102172849B1 (ko) 2020-11-02

Family

ID=71599648

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180168583A KR102172849B1 (ko) 2018-12-24 2018-12-24 동영상에서 근접해오는 차량 검출 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102172849B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024080549A1 (ko) * 2022-10-11 2024-04-18 삼성전자 주식회사 위치 검출을 위한 전자 장치 및 그의 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118450A (ja) * 2009-11-30 2011-06-16 Sumitomo Electric Ind Ltd 移動体追跡装置、追跡方法及びコンピュータプログラム
KR101782296B1 (ko) * 2017-06-12 2017-09-27 주식회사 싸이토피아 방범용 카메라 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3011566B2 (ja) * 1993-02-26 2000-02-21 三菱電機株式会社 接近車監視装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118450A (ja) * 2009-11-30 2011-06-16 Sumitomo Electric Ind Ltd 移動体追跡装置、追跡方法及びコンピュータプログラム
KR101782296B1 (ko) * 2017-06-12 2017-09-27 주식회사 싸이토피아 방범용 카메라 시스템

Also Published As

Publication number Publication date
KR20200079070A (ko) 2020-07-02

Similar Documents

Publication Publication Date Title
EP3338248B1 (en) Systems and methods for object tracking
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
US9877012B2 (en) Image processing apparatus for estimating three-dimensional position of object and method therefor
Wu et al. Lane-mark extraction for automobiles under complex conditions
Keller et al. The benefits of dense stereo for pedestrian detection
US7729512B2 (en) Stereo image processing to detect moving objects
US9201425B2 (en) Human-tracking method and robot apparatus for performing the same
KR101764845B1 (ko) 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법
JP2016148962A (ja) 物体検知装置
US10013618B2 (en) Method and apparatus for detecting side of object using ground boundary information of obstacle
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
KR20090098167A (ko) 거리센서를 이용한 차선인식 방법 및 그 시스템
Lim et al. River flow lane detection and Kalman filtering-based B-spline lane tracking
Šilar et al. The obstacle detection on the railway crossing based on optical flow and clustering
Saito et al. People detection and tracking from fish-eye image based on probabilistic appearance model
WO2016059643A1 (en) System and method for pedestrian detection
US9558410B2 (en) Road environment recognizing apparatus
KR102172849B1 (ko) 동영상에서 근접해오는 차량 검출 시스템 및 그 방법
US11202055B2 (en) Rapid ground-plane discrimination in stereoscopic images
KR101976952B1 (ko) 움직임 벡터를 이용한 객체 검출 시스템 및 그 방법
Silar et al. Utilization of directional properties of optical flow for railway crossing occupancy monitoring
Ristić-Durrant et al. Low-level sensor fusion-based human tracking for mobile robot
Cardarelli et al. 44 Vision-Based Blind Spot Monitoring
Prahara et al. Vehicle pose estimation for vehicle detection and tracking based on road direction
KR101437228B1 (ko) 입체영상에서의 외곽선 가중치 기반 장애물 영역 검출 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant