KR20060075311A - 옵티컬 플로우를 이용한 차량 감시 장치 및 방법 - Google Patents

옵티컬 플로우를 이용한 차량 감시 장치 및 방법 Download PDF

Info

Publication number
KR20060075311A
KR20060075311A KR1020040114083A KR20040114083A KR20060075311A KR 20060075311 A KR20060075311 A KR 20060075311A KR 1020040114083 A KR1020040114083 A KR 1020040114083A KR 20040114083 A KR20040114083 A KR 20040114083A KR 20060075311 A KR20060075311 A KR 20060075311A
Authority
KR
South Korea
Prior art keywords
vehicle
optical flow
image
information
background
Prior art date
Application number
KR1020040114083A
Other languages
English (en)
Other versions
KR100630088B1 (ko
Inventor
박상철
김광수
박경하
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040114083A priority Critical patent/KR100630088B1/ko
Priority to US11/236,236 priority patent/US20060140447A1/en
Publication of KR20060075311A publication Critical patent/KR20060075311A/ko
Application granted granted Critical
Publication of KR100630088B1 publication Critical patent/KR100630088B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/16—Special procedures for taking photographs; Apparatus therefor for photographing the track of moving objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 차량 주위를 비추는 카메라를 이용하여 차량을 검출한 후 추적할 수 있도록 하는 차량 검출/추적 장치를 제공한다. 이를 위해 본 발명에서는 차량에 장착된 카메라를 통해 주행 중에 입력되는 영상데이터로부터 옵티컬 플로우(Optical Flow)를 구한다. 그리고나서 본 발명에서는 차량 주행으로 발생하는 옵티컬 플로우인 배경 옵티컬 플로우를 구하여 상기 옵티컬 플로우와 배경 옵티컬 플로우와의 차이를 비교하고, 비교 결과 구해지는 차량 주위에 있는 물체의 움직임에 대한 옵티컬 플로우를 통해 차량 후보 영역을 검출한다. 특히 본 발명에서는 그 차량 후보 영역을 탬플릿 매칭(template matching)하여 차량을 검출하고, 검출된 차량에 대한 옵티컬 플로우와 배경 옵티컬 플로우를 계속적으로 비교함으로써 차량의 추적도 가능하도록 한다.
차량, 검출, 추적, 옵티컬 플로우, 템플릿

Description

옵티컬 플로우를 이용한 차량 감시 장치 및 방법{APPARATUS AND METHOD FOR SUPERVISING VEHICLE USING OPTICAL FLOW}
도 1은 본 발명의 실시 예에 따라 차량의 검출 및 추적이 가능하도록 구현된 차량 감시장치의 내부블록구성도,
도2는 본 발명의 실시 예에 따라 입력되는 전체 영상 및 이에 대한 옵티컬 플로우를 도시한 도면,
도 3은 본 발명의 실시 예에 따라 옵티컬 플로우 룩업 테이블에 저장된 차량 속도 변화에 따른 옵티컬 플로우의 변화를 나타낸 도면,
도 4는 본 발명의 실시 예에 따라 핸들 각도 변화에 따른 옵티컬 플로우의 변화를 나타낸 도면,
도 5는 본 발명의 실시 예에 따라 차량에 대한 옵티컬 플로우 추출 과정을 설명하기 위한 도면,
도 6은 본 발명의 실시 예에 따라 차종에 따른 템플릿을 도시한 도면,
도 7a는 본 발명의 실시 예에 따라 벡터 방향에 따른 움직임 정보를 산출하기 위한 도면,
도 7b는 본 발명의 실시 예에 따라 벡터 크기에 따른 상대 속도를 산출하기 위한 도면,
도 8은 본 발명의 실시 예에 따라 차량 검출을 위한 제어흐름도,
도 9는 본 발명의 실시 예에 따라 차량 추적을 위한 제어흐름도.
본 발명은 차량 검출/추적 방법 및 장치에 관한 것으로, 특히 차량에 장착된 카메라를 이용하여 옵티컬 플로우를 계산함으로써 차량을 실시간으로 검출할 수 있도록 하는 옵티컬 플로우를 이용한 차량 검출/추적 방법 및 장치에 관한 것이다.
차량의 움직임을 검출하는 종래의 방법으로는 차량을 촬영한 영상을 통해 차량 아래 부분의 그림자를 이용하는 방법과 수평 에지를 이용하는 방법 등이 알려져 있다.
먼저, 차량 아래 부분의 그림자를 이용하는 방법은 차량이 도로와 만나는 지점에서 발생하는 그림자를 이용하여 차량 후보 영역을 설정하고, 설정된 후보 영역의 대칭성을 검사하여 차량을 검출하는 것이다. 한편, 수평 에지를 이용하는 방법은 차량을 촬영한 영상을 통해 수평 에지를 구하고, 이 수평 에지가 일정 부분 나타나는 영역을 차량의 후보 영역으로 설정하고, 설정된 차량 후보 영역과 차량 템플릿을 이용하여 차량을 검출하는 것이다.
그러나, 종래의 이러한 차량 검출 방법 중 그림자를 이용하는 방법은 야간의 환경이나 비가 오는 환경에서는 그림자의 발생이 현저히 떨어지고 이로 인해 차량 후보 영역이 줄어드는 문제점이 발생하기도 한다. 게다가 이러한 방법은 아침이나 저녁에 태양의 고도가 낮을 경우에 그림자가 차량 밖의 노면에 발생해버리기 때문에 시간대에 따라서 검출 성능이 떨어지는 문제점이 발생할 수도 있다. 게다가 이러한 차량 검출 방법은 1대의 차량의 그림자가 노면에 발생해버릴 수도 있으므로 시간에 따라서는 새로운 차량 예를 들면, 2대의 오토바이의 병진도 1대의 차량으로 검지해버리는 경우도 있을 수 있다. 따라서, 이러한 방법은 추적하고 있지 않던 새로운 차량의 출현에는 대처하기 힘든 문제점이 있다.
또한, 종래의 차량 검출 방법 중 수평 에지를 이용하는 방법은 주행 중인 차량에서 촬영한 프레임의 영상데이터에는 수평에지가 너무 많이 발생하기 때문에 이를 극복하기 위해 도로 색이나 도로 영역에 대한 정보를 이용하고 있으나 굽은 길이나 오르막/내리막 길에서는 차량 검출 성능에 문제가 발생할 수도 있다.
상기한 바와 같이 종래의 차량 검출 방법은 시간대에 따라 그림자의 변화에 따른 차량의 차선 내의 병진이나 기후조건에도 영향을 받아 차량 검출 성능이 저하되는 문제점이 있다.
따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위해 안출된 것으로서, 차량에 장착된 카메라를 이용하여 옵티컬 플로우를 계산함으로써 차량을 실시간으로 검출하며, 검출된 차량을 추적할 수 있도록 하는 옵티컬 플로우를 이용한 차량 검출/추적 방법 및 장치를 제공함에 그 목적이 있다.
상술한 목적을 달성하기 위해 본 발명은 옵티컬 플로우를 이용한 차량 감시 장치에 있어서, 카메라를 통해 입력되는 영상을 처리하는 영상 처리부와, 상기 입력된 영상으로부터 옵티컬 플로우를 검출하여 배경 옵티컬 플로우 영역을 분리하는 옵티컬 플로우 검출부와, 상기 배경 옵티컬 플로우를 제거한 나머지 영역을 템플릿 매칭하여 차량 여부를 판단하는 차량 검출부를 포함함을 특징으로 한다.
또한, 본 발명은 옵티컬 플로우를 이용한 차량 감시 방법에 있어서, 카메라를 통해 입력되는 영상을 전처리하는 과정과, 상기 전처리된 영상으로부터 옵티컬 플로우를 검출하여 배경 옵티컬 플로우영역을 분리하는 과정과, 상기 배경 옵티컬 플로우를 제거한 나머지 영역을 템플릿 매칭하는 과정과, 상기 템플릿 매칭을 통해 상기 나머지 영역이 차량에 대한 움직임을 나타내는 영역일 경우 차량에 대한 정보를 검출하여 차량 검출을 수행하는 과정을 포함함을 특징으로 한다.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면의 참조와 함께 상세히 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.
본 발명은 차량 주위를 비추는 카메라를 이용하여 차량을 검출한 후 추적할 수 있도록 하는 차량 검출/추적 장치를 제공한다. 이를 위해 본 발명에서는 차량에 장착된 카메라를 통해 주행 중에 입력되는 영상데이터로부터 옵티컬 플로우(Optical Flow)를 구한다. 그리고나서 본 발명에서는 차량 주행으로 발생하는 옵티컬 플로우인 배경 옵티컬 플로우를 구하여 상기 옵티컬 플로우와 배경 옵티컬 플로우와의 차이를 비교하고, 비교 결과 구해지는 차량 주위에 있는 물체의 움직임에 대한 옵티컬 플로우를 통해 차량 후보 영역을 검출한다. 특히 본 발명에서는 그 차량 후보 영역을 탬플릿 매칭(template matching)하여 차량을 검출하고, 검출된 차량에 대한 옵티컬 플로우와 배경 옵티컬 플로우를 계속적으로 비교함으로써 차량의 추적도 가능하도록 한다.
본 발명을 설명하기에 앞서, 본 발명에서 이용되는 옵티컬 플로우에 대하여 간략하게 설명한다.
먼저, 옵티컬 플로우란 카메라에 의해 촬영되어 입력되는 시간적으로 다른 2개의 영상데이터로부터 그 영상에 나타나는 외견상 움직임을 벡터로 나타낸 것을 말한다. 그리고 이러한 옵티컬 플로우를 기반으로 한 차량 검출 방법은, 바로 전에 촬영한 프레임의 이전 영상과 각각의 픽셀들을 현재 촬영한 프레임의 현재 영상의 모든 픽셀들과 각각 비교하거나, 또는 이전 영상데이터를 소정의 픽셀을 가지는 복수의 단위 블록으로 구분함과 아울러 현재 영상데이터를 픽셀 단위로 이동시키면서 상기 이전 영상데이터의 단위블록과 동일한 크기를 가지는 단위블록으로 구분한 후 그 이전 영상데이터의 각각의 단위블록들을 현재 영상데이터의 복수의 단위블록들과 비교하여 단위블록내의 픽셀들의 휘도 및 색도 등의 차이값을 구하며, 그 구한 차이값으로 이전 영상데이터의 픽셀이 움직인 위치를 벡터로 표시하고, 특정 영역에서 특정 크기 이상의 벡터가 발생될 경우에 이를 기준으로 하여 차량을 검출하는 것이다.
이하, 본 발명의 실시 예에 따른 차량 검출/추적 장치에서의 각 구성부의 역할에 대해 설명하며, 본 발명의 실시 예에 따라 차량의 검출 및 추적이 가능하도록 하는 기능이 구현된 장치를 차량 감시장치로서 지칭한다. 이를 위해 본 발명의 실시 예에 따라 차량의 검출 및 추적이 가능하도록 구현된 차량 감시장치의 내부블록구성도인 도 1을 참조한다.
도 1을 참조하면, 본 발명의 실시 예에 따른 차량 감시장치(100)는 차량에 장착된 카메라(105)를 이용하여 입력된 영상데이터로부터 옵티컬 플로우를 분석함으로써 움직이는 차량을 검출하며 그 검출된 차량을 추적하게 된다.
본 발명의 실시 예에 따른 차량 감시장치(100)는 크게 카메라(105)를 통해 입력되는 영상을 처리하는 영상 전처리부(110), 입력된 영상으로부터 차량의 움직임을 검출하기 위한 옵티컬 플로우를 검출하는 옵티컬 플로우 검출부(125), 검출된 옵티컬 플로우를 이용하여 차량 검출을 위한 차량에 대한 후보영역을 검출하는 차량 검출부(140), 검출된 차량에 대한 정보를 이용하여 차량을 추적하는 차량 추적부(155)를 포함하여 구성된다.
이러한 구성을 가지는 차량 감시장치(100)에서의 각 구성부에 대한 역할을 좀더 상세히 설명하면 다음과 같다.
먼저, 카메라(105)는 감시 영역을 촬영하여 아날로그 신호 형태인 영상데이 터를 출력한다. 즉, 카메라(105)는 입력되는 영상데이터를 영상 전처리부(110)에 전달한다. 그러면 영상 전처리부(110)의 영상 입력부(115)에서는 전체 입력 영상에서 움직이는 차량에 대한 정보를 얻기 위해 입력되는 영상데이터를 디지털화한다. 그러면 디지털화된 영상데이터는 영상보정부(120)에서 노이즈를 제거하기 위해서 필터링을 수행한다. 이 때, 영상보정부(120)는 노이즈를 제거하기 위한 필터링을 수행하는 필터를 구비하는데, 가우시언 필터, 미디어 필터 등 입력 영상의 노이즈 성분을 제거하기 위하여 노이즈제거필터를 이용함을 특징으로 한다. 따라서, 영상보정부(120)에서는 필터링을 통하여 입력된 영상을 보정하게 된다.
그러면, 옵티컬 플로우 검출부(125)는 영상보정부(120)로부터 보정된 영상데이터에서 차량의 움직임을 검출하기 위한 수단으로, 노이즈가 제거된 영상데이터에서 움직임이 있는 영역과 배경을 분리하기 위해 옵티컬 플로우를 검출하는 동작을 수행한다. 즉, 전체 영상데이터로부터 움직이는 차량과 움직이지 않는 배경을 분리하기 위하여 옵티컬 플로우를 검출한다. 상세하게는 옵티컬 플로우 검출부(125)의 옵티컬 플로우 계산부(130)가 고정된 카메라에서 움직이는 차량과 움직이지 않는 배경을 분리하기 위해 전체 영상데이터에 대한 옵티컬 플로우를 계산한다. 옵티컬 플로우의 계산에는 여러 가지 방법이 있으나, 본 발명에서는 수학식 1에서와 같은 Lukas & Kanade 방법을 이용하는 것으로 한다.
Figure 112004062103763-PAT00001
수학식 1에서 I x 는 픽셀 화소에 대한 x의 편미분을 나타내며, I y 는 픽셀 화소에 대한 y의 편미분을 나타내고, u, v는 입력받는 영상 좌표계를 나타낸다. 이러한 수학식 1을 통해서는 픽셀 화소에 대한 시간에 따른 편미분 I t 가 구해진다.
예를 들면, 도 2(a)에 도시된 바와 같은 영상이 카메라를 통해 입력되면 옵티컬 플로우 검출부(125)에서의 수학식1을 이용한 처리 과정을 통해 도 2(b)에 도시된 바와 같은 옵티컬 플로우가 검출된다. 도 2(a)에서의 영상은 도면부호 200에 의해 지시되는 차량이 움직이고 있는데, 이러한 차량에 대한 옵티컬 플로우를 검출하게 되면 도 2(b)에서의 도면부호 210에 의해 지시되는 바와 같은 벡터가 나타나게 된다.
이와 같이 도 2(b)에서와 같이 옵티컬 플로우는 벡터로써 표시되는데, 차량의 진행방향에 따라 차량이 표시되는 중앙 부위(210)에 약하게 표시되며 그 배경에 해당하는 영역에는 강하게 표시된다. 이와 같이 옵티컬 플로우는 주행 중인 차량의 속도에 따라 옵티컬 플로우를 나타내는 벡터의 크기가 변화하지만 벡터가 표시되는 패턴은 일정하게 유지된다.
한편, 차량이 주행 중에는 도 2(b)에 도시된 바와 같이 움직이는 차량에 대 한 옵티컬 플로우를 나타내는 패턴과 움직이지 않는 배경에 대한 옵티컬 플로우를 나타내는 패턴이 발생하게 된다. 특히 차량이 주행 중일때에는 주변 배경에 대한 옵티컬 플로우의 패턴이 일정하게 유지되기 때문에 이렇게 일정하게 유지되는 패턴을 제외한 나머지 영역에는 이와 다른 형태의 옵티컬 플로우의 패턴이 나타나게 된다. 그러면 옵티컬 플로우 분석부(135)에서는 주변 배경과는 다른 패턴이 나타나는 영역 즉, 그 차량 후보영역에 대한 정보를 사각형의 영역 즉, 픽셀 단위로 정보를 저장하게 된다. 이에 따라 전체 영상을 움직이는 차량에 대한 옵티컬 플로우와 배경 옵티컬 플로우로 분리하여 배경 옵티컬 플로우를 제외한 나머지 영역을 차량 후보영역으로 설정하는 것이 가능하게 된다.
이와 같이 옵티컬 플로우 분석부(135)에서는 옵티컬 플로우 계산부(130)로부터 수학식1을 통해 계산된 옵티컬 플로우에서 주변 배경에 대한 옵티컬 플로우가 아닌 영역을 검출해내는 역할을 담당하게 된다. 이 때, 옵티컬 플로우 분석부(135)에서는 배경 옵티컬 플로우만을 분리해내기 위해서 본 발명의 실시 예에 따른 옵티컬 플로우 룩업 테이블을 참조한다. 옵티컬 플로우 룩업 테이블은 현재 자기 차량에 대한 핸들 각도 정보와 차량의 속도를 이용하여 생성된 각각의 경우에 대한 옵티컬 플로우로써, 이러한 각각의 옵티컬 플로우는 데이터베이스화되어 저장되어 있다.
예를 들면, 도 3은 본 발명의 실시 예에 따라 옵티컬 플로우 룩업 테이블에 저장된 차량 속도 변화에 따른 옵티컬 플로우의 변화를 나타낸 도면이고, 도 4는 본 발명의 실시 예에 따라 핸들 각도 변화에 따른 옵티컬 플로우의 변화를 나타낸 도면이다. 도 3을 참조하여 중앙으로부터 바깥쪽을 향하는 옵티컬 플로우의 패턴 중에서 점선 내의 벡터를 비교해보면, 차량 속도의 변화가 빨라질수록 도 3(a)에서의 벡터에 비해 도 3(b)의 벡터의 크기가 상대적으로 크게 표시된다. 이와 같이 해당 차량에 대한 속도에 따라 다르게 표시되는 옵티컬 플로우의 패턴은 차량 속도에 대응하여 각각 저장된다. 또한, 도 4에 도시된 바와 같이 핸들 각도의 변화량에 따라 옵티컬 플로우의 패턴도 달라지게 되는데, 옵티컬 플로우 룩업 테이블에는 차량 속도에 대한 옵티컬 플로우 패턴 및 핸들 각도에 대한 옵티컬 플로우 패턴 뿐만 아니라 차량 속도 및 핸들 각도의 변화에 모두 대응하는 옵티컬 플로우 패턴도 포함된다. 이러한 조건에 대응하는 옵티컬 플로우 패턴을 본 발명의 실시 예에서는 배경 옵티컬 플로우라 지칭한다.
이와 같이 차량 후보영역이 설정되면 배경 옵티컬 플로우만을 제거하여 나머지 영역을 추출함으로써 그 영역에 해당하는 차량을 판별하는 동작이 차량 검출부(140)에서 수행된다. 다시 말하면, 차량 검출부(140)는 추출된 움직임 영역에서 실제 움직이는 차량을 검출하기 위한 수단으로서, 차량 후보영역이 설정되면 움직이는 차량에 해당하는 실제 차량 종류를 판별하는 등의 차량을 검출하는 동작을 수행한다.
상세하게는 차량 검출부(140)의 후보영역 검출부(145)에서는 전체 영상에서 움직이는 차량에 대한 옵티컬 플로우와 주변 배경에 대한 배경 옵티컬 플로우를 분리하여 배경 옵티컬 플로우만을 제거하기 위한 동작을 수행한다. 따라서, 후보영역 검출부(145)에서는 현재의 자신의 차량에서의 속도와 핸들 각도에 따라 옵티컬 플 로우 룩업 테이블을 탐색하여 정합 과정을 통해 배경을 제거하고 남은 영역을 추출한다.
이를 위해 후보영역 검출부(145)는 옵티컬 플로우 룩업 테이블을 이용하여 전체 영상에 대한 옵티컬 플로우를 현재의 차량 속도 및 핸들 각도에 대응하여 저장된 배경 옵티컬 플로우와 비교하는 과정 즉, 정합 과정을 수행한다. 비교 결과 배경 옵티컬 플로우에 해당하는 영역이 있는 경우 후보영역 검출부(145)는 그 영상에 대한 옵티컬 플로우로부터 배경이 되는 배경 옵티컬 플로우만을 제거함으로써 차량에 대한 옵티컬 플로우만이 남게 된다.
이러한 정합 과정 및 배경 옵티컬 플로우 제거 과정을 좀 더 상세히 설명하기 위해 도 5를 참조한다. 도 5는 본 발명의 실시 예에 따라 차량에 대한 옵티컬 플로우 추출 과정을 설명하기 위한 도면이다. 상세하게는 도 5(b)는 도 2(b))에서의 전체 영상을 간략하게 옵티컬 플로우만으로 나타낸 도면으로, 도면부호 500에 의해 지시되는 배경 옵티컬 플로우와 510에 의해 지시되는 차량에 대한 옵티컬 플로우로 구분된다.
후보영역 검출부(145)는 현재의 차량 속도 및 핸들 각도에 대응하는 옵티컬 플로우 패턴을 옵티컬 플로우 룩업 테이블에서 검색하여 도 5(b)에 도시된 바와 같은 해당 옵티컬 플로우 패턴을 검출한다. 그리고나서 후보영역 검출부(145)는 도 5(a)의 배경 옵티컬 플로우와 차량에 대한 옵티컬 플로우로 구분되는 전체 영상에 도면부호 520에 의해 지시되는 바와 같은 배경 옵티컬 플로우를 정합하여 전체 영상에 도면부호 520에 의해 지시되는 배경 옵티컬 플로우와 일치하는 영역이 있는지 를 비교한다. 이에 따라 후보영역 검출부(145)는 정합과정을 통해 도 5(a)에서의 도면부호 500에 의해 지시되는 영역과 도 5(b)에서의 도면부호 520에 의해 지시되는 영역이 유사한 경우 해당 영역을 제거하여 즉, 배경 옵티컬 플로우를 제거한다. 이렇게 함으로써 전체 영상에서 배경 옵티컬 플로우가 제거되고 도 5(c)에서의 도면부호 510에 의해 지시되는 영역만이 남게 되어 차량 후보영역만이 검출되게 되는 것이다.
이와 같이 배경 옵티컬 플로우가 제거된 차량 후보영역만이 남게되면 차량 후보 검출을 위해 템플릿(Template) 매칭부(150)에서 그 차량 후보영역과 미리 생성해놓은 차종별 템플릿과의 유사도(correlation) 검사가 수행된다.
여기서 차종별 템플릿 기반의 차량 검출이란, 미리 각각의 차종에 대한 영상을 준비한 후 이를 이용하여 각각의 차량의 종류에 대한 평균값을 구하여 템플릿을 구성하고, 구성된 템플릿을 이용하여 차량을 검출하는 방법을 말한다. 예를 들어 도 6을 참조하면, 도면부호 600에 지시되는 도면은 각각의 승합차들의 영상을 평균화하여 템플릿으로 구성한 도면이다. 이와 마찬가지로 각각의 차종에 대해 평균값을 구하여 템플릿으로 구성한 SUV(610), 승용차(620), 버스(630), 트럭(640)의 템플릿이 도 6에 도시되어 있다. 다시 말하면, 버스에도 여러 가지 종류가 버스가 있으므로 이를 평균화하면 도 630에 의해 지시되는 템플릿이 구해진다.
그러면, 템플릿 매칭부(150)는 도 6에 도시된 바와 같은 차량에 대한 템플릿을 이용하여 현재 검출된 차량 후보영역과 비교함으로써 차량 후보영역이 실제 차량에 대한 영상인지를 판별하게 된다. 전술한 바에서는 차량 후보영역에서 실제 차 량을 검출하기 위해 사용되는 방법의 하나로써 템플릿 매칭 방법을 설명하였으나, PCA 변환을 이용한 방법, SVM을 이용한 방법 등도 사용될 수 있다. 이와 같이 템플릿 매칭부(150)로부터의 결과는 차량 후보영역이 실제 차량에 대한 영상인지의 여부를 나타낼 뿐만 아니라 차량에 대한 종류까지도 나타낸다.
전술한 바와 같은 과정을 통해서는 카메라를 통해 입력된 전체 영상으로부터 차량 후보영역을 추정하고, 추정된 영역 내에서 템플릿 매칭을 이용하여 화상으로 인식함으로써 차량에 대한 종류까지도 판별할 수 있는 차량 검출 과정이 이루어지게 된다.
이와 같이 차량 검출이 이루어진 후에야 차량 추적이 가능하게 되는데, 이러한 차량 추적은 차량 추적부(155)에서 이루어진다. 차량 추적부(155)는 움직이는 차량의 속도 및 위치 정보를 추적하는 수단으로, 움직이는 차량의 추적이 가능하도록 본 발명에 따른 예측 알고리즘에 적용하여 차량의 다음 위치를 예측하여 추적한다. 상세하게는 차량 추적부(155)의 차량 정보부(160)는 템플릿 매칭부(150)로부터 출력되는 차량 정보를 이용하여 즉, 움직이는 차량에 대한 현재의 영상으로부터의 정보와 이전 획득된 영상으로부터의 정보를 토대로 후속 프레임에서의 차량이 이동될 지점을 예측한다. 다시 말하면, 차량 정보부(160)는 옵티컬 플로우 검출 과정을 통해 이전 영상에서 차량 영역의 정보와 현재 영상에서 차량 예측 영역과의 비교를 수행한다.
이 때, 차량 정보부(160)에서는 추적 차량에 대한 상대 속도와 움직임 정보를 산출하여 차량이 이동될 지점을 예측하는데, 이러한 상대 속도와 움직임 정보의 산출 과정은 도 7을 참조하여 설명한다. 도 7a는 본 발명의 실시 예에 따라 벡터 방향에 따른 움직임 정보를 산출하기 위한 도면이고, 도 7b는 본 발명의 실시 예에 따라 벡터 크기에 따른 상대 속도를 산출하기 위한 도면이다. 먼저, 도 7a를 참조하면 차량 정보부(160)에서는 벡터의 방향이 700방향 즉, 위쪽 방향이면 추적하는 차량과 자신의 차량 간의 상대 거리가 증가하는 것으로 인지하며, 이와 반대인 710방향 즉, 아래쪽 방향인 경우 그 상대거리가 감소하는 것을 인지할 수 있게 된다. 또한, 차량 정보부(160)에서는 도 7b에 도시된 바와 같이 벡터의 크기가 커질수록 상대 속도가 증가하는 것으로 인지하며, 이와 반대인 경우에는 상대속도가 감소하는 것으로 인지한다. 이러한 과정을 통해 차량 정보부(160)에서는 추적하고자 하는 차량에 대한 상대 속도 및 움직임 정보를 산출하여 차량이 이동될 지점을 예측할 수 있게 된다.
그러면, 추적상태 판단부(165)는 후속 프레임을 통한 차량의 실제 획득정보와 차량에 대한 예측 정보를 비교함으로써 추적 상태의 결과를 판단하게 된다. 이러한 과정을 통해 추적상태의 오차범위가 설정치 이내이면 계속적으로 차량 추적이 이루어지고, 그렇지 않으면 입력영상 전체에 대하여 차량에 대한 정보를 재획득하게 되고, 다시 자동 추적하는 과정을 반복하게 된다. 또한, 추적상태 판단부(165)에서는 새로운 차량 영역이 나타났을 경우에도 차량에 대한 정보를 재획득하는 과정을 다시 수행하여 새로운 차량 영역의 검출을 통한 추적 과정을 다시 수행한다.
이하, 도 8에서의 제어흐름도를 참조하여 본 발명의 실시 예에 따른 차량의 검출 방법을 설명한다. 도 8은 본 발명의 실시 예에 따라 차량 검출을 위한 제어흐 름도이다.
먼저, 본 발명의 실시 예에 따른 차량 감시 장치는 (800)단계에서 카메라(105)를 통해 감시 영역을 촬영한다. 그리고 촬영을 통해 획득되는 입력 영상에 대한 전처리를 수행한다. 그리고나서 (805)단계에서 전처리된 입력 영상에서 옵티컬 플로우를 검출하고 (810)단계로 진행하여 검출된 옵티컬 플로우와 본 발명의 실시 예에 따른 옵티컬 플로우 룩업 테이블에서의 배경 옵티컬 플로우와 비교하는 과정을 수행한다. 이에 따라 (815)단계로 진행하여 전체 영상에 대한 옵티컬 플로우에서 일치하는 배경 옵티컬 플로우 영역이 있는지를 판단한다. 판단 결과 일치하는 배경 옵티컬 플로우가 있는 경우 (820)단계에서 검출된 전체 영상에 대한 옵티컬 플로우에서 해당 배경 옵티컬 플로우 영역만을 제거하는 과정을 수행한다. 이러한 과정을 통해 (825)단계에서 차량 후보 영역이 검출되고 이러한 차량 후보 영역은 (830)단계에서 본 발명의 실시 예에 따라 기저장된 차량에 대한 템플릿과의 템플릿 매칭이 이루어진다.
따라서, 템플링 매칭이 수행되면 (835)단계로 진행하여 차량 후보영역이 실제 차량에 대한 영상인지의 여부 및 그 차량 후보영역에 나타나고 있는 차량에 대한 종류 등의 차량 정보가 검출되게 된다. 이렇게 함으로써 카메라(105)를 통해 입력된 전체 영상에 대한 차량 검출이 이루어지게 된다.
이어, 도 9에서의 제어흐름도를 참조하여 본 발명의 실시 예에 따른 차량의 추적 방법을 설명한다. 도 9는 본 발명의 실시 예에 따라 차량 추적을 위한 제어흐름도이다.
먼저, 카메라(105)를 통해 (905)단계에서 감시 영역에 대한 촬영이 이루어지면(905), 영상처리부(110)에서는 (910)단계에서 촬영을 통해 획득한 입력 영상에 대하여 전처리를 수행한다. 그러면 옵티컬 플로우 검출부(125)에서 전처리된 입력영상에서 옵티컬 플로우를 검출하고, 차량 검출부(140)에서는 옵티컬 플로우 검출을 통해 움직임이 발생한 영역을 검출하는 동작을 수행한다. 그리고나서 (920)단계에서 움직임이 발생한 움직임 영역이 검출되는지를 판별하여 움직임 영역이 검출되는 경우 (925)단계로 진행한다. 그러면 (925)단계에서 차량 추적부(155)에서는 검출된 움직임 영역 정보를 이용하여 차량 이동 방향 및 이동량을 예측하게 된다. 즉, 차량 후보 영역을 통해 차량이 이동하는 상대속도 및 움직임 정보를 예측하게 된다. 이렇게 차량에 대한 상대속도 및 움직임 정보를 예측함으로써 차량 예측정보가 구해지면 실제 차량에 대한 정보와 비교하여 추적상태의 결과를 판단한다.
따라서, 차량 추적부(155)에서는 (930)단계에서 추적 성공 여부를 판단하기 위해 추적 상태의 오차범위가 기 설정된 소정값 이내인지를 판단하여 그 오차 범위가 소정값 이내인 경우 추적 성공으로 인지하여 상기 차량의 이동 방향 및 이동량을 실제 방향 및 거리로 변환하면서 움직이는 차량을 계속적으로 추적하게 된다. 또한, 이와 같이 차량에 대한 실제 방향 및 거리로 변환된 값은 사용자가 확인할 수 있도록 본 발명의 실시 예에 따른 차량 검출/추적 장치의 화면에 실시간으로 업데이트되면서 표시될 수도 있다.
상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해 져야 한다.
상술한 바와 같이 본 발명에 따르면, 야간이나 비 또는 눈 등의 주변 환경 변화에 민감하여 성능이 떨어지는 종래의 문제점을 극복하여 이러한 간섭 영향을 최소화하며 자신의 주변 차량을 추적할 수 있는 이점이 있다. 또한, 본 발명은 주행 중에도 앞뒤 차량과의 충돌 방지 및 위험 반경 내에 진입하는지를 판별할 수 있는 제품에도 적용이 가능한 이점이 있다.

Claims (17)

  1. 옵티컬 플로우를 이용한 차량 감시 장치에 있어서,
    카메라를 통해 입력되는 영상을 처리하는 영상 처리부와,
    상기 입력된 영상으로부터 옵티컬 플로우를 검출하여 배경 옵티컬 플로우 영역을 분리하는 옵티컬 플로우 검출부와,
    상기 배경 옵티컬 플로우를 제거한 나머지 영역을 템플릿 매칭하여 차량 여부를 판단하는 차량 검출부를 포함함을 특징으로 하는 장치.
  2. 제 1항에 있어서, 상기 차량 검출부는
    상기 차량 여부 판단 결과 상기 나머지 영역이 차량에 대한 영역일 경우 차량의 종류를 판별함으로써 차량 검출을 수행함을 특징으로 하는 장치.
  3. 제 1항에 있어서, 상기 영상 처리부는
    상기 입력되는 영상을 디지털화하는 영상 입력부와,
    상기 영상 입력부로부터 출력되는 영상에서 노이즈를 제거하기 위해 필터링을 수행하는 영상보정부를 포함함을 특징으로 하는 장치.
  4. 제 1항에 있어서, 상기 옵티컬 플로우 검출부는
    상기 입력된 전체 영상에 대한 옵티컬 플로우를 계산하는 옵티컬 플로우 계산부와,
    상기 계산된 옵티컬 플로우를 통해 움직이지 않는 영역에 대한 옵티컬 플로우의 패턴과는 다른 패턴이 나타나는 영역에 대한 정보를 저장하는 옵티컬 플로우 분석부를 포함함을 특징으로 하는 장치.
  5. 제 4항에 있어서, 상기 옵티컬 플로우 분석부는
    자신에 차량에 대한 핸들 각도 정보 및 차량의 속도 중 적어도 하나 이상의 조건에 대응하는 배경 옵티컬 플로우를 저장하는 옵티컬 플로우 룩업 테이블을 참조하여 상기 전체 영상에서 배경 옵티컬 플로우를 추출함을 특징으로 하는 장치.
  6. 제 1항에 있어서, 상기 차량 검출부는
    현재의 자신의 차량에서의 속도와 핸들 각도에 따라 기 저장된 배경 옵티컬 플로우 중 해당 배경 옵티컬 플로우를 탐색하여 정합 과정을 통해 상기 입력된 영상에서 배경을 제거하고 남은 영역을 차량 후보영역으로 추출하는 후보영역 검출부와,
    상기 배경 옵티컬 플로우가 제거된 차량 후보영역만이 남게되면 상기 차량 후보영역과 기 저장된 차종별 템플릿과의 유사도(correlation) 검사를 수행하여 차량인지의 여부 및 차종을 판별하는 템플릿 매칭부를 포함함을 특징으로 하는 장치.
  7. 제 1항에 있어서,
    상기 차량 검출부에 의해 검출된 차량에 대한 정보를 이용하여 차량을 추적하는 차량 추적부를 더 포함함을 특징으로 하는 장치.
  8. 제 7항에 있어서, 상기 차량 추적부는
    상기 차량 검출부로부터 차량 정보를 이용하며, 움직이는 차량에 대한 현재의 영상으로부터의 정보와 이전 획득된 영상으로부터의 정보를 통해 후속 프레임에서의 차량이 이동될 지점을 예측하는 차량 정보부와,
    상기 후속 프레임을 통한 차량의 실제 획득정보와 상기 차량에 대한 예측 정보를 비교함으로써 추적 상태의 결과를 판단하는 추적상태 판단부를 포함함을 특징으로 하는 장치.
  9. 제 8항에 있어서, 상기 차량 추적부는
    상기 추적상태 판단부로부터 출력되는 비교 결과 추적상태의 오차범위가 설정치 이내이면 계속적으로 차량 추적을 수행하고,
    상기 추적 상태의 오차범위가 설정치 이상이면 자동 추적하는 과정을 반복하여 수행함을 특징으로 하는 장치.
  10. 옵티컬 플로우를 이용한 차량 감시 방법에 있어서,
    카메라를 통해 입력되는 영상을 전처리하는 과정과,
    상기 전처리된 영상으로부터 옵티컬 플로우를 검출하여 배경 옵티컬 플로우영역을 분리하는 과정과,
    상기 배경 옵티컬 플로우를 제거한 나머지 영역을 템플릿 매칭하는 과정과,
    상기 템플릿 매칭을 통해 상기 나머지 영역이 차량에 대한 움직임을 나타내는 영역일 경우 차량에 대한 정보를 검출하여 차량 검출을 수행하는 과정을 포함함을 특징으로 하는 방법.
  11. 제 10항에 있어서, 상기 배경 옵티컬 플로우 영역을 분리하는 과정은
    상기 입력된 전체 영상에 대한 옵티컬 플로우를 계산하는 과정과,
    상기 계산된 옵티컬 플로우를 옵티컬 플로우 룩업 테이블 내에 기저장된 배경 옵티컬 플로우와 비교하는 과정과,
    상기 비교 결과 상기 전체 영상에서 해당 배경 옵티컬 플로우를 검출하는 과정을 포함함을 특징으로 하는 방법.
  12. 제 11항에 있어서, 상기 옵티컬 플로우 룩업 테이블은
    자신의 차량에 대한 속도 및 핸들 각도에 따라 변화하는 각각의 배경 옵티컬 플로우를 저장함을 특징으로 하는 방법.
  13. 제 11항에 있어서, 상기 계산된 옵티컬 플로우를 옵티컬 플로우 룩업 테이블 내에 기저장된 배경 옵티컬 플로우와 비교하는 과정은
    현재 자신의 차량에서의 속도와 핸들 각도에 따라 기저장된 배경 옵티컬 플로우 중 해당 배경 옵티컬 플로우가 있는지 판단하는 과정과,
    상기 판단 결과 해당 배경 옵티컬 플로우가 있는 경우 상기 전체 입력 영상에서 배경 옵티컬 플로우를 추출하는 과정을 포함함을 특징으로 하는 방법.
  14. 제 10항에 있어서, 상기 템플릿 매칭하는 과정은
    상기 전체 입력 영상에서 배경을 제거하고 남은 영역을 차량 후보영역으로 추출하는 과정과,
    상기 배경 옵티컬 플로우를 제거한 나머지 영역과 기 저장된 차종별 템플릿과의 유사도를 검사하는 과정과,
    상기 검사 결과에 따라 상기 차량 후보 영역에 대해 차량인지의 여부 및 차종을 판별하는 과정을 포함함을 특징으로 하는 방법.
  15. 제 10항에 있어서,
    상기 검출된 차량에 대한 정보를 이용하여 차량을 추적하는 과정을 더 포함함을 특징으로 하는 방법.
  16. 제 15항에 있어서, 상기 차량을 추적하는 과정은
    상기 검출된 차량에 대한 정보를 이용하여 움직이는 차량에 대한 현재의 영상으로부터의 정보와 이전 획득된 영상으로부터의 정보를 통해 후속 프레임에서의 차량이 이동될 지점을 예측하는 과정과,
    상기 후속 프레임을 통한 차량의 실제 획득정보와 상기 차량에 대한 예측 정보를 비교함으로써 추적 상태의 결과를 판단하는 과정을 포함함을 특징으로 하는 방법.
  17. 제 16항에 있어서, 상기 예측하는 과정은
    추적 차량에 대한 상대 속도와 움직임 정보를 산출하여 차량이 이동될 지점을 예측하는 과정임을 특징으로 하는 방법.
KR1020040114083A 2004-12-28 2004-12-28 옵티컬 플로우를 이용한 차량 감시 장치 및 방법 KR100630088B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020040114083A KR100630088B1 (ko) 2004-12-28 2004-12-28 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
US11/236,236 US20060140447A1 (en) 2004-12-28 2005-09-27 Vehicle-monitoring device and method using optical flow

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040114083A KR100630088B1 (ko) 2004-12-28 2004-12-28 옵티컬 플로우를 이용한 차량 감시 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20060075311A true KR20060075311A (ko) 2006-07-04
KR100630088B1 KR100630088B1 (ko) 2006-09-27

Family

ID=36611565

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040114083A KR100630088B1 (ko) 2004-12-28 2004-12-28 옵티컬 플로우를 이용한 차량 감시 장치 및 방법

Country Status (2)

Country Link
US (1) US20060140447A1 (ko)
KR (1) KR100630088B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9104920B2 (en) 2012-10-30 2015-08-11 Hyundai Motor Company Apparatus and method for detecting obstacle for around view monitoring system
US9418443B2 (en) 2013-08-27 2016-08-16 Hyundai Motor Company Apparatus and method for detecting obstacle
KR20160142137A (ko) * 2015-06-02 2016-12-12 에스케이하이닉스 주식회사 움직이는 객체 검출 장치 및 방법
KR20180058046A (ko) * 2016-11-23 2018-05-31 엘지이노텍 주식회사 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체
KR20190032488A (ko) * 2016-07-22 2019-03-27 로베르트 보쉬 게엠베하 주행 보조 방법, 주행 보조 시스템 및 차량

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7860162B2 (en) * 2005-09-29 2010-12-28 Panasonic Corporation Object tracking method and object tracking apparatus
US8666661B2 (en) * 2006-03-31 2014-03-04 The Boeing Company Video navigation
US8098889B2 (en) * 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
DE102007031302A1 (de) * 2007-07-05 2009-01-08 Robert Bosch Gmbh Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer Bildsequenz von einer Überwachungsszene, Verfahren sowie Computerprogramm
US8259998B2 (en) * 2008-09-30 2012-09-04 Mazda Motor Corporation Image processing device for vehicle
JP5320331B2 (ja) * 2010-03-17 2013-10-23 日立オートモティブシステムズ株式会社 車載用環境認識装置及び車載用環境認識システム
US10018703B2 (en) * 2012-09-13 2018-07-10 Conduent Business Services, Llc Method for stop sign law enforcement using motion vectors in video streams
JP5792091B2 (ja) * 2012-02-16 2015-10-07 富士通テン株式会社 物体検出装置及び物体検出方法
US9317752B2 (en) * 2013-06-20 2016-04-19 Xerox Corporation Method for detecting large size and passenger vehicles from fixed cameras
KR101439052B1 (ko) * 2013-09-05 2014-09-05 현대자동차주식회사 장애물 검출 장치 및 방법
CN104299244B (zh) * 2014-09-26 2017-07-25 东软集团股份有限公司 基于单目相机的障碍物检测方法及装置
EP3057061B1 (en) * 2015-02-16 2017-08-30 Application Solutions (Electronics and Vision) Limited Method and device for the estimation of car egomotion from surround view images
JP6569385B2 (ja) * 2015-08-20 2019-09-04 株式会社Ｊｖｃケンウッド 車両検出装置、車両検出システム、車両検出方法、及び車両検出プログラム
KR20170050028A (ko) * 2015-10-29 2017-05-11 삼성에스디에스 주식회사 객체의 위치 검색 시스템 및 방법
CN106909936B (zh) * 2017-01-21 2020-02-21 江苏大学 一种基于双车辆可变形部件模型的车辆检测方法
US10430671B2 (en) * 2017-04-22 2019-10-01 Honda Motor Co., Ltd. System and method for remapping surface areas of a vehicle environment
KR101976952B1 (ko) 2017-11-01 2019-05-09 재단법인 다차원 스마트 아이티 융합시스템 연구단 움직임 벡터를 이용한 객체 검출 시스템 및 그 방법
JP6587006B2 (ja) * 2018-03-14 2019-10-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 動体検出装置、制御装置、移動体、動体検出方法、及びプログラム
TWI700017B (zh) 2018-10-17 2020-07-21 財團法人車輛研究測試中心 車輛偵測方法、基於光強度動態之夜間車輛偵測方法及其系統
CN109544590B (zh) * 2018-11-27 2020-05-15 上海芯仑光电科技有限公司 一种目标跟踪方法及计算设备
KR102219906B1 (ko) * 2018-12-20 2021-02-24 한동대학교 산학협력단 기계학습을 위한 학습데이터 자동 생성 방법 및 장치
CN111351474B (zh) * 2018-12-24 2022-07-12 上海欧菲智能车联科技有限公司 车辆移动目标检测方法、装置和系统
CN112037250B (zh) * 2020-07-27 2024-04-05 国网四川省电力公司 一种目标车辆矢量轨迹追踪和工程视图建模方法、装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
JP3395634B2 (ja) 1998-03-12 2003-04-14 三菱自動車工業株式会社 オプティカルフロー式後方情報検出装置
JP3580475B2 (ja) * 1998-09-14 2004-10-20 矢崎総業株式会社 周辺監視装置
US6535114B1 (en) * 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
KR100364582B1 (ko) 2000-04-28 2002-12-16 주식회사 네트웍코리아 다중 이동물체 추적/감시 시스템
JP3888055B2 (ja) 2000-12-26 2007-02-28 財団法人鉄道総合技術研究所 オプティカルフローを利用した列車前方異常検出装置
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
US7248718B2 (en) * 2004-02-19 2007-07-24 Siemens Corporate Research, Inc. System and method for detecting a passing vehicle from dynamic background using robust information fusion
DE102005013920B4 (de) * 2004-03-26 2007-12-13 Mitsubishi Jidosha Kogyo K.K. Frontsicht-Überwachungsvorrichtung

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9104920B2 (en) 2012-10-30 2015-08-11 Hyundai Motor Company Apparatus and method for detecting obstacle for around view monitoring system
US9418443B2 (en) 2013-08-27 2016-08-16 Hyundai Motor Company Apparatus and method for detecting obstacle
KR20160142137A (ko) * 2015-06-02 2016-12-12 에스케이하이닉스 주식회사 움직이는 객체 검출 장치 및 방법
KR20190032488A (ko) * 2016-07-22 2019-03-27 로베르트 보쉬 게엠베하 주행 보조 방법, 주행 보조 시스템 및 차량
KR20180058046A (ko) * 2016-11-23 2018-05-31 엘지이노텍 주식회사 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체
WO2018097627A1 (ko) * 2016-11-23 2018-05-31 엘지이노텍(주) 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체
US10909693B2 (en) 2016-11-23 2021-02-02 Lg Innotek Co., Ltd. Image analysis method, device, system, and program, which use vehicle driving information, and storage medium

Also Published As

Publication number Publication date
KR100630088B1 (ko) 2006-09-27
US20060140447A1 (en) 2006-06-29

Similar Documents

Publication Publication Date Title
KR100630088B1 (ko) 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
Wu et al. Lane-mark extraction for automobiles under complex conditions
Kuo et al. Vision-based vehicle detection for a driver assistance system
US7231288B2 (en) System to determine distance to a lead vehicle
US9047518B2 (en) Method for the detection and tracking of lane markings
US9934442B2 (en) Passenger counting device, passenger counting method, and program recording medium
US10081308B2 (en) Image-based vehicle detection and distance measuring method and apparatus
JP5651414B2 (ja) 車両検出装置
KR100459476B1 (ko) 차량의 대기 길이 측정 장치 및 방법
US9626599B2 (en) Reconfigurable clear path detection system
US10565438B2 (en) Vehicle periphery monitor device
JP5136504B2 (ja) 物体識別装置
US10867403B2 (en) Vehicle external recognition apparatus
EP2713308A2 (en) Method and system for using fingerprints to track moving objects in video
WO2003001473A1 (en) Vision-based collision threat detection system_
KR101825687B1 (ko) 차영상을 이용한 장애물 검출장치 및 그 방법
CN106022243B (zh) 一种基于图像处理的机动车道车辆逆行识别方法
KR20150112656A (ko) 카메라 캘리브레이션 방법 및 그 장치
KR20210149037A (ko) 신경망을 훈련 및 이용해 에고 부분 위치를 검출하기 위한 방법
KR20140148171A (ko) 지능형 차량의 차선 검출방법
JP5353531B2 (ja) 車両灯火認識装置及びプログラム
Garg et al. Real-time license plate recognition and speed estimation from video sequences
US11120292B2 (en) Distance estimation device, distance estimation method, and distance estimation computer program
US8948449B2 (en) Selecting visible regions in nighttime images for performing clear path detection
WO2017077261A1 (en) A monocular camera cognitive imaging system for a vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120830

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130829

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140828

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150828

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160830

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170830

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180830

Year of fee payment: 13