KR101427032B1 - 차량의 보행자 인식 장치 및 방법, 이를 이용한 차량의 보행자 충돌 경고 및 예방 장치 및 방법 - Google Patents
차량의 보행자 인식 장치 및 방법, 이를 이용한 차량의 보행자 충돌 경고 및 예방 장치 및 방법 Download PDFInfo
- Publication number
- KR101427032B1 KR101427032B1 KR1020130009081A KR20130009081A KR101427032B1 KR 101427032 B1 KR101427032 B1 KR 101427032B1 KR 1020130009081 A KR1020130009081 A KR 1020130009081A KR 20130009081 A KR20130009081 A KR 20130009081A KR 101427032 B1 KR101427032 B1 KR 101427032B1
- Authority
- KR
- South Korea
- Prior art keywords
- pedestrian
- candidate
- image
- model
- vehicle
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
- B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
Abstract
차량의 보행자 인식 장치가 개시된다. 차량의 보행자 인식 장치는 입력된 영상에서 관심영역을 설정하는 관심영역 설정부와, 보행자 모델을 기초로 캐스케이드 방식의 이미지 피라미드를 이용하여 관심영역 내에서의 보행자 후보를 인식하는 보행자 후보 인식부와, 보행자 후보 중 특징점 추적을 이용하여 입력된 영상 중에서 보행자 후보를 보행자로 인식하는 보행자 인식부를 포함하여 구성된다. 따라서, 보행자를 정확하게 인식할 수 있고, 이로 인하여 보행자와의 충돌을 정확하게 경고 및 예방할 수 있다.
Description
본 발명은 차량의 보행자 인식에 관한 것으로, 더욱 상세하게는 차량의 보행자 인식 장치 및 방법, 이를 이용한 차량의 보행자 충돌 경고 및 예방 장치 및 방법에 관한 것이다.
현재 차량의 증가에 따라 보행자와 차량의 충돌에 의한 피해가 증가하고 있으며, 보행자와 차량의 충돌시에는 보행자의 사망률이 급격하게 증가하고 있다. 이러한 피해를 줄이기 위하여, 전방에 레이더 센서, 카메라 등을 장착하여, 차량 전방의 이동중인 보행자를 감지하여 충돌의 위험이 있는 경우에 운전자에게 경고하는 도 1에 도시된 바와 같은, PDW(Pedestrian Detection Warning) 장치가 개발되고, 차량에 장착되고 있다.
그러나, 보행자의 키, 성별, 옷 모양, 포즈의 다양성으로 인하여 현재 개발되고 있거나, 차량에 장착된 PDW 장치는 보행자 신체 중의 일부분이 물체에 가려진 경우에 보행자로 인식하지 못하고, 이로 인한 차량 전방의 이동중인 보행자가 있다는 것을 운전자에게 정확하게 경고할 수 없는 문제가 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 보행자를 정확하게 인식할 수 있는 차량의 보행자 인식 장치를 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 보행자를 정확하게 인식할 수 있는 차량의 보행자 인식 방법을 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 목적은, 보행자를 정확하게 인식하여 정확하게 보행자의 충돌을 경고 및 예방할 수 있는 차량의 보행자 충돌 경고 및 예방 장치를 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 목적은, 보행자를 정확하게 인식하여 정확하게 보행자의 충돌을 경고 및 예방할 수 있는 차량의 보행자 충돌 경고 및 예방 방법을 제공하는데 있다.
상기한 본 발명의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치는, 차량의 보행자 인식 장치로서, 입력된 영상에서 관심영역(Region Of Interest)을 설정하는 관심영역 설정부와, 보행자 모델을 기초로 캐스케이드(Cascade) 방식의 이미지 피라미드(Image Pyramid)를 이용하여 상기 관심영역 내에서의 보행자 후보를 인식하는 보행자 후보 인식부와, 보행자 후보 중 특징점 추적(Feature tracking)을 이용하여 입력된 영상 중에서 보행자 후보를 보행자로 인식하는 보행자 인식부를 포함하여 구성된다.
또한, 보행자 모델은, 보행자 및 비보행자 영상을 기초로 학습 또는 클러스터링 방법을 통하여 생성될 수 있다. 보행자 모델은, 보행자 및 비보행자 영상의 전체 형상을 모델화한 루트 모델(Root Model)과, 루트 모델을 복수개의 부분으로 나눈 각각의 파트 모델(Part Model)을 포함할 수 있다. 여기서, 파트 모델은, 머리 파트, 몸통 파트 및 다리 파트를 포함할 수 있다.
또한, 관심영역은, 3 차원의 실제 좌표계에서 보행자를 인식할 수 있는 거리인 보행자 인식 가능 거리에 기초하여 설정될 수 있다.
또한, 이미지 피라미드는, 입력된 영상을 다운 샘플링하여 생성될 수 있다.
또한, 보행자 후보 인식부는, 입력된 영상을 기초로 복수개의 이미지 피라미드를 생성하는 이미지 피라미드 생성모듈과, 보행자 모델을 기초로 복수개의 이미지 피라미드 각각에서 스캔 윈도우를 이용하여 보행자 후보를 검출하는 보행자 후보 검출모듈과, 보행자 후보가 검출된 복수개의 이미지 피라미드를 하나의 영상으로 중첩하는 영상 중첩모듈과, 하나의 영상에 각각의 보행자 후보 별로 중첩된 각각의 보행자 후보와 보행자 모델을 비교하여 보행자 모델과의 유사도가 가장 큰 보행자 후보를 보행자로 결정하는 보행자 비교모듈과, 보행자 모델과의 유사도가 가장 큰 보행자 후보 이외의 보행자 후보를 제거하는 영상 제거모듈을 포함할 수 있다.
또한, 보행자 후보 검출모듈은, 입력된 영상에서 스캔 윈도우와, 루트 모델 및 각각의 파트 모델들과의 유사도를 산출하고, 산출된 각각의 유사도를 합산하여 합산된 유사도가 가장 높은 입력된 영상에서의 스캔 윈도우를 보행자 후보로 검출할 수 있다.
상기한 본 발명의 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 차량의 보행자 인식 방법은, 차량의 보행자 인식 방법으로서, 입력된 영상에서 관심영역(Region Of Interest)을 설정하는 단계와, 보행자 모델을 기초로 캐스케이드(Cascade) 방식의 이미지 피라미드(Image Pyramid)를 이용하여 관심영역 내에서의 보행자 후보를 인식하는 단계와, 보행자 후보 중 특징점 추적(Feature tracking)을 이용하여 입력된 영상 중에서 보행자 후보를 보행자로 인식하는 단계를 포함하여 구성된다.
또한, 보행자 모델은, 보행자 및 비보행자 영상을 기초로 학습 또는 클러스터링 방법을 통하여 생성되고, 보행자 모델은, 보행자 및 비보행자 영상의 전체 형상을 모델화한 루트 모델(Root Model)과, 루트 모델을 복수개의 부분으로 나눈 각각의 파트 모델(Part Model)을 포함할 수 있다. 여기서, 파트 모델은, 머리 파트, 몸통 파트 및 다리 파트를 포함할 수 있다.
또한, 관심영역은, 3 차원의 실제 좌표계에서 보행자를 인식할 수 있는 거리인 보행자 인식 가능 거리에 기초하여 설정될 수 있다.
또한, 이미지 피라미드는, 입력된 영상을 다운 샘플링하여 생성될 수 있다.
또한, 보행자 모델을 기초로 캐스케이드 방식의 이미지 피라미드를 이용하여 관심영역 내에서의 보행자 후보를 인식하는 단계는, 입력된 영상을 기초로 복수개의 이미지 피라미드를 생성하는 단계와, 보행자 모델을 기초로 복수개의 이미지 피라미드 각각에서 스캔 윈도우를 이용하여 보행자 후보를 검출하는 단계와, 보행자 후보가 검출된 복수개의 이미지 피라미드를 하나의 영상으로 중첩하는 단계와, 하나의 영상에 각각의 보행자 후보 별로 중첩된 각각의 보행자 후보와 보행자 모델을 비교하여 보행자 모델과의 유사도가 가장 큰 보행자 후보를 보행자로 결정하는 단계와, 보행자 모델과의 유사도가 가장 큰 보행자 후보 이외의 보행자 후보를 제거하는 단계를 포함할 수 있다.
또한, 보행자 모델을 기초로 복수개의 이미지 피라미드 각각에서 스캔 윈도우를 이용하여 보행자 후보를 검출하는 단계는, 입력된 영상에서 스캔 윈도우와, 루트 모델 및 각각의 파트 모델들과의 유사도를 산출하고, 산출된 각각의 유사도를 합산하여 합산된 유사도가 가장 높은 입력된 영상에서의 스캔 윈도우를 보행자 후보로 검출할 수 있다.
상기한 본 발명의 또 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 차량의 보행자 충돌 경고 및 예방 장치는, 차량의 보행자 충돌 경고 및 예방 장치로서, 입력된 영상에서 관심영역(Region Of Interest)을 설정하는 관심영역 설정부와, 보행자 모델을 기초로 캐스케이드(Cascade) 방식의 이미지 피라미드(Image Pyramid)를 이용하여 관심영역 내에서의 보행자 후보를 인식하는 보행자 후보 인식부와, 보행자 후보 중 특징점 추적(Feature tracking)을 이용하여 입력된 영상 중에서 보행자 후보를 보행자로 인식하는 보행자 인식부와, 인식된 보행자의 위치 및 높이에 기초하여 차량과 보행자 사이의 거리를 추정하는 거리 추정부를 포함하여 구성된다.
또한, 차량의 보행자 충돌 경고 및 예방 장치는, 추정된 거리가 미리 설정된 거리보다 작은 경우, 운전자에게 시각 및 청각 중 어느 하나로 보행자와의 충돌을 경고, 및 차량의 제동장치를 구동 중 적어도 하나를 제어하는 경고 및 예방 제어부를 더 포함할 수 있다.
또한, 보행자 후보 인식부는, 입력된 영상을 기초로 복수개의 이미지 피라미드를 생성하는 이미지 피라미드 생성모듈과, 보행자 모델을 기초로 복수개의 이미지 피라미드 각각에서 스캔 윈도우를 이용하여 보행자 후보를 검출하는 보행자 후보 검출모듈과, 보행자 후보가 검출된 복수개의 이미지 피라미드를 하나의 영상으로 중첩하는 영상 중첩모듈과, 하나의 영상에 각각의 보행자 후보 별로 중첩된 각각의 보행자 후보와 보행자 모델을 비교하여 보행자 모델과의 유사도가 가장 큰 보행자 후보를 보행자로 결정하는 보행자 비교모듈과, 보행자 모델과의 유사도가 가장 큰 보행자 후보 이외의 보행자 후보를 제거하는 영상 제거모듈을 포함할 수 있다.
상기한 본 발명의 또 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 차량의 보행자 충돌 경고 및 예방 방법은, 차량의 보행자 충돌 경고 및 예방 방법으로서, 입력된 영상에서 관심영역(Region Of Interest)을 설정하는 단계와, 보행자 모델을 기초로 캐스케이드(Cascade) 방식의 이미지 피라미드(Image Pyramid)를 이용하여 관심영역 내에서의 보행자 후보를 인식하는 단계와, 보행자 후보 중 특징점 추적(Feature tracking)을 이용하여 입력된 영상 중에서 보행자 후보를 보행자로 인식하는 단계와, 인식된 보행자의 위치 및 높이에 기초하여 차량과 보행자 사이의 거리를 추정하는 단계를 포함하여 구성된다.
또한, 차량의 보행자 충돌 경고 및 예방 방법은, 추정된 거리가 미리 설정된 거리보다 작은 경우, 운전자에게 시각 및 청각 중 어느 하나로 보행자와의 충돌을 경고, 및 차량의 제동장치를 구동 중 적어도 하나를 제어하는 단계를 더 포함할 수 있다.
또한, 보행자 모델을 기초로 캐스케이드 방식의 이미지 피라미드를 이용하여 관심영역 내에서의 보행자 후보를 인식하는 단계는, 입력된 영상을 기초로 복수개의 이미지 피라미드를 생성하는 단계와, 보행자 모델을 기초로 복수개의 이미지 피라미드 각각에서 스캔 윈도우를 이용하여 보행자 후보를 검출하는 단계와, 보행자 후보가 검출된 복수개의 이미지 피라미드를 하나의 영상으로 중첩하는 단계와, 하나의 영상에 각각의 보행자 후보 별로 중첩된 각각의 보행자 후보와 보행자 모델을 비교하여 보행자 모델과의 유사도가 가장 큰 보행자 후보를 보행자로 결정하는 단계와, 보행자 모델과의 유사도가 가장 큰 보행자 후보 이외의 보행자 후보를 제거하는 단계를 포함할 수 있다.
상기와 같은 본 발명에 따른 차량의 보행자 인식 장치 및 방법, 이를 이용한 차량의 보행자 충돌 경고 및 예방 장치 및 방법에 따르면, 보행자 및 비보행자 영상의 전체 형상을 모델화한 루트 모델과, 루트 모델을 복수개의 부분으로 나눈 각각의 파트 모델을 모두 이용하여 보행자 후보를 인식하므로, 보행자의 신체 중 일부가 가려진 경우에도 보행자를 정확하게 인식할 수 있고, 이로 인하여 보행자와의 충돌을 정확하게 경고 및 예방할 수 있다.
도 1은 차량에 적용된 보행자 인식을 이용한 차량의 보행자 충돌 경고 장치의 예시도이다.
도 2는 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치의 관심영역 설정부에서 설정된 관심영역을 나타내는 예시도이다.
도 4는 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치의 이미지 피라미드 생성모듈에서 생성된 이미지 피라미드를 나타내는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치의 보행자 후보 검출모듈에서 수행되는 보행자 후보를 검출하는 과정을 나타내는 예시도이다.
도 6은 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치에서 사용되는 보행자 모델을 생성하기 위한 보행자 영상 및 비보행자 영상을 나타내는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치에서 사용되는 보행자 영상의 전체 형상을 모델화한 루트 모델과 루트 모델을 3개의 부분으로 나눈 각각의 파트 모델을 나타내는 예시도이다.
도 8은 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치의 영상 중첩모듈에서 복수개의 이미지 피라미드를 하나의 영상으로 중첩한 영상을 나타내는 예시도이다.
도 9는 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치의 영상 제거모듈에서 보행자 모델과의 유사도가 가장 큰 보행자 후보 이외의 보행자 후보를 제거한 영상을 나타내는 예시도이다.
도 10은 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치의 보행자 인식부에서 수행되는 보행자 후보를 보행자로 인식하는 과정을 나타내는 예시도이다.
도 11은 본 발명의 다른 실시예에 따른 차량의 보행자 인식 방법을 나타내는 흐름도이다.
도 12는 본 발명의 또 다른 실시예에 따른 차량의 보행자 충돌 경고 및 예방 장치의 구성을 나타내는 블록도이다.
도 13은 본 발명의 또 다른 실시예에 따른 차량의 보행자 충돌 경고 및 예방 장치의 거리 추정부에서 수행되는 거리 추정을 설명하기 위한 개념도이다.
도 14는 본 발명의 또 다른 실시예에 따른 차량의 보행자 충돌 경고 및 예방 방법을 나타내는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치의 관심영역 설정부에서 설정된 관심영역을 나타내는 예시도이다.
도 4는 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치의 이미지 피라미드 생성모듈에서 생성된 이미지 피라미드를 나타내는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치의 보행자 후보 검출모듈에서 수행되는 보행자 후보를 검출하는 과정을 나타내는 예시도이다.
도 6은 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치에서 사용되는 보행자 모델을 생성하기 위한 보행자 영상 및 비보행자 영상을 나타내는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치에서 사용되는 보행자 영상의 전체 형상을 모델화한 루트 모델과 루트 모델을 3개의 부분으로 나눈 각각의 파트 모델을 나타내는 예시도이다.
도 8은 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치의 영상 중첩모듈에서 복수개의 이미지 피라미드를 하나의 영상으로 중첩한 영상을 나타내는 예시도이다.
도 9는 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치의 영상 제거모듈에서 보행자 모델과의 유사도가 가장 큰 보행자 후보 이외의 보행자 후보를 제거한 영상을 나타내는 예시도이다.
도 10은 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치의 보행자 인식부에서 수행되는 보행자 후보를 보행자로 인식하는 과정을 나타내는 예시도이다.
도 11은 본 발명의 다른 실시예에 따른 차량의 보행자 인식 방법을 나타내는 흐름도이다.
도 12는 본 발명의 또 다른 실시예에 따른 차량의 보행자 충돌 경고 및 예방 장치의 구성을 나타내는 블록도이다.
도 13은 본 발명의 또 다른 실시예에 따른 차량의 보행자 충돌 경고 및 예방 장치의 거리 추정부에서 수행되는 거리 추정을 설명하기 위한 개념도이다.
도 14는 본 발명의 또 다른 실시예에 따른 차량의 보행자 충돌 경고 및 예방 방법을 나타내는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치의 구성을 나타내는 블록도, 도 3은 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치의 관심영역 설정부에서 설정된 관심영역을 나타내는 예시도, 도 4는 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치의 이미지 피라미드 생성모듈에서 생성된 이미지 피라미드를 나타내는 예시도, 도 5는 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치의 보행자 후보 검출모듈에서 수행되는 보행자 후보를 검출하는 과정을 나타내는 예시도, 도 6은 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치에서 사용되는 보행자 모델을 생성하기 위한 보행자 영상 및 비보행자 영상을 나타내는 예시도, 도 7은 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치에서 사용되는 보행자 영상의 전체 형상을 모델화한 루트 모델과 루트 모델을 3개의 부분으로 나눈 각각의 파트 모델을 나타내는 예시도, 도 8은 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치의 영상 중첩모듈에서 복수개의 이미지 피라미드를 하나의 영상으로 중첩한 영상을 나타내는 예시도, 도 9는 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치의 영상 제거모듈에서 보행자 모델과의 유사도가 가장 큰 보행자 후보 이외의 보행자 후보를 제거한 영상을 나타내는 예시도, 도 10은 본 발명의 일 실시예에 따른 차량의 보행자 인식 장치의 보행자 인식부에서 수행되는 보행자 후보를 보행자로 인식하는 과정을 나타내는 예시도이다.
도 2 내지 도 10을 참조하면, 차량의 보행자 인식 장치(100)는 관심영역 설정부(110), 보행자 후보 인식부(120) 및 보행자 인식부(130)를 포함한다.
관심영역 설정부(110)는 입력된 영상에서 관심영역(Region Of Interest)을 설정할 수 있다. 여기서, 관심영역은3 차원의 실제 좌표계에서 보행자를 인식할 수 있는 거리를 의미하는 보행자 인식 가능 거리에 기초하여 설정될 수 있다.
구체적으로, 관심영역 설정부(110)는 차량의 전방에 장착된 카메라로부터 차량 전방의 영상을 입력받고, 3 차원의 실제 공간에서 보행자를 인식할 수 있는 최대의 거리(예를 들어, 30 m)를 H-Matrix 를 이용하여 카메라로부터 입력된 영상으로 투영하여 도 3에 도시된 것과 같은 관심영역을 생성할 수 있다.
여기서, H-Matrix는 내부 파라미터(intrinsic parameter)와 외부 파라미터(extrinsic parameter)로 구성되는 3x4 매트릭스일 수 있으며, 여기서 내부 파라미터는 입력된 영상을 촬영하는 카메라의 내부적인 정보 및 오차 등의 정보에 관한 파라미터를 의미할 수 있고, 외부 파라미터는 입력된 영상을 촬영하는 카메라가 3 차원의 실제 좌표계에서 원점으로부터 거리 및 회전 등의 정보에 관한 파라미터를 의미할 수 있다.
예를 들어, 내부 파라미터는 렌즈 왜곡(distortion), 초점 거리(focal length), 이미지 중심(image center) 등이 포함될 수 있고, 외부 파라미터는 3 차원의 실제 좌표계에서 카메라의 이동 거리, 회전각도 등이 포함될 수 있다.
보행자 후보 인식부(120)는 보행자 모델을 기초로 캐스케이드(Cascade) 방식의 이미지 피라미드(Image Pyramid)를 이용하여 관심영역 내에서의 보행자 후보를 인식할 수 있고, 보행자 후보 인식부(120)는 이미지 피라미드 생성모듈(121), 보행자 후보 검출모듈(122), 영상 중첩모듈(123), 보행자 비교모듈(124) 및 영상 제거모듈(125)을 포함할 수 있다.
이미지 피라미드 생성모듈(121)은 입력된 영상을 기초로 복수개의 이미지 피라미드를 생성할 수 있다. 여기서, 이미지 피라미드는 도 4에 도시된 바와 같이 입력된 영상을 다운 샘플링하여 생성되는 영상을 의미할 수 있다. 구체적으로, 도 4에 도시된 이미지 피라미드는 입력된 영상을 (1.2)n 형태로 다운 샘플링하여 생성된 영상이다.
보행자 후보 검출모듈(122)은 보행자 모델을 기초로 복수개의 이미지 피라미드 각각에서 스캔 윈도우를 이용하여 보행자 후보를 검출할 수 있다. 구체적으로, 도 5를 참조하여 설명하면, 보행자 후보 검출모듈(122)은 입력된 영상(도5(a))에서 스캔 윈도우와 루트 모델(도5(b)) 및 복수개의 부분으로 나눈 각각의 파트 모델들(도5 (c), 도5 (d), 도5 (e))과의 유사도를 산출하여 합산하고, 합산된 유사도가 가장 높은 입력된 영상에서의 스캔 윈도우(도 5(f))를 보행자 후보로 검출할 수 있다.
여기서, 보행자 모델은 보행자 및 비보행자 영상을 기초로 학습 또는 클러스터링 방법을 통하여 생성될 수 있다. 구체적으로, 보행자 모델은 도 6에 도시된 바와 같은 보행자 영상(도 6(a)) 및 비보행자 영상(도 6(b)) 등을 기초로 기계학습 또는 클러스터링을 통하여 생성될 수 있다.
또한, 보행자 모델은 보행자 및 비보행자 영상의 전체 형상을 모델화한 루트 모델(Root Model)과, 루트 모델을 복수개의 부분으로 나눈 각각의 파트 모델(Part Model)을 포함할 수 있다. 여기서, 파트 모델은 머리 파트, 몸통 파트 및 다리 파트를 포함할 수 있으나, 이에 한정되는 것은 아니며, 머리, 몸통, 다리 파트 이외의 파트도 될 수 있다.
구체적으로, 루트 모델은 보행자 영상(도 7(a))의 전체 형상을 모델화한 도 7(b)이고, 파트 모델은 보행자 영상의 전체 형상을 모델화한 도 7(b)를 복수개의 부분으로 나눈 모델이며, 예를 들어, 머리 파트 모델(도 7(c)), 다리 파트 모델(도 7(d)), 몸통 파트 모델(도 7(e)) 등을 포함할 수 있다.
영상 중첩모듈(123)은 보행자 후보가 검출된 복수개의 이미지 피라미드를 하나의 영상으로 중첩할 수 있다. 구체적으로, 영상 중첩모듈(123)은 보행자 후보가 검출된 복수개의 이미지 피라미드를 하나의 영상으로 중첩하여, 도 8에 도시된 영상을 생성할 수 있다.
보행자 비교모듈(124)은 하나의 영상에서 각각의 보행자 후보 별로 중첩된 각각의 보행자 후보와 보행자 모델을 비교하여 보행자 모델과 유사도가 가장 큰 보행자 후보를 보행자로 결정할 수 있다.
영상 제거모듈(125)은 보행자 모델과의 유사도가 가장 큰 보행자 후보 이외의 보행자 후보를 제거할 수 있다. 구체적으로, 영상 제거모듈은 각각의 보행자 후보 별로 중첩된 각각의 보행자 후보와 보행자 모델과의 유사도가 가장 큰 각각의 보행자 후보 이외의 보행자 후보를 제거하여 도 9에 도시된 바와 같은 영상을 생성할 수 있다.
보행자 인식부(130)는 보행자 후보 중 특징점 추적(Feature tracking)을 이용하여 입력된 영상 중에서 보행자 후보를 보행자로 인식할 수 있다.
구체적으로, 도 10을 참조하여 설명하면, 도 10(a)는 t 번째의 프레임을 의미하고, 도 10(b)는 t+1 번째의 프레임을 의미하며, 보행자 인식부(130)는 보행자 후보 중에서 특징점 추적을 통하여 t 번째의 프레임과 t+1 번째의 프레임에 연속적으로 나타나는 보행자 후보를 보행자로 인식할 수 있고, 이로 인하여 보행자 인식의 신뢰성을 향상시킬 수 있다.
도 11은 본 발명의 다른 실시예에 따른 차량의 보행자 인식 방법을 나타내는 흐름도이다.
도 11을 참조하면, 차량의 보행자 인식 방법은 입력된 영상에서 관심영역(Region Of Interest)을 설정할 수 있다(S100).
다음으로, 단계 S110은 보행자 모델을 기초로 캐스케이드(Cascade) 방식의 이미지 피라미드(Image Pyramid)를 이용하여 관심영역 내에서의 보행자 후보를 인식할 수 있다.
구체적으로, 단계 S110은 입력된 영상을 기초로 복수개의 이미지 피라미드를 생성하고, 보행자 모델을 기초로 복수개의 이미지 피라미드 각각에서 스캔 윈도우를 이용하여 보행자 후보를 검출할 수 있다. 여기서, 스캔 윈도우를 이용한 보행자 후보의 검출은 입력된 영상에서 스캔 윈도우와, 루트 모델 및 각각의 파트 모델들과의 유사도를 산출하고, 산출된 각각의 유사도를 합산하여 합산된 유사도가 가장 높은 입력된 영상에서의 스캔 윈도우를 보행자 후보로 검출할 수 있다.
또한, 단계 S110은 보행자 후보가 검출된 복수개의 이미지 피라미드를 하나의 영상으로 중첩하고, 하나의 영상에 각각의 보행자 후보 별로 중첩된 각각의 보행자 후보와 보행자 모델을 비교하여 보행자 모델과의 유사도가 가장 큰 보행자 후보를 보행자로 결정할 수 있고, 보행자 모델과의 유사도가 가장 큰 보행자 후보 이외의 보행자 후보를 제거할 수 있다.
다음으로, 단계 S120는 보행자 후보 중 특징점 추적(Feature tracking)을 이용하여 입력된 영상 중에서 보행자 후보를 보행자로 인식할 수 있다.
한편, 차량의 보행자 인식 방법은 상술한 도2 내지 도 10에서 설명한 차량의 보행자 인식 장치에서의 설명과 중복되므로 생략한다.
도 12는 본 발명의 또 다른 실시예에 따른 차량의 보행자 충돌 경고 및 예방 장치의 구성을 나타내는 블록도이고, 도 13은 본 발명의 또 다른 실시예에 따른 차량의 보행자 충돌 경고 및 예방 장치의 거리 추정부에서 수행되는 거리 추정을 설명하기 위한 개념도이다.
도 12 및 도 13을 참조하면, 차량의 보행자 충돌 경고 및 예방 장치(200)는 관심영역 설정부(210), 보행자 후보 인식부(220), 보행자 인식부(230) 및 거리 추정부(240)를 포함한다.
거리 추정부(240)는 인식된 보행자의 위치 및 높이에 기초하여 차량과 보행자 사이의 거리를 추정할 수 있다. 구체적으로, 도 13을 참조하여 설명하면, d는 차량과 보행자의 거리를 의미하고, hc 는 지면에서부터 차량에 장착된 카메라까지의 높이를 의미하고, y는 지면으로부터 보행자까지의 높이에서 hc 를 뺀 높이를 의미한다. 따라서, 상술한 파라미터를 이용하여 연산함으로써 차량과 보행자의 거리를 추정할 수 있다.
한편, 관심영역 설정부(210), 보행자 후보 인식부(220) 및 보행자 인식부(230)는 상술한 도 2 내지 도 10에서 설명한 차량의 보행자 인식 장치에서의 설명과 중복되므로 생략한다.
또한, 차량의 보행자 충돌 경고 및 예방 장치(200)는 경고 및 예방 제어부(250)를 더 포함할 수 있다.
경고 및 예방 제어부(250)는 추정된 거리가 미리 설정된 거리보다 작은 경우, 운전자에게 시각 및 청각 중 어느 하나로 보행자와의 충돌을 경고, 및 차량의 제동장치를 구동 중 적어도 하나를 제어할 수 있다.
예를 들어, 추정된 거리가 미리 설정된 거리보다 작은 경우에 경고 및 예방 제어부는 헤드업디스플레이 등의 디스플레이 장치가 충돌에 대한 경고를 수행하도록 제어할 수 있고, 제동 장치가 작동하도록 제어할 수도 있다.
도 14는 본 발명의 또 다른 실시예에 따른 차량의 보행자 충돌 경고 및 예방 방법을 나타내는 흐름도이다.
도 14를 참조하면, 차량의 보행자 충돌 경고 및 예방 방법은 입력된 영상에서 관심영역(Region Of Interest)을 설정한다(S200).
다음으로, 차량의 보행자 충돌 경고 및 예방 방법은 보행자 모델을 기초로 캐스케이드(Cascade) 방식의 이미지 피라미드(Image Pyramid)를 이용하여 관심영역 내에서의 보행자 후보를 인식한다(S210).
다음으로, 차량의 보행자 충돌 경고 및 예방 방법은 보행자 후보 중 특징점 추적(Feature tracking)을 이용하여 입력된 영상 중에서 보행자 후보를 보행자로 인식한다(S220).
다음으로, 차량의 보행자 충돌 경고 및 예방 방법은 인식된 보행자의 위치 및 높이에 기초하여 차량과 보행자 사이의 거리를 추정한다(S230).
또한, 차량의 보행자 충돌 경고 및 예방 방법은 추정된 거리가 미리 설정된 거리보다 작은 경우, 운전자에게 시각 및 청각 중 어느 하나로 보행자와의 충돌을 경고, 및 차량의 제동장치를 구동 중 적어도 하나를 제어할 수 있다(S240).
이상에서 살펴본 바와 같이, 본 발명의 바람직한 실시예를 들어 도시하고 설명하였으나, 본 발명은 상기한 실시예에 한정되지 아니하며 본 발명의 사상을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경, 치환, 수정이 가능할 것이며, 이러한 변경, 치환, 수정 등은 본 발명의 특허청구범위에 속하는 것으로 보아야 할 것이다.
100: 차량의 보행자 인식 장치 110: 관심영역 설정부
120: 보행자 후보 인식부 121: 이미지 피라미드 생성모듈
122: 보행자 후보 검출모듈 123: 영상 중첩모듈
124: 보행자 비교모듈 125: 영상 제거모듈
130: 보행자 인식부 200: 차량의 보행자 충돌 경고 및 예방 장치
210: 관심영역 설정부 220: 보행자 후보 인식부
221: 이미지 피라미드 생성모듈 222: 보행자 후보 검출모듈
223: 영상 중첩모듈 224: 보행자 비교모듈
225: 영상 제거모듈 230: 보행자 인식부
240: 거리 추정부 250: 경고 및 예방 제어부
120: 보행자 후보 인식부 121: 이미지 피라미드 생성모듈
122: 보행자 후보 검출모듈 123: 영상 중첩모듈
124: 보행자 비교모듈 125: 영상 제거모듈
130: 보행자 인식부 200: 차량의 보행자 충돌 경고 및 예방 장치
210: 관심영역 설정부 220: 보행자 후보 인식부
221: 이미지 피라미드 생성모듈 222: 보행자 후보 검출모듈
223: 영상 중첩모듈 224: 보행자 비교모듈
225: 영상 제거모듈 230: 보행자 인식부
240: 거리 추정부 250: 경고 및 예방 제어부
Claims (20)
- 차량의 보행자 인식 장치로서,
입력된 영상에서 관심영역(Region Of Interest)을 설정하는 관심영역 설정부;
보행자 모델을 기초로 캐스케이드(Cascade) 방식의 이미지 피라미드(Image Pyramid)를 이용하여 상기 관심영역 내에서의 보행자 후보를 인식하는 보행자 후보 인식부; 및
상기 보행자 후보 중 특징점 추적(Feature tracking)을 이용하여 상기 입력된 영상 중에서 보행자 후보를 보행자로 인식하는 보행자 인식부를 포함하며,
상기 관심영역은,
3 차원의 실제 좌표계에서 보행자를 인식할 수 있는 거리인 보행자 인식 가능 거리에 기초하여 설정되는, 차량의 보행자 인식 장치. - 제1항에 있어서,
상기 보행자 모델은,
보행자 및 비보행자 영상을 기초로 학습 또는 클러스터링 방법을 통하여 생성되고,
상기 보행자 모델은,
상기 보행자 및 비보행자 영상의 전체 형상을 모델화한 루트 모델(Root Model); 및
상기 루트 모델을 복수개의 부분으로 나눈 각각의 파트 모델(Part Model)을 포함하는, 차량의 보행자 인식 장치. - 제2항에 있어서,
상기 파트 모델은,
머리 파트, 몸통 파트 및 다리 파트를 포함하는, 차량의 보행자 인식 장치. - 삭제
- 차량의 보행자 인식 장치로서,
입력된 영상에서 관심영역(Region Of Interest)을 설정하는 관심영역 설정부;
보행자 모델을 기초로 캐스케이드(Cascade) 방식의 이미지 피라미드(Image Pyramid)를 이용하여 상기 관심영역 내에서의 보행자 후보를 인식하는 보행자 후보 인식부; 및
상기 보행자 후보 중 특징점 추적(Feature tracking)을 이용하여 상기 입력된 영상 중에서 보행자 후보를 보행자로 인식하는 보행자 인식부를 포함하며,
상기 이미지 피라미드는,
상기 입력된 영상을 다운 샘플링하여 생성되는, 차량의 보행자 인식 장치. - 제5항에 있어서,
상기 보행자 후보 인식부는,
상기 입력된 영상을 기초로 복수개의 이미지 피라미드를 생성하는 이미지 피라미드 생성모듈;
상기 보행자 모델을 기초로 상기 복수개의 이미지 피라미드 각각에서 스캔 윈도우를 이용하여 상기 보행자 후보를 검출하는 보행자 후보 검출모듈;
상기 보행자 후보가 검출된 상기 복수개의 이미지 피라미드를 하나의 영상으로 중첩하는 영상 중첩모듈;
상기 하나의 영상에 각각의 보행자 후보 별로 중첩된 상기 각각의 보행자 후보와 상기 보행자 모델을 비교하여 보행자 모델과의 유사도가 가장 큰 보행자 후보를 보행자로 결정하는 보행자 비교모듈; 및
상기 보행자 모델과의 유사도가 가장 큰 상기 보행자 후보 이외의 보행자 후보를 제거하는 영상 제거모듈을 포함하는, 차량의 보행자 인식 장치. - 제6항에 있어서,
상기 보행자 후보 검출모듈은,
상기 입력된 영상에서 상기 스캔 윈도우와, 상기 루트 모델 및 각각의 파트 모델들과의 유사도를 산출하고, 산출된 각각의 유사도를 합산하여 상기 합산된 유사도가 가장 높은 입력된 영상에서의 상기 스캔 윈도우를 보행자 후보로 검출하는, 차량의 보행자 인식 장치. - 차량의 보행자 인식 방법으로서,
입력된 영상에서 관심영역(Region Of Interest)을 설정하는 단계;
보행자 모델을 기초로 캐스케이드(Cascade) 방식의 이미지 피라미드(Image Pyramid)를 이용하여 상기 관심영역 내에서의 보행자 후보를 인식하는 단계; 및
상기 보행자 후보 중 특징점 추적(Feature tracking)을 이용하여 상기 입력된 영상 중에서 보행자 후보를 보행자로 인식하는 단계를 포함하며,
상기 관심영역은,
3 차원의 실제 좌표계에서 보행자를 인식할 수 있는 거리인 보행자 인식 가능 거리에 기초하여 설정되는, 차량의 보행자 인식 방법. - 제8항에 있어서,
상기 보행자 모델은,
보행자 및 비보행자 영상을 기초로 학습 또는 클러스터링 방법을 통하여 생성되고,
상기 보행자 모델은,
상기 보행자 및 비보행자 영상의 전체 형상을 모델화한 루트 모델(Root Model); 및
상기 루트 모델을 복수개의 부분으로 나눈 각각의 파트 모델(Part Model)을 포함하는, 차량의 보행자 인식 방법. - 제9항에 있어서,
상기 파트 모델은,
머리 파트, 몸통 파트 및 다리 파트를 포함하는, 차량의 보행자 인식 방법. - 삭제
- 차량의 보행자 인식 방법으로서,
입력된 영상에서 관심영역(Region Of Interest)을 설정하는 단계;
보행자 모델을 기초로 캐스케이드(Cascade) 방식의 이미지 피라미드(Image Pyramid)를 이용하여 상기 관심영역 내에서의 보행자 후보를 인식하는 단계; 및
상기 보행자 후보 중 특징점 추적(Feature tracking)을 이용하여 상기 입력된 영상 중에서 보행자 후보를 보행자로 인식하는 단계를 포함하며,
상기 이미지 피라미드는,
상기 입력된 영상을 다운 샘플링하여 생성되는, 차량의 보행자 인식 방법. - 제9항에 있어서,
상기 보행자 모델을 기초로 캐스케이드 방식의 이미지 피라미드를 이용하여 상기 관심영역 내에서의 보행자 후보를 인식하는 단계는,
상기 입력된 영상을 기초로 복수개의 이미지 피라미드를 생성하는 단계;
상기 보행자 모델을 기초로 상기 복수개의 이미지 피라미드 각각에서 스캔 윈도우를 이용하여 상기 보행자 후보를 검출하는 단계;
상기 보행자 후보가 검출된 상기 복수개의 이미지 피라미드를 하나의 영상으로 중첩하는 단계;
상기 하나의 영상에 각각의 보행자 후보 별로 중첩된 상기 각각의 보행자 후보와 상기 보행자 모델을 비교하여 보행자 모델과의 유사도가 가장 큰 보행자 후보를 보행자로 결정하는 단계; 및
상기 보행자 모델과의 유사도가 가장 큰 상기 보행자 후보 이외의 보행자 후보를 제거하는 단계를 포함하는, 차량의 보행자 인식 방법. - 제13항에 있어서,
상기 보행자 모델을 기초로 상기 복수개의 이미지 피라미드 각각에서 스캔 윈도우를 이용하여 상기 보행자 후보를 검출하는 단계는,
상기 입력된 영상에서 상기 스캔 윈도우와, 상기 루트 모델 및 각각의 파트 모델들과의 유사도를 산출하고, 산출된 각각의 유사도를 합산하여 상기 합산된 유사도가 가장 높은 입력된 영상에서의 상기 스캔 윈도우를 보행자 후보로 검출하는, 차량의 보행자 인식 방법. - 차량의 보행자 충돌 경고 및 예방 장치로서,
입력된 영상에서 관심영역(Region Of Interest)을 설정하는 관심영역 설정부;
보행자 모델을 기초로 캐스케이드(Cascade) 방식의 이미지 피라미드(Image Pyramid)를 이용하여 상기 관심영역 내에서의 보행자 후보를 인식하는 보행자 후보 인식부;
상기 보행자 후보 중 특징점 추적(Feature tracking)을 이용하여 상기 입력된 영상 중에서 보행자 후보를 보행자로 인식하는 보행자 인식부; 및
상기 인식된 보행자의 위치 및 높이에 기초하여 상기 차량과 보행자 사이의 거리를 추정하는 거리 추정부를 포함하는, 차량의 보행자 충돌 경고 및 예방 장치. - 제15항에 있어서,
상기 차량의 보행자 충돌 경고 및 예방 장치는,
상기 추정된 거리가 미리 설정된 거리보다 작은 경우, 운전자에게 시각 및 청각 중 어느 하나로 보행자와의 충돌을 경고, 및 상기 차량의 제동장치를 구동 중 적어도 하나를 제어하는 경고 및 예방 제어부를 더 포함하는, 차량의 보행자 충돌 경고 및 예방 장치. - 제15항에 있어서,
상기 보행자 후보 인식부는,
상기 입력된 영상을 기초로 복수개의 이미지 피라미드를 생성하는 이미지 피라미드 생성모듈;
상기 보행자 모델을 기초로 상기 복수개의 이미지 피라미드 각각에서 스캔 윈도우를 이용하여 상기 보행자 후보를 검출하는 보행자 후보 검출모듈;
상기 보행자 후보가 검출된 상기 복수개의 이미지 피라미드를 하나의 영상으로 중첩하는 영상 중첩모듈;
상기 하나의 영상에 각각의 보행자 후보 별로 중첩된 상기 각각의 보행자 후보와 상기 보행자 모델을 비교하여 보행자 모델과의 유사도가 가장 큰 보행자 후보를 보행자로 결정하는 보행자 비교모듈; 및
상기 보행자 모델과의 유사도가 가장 큰 상기 보행자 후보 이외의 보행자 후보를 제거하는 영상 제거모듈을 포함하는, 차량의 보행자 충돌 경고 및 예방 장치. - 차량의 보행자 충돌 경고 및 예방 방법으로서,
입력된 영상에서 관심영역(Region Of Interest)을 설정하는 단계;
보행자 모델을 기초로 캐스케이드(Cascade) 방식의 이미지 피라미드(Image Pyramid)를 이용하여 상기 관심영역 내에서의 보행자 후보를 인식하는 단계;
상기 보행자 후보 중 특징점 추적(Feature tracking)을 이용하여 상기 입력된 영상 중에서 보행자 후보를 보행자로 인식하는 단계; 및
상기 인식된 보행자의 위치 및 높이에 기초하여 상기 차량과 보행자 사이의 거리를 추정하는 단계를 포함하는, 차량의 보행자 충돌 경고 및 예방 방법. - 제18항에 있어서,
상기 차량의 보행자 충돌 경고 및 예방 방법은,
상기 추정된 거리가 미리 설정된 거리보다 작은 경우, 운전자에게 시각 및 청각 중 어느 하나로 보행자와의 충돌을 경고, 및 상기 차량의 제동장치를 구동 중 적어도 하나를 제어하는 단계를 더 포함하는, 차량의 보행자 충돌 경고 및 예방 방법. - 제18항에 있어서,
상기 보행자 모델을 기초로 캐스케이드 방식의 이미지 피라미드를 이용하여 상기 관심영역 내에서의 보행자 후보를 인식하는 단계는,
상기 입력된 영상을 기초로 복수개의 이미지 피라미드를 생성하는 단계;
상기 보행자 모델을 기초로 상기 복수개의 이미지 피라미드 각각에서 스캔 윈도우를 이용하여 상기 보행자 후보를 검출하는 단계;
상기 보행자 후보가 검출된 상기 복수개의 이미지 피라미드를 하나의 영상으로 중첩하는 단계;
상기 하나의 영상에 각각의 보행자 후보 별로 중첩된 상기 각각의 보행자 후보와 상기 보행자 모델을 비교하여 보행자 모델과의 유사도가 가장 큰 보행자 후보를 보행자로 결정하는 단계; 및
상기 보행자 모델과의 유사도가 가장 큰 상기 보행자 후보 이외의 보행자 후보를 제거하는 단계를 포함하는, 차량의 보행자 충돌 경고 및 예방 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130009081A KR101427032B1 (ko) | 2013-01-28 | 2013-01-28 | 차량의 보행자 인식 장치 및 방법, 이를 이용한 차량의 보행자 충돌 경고 및 예방 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130009081A KR101427032B1 (ko) | 2013-01-28 | 2013-01-28 | 차량의 보행자 인식 장치 및 방법, 이를 이용한 차량의 보행자 충돌 경고 및 예방 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101427032B1 true KR101427032B1 (ko) | 2014-08-05 |
Family
ID=51749650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130009081A KR101427032B1 (ko) | 2013-01-28 | 2013-01-28 | 차량의 보행자 인식 장치 및 방법, 이를 이용한 차량의 보행자 충돌 경고 및 예방 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101427032B1 (ko) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101569411B1 (ko) * | 2015-04-01 | 2015-11-27 | 주식회사 피엘케이 테크놀로지 | 보행자 인식 장치 및 그 방법 |
| KR101770586B1 (ko) * | 2016-03-18 | 2017-08-24 | 주식회사 만도 | 보행자 인식 시스템 및 그 제어 방법 |
| CN107622258A (zh) * | 2017-10-16 | 2018-01-23 | 中南大学 | 一种结合静态底层特征和运动信息的快速行人检测方法 |
| KR20180034793A (ko) * | 2016-09-28 | 2018-04-05 | 전자부품연구원 | 차량용 영상 인식 시스템의 효율적인 탐색 영역 설정 방법 |
| US10604070B2 (en) | 2016-11-09 | 2020-03-31 | Samsung Electronics Co., Ltd. | Method and apparatus for informing pedestrian and occupant of vehicle of each other's approach |
| CN114758510A (zh) * | 2022-03-29 | 2022-07-15 | 中冶南方城市建设工程技术有限公司 | 一种智慧园区的智能安全过马路系统 |
| KR20230024445A (ko) | 2021-08-10 | 2023-02-21 | (주) 아이.에스.브이. | 자동차용 보행자 사고 예방 장치 및 그 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100113371A (ko) * | 2009-04-13 | 2010-10-21 | 주식회사 만도 | 원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치 |
| KR20110058279A (ko) * | 2009-11-26 | 2011-06-01 | 주식회사 만도 | 환경정보를 이용한 능동 보행자 보호 방법 및 시스템 |
| JP2011134119A (ja) | 2009-12-24 | 2011-07-07 | Honda Motor Co Ltd | 車両周辺監視装置 |
| KR101194152B1 (ko) | 2010-10-05 | 2012-10-26 | 주식회사 만도 | 보행자 충돌 회피 방법 및 그 시스템 |
-
2013
- 2013-01-28 KR KR1020130009081A patent/KR101427032B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100113371A (ko) * | 2009-04-13 | 2010-10-21 | 주식회사 만도 | 원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치 |
| KR20110058279A (ko) * | 2009-11-26 | 2011-06-01 | 주식회사 만도 | 환경정보를 이용한 능동 보행자 보호 방법 및 시스템 |
| JP2011134119A (ja) | 2009-12-24 | 2011-07-07 | Honda Motor Co Ltd | 車両周辺監視装置 |
| KR101194152B1 (ko) | 2010-10-05 | 2012-10-26 | 주식회사 만도 | 보행자 충돌 회피 방법 및 그 시스템 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101569411B1 (ko) * | 2015-04-01 | 2015-11-27 | 주식회사 피엘케이 테크놀로지 | 보행자 인식 장치 및 그 방법 |
| WO2016159442A1 (ko) * | 2015-04-01 | 2016-10-06 | 주식회사 피엘케이 테크놀로지 | 보행자 인식 장치 및 그 방법 |
| CN107406071A (zh) * | 2015-04-01 | 2017-11-28 | Plk科技株式会社 | 行人识别装置及其方法 |
| US10522039B2 (en) | 2015-04-01 | 2019-12-31 | Plk Technologies Co., Ltd. | Pedestrian recognition apparatus and method |
| CN107406071B (zh) * | 2015-04-01 | 2019-10-01 | Plk科技株式会社 | 行人识别装置及其方法 |
| KR101770586B1 (ko) * | 2016-03-18 | 2017-08-24 | 주식회사 만도 | 보행자 인식 시스템 및 그 제어 방법 |
| KR101895678B1 (ko) * | 2016-09-28 | 2018-09-06 | 전자부품연구원 | 차량용 영상 인식 시스템의 효율적인 탐색 영역 설정 방법 |
| KR20180034793A (ko) * | 2016-09-28 | 2018-04-05 | 전자부품연구원 | 차량용 영상 인식 시스템의 효율적인 탐색 영역 설정 방법 |
| US10604070B2 (en) | 2016-11-09 | 2020-03-31 | Samsung Electronics Co., Ltd. | Method and apparatus for informing pedestrian and occupant of vehicle of each other's approach |
| CN107622258A (zh) * | 2017-10-16 | 2018-01-23 | 中南大学 | 一种结合静态底层特征和运动信息的快速行人检测方法 |
| KR20230024445A (ko) | 2021-08-10 | 2023-02-21 | (주) 아이.에스.브이. | 자동차용 보행자 사고 예방 장치 및 그 방법 |
| CN114758510A (zh) * | 2022-03-29 | 2022-07-15 | 中冶南方城市建设工程技术有限公司 | 一种智慧园区的智能安全过马路系统 |
| CN114758510B (zh) * | 2022-03-29 | 2023-08-22 | 中冶南方城市建设工程技术有限公司 | 一种智慧园区的智能安全过马路系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101427032B1 (ko) | 차량의 보행자 인식 장치 및 방법, 이를 이용한 차량의 보행자 충돌 경고 및 예방 장치 및 방법 | |
| JP5944781B2 (ja) | 移動体認識システム、移動体認識プログラム、及び移動体認識方法 | |
| CN102855774B (zh) | 车辆周围监视装置 | |
| US20170297488A1 (en) | Surround view camera system for object detection and tracking | |
| JP5251800B2 (ja) | 対象物追跡装置及びプログラム | |
| US20170140229A1 (en) | External environment recognizing device for vehicle and vehicle behavior control device | |
| US8406472B2 (en) | Method and system for processing image data | |
| US20050232463A1 (en) | Method and apparatus for detecting a presence prior to collision | |
| JP2016081525A (ja) | 車両用画像認識システム、及び対応法 | |
| EP1641653A2 (en) | Method and apparatus for pedestrian detection | |
| WO2005086079A1 (en) | Method and apparatus for differentiating pedestrians, vehicles, and other objects | |
| CN105654031B (zh) | 用于物体检测的系统和方法 | |
| WO2017051480A1 (ja) | 画像処理装置及び画像処理方法 | |
| WO2017208601A1 (ja) | 画像処理装置、外界認識装置 | |
| CN113569812A (zh) | 未知障碍物的识别方法、装置和电子设备 | |
| KR20170138842A (ko) | 템플릿 매칭 기반의 차량 추적 시스템 및 방법 | |
| US20230245323A1 (en) | Object tracking device, object tracking method, and storage medium | |
| US11257375B2 (en) | Method and system for detecting objects in a vehicle blind spot | |
| JP2021148730A (ja) | 位置推定方法、位置推定装置、及び、プログラム | |
| JP2012256159A (ja) | 接近物検知装置および接近物検知方法 | |
| JP2011070580A (ja) | 運転支援装置 | |
| US9030560B2 (en) | Apparatus for monitoring surroundings of a vehicle | |
| JP6201809B2 (ja) | 周辺監視装置及び方法 | |
| JP4151631B2 (ja) | 物体検出装置 | |
| KR20180048519A (ko) | 템플릿 매칭 기반의 차량 추적 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170622 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180626 Year of fee payment: 5 |