KR102451091B1 - 차량용 이동체 정보 제공 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 - Google Patents
차량용 이동체 정보 제공 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 Download PDFInfo
- Publication number
- KR102451091B1 KR102451091B1 KR1020150097384A KR20150097384A KR102451091B1 KR 102451091 B1 KR102451091 B1 KR 102451091B1 KR 1020150097384 A KR1020150097384 A KR 1020150097384A KR 20150097384 A KR20150097384 A KR 20150097384A KR 102451091 B1 KR102451091 B1 KR 102451091B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- moving object
- vehicle
- detecting
- detected
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
Abstract
실시 예의 차량용 이동체 정보 제공 장치는 차량의 주변 영상을 획득하는 영상 획득부와, 차량의 주변 영상으로부터 적어도 하나의 이동체의 상체에 대한 제1 영상 또는 적어도 하나의 이동체의 하체에 대한 제2 영상 중 적어도 하나를 추출하는 영상 추출부 및 추출된 제1 영상 또는 제2 영상 중 적어도 하나를 이용하여 차량의 주변에 이동체가 존재하는가의 여부 또는 이동체의 위치 중 적어도 하나를 결정하는 이동체 정보 결정부를 포함하고, 영상 추출부는 이동체의 상체 전부에 대한 제1-1 영상 또는 이동체의 상체 중 일부에 대한 제1-2 영상 중 적어도 하나를 제1 영상으로서 추출하고, 이동체의 하체 전부에 대한 제2-1 영상 또는 이동체의 하체 일부에 대한 제2-2 영상 중 적어도 하나를 제2 영상으로서 추출한다.
Description
실시 예는 차량용 이동체 정보 제공 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체에 관한 것이다.
최근에 차량의 후진에 의해 차량 주변에 존재하는 사람 특히 어린이 등의 교통 사고가 빈번해지고 있다. 따라서, 이러한 교통 사고를 예방하기 위해 국가별로 차이는 있으나 차량의 후방에 카메라의 장착이 의무화되어 가고 있다. 왜냐하면 차량에 후방 카메라를 설치할 경우 교통 사고가 예를 들어 최대 25%까지 감소할 수 있기 때문이다. 특히, 차량의 후방에 후방 초음파 센서를 설치할 때보다 후방 카메라를 설치할 경우 차량 후방의 사각 지대가 감소할 수 있다. 2014년 미국 고속 도로 안전 보험 협회가 조사한 보고서에 의하면, 후방 초음파 센서의 경우 대략 6%의 운전자가 충돌을 피할 수 있는 반면, 후방 카메라의 경우 대략 44%의 운전자가 충돌을 피할 수 있다.
기존의 차량에 장착되는 후방 카메라의 경우, 차량의 주변에 위치한 사람의 다양한 자세, 신체의 국부적인 가려짐 또는 어안 렌즈의 왜곡으로 인해 차량의 주변에 위치한 사람의 존재 여부나 위치를 올바로 제공할 수 없는 문제점을 갖는다. 즉, 차량의 주변에 위치한 사람이 서 있는가, 앉아 있는가, 사람의 상체가 가려지는가 사람의 하체가 가려지는가 등 다양한 환경에 의해, 차량 주변에 위치한 사람에 대한 정보를 정확하게 검출하지 못할 수 있다.
전술한 바와 같이 차량 주변의 다양한 환경에 대응하기 위해 부분 기반 보행자 검출(part-based pedestrian detection) 방법이 채택되고 있으나, 이 방법에 의할 경우 사람을 검출하기 위한 연산량이 많은 문제점이 있다.
실시 예는 차량의 주변에 위치한 이동체에 대한 정보를 적은 연산량으로 정확하게 제공할 수 있는 차량용 이동체 정보 제공 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체를 제공한다.
일 실시 예에 의한 차량용 이동체 정보 제공 장치는, 차량의 주변 영상을 획득하는 영상 획득부; 상기 차량의 주변 영상으로부터 적어도 하나의 이동체의 상체에 대한 제1 영상 또는 상기 적어도 하나의 이동체의 하체에 대한 제2 영상 중 적어도 하나를 추출하는 영상 추출부; 및 상기 추출된 제1 영상 또는 제2 영상 중 적어도 하나를 이용하여 상기 차량의 주변에 상기 이동체가 존재하는가의 여부 또는 상기 이동체의 위치 중 적어도 하나를 결정하는 이동체 정보 결정부를 포함할 수 있다.
예를 들어, 상기 영상 추출부는 상기 이동체의 상체 전부에 대한 제1-1 영상; 또는 상기 이동체의 상체 중 일부에 대한 제1-2 영상 중 적어도 하나를 상기 제1 영상으로서 추출하고, 상기 이동체의 하체 전부에 대한 제2-1 영상; 또는 상기 이동체의 하체 일부에 대한 제2-2 영상 중 적어도 하나를 상기 제2 영상으로서 추출할 수 있다.
예를 들어, 상기 영상 추출부는 상기 획득된 주변 영상으로부터 상기 제1-1 영상을 검출하는 적어도 하나의 제1-1 영상 검출부; 및 상기 획득된 주변 영상으로부터 상기 제2-1 영상을 검출하는 적어도 하나의 제2-1 영상 검출부를 포함할 수 있다.
예를 들어, 상기 영상 추출부는 상기 제1-1 영상 검출부에서 검출된 상기 제1-1 영상을 검증하는 적어도 하나의 제1-1 영상 검증부; 또는 상기 제2-1 영상 검출부에서 검출된 상기 제2-1 영상을 검증하는 적어도 하나의 제2-1 영상 검증부 중 적어도 하나를 포함할 수 있다.
예를 들어,상기 영상 추출부는 상기 제1-1 영상 검출부에서 검출되거나 상기 제1-1 영상 검증부에서 검증된 상기 제1-1 영상으로부터 상기 제1-2 영상을 검출하는 적어도 하나의 제1-2 영상 검출부; 및 상기 제2-1 영상 검출부에서 검출되거나 상기 제2-1 영상 검증부에서 검증된 상기 제2-1 영상으로부터 상기 제2-2 영상을 검출하는 적어도 하나의 제2-2 영상 검출부를 더 포함할 수 있다.
예를 들어, 상기 영상 추출부는 상기 제1-2 영상 검출부에서 검출된 상기 제1-2 영상을 검증하는 적어도 하나의 제1-2 영상 검증부; 또는 상기 제2-2 영상 검출부에서 검출된 상기 제2-2 영상을 검증하는 적어도 하나의 제2-2 영상 검증부 중 적어도 하나를 포함할 수 있다.
예를 들어, 상기 영상 추출부는 상기 획득된 주변 영상으로부터 상기 차량을 기준으로 상기 이동체가 향한 방향 별로 상기 제1 또는 제2 영상 중 적어도 하나를 추출할 수 있다.
예를 들어, 상기 적어도 하나의 제1-1 영상 검출부는 상기 획득된 주변 영상으로부터 상기 이동체가 상기 차량을 향한 제1 방향에서의 상기 제1-1 영상을 검출하는 제1-1-1 영상 검출부; 및 상기 획득된 주변 영상으로부터 상기 제1 방향과 다른 제2 방향에서의 상기 제1-1 영상을 검출하는 제1-1-2 영상 검출부를 포함하고, 상기 적어도 하나의 제2-1 영상 검출부는 상기 획득된 주변 영상으로부터 상기 제1 방향에서의 상기 제2-1 영상을 검출하는 제2-1-1 영상 검출부; 및 상기 획득된 주변 영상으로부터 상기 제2 방향에서의 상기 제2-1 영상을 검출하는 제2-1-2 영상 검출부를 포함할 수 있다.
예를 들어, 상기 제1-1 영상 검출부는 상기 획득된 주변 영상으로부터 제1-1 영상을 검출하는 제1 공통 영상 검출부; 및 상기 제1 공통 영상 검출부에서 검출된 상기 제1-1 영상으로부터 상기 차량을 기준으로 상기 이동체가 향한 방향 별 상기 제1-1 영상을 분류해내는 제1 영상 분류부를 포함하고, 상기 제2-1 영상 검출부는 상기 획득된 주변 영상으로부터 제2-1 영상을 검출하는 제2 공통 영상 검출부; 및 상기 제2 공통 영상 검출부에서 검출된 상기 제2-1 영상으로부터 상기 차량을 기준으로 상기 이동체가 향한 방향 별 상기 제2-1 영상을 분류해내는 제2 영상 분류부를 포함할 수 있다.
예를 들어, 상기 적어도 하나의 제1-1 영상 검증부는 상기 제1-1-1 영상 검출부에서 검출되거나 상기 제1 영상 분류부에서 분류된 제1 방향에서의 상기 제1-1 영상을 검증하는 제1-1-1 영상 검증부; 또는 상기 제1-1-2 영상 검출부에서 검출되거나 상기 제1 영상 분류부에서 분류된 제2 방향에서의 상기 제1-1 영상을 검증하는 제1-1-2 영상 검증부 중 적어도 하나를 포함하고, 상기 적어도 하나의 제2-1 영상 검증부는 상기 제2-1-1 영상 검출부에서 검출되거나 상기 제2 영상 분류부에서 분류된 상기 제1 방향에서의 상기 제2-1 영상을 검증하는 제2-1-1 영상 검증부; 또는 상기 제2-1-2 영상 검출부에서 검출되거나 상기 제2 영상 분류부에서 분류된 상기 제2 방향에서의 상기 제2-1 영상을 검증하는 제2-1-2 영상 검증부 중 적어도 하나를 포함할 수 있다.
예를 들어, 상기 적어도 하나의 제1-2 영상 검출부는 상기 제1-1-1 영상 검출부에서 검출되거나 상기 제1 영상 분류부에서 분류되거나 상기 제1-1-1 영상 검증부에서 검증된 상기 제1-1 영상으로부터 상기 제1 방향에서의 상기 제1-2 영상을 검출하는 제1-2-1 영상 검출부; 및 상기 제1-1-2 영상 검출부에서 검출되거나 상기 제1 영상 분류부에서 분류되거나 상기 제1-1-2 영상 검증부에서 검증된 상기 제1-2 영상으로부터 상기 제2 방향에서의 상기 제1-2 영상을 검출하는 제1-2-2 영상 검출부를 포함하고, 상기 적어도 하나의 제2-2 영상 검출부는 상기 제2-1-1 영상 검출부에서 검출되거나 상기 제2 영상 분류부에서 분류되거나 상기 제2-1-1 영상 검증부에서 검증된 상기 제2-1 영상으로부터 상기 제1 방향에서의 상기 제2-2 영상을 검출하는 제2-2-1 영상 검출부; 및 상기 제2-1-2 영상 검출부에서 검출되거나 상기 제2 영상 분류부에서 분류되거나 상기 제2-1-2 영상 검증부에서 검증된 상기 제2-1 영상으로부터 상기 제2 방향에서의 상기 제2-2 영상을 검출하는 제2-2-2 영상 검출부를 더 포함할 수 있다.
예를 들어, 상기 적어도 하나의 제1-2 영상 검증부는 상기 제1-2-1 영상 검출부에서 검출된 상기 제1-2 영상을 검증하는 제1-2-1 영상 검증부; 또는 상기 제1-2-2 영상 검출부에서 검출된 상기 제1-2 영상을 검증하는 제1-2-2 영상 검증부 중 적어도 하나를 포함하고, 상기 적어도 하나의 제2-2 영상 검증부는 상기 제2-2-1 영상 검출부에서 검출된 상기 제2-2 영상을 검증하는 제2-2-1 영상 검증부; 또는 상기 제2-2-2 영상 검출부에서 검출된 상기 제2-2 영상을 검증하는 제2-2-2 영상 검증부 중 적어도 하나를 포함할 수 있다.
예를 들어, 상기 영상 추출부는 상기 획득된 주변 영상으로부터 상기 제1-2 영상을 검출하는 제1-2 영상 검출부; 및 상기 획득된 주변 영상으로부터 상기 제2-2 영상을 검출하는 제2-2 영상 검출부를 포함할 수 있다.
예를 들어, 상기 영상 추출부는 상기 제1-2 영상 검출부에서 검출된 상기 제1-2 영상을 검증하는 제1-2 영상 검증부; 또는 상기 제2-2 영상 검출부에서 검출된 상기 제2-2 영상을 검증하는 제2-2 영상 검증부 중 적어도 하나를 더 포함할 수 있다.
예를 들어, 상기 영상 추출부는 상기 제1-2 영상 검출부에서 검출되거나 상기 제1-2 영상 검증부에서 검증된 상기 제1-2 영상으로부터 상기 제1-1 영상을 결정하는 제1 영상 결정부; 및 상기 제2-2 영상 검출부에서 검출되거나 상기 제2-2 영상 검증부에서 검증된 상기 제2-2 영상으로부터 상기 제2-1 영상을 결정하는 제2 영상 결정부를 더 포함할 수 있다.
예를 들어, 상기 영상 추출부는 상기 제1 영상 결정부에서 결정된 상기 제1-1 영상을 검증하는 제1-1 영상 검증부; 및 상기 제2 영상 결정부에서 결정된 상기 제2-1 영상을 검증하는 제2-1 영상 검증부를 더 포함할 수 있다.
예를 들어, 상기 제1-1, 제1-2, 제2-1 또는 제2-2 영상 검증부는 상기 이동체의 위치, 크기 또는 패턴 중 적어도 하나를 이용하여 상기 제1-1, 제1-2, 제2-1 또는 제2-2 영상을 각각 검증할 수 있다.
예를 들어, 상기 제1-1, 제1-2, 제2-1 및 제2-2 영상 검증부 각각은 상기 이동체의 위치 및 크기를 이용하여 상기 제1-1, 제1-2, 제2-1 또는 제2-2 영상을 검증하는 제3 영상 검증부; 또는 상기 이동체의 패턴을 인식하고, 인식된 결과를 이용하여 상기 제1-1, 제1-2, 제2-1 또는 제2-2 영상을 검증하는 제4 영상 검증부 중 적어도 하나를 포함할 수 있다.
예를 들어, 상기 제1-1, 제1-2, 제2-1 및 제2-2 영상 검증부 각각은 상기 제3 및 제4 영상 검증부를 포함하고, 상기 제4 영상 검증부는 상기 제3 영상 검증부에서 검증된 상기 제1-1, 제1-2, 제2-1 또는 제2-2 영상을 각각 재 검증할 수 있다.
예를 들어, 상기 영상 추출부는 상기 획득된 주변 영상의 검출 영역으로부터 상기 제1 및 제2 영상을 각각 검출하고, 상기 검출 영역은 상기 차량으로부터 제1 거리만큼 이격된 지점까지에 속한 영역일 수 있다.
예를 들어, 상기 이동체 정보 결정부는 상기 제1 영상과 상기 제2 영상 중에서 먼저 추출된 영상을 이용하여 상기 이동체의 존재 여부 또는 상기 이동체의 위치 중 적어도 하나를 결정할 수 있다.
예를 들어, 상기 차량용 이동체 정보 제공 장치는, 상기 이동체 정보 결정부에서 결정된 결과에 응답하여 상기 이동체의 존재를 알리는 이동체 경보부를 더 포함하고, 상기 경보 영역은 상기 차량으로부터 제2 거리만큼 이격된 지점까지에 속한 영역일 수 있다.
예를 들어, 상기 이동체 정보 결정부는 상기 영상 추출부에서 추출된 상기 제1 또는 제2 영상 중 적어도 하나를 이용하여 상기 이동체의 위치를 추적하는 위치 추적부; 및 상기 추출된 제1 영상이나 상기 제2 영상, 또는 상기 추적된 위치 중 적어도 하나를 이용하여 상기 이동체의 존재 여부 또는 상기 이동체의 위치 중 적어도 하나를 결정하는 정보 생성부를 포함할 수 있다.
다른 실시 예에 의한 차량용 이동체 정보 제공 방법은, 차량의 주변 영상을 획득하는 (a) 단계; 상기 획득된 주변 영상으로부터 적어도 하나의 이동체의 상체에 대한 제1 영상 또는 상기 이동체의 하체에 대한 제2 영상 중 적어도 하나를 추출하는 (b) 단계; 및 상기 추출된 제1 또는 제2 영상 중 적어도 하나를 이용하여 상기 이동체의 존재 여부 또는 상기 이동체의 위치 중 적어도 하나를 결정하는 (c) 단계를 포함할 수 있다.
예를 들어, 상기 제1 영상은 상기 이동체의 상체 전부에 대한 제1-1 영상; 또는 상기 이동체의 상체 중 일부에 대한 제1-2 영상 중 적어도 하나를 포함하고, 상기 제2 영상은 상기 이동체의 하체 전부에 대한 제2-1 영상; 또는 상기 이동체의 하체 중 일부에 대한 제2-2 영상 중 적어도 하나를 포함할 수 있다.
예를 들어, 상기 (b) 단계는 상기 획득된 주변 영상이 상기 제1-1 영상을 포함할 경우, 상기 획득된 주변 영상으로부터 상기 제1-1 영상을 검출하는 단계; 상기 획득된 주변 영상이 상기 제2-1 영상을 포함할 경우, 상기 획득된 주변 영상으로부터 상기 제2-1 영상을 검출하는 단계; 상기 검출된 제1-1 또는 제2-1 영상을 검증하는 단계; 상기 검증된 또는 검출된 제1-1 또는 제2-1 영상으로부터 상기 제1-2 또는 제2-2 영상을 각각 검출하는 단계; 및 상기 검출된 제1-2 또는 제2-2 영상을 검증하는 단계를 포함할 수 있다.
예를 들어, 상기 제1-1 영상을 검출하는 단계는 상기 획득된 주변 영상에 포함된 상기 제1-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 제1 방향을 향할 경우, 상기 획득된 주변 영상으로부터 상기 제1 방향의 제1-1 영상을 검출하는 단계; 및 상기 획득된 주변 영상에 포함된 상기 제2-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 상기 제1 방향과 다른 제2 방향을 향할 경우, 상기 획득된 주변 영상으로부터 상기 제2 방향의 제1-1 영상을 검출하는 단계를 포함하고, 상기 제2-1 영상을 검출하는 단계는 상기 획득된 주변 영상에 포함된 상기 제2-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 상기 제1 방향을 향할 경우, 상기 획득된 주변 영상으로부터 상기 제1 방향의 제2-1 영상을 검출하는 단계; 및 상기 획득된 주변 영상에 포함된 상기 제2-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 상기 제2 방향을 향할 경우, 상기 획득된 주변 영상으로부터 상기 제2 방향의 제2-1 영상을 검출하는 단계를 포함할 수 있다.
예를 들어, 상기 제1-1 또는 제2-1 영상을 검출하는 단계는 상기 획득된 주변 영상에 상기 제1-1 영상이 포함된 경우, 상기 획득된 주변 영상으로부터 상기 제1-1 영상을 검출하는 단계; 상기 검출된 제1-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 제1 방향을 향할 경우, 상기 검출된 제1-1 영상으로부터 상기 제1 방향의 제1-1 영상을 분류해내는 단계; 상기 검출된 제1-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 상기 제1 방향과 다른 제2 방향을 향할 경우, 상기 검출된 제1-1 영상으로부터 상기 제1 방향과 다른 제2 방향의 제1-1 영상을 분류해내는 단계; 상기 획득된 주변 영상에 상기 제2-1 영상이 포함된 경우, 상기 획득된 주변 영상으로부터 상기 제2-1 영상을 검출하는 단계; 상기 검출된 제2-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 상기 제1 방향을 향할 경우, 상기 검출된 제2-1 영상으로부터 상기 제1 방향의 제2-1 영상을 분류해내는 단계; 및 상기 검출된 제2-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 상기 제1 방향과 다른 제2 방향을 향할 경우, 상기 검출된 제2-1 영상으로부터 상기 제2 방향의 제1-1 영상을 분류해내는 단계를 포함할 수 있다.
예를 들어, 상기 (b) 단계는 상기 획득된 주변 영상이 제1-2 영상을 포함할 경우, 상기 획득된 주변 영상으로부터 상기 제1-2 영상을 검출하는 단계; 상기 획득된 주변 영상이 제2-2 영상을 포함할 경우, 상기 획득된 주변 영상으로부터 상기 제2-2 영상을 검출하는 단계; 상기 검출된 제1-2 또는 제2-2 영상을 검증하는 단계; 상기 검증된 제1-2 또는 제2-2 영상으로부터 상기 제1-1 또는 제2-1 영상을 각각 결정하는 단계; 및 상기 결정된 제1-1 또는 제2-1 영상을 검증하는 단계를 포함할 수 있다.
예를 들어, 상기 차량용 이동체 정보 제공 방법은, 상기 이동체의 존재 또는 상기 이동체의 위치 중 적어도 하나를 알리는 단계를 더 포함할 수 있다.
예를 들어, 상기 (c) 단계는 상기 추출된 제1 또는 제2 영상 중 적어도 하나를 이용하여 상기 이동체의 위치를 추적하는 단계를 포함할 수 있다.
예를 들어, 상기 획득된 주변 영상이 상기 제1 영상과 상기 제2 영상을 모두 포함할 경우, 상기 제2 영상만을 추출할 수 있다.
또 다른 실시 예에 의하면, 차량용 이동체 정보 제공 장치에서 수행되는 차량용 이동체 정보 제공 방법을 실행하기 위한 프로그램을 기록한 기록 매체는, 차량의 주변 영상을 획득하는 (a) 기능; 상기 획득된 주변 영상으로부터 적어도 하나의 이동체의 상체에 대한 제1 영상 또는 상기 이동체의 하체에 대한 제2 영상 중 적어도 하나를 추출하는 (b) 기능; 및 상기 추출된 제1 또는 제2 영상 중 적어도 하나를 이용하여 상기 이동체의 존재 여부 또는 상기 이동체의 위치 중 적어도 하나를 결정하는 (c) 기능을 구현하는 프로그램을 기록한 컴퓨터로 읽을 수 있다.
예를 들어, 상기 컴퓨터로 읽을 수 있는 기록 매체는, 상기 제1 영상은 상기 이동체의 상체 전부에 대한 제1-1 영상; 또는 상기 이동체의 상체 중 일부에 대한 제1-2 영상 중 적어도 하나를 포함하고, 상기 제2 영상은 상기 이동체의 하체 전부에 대한 제2-1 영상; 또는 상기 이동체의 하체 중 일부에 대한 제2-2 영상 중 적어도 하나를 포함하는 프로그램을 기록할 수 있다.
예를 들어, 컴퓨터로 읽을 수 있는 기록 매체에 기록되는 프로그램에 의해 구현되는 상기 (b) 기능은 상기 획득된 주변 영상이 상기 제1-1 영상을 포함할 경우, 상기 획득된 주변 영상으로부터 상기 제1-1 영상을 검출하는 기능; 상기 획득된 주변 영상이 상기 제2-1 영상을 포함할 경우, 상기 획득된 주변 영상으로부터 상기 제2-1 영상을 검출하는 기능; 상기 검출된 제1-1 또는 제2-1 영상을 검증하는 기능; 상기 검증된 제1-1 또는 제2-1 영상으로부터 상기 제1-2 또는 제2-2 영상을 각각 검출하는 기능; 및 상기 검출된 제1-2 또는 제2-2 영상을 검증하는 기능을 포함할 수 있다.
예를 들어, 컴퓨터로 읽을 수 있는 기록 매체에 기록되는 프로그램에 의해 구현되는 상기 제1-1 영상을 검출하는 기능은 상기 획득된 주변 영상에 포함된 상기 제1-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 제1 방향을 향할 경우, 상기 획득된 주변 영상으로부터 상기 제1 방향의 제1-1 영상을 검출하는 기능; 및 상기 획득된 주변 영상에 포함된 상기 제2-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 상기 제1 방향과 다른 제2 방향을 향할 경우, 상기 획득된 주변 영상으로부터 상기 제2 방향의 제1-1 영상을 검출하는 기능을 포함하고, 상기 제2-1 영상을 검출하는 기능은 상기 획득된 주변 영상에 포함된 상기 제2-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 상기 제1 방향을 향할 경우, 상기 획득된 주변 영상으로부터 상기 제1 방향의 제2-1 영상을 검출하는 기능; 및 상기 획득된 주변 영상에 포함된 상기 제2-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 상기 제2 방향을 향할 경우, 상기 획득된 주변 영상으로부터 상기 제2 방향의 제2-1 영상을 검출하는 기능을 포함할 수 있다.
예를 들어, 컴퓨터로 읽을 수 있는 기록 매체에 기록되는 프로그램에 의해 구현되는 상기 제1-1 또는 제2-1 영상을 검출하는 기능은 상기 획득된 주변 영상에 상기 제1-1 영상이 포함된 경우, 상기 획득된 주변 영상으로부터 상기 제1-1 영상을 검출하는 기능; 상기 검출된 제1-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 제1 방향을 향할 경우, 상기 검출된 제1-1 영상으로부터 상기 제1 방향의 제1-1 영상을 분류해내는 기능; 상기 검출된 제1-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 상기 제2 방향을 향할 경우, 상기 검출된 제1-1 영상으로부터 상기 제2 방향의 제1-1 영상을 분류해내는 기능; 상기 획득된 주변 영상에 상기 제2-1 영상이 포함된 경우, 상기 획득된 주변 영상으로부터 상기 제2-1 영상을 검출하는 기능; 상기 검출된 제2-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 상기 제1 방향을 향할 경우, 상기 검출된 제2-1 영상으로부터 상기 제1 방향의 제2-1 영상을 분류해내는 기능; 및 상기 검출된 제2-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 상기 제2 방향을 향할 경우, 상기 검출된 제2-1 영상으로부터 상기 제2 방향의 제2-1 영상을 분류해내는 기능을 포함할 수 있다.,
실시 예에 따른 차량용 이동체 정보 제공 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체는 차량의 주변에 이동체가 다양한 자세로 위치하거나, 이동체의 일부가 가려지거나, 어안 렌즈의 왜곡이 야기된 상황에서도 적은 연산량으로 이동체에 대한 정보를 정확하게 결정하여 제공할 수 있다.
도 1은 실시 예에 의한 차량용 이동체 정보 제공 장치의 블럭도이다.
도 2는 도 1에 도시된 차량용 이동체 정보 제공 장치에서 수행되는 차량용 이동체 정보 제공 방법을 설명하기 위한 플로우차트를 나타낸다.
도 3a 및 도 3b는 실시 예에 의한 차량용 이동체 정보 제공 장치 및 방법을 설명하기 위한 다양한 주변 영상의 일 모습을 나타낸다.
도 4a 및 도 4b는 실시 예에 의한 차량용 이동체 정보 제공 장치 및 방법을 설명하기 위한 다양한 주변 영상의 다른 모습을 나타낸다.
도 5a 및 도 5b는 실시 예에 의한 차량용 이동체 정보 제공 장치 및 방법을 설명하기 위한 다양한 주변 영상의 또 다른 모습을 나타낸다.
도 6은 도 1에 도시된 영상 추출부의 일 실시 예의 블럭도이다.
도 7은 도 2에 도시된 제220 단계의 일 실시 예를 설명하기 위한 플로우차트이다.
도 8은 도 1에 도시된 영상 추출부의 다른 실시 예의 블럭도이다.
도 9는 도 2에 도시된 제220 단계의 다른 실시 예를 설명하기 위한 플로우차트이다.
도 10은 도 1에 도시된 영상 추출부의 또 다른 실시 예의 블럭도이다.
도 11은 도 2에 도시된 제220 단계의 또 다른 실시 예를 설명하기 위한 플로우차트이다.
도 12는 도 1에 도시된 영상 추출부의 또 다른 실시 예의 블럭도이다.
도 13은 도 2에 도시된 제220 단계의 또 다른 실시 예를 설명하기 위한 플로우차트이다.
도 14는 검출된 영상의 검증을 설명하기 위한 주변 영상을 예시적으로 나타낸다.
도 15는 도 6, 도 8, 도 10 및 도 12에 도시된 각 영상 검증부의 실시 예에 의한 블럭도이다.
도 16은 검출 영역과 경보 영역을 설명하기 위한 예시적인 주변 영상을 나타낸다.
도 17은 도 1에 도시된 이동체 정보 결정부의 실시 예에 의한 블럭도이다.
도 2는 도 1에 도시된 차량용 이동체 정보 제공 장치에서 수행되는 차량용 이동체 정보 제공 방법을 설명하기 위한 플로우차트를 나타낸다.
도 3a 및 도 3b는 실시 예에 의한 차량용 이동체 정보 제공 장치 및 방법을 설명하기 위한 다양한 주변 영상의 일 모습을 나타낸다.
도 4a 및 도 4b는 실시 예에 의한 차량용 이동체 정보 제공 장치 및 방법을 설명하기 위한 다양한 주변 영상의 다른 모습을 나타낸다.
도 5a 및 도 5b는 실시 예에 의한 차량용 이동체 정보 제공 장치 및 방법을 설명하기 위한 다양한 주변 영상의 또 다른 모습을 나타낸다.
도 6은 도 1에 도시된 영상 추출부의 일 실시 예의 블럭도이다.
도 7은 도 2에 도시된 제220 단계의 일 실시 예를 설명하기 위한 플로우차트이다.
도 8은 도 1에 도시된 영상 추출부의 다른 실시 예의 블럭도이다.
도 9는 도 2에 도시된 제220 단계의 다른 실시 예를 설명하기 위한 플로우차트이다.
도 10은 도 1에 도시된 영상 추출부의 또 다른 실시 예의 블럭도이다.
도 11은 도 2에 도시된 제220 단계의 또 다른 실시 예를 설명하기 위한 플로우차트이다.
도 12는 도 1에 도시된 영상 추출부의 또 다른 실시 예의 블럭도이다.
도 13은 도 2에 도시된 제220 단계의 또 다른 실시 예를 설명하기 위한 플로우차트이다.
도 14는 검출된 영상의 검증을 설명하기 위한 주변 영상을 예시적으로 나타낸다.
도 15는 도 6, 도 8, 도 10 및 도 12에 도시된 각 영상 검증부의 실시 예에 의한 블럭도이다.
도 16은 검출 영역과 경보 영역을 설명하기 위한 예시적인 주변 영상을 나타낸다.
도 17은 도 1에 도시된 이동체 정보 결정부의 실시 예에 의한 블럭도이다.
이하, 본 발명을 구체적으로 설명하기 위해 실시 예를 들어 설명하고, 발명에 대한 이해를 돕기 위해 첨부도면을 참조하여 상세하게 설명하기로 한다. 그러나, 본 발명에 따른 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상술하는 실시 예들에 한정되는 것으로 해석되지 않아야 한다. 본 발명의 실시 예들은 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다.
또한, 이하에서 이용되는 "제1" 및 "제2," "상/상부/위" 및 "하/하부/아래" 등과 같은 관계적 용어들은, 그런 실체 또는 요소들 간의 어떠한 물리적 또는 논리적 관계 또는 순서를 반드시 요구하거나 내포하지는 않으면서, 어느 한 실체 또는 요소를 다른 실체 또는 요소와 구별하기 위해서만 이용될 수도 있다.
도 1은 실시 예에 의한 차량용 이동체 정보 제공 장치(100)의 블럭도로서, 영상 획득부(110), 영상 추출부(120), 이동체 정보 결정부(130) 및 이동체 경보부(140)를 포함할 수 있다.
도 2는 도 1에 도시된 차량용 이동체 정보 제공 장치(100)에서 수행되는 차량용 이동체 정보 제공 방법(200)을 설명하기 위한 플로우차트를 나타낸다.
이하, 도 2에 도시된 차량용 이동체 정보 제공 방법(200)은 도 1에 도시된 장치(100)에서 수행되는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 도 2에 도시된 차량용 이동체 정보 제공 방법(200)은 다른 장치에서도 수행될 수 있음은 물론이다. 또한, 도 1에 도시된 차량용 이동체 정보 제공 장치(100)는 도 2에 도시된 바와 같은 순서로 동작하는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 다른 실시 예에 의하면 도 1에 도시된 차량용 이동체 정보 제공 장치(100)는 도 2에 도시된 방법(200)과 다른 순서로 동작할 수 있음은 물론이다.
도 1 및 도 2를 참조하면, 실시 예에 의한 차량용 이동체 정보 제공 장치(100)의 영상 획득부(110)는 차량의 주변 영상을 획득하고, 획득된 영상을 영상 추출부(120)로 출력한다(제210 단계). 이때, 획득된 주변 영상은 차량의 전방, 후방 또는 측방 중 적어도 한쪽 방향의 영상에 해당할 수 있다. 이를 위해, 예를 들어 영상 획득부(110)는 차량에 장착될 수 있는 소형 카메라의 형태로 구현될 수 있다.
도 3a 내지 도 5b는 실시 예에 의한 차량용 이동체 정보 제공 장치(100) 및 방법(200)을 설명하기 위한 다양한 주변 영상의 모습을 나타낸다.
제210 단계 후에, 영상 추출부(120)는 차량의 주변 영상으로부터 제1 영상또는 제2 영상 중 적어도 하나를 추출할 수 있다(제220 단계).
여기서, '제1 영상'이란 적어도 하나의 이동체의 상체에 대한 영상을 의미하고, '제2 영상'이란 적어도 하나의 이동체의 하체에 대한 영상을 의미한다. 예를 들어, 제1 영상은 도 4a와 도 4b에 도시된 바와 같이 쪼그려 앉은 이동체(MB)의 상체(I11)에 대한 영상을 의미하고, 제2 영상은 도 3a, 도 3b, 도 5a 및 도 5b에 도시된 바와 같이 서 있는 이동체(MB)의 하체(I21)에 대한 영상을 의미할 수 있다.
또한, '이동체'란, 차량 주변에 위치하는 대상물로서, 차량 주변에서 움직이지 않고 정지해 있지만 이동할 수 있는 대상물 또는 차량 주변에서 이동하는 대상물을 모두 의미할 수 있다. 예를 들어, 이동체란, 차량 주변에 쪼그리고 앉은 사람, 차량 주변을 지나가는 보행자, 차량 주변에 서 있는 사람, 자건거를 탄 사람 등이 될 수 있으며, 실시 예는 이동체의 종류에 국한되지 않는다. 예컨대, 차량 운행의 안전을 위해 차량의 운전자 또는 탑승자가 알 필요가 있는 어떠한 대상물도 이동체에 해당할 수 있다.
또한, 주변 영상에 담긴 이동체의 수는 단수 개일 수도 있고 복수 개일 수도 있다.
또한, 제1 영상은 '제1-1 영상' 또는 '제1-2 영상' 중 적어도 하나를 포함할 수 있다. 여기서, '제1-1 영상'이란 이동체의 상체 전부에 대한 영상을 의미하고, '제1-2 영상'이란 이동체의 상체 중 일부에 대한 영상을 의미할 수 있다. 예를 들어, 이동체가 사람인 경우 제1-1 영상이란 사람의 신체 중 상체에 대한 영상을 의미하고, 제1-2 영상이란 사람의 신체에서 상체의 일부분에 대한 영상을 의미할 수 있다. 예를 들어, 도 4a 및 도 4b를 참조하면, 제1-1 영상(I11)은 사람(MB)의 상체에 대한 영상이고, 제1-2 영상(I12)은 사람의 상체의 일부분인 머리에 대한 영상을 의미할 수 있다. 영상 추출부(120)는 제1-1 영상 또는 제1-2 영상 중 적어도 하나를 제1 영상으로서 추출할 수 있다.
또한, 제2 영상은 '제2-1 영상' 또는 '제2-2 영상' 중 적어도 하나를 포함할 수 있다. 여기서, '제2-1 영상'이란 이동체의 하체 전부에 대한 영상을 의미하고, '제2-2 영상'이란 이동체의 하체 중 일부분에 대한 영상을 의미할 수 있다. 예를 들어, 이동체가 사람인 경우 제2-1 영상이란 사람의 신체 중 하체에 대한 영상을 의미하고, 제2-2 영상이란 사람의 신체에서 하체의 일부분에 대한 영상을 의미할 수 있다. 예를 들어, 도 3a, 도 3b, 도 5a, 도 5b를 참조하면, 제2-1 영상(I21)은 사람(MB)의 하체에 대한 영상이고, 제2-2 영상(I22-1, I22-2)은 사람의 하체의 일부분인 발에 대한 영상을 의미할 수 있다. 여기서, 제2-2 영상(I22-1, I22-2)은 2개인 것으로 도시되어 있지만, 제2-2 영상은 한 개일 수도 있고 2개보다 많은 수도 있다. 영상 추출부(120)는 제2-1 영상 또는 제2-2 영상 중 적어도 하나를 제2 영상으로서 추출할 수 있다.
영상 획득부(110)에서 획득된 주변 영상은 제1-1, 제1-2, 제2-1 또는 제2-2 영상 중 적어도 하나를 포함할 수 있다. 예를 들어, 주변 영상은 도 3a 및 도 3b에 도시된 바와 같이 제2-1 영상(I21) 및 제2-2 영상(I22-1, I22-2)만을 포함하고 제1-1 및 제1-2 영상을 포함하지 않을 수도 있고, 도 5a 및 도 5b에 도시된 바와 같이 제1-1 영상, 제1-2 영상, 제2-1 영상(I21) 및 제2-2 영상(I22-1, I22-2)을 모두 포함할 수도 있다.
이하, 도 1에 도시된 영상 추출부(120) 및 도 2에 도시된 제220 단계의 실시 예에 대해 첨부된 도면을 참조하여 다음과 같이 설명한다.
도 6은 도 1에 도시된 영상 추출부(120)의 일 실시 예(120A)의 블럭도로서, 제1-1 영상 검출부(122A), 제1-1 영상 검증부(124A), 제1-2 영상 검출부(126A), 제1-2 영상 검증부(128A), 제2-1 영상 검출부(122B), 제2-1 영상 검증부(124B), 제2-2 영상 검출부(126B) 및 제2-2 영상 검증부(128B)를 포함할 수 있다.
도 7은 도 2에 도시된 제220 단계의 일 실시 예(220A)를 설명하기 위한 플로우차트이다.
이하, 도 7에 도시된 제220A 단계는 도 6에 도시된 영상 추출부(120A)에서 수행되는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 도 7에 도시된 제220A 단계는 다른 구성을 갖는 영상 추출부(120)에서도 수행될 수 있음은 물론이다. 또한, 도 6에 도시된 영상 추출부(120A)는 도 7에 도시된 바와 같은 순서로 동작하는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 다른 실시 예에 의하면 도 6에 도시된 영상 추출부(120A)는 도 7에 도시된 방법과 다른 순서로 동작할 수 있음은 물론이다.
먼저, 영상 획득부(110)에서 획득된 주변 영상이 제2-1 영상을 포함하는가를 판단한다(제302 단계). 만일, 주변 영상이 제2-1 영상을 포함할 경우, 제2-1 영상 검출부(122B)는 입력단자 IN1을 통해 영상 획득부(110)로부터 받은 주변 영상으로부터 제2-1 영상을 검출할 수 있다(제314 단계).
제302 단계와 제314 단계는 제2-1 영상 검출부(122B)에서 수행될 수 있다. 왜냐하면, 주변 영상에 제2-1 영상이 포함되어 있을 경우 제2-1 영상 검출부(122B)에서 제2-1 영상을 검출할 수 있지만, 주변 영상에 제2-1 영상이 포함되어 있지 않을 경우 제2-1 영상 검출부(122B)에서 제2-1 영상을 검출할 수 없기 때문이다.
그러나, 주변 영상이 제2-1 영상을 포함하지 않을 경우, 주변 영상이 제1-1 영상을 포함하는가를 판단한다(제304 단계). 만일, 주변 영상이 제1-1 영상을 포함할 경우, 제1-1 영상 검출부(122A)는 입력단자 IN1을 통해 영상 획득부(110)로부터 받은 주변 영상으로부터 제1-1 영상을 검출한다(제306 단계).
제302 단계, 제304 단계 및 제306 단계는 제1-1 영상 검출부(122A)에서 수행될 수 있다. 왜냐하면, 주변 영상에 제1-1 영상이 포함되어 있을 경우 제1-1 영상 검출부(122A)에서 제1-1 영상을 검출할 수 있고, 주변 영상에 제1-1 영상이 포함되어 있지 않을 경우 제1-1 영상 검출부(122A)에서 제1-1 영상을 검출할 수 없기 때문이다.
차량 주변의 상황에 따라, 주변 영상이 제1-1 영상과 제2-1 영상을 모두 포함할 경우, 즉, 차량 주변에 위치한 이동체의 상체와 하체가 모두 주변 영상에 담겨져 있을 경우, 실시 예에 의한 영상 추출부(120, 120A)는 상체에 관련된 제1 영상 또는 하체에 관련된 제2 영상 중 적어도 하나를 추출할 수 있다. 도 7에 도시된 실시 예(220A)는, 주변 영상에 제1 영상과 제2 영상이 모두 담겨져 있더라도, 제1 영상을 검출하지 않고 제2 영상만을 검출한다. 예를 들어, 도 5a 및 도 5b에 도시된 바와 같이, 주변 영상에 제1 영상과 제2 영상이 모두 담겨 있을 경우, 영상 추출부(120A)는 제2 영상(I21)만을 검출할 수 있다. 그러나, 실시 예는 이에 국한되지 않는다.
다른 실시 예에 의하면, 주변 영상에 제1 영상과 제2 영상이 모두 담겨져 있을 경우, 영상 추출부(120A)는 제2 영상을 검출하지 않고 제1 영상만을 검출할 수도 있다. 예를 들어, 도 4a 및 도 4b에 예시된 바와 같이 이동체(MB)가 쪼그려 앉아 있을 경우 하체가 가려지므로, 주변 영상에서 제1 영상(I11)만을 검출할 수도 있다.
또 다른 실시 예에 의하면, 주변 영상에 제1 영상과 제2 영상이 모두 담겨져 있을 경우, 영상 추출부(120A)는 제1 영상과 제2 영상을 모두 검출할 수도 있다.
한편, 제306 단계 후에, 제1-1 영상 검증부(124A)는 제1-1 영상 검출부(122A)에서 검출된 제1-1 영상을 검증하고, 검증된 결과를 제1-2 영상 검출부(126A)로 출력할 수 있다(제308 단계). 또한, 제314 단계 후에, 제2-1 영상 검증부(124B)는 제2-1 영상 검출부(122B)에서 검출된 제2-1 영상을 검증하고, 검증된 결과를 제2-2 영상 검출부(126B)로 출력할 수 있다(제316 단계).
또한, 제308 단계 후에, 제1-2 영상 검출부(126A)는 제1-1 영상 검증부(124A)에서 검증된 제1-1 영상으로부터 제1-2 영상을 검출한다(제310 단계). 또한, 제316 단계 후에, 제2-2 영상 검출부(126B)는 제2-1 영상 검증부(124B)에서 검증된 제2-1 영상으로부터 제2-2 영상을 검출한다(제318 단계).
경우에 따라, 도 6에 도시된 제1-1 영상 검증부(124A) 또는 제2-1 영상 검증부(124B) 중 적어도 하나 및 도 7에 도시된 제308 단계 또는 제316 단계 중 적어도 하나는 생략될 수도 있다. 만일, 제1-1 영상 검증부(124A)와 제308 단계가 생략될 경우, 제306 단계 후에, 제1-2 영상 검출부(126A)는 제1-1 영상 검출부(122A)에서 검출된 제1-1 영상으로부터 제1-2 영상을 검출한다(제310 단계). 또한, 제2-1 영상 검증부(124B)와 제316 단계가 생략될 경우, 제314 단계 후에, 제2-2 영상 검출부(126B)는 제2-1 영상 검출부(122B)에서 검출된 제2-1 영상으로부터 제2-2 영상을 검출한다(제318 단계).
제310 단계 후에, 제1-2 영상 검증부(128A)는 제1-2 영상 검출부(126A)에서 검출된 제1-2 영상을 검증하고, 검증된 결과를 출력단자 OUT11을 통해 이동체 정보 결정부(130)로 출력할 수 있다(제312 단계). 또한, 제318 단계 후에, 제2-2 영상 검증부(128B)는 제2-2 영상 검출부(126B)에서 검출된 제2-2 영상을 검증하고, 검증된 결과를 출력단자 OUT21을 통해 이동체 정보 결정부(130)로 출력한다(제320 단계).
다른 실시 예에 의하면, 도 6에 도시된 제1-2 영상 검증부(128A) 또는 제2-2 영상 검증부(128B) 중 적어도 하나는 생략될 수 있고, 도 7에 도시된 제312 단계 또는 제320 단계 중 적어도 하나는 생략될 수도 있다.
또 다른 실시 예에 의하면, 도 6에 도시된 제1-1 영상 검출부(122A), 제1-1 영상 검증부(124A), 제2-1 영상 검출부(122B) 및 제2-1 영상 검증부(124B)는 생략되고, 도 7에 도시된 제306, 제308, 제314 및 제316 단계는 생략될 수 있다. 이 경우, 제1-2 영상 검출부(126A)는 입력단자 IN1을 통해 제공된 주변 영상으로부터 제1-2 영상을 검출할 수 있고, 제2-2 영상 검출부(126B)는 입력단자 IN1을 통해 제공된 주변 영상으로부터 제2-2 영상을 검출할 수 있다. 제1-2 영상 검증부(128A)와 제2-2 영상 검증부(128B)의 동작은 전술한 바와 같다. 따라서, 영상 추출부(120A)로부터 이동체 정보 결정부(130)로 제1-1 영상과 제2-1 영상은 제공되지 않고, 제1-2 또는 제2-2 영상 중 적어도 하나가 제공된다.
또 다른 실시 예에 의하면, 도 6에 도시된 제1-2 영상 검출부(126A), 제1-2 영상 검증부(128A), 제2-2 영상 검출부(126B) 및 제2-2 영상 검증부(128B)는 생략되고, 도 7에 도시된 제310, 제312, 제318 및 제320 단계는 생략될 수 있다. 이 경우, 제1-1 영상 검증부(124A)에서 검증된 제1-1 영상은 출력단자 OUT11을 통해 이동체 정보 결정부(130)로 출력되고, 제2-1 영상 검증부(124B)에서 검증된 제2-1 영상은 출력단자 OUT21을 통해 이동체 정보 결정부(130)로 출력될 수 있다. 따라서, 영상 추출부(120A)로부터 이동체 정보 결정부(130)로 제1-2 영상과 제2-2 영상은 제공되지 않고, 제1-1 또는 제2-1 영상 중 적어도 하나가 제공된다.
제1-1 영상 검출부(122A), 제1-2 영상 검출부(122B), 제1-2 영상 검출부(126A) 및 제2-2 영상 검출부(126B)에서 각각 해당하는 영상을 검출하는 방법은 다양할 수 있다. 예를 들어, 이동체의 종류별로 제1-1, 제1-2, 제2-1 및 제2-2 영상 각각의 정형화된 패턴을 미리 만들어서 저장한 후, 저장된 패턴을 주변 영상의 패턴과 비교함으로서, 주변 영상으로부터 제1-1, 제1-2, 제2-1 또는 제2-2 영상을 검출할 수 있다.
일반적으로, 제1-2 영상의 패턴의 크기보다 제1-1 영상의 패턴의 크기가 더 크고, 제2-2 영상의 패턴의 크기보다 제2-1 영상의 패턴의 크기가 더 크다. 따라서, 주변 영상으로부터 제1-2 또는 제2-2 영상을 직접 검출할 경우, 제1-2 또는 제2-2 영상의 작은 크기의 패턴을 주변 영상의 패턴과 비교하여야 하므로, 연산량이 많아질 수 있다. 그러나, 도 6 및 도 7에 도시된 실시 예의 경우, 제1-2 또는 제2-2 영상의 패턴 대신에 제1-1 또는 제2-1 영상의 패턴을 주변 영상과 비교하여 제1-1 또는 제2-1 영상을 먼저 검출한 후, 제1-2 또는 제2-2 영상의 패턴을 주변 영상의 패턴보다 적은 크기의 패턴을 갖는 제1-1 또는 제2-1 영상의 패턴과 비교한다. 따라서, 제1-2 또는 제2-2 영상을 검출하기 위한 연산량이 감소할 수 있다.
도 8은 도 1에 도시된 영상 추출부(120)의 다른 실시 예(120B)의 블럭도로서, 제1-1-1 및 제1-1-2 영상 검출부(122A-1, 122A-2), 제1-1-1 및 제1-1-2 영상 검증부(124A-1, 124A-2), 제1-2-1 및 제1-2-2 영상 검출부(126A-1, 126A-2), 제1-2-1 및 제1-2-2 영상 검증부(128A-1, 128A-2), 제2-1-1 및 제2-1-2 영상 검출부(122B-1, 122B-2), 제2-1-1 및 제2-1-2 영상 검증부(124B-1, 124B-2), 제2-2-1 및 제2-2-2 영상 검출부(126B-1, 126B-2), 제2-2-1 및 제2-2-2 영상 검증부(128B-1, 128B-2)를 포함할 수 있다.
도 9는 도 2에 도시된 제220 단계의 다른 실시 예(220B)를 설명하기 위한 플로우차트이다.
이하, 도 9에 도시된 제220B 단계는 도 8에 도시된 영상 추출부(120B)에서 수행되는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 도 9에 도시된 제220B 단계는 다른 구성을 갖는 영상 추출부(120)에서도 수행될 수 있음은 물론이다. 또한, 도 8에 도시된 영상 추출부(120B)는 도 9에 도시된 바와 같은 순서로 동작하는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 다른 실시 예에 의하면 도 8에 도시된 영상 추출부(120B)는 도 9에 도시된 방법(220B)과 다른 순서로 동작할 수 있음은 물론이다.
도 8에 도시된 영상 추출부(120B)는 영상 획득부(110)에서 획득된 주변 영상을 입력단자 IN1을 통해 받고, 주변 영상으로부터 차량을 기준으로 이동체가 향한 방향별로 제1 또는 제2 영상 중 적어도 하나를 추출할 수 있다. 편의상, 이동체의 정면으로 차량을 향한 방향을 제1 방향이라 정의하고, 제1 방향과 다른 방향을 제2 방향이라 정의한다. 따라서, 이동체가 차량을 향하고 있을 경우 즉, 이동체가 제1 방향을 향할 경우 주변 영상은 이동체의 정면 영상을 포함한다. 또한, 이동체가 차량을 등지도록 향하거나 이동체의 측부가 차량을 향하고 있을 경우 즉, 이동체가 제2 방향을 향할 경우 주변 영상은 이동체의 측부 또는 후부 영상을 포함한다. 이와 같이, 영상 추출부(120B)는 이동체가 향한 방향별로 제1 영상 또는 제2 영상 중 적어도 하나를 추출할 수 있다.
먼저, 영상 획득부(110)에서 획득된 주변 영상이 제2-1 영상을 포함하는가를 판단한다(제402 단계). 만일, 주변 영상이 제2-1 영상을 포함할 경우, 이동체가 제1 방향을 향하는가를 판단한다(제408 단계). 만일, 이동체가 제1 방향을 향할 경우, 제2-1-1 영상 검출부(122B-1)는 입력단자 IN1을 통해 영상 획득부(110)로부터 받은 주변 영상으로부터 제1 방향에서의 제2-1 영상을 검출한다(제432 단계).
제402 단계, 제408 단계 및 제432 단계는 제2-1-1 영상 검출부(122B-1)에서 수행된다. 왜냐하면, 주변 영상에 제1 방향을 향하는 이동체의 하체 전부에 대한 제2-1 영상이 포함되어 있을 경우 제2-1-1 영상 검출부(122B-1)에서 제1 방향에서의 제2-1 영상을 검출할 수 있지만, 주변 영상에 제1 방향에서의 제2-1 영상이 포함되어 있지 않을 경우 제2-1-1 영상 검출부(122B-1)는 제1 방향에서의 제2-1 영상을 검출할 수 없기 때문이다.
그러나, 주변 영상이 제2-1 영상을 포함하되, 이동체가 제1 방향을 향하지 않고 제2 방향을 향할 경우, 제2-1-2 영상 검출부(122B-2)는 입력단자 IN1을 통해 영상 획득부(110)로부터 받은 주변 영상으로부터 제1 방향과 다른 제2 방향에서의 제2-1 영상을 검출한다(제442 단계).
제402 단계, 제408 단계 및 제442 단계는 제2-1-2 영상 검출부(122B-2)에서 수행된다. 왜냐하면, 주변 영상에 제2 방향을 향하는 이동체의 하체 전부에 대한 제2-1 영상이 포함되어 있을 경우 제2-1-2 영상 검출부(122B-2)에서 제2 방향에서의 제2-1 영상을 검출할 수 있지만, 주변 영상에 제2 방향에서의 제2-1 영상이 포함되어 있지 않을 경우 제2-1-2 영상 검출부(122B-2)는 제2 방향에서의 제2-1 영상을 검출할 수 없기 때문이다.
또한, 주변 영상이 제2-1 영상을 포함하지 않을 경우, 주변 영상이 제1-1 영상을 포함하는가를 판단한다(제404 단계). 만일, 주변 영상이 제1-1 영상을 포함할 경우, 이동체가 제1 방향을 향하는가를 판단한다(제406 단계). 만일, 이동체가 제1 방향을 향할 경우, 제1-1-1 영상 검출부(122A-1)는 입력단자 IN1을 통해 영상 획득부(110)로부터 받은 주변 영상으로부터 제1 방향에서의 제1-1 영상을 검출한다(제412 단계).
제402 단계, 제404 단계, 제406 단계 및 제412 단계는 제1-1-1 영상 검출부(122A-1)에서 수행된다. 왜냐하면, 주변 영상에 제1 방향을 향하는 이동체의 상체 전부에 대한 제1-1 영상이 포함되어 있을 경우 제1-1-1 영상 검출부(122A-1)에서 제1 방향에서의 제1-1 영상을 검출할 수 있지만, 주변 영상에 제1 방향에서의 제1-1 영상이 포함되어 있지 않을 경우 제1-1-1 영상 검출부(122A-1)는 제1 방향에서의 제1-1 영상을 검출할 수 없기 때문이다.
그러나, 주변 영상이 제1-1 영상을 포함하지만 이동체가 제1 방향과 다른 제2 방향을 향할 경우, 제1-1-2 영상 검출부(122A-2)는 입력단자 IN1을 통해 영상 획득부(110)로부터 받은 주변 영상으로부터 제2 방향에서의 제1-1 영상을 검출한다(제422 단계).
제402 단계, 제404 단계, 제406 단계 및 제422 단계는 제1-1-2 영상 검출부(122A-2)에서 수행된다. 왜냐하면, 주변 영상에 제2 방향을 향하는 이동체의 상체 전부에 대한 제1-1 영상이 포함되어 있을 경우 제1-1-2 영상 검출부(122A-2)에서 제2 방향에서의 제1-1 영상을 검출할 수 있지만, 주변 영상에 제2 방향에서의 제1-1 영상이 포함되어 있지 않을 경우, 제1-1-2 영상 검출부(122A-2)는 제2 방향에서의 제1-1 영상을 검출할 수 없기 때문이다.
도 9에 도시된 제220B 단계의 경우, 주변 영상에 제1 영상과 제2 영상이 모두 담겨져 있을 때, 제1 영상을 검출하지 않고 제2 영상만을 검출하는 것으로 도시되어 있지만 실시 예는 이에 국한되지 않는다. 즉, 다른 실시 예에 의하면, 주변 영상에 제1 영상과 제2 영상이 모두 담겨져 있을 경우 제2 영상을 검출하지 않고 제1 영상만을 검출할 수도 있다. 또 다른 실시 예에 의하면, 주변 영상에 제1 영상과 제2 영상이 모두 담겨져 있을 경우, 제1 영상과 제2 영상을 모두 검출할 수도 있다.
제412 단계 후에, 제1-1-1 영상 검증부(124A-1)는 제1-1-1 영상 검출부(122A-1)에서 검출된 제1 방향에서의 제1-1 영상을 검증하고, 검증된 결과를 제1-2-1 영상 검출부(126A-1)로 출력할 수 있다(제414 단계). 또한, 제432 단계 후에, 제2-1-1 영상 검증부(124B-1)는 제2-1-1 영상 검출부(122B-1)에서 검출된 제1 방향에서의 제2-1 영상을 검증하고, 검증된 결과를 제2-2-1 영상 검출부(126B-1)로 출력할 수 있다(제434 단계).
제422 단계 후에, 제1-1-2 영상 검증부(124A-2)는 제1-1-2 영상 검출부(122A-2)에서 검출된 제2 방향에서의 제1-1 영상을 검증하고, 검증된 결과를 제1-2-2 영상 검출부(126A-2)로 출력할 수 있다(제424 단계).
제442 단계 후에, 제2-1-2 영상 검증부(124B-2)는 제2-1-2 영상 검출부(122B-2)에서 검출된 제2 방향에서의 제2-1 영상을 검증하고, 검증된 결과를 제2-2-2 영상 검출부(126B-2)로 출력할 수 있다(제444 단계).
제414 단계 후에, 제1-2-1 영상 검출부(126A-1)는 제1-1-1 영상 검증부(124A-1)에서 검증된 제1 방향에서의 제1-1 영상으로부터 제1 방향에서의 제1-2 영상을 검출한다(제416 단계).
제424 단계 후에, 제1-2-2 영상 검출부(126A-2)는 제1-1-2 영상 검증부(124A-2)에서 검증된 제2 방향에서의 제1-1 영상으로부터 제2 방향에서의 제1-2 영상을 검출한다(제426 단계).
제434 단계 후에, 제2-2-1 영상 검출부(126B-1)는 제2-1-1 영상 검증부(124B-1)에서 검증된 제1 방향에서의 제2-1 영상으로부터 제1 방향에서의 제2-2 영상을 검출하고, 검출된 제1 방향에서의 제2-2 영상을 제2-2-1 영상 검증부(128B-1)로 출력할 수 있다(제436 단계).
제444 단계 후에, 제2-2-2 영상 검출부(126B-2)는 제2-1-2 영상 검증부(124B-2)에서 검증된 제2 방향에서의 제2-1 영상으로부터 제2 방향에서의 제2-2 영상을 검출하고, 검출된 영상을 제2-2-2 영상 검증부(128B-2)로 출력할 수 있다(제446 단계).
경우에 따라, 도 8에 도시된 제1-1-1, 제1-1-2, 제2-1-1 또는 제2-1-2 영상 검증부(124A-1, 124A-2, 124B-1, 124B-2) 중 적어도 하나는 생략될 수 있고, 도 9에 도시된 제414, 제424, 제434 또는 제444 단계 중 적어도 하나는 생략될 수도 있다.
만일, 제1-1-1 영상 검증부(124A-1)와 제414 단계가 생략될 경우, 제1-2-1 영상 검출부(126A-1)는 제1-1-1 영상 검출부(122A-1)에서 검출된 제1 방향에서의 제1-1 영상으로부터 제1 방향에서의 제1-2 영상을 검출하고, 검출된 제1 방향에서의 제1-2 영상을 제1-2-1 영상 검출부(128A-1)로 출력할 수 있다.
또한, 제1-1-2 영상 검증부(124A-2)와 제424 단계가 생략될 경우, 제1-2-2 영상 검출부(126A-2)는 제1-1-2 영상 검출부(122A-2)에서 검출된 제2 방향에서의 제1-1 영상으로부터 제2 방향에서의 제1-2 영상을 검출하고, 검출된 제2 방향에서의 제1-2 영상을 제1-2-2 영상 검출부(128A-2)로 출력할 수 있다.
또한, 제2-1-1 영상 검증부(124B-1)와 제434 단계가 생략될 경우, 제2-2-1 영상 검출부(126B-1)는 제2-1-1 영상 검출부(122B-1)에서 검출된 제1 방향에서의 제2-1 영상으로부터 제1 방향에서의 제2-2 영상을 검출하고, 검출된 제1 방향에서의 제2-2 영상을 제2-2-1 영상 검증부(128B-1)로 출력할 수 있다.
또한, 제2-1-2 영상 검증부(124B-2)와 제444 단계가 생략될 경우, 제2-2-2 영상 검출부(126B-2)는 제2-1-2 영상 검출부(122B-2)에서 검출된 제2 방향에서의 제2-1 영상으로부터 제2 방향에서의 제2-2 영상을 검출하고, 검출된 제2 방향에서의 제2-2 영상을 제2-2-2 영상 검증부(128B-2)로 출력할 수 있다.
또 다른 실시 예에 의하면, 도 8에 도시된 제1-1-1 영상 검출부(122A-1), 제1-1-1 영상 검증부(124A-1), 제1-1-2 영상 검출부(122A-2), 제1-1-2 영상 검증부(124A-2), 제2-1-1 영상 검출부(122B-1), 제2-1-1 영상 검증부(124B-1), 제2-1-2 영상 검출부(122B-2) 및 제2-1-2 영상 검증부(124B-2)는 생략될 수 있다. 즉, 도 9에 도시된 제412, 제414, 제422, 제424, 제432, 제434, 제442 및 제444 단계는 생략될 수 있다. 이 경우, 제1-2-1 영상 검출부(126A-1)는 입력단자 IN1을 통해 제공된 주변 영상으로부터 제1 방향에서의 제1-2 영상을 검출하고(제416 단계), 제1-2-2 영상 검출부(126A-2)는 입력단자 IN1을 통해 제공된 주변 영상으로부터 제2 방향에서의 제1-2 영상을 검출할 수 있다(제426 단계). 또한, 제2-2-1 영상 검출부(126B-1)는 입력단자 IN1을 통해 제공된 주변 영상으로부터 제1 방향에서의 제2-2 영상을 검출하고(제436 단계), 제2-2-2 영상 검출부(126B-2)는 입력단자 IN1을 통해 제공된 주변 영상으로부터 제2 방향에서의 제2-2 영상을 검출할 수 있다(제446 단계). 따라서, 영상 추출부(120B)로부터 이동체 정보 결정부(130)로 제1-1 영상과 제2-1 영상은 제공되지 않고, 제1 또는 제2 방향의 제1-2 또는 제2-2 영상 중 적어도 하나가 제공된다.
또 다른 실시 예에 의하면, 도 8에 도시된 제1-2-1 영상 검출부(126A-1), 제1-2-1 영상 검증부(128A-1), 제1-2-2 영상 검출부(126A-2), 제1-2-2 영상 검증부(128A-2), 제2-2-1 영상 검출부(126B-1), 제2-2-1 영상 검증부(128B-1), 제2-2-2 영상 검출부(126B-2) 및 제2-2-2 영상 검증부(128B-2)는 생략될 수 있다. 즉, 도 9에 도시된 제416, 제418, 제426, 제428, 제436, 제438, 제446 및 제448 단계는 생략될 수 있다. 이 경우, 제1-1-1 영상 검증부(124A-1)에서 검증된 제1 방향에서의 제1-1 영상은 출력단자 OUT111을 통해 이동체 정보 결정부(130)로 출력되고, 제1-1-2 영상 검증부(124A-2)에서 검증된 제2 방향에서의 제1-1 영상은 출력단자 OUT112를 통해 이동체 정보 결정부(130)로 출력될 수 있다. 또한, 제2-1-1 영상 검증부(124B-1)에서 검증된 제1 방향에서의 제2-1 영상은 출력단자 OUT211을 통해 이동체 정보 결정부(130)로 출력되고, 제2-1-2 영상 검증부(124B-2)에서 검증된 제2 방향에서의 제2-1 영상은 출력단자 OUT212를 통해 이동체 정보 결정부(130)로 출력될 수 있다. 따라서, 영상 추출부(120B)로부터 이동체 정보 결정부(130)로 제1-2 영상과 제2-2 영상은 제공되지 않고, 제1 또는 제2 방향의 제1-1 또는 제2-1 영상 중 적어도 하나가 제공된다.
한편, 제416 단계 후에 제1-2-1 영상 검증부(128A-1)는 제1-2-1 영상 검출부(126A-1)에서 검출된 제1 방향에서의 제1-2 영상을 검증하고, 검증된 결과를 출력단자 OUT111을 통해 이동체 정보 결정부(130)로 출력할 수 있다(제418 단계).
제426 단계 후에, 제1-2-2 영상 검증부(128A-2)는 제1-2-2 영상 검출부(126A-2)에서 검출된 제2 방향에서의 제1-2 영상을 검증하고, 검증된 결과를 출력단자 OUT112를 통해 이동체 정보 결정부(130)로 출력할 수 있다(제428 단계).
제436 단계 후에, 제2-2-1 영상 검증부(128B-1)는 제2-2-1 영상 검출부(126B-1)에서 검출된 제1 방향에서의 제2-2 영상을 검증하고, 검증된 결과를 출력단자 OUT211을 통해 이동체 정보 결정부(130)로 출력할 수 있다(제438 단계).
제446 단계 후에, 제2-2-2 영상 검증부(128B-2)는 제2-2-2 영상 검출부(126B-2)에서 검출된 제2 방향에서의 제2-2 영상을 검증하고, 검증된 결과를 출력단자 OUT212를 통해 이동체 정보 결정부(130)로 출력할 수 있다(제448 단계).
경우에 따라서, 제1-2-1, 제1-2-2, 제2-2-1 또는 제2-2-2 영상 검증부(128A-1, 128A-2, 128B-1, 128B-2) 중 적어도 하나는 생략될 수 있다.
도 10은 도 1에 도시된 영상 추출부(120)의 또 다른 실시 예(120C)의 블럭도로서, 제1 및 제2 공통 영상 검출부(121A, 121B), 제1 및 제2 영상 분류부(123A, 123B), 제1-1-1 및 제1-1-2 영상 검증부(124A-1, 124A-2), 제1-2-1 및 제1-2-2 영상 검출부(126A-1, 126A-2), 제1-2-1 및 제1-2-2 영상 검증부(128A-1, 128A-2), 제2-1-1 및 제2-1-2 영상 검증부(124B-1, 124B-2), 제2-2-1 및 제2-2-2 영상 검출부(126B-1, 126B-2), 제2-2-1 및 제2-2-2 영상 검증부(128B-1, 128B-2)를 포함할 수 있다.
도 11은 도 2에 도시된 제220 단계의 또 다른 실시 예(220C)를 설명하기 위한 플로우차트이다.
이하, 도 11에 도시된 제220C 단계는 도 10에 도시된 영상 추출부(120C)에서 수행되는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 도 11에 도시된 제220C 단계는 다른 구성을 갖는 영상 추출부(120)에서도 수행될 수 있음은 물론이다. 또한, 도 10에 도시된 영상 추출부(120C)는 도 11에 도시된 바와 같은 순서로 동작하는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 다른 실시 예에 의하면 도 10에 도시된 영상 추출부(120C)는 도 11에 도시된 방법(220C)과 다른 순서로 동작할 수 있음은 물론이다.
먼저, 영상 획득부(110)에서 획득된 주변 영상이 제2-1 영상을 포함하는가를 판단한다(제502 단계). 만일, 주변 영상이 제2-1 영상을 포함할 경우, 제2 공통 영상 검출부(121B)는 입력단자 IN1을 통해 영상 획득부(110)로부터 받은 주변 영상으로부터 제2-1 영상을 검출한다(제510 단계).
제502 단계 및 제510 단계는 제2 공통 영상 검출부(121B)에서 수행된다. 왜냐하면, 주변 영상에 이동체의 하체 전부에 대한 제2-1 영상이 포함되어 있을 경우 제2 공통 영상 검출부(121B)에서 제2-1 영상을 검출할 수 있지만, 주변 영상에 제2-1 영상이 포함되어 있지 않을 경우 제2 공통 영상 검출부(121B)는 제2-1 영상을 검출하지 않기 때문이다.
그러나, 주변 영상이 제2-1 영상을 포함하지 않을 경우, 주변 영상이 제1-1 영상을 포함하는가를 판단한다(제504 단계). 만일, 주변 영상이 제1-1 영상을 포함할 경우, 제1 공통 영상 검출부(121A)는 입력단자 IN1을 통해 영상 획득부(110)로부터 받은 주변 영상으로부터 제1-1 영상을 검출한다(제506 단계).
제502 단계, 제504 단계 및 제506 단계는 제1 공통 영상 검출부(121A)에서 수행된다. 왜냐하면, 주변 영상에 이동체의 상체 전부에 대한 제1-1 영상이 포함되어 있을 경우 제1 공통 영상 검출부(121A)에서 제1-1 영상을 검출할 수 있지만, 주변 영상에 제1-1 영상이 포함되어 있지 않을 경우 제1 공통 영상 검출부(121A)는 제1-1 영상을 검출하지 않기 때문이다.
도 11에 도시된 제220C 단계의 경우, 주변 영상에 제1 영상과 제2 영상이 모두 담겨져 있을 경우, 주변 영상으로부터 제1 영상을 검출하지 않고 제2 영상만을 검출하는 것으로 도시되어 있지만 실시 예는 이에 국한되지 않는다.
다른 실시 예에 의하면, 주변 영상에 제1 영상과 제2 영상이 모두 담겨져 있을 경우 제2 영상을 검출하지 않고 제1 영상만을 검출할 수도 있다.
또 다른 실시 예에 의하면, 주변 영상에 제1 영상과 제2 영상이 모두 담겨져 있을 경우, 제1 영상과 제2 영상을 모두 검출할 수도 있다.
제506 단계 후에, 이동체가 제1 방향을 향하는가를 판단한다(제508 단계). 만일, 이동체가 제1 방향을 향할 경우, 제1 영상 분류부(123A)는 제1 공통 영상 검출부(121A)에서 검출된 제1-1 영상으로부터 제1 방향에서의 제1-1 영상을 분류해내며, 분류된 제1 방향에서의 제1-1 영상을 제1-1-1 영상 검증부(124A-1)로 출력한다(제522 단계). 그러나, 이동체가 제2 방향을 향할 경우, 제1 영상 분류부(123A)는 제1 공통 영상 검출부(121A)에서 검출된 제1-1 영상으로부터 제2 방향에서의 제1-1 영상을 분류해내며, 분류된 제2 방향에서의 제1-1 영상을 제1-1-2 영상 검증부(124A-2)로 출력한다(제532 단계). 이와 같이, 제1 영상 분류부(123A)는 이동체가 향하는 방향별로 제1-1 영상을 분류해내는 역할을 한다.
여기서, 제1 및 제2 방향은 도 8 및 도 9에 도시된 실시 예에 의한 차량용 이동체 정보 제공 장치(120B) 및 방법(220B)에서 설명한 바와 같다.
제508 단계, 제522 단계 및 제532 단계는 제1 영상 분류부(123A)에서 수행된다. 왜냐하면, 제1-1 영상을 포함하는 주변 영상에 담긴 이동체가 제1 방향을 향하거나 제2 방향을 향할 경우, 제1 영상 분류부(123A)는 이들을 방향별로 분류할 수 있기 때문이다.
제1 영상 분류부(123A)는 전술한 동작을 수행하기 위해, 제1 방향 또는 제2 방향의 제1-1 영상의 정형화된 패턴을 미리 저장하고, 미리 저장한 패턴을 제1 공통 영상 검출부(121A)에서 검출된 제1-1 영상의 패턴과 비교하여, 해당하는 제1 또는 제2 방향의 제1-1 영상을 분류해낼 수 있다.
제510 단계 후에, 이동체가 제1 방향을 향하는가를 판단한다(제512 단계). 만일, 이동체가 제1 방향을 향할 경우, 제2 영상 분류부(123B)는 제2 공통 영상 검출부(121B)에서 검출된 제2-1 영상으로부터 제1 방향에서의 제2-1 영상을 분류해내며, 분류된 제1 방향에서의 제2-1 영상을 제2-1-1 영상 검증부(124B-1)로 출력한다(제542 단계). 그러나, 이동체가 제2 방향을 향할 경우, 제2 영상 분류부(123B)는 제2 공통 영상 검출부(121B)에서 검출된 제2-1 영상으로부터 제2 방향에서의 제2-1 영상을 분류해내며, 분류된 제2 방향에서의 제2-1 영상을 제2-1-2 영상 검증부(124B-2)로 출력한다(제552 단계). 이와 같이, 제2 영상 분류부(123B)는 이동체가 향하는 방향별로 제2-1 영상을 분류해내는 역할을 한다.
제512 단계, 제542 단계 및 제552 단계는 제2 영상 분류부(123B)에서 수행된다. 왜냐하면, 제2-1 영상을 포함하는 주변 영상에 담긴 이동체가 제1 방향을 향하거나 제2 방향을 향할 경우, 제2 영상 분류부(123B)는 이들을 방향별로 분류할 수 있기 때문이다.
제2 영상 분류부(123B)는 전술한 동작을 수행하기 위해, 제1 방향 또는 제2 방향의 제2-1 영상의 정형화된 패턴을 미리 저장하고, 미리 저장한 패턴을 제2 공통 영상 검출부(121B)에서 검출된 제2-1 영상의 패턴과 비교하여, 제1 또는 제2 방향에서의 제2-1 영상을 분류해낼 수 있다.
그 밖에, 도 10에 도시된 제1-1-1 및 제1-1-2 영상 검증부(124A-1, 124A-2), 제1-2-1 및 제1-2-2 영상 검출부(126A-1, 126A-2), 제1-2-1 및 제1-2-2 영상 검증부(128A-1, 128A-2), 제2-1-1 및 제2-1-2 영상 검증부(124B-1, 124B-2), 제2-2-1 및 제2-2-2 영상 검출부(126B-1, 126B-2), 제2-2-1 및 제2-2-2 영상 검증부(128B-1, 128B-2)는 도 8에 도시된 제1-1-1 영상 검증부(124A-1, 124A-2), 제1-2-1 및 제1-2-2 영상 검출부(126A-1, 126A-2), 제1-2-1 및 제1-2-2 영상 검증부(128A-1, 128A-2), 제2-1-1 및 제2-1-2 영상 검증부(124B-1, 124B-2), 제2-2-1 및 제2-2-2 영상 검출부(126B-1, 126B-2), 제2-2-1 및 제2-2-2 영상 검증부(128B-1, 128B-2)와 각각 동일하며, 동일한 기능을 수행하므로, 동일한 참조부호를 사용하였으며, 이들에 대한 중복되는 설명을 생략한다.
또한, 도 11에 도시된 제524, 제526, 제528, 제534, 제536, 제538, 제544, 제546, 제548, 제554, 제556 및 제558 단계는 도 9에 도시된 제414, 제416, 제418, 제424, 제426, 제428, 제434, 제436, 제438, 제444, 제446 및 제448 단계와 각각 동일하므로 이들에 대한 중복되는 상세한 설명을 생략한다.
즉, 제522 단계 후에, 제1-1-1 영상 검증부(122A-1)는 제1 영상 분류부(123A)에서 분류된 제1 방향에서의 제1-1 영상을 검증하고, 검증된 결과를 제1-2-1 영상 검출부(126A-1)로 출력할 수 있다(제524 단계). 또한, 제542 단계 후에, 제2-1-1 영상 검증부(124B-1)는 제2 영상 분류부(123B)에서 분류된 제1 방향에서의 제2-1 영상을 검증하고, 검증된 결과를 제2-2-1 영상 검출부(126B-1)로 출력할 수 있다(제544 단계).
또한, 제532 단계 후에, 제1-1-2 영상 검증부(124A-2)는 제1 영상 분류부(123A)에서 검출된 제2 방향에서의 제1-1 영상을 검증하고, 검증된 결과를 제1-2-2 영상 검출부(126A-2)로 출력할 수 있다(제534 단계). 제552 단계 후에, 제2-1-2 영상 검증부(124B-2)는 제2 영상 분류부(123B)에서 검출된 제2 방향에서의 제2-1 영상을 검증하고, 검증된 결과를 제2-2-2 영상 검출부(126B-2)로 출력할 수 있다(제554 단계).
도 8 및 도 9에 도시된 실시 예의 경우 제1 또는 제2 방향의 제1-1 영상이나 제1 또는 제2 방향의 제2-1 영상을 검출하기 위해, 제1 또는 제2 방향의 제1-1 영상이 갖는 제1 패턴 또는 제1 또는 제2 방향의 제2-1 영상이 갖는 제2 패턴을 주변 영상이 갖는 전체 패턴과 일일이 비교하므로, 연산량이 증가한다. 반면에, 도 10 및 도 11에 도시된 실시 예의 경우, 주변 영상으로부터 제1-1 또는 제2-1 영상을 먼저 검출한 후에, 제1 또는 제2 방향의 제1-1 영상이 갖는 제1 패턴 또는 제1 또는 제2 방향의 제2-1 영상이 갖는 제2 패턴을 주변 영상이 갖는 전체 패턴 대신에 검출된 제1-1 또는 제2-1 영상이 갖는 패턴과 비교하므로, 연산량이 감소할 수 있다. 또한, 연산량뿐만 아니라, 이동체 정보 결정부(130)로 제1 또는 제2 영상을 제공하기 위해 소요되는 시간적인 측면에서, 도 10 및 도 11에 도시된 실시 예는 도 8 및 도 9에 도시된 실시 예보다 유리할 수 있다.
또한, 전술한 도 8 내지 도 11에 도시된 실시 예에서 이동체가 향하는 방향의 종류가 제1 및 제2 방향으로서 2가지인 것으로 기술되어 있지만, 실시 예는 이에 국한되지 않는다. 즉, 이동체가 향하는 방향은 다양할 수 있다. 예를 들어, 전술한 바와 같이 이동체가 차량을 정면으로 향하는 제1 방향과 다른 제2 방향으로서, 이동체가 차량을 등지는 제2-1 방향, 이동체의 우측이 차량을 향하는 제2-2 방향과, 이동체의 좌측이 차량을 향하는 제2-3 방향 등이 있을 수 있다.
도 8 내지 도 11의 경우 이동체가 향하는 방향이 2가지(즉, 제1 및 제2 방향)이므로, 제1-1, 제1-2, 제2-1 및 제2-2 영상 각각을 검출하는 영상 검출부나 이들 각각을 검증하는 영상 검증부의 개수는 각각 2개인 것으로 도시되어 있다. 그러나, 이동체가 향하는 방향이 전술한 바와 같이 4가지(즉, 제1 방향, 제2-1 내지 제2-3 방향)일 경우, 제1-1, 제1-2, 제2-1 및 제2-2 영상 각각을 검출하는 영상 검출부나 이들 각각을 검증하는 영상 검증부의 개수는 각각 4개일 수 있다.
도 12는 도 1에 도시된 영상 추출부(120)의 또 다른 실시 예(120D)의 블럭도로서, 제1-2 및 제2-2 영상 검출부(126C, 126D), 제1-2 및 제2-2 영상 검증부(128C, 128D), 제1 및 제2 영상 결정부(122C, 122D), 제1-1 및 제2-1 영상 검증부(124C, 124D)를 포함할 수 있다.
도 13은 도 2에 도시된 제220 단계의 또 다른 실시 예(220D)를 설명하기 위한 플로우차트이다.
이하, 도 13에 도시된 제220D 단계는 도 12에 도시된 영상 추출부(120D)에서 수행되는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 도 13에 도시된 제220D 단계는 다른 구성을 갖는 영상 추출부(120)에서도 수행될 수 있음은 물론이다. 또한, 도 12에 도시된 영상 추출부(120D)는 도 13에 도시된 바와 같은 순서로 동작하는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 다른 실시 예에 의하면 도 12에 도시된 영상 추출부(120D)는 도 13에 도시된 방법(220D)과 다른 순서로 동작할 수 있음은 물론이다.
먼저, 영상 획득부(110)에서 획득된 주변 영상이 제2-2 영상을 포함하는가를 판단한다(제602 단계). 만일, 주변 영상이 제2-2 영상을 포함할 경우, 제2-2 영상 검출부(126D)는 입력단자 IN1을 통해 영상 획득부(110)로부터 받은 주변 영상으로부터 제2-2 영상을 검출한다(제614 단계).
제602 단계와 제614 단계는 제2-2 영상 검출부(126D)에서 수행된다. 왜냐하면, 주변 영상에 제2-2 영상이 포함되어 있을 경우 제2-2 영상 검출부(126D)에서 제2-2 영상을 검출할 수 있지만, 주변 영상에 제2-2 영상이 포함되어 있지 않을 경우 제2-2 영상 검출부(126D)에서 제2-2 영상을 검출하지 않기 때문이다.
그러나, 주변 영상이 제2-2 영상을 포함하지 않을 경우, 주변 영상이 제1-2 영상을 포함하는가를 판단한다(제604 단계). 만일, 주변 영상이 제1-2 영상을 포함할 경우, 제1-2 영상 검출부(126C)는 입력단자 IN1을 통해 영상 획득부(110)로부터 받은 주변 영상으로부터 제1-2 영상을 검출한다(제606 단계).
제602 단계, 제604 단계 및 제606 단계는 제1-2 영상 검출부(126C)에서 수행된다. 왜냐하면, 주변 영상에 제1-2 영상이 포함되어 있을 경우 제1-2 영상 검출부(126C)에서 제1-2 영상을 검출할 수 있고, 주변 영상에 제1-2 영상이 포함되어 있지 않을 경우 제1-2 영상 검출부(126C)에서 제1-2 영상을 검출하지 않기 때문이다.
차량 주변의 상황에 따라, 주변 영상은 제1-2 영상과 제2-2 영상을 모두 포함할 수 있다. 즉, 이동체의 하체의 일부 예를 들어 발에 대한 영상인 제2-2 영상과 상체의 일부 예를 들어 머리에 대한 영상인 제1-2 영상이 주변 영상에 모두 포함될 수 있다. 이와 같이 주변 영상에 제1 영상과 제2 영상이 모두 담겨져 있을 경우, 도 13에 도시된 제220D 단계에 의하면,제1-2 영상을 검출하지 않고 제2-2 영상만을 검출하는 것으로 도시되어 있지만 실시 예는 이에 국한되지 않는다.
다른 실시 예에 의하면, 주변 영상에 제1-2 영상과 제2-2 영상이 모두 담겨져 있을 경우 제2-2 영상을 검출하지 않고 제1-2 영상만을 검출할 수도 있다.
또 다른 실시 예에 의하면, 주변 영상에 제1-1 영상과 제2-2 영상이 모두 담겨져 있을 경우, 제1-2 영상과 제2-2 영상을 모두 검출할 수도 있다.
제606 단계 후에, 제1-2 영상 검증부(128C)는 제1-2 영상 검출부(126C)에서 검출된 제1-2 영상을 검증하고, 검증된 결과를 제1 영상 결정부(122C)로 출력할 수 있다(제608 단계).
제614 단계 후에, 제2-2 영상 검증부(128D)는 제2-2 영상 검출부(126D)에서 검출된 제2-2 영상을 검증하고, 검증된 결과를 제2 영상 결정부(122D)로 출력할 수 있다(제606 단계).
제608 단계 후에, 제1 영상 결정부(122C)는 제1-2 영상 검증부(128C)에서 검증된 제1-2 영상으로부터 제1-1 영상을 결정한다(제610 단계). 예를 들어, 도 4b에 예시된 바와 같이 제1-2 영상이 이동체의 상체에서 머리에 대한 영상일 경우, 이동체(MB)의 머리에 대한 제1-2 영상(I12)이 검증된 후, 제1 영상 결정부(122C)는 머리의 하단에 상체에 대한 제1-1 영상(I11)이 존재하는 것으로 결정할 수 있다. 여기서, 상체에 대한 제1-1 영상(I11)은 머리에 대한 제1-2 영상(I12)을 포함하는 것으로 예시하였지만, 실시 예는 이에 국한되지 않는다.
제616 단계 후에, 제2 영상 결정부(122D)는 제2-2 영상 검증부(128D)에서 검증된 제2-2 영상으로부터 제2-1 영상을 결정한다(제618 단계). 예를 들어, 도 3b 또는 도 5b에 예시된 바와 같이 제2-2 영상이 이동체의 발에 대한 영상일 경우, 이동체(MB)의 발에 대한 제2-2 영상(I22-1, I22-2)이 검증된 후, 발의 상단에 하체에 대한 제2-1 영상(I21)이 존재하는 것으로 결정할 수 있다. 여기서, 하체에 대한 제2-1 영상(I21)은 발에 대한 제2-2 영상(I22-1, I22-2)을 포함하는 것으로 예시하였지만, 실시 예는 이에 국한되지 않는다.
경우에 따라, 도 12에 도시된 제1-2 영상 검증부(128C) 또는 제2-2 영상 검증부(128D) 중 적어도 하나 및 도 13에 도시된 제608 단계 또는 제616 단계 중 적어도 하나는 생략될 수도 있다.
제1-2 영상 검증부(128C)와 제608 단계가 생략된 경우, 제606 단계 후에, 제1 영상 결정부(122C)는 제1-1 영상 검출부(126C)에서 검출된 제1-2 영상으로부터 제1-1 영상을 결정한다(제610 단계). 또한, 제2-2 영상 검증부(128D)와 제616 단계가 생략된 경우, 제614 단계 후에, 제2 영상 결정부(122D)는 제2-2 영상 검출부(126D)에서 검출된 제2-2 영상으로부터 제2-1 영상을 결정한다(제618 단계).
또 다른 실시 예에 의하면, 도 12에 도시된 제1 영상 결정부(122C), 제1-1 영상 검증부(124C), 제2 영상 결정부(122D) 및 제2-1 영상 검증부(124D)는 생략되고, 도 13에 도시된 제610, 제612, 제618 및 제620 단계는 생략될 수 있다. 이 경우, 제1-2 영상 검증부(128C)에서 검증된 제1-2 영상이 출력단자 OUT12를 통해 이동체 정보 결정부(130)로 출력되고, 제2-2 영상 검증부(128D)에서 검증된 제2-2 영상이 출력단자 OUT22를 통해 이동체 정보 결정부(130)로 출력될 수 있다. 따라서, 영상 추출부(120D)로부터 이동체 정보 결정부(130)로 제1-1 영상과 제2-1 영상은 제공되지 않고, 제1-2 또는 제2-2 영상 중 적어도 하나가 제공된다.
제610 단계 후에, 제1-1 영상 검증부(124C)는 제1 영상 결정부(122C)에서 결정된 제1-1 영상을 검증하고, 검증된 결과를 출력단자 OUT12를 통해 이동체 정보 결정부(130)로 출력할 수 있다(제612 단계). 또한, 제618 단계 후에, 제2-1 영상 검증부(124D)는 제2 영상 결정부(122D)에서 결정된 제2-1 영상을 검증하고, 검증된 결과를 출력단자 OUT22를 통해 이동체 정보 결정부(130)로 출력한다(제620 단계).
경우에 따라, 도 12에 도시된 제1-1 영상 검증부(124C) 또는 제2-1 영상 검증부(124D) 중 적어도 하나는 생략될 수 있고, 도 13에 도시된 제612 단계 또는 제620 단계 중 적어도 하나는 생략될 수도 있다.
전술한 제1-1 영상 검출부(122A), 제1-2 영상 검출부(126A, 126C), 제2-1 영상 검출부(122B), 제2-2 영상 검출부(126B, 126D), 제1-1-1 영상 검출부(122A-1), 제1-2-1 영상 검출부(126A-1), 제1-1-2 영상 검출부(122A-2), 제1-2-2 영상 검출부(126A-2), 제2-1-1 영상 검출부(122B-1), 제2-2-1 영상 검출부(126B-1), 제2-1-2 영상 검출부(122B-2), 제2-2-2 영상 검출부(126B-2), 제1 및 제2 공통 영상 검출부(121A, 121B), 제1 및 제2 영상 분류부(123A, 123B) 각각은 다양한 방법으로 제1-1, 제1-2, 제2-1 및 제2-2 영상 중 해당하는 영상을 검출 또는 분류할 수 있다. 예를 들어, 제1-1, 제1-2, 제2-1 및 제2-2 영상 각각은 이동체 검출 접근법(moving object detection approach), 외관 기반 접근법(appearance-based approach) 또는 컨투어 기반 접근법(contour-based approach) 등을 이용하여 검출될 수 있다. 여기서, 이동체 검출 접근법으로서 예를 들어 배경 감산(background subtraction), 시간차(temporal differencing), 광플로우(optical flow) 등이 있다. 또한, 외관 기반 접근법으로서 예를 들어 비올라 존스(Viola-Jones), HOG(Histrogram of Oriented Gradients)-SVM(Support Vector Machine), PCA(Principal Component Analysis), LDA(Linear Discriminant Analysis), ICA(Independent Component Analysis), NMF(Non-negative Matrix Factorization) 등이 있다. 여기서, 비올라 존스로서 예를 들어 Haarr/HOG/LBP 등이 있다. 또한, 컨투어 기반 접근법으로서 예를 들어 액티브 컨투어(active contour) 또는 챔퍼 매칭(chamfer matching) 등이 있다.
또한, 전술한 제1-1 영상 검증부(124A, 124C), 제2-1 영상 검증부(124B, 124D), 제1-2 영상 검증부(128A, 128C), 제2-2 영상 검증부(128B, 128D), 제1-1-1 영상 검증부(124A-1), 제1-1-2 영상 검증부(124A-2), 제2-1-1 영상 검증부(124B-1), 제2-1-2 영상 검증부(124B-2), 제1-2-1 영상 검증부(128A-1), 제1-2-2 영상 검증부(128A-2), 제2-2-1 영상 검증부(128B-1), 제2-2-2 영상 검증부(128B-2) 각각은 이동체의 위치, 크기 또는 패턴 중 적어도 하나를 이용하여 해당하는 영상을 검증할 수 있다.
도 14는 검출된 영상의 검증을 설명하기 위한 주변 영상(PI:Peripheral Image)을 예시적으로 나타낸다.
예를 들어, 도 14를 참조하면, 영상 획득부(110)에서 획득된 주변 영상(PI)은 차량의 주변을 걸어가고 있는 이동체(MB:Moving Body)의 모습을 담고 있다. 이때, 제2-2 영상 검출부(126B, 126D)에서 제2-2 영상(810, 812)이 검출되었다고 가정하자. 검출된 제2-2 영상(810, 812)에서 제2-2 영상(812)은 이동체(MB)의 하체에서 발에 해당하는 영상으로서 정확하게 검출되었지만, 다른 제2-2 영상(810)은 이동체(MB)가 아닌 소화전(830)에 해당하는 영상으로서 잘못 검출된 영상이다. 따라서, 제2-2 영상 검증부(128B, 128D)에서 제2-2 영상(810, 812)을 검증하여, 소화전(830)에 해당하는 제2-2 영상(810)을 걸러낸다. 이와 같이, 영상 검증부는 검출된 영상에서 이동체에 관련된 정확한 영상만을 추려내는 역할을 한다. 이러한 역할을 수행하기 위해, 영상 검증부는 이동체의 위치, 크기 또는 패턴 중 적어도 하나를 이용할 수 있다.
도 15는 도 6, 도 8, 도 10 및 도 12에 도시된 각 영상 검증부의 실시 예에 의한 블럭도로서, 제3 영상 검증부(702) 및 제4 영상 검증부(704)를 포함할 수 있다.
도 6, 도 8, 도 10 및 도 12에 도시된 제1-1 영상 검증부(124A, 124C), 제2-1 영상 검증부(124B, 124D), 제1-2 영상 검증부(128A, 128C), 제2-2 영상 검증부(128B, 128D), 제1-1-1 영상 검증부(124A-1), 제1-1-2 영상 검증부(124A-2), 제2-1-1 영상 검증부(124B-1), 제2-1-2 영상 검증부(124B-2), 제1-2-1 영상 검증부(128A-1), 제1-2-2 영상 검증부(128A-2), 제2-2-1 영상 검증부(128B-1), 제2-2-2 영상 검증부(128B-2) 각각은 도 15에 도시된 바와 같이 구현될 수 있다.
제3 영상 검증부(702)는 입력단자 IN2를 통해 제1-1, 제1-2, 제2-1 또는 제2-2 영상을 받고, 이동체의 위치 및 크기를 이용하여 제1-1, 제1-2, 제2-1 또는 제2-2 영상을 검증할 수 있다.
또한, 제4 영상 검증부(704)는 입력단자 IN2를 통해 제1-1, 제1-2, 제2-1 또는 제2-2 영상을 받아, 이동체의 패턴을 인식하고, 인식된 결과를 이용하여 제1-1, 제1-2, 제2-1 또는 제2-2 영상을 검증할 수 있다. 이를 위해, 제4 영상 검증부(704)는 다양한 특징 추출 방법과 분류기의 조합으로 구현될 수 있다. 예를 들어 특징 추출 방법으로서, HOG, LBP, SIFT(Scale Invariant Feature Descriptor), 개버 필터(Gabor filter), PCA, ICA, NMF 등이 있다. 분류기로서 SVM, 결정 트리(decision trees), 랜덤 포리스트(random forest) 또는 뉴럴 네트워크(neural networks) 등이 있다.
또한, 영상을 검출하기 위해 사용되는 전술한 접근법과 다른 방법을 이용하여, 영상을 검증할 수 있다. 이는, 검증의 정확도를 높이기 위함이다. 예를 들어, 영상을 검출하기 위해 PCA를 이용한 경우, 검출된 영상을 검증하기 위해 PCA가 아닌 다른 방법 예를 들어 NMF를 이용할 경우, 높은 정확도로 영상이 검증될 수 있다.
도 15에 예시된 바와 같이, 제1-1, 제1-2, 제2-1 또는 제2-2 영상 검증부(124A, 124B, 124C, 124D, 124A-1, 124A-2, 124B-1, 124B-2, 128A, 128B, 128C, 128D, 128A-1, 128A-2, 128B-1, 128B-2)는 제3 및 제4 영상 검증부(702, 704)를 포함할 수 있다. 이때, 제4 영상 검증부(704)는 제3 영상 검증부(702)에서 검증된 제1-1, 제1-2, 제2-1 또는 제2-2 영상을 각각 재 검증할 수도 있다.
다른 실시 예에 의하면, 제3 영상 검증부(702)는 제4 영상 검증부(704)에서 검증된 제1-1, 제1-2, 제2-1 또는 제2-2 영상을 재 검증할 수도 있다.
또 다른 실시 예에 의하면, 제1-1, 제1-2, 제2-1 또는 제2-2 영상 검증부(124A, 124B, 124C, 124D, 124A-1, 124A-2, 124B-1, 124B-2, 128A, 128B, 128C, 128D, 128A-1, 128A-2, 128B-1, 128B-2)는 제3 영상 검증부(702) 및 제4 영상 검증부(704) 중에서 하나만을 포함할 수도 있다.
도 16은 검출 영역(A1)과 경보 영역(A2)을 설명하기 위한 예시적인 주변 영상(PI)을 나타낸다.
실시 예에 의한 전술한 영상 추출부(120, 120A, 120B, 120C, 120D)에서 영상 검출부(122A, 122B, 122A-1, 122A-2, 122B-1, 122B-2, 126A, 126A-1, 126A-2, 126B, 126B-1, 126B-2, 126C, 126D)는 획득된 주변 영상(PI)의 검출 영역으로부터 제1 또는 제2 영상 중 적어도 하나를 검출할 수 있다. 예를 들어, 도 16을 참조하면, 검출 영역(A1)은 차량으로부터 제1 거리만큼 이격된 지점까지에 속한 영역일 수 있다. 예를 들어, 제1 거리는 5 meter일 수 있으나, 실시 예는 이에 국한되지 않는다. 따라서, 검출 영역(A1) 바깥의 비검출 영역에서의 이동체에 대해서는 제1 및 제2 영상을 검출하지 않을 수 있다.
한편, 다시 도 1과 도 2를 참조하면, 제220 단계 후에, 이동체 정보 결정부(130)는 영상 추출부(120)에서 추출된 제1 영상 또는 제2 영상 중 적어도 하나를 이용하여 이동체 정보를 결정(또는, 생성)한다(제230 단계). 여기서, '이동체 정보'란 이동체에 대한 정보로서 차량의 운전자나 탑승자가 이러한 정보를 인지할 경우 차량에 의한 사고를 줄이거나 예방할 수 있는 어떠한 정보도 포함할 수 있다. 예를 들어, 이동체 정보란, 차량의 주변에 이동체가 존재하는가의 여부 또는 이동체의 위치 중 적어도 하나를 포함할 수 있다.
이동체 정보 결정부(130)는 이동체 정보를 결정하기 위해, 제1-1, 제1-2, 제2-1 또는 제2-2 영상 중 적어도 하나를 이용할 수 있다. 예를 들어, 이동체 정보 결정부(130)는 제1-1, 제1-2, 제2-1 또는 제2-2 영상 중 복수 개의 조합을 이용하여 이동체 정보를 결정할 수 있다.
예를 들어, 이동체의 상체가 가려진 상황에서, 이동체 정보 결정부(130)는 제2-1 영상과 제2-2 영상을 조합하여 이동체의 위치를 정확하게 결정할 수 있다. 또는, 이동체의 하체가 가려진 상황에서, 이동체 정보 결정부(130)는 제1-1 영상과 제1-2 영상을 조합하여 이동체의 위치를 정확하게 결정할 수 있다. 또는, 이동체의 하체의 많은 부분이 가려지고, 이동체의 상체의 많은 부분이 가져진 상황에서 제1-1 영상과 제1-2 영상의 조합과 제2-1 영상과 제2-2 영상의 조합을 모두 이용할 경우, 이동체 정보를 좀 더 정확하게 결정할 수 있다. 따라서, 이동체의 상체 또는 하체 중 적어도 일부가 가려진 상태에서도 이동체 정보를 정확하게 결정할 수 있다.
그러나, 다른 실시 예에 의하면, 이동체 정보 결정부(130)는 제1-2 또는 제2-2 영상 중 적어도 하나만을 이용하여 이동체 정보를 결정할 수도 있고, 제1-1 또는 제2-1 영상 중 적어도 하나만을 이용하여 이동체 정보를 결정할 수도 있다.
또한, 영상 추출부(120)에서 제1 영상과 제2 영상을 모두 추출할 경우, 이동체 정보 결정부(130)는 제1 영상과 제2 영상 중에서 먼저 추출된 영상을 이용하여 이동체 정보를 결정할 수 있으나, 실시 예는 이에 국한되지 않는다.
또는, 전술한 바와 같이 영상 추출부(120)에서 제1 영상과 제2 영상을 모두 추출할 경우, 이동체 정보 결정부(130)는 제2 영상만을 이용하여 이동체 정보를 결정할 수 있다. 이는 이동체가 상체보다는 하체에 의해 이동하기 때문에, 추후에 설명되는 바와 같이 이동체의 위치 추적을 용이하게 하기 위해서일 수 있다. 또한, 이동체의 상체가 하체보다 가려질 확률이 많기 때문이다. 이와 같이, 이동체의 상체보다는 하체에 대한 제2 영상을 이용할 경우, 이동체 정보를 보다 정확하고 빠르게 결정할 수 있으나, 실시 예는 이에 국한되지 않는다.
도 7, 도 9, 도 11에서 주변 영상이 제1-1 영상과 제2-1 영상 중 어느 것도 포함하지 않을 때 또는 도 13에서 주변 영상이 제1-2 영상과 제2-2 영상 중 어느 것도 포함하지 않을 때, 영상 추출부(120)로부터 제1 영상이나 제2 영상이 이동체 정보 결정부(130)로 들어오지 않는다. 이 경우, 이동체 정보 결정부(130)는 이동체가 존재하지 않는 것으로 결정할 수 있다.
한편, 실시 예에 의한 차량용 이동체 정보 제공 장치(100)는 이동체 경보부(140)를 더 포함할 수 있다. 제230 단계 후에, 이동체 경보부(140)는 이동체 정보 결정부(130)에서 결정된 결과에 응답하여, 이동체 정보를 차량의 운전자 또는 차량의 인근에 위치한 다른 차량의 운전자 등 교통 사고를 예방하기 위해 인지할 필요가 있는 사람에게 알릴 수 있다(제240 단계). 여기서, 경보되는 이동체 정보는 예를 들어, 이동체의 존재 또는 위치 중 적어도 하나일 수 있다.
실시 예에 의하면, 이동체가 경보 영역에 들어올 때, 이동체 경보부(140)는 이동체 정보를 알릴 수 있다. 여기서, 경보 영역이란, 차량으로부터 제2 거리만큼 이격된 지점까지에 속한 영역일 수 있다. 예를 들어 도 16을 참조하면, 경보 영역(A2)은 검출 영역(A1)보다 차량에 더 가까운 영역일 수 있다. 예를 들어, 제2 거리는 3 meter일 수 있으나 실시 예는 이에 국한되지 않는다. 이동체가 경보 영역(A2)의 바깥에 위치할 경우, 이동체 경보부(140)는 이동체 정보를 알리지 않을 수도 있으나, 실시 예는 이에 국한되지 않는다.
도 17은 도 1에 도시된 이동체 정보 결정부(130)의 실시 예(130A)에 의한 블럭도로서, 위치 추적부(132) 및 정보 생성부(134)를 포함할 수 있다.
도 17을 참조하면, 위치 추적부(132)는 영상 추출부(120)에서 추출된 제1 또는 제2 영상 중 적어도 하나를 이용하여 이동체의 위치를 추적하고, 추적된 위치를 출력단자 OUT4를 통해 출력할 수 있다. 추적된 위치는 정보 생성부(134)로 출력될 수도 있고, 이동체 경보부(140)로 출력될 수도 있다. 이동체 경보부(140)는 이동체의 추적된 위치에 따라 이동체 정보를 알릴 수 있다. 예를 들어, 위치 추적부(132)는 영상 추출부(120)에서 추출된 제1 영상과 제2 영상을 입력단자 IN3 및 IN4를 통해 각각 받을 수 있다.
또한, 위치 추적부(132)는 제2-1 영상과 제2-2 영상의 조합이 확인되는 위치에 이동체가 존재한다고 결정할 수 있다. 예를 들어, 도 3b 및 도 5b를 참조하면 제2-1 영상(I21)과 제2-2 영상(I22-1, I22-2)의 조합이 확인되는 위치에 이동체(MB)가 존재한다고 결정할 수 있다.
또는, 위치 추적부(132)는 제1-1 영상과 제1-2 영상의 조합이 확인되는 위치에 이동체가 존재한다고 결정할 수 있다. 예를 들어, 도 4b를 참조하면, 제1-1 영상(I11)과 제1-2 영상(I12)의 조합이 확인되는 위치에 이동체(MB)가 존재한다고 결정될 수 있다.
예를 들어, 영상 추출부(120)로부터 제공된 제1 또는 제2 영상이 과거에 검출된 영상일 경우, 이러한 시간적인 검출 결과를 통합하여, 이동체의 이동 경로를 추적할 수 있다. 예를 들어, 위치 추적부(132)는 연속적으로 검출된 이동체의 크기 및 연속적으로 검출된 이동체의 위치의 유사성을 기준으로 이들을 관련지음으로써 이동체의 위치를 추적할 수 있다.
또는, 위치 추적부(132)는 이동체가 간헐적으로 검출되는 경우, 이동체의 색상(color), 경사도(gradient) 또는 형태(shape)의 유사도를 사용하는 등 다양한 비쥬얼 트래킹(visual tracking) 방식으로 이동체를 추적할 수 있다.
또한, 스토카스틱 필터링(stochastic filtering)에 의해 위치 추적부(132)는 이동체의 위치를 추적한 결과를 다양한 필터링 기법으로 예측 및 보정할 수도 있다. 이러한 필터링 기법으로서, 예를 들어, 칼만 필터링(Kalman filtering), 확장 칼만 필터링(Extended Kalman filtering), 분산 칼만 필터링(unscented Kalman filtering) 또는 입자 여과기(particle filter) 등이 있다.
정보 생성부(134)는 영상 추출부(120)에서 추출된 제1 영상이나 제2 영상, 또는 위치 추적부(132)로부터 출력되는 추적된 위치 중 적어도 하나를 이용하여 이동체 정보를 생성(또는, 결정)하고, 생성된 정보를 출력단자 OUT5를 통해 출력할 수 있다.
결국, 실시 예에 의한 차량용 이동체 정보 제공 장치 및 방법은 제1-1, 제1-2, 제2-1 또는 제2-2 영상 중 적어도 하나를 이용하여, 이동체의 정보를 결정하고 이를 제공함으로써 차량에 의한 교통 사고를 미연에 방지할 수 있도록 도움을 줄 수 있다.
또한, 도 3a 및 도 3b에 도시된 바와 같이 차량에 근접하여 서 있는 이동체(MB)는 상체가 가려질 수 있고, 도 4a 및 도 4b에 도시된 바와 같이 앉아있는 이동체는 하체가 가려질 수 있다. 기존의 전신 검출 기반법에 의할 경우 이러한 이동체의 다양한 자세에 기인하여 이동체에 대한 정보를 정확하게 결정할 수 없다. 그러나, 실시 예에 의한 차량용 이동체 정보 제공 장치는 주변 영상을 이동체의 상체에 대한 제1 영상과 이동체의 하체에 대한 제2 영상으로 구분하고, 구분된 영상을 이용하여 이동체의 정보를 결정한다. 따라서, 이동체의 하체나 상체가 가려진 상황에서도 이동체의 정보를 정확하게 결정할 수 있으며, 어안 렌즈의 왜곡의 영향도 줄일 수 있다.
또한, 실시 예에 의한 이동체 정보 제공 방법은 제1-1, 제1-2, 제2-1 및 제2-2 영상을 검출한 후에 검증함으로써 제1-1, 제1-2, 제2-1 및 제2-2 영상의 정확도가 높기 때문에, 이동체의 보다 정확한 정보를 결정할 수 있다.
또한, 이동체의 하체의 일부에 대한 제2-2 영상을 이용하여, 이동체 정보를 결정함으로써, 이동체가 경보 영역(A2)에 위치하는가의 여부를 결정하기 용이할 수 있다.
또한, 제1-1 영상과 제1-2 영상의 조합이 아닌 제1-2 영상만을 이용하거나 제1-1 영상만을 이용하여 이동체 정보를 결정할 수 있고, 제2-1 영상과 제2-2 영상의 조합이 아닌 제2-1 영상만을 이용하거나 제2-2 영상만을 이용하여 이동체의 정보를 결정할 수 있으므로, 차량용 이동체 정보 제공 장치의 구조가 간단해지고, 차량용 이동체 정보 제공 방법이 빠르고 쉽게 수행될 수 있다.
또한, 실시 예의 이동체 정보 제공 방법 및 장치는 이동체의 하체와 상체를 구분하여 이동체 정보를 결정할 수 있다. 이로 인해, 이동체의 상체가 동적으로 변하지 않고 하체만 동적으로 변하는 상황에서 이동체의 하체에 대한 제2 영상을 이용하여 이동체 정보를 정확하게 결정할 수 있다. 또는, 이동체의 하체가 동적으로 변하지 않고 상체만 동적으로 변하는 상황에서 이동체의 상체에 대한 제1 영상을 이용하여 이동체 정보를 정확하게 결정할 수 있다. 게다가, 이동체의 상체가 가려진 상황에서 이동체의 하체에 대한 제2 영상을 이용하고, 이동체의 하체가 가려진 상황에서 이동체의 상체에 대한 제1 영상을 이용하여, 이동체 정보를 결정하므로, 이동체의 상체나 하체가 가려진 상황에서도 이동체 정보를 정확하게 결정할 수 있다. 또한, 이동체의 상체와 하체의 대부분이 가려진 상황에서 상체의 일부인 머리 또는 하체의 일부인 발에 대한 영상만을 이용하여, 이동체 정보를 결정할 수 있기 때문에, 이동체의 하체와 상체가 대부분 가려진 상황에서도 이동체 정보를 정확하게 결정할 수 있다.
또한, 제1-1 영상과 제1-2 영상을 조합한 결과와 제2-1 영상과 제2-2 영상을 조합한 결과를 모두 이용할 경우 좀 더 정확한 이동체 정보를 결정할 수 있다.
결국, 제1-1, 제1-2, 제2-1 또는 제2-2 영상 중 적어도 하나를 이용하여 이동체 정보를 결정하기 때문에, 차량의 주변에 위치한 이동체가 서 있거나 많이 접근해 있거나 앉아 있거나, 이동체의 크기가 작은 등 다양한 상황에서도 이동체의 정보를 정확하게 결정하여 운전자 등에게 알려 줌으로써, 교통 사고 예방에 만전을 기할 수 있도록 한다.
한편, 차량용 이동체 정보 제공 장치(100)에서 수행되는 차량용 이동체 정보 제공 방법(200)을 실행하기 위한 프로그램을 기록한 기록 매체는, 차량의 주변 영상을 획득하는 기능과, 획득된 주변 영상으로부터 적어도 하나의 이동체의 상체에 대한 제1 영상 또는 이동체의 하체에 대한 제2 영상 중 적어도 하나를 추출하는 기능 및 추출된 제1 또는 제2 영상 중 적어도 하나를 이용하여 이동체의 존재 여부 또는 이동체의 위치 중 적어도 하나를 결정하는 기능을 구현하는 프로그램을 기록하며, 컴퓨터는 기록 매체를 읽을 수 있다.
또한, 컴퓨터로 읽을 수 있는 기록 매체에서, 제1 영상은 이동체의 상체 전부에 대한 제1-1 영상 또는 이동체의 상체 중 일부에 대한 제1-2 영상 중 적어도 하나를 포함하고, 제2 영상은 이동체의 하체 전부에 대한 제2-1 영상 또는 이동체의 하체 중 일부에 대한 제2-2 영상 중 적어도 하나를 포함하는 프로그램을 기록할 수 있다.
또한, 제1 또는 제2 영상 중 적어도 하나를 추출하는 기능은 획득된 주변 영상이 제1-1 영상을 포함할 경우 획득된 주변 영상으로부터 제1-1 영상을 검출하는 기능과, 획득된 주변 영상이 제2-1 영상을 포함할 경우 획득된 주변 영상으로부터 제2-1 영상을 검출하는 기능과, 검출된 제1-1 또는 제2-1 영상을 검증하는 기능과, 검증된 제1-1 또는 제2-1 영상으로부터 제1-2 또는 제2-2 영상을 각각 검출하는 기능 및 검출된 제1-2 또는 제2-2 영상을 검증하는 기능을 구현하는 프로그램을 기록하며, 컴퓨터는 기록 매체를 읽을 수 있다.
또한, 제1-1 영상을 검출하는 기능은 획득된 주변 영상에 포함된 제1-1 영상에 담긴 이동체가 차량을 기준으로 제1 방향을 향할 경우, 획득된 주변 영상으로부터 제1 방향의 제1-1 영상을 검출하는 기능 및 획득된 주변 영상에 포함된 제2-1 영상에 담긴 이동체가 차량을 기준으로 제1 방향과 다른 제2 방향을 향할 경우, 획득된 주변 영상으로부터 제2 방향의 제1-1 영상을 검출하는 기능을 포함할 수 있다.
또한, 제2-1 영상을 검출하는 기능은 획득된 주변 영상에 포함된 제2-1 영상에 담긴 이동체가 차량을 기준으로 제1 방향을 향할 경우, 획득된 주변 영상으로부터 제1 방향의 제2-1 영상을 검출하는 기능 및 획득된 주변 영상에 포함된 제2-1 영상에 담긴 이동체가 차량을 기준으로 제2 방향을 향할 경우, 획득된 주변 영상으로부터 제2 방향의 제2-1 영상을 검출하는 기능을 구현하는 프로그램을 기록하며, 컴퓨터는 기록 매체를 읽을 수 있다.
또한, 제1-1 또는 제2-1 영상을 검출하는 기능은 획득된 주변 영상에 제1-1 영상이 포함된 경우, 획득된 주변 영상으로부터 제1-1 영상을 검출하는 기능과, 검출된 제1-1 영상에 이동체가 차량을 기준으로 제1 방향을 향할 경우, 검출된 제1-1 영상으로부터 제1 방향의 제1-1 영상을 분류해내는 기능과, 검출된 제1-1 영상에 담긴 이동체가 차량을 기준으로 제2 방향을 향할 경우, 검출된 제1-1 영상으로부터 제2 방향의 제1-1 영상을 분류해낼 수 있다. 또는, 주변 영상에 제2-1 영상이 포함된 경우, 획득된 주변 영상으로부터 제2-1 영상을 검출하는 기능과, 검출된 제2-1 영상에 담긴 이동체가 차량을 기준으로 제1 방향을 향할 경우, 검출된 제2-1 영상으로부터 제1 방향의 제2-1 영상을 분류해내는 기능 및 검출된 제2-1 영상에 담긴 이동체가 차량을 기준으로 제2 방향을 향할 경우, 검출된 제2-1 영상으로부터 제2 방향의 제2-1 영상을 분류해내는 기능을 구현하는 프로그램을 기로가면, 컴퓨터는 기록 매체를 읽을 수 있다.
컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 자동차 트렁크 개방 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상에서 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 차량용 이동체 정보 제공 장치 110: 영상 획득부
120, 120A, 120B, 120C, 120D: 영상 추출부 121A: 제1 공통 영상 검출부
121B: 제2 공통 영상 검출부 122A: 제1-1 영상 검출부
122B: 제2-1 영상 검출부 122C: 제1 영상 결정부
122D: 제2 영상 결정부 122A-1: 제1-1-1 영상 검출부
122A-2: 제1-1-2 영상 검출부 122B-1: 제2-1-1 영상 검출부
122B-2: 제2-1-2 영상 검출부 123A; 제1 영상 분류부
123B: 제2 영상 분류부 124A, 124C: 제1-1 영상 검증부
124B, 124D: 제2-1 영상 검증부 124A-1: 제1-1-1 영상 검증부
124A-2: 제1-1-2 영상 검증부 124B-1: 제2-1-1 영상 검증부
124B-2: 제2-1-2 영상 검증부 126A, 126C: 제1-2 영상 검출부
126B: 제2-2 영상 검출부 126A-1: 제1-2-1 영상 검출부
126A-2: 제1-2-2 영상 검출부 126B-1: 제2-2-1 영상 결정부
126B-2: 제2-2-2 영상 검출부 128A, 128C: 제1-2 영상 검증부
128B, 128D: 제2-2 영상 검증부 128A-2: 제1-2-2 영상 검증부
128B-1: 제2-2-1 영상 검증부 128B-2: 제2-2-2 영상 검증부
130: 이동체 정보 결정부 132: 위치 추적부
134: 정보 생성부 140: 이동체 경보부
702: 제3 영상 검증부 704: 제4 영상 검증부
120, 120A, 120B, 120C, 120D: 영상 추출부 121A: 제1 공통 영상 검출부
121B: 제2 공통 영상 검출부 122A: 제1-1 영상 검출부
122B: 제2-1 영상 검출부 122C: 제1 영상 결정부
122D: 제2 영상 결정부 122A-1: 제1-1-1 영상 검출부
122A-2: 제1-1-2 영상 검출부 122B-1: 제2-1-1 영상 검출부
122B-2: 제2-1-2 영상 검출부 123A; 제1 영상 분류부
123B: 제2 영상 분류부 124A, 124C: 제1-1 영상 검증부
124B, 124D: 제2-1 영상 검증부 124A-1: 제1-1-1 영상 검증부
124A-2: 제1-1-2 영상 검증부 124B-1: 제2-1-1 영상 검증부
124B-2: 제2-1-2 영상 검증부 126A, 126C: 제1-2 영상 검출부
126B: 제2-2 영상 검출부 126A-1: 제1-2-1 영상 검출부
126A-2: 제1-2-2 영상 검출부 126B-1: 제2-2-1 영상 결정부
126B-2: 제2-2-2 영상 검출부 128A, 128C: 제1-2 영상 검증부
128B, 128D: 제2-2 영상 검증부 128A-2: 제1-2-2 영상 검증부
128B-1: 제2-2-1 영상 검증부 128B-2: 제2-2-2 영상 검증부
130: 이동체 정보 결정부 132: 위치 추적부
134: 정보 생성부 140: 이동체 경보부
702: 제3 영상 검증부 704: 제4 영상 검증부
Claims (20)
- 차량의 주변 영상을 획득하는 영상 획득부;
상기 차량의 주변 영상으로부터 적어도 하나의 이동체의 상체에 대한 제1 영상 또는 상기 적어도 하나의 이동체의 하체에 대한 제2 영상 중 적어도 하나를 추출하고;
상기 추출된 제1 영상 또는 제2 영상 중 적어도 하나를 이용하여 상기 차량의 주변에 상기 이동체가 존재하는가의 여부 또는 상기 이동체의 위치 중 적어도 하나를 결정하는 영상 처리부; 를 포함하고,
상기 영상 처리부는
상기 이동체의 상체 전부에 대한 제1-1 영상; 또는 상기 이동체의 상체 중 일부에 대한 제1-2 영상 중 적어도 하나를 상기 제1 영상으로서 추출하고,
상기 이동체의 하체 전부에 대한 제2-1 영상; 또는 상기 이동체의 하체 일부에 대한 제2-2 영상 중 적어도 하나를 상기 제2 영상으로서 추출하고,
상기 영상 처리부는, 상기 제1 영상 및 상기 제2 영상을 추출하는 경우, 상기 제1 영상를 사용하지 않고 상기 제2 영상만을 이용하여 상기 이동체의 정보를 결정하는 차량용 이동체 정보 제공 장치. - 제1 항에 있어서, 상기 영상 처리부는
상기 획득된 주변 영상으로부터 상기 제1-1 영상을 검출하고,
상기 획득된 주변 영상으로부터 상기 제2-1 영상을 검출하는 차량용 이동체 정보 제공 장치. - 제2 항에 있어서, 상기 영상 처리부는
상기 제1-1 영상을 검증하고, 또는
상기 제2-1 영상을 검증하는 차량용 이동체 정보 제공 장치. - 제3 항에 있어서, 상기 영상 처리부는
상기 제1-1 영상으로부터 상기 제1-2 영상을 검출하고,
상기 제2-1 영상으로부터 상기 제2-2 영상을 검출하는 차량용 이동체 정보 제공 장치. - 제4 항에 있어서, 상기 영상 처리부는
상기 제1-2 영상을 검증하고, 또는
상기 제2-2 영상을 검증하는 차량용 이동체 정보 제공 장치. - 제5 항에 있어서,
상기 영상 처리부는
상기 획득된 주변 영상으로부터 상기 이동체가 상기 차량을 향한 제1 방향에서의 상기 제1-1 영상을 검출하고
상기 획득된 주변 영상으로부터 상기 제1 방향과 다른 제2 방향에서의 상기 제1-1 영상을 검출하고,
상기 획득된 주변 영상으로부터 상기 제1 방향에서의 상기 제2-1 영상을 검출하고,
상기 획득된 주변 영상으로부터 상기 제2 방향에서의 상기 제2-1 영상을 검출하는 차량용 이동체 정보 제공 장치. - 제5 항에 있어서,
상기 영상 처리부는
상기 획득된 주변 영상으로부터 제1-1 영상을 검출하고,
상기 제1-1 영상으로부터 상기 차량을 기준으로 상기 이동체가 향한 방향 별 상기 제1-1 영상을 분류하고,
상기 획득된 주변 영상으로부터 제2-1 영상을 검출하고,
상기 제2-1 영상으로부터 상기 차량을 기준으로 상기 이동체가 향한 방향 별 상기 제2-1 영상을 분류하는 차량용 이동체 정보 제공 장치. - 제6 항 또는 제7 항에 있어서,
상기 영상 처리부는
제1 방향에서의 상기 제1-1 영상을 검증하거나, 또는
상기 제1 방향과 다른 제2 방향에서의 상기 제1-1 영상을 검증하고,
상기 영상 처리부는
상기 제1 방향에서의 상기 제2-1 영상을 검증하거나, 또는
상기 제2 방향에서의 상기 제2-1 영상을 더 검증하는 차량용 이동체 정보 제공 장치. - 제8 항에 있어서,
상기 영상 처리부는
상기 제1-1 영상으로부터 상기 제1 방향에서의 상기 제1-2 영상을 검출하고,
상기 제1-2 영상으로부터 상기 제2 방향에서의 상기 제1-2 영상을 검출하고,
상기 제2-1 영상으로부터 상기 제1 방향에서의 상기 제2-2 영상을 검출하고,
상기 제2-1 영상으로부터 상기 제2 방향에서의 상기 제2-2 영상을 검출하는 차량용이동체 정보 제공 장치. - 제9 항에 있어서,
상기 영상 처리부는
상기 제1-2 영상을 검증하거나, 또는
상기 제1-2 영상을 검증하고,
상기 영상 처리부는
상기 제2-2 영상을 검증하거나, 또는
상기 제2-2 영상을 더 검증하는 차량용 이동체 정보 제공 장치. - 제1 항에 있어서, 상기 영상 처리부는
상기 획득된 주변 영상으로부터 상기 제1-2 영상을 검출하고,
상기 획득된 주변 영상으로부터 상기 제2-2 영상을 검출하는 차량용 이동체 정보 제공 장치. - 제11 항에 있어서, 상기 영상 처리부는
상기 제1-2 영상을 검증하거나, 또는
상기 제2-2 영상을 더 검증하는 차량용 이동체 정보 제공 장치. - 제12 항에 있어서, 상기 영상 처리부는
상기 제1-2 영상으로부터 상기 제1-1 영상을 결정하고,
상기 제2-2 영상으로부터 상기 제2-1 영상을 결정하는 차량용 이동체 정보 제공 장치. - 제13 항에 있어서, 상기 영상 처리부는
상기 제1-1 영상을 검증하고,
상기 제2-1 영상을 검증하는 차량용 이동체 정보 제공 장치. - (a) 차량의 주변 영상을 획득하는 단계;
(b) 상기 획득된 주변 영상으로부터 적어도 하나의 이동체의 상체에 대한 제1 영상 또는 상기 이동체의 하체에 대한 제2 영상 중 적어도 하나를 추출하는 단계; 및
(c) 상기 추출된 제1 또는 제2 영상 중 적어도 하나를 이용하여 상기 이동체의 존재 여부 또는 상기 이동체의 위치 중 적어도 하나를 결정하는 단계를 포함하고,
상기 제1 영상은
상기 이동체의 상체 전부에 대한 제1-1 영상; 또는
상기 이동체의 상체 중 일부에 대한 제1-2 영상 중 적어도 하나를 포함하고,
상기 제2 영상은
상기 이동체의 하체 전부에 대한 제2-1 영상; 또는
상기 이동체의 하체 중 일부에 대한 제2-2 영상 중 적어도 하나를 포함하고,
상기 제1 영상 및 상기 제2 영상을 추출하는 (b)단계에서, 상기 이동체의 정보는 상기 제1 영상를 사용하지 않고 상기 제2 영상만을 이용하여 결정되는 차량용 이동체 정보 제공 방법. - 제15 항에 있어서, 상기 (b) 단계는
상기 획득된 주변 영상이 상기 제1-1 영상을 포함할 경우, 상기 획득된 주변 영상으로부터 상기 제1-1 영상을 검출하는 단계;
상기 획득된 주변 영상이 상기 제2-1 영상을 포함할 경우, 상기 획득된 주변 영상으로부터 상기 제2-1 영상을 검출하는 단계;
상기 검출된 제1-1 또는 제2-1 영상을 검증하는 단계;
상기 검증된 또는 검출된 제1-1 또는 제2-1 영상으로부터 상기 제1-2 또는 제2-2 영상을 각각 검출하는 단계; 및
상기 검출된 제1-2 또는 제2-2 영상을 검증하는 단계를 포함하는 차량용 이동체 정보 제공 방법. - 제16 항에 있어서,
상기 제1-1 영상을 검출하는 단계는
상기 획득된 주변 영상에 포함된 상기 제1-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 제1 방향을 향할 경우, 상기 획득된 주변 영상으로부터 상기 제1 방향의 제1-1 영상을 검출하는 단계; 및
상기 획득된 주변 영상에 포함된 상기 제2-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 상기 제1 방향과 다른 제2 방향을 향할 경우, 상기 획득된 주변 영상으로부터 상기 제2 방향의 제1-1 영상을 검출하는 단계를 포함하고,
상기 제2-1 영상을 검출하는 단계는
상기 획득된 주변 영상에 포함된 상기 제2-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 상기 제1 방향을 향할 경우, 상기 획득된 주변 영상으로부터 상기 제1 방향의 제2-1 영상을 검출하는 단계; 및
상기 획득된 주변 영상에 포함된 상기 제2-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 상기 제2 방향을 향할 경우, 상기 획득된 주변 영상으로부터 상기 제2 방향의 제2-1 영상을 검출하는 단계를 포함하는 차량용 이동체 정보 제공 방법. - 제16 항에 있어서, 상기 제1-1 또는 제2-1 영상을 검출하는 단계는
상기 획득된 주변 영상에 상기 제1-1 영상이 포함된 경우, 상기 획득된 주변 영상으로부터 상기 제1-1 영상을 검출하는 단계;
상기 검출된 제1-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 제1 방향을 향할 경우, 상기 검출된 제1-1 영상으로부터 상기 제1 방향의 제1-1 영상을 분류해내는 단계;
상기 검출된 제1-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 상기 제1 방향과 다른 제2 방향을 향할 경우, 상기 검출된 제1-1 영상으로부터 상기 제1 방향과 다른 제2 방향의 제1-1 영상을 분류해내는 단계;
상기 획득된 주변 영상에 상기 제2-1 영상이 포함된 경우, 상기 획득된 주변 영상으로부터 상기 제2-1 영상을 검출하는 단계;
상기 검출된 제2-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 상기 제1 방향을 향할 경우, 상기 검출된 제2-1 영상으로부터 상기 제1 방향의 제2-1 영상을 분류해내는 단계; 및
상기 검출된 제2-1 영상에 담긴 상기 이동체가 상기 차량을 기준으로 상기 제1 방향과 다른 제2 방향을 향할 경우, 상기 검출된 제2-1 영상으로부터 상기 제2 방향의 제1-1 영상을 분류해내는 단계를 포함하는 차량용 이동체 정보 제공 방법. - 제15 항에 있어서, 상기 (b) 단계는
상기 획득된 주변 영상이 제1-2 영상을 포함할 경우, 상기 획득된 주변 영상으로부터 상기 제1-2 영상을 검출하는 단계;
상기 획득된 주변 영상이 제2-2 영상을 포함할 경우, 상기 획득된 주변 영상으로부터 상기 제2-2 영상을 검출하는 단계;
상기 검출된 제1-2 또는 제2-2 영상을 검증하는 단계;
상기 검증된 제1-2 또는 제2-2 영상으로부터 상기 제1-1 또는 제2-1 영상을 각각 결정하는 단계; 및
상기 결정된 제1-1 또는 제2-1 영상을 검증하는 단계를 포함하는 차량용 이동체 정보 제공 방법. - 차량용 이동체 정보 제공 장치에서 수행되는 차량용 이동체 정보 제공 방법을 실행하기 위한 프로그램을 기록한 기록 매체에 있어서,
(a) 차량의 주변 영상을 획득하는 기능;
(b) 상기 획득된 주변 영상으로부터 적어도 하나의 이동체의 상체에 대한 제1 영상 또는 상기 이동체의 하체에 대한 제2 영상 중 적어도 하나를 추출하는 기능; 및
(c) 상기 추출된 제1 또는 제2 영상 중 적어도 하나를 이용하여 상기 이동체의 존재 여부 또는 상기 이동체의 위치 중 적어도 하나를 결정하는 기능을 구현하고,
상기 제1 영상 및 상기 제2 영상을 추출하는 (b)기능에서, 상기 이동체의 정보는 상기 제1 영상를 사용하지 않고 상기 제2 영상만을 이용하여 결정되는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150097384A KR102451091B1 (ko) | 2015-07-08 | 2015-07-08 | 차량용 이동체 정보 제공 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 |
| PCT/KR2016/007353 WO2017007251A1 (ko) | 2015-07-08 | 2016-07-07 | 차량용 이동체 정보 제공 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 |
| US15/742,693 US10482320B2 (en) | 2015-07-08 | 2016-07-07 | Device and method for providing moving body information for a vehicle, and recording medium, on which a program for executing the method is recorded |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150097384A KR102451091B1 (ko) | 2015-07-08 | 2015-07-08 | 차량용 이동체 정보 제공 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170006566A KR20170006566A (ko) | 2017-01-18 |
| KR102451091B1 true KR102451091B1 (ko) | 2022-10-05 |
Family
ID=57685252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150097384A KR102451091B1 (ko) | 2015-07-08 | 2015-07-08 | 차량용 이동체 정보 제공 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10482320B2 (ko) |
| KR (1) | KR102451091B1 (ko) |
| WO (1) | WO2017007251A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW202323270A (zh) | 2021-11-04 | 2023-06-16 | 英商自由行療法有限公司 | 多肽 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090041302A1 (en) * | 2007-08-07 | 2009-02-12 | Honda Motor Co., Ltd. | Object type determination apparatus, vehicle, object type determination method, and program for determining object type |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3218521B2 (ja) | 1992-09-30 | 2001-10-15 | 清水建設株式会社 | 画像センサによる移動体検知システム |
| JP3431678B2 (ja) | 1994-02-14 | 2003-07-28 | 三菱自動車工業株式会社 | 車両用周囲状況表示装置 |
| JP3764086B2 (ja) | 2001-10-29 | 2006-04-05 | 本田技研工業株式会社 | 車両用情報提供装置 |
| US7433494B2 (en) * | 2002-09-19 | 2008-10-07 | Denso Corporation | Moving body detecting apparatus |
| JP3987048B2 (ja) * | 2003-03-20 | 2007-10-03 | 本田技研工業株式会社 | 車両周辺監視装置 |
| US7483549B2 (en) * | 2004-11-30 | 2009-01-27 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
| JP4456086B2 (ja) * | 2006-03-09 | 2010-04-28 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP4171501B2 (ja) * | 2006-04-25 | 2008-10-22 | 本田技研工業株式会社 | 車両の周辺監視装置 |
| KR20060100341A (ko) * | 2006-08-30 | 2006-09-20 | (주)로직아이텍 | 객체식별이 가능한 영상처리 감시시스템 |
| US20100094174A1 (en) | 2007-03-13 | 2010-04-15 | Yong Jae Choi | Method for three-dimensional biomechanical data and parameter analysis and system using the same method |
| KR100909350B1 (ko) | 2007-03-13 | 2009-07-24 | 최용재 | 3차원 생체역학 데이터와 파라메터 분석 방법 및 그 방법을 이용한 장치 |
| JP4486997B2 (ja) * | 2008-04-24 | 2010-06-23 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP5603835B2 (ja) * | 2011-06-27 | 2014-10-08 | クラリオン株式会社 | 車両周囲監視装置 |
| EP2752834A4 (en) * | 2011-10-18 | 2015-04-22 | Honda Motor Co Ltd | DEVICE FOR MONITORING THE VEHICLE ENVIRONMENT |
| KR20130138481A (ko) | 2012-06-11 | 2013-12-19 | 강영훈 | 움직임 감지센서 |
| KR101535517B1 (ko) * | 2013-10-31 | 2015-07-10 | (주)다온씨앤티 | 통학 차량 안전 경보 시스템 |
-
2015
- 2015-07-08 KR KR1020150097384A patent/KR102451091B1/ko active IP Right Grant
-
2016
- 2016-07-07 WO PCT/KR2016/007353 patent/WO2017007251A1/ko active Application Filing
- 2016-07-07 US US15/742,693 patent/US10482320B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090041302A1 (en) * | 2007-08-07 | 2009-02-12 | Honda Motor Co., Ltd. | Object type determination apparatus, vehicle, object type determination method, and program for determining object type |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017007251A1 (ko) | 2017-01-12 |
| US10482320B2 (en) | 2019-11-19 |
| KR20170006566A (ko) | 2017-01-18 |
| US20180211105A1 (en) | 2018-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109074651B (zh) | 移动体的周围环境识别装置 | |
| Mukhtar et al. | Vehicle detection techniques for collision avoidance systems: A review | |
| US9679203B2 (en) | Traffic violation detection | |
| US9685079B2 (en) | Short-time stopping detection from red light camera evidentiary photos | |
| US9363483B2 (en) | Method for available parking distance estimation via vehicle side detection | |
| KR102371587B1 (ko) | 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법 | |
| Xu et al. | Detection of sudden pedestrian crossings for driving assistance systems | |
| US8824742B2 (en) | Occupancy detection for managed lane enforcement based on localization and classification of windshield images | |
| JP6511283B2 (ja) | 物体検知装置 | |
| Krotosky et al. | On color-, infrared-, and multimodal-stereo approaches to pedestrian detection | |
| WO2004086301A2 (en) | System and method for vehicle detection and tracking | |
| JP2018513495A (ja) | デュアル埋め込み型光学文字認識（ｏｃｒ）エンジン | |
| Kumtepe et al. | Driver aggressiveness detection via multisensory data fusion | |
| US10521679B2 (en) | Human detection device, human detection system, human detection method, and human detection program | |
| KR20120067890A (ko) | 영상분석장치 및 그 방법 | |
| Jen et al. | Robust detection and tracking of vehicle taillight signals using frequency domain feature based Adaboost learning | |
| KR102451091B1 (ko) | 차량용 이동체 정보 제공 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 | |
| KR101407901B1 (ko) | 차량인식시스템 | |
| KR20170027093A (ko) | 차량용 이동체 정보 제공 장치 | |
| Ho et al. | Intelligent speed bump system with dynamic license plate recognition | |
| Krotosky et al. | A comparison of color and infrared stereo approaches to pedestrian detection | |
| KR101432113B1 (ko) | 차량 검지 장치 및 차량 검지 방법 | |
| JP2015046126A (ja) | 車両検知装置 | |
| KR102133045B1 (ko) | Cctv 영상 기반 데이터 처리 방법 및 그 시스템 | |
| Karungaru et al. | Advanced safety vehicle (asv) technology driver support system monitor using three onboard camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |