KR101131580B1 - 차량 탑재 카메라를 이용한 주행 중 도로횡단 보행자 검출 방법 - Google Patents

차량 탑재 카메라를 이용한 주행 중 도로횡단 보행자 검출 방법 Download PDF

Info

Publication number
KR101131580B1
KR101131580B1 KR1020090128909A KR20090128909A KR101131580B1 KR 101131580 B1 KR101131580 B1 KR 101131580B1 KR 1020090128909 A KR1020090128909 A KR 1020090128909A KR 20090128909 A KR20090128909 A KR 20090128909A KR 101131580 B1 KR101131580 B1 KR 101131580B1
Authority
KR
South Korea
Prior art keywords
pedestrian
pixel
image
pixel movement
movement vector
Prior art date
Application number
KR1020090128909A
Other languages
English (en)
Other versions
KR20110072107A (ko
Inventor
강영만
한순희
유현중
조휘택
김형석
Original Assignee
(주)엠아이웨어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엠아이웨어 filed Critical (주)엠아이웨어
Priority to KR1020090128909A priority Critical patent/KR101131580B1/ko
Publication of KR20110072107A publication Critical patent/KR20110072107A/ko
Application granted granted Critical
Publication of KR101131580B1 publication Critical patent/KR101131580B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명에서는 차량과 같은 이동 수단의 이동 중 도로상의 보행자를 용이하게 검출하여 모니터에 표시할 수 있는 보행자 위치 검출 방법이 개시된다.
일 예로, 차량에 부착된 카메라가 촬영한 영상을 모니터가 출력하고, 제어부가 상기 영상 내에서 보행자의 위치를 검출하는 방법에 있어서, 상기 차량의 전진에 따라, 상기 제어부가 상기 영상을 구성하는 에지 영역이 프레임별로 이동한 정도를 통해 화소 이동 벡터를 결정하는 화소 이동 벡터 검출 단계와, 상기 차량의 회전에 따라, 상기 영상의 중심선에서 나타나는 화소 이동 벡터들의 수평 성분들 중에서 대표 수평 성분을 상기 화소 이동 벡터로부터 감하여, 상기 화소 이동 벡터를 보정하는 화소 이동 벡터 보정 단계와, 상기 영상의 상기 화소 이동 벡터 중에서 역방향인 화소 이동 벡터가 군집되어 존재하는 영역을 보행자로 검출하는 보행자 검출 단계를 포함하는 보행자 위치 검출 방법이 개시된다.
차량, 보행자, 벡터, 검출, 추적

Description

차량 탑재 카메라를 이용한 주행 중 도로횡단 보행자 검출 방법{Road Crossing Pedestrian Detection Method Using Camera on Driving Vehicle}
본 발명은 보행자 위치 검출 방법에 관한 것이다.
점차 많은 차량이 이용됨에 따라, 그에 따른 사고 역시 증가하고 있다. 그리고 그 중에서도 인명사고는 회복할 수 없는 손해를 유발할 수 있기 때문에 문제가 된다.
특히, 차량 등의 주행 중에는 운전자가 전방의 차량에 주의를 기울이게 되기 때문에 인도에서 갑자기 도로로 끼어드는 보행자를 발견하는데 시간이 걸리게 되어 사고의 위험이 많다. 게다가 보행자가 성인에 비해 신장이 작은 어린 아이인 경우, 운전자가 쉽게 인지하기 어렵기 때문에 사고 발생 확률이 더 높아지게 된다.
따라서, 운전 중에 이러한 보행자의 위치를 운전자에게 검출하고 알려줄 수 있는 시스템의 개발이 요청된다.
본 발명은 차량과 같은 이동 수단의 이동 중 도로상의 보행자를 용이하게 검출하여 모니터에 표시할 수 있는 보행자 위치 검출 방법을 제공한다.
본 발명에 따른 보행자 위치 검출 방법은 차량에 부착된 카메라가 촬영한 영상을 모니터가 출력하고, 제어부가 상기 영상 내에서 보행자의 위치를 검출하는 방법에 있어서, 상기 차량의 전진에 따라, 상기 제어부가 상기 영상을 구성하는 에지 영역이 프레임별로 이동한 정도를 통해 화소 이동 벡터를 결정하는 화소 이동 벡터 검출 단계; 상기 차량의 회전에 따라, 상기 영상의 중심선에서 나타나는 화소 이동 벡터들의 수평 성분들 중에서 대표 수평 성분을 상기 화소 이동 벡터로부터 감하여, 상기 화소 이동 벡터를 보정하는 화소 이동 벡터 보정 단계; 및 상기 영상의 상기 화소 이동 벡터 중에서 역방향인 화소 이동 벡터가 군집되어 존재하는 영역을 보행자로 검출하는 보행자 검출 단계를 포함할 수 있다.
여기서, 상기 화소 이동 벡터 검출 단계는 동일 프레임에서 상기 영상의 화소별 데이터값의 차이가 기준값 이상인 부분을 에지 영역으로 판단하고, 상기 에지 영역의 데이터를 프레임별로 상관(correlation) 연산하여 상기 영상의 화소 이동 벡터를 검출하는 것일 수 있다.
그리고 상기 화소 이동 벡터 검출 단계는 상기 에지 영역을 각각 복수개의 화소 영역으로 각각 분류하고, 프레임별로 상기 화소 영역을 상관 연산하여 상기 화소 영역의 프레임별 이동 벡터를 검출하여, 상기 영상의 화소 이동 벡터를 검출하는 것일 수 있다.
또한, 상기 화소 이동 벡터 보정 단계는 상기 영상의 중심선에서 나타나는 화소 이동 벡터들 중의 수평 성분 중 가장 빈도가 높은 것을 상기 대표 수평 성분으로 설정하여 상기 영상의 화소 이동 벡터를 보정하는 것일 수 있다.
또한, 보행자 위치 검출 방법을 위한 시스템 설치 시에 상기 영상 내에 위치한 기준 보행자의 주변 영역에 가로 길이 및 세로 길이의 비율이 기설정된 기준 비율을 만족하도록 기준 보행자 박스를 설정하고, 상기 기준 보행자 박스를 상기 영상에서 수평 이동하여 우측 하부 모서리가 상기 도로 경계선에 접하도록 하며, 상기 기준 보행자 박스의 우측 상부 모서리를 상기 영상의 소멸점과 연결하여 신장 크기선을 설정하는 시스템 최초 설치 단계를 더 포함하는 것일 수 있다.
또한, 상기 보행자 검출 단계의 상기 기준 비율은 가로 길이에 대한 세로 길이의 비가 1 내지 3일 수 있다.
또한, 상기 보행자 검출 단계는 상기 보행자를 상기 영상 내에서 검출하면, 상기 보행자의 영상 중에서 최하단의 지점을 수평이동하여 상기 도로 경계선과 접점을 형성하도록 하고, 상기 접점을 수직이동하여 상기 신장 크기선과 만나는 지점까지의 높이를 보행자 박스의 세로 길이로 설정하며, 상기 세로 길이에 대해 상기 기준 박스 비율을 만족하도록 가로 길이를 설정하여 상기 보행자 박스로 결정하는 것일 수 있다.
또한, 상기 보행자 검출 단계는 상기 보행자의 주변 영역에 상기 보행자 박스를 표시하고, 상기 보행자 박스 내에 복수개의 윈도우를 형성하여, 상기 윈도우 내의 화소 이동 벡터 중에서 역방향인 것의 비율을 계산하여 기설정된 역방향 비율보다 큰 경우 상기 보행자를 검출하는 것일 수 있다.
또한, 상기 보행자 검출 단계의 기설정된 역방향 비율은 70%일 수 있다.
또한, 상기 보행자 검출 단계는 상기 보행자의 몸의 좌측 에지 영역과 우측 에지 영역에서의 화소 이동 벡터를 검출할 수 있도록 상기 윈도우를 2개의 사각형 형태로 구비할 수 있다.
또한, 상기 보행자 검출 단계는 상기 보행자의 몸의 좌측 에지 영역, 우측 에지 영역 및 머리에서 생성되는 이동 벡터를 검출할 수 있도록 상기 윈도우를 3개의 사각형 형태로 구비할 수 있다.
또한, 상기 보행자 검출 단계는 상기 보행자의 몸의 좌측 에지와 우측 에지, 다리의 좌측 에지와 우측 에지 및 머리에서 생성되는 이동 벡터를 검출할 수 있도록 상기 윈도우를 5개의 사각형 형태로 구비할 수 있다.
또한, 상기 보행자 검출 단계는 모든 상기 윈도우 내에서 역방향 이동 벡터의 수가 기준 개수 이상이고, 상기 윈도우 내에서 전체 이동 벡터에 대한 역방향 이동 벡터의 비율이 기준 비율 이상인 경우 상기 윈도우의 중심을 상기 보행자의 위치로 판단할 수 있다.
또한, 상기 보행자 검출 단계의 이후, 이전 프레임까지 연속적으로 검출되던 보행자가 검출되지 않는 경우, 검출되었던 상기 이전 프레임에서의 역방향인 화소 이동 벡터를 적용하여 상기 보행자의 위치를 추적하는 보행자 추적 단계가 더 이루어질 수 있다.
본 발명에 의한 보행자 위치 검출 방법은 차량 이동시 카메라가 촬영한 영상을 프레임별로 상관 연산하여 화소 이동 벡터를 검출하고, 화소 이동 벡터 중 영상의 다른 영역에서의 화소 이동 벡터와 반대 방향의 화소 이동 벡터를 갖는 영역을 보행자의 위치로 판단함으로써, 보행자의 도로 진입을 용이하게 검출할 수 있다.
또한, 본 발명에 의한 보행자 위치 검출 방법은 보행자의 크기에 맞도록 보행자 박스를 결정하고, 보행자 박스 내에서 보행자의 형상에 부합하는 복수의 윈도우를 구비하며 화소마다 상관 연산을 수행함으로써, 보행자를 이동 중인 다른 물체와 구별할 수 있다.
또한, 본 발명에 의한 보행자 위치 검출 방법은 보행자가 이동함에 따라 연속적으로 검출되던 보행자가 검출되지 않는 경우, 기존 검출되던 최종 위치에서 보행자의 화소 이동 벡터를 연속적으로 적용하여 보행자의 위치를 추적할 수 있다.
본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 실시예를 도면을 참조하여 상세하게 설명하면 다음과 같다.
이하에서는 본 발명의 일 실시예에 따른 보행자 위치 검출 방법을 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 보행자 위치 검출 방법을 설명하기 위한 플로우챠트이다.
먼저, 도 1을 참조하면, 본 발명의 실시예에 따른 보행자 위치 검출 방법은화소 이동 벡터 검출 단계(S20), 화소 이동 벡터 보정 단계(S30), 보행자 검출 단계(S40)를 포함한다. 또한, 본 발명의 실시예에 따른 보행자 위치 검출 방법을 위한 시스템 설치 시에 시스템 최초 설치 단계(S10)가 이루어질 수 있다. 또한, 상기 보행자 검출 단계(S40)의 이후에는 보행자 추적 단계(S50)가 더 이루어질 수 있다.
도 2는 본 발명의 실시예에 따른 보행자 위치 검출 방법에서 기준 보행자에 대해 기준 보행자 박스를 도시한 것이다. 도 3는 본 발명의 실시예에 따른 보행자 위치 검출 방법에서 평균 신장선을 도시한 것이다.
먼저, 상기 시스템 최초 설치 단계(S10)는 평균 신장을 갖는 기준 보행자를 이용하여, 이동 수단과의 거리에 따른 보행자의 평균적인 신장 크기선을 결정한다. 상기 시스템 최초 설치 단계(S10)는 시스템의 설치시에만 한번 수행되면 족하며, 설치 이후에는 상기 화소 이동 벡터 검출 단계(S20) 내지 보행자 추적 단계(S50)가 반복 수행될 수 있다.
보다 상세히 설명하면, 평균 신장(예를 들어, 175cm 내외)을 갖는 기준 보행자(R)가 영상에 포착되었을 때, 상기 기준 보행자(R)의 주변 영역에 가로 길이(Br) 와 세로 길이(Hr)의 비가 기준 비율을 갖는 기준 보행자 박스를 표시한다. 이때, 상기 기준 비율은 가로 길이에 대한 세로 길이의 비가 1 내지 3의 값을 갖도록 설정될 수 있다. 상기 비율이 1 이상인 경우, 신장이 상대적으로 작은 어린 아이까지 기준 보행자 박스 내에 포함할 수 있으며, 상기 비율이 3 이하인 경우, 보행자를 사물과 보다 용이하게 구별할 수 있다. 그리고 상기 기준 보행자 박스를 수평으로 이동하여, 기준 보행자 박스의 우측 하단 모서리가 도로 경계선과 접하도록 하고, 기준 보행자 박스의 우측 상단 모서리와 영상의 소멸점(Vanishing Point, VP)을 연결하여 신장 크기선(h)을 형성한다.
도 4는 본 발명의 실시예에 따른 보행자 위치 검출 방법에서 처음에 표시되는 영상을 도시한 것이다. 도 5는 본 발명의 실시예에 따른 보행자 위치 검출 방법에서 영상의 화소 이동 벡터 검출한 것을 도시한 것이다.
도 4 및 도 5를 참조하면, 상기 화소 이동 벡터 검출 단계(S20)는 차량에 부착된 카메라가 촬영한 영상을 모니터가 이를 디스플레이하되, 제어부가 상기 영상의 화소 이동 벡터를 결정하는 단계이다. 상기 화소 이동 벡터 검출 단계(S20)에서는 먼저, 보행자의 위치 검출을 용이하게 하기 위해, 상기 카메라가 촬영한 영상을 수정하여 관심 대상인 영상으로 설정한다. 예를 들어, 상기 모니터 화면(10)에 표시되는 영상은 아래쪽으로는 지평선을 중심으로 이동 수단의 10미터 전방에 해당하는 영상 위치에서 지평선과 평행한 선, 위쪽으로는 상기 선이 영상의 가로 중심선에 의해 대칭되는 선으로 설정될 수 있다.
그리고 상기 화소 이동 벡터 검출 단계(S20)에서는 영상의 에지에서 화소 이동 벡터를 연산한다. 이 때, 상기 에지 영역은 상기 영상을 구성하는 화소들의 사이에서 급격하게 데이터 값이 변하는 부분을 의미한다. 예를 들어, 도 2에서는 도로 경계선 또는 중앙선등이 에지 영역에 해당될 수 있다. 이러한 에지 영역은 배경 영상의 다른 화소들에 비해 명확하게 구분되므로, 후술할 바와 같이 상관(correlation) 연산을 통해 프레임별로 이동된 위치를 확인하기 용이하다. 또한, 상기 에지 영역에서만 연산을 처리하면 전체 화소에서 연산을 수행하는 경우에 비해 연산량을 줄일 수 있기 때문에 처리 시간을 줄일 수 있다.
상기 화소 이동 벡터는 상기 에지 영역들을 연속하는 프레임별로 상관(correlation) 연산으로 정합(match)하여 검출할 수 있다. 이 때, 상기 에지 영역을 각각 복수의 화소 영역으로 나누고 각 화소 영역에서의 프레임별 평균값을 이용하여 상관 연산을 수행한다. 예를 들어, k-1번째 프레임에서 화소 위치 (i, j)를 중심으로 한 3x3 영역에 대해 k번째 프레임에서 화소 위치 (p, q)를 중심으로 3x3 영역의 상관(correlation) 연산의 결과값을 r(i,j)(p,q)(k-1)이라 하면, 다음과 같이 계산된다.
Figure 112009079342064-pat00001
여기서, m(i,j)(k-1)는 k-1번째 프레임에서 화소 위치 (i, j)의 주변 3x3 영역 내의 화소들의 평균값이고, m(p,q)(k)는 k번째 프레임에서 화소 위치 (p, q)의 주변 3x3 영역 내의 화소들의 평균값이다. 그리고 만약 k-1번째 프레임의 화소 위치 (i, j)를 중심으로 한 3x3 영역이 k번째 프레임에서 (p, q)를 중심으로 한 3x3 영역과의 정합이 최대가 된다면, 화소 이동 벡터는 (p, q)와 (i, j)간의 이동 벡터가 된다. 따라서, 상기 방식을 통해 화소 영역의 이동 벡터를 구하고, 이를 통해 영상의 화소 이동 벡터를 검출할 수 있다.
상기 화소 이동 벡터 보정 단계(S30)는 차량이 회전하는 것을 반영하여 상기 화소 이동 벡터를 보정하는 단계이다. 차량이 직진하는 경우 영상의 중심선(C)에서는 영상의 수직 성분으로 화소 이동 벡터가 존재할 뿐, 영상의 수평 성분으로는 나타나지 않는다. 따라서, 차량의 회전시 중심선(C)에서 수평 성분으로 나타나는 이동 벡터는 차의 회전에 의해 발생된 벡터에 해당된다. 물론, 상기 중심선(C)에서 나타나는 벡터라고 하더라도 계산 에러 등으로 인하여 모두 정확하게 계산되는 것은 아니다. 그러나 차량의 회전에 의해 상기 중심선(C)에서 발생한 수평 성분은 상기 중심선(C)에서의 벡터들의 수평 성분들 중에서 가장 빈번하게 나타나게 된다. 따라서, 중심선(C)에서의 벡터 연산에 다소 에러가 있다고 하더라도, 가장 빈번하게 검출되는 수평 성분은 상기 차량의 회전이 반영된 올바른 벡터로 판단할 수 있다. 따라서, 상기 화소 이동 벡터 보정 단계(S20)는 차량의 회전시 상기 중심선(C)에서 나타나는 벡터들의 수평 성분들 중 빈도수가 가장 높은 수평 성분을 대표 수 평 성분으로 결정하고, 상기 대표 수평 성분만큼 상기 화소 이동 벡터로부터 감하여, 상기 화소 이동 벡터를 보정한다.
상기 보행자 검출 단계(S40)는 상기 영상 내에서 상기 화소 이동 벡터를 이용하여 보행자를 검출하는 단계이다. 상기 보행자 검출 단계(S40)에서는 상기 영상의 화소 이동 벡터 중에서, 상기 영상의 중심축(C)을 기준으로 반대로 이동하는 화소 이동 벡터가 있는 영역을 보행자로 검출한다.
보다 상세히 설명하면, 예를 들어, 차량이 직진하고 있는 경우 보행자가 없는 영상에서는 상기 화소 이동 벡터가 방사형으로 형성된다. 따라서, 상기 화소 이동 벡터는 상기 중심축(C)을 기준으로 왼쪽 영역에는 왼쪽을 향하는 것이 위치하고, 오른쪽 영역에는 오른쪽을 향하는 것이 위치하게 된다. 그리고 만약 보행자가 영상의 오른쪽에 존재하고, 도로를 가로질러 왼쪽으로 이동하고 있는 경우, 상기 보행자에 의한 화소 이동 벡터는 상기 중심축(C)을 기준으로 오른쪽 영역에 왼쪽을 향하도록 존재하게 된다. 따라서, 보행자가 존재하면, 상기 화소 이동 벡터 중에서 방사형 방향에 반대 방향으로 형성되는 것이 존재한다. 따라서, 상기 보행자 검출 단계(S30)에서는 상기 반대 방향의 화소 이동 벡터가 군집되어 존재하는 영역을 보행자로서 검출하게 된다.
한편, 상기 보행자 검출 단계(S40)에서는 상기 보행자를 보행자가 아닌 다른 물체와 구분하기 위해 하기의 과정을 더 수행할 수도 있다.
도 6은 본 발명의 실시예에 따른 보행자 위치 검출 방법에서 보행자 박스 크기를 결정하는 것을 도시한 것이다. 도 7은 본 발명의 실시예에 따른 보행자 위치 검출 방법에서 보행자에 대해 보행자 박스를 도시한 것이다. 도 8a 내지 도 8c는 본 발명의 다른 실시예에 따른 보행자 위치 검출 방법에서 보행자 박스를 구성하는 윈도우를 도시한 것이다.
보행자 뿐만 아니라, 예를 들어 차량이 영상의 오른쪽에서 왼쪽을 향해 도로를 가로질로 횡단하는 경우가 있을 수 있다. 이러한 차량을 보행자와 검출하기 위해, 본 발명의 실시예에 따른 보행자 검출 방법은 보행자 박스 및 보행자 윈도우를 사용한다.
도 6 및 7을 참조하면, 상기 보행자 박스는 상기 화소 이동 벡터가 반대 방향으로 존재하여 보행자로 의심되는 영상 내 영역을 구분하고, 상기 보행자 윈도우의 크기를 결정하기 위한 것이다. 그리고 보행자가 차량의 가까이 위치할수록 보행자의 크기는 커지며, 상기 보행자의 신장이 클수록 보행자 박스의 크기가 커지게 된다.
실제로 보행자(P)의 가능성이 영상 내에서 검출되었을 때, 상기 보행자(P)의 영상 중에서 가장 아래 지점(통상 보행자의 발)을 수평이동하여 상기 도로 경계선과 접하는 접점을 산출한다. 그리고 접점으로부터 수직 방향으로 선을 연장하여 상기 시스템 최초 설치 단계(S10)에서 설정한 신장 크기선(h)과 만나는 부분까지의 높이를 보행자 박스의 세로 길이(Hp)로 설정한다. 그리고 상기 세로 길이(Hp)에 대해 기준 비율을 갖는 길이를 산출하여 보행자 박스의 가로 길이(Bp)로 설정한다. 따라서, 상기 보행자(P)의 실제 신장에 관계없이 상기 기준 보행자(R)를 기준으로 설정된 보행자 박스가 구비될 수 있다.
그리고 상기 보행자 박스 내에 복수개의 윈도우를 구비한다. 상기 윈도우는 상기 보행자의 형상에 맞도록 설계된 것으로서, 상기 윈도우는 화소 단위로 이동하며 검사되어, 상기 보행자를 다른 물체와 구별하기 위한 정밀 조사 영역을 형성한다. 상기 정밀 조사 영역은 상기 화소 이동 벡터 중 역방향인 것의 위치와 상기 윈도우의 부합성을 화소 단위로 검사하는 영역을 의미한다. 또한, 상기 정밀 조사 영역은 상기 역방향인 화소 이동 벡터의 영역을 포함하면서 좌우상하로 최대한 움직여서 겹쳐지게 되는 영역을 의미한다. 따라서, 상기 정밀 조사 영역은 통상 상기 보행자 박스보다 크게 결정된다.
도 8a를 먼저 참조하면, 상기 윈도우가 상기 보행자 박스 내에 두 개로 이루어진 구성이 도시되어 있다. 도 8a에서 외곽에 점선으로 도시된 영역이 상기 보행자 박스이며, 그 내부에 실선으로 도시된 영역이 상기 윈도우이다.
상기 윈도우는 사이에 이격 거리(δ1)을 두고 이격된 제 1 윈도우(W1) 및 제 2 윈도우(W2)를 포함하여 이루어질 수 있다. 이 때, 상기 제 1 윈도우(W1) 및 제 2 윈도우(W2)와 이격 거리(δ1)의 합(T)은 보행자 박스의 가로 길이(Bp)와 동일하고, 세로 길이(L1)는 보행자 박스의 세로 길이(Hp)와 동일하다. 상기 제 1 윈도우(W1) 및 제 2 윈도우(W2)는 각각 보행자의 몸의 좌측 에지에서의 역방향 화소 이동 벡터와 우측 에지에서의 화소 이동 벡터를 검출하기 위한 구성이다. 그리고 상기 윈도 우(W1, W2)가 다음의 3가지 조건을 만족하는 경우, 상기 보행자 박스 내부의 물체를 보행자로서 판단하게 된다.
첫째로, 윈도우 내에 포함되는 수직 에지의 화소 수를 N_Ev라 하고, 윈도우 내에 포함되는 수평 에지의 화소 수를 N_Eh라고 하면, 윈도우 내에 포함되는 수직 에지의 화소 수(N-Ev)가 제 1 기준값(Th1) 이상이어야 한다. 즉,
[조건 1]
N-Ev≥Th1
여기서, 상기 제 1 기준값(Th1)은 상기 윈도우의 수직 방향 크기(화소 수)의 20%일 수 있다. 상기 제 1 기준값(Th1)이 20%인 경우, 보행자의 몸의 수직선 특성이 명확하게 나타날 수 있기 때문이다.
둘째로, 수직 에지의 화소 수가 수평 에지의 화소 수보다 커야 한다. 보행자의 몸은 수평한 에지 성분에 비해 수직한 에지 성분을 갖는 반면, 사물(예를 들어 차량)은 수평한 에지 성분을 더 많이 갖는 경우가 많기 때문이다. 즉,
[조건 2]
N_Ev≥N_Eh
셋째로, 제 1 윈도우(W1) 및 제 2 윈도우(W2) 내에서 역방향인 화소 이동 벡터의 수를 NIOF, 순방향인 화소 이동 벡터를 NFOF라고 할 때, 상기 역방향인 화소 이 동 벡터의 수(NIOF)가 제 2 기준값(Th2) 이상이어야 하고, 역방향인 화소 이동 벡터의 수(NIOF)가 순방향인 화소 이동 벡터의 수(NFOF)에 대해 제 3 기준값(Th3) 이상의 비율을 유지해야 한다. 즉,
[조건 3]
NIOF≥Th2
NIOF/(NIOF+NFOF)≥Th3
여기서, 상기 제 2 기준값(Th2)은 윈도우 수직 화소 수의 10%이상인 것이 바람직하고, 제 3 기준값(Th3)은 역방향인 화소 이동 벡터의 수(NIOF)가 뚜렷한 우세를 보여야 하기 때문에 70% 이상인 것이 바람직하다.
한편, 도 8b를 참조하면, 보행자 박스는 사이에 이격 거리(δ1)을 두고 이격된 제 3 윈도우(W3)와 제 4 윈도우(W4), 보행자의 머리 부분을 검출하기 위한 제 5 윈도우(W5)를 포함하여 이루어질 수 있다. 제 3 윈도우(W3)와 제 4 윈도우(W4) 및 이격 거리(δ1)의 합(T)은 보행자 박스의 가로 길이(Bp)를 구성하고, 제 5 윈도우의 세로 길이(H) 및 제 4 윈도우(W4)의 세로 길이(L2)의 합은 보행자 박스의 세로 길이(Hp)를 구성한다. 그리고 상기 제 3 윈도우 및 제 4 윈도우(W3, W4)의 조건은 도 13a에서의 조건과 동일하다. 한편, 상기 제 5 윈도우(W5)의 경우, 조건 1에서 제 1 기준값(Th1)이 10%만 검출되어도 조건 1을 만족하는 것으로 볼 수 있다.
또한, 도 8c를 참조하면, 보행자 박스는 사이에 보행자의 머리 부분을 검출하기 위한 제 5 윈도우(W5)의 하부에, 이격 거리(δ1)를 두고 이격된 제 6 윈도우(W6) 및 제 7 윈도우(W7)와, 이격 거리(δ2)을 두고 이격된 제 8 윈도우(W8) 및 제 9 윈도우(W9)를 포함하여 이루어질 수 있다. 상기 제 6 윈도우(W6)와 제 7 윈도우(W7) 및 이격 거리(δ1)의 합(T)은 보행자 박스의 가로 길이(Bp)를 구성하고, 제 5 윈도우의 세로 길이(H), 제 7 윈도우(W7)의 세로 길이(L3) 및 제 9 윈도우(W9)의 세로 길이(L4)의 합은 보행자 박스의 세로 길이(Hp)를 구성한다. 그리고 제 8 윈도우(W8) 및 제 9 윈도우(W9) 및 이격거리(δ2)는 보행자 박스의 가로 길이의 120%로서 보행 중에 넓어지는 다리를 용이하게 검출할 수 있도록 한다. 또한, 상기 제 6 윈도우 및 제 9 윈도우(W6 내지 W9)의 조건은 도 8a의 제 1 윈도우(W1) 및 제 2 윈도우(W2)의 조건과 동일하다. 또한, 상기 제 5 윈도우(W5)의 경우, 도 8b에서의 조건과 동일하다.
도 8a의 보행자 박스로부터 도 8c의 보행자 박스로 갈수록 보행자의 신체에 맞도록 점차적으로 다른 물체와 더 정확하게 구별할 수 있다. 따라서, 일단 도 8a의 보행자 박스를 통해 보행자가 검출되면, 도 8b, 도 8c의 보행자 박스를 순차적으로 적용하여 검출 가능성을 높일 수 있다.
도 9는 본 발명의 실시예에 따른 보행자 위치 검출 방법에서 보행자 위치를 추적한 것을 도시한 것이다. 상기 보행자 추적 단계(S50)는 영상에서 이전 프레임까지 연속적으로 존재하던 보행자가 검출되지 않는 경우, 상기 보행자(P)의 위치를 추적하는 단계이다.
특히, 상기 보행자(P)가 배경 영상의 우측으로부터 좌측으로 진행하면서 중심선(C)을 넘은 이후 또는 좌측으로부터 우측으로 진행하면서 중심선(C)을 넘은 이후에는 상기 보행자(P)의 이동 벡터와 상기 배경 영상의 이동 벡터의 방향이 일치하게 되기 때문에, 상기 보행자(P)의 위치를 판단하기 어렵다. 또한, 이 경우, 상기 보행자(P)는 이전 프레임에서 연속적으로 존재했기 때문에 상기 보행자(P)가 영상 내에 존재할 것이라고 예측할 수 있다.
따라서, 이러한 경우, 상기 보행자(P)가 영상 내에 연속적으로 존재하다가 특정 프레임에서 검출되지 않는 경우, 상기 보행자(P)가 검출되던 이전 프레임에서의 화소 이동 벡터를 연속적으로 적용하여 상기 보행자(P)의 위치를 추적함으로써, 보행자의 위치를 보다 정확하게 검출할 수 있다.
이상에서 설명한 것은 본 발명에 의한 보행자 위치 검출 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
도 1은 본 발명의 실시예에 따른 보행자 위치 검출 방법을 설명하기 위한 플로우챠트이다.
도 2는 본 발명의 실시예에 따른 보행자 위치 검출 방법에서 처음에 표시되는 영상을 도시한 것이다.
도 3은 본 발명의 실시예에 따른 보행자 위치 검출 방법에서 영상의 화소 이동 벡터 검출한 것을 도시한 것이다.
도 4는 본 발명의 실시예에 따른 보행자 위치 검출 방법에서 기준 보행자에 대해 기준 보행자 박스를 도시한 것이다.
도 5는 본 발명의 실시예에 따른 보행자 위치 검출 방법에서 평균 신장선을 도시한 것이다.
도 6은 본 발명의 실시예에 따른 보행자 위치 검출 방법에서 보행자 박스 크기를 결정하는 것을 도시한 것이다.
도 7은 본 발명의 실시예에 따른 보행자 위치 검출 방법에서 보행자에 대해 보행자 박스를 도시한 것이다.
도 8a 내지 도 8c는 본 발명의 다른 실시예에 따른 보행자 위치 검출 방법에서 보행자 박스를 구성하는 윈도우를 도시한 것이다.
도 9는 본 발명의 실시예에 따른 보행자 위치 검출 방법에서 보행자 위치를 추적한 것을 도시한 것이다.
<도면의 주요 부분에 대한 부호의 설명>
10; 모니터 화면 R; 기준 보행자
P; 보행자

Claims (14)

  1. 차량에 부착된 카메라가 촬영한 영상을 모니터가 출력하고, 제어부가 상기 영상 내에서 보행자의 위치를 검출하는 방법에 있어서,
    상기 차량의 전진에 따라, 상기 제어부가 상기 영상을 구성하는 에지 영역이 프레임별로 이동한 정도를 통해 화소 이동 벡터를 결정하는 화소 이동 벡터 검출 단계;
    상기 차량의 회전에 따라, 상기 영상의 중심선에서 나타나는 화소 이동 벡터들의 수평 성분들 중에서 대표 수평 성분을 상기 화소 이동 벡터로부터 감하여, 상기 화소 이동 벡터를 보정하는 화소 이동 벡터 보정 단계; 및
    상기 영상의 상기 화소 이동 벡터 중에서 역방향인 화소 이동 벡터가 군집되어 존재하는 영역을 보행자로 검출하는 보행자 검출 단계를 포함하고,
    상기 화소 이동 벡터 검출 단계는 동일 프레임에서 상기 영상의 화소별 데이터값의 차이가 기준값 이상인 부분을 에지 영역으로 판단하고, 상기 에지 영역의 데이터를 프레임별로 상관(correlation) 연산하여 상기 영상의 화소 이동 벡터를 검출하는 보행자 위치 검출 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 화소 이동 벡터 검출 단계는
    상기 에지 영역을 각각 복수개의 화소 영역으로 각각 분류하고, 프레임별로 상기 화소 영역을 상관 연산하여 상기 화소 영역의 프레임별 이동 벡터를 검출하여, 상기 영상의 화소 이동 벡터를 검출하는 것을 특징으로 하는 보행자 위치 검출 방법.
  4. 제 3 항에 있어서,
    상기 화소 이동 벡터 보정 단계는
    상기 영상의 중심선에서 나타나는 화소 이동 벡터 중의 수평 성분 중 가장 빈도가 높은 것을 상기 대표 수평 성분으로 설정하여 상기 영상의 화소 이동 벡터를 보정하는 것을 특징으로 하는 보행자 위치 검출 방법.
  5. 제 1 항에 있어서,
    보행자의 위치 검출을 위한 시스템 설치시에
    상기 영상 내에 위치한 기준 보행자의 주변 영역에 가로 길이 및 세로 길이의 비율이 기설정된 기준 비율을 만족하도록 기준 보행자 박스를 설정하고,
    상기 기준 보행자 박스를 상기 영상에서 수평 이동하여 우측 하부 모서리가 상기 도로 경계선에 접하도록 하며,
    상기 기준 보행자 박스의 우측 상부 모서리를 상기 영상의 소멸점과 연결하여 신장 크기선을 설정하는 시스템 최초 설치 단계를 더 포함하는 것을 특징으로 하는 보행자 위치 검출 방법.
  6. 제 5 항에 있어서,
    상기 보행자 검출 단계의 상기 기준 비율은
    가로 길이에 대한 세로 길이의 비가 1 내지 3인 것을 특징으로 하는 보행자 위치 검출 방법.
  7. 제 6 항에 있어서,
    상기 보행자 검출 단계는
    상기 보행자를 상기 영상 내에서 검출하면, 상기 보행자의 영상 중에서 최하단의 지점을 수평이동하여 상기 도로 경계선과 접점을 형성하도록 하고,
    상기 접점을 수직이동하여 상기 신장 크기선과 만나는 지점까지의 높이를 보행자 박스의 세로 길이로 설정하며,
    상기 세로 길이에 대해 상기 기준 박스 비율을 만족하도록 가로 길이를 설정하여 상기 보행자 박스로 결정하는 것을 특징으로 하는 보행자 위치 검출 방법.
  8. 제 7 항에 있어서,
    상기 보행자 검출 단계는
    상기 보행자의 주변 영역에 상기 보행자 박스를 표시하고,
    상기 보행자 박스 내에 복수개의 윈도우를 형성하여,
    상기 복수개의 윈도우 내의 화소 이동 벡터 중에서 역방향인 것의 비율을 계산하여 상기 복수개의 윈도우 내에서 모두 기설정된 역방향 비율보다 큰 경우 상기 보행자를 검출하는 것을 특징으로 하는 보행자 위치 검출 방법.
  9. 제 8 항에 있어서,
    상기 보행자 검출 단계의 기설정된 역방향 비율은 70%인 것을 특징으로 하는 보행자 위치 검출 방법.
  10. 제 8 항에 있어서,
    상기 보행자 검출 단계는
    상기 보행자의 몸의 좌측 에지 영역과 우측 에지 영역에서의 화소 이동 벡터를 검출할 수 있도록 상기 윈도우를 2개의 사각형 형태로 구비하는 것을 특징으로 하는 보행자 위치 검출 방법.
  11. 제 8 항에 있어서,
    상기 보행자 검출 단계는
    상기 보행자의 몸의 좌측 에지 영역, 우측 에지 영역 및 머리에서 생성되는 이동 벡터를 검출할 수 있도록 상기 윈도우를 3개의 사각형 형태로 구비하는 것을 특징으로 하는 보행자 위치 검출 방법.
  12. 제 8 항에 있어서,
    상기 보행자 검출 단계는
    상기 보행자의 몸의 좌측 에지와 우측 에지, 다리의 좌측 에지와 우측 에지 및 머리에서 생성되는 이동 벡터를 검출할 수 있도록 상기 윈도우를 5개의 사각형 형태로 구비하는 것을 특징으로 하는 보행자 위치 검출 방법.
  13. 제 10 항 내지 12 항 중 어느 한 항에 있어서,
    상기 보행자 검출 단계는
    상기 윈도우 내에서 역방향 이동 벡터의 수가 기준 개수 이상이고, 상기 윈도우 내에서 전체 이동 벡터에 대한 역방향 이동 벡터의 비율이 기준 비율 이상인 경우 상기 윈도우의 중심을 상기 보행자의 위치로 판단하는 것을 특징으로 하는 보행자 위치 검출 방법.
  14. 제 1 항에 있어서,
    상기 보행자 검출 단계의 이후,
    이전 프레임까지 연속적으로 검출되던 보행자가 검출되지 않는 경우,
    검출되었던 상기 이전 프레임에서의 역방향인 화소 이동 벡터를 적용하여 상기 보행자의 위치를 추적하는 보행자 추적 단계가 더 이루어지는 것을 특징으로 하 는 보행자 위치 검출 방법.
KR1020090128909A 2009-12-22 2009-12-22 차량 탑재 카메라를 이용한 주행 중 도로횡단 보행자 검출 방법 KR101131580B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090128909A KR101131580B1 (ko) 2009-12-22 2009-12-22 차량 탑재 카메라를 이용한 주행 중 도로횡단 보행자 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090128909A KR101131580B1 (ko) 2009-12-22 2009-12-22 차량 탑재 카메라를 이용한 주행 중 도로횡단 보행자 검출 방법

Publications (2)

Publication Number Publication Date
KR20110072107A KR20110072107A (ko) 2011-06-29
KR101131580B1 true KR101131580B1 (ko) 2012-03-30

Family

ID=44403078

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090128909A KR101131580B1 (ko) 2009-12-22 2009-12-22 차량 탑재 카메라를 이용한 주행 중 도로횡단 보행자 검출 방법

Country Status (1)

Country Link
KR (1) KR101131580B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9392146B2 (en) 2012-08-24 2016-07-12 Hanwha Techwin Co., Ltd. Apparatus and method for extracting object

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102493994B1 (ko) * 2016-01-27 2023-02-02 (주)엠아이웨어 영상 흔들림 보정 기능을 구비한 자동차용 영상 저장 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008203992A (ja) * 2007-02-16 2008-09-04 Omron Corp 検出装置および方法、並びに、プログラム
JP2009157581A (ja) * 2007-12-26 2009-07-16 Toyota Central R&D Labs Inc 歩行者検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008203992A (ja) * 2007-02-16 2008-09-04 Omron Corp 検出装置および方法、並びに、プログラム
JP2009157581A (ja) * 2007-12-26 2009-07-16 Toyota Central R&D Labs Inc 歩行者検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9392146B2 (en) 2012-08-24 2016-07-12 Hanwha Techwin Co., Ltd. Apparatus and method for extracting object

Also Published As

Publication number Publication date
KR20110072107A (ko) 2011-06-29

Similar Documents

Publication Publication Date Title
CN110555361B (zh) 车道分类的图像处理方法
KR101517181B1 (ko) 차선 이탈 경보 시스템 및 방법
JP4942509B2 (ja) 車両位置検出方法及び装置
JP4203512B2 (ja) 車両周辺監視装置
US8902053B2 (en) Method and system for lane departure warning
US20180197021A1 (en) Lane detection device, lane departure determination device, lane detection method and lane departure determination method
US10268902B2 (en) Outside recognition system, vehicle and camera dirtiness detection method
US9690994B2 (en) Lane recognition device
US9965690B2 (en) On-vehicle control device
JP5904925B2 (ja) 車両周辺監視装置
US20160203720A1 (en) Apparatus for safety-driving of vehicle
EP2827318A1 (en) Vehicle periphery monitor device
JP6542539B2 (ja) 車両用進入可否判定装置
WO2012004938A1 (ja) 車両の周辺監視装置
EP2741234B1 (en) Object localization using vertical symmetry
US10235579B2 (en) Vanishing point correction apparatus and method
JP2011090556A (ja) 遠赤外線歩行者検知装置
KR101268282B1 (ko) 차량용 내비게이션의 차선 이탈 알림 시스템 및 방법
JP6672202B2 (ja) 車載カメラシステム、付着物検出装置、付着物除去方法、及び付着物検出プログラム
JP2003281700A (ja) 割り込み車両検出装置及びその方法
KR101131580B1 (ko) 차량 탑재 카메라를 이용한 주행 중 도로횡단 보행자 검출 방법
KR101205565B1 (ko) 영상을 이용한 전후방 차량 검출 방법
KR101865958B1 (ko) 속도 제한 표지판 인식 장치 및 방법
JP4842301B2 (ja) 歩行者検出装置及びプログラム
US9519833B2 (en) Lane detection method and system using photographing unit

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160323

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170502

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180921

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee