KR102119641B1 - 보행자 검출 장치 및 방법 - Google Patents

보행자 검출 장치 및 방법 Download PDF

Info

Publication number
KR102119641B1
KR102119641B1 KR1020140099222A KR20140099222A KR102119641B1 KR 102119641 B1 KR102119641 B1 KR 102119641B1 KR 1020140099222 A KR1020140099222 A KR 1020140099222A KR 20140099222 A KR20140099222 A KR 20140099222A KR 102119641 B1 KR102119641 B1 KR 102119641B1
Authority
KR
South Korea
Prior art keywords
distance
pedestrian
dangerous area
module
area
Prior art date
Application number
KR1020140099222A
Other languages
English (en)
Other versions
KR20160017269A (ko
Inventor
김재광
윤성원
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140099222A priority Critical patent/KR102119641B1/ko
Publication of KR20160017269A publication Critical patent/KR20160017269A/ko
Application granted granted Critical
Publication of KR102119641B1 publication Critical patent/KR102119641B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

본 발명은 위험영역을 검출하고, 검출된 위험영역을 이용하여 보행자를 검출 장치 및 방법에 관한 것이다.
상기 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 보행자 검출 장치는 거리센싱모듈의 전면을 복수의 영역으로 구분하고, 상기 복수의 영역 각각과 상기 거리센싱모듈 간의 거리정보를 획득하는 상기 거리센싱모듈, 상기 복수의 영역 각각에 대한 거리정보에 기초하여 거리 데이터열을 생성하고, 상기 거리 데이터열을 분석하여 위험영역을 검출하는 위험영역검출모듈, 상기 복수의 영역을 촬영한 영상을 획득하는 카메라모듈, 상기 거리정보를 포함하는 상기 위험영역에 대한 정보에 기초하여, 상기 획득한 영상 위에 상기 위험영역에 대응하는 영역을 특정하는 매핑모듈, 및 상기 특정된 영역에서 보행자를 검출하는 보행자검출모듈을 포함할 수 있다.

Description

보행자 검출 장치 및 방법{DEVICE AND METHOD FOR DETECTING PEDESTRIANS}
본 발명은 보행자 검출 장치 및 방법에 관한 것으로서, 더욱 자세하게는 위험영역을 검출하고, 검출된 위험영역을 이용하여 당해 보행자를 검출 장치 및 방법에 관한 것이다.
도로교통공단의 2011년도 교통사고시 상태별 사망자 구성비에 따르면, 교통사고 사망자 중 39.1%가 보행자이었던 것으로 집계되었고, 그 중 무단횡단에 의한 사망자가 62.8%이었다. 한편, 무단횡단에 의한 사망자 중 68.3%는 폭 9미터 미만의 도로에서 발생하였는데, 이를 바꾸어 말하면 운전자는 도심의 좁은 도로를 운전할 때 항상 인명사고가 일어날 가능성에 노출되어 있다는 것이다.
따라서, 최근의 자동차 및 관련 부품 제조사들은 안전 운전을 위하여 다양한 노력을 기울이고 있다. 그 노력의 결과 중 하나는 카메라 등으로 차량의 주행방향 전면의 영상을 획득하고, 실시간으로 영상에 있는 보행자를 찾아내는 것이다.
그러나, 상기와 같이 실시간으로 영상에 있는 보행자를 찾아내는 것의 경우, 카메라로부터 획득된 영상에 존재하는 모든 물체에 대하여 스캐닝을 수행하여야 하고, 또한, 그 중에서 보행자를 찾아내어야 한다. 이에 따라서 시시각각 변할 수 있는 교통상황이나 물체의 돌발 출현 등을 검출하고 이를 운전자에게 실시간으로 통지하기 곤란하였다.
본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 거리센싱모듈과 카메라를 사용하여, 도심에서 위험영역을 검출하고, 검출된 위험영역 내에서 돌발 출현하여 사고를 일으킬 수 있는 보행자를 보다 빠르게 검출하는 것을 목적으로 한다.
상기 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 보행자 검출 장치는 거리센싱모듈의 전면을 복수의 영역으로 구분하고, 상기 복수의 영역 각각과 상기 거리센싱모듈 간의 거리정보를 획득하는 상기 거리센싱모듈, 상기 복수의 영역 각각에 대한 거리정보에 기초하여 거리 데이터열을 생성하고, 상기 거리 데이터열을 분석하여 위험영역을 검출하는 위험영역검출모듈, 상기 복수의 영역을 촬영한 영상을 획득하는 카메라모듈, 상기 거리정보를 포함하는 상기 위험영역에 대한 정보에 기초하여, 상기 획득한 영상 위에 상기 위험영역에 대응하는 영역을 특정하는 매핑모듈, 및 상기 특정된 영역에서 보행자를 검출하는 보행자검출모듈을 포함할 수 있다.
본 발명의 다른 실시예에 따른 보행자 검출 장치에 있어서, 상기 복수의 영역은 m행 n열의 m×n개의 영역으로 이루어지고, 상기 거리 데이터열은 1행 n열의 n개의 데이터값으로 이루어질 수 있다(단, m 및 n은 1 이상의 정수).
본 발명의 다른 실시예에 따른 보행자 검출 장치에 있어서, m이 1인 경우 상기 1행 n열로 이루어진 거리 데이터열은 상기 m행 n열로 이루어진 복수의 영역 각각에 대한 거리정보와 동일할 수 있다. 또한 m이 2 이상의 정수인 경우 상기 1행 n열로 이루어진 거리 데이터열은 상기 m행 n열로 이루어진 복수의 영역 각각에 대한 거리정보에 있어서, 각 열의 평균값을 포함할 수 있다.
본 발명의 다른 실시예에 따른 보행자 검출 장치에 있어서, 상기 위험영역검출모듈은 기준 거리 데이터열의 패턴과 비교하여 상기 거리 데이터열을 분석할 수 있다.
본 발명의 다른 실시예에 따른 보행자 검출 장치에 있어서, 상기 위험영역검출모듈은 상기 거리 데이터열의 패턴이 기준 거리 데이터열의 패턴에서 벗어난 경우로서, 상기 거리 데이터열의 제2 데이터값이, 직전의 제1 데이터값보다 소정의 값을 초과하여 증가한 경우, 상기 복수의 영역에 있어서, 상기 제2 데이터값을 가진 열의 전후 소정의 열을 위험영역으로 검출할 수 있다.
본 발명의 다른 실시예에 따른 보행자 검출 장치에 있어서, 상기 매핑 모듈은 상기 위험영역에 대한 정보에 기초하여, 상기 위험영역의 3차원 좌표를 산출하고, 상기 3차원 좌표를 이용하여, 상기 영상 중 상기 위험영역에 대응하는 영역을 특정할 수 있다.
본 발명의 다른 실시예에 따른 보행자 검출 장치에 있어서, 보행자의 특징을 데이터베이스화하여 저장하는 저장모듈을 더 구비하고, 상기 보행자검출모듈은 상기 특정된 영역에서 특징을 추출하고, 상기 추출된 특징을 상기 보행자의 특징과 비교함으로써, 보행자를 검출할 수 있다.
본 발명의 다른 실시예에 따른 보행자 검출 장치에 있어서, 상기 특징은 텍스쳐(texture), 에지(edge)일 수 있다.
본 발명의 다른 실시예에 따른 보행자 검출 장치에 있어서, 상기 저장모듈은 상기 보행자로 검출된 상기 특징을 데이터베이스화하여 기계학습(Machine Learning)을 수행하는 것일 수 있다.
본 발명의 다양한 실시예에 의하면, 거리센싱모듈로 먼저 위험영역을 검출하고, 위험영역에 대응하는 한정된 영상에서만 보행자를 검출하므로, 모든 영상에서 보행자를 검색해낼 필요가 없어져 보행자의 검출에 신속성을 도모할 수 있다. 또한, 위험영역에 대응하는 한정된 영상에서만 보행자를 검출하므로, 획득된 영상의 다른 영역으로부터 영향을 받지 않는다. 이로써 보행자의 검출에 정밀성을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 보행자 검출 장치를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 보행자 검출 장치의 거리센싱모듈을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 보행자 검출 장치의 거리센싱모듈이 거리를 측정하는 범위를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 보행자 검출 장치의 거리센싱모듈이 측정한 거리를 단순화하여 나타낸다.
도 5는 본 발명의 일 실시예에 따른 보행자 검출 장치의 위험영역검출모듈이 위험영역을 검출하는 원리를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 보행자 검출 장치의 매핑모듈이 영상 위에 위험영역의 영역을 특정하는 것을 설명하기 위한 도면이다.
도 7은 다양한 보행자의 영상을 나타낸다.
도 8은 보행자의 영상 및 당해 영상으로부터 추출한 특징을 나타낸다.
도 9는 본 발명의 일 실시예에 따른 보행자 검출 방법의 흐름도를 나타낸다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 보행자 검출 장치를 나타낸다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 보행자 검출 장치(1000)는 거리센싱모듈(101), 위험영역검출모듈(102), 카메라모듈(103), 매핑모듈(104), 및 보행자검출모듈(105)을 포함할 수 있다.
보행자 검출 장치(1000)는 일반적으로 차량에 장착될 수 있으나, 오토바이 등 다른 이동체 및 교통수단에의 장착을 배제하는 것은 아니다. 거리센싱모듈(101)은 차량의 전면부에 마련되어, 주행방향의 전면에 존재하는 물체들과 거리센싱모듈(101)과의 거리를 측정할 수 있다. 구체적으로, 거리센싱모듈(101)은 주행방향의 전면을 복수의 영역으로 구분하고, 각각의 영역과 거리센싱모듈(101)과의 거리를 측정할 수 있다. 위험영역검출모듈(102)은 상기 복수의 영역의 위치(예컨대 2차원 행렬상의 위치) 및 거리센싱모듈(101)에서 센싱한 그 위치에 대응하는 영역의 거리정보에 기초하여 거리 데이터열을 생성할 수 있다. 이어서, 위험영역검출모듈(102)은 생성한 거리 데이터열을, 기준 거리 데이터열의 패턴 및/또는 데이터값의 변화를 분석하여 상기 복수의 영역 중 위험영역을 검출할 수 있다. 매핑모듈(104)은 위험영역검출모듈(102)이 검출한 위험영역의 위치(예컨대 상기 복수의 영역상의 2차원 행렬상의 위치)와 그에 대응하는 거리정보를 이용하여, 카메라모듈(103)에서 획득한 영상에서 상기 위험영역에 대응하는 영역을 특정할 수 있다. 보행자검출모듈(105)은 매핑모듈(104)이 특정한 상기 영역 중에서 보행자를 검출할 수 있다.
본 발명의 일 실시예에 따른 보행자 검출 장치(1000)의 구성 및 동작의 개략은 상기와 같다. 이하에서는 도 2 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 보행자 검출 장치(1000)를 더욱 상세히 설명하기로 한다.
도 2의 (a)는 본 발명의 일 실시예에 따른 보행자 검출 장치(1000)의 거리센싱모듈(101)을 나타내고, (b)는 거리센싱모듈(101)의 사용 예시를 나타낸다.
거리센싱모듈(101)은 그 종류에 따라 장착되는 위치가 다를 수 있으나, 일반적으로 차량 전면의 라디에이터 그릴의 내부에 장착될 수 있다. 또한 거리센싱모듈(101)은 거리 정보를 획득할 수 있는 라이더(Lidar; LIght Detection And Ranging, 혹은 laser radar), ToF 카메라(Time of Flight camera) 등으로 구현될 수 있다.
거리센싱모듈(101)은 도 2(a)에 도시한 바와 같이, 거리센싱모듈(101)의 전면을 수평방향으로 복수의 레이어(layer)로 구분할 수 있고, 각 레이어를 다시 수직방향으로 분할하여, 각 분할된 복수의 영역마다 거리센싱모듈(101)과의 거리를 측정할 수 있다.
도 2 및 본 명세서에서는 4개의 레이어를 가진 라이더(Lidar)를 거리센싱모듈(101)의 예로 설명하였으나, 16, 32, 64 레이어 등 더욱 많은 레이어를 가진 라이더를 활용할 수도 있다. 또한, 수직방향의 분할 역시 센서의 종류에 따라 다양한 분해능을 가질 수 있다.
이해를 돕기 위하여, 거리센싱모듈(101)을 사용한 예시로서 도 2(b)가 도시되어 있다. 도 2(b)를 참조하면, 거리센싱모듈(101)의 화각에 포함된 도로 전방의 차량의 일부분 및 보행자의 일부분이 4개의 레이어에 의하여 거리가 측정되고 있다.
이하에서는 거리센싱모듈(101)를 4개의 레이어를 가진 라이더로 보고, 거리센싱모듈(101)에 의하여 거리정보가 측정되는 동작을 도 3 및 도 4를 이용하여 상세히 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 보행자 검출 장치(1000)의 거리센싱모듈(101)이 거리를 측정하는 범위를 단순화하여 나타낸다.
도 3을 참조하면, 주행방향 전면에 있어서 거리센싱모듈(101)이 거리를 측정하는 범위는 m행 n열의 m×n개의 영역으로 이루어진 복수의 영역일 수 있다(단, m 및 n은 1 이상의 정수). 예를 들어 도 3의 경우는 4개 레이어(m=4)를 가지는 거리센싱모듈(101)이므로, 4행 n열의 4n개의 영역으로 이루어진 복수의 영역이 거리 측정의 범위가 된다. 한편, 상술한 것과 같이 레이어는 반드시 4개일 필요가 없으며, 상기 복수의 영역이 더욱 많아져 영역이 세밀화될수록 거리 측정의 정확도는 높아질 수 있다. 또한, 거리센싱모듈(101)이 거리를 측정하는 범위는 행렬이 아니라 거리센싱모듈(101)을 중심으로한 좌표로써 표현될 수도 있다.
도 4(a)는 본 발명의 일 실시예에 따른 보행자 검출 장치(1000)의 거리센싱모듈(101)이 측정한 거리정보를 간략화시켜 나타내고, (b)는 (a)에 도시된 거리정보에 대응하는 거리 데이터열의 일례를 나타낸다.
도 4(a)를 참조하면, 거리센싱모듈(101)이 거리를 측정하는 범위, 즉 4n개로 구성되는 복수의 영역에 대하여 각각 측정한 거리정보를 단순화하여 나타내고 있다. 예를 들어, 제1, 2 및 3열의 영역들은 거리센싱모듈(101)로부터 각각 5m(meter), 6m 및 7m만큼 떨어져 있고, 제1행 제4열의 영역은 21m, 제2행 제4열의 영역은 20m, 제3행 제4열의 영역은 20m, 제4행 제4열의 영역은 16m만큼 거리센싱모듈(101)로부터 떨어져 있는 것을 나타낸다(위험영역(401)에 대하여는 후술).
한편, 위험영역검출모듈(102)은 거리센싱모듈(101)에서 측정(획득)된 복수의 영역 각각에 대한 거리정보에 기초하여 거리 데이터열을 생성하고, 이 거리 데이터열을 분석하여 위험영역을 검출할 수 있다.
도 4의 (b)를 참조하면, 거리 데이터열은 1행 n열의 n개의 데이터값으로 이루어질 수 있다(단, n은 1 이상의 정수). 거리 데이터열은 거리센싱모듈(101)에서 획득한 m행 n열로 이루어진 복수의 영역에 대한 거리정보로부터 생성될 수 있다. 도 4(b)의 거리 데이터열의 경우, 도 4의 (a)에 있어서 각 열의 영역에서 측정된 거리정보의 평균값을 데이터값으로서 가진다. 예를 들어 도 4(a)의 복수의 영역에 있어서 제4열의 경우 제1행에 21m, 제2행에 20m, 제3행에 20m, 및 제4행에 16m가 거리정보로서 포함되어 있다. 이때, 위험영역검출모듈(102)은 이들 거리정보의 평균값(19.25)을 4번째(제4열) 데이터값으로 가지는 거리 데이터열을 생성할 수 있다. 한편, 1개 레이어를 가지는 거리센싱모듈(101)이 사용되는 경우는 m이 1인 경우이므로 데이터열은 1행 n열로 이루어진 복수의 영역 각각에 대한 거리정보와 동일할 수 있다.
또한, 거리 데이터열은 위험영역검출모듈(102)에 의하여 순방향(제1 방향), 역방향(제2 방향), 또는 순방향/역방향 동시에, 판독되고 분석될 수 있다. 가령 순방향으로 데이터값을 판독하여 그래프로 나타내는 경우 도 5의 우측에 도시된 그래프들처럼 도시될 수 있다. 다만, 순방향 또는 역방향으로 데이터값을 판독함에 있어서는 거리 데이터열의 중간의 열(n/2열 또는 그 부근의 열)에 할당된 데이터값까지 판독하여야 한다. 따라서 위험영역검출모듈(102)이 상기 복수의 영역 모두에 대한 거리 데이터열을 얻기 위하여는 순방향/역방향 동시에 판독하여 분석함이 바람직하다. 이하 설명에서는 순방향(제1 방향)으로 판독하고, 거리 데이터열의 중간의 열(n/2열 또는 그 부근의 열)에 할당된 데이터값까지 판독하는 것으로 설명한다. 또한 역방향으로의 판독 및 분석은 순방향의 판독 및 분석과 대칭되므로 그 설명을 생략한다.
한편, 이러한 거리 데이터열에 포함된 데이터값은 거리정보의 수직 성분이(열(列)이) 많아짐(n>>1)에 따라서 거의 연속적으로 변동할 수 있고, 그러한 경우, 거리 데이터열로부터 검출되는 위험영역의 검출 정밀도가 상승될 수 있다.
도 5(a) 내지 (c)는 본 발명의 일 실시예에 따른 보행자 검출 장치(1000)의 위험영역검출모듈(102)이 위험영역을 검출하는 원리를 나타낸다.
위험영역검출모듈(102)은 앞서 설명한 방법으로 생성한 거리 데이터열을 분석하여 위험영역을 검출할 수 있다. 이때, 위험영역이란, 주차된 자동차와 같은 장애물에 의하여 운전자가 즉각적으로 보행자를 인지하기 곤란한 영역을 나타낸다. 구체적으로, 위험영역은 거리센싱모듈(101)에 있어서 구분된 복수의 영역 중 일부의 영역(행렬상의 영역)일 수 있으며, 후술하는 카메라모듈에 의하여 획득된 영상 중 일부의 영역(행렬상의 영역)일 수 있다.
도 5(a)를 참조하면, 기준 거리 데이터열의 데이터값(측정거리의 평균)을 나타내는 복수의 화살표가 좌측에 도시되어 있고, 이에 대응하는 그래프가 우측에 도시되어 있다. 위험영역검출모듈(102)은 순방향(도 4(b)에서 제1 방향, 도 5(a)에서 가장 좌측의 화살표에서 가장 우측의 화살표에 이르는 방향(상→하))에 따라서 거리 데이터열을 판독할 수 있다. 위험영역검출모듈(102)이 판독하는 것은 물체까지의 거리에 관한 값을 가진 데이터열이므로, 도 5(a)의 우측 그래프에서 알 수 있듯이, 거리 데이터열에 있어서 순방향으로 판독되는 데이터값(당해 열에서 측정된 거리의 평균)의 그래프는 비선형으로 증가할 수 있다.
한편, 도 5(a)는 건물 등의 건조물 옆 노견(路肩) 또는 보도(步道)에 장애물이 존재하지 않는 경우를 나타내는데, 이러한 경우 얻어지는 거리 데이터열을 기준 거리 데이터열이라 한다. 기준 거리 데이터열에 있어서 순방향(제1 방향)으로 판독되는 데이터값(당해 열에서 측정된 거리의 평균)의 그래프는 도 5(a)의 우측 그래프에 나타낸 바와 같이 비교적 매끄러운 비선형 곡선의 패턴을 가질 수 있다(건물의 형상이나 가로등에 의한 미세한 거리 값의 오차는 고려하지 않는다). 이러한 기준 거리 데이터열의 형상(패턴)은 위험영역검출모듈(102)이 거리 데이터열을 분석함에 있어서, 패턴 비교의 기준으로서 이용될 수 있다.
도 5(b)는 건물 등의 건조물 옆 노견 또는 보도에 있어서, 돌출된 장애물이 존재하는 경우를 나타낸다. 이 경우 거리 데이터열에 있어서 순방향(제1 방향)으로 판독하면, 주행방향으로부터 장애물을 바라보는 측의 데이터값(당해 열에서 측정된 거리의 평균)은 기준 거리 데이터열의 그래프(도 5의 (a))와 비교하였을 때 상대적으로 감소하였다가 장애물의 끝단(①)에 이른 직후 급격히 증가(②)한다. 이는 도 5(b)의 우측에 도시된 그래프로부터 확인할 수 있다.
한편, 도 5(c)는 예를 들어 건물 등의 건조물과 다른 건조물 사이의 공간이 존재하는 등, 움푹 패인 부분이 존재하는 경우를 나타낸다. 이 경우 거리 데이터열에 있어서 순방향(제1 방향)으로 판독하면, 주행방향으로부터 장애물을 바라보는 측의 데이터값(당해 열에서 측정된 거리의 평균)은, 기준 거리 데이터열의 그래프(도 5(a))와 비교하여, 급격하게 증가하였다가(③) 움푹패인 부분의 끝단(④)에 이르면 기준 거리 데이터열의 그래프로 되돌아간다. 이는 역시 도 5(c)의 우측에 도시된 그래프로부터 확인할 수 있다.
그러므로, 위험영역검출모듈(102)은 기준 거리 데이터열의 패턴(도 5(a)의 경우)과 비교하여 생성한 거리 데이터열을 분석하여 위험영역을 검출할 수 있다. 구체적으로, 거리 데이터열의 패턴이 기준 거리 데이터열의 패턴에서 벗어난 경우로서, 거리 데이터열의 데이터값이, 직전의 데이터값보다 소정의 값을 초과하여 증가한 경우, 거리센싱모듈(101)에서 구분된 상기 복수의 영역에 있어서, 상기 소정의 값을 초과하여 증가한 직후 데이터값을 가진 열의 전후 소정의 열을 위험영역으로 검출할 수 있다.
가령 도 5(b) 및 (c)의 경우는 모두 거리 데이터열의 패턴이 기준 거리 데이터열의 패턴에서 벗어난 경우이고, 데이터값 ① 및 ③에서 데이터값 ② 및 ④으로 소정의 값을 초과하여 (급격하게) 증가하였으므로, 거리센싱모듈(101)에서 구분된 복수의 영역에 있어서 데이터값 ② 및 ④을 가지는 열의 전후의 소정의 열을 위험영역으로 검출할 수 있다.
또다른 예로서, 도 4(a),(b)의 경우를 설명한다. 다만 4(a),(b)의 경우는 데이터값이 단순화되어 있고 그 개수도 적어, 기준 거리 데이터열의 패턴에서 벗어났는지 판단하기 곤란하나, 기준 거리 데이터열의 패턴에서 벗어난 경우로 한다. 또한 "소정의 값"은 10, "소정의 열"은 2개 열로 한다.
위험영역검출모듈(102)은 도 4(b)에 도시된 거리 데이터열을 제1 방향으로 순차로 판독할 수 있다. 이어서 위험영역검출모듈(102)은 기준 거리 데이터열의 패턴(도 5(a)의 데이터열 패턴)과 판독한 거리 데이터열(5, 6, 7, 19.25,…,9.75, 7.5, 6.75)의 패턴을 비교하여, 판독한 거리 데이터열의 패턴이 기준 거리 데이터열의 패턴에서 벗어났는지 판단할 수 있다. 판독한 도 4(b)의 거리 데이터열은 기준 거리 데이터열의 패턴에서 벗어난 경우이고, 제3열의 데이터값(7)에서 제4열의 데이터값(19.25)으로 10을 초과하여 증가하였다. 따라서 도 4(a)에 도시된 복수의 영역 중에서 제4열의 전후 2개 열(제2열부터 제6열의 모든 행을 포함하는 영역)을 위험영역(401)으로 검출할 수 있다.
도 1로 되돌아가서, 카메라모듈(103)은 앞서 거리센싱모듈(101)이 거리정보를 획득한 복수의 영역의 영상(이미지)을 촬영할 수 있다. 카메라모듈(103)은 차량의 윈드 쉴드 내부에 장착되거나, 거리센싱모듈(101)에 인접하여 장착될 수 있다. 다만, 후술하는 매핑모듈(104)은 거리정보를 포함하는 상기 위험영역에 대한 정보에 기초하여 카메라모듈(103)에 의한 영상 위에 위험영역의 영역을 특정할 수 있다. 따라서, 거리센싱모듈(101)와 카메라모듈(103)에 대하여는 FoV(Field of View) 수치를 유사하게 조정하는 등 거리정보와 영상 정보가 정합될 수 있도록 캘리브레이션을 수행한다.
매핑모듈(104)은 거리정보를 포함하는 위험영역에 대한 정보에 기초하여, 카메라모듈(103)에 의한 영상 위에 위험영역의 영역을 특정할 수 있다. 구체적으로 매핑모듈(104)은 위험영역에 대한 정보에 기초하여, 위험영역의 3차원 좌표를 산출하고, 3차원 좌표를 이용하여 취득한 영상 중 위험영역에 대응하는 영역을 특정할 수 있다.
도 6은 매핑모듈(104)이 영상 위에 위험영역의 영역을 특정하는 방법의 일례를 나타낸 도면이다.
도 6을 참조하면, x(xu, xv)는 거리센싱모듈(101)에서 구분된 취득한 복수의 영역상의 좌표(행렬 성분)를 나타내고, X(Xx,Xy,Xz)는 거리센싱모듈(101)을 중심으로 한 3차원 좌표(행렬 벡터)를 나타낸다. 이때, 매핑모듈(104)는 예를 들어 다음과 같은 행렬 연산을 통해 거리센싱모듈(101)에서 구분된 복수의 영역상의 좌표를 3차원 좌표로 환산할 수 있다.
Figure 112014073279614-pat00001
이때 x 1 는 행렬 벡터로서 x 1 = [xu1, xv1, 1]T 의 값을 가지고, X = [Xx, Xy ,Xz ,1]T의 값을 가지며, P는 거리센싱모듈(101)의 투영 행렬로서 거리센싱모듈(101)의 내/외부 파라미터(예를 들어, 초점거리, 중심위치, 좌표계 파라미터, 회전 파라미터 등)로부터 정해지는 값이다. 또한, P에는 상기 x(xu1, xv1)에 대한 거리정보가 포함될 수 있다. 상기 연산을 통해, 매핑모듈(104)은 위험영역의 행렬상의 위치(거리센싱모듈(101)에서 구분된 복수의 영역상의 행렬 성분)에 관한 정보와 당해 행렬상 위치에 대한 거리정보에 기초하여, 위험영역의 3차원 좌표를 산출할 수 있다.
또한, 매핑모듈(104)은 상기 산출한 3차원 좌표를, 예를 들어 다음과 같은 행렬 연산을 통해 카메라모듈(103)이 취득한 3차원 좌표에서 영상에서의 2차원 좌표로 환산할 수 있다.
Figure 112014073279614-pat00002
이때 x 2 는 행렬 벡터로서 x 2 = [xu2, xv2, 1]T 의 값을 가지고, X = [Xx, Xy ,Xz ,1]T의 값을 가지며, Q는 카메라모듈(103)의 투영 행렬로서 카메라모듈(103)의 내/외부 파라미터로부터 정해지는 값이다. 상기 연산을 통해, 매핑모듈(104)은 상기 산출한 위험영역의 3차원 좌표로부터, 카메라모듈(103)이 취득한 영상 중에서 위험영역에 대응하는 2차원 영역을 특정할 수 있다.
매핑모듈(104)이 위험영역에 대한 정보에 기초하여 카메라모듈(103)에 의한 영상 위에 위험영역의 영역을 특정하는 방법으로는, 매우 다양하게 존재할 수 있으며, 도 6과 관련하여 설명한 방법에 한하지 않는다.
다시 도 1로 되돌아가서, 보행자검출모듈(105)은 카메라모듈(103)에 의한 영상 위에 특정된 위험영역에서 보행자를 검출할 수 있다.
보행자를 검출하는 방안의 일례로서는, 보행자 검출 장치(1000)가 보행자의 특징을 데이터베이스화하여 저장하는 저장모듈(미도시)을 더 구비하고, 보행자검출모듈(105)은 영상 위에 특정된 위험영역에서 특징을 추출하고, 추출된 특징을 상기 데이터베이스화된 보행자의 특징과 비교함으로써 보행자를 검출하는 것이 있다.
도 7은 다양한 보행자의 영상을 나타내고, 도 8은 보행자의 영상 및 그로부터 추출한 특징을 나타낸다.
도 7 및 도 8의 (a) 내지 (c)를 참조하면, 보행자 검출 장치(1000)에 구비되는 저장모듈은 다양한 보행자의 특징을 데이터베이스화하여 저장할 수 있다. 상기 다양한 보행자의 영상으로부터 보행자의 특징이 추출될 수 있는데, 특히 데이터베이스화되어 저장되는 보행자의 특징은, 돌발 출현에 즉시 대응하기 하기 위해 예컨대 도 7과 같이 보행자의 모습이 일부 가려진 다양한 영상들로부터 추출될 수 있다.
또한, 도 8의 예시를 참조하면, (a)에 도시된 위험지역에 대응하는 영상은 보행자검출모듈(105)에 의하여 (b) 및 (c)와 같이 특징으로 추출되어 보행자 검출에 이용될 수 있다. 한편, 상기 보행자 검출에 이용되는 특징은 텍스쳐(texture), 에지(edge)일 수 있으며, HOG(Histogram of Oriented Gradients), HWs(Haar Wavelets), LBP(Local Binary Pattern) 등의 텍스쳐, 에지의 분포를 정의하는 기술자를 이용할 수도 있다. 한편, 상기 특징은 에지, 텍스쳐에 한하지 않고 영상으로부터 보행자를 검출하는데 이용될 수 있는 특징이면 어떠한 것이어도 무방하다.
또한, 상기와 같이 추출된 특징을 데이터베이스화된 보행자의 특징과 비교함에 있어서는 분류기를 사용할 수 있다. 나아가, 실시형태에 따라서는, 보행자검출모듈(105)이 보행자를 신뢰성 높게 검출하도록 하기 위해 기계학습(Machine Learning)을 적용할 수도 있다. 즉, 저장모듈은 보행자로서 검출한 상기 특징을 데이터베이스화하여 기계학습을 수행할 수 있다. 기계학습을 수행함에 있어서, 분류기는 NN (Neural Network), SVM(Support Vector Machine), 베이시안 분류기(Bayesian classifier), 아다부스트(Adaboost)를 이용하는 것을 고려할 수 있다.
또한, 실시형태에 따라서 보행자 검출 장치(1000)는, 보행자검출모듈(105)이 보행자를 검출하면 이를 운전자에게 알리는 경고모듈(미도시)을 더 포함할 수 있다. 상기 경고모듈은 음성, 진동, 시각적으로 경고하는 것일 수 있고, 차량에 디스플레이모듈이 구비되어 있는 경우 검출된 보행자의 영상을 보여주는 것일 수도 있다.
본 발명의 일 실시예에 따른 보행자 검출 장치(1000)의 구성은 상술한 바와 같다. 이하에서는 본 발명의 일 실시예에 따른 보행자 검출 방법을 설명하기로 한다. 다만, 중복되는 설명이나 이미 설명한 내용은 생략될 수 있다.
도 9는 본 발명의 일 실시예에 따른 보행자 검출 방법의 흐름도를 나타낸다.
도 9를 참조하면 본 발명의 일 실시예에 따른 보행자 검출 방법은, 거리센싱모듈(101)의 전면을 복수의 영역으로 구분하는 단계(S901), 상기 복수의 영역 각각과 거리센싱모듈(101) 간의 거리정보를 획득하는 단계(S902), 상기 복수의 영역 각각에 대한 거리정보에 기초하여 거리 데이터열을 생성하는 단계(S903), 거리 데이터열을 분석하여 위험영역을 검출하는 단계(S904), 위험영역이 검출되었는지 판단하는 단계(S905), 복수의 영역을 촬영한 영상을 획득하는 단계(S906), 거리정보를 포함하는 위험영역에 대한 정보에 기초하여, 획득한 영상 위에 위험영역에 대응하는 영역을 특정하는 단계(S907), 및 상기 특정된 영역에서 보행자를 검출하는 단계(S908), 보행자가 검출되었는지 판단하는 단계(S909), 및 운전자에게 경고하는 단계(S907)를 포함할 수 있다.
단계 S901에서 거리센싱모듈(101)은 당해 거리센싱모듈의 전면을 복수의 영역으로 구분할 수 있다. 실시형태에 따라서, 복수의 영역은 m행 n열의 m×n개의 영역으로 이루어질 수 있다(단, m 및 n은 1 이상의 정수).
단계 S902에서 거리센싱모듈(101)은 상기 복수의 영역 각각과 거리센싱모듈(101) 간의 거리정보를 획득할 수 있다.
단계 S903에서 위험영역검출모듈(102)은 상기 복수의 영역 각각에 대한 거리정보에 기초하여 거리 데이터열을 생성할 수 있다. 거리 데이터열은 1행 n열의 n개의 데이터값으로 이루어질 수 있고, m이 2 이상의 정수인 경우 상기 거리 데이터열은, m행 n열로 이루어진 복수의 영역 각각에 대한 거리정보에 있어서 각 열의 평균값을 포함할 수 있다. 한편 실시형태에 따라서 m이 1인 경우 1행 n열로 이루어진 거리 데이터열은 상기 m행 n열로 이루어진 복수의 영역 각각에 대한 거리정보와 동일할 수 있다.
단계 S904에서 위험영역검출모듈(102)은 단계 S903에서 생성한 거리 데이터열을 분석하여 위험영역을 검출할 수 있다. 위험영역을 검출함에 있어서는, 기준 거리 데이터열의 패턴과 비교하여 상기 거리 데이터열을 분석할 수 있다. 특히, 상기 위험영역을 검출함에 있어서는, 생성한 거리 데이터열의 패턴이 기준 거리 데이터열의 패턴에서 벗어난 경우로서, 상기 생성한 거리 데이터열의 제2 데이터값이, 직전의 제1 데이터값보다 소정의 값을 초과하여 증가한 경우, 상기 복수의 영역에 있어서, 상기 제2 데이터값을 가진 열의 전후 소정의 열을 위험영역으로 검출할 수 있다.
단계 S905에서 위험영역검출모듈(102)은 위험영역이 검출되었는지 판단하고, 검출된 경우(단계 S905에서 Y) 단계 S906으로 진행하고, 그러하지 않은 경우(단계 S905에서 N) 단계 S901로 되돌아간다.
단계 S906에서 카메라모듈(103)은 복수의 영역을 촬영한 영상을 획득할 수 있다.
단계 S907에서 매핑모듈(104)은 거리정보를 포함하는 위험영역에 대한 정보에 기초하여, 상기 획득한 영상 위에 위험영역에 대응하는 영역을 특정할 수 있다. 매핑모듈(104)이 위험영역에 대응하는 영역을 특정하는 단계는, 상기 위험영역에 대한 정보에 기초하여 상기 위험영역의 3차원 좌표를 산출하는 단계, 및 상기 3차원 좌표를 이용하여 단계 S907에서 취득한 영상 중 상기 위험영역에 대응하는 영역을 특정하는 단계를 포함할 수 있다.
단계 S908에서 보행자검출모듈(104)은 단계 S907에서 특정된 위험영역에서 보행자를 검출할 수 있다. 보행자를 검출함에 있어서는, 상기 특정된 영역에서 특징을 추출하고, 데이터베이스화되어 저장된 보행자의 특징과 상기 추출된 특징을 비교함으로써 보행자를 검출할 수 있다. 한편, 상기 특징은 텍스쳐 또는 에지일 수 있다.
단계 S909에서 보행자검출모듈(104)은 보행자가 검출되었는지 판단할 수 있다.
단계 S910에서 경고모듈은 운전자에게 보행자가 검출되었다는 것을 알릴 수 있다. 운전자에게 알리는 것은 음성, 진동, 시각적으로 알리는 것일 수 있고, 차량에 디스플레이모듈이 구비되어 있는 경우 검출된 보행자의 영상을 보여주는 것일 수도 있다.
나아가, 실시형태에 따라서는 단계 S909 또는 S910 이후에, 보행자로 검출된 상기 특징을 데이터베이스화하여 기계학습을 수행하는 단계를 더 포함할 수도 있다.
일반적인 보행자 검출 장치에 의하면, 영상센서의 화각에 존재하는 모든 영역에서 보행자를 검출하게 되므로 보행자의 신속한 검출이 어렵다. 이에 따라서 운전자는 보행자 검출에 대응하여 차량 제어를 하기 위한 충분한 대응시간을 가지기 곤란하였다. 아울러, 영상센서의 화각에 존재하는 모든 영역에서 보행자를 검출하므로 도심의 복잡한 배경 영역에 의해 오검출이 발생할 우려가 높았다.
그러나, 본 발명의 다양한 실시예에 의하면, 거리센싱모듈로 먼저 위험영역을 검출하고, 위험영역에 대응하는 한정된 영상에서만 보행자를 검출하므로, 모든 영상에서 보행자를 검색해낼 필요가 없어져 보행자의 검출에 신속성을 도모할 수 있다. 또한, 위험영역에 대응하는 한정된 영상에서만 보행자를 검출하므로, 획득된 영상의 다른 영역으로부터 영향을 받지 않는다. 이로써 보행자의 검출에 정밀성을 높일 수 있다.
또한, 다양한 보행자의 특징을 데이터베이스화하여 저장하므로 주변 구조물에 의해 가려진 보행자 또한 신속하게 검출 가능해진다.
아울러, 검출된 보행자를 운전자에게 경고 또는 화면으로 표시할 수 있으므로, 궁극적으로는 교통사고를 미연에 방지하고 안전운전에 기여할 수 있는 이점이 있다.
전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로도 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현할 수 있다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
본 발명에서 설명하는 특정 실행들은 일 실시예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래의 회로 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
101 : 거리센싱모듈
102 : 위험영역검출모듈
103 : 카메라모듈
104 : 매핑모듈
105 : 보행자검출모듈
401 : 위험영역
1000 : 보행자 검출 장치

Claims (20)

  1. 거리센싱모듈의 전면을 복수의 영역으로 구분하고, 상기 복수의 영역 각각과 상기 거리센싱모듈 간의 거리정보를 획득하는 상기 거리센싱모듈;
    상기 복수의 영역 각각에 대한 거리정보에 기초하여 거리 데이터열을 생성하고, 상기 거리 데이터열을 분석하며, 물체의 빠른 검출을 위하여 상기 복수의 영역 중 일정 영역인 위험영역을 검출하는 위험영역검출모듈;
    상기 복수의 영역을 촬영한 영상을 획득하는 카메라모듈;
    상기 거리정보를 포함하는 상기 위험영역에 대한 정보에 기초하여, 상기 획득한 영상 위에 상기 위험영역에 대응하는 영역을 특정하는 매핑모듈; 및
    상기 특정된 영역에서 보행자를 검출하는 보행자검출모듈을 포함하는 보행자 검출 장치.
  2. 청구항 1에 있어서,
    상기 복수의 영역은 m행 n열의 m×n개의 영역으로 이루어지고,
    상기 거리 데이터열은 1행 n열의 n개의 데이터값으로 이루어지는 것을 특징으로 하는 보행자 검출 장치(단, m 및 n은 1 이상의 정수).
  3. 청구항 2에 있어서,
    상기 m이 1인 경우
    상기 1행 n열로 이루어진 거리 데이터열은 상기 m행 n열로 이루어진 복수의 영역 각각에 대한 거리정보와 동일한 것을 특징으로 하는 보행자 검출 장치.
  4. 청구항 2에 있어서,
    상기 m이 2 이상의 정수인 경우
    상기 1행 n열로 이루어진 거리 데이터열은 상기 m행 n열로 이루어진 복수의 영역 각각에 대한 거리정보에 있어서, 각 열의 평균값을 포함하는 것을 특징으로 하는 보행자 검출 장치.
  5. 청구항 1에 있어서,
    상기 위험영역검출모듈은 기준 거리 데이터열의 패턴과 비교하여 상기 거리 데이터열을 분석하는 것을 특징으로 하는 보행자 검출 장치.
  6. 청구항 2 내지 청구항 4 중 어느 한 항에 있어서,
    상기 위험영역검출모듈은 상기 거리 데이터열의 패턴이 기준 거리 데이터열의 패턴에서 벗어난 경우로서, 상기 거리 데이터열의 제2 데이터값이, 직전의 제1 데이터값보다 소정의 값을 초과하여 증가한 경우,
    상기 복수의 영역에 있어서, 상기 제2 데이터값을 가진 열의 전후 소정의 열을 위험영역으로 검출하는 것으로 특징으로 하는 보행자 검출 장치.
  7. 청구항 1에 있어서,
    상기 매핑 모듈은 상기 위험영역에 대한 정보에 기초하여, 상기 위험영역의 3차원 좌표를 산출하고,
    상기 3차원 좌표를 이용하여, 상기 영상 중 상기 위험영역에 대응하는 영역을 특정하는 것을 특징으로 하는 보행자 검출 장치.
  8. 청구항 1에 있어서,
    보행자의 특징을 데이터베이스화하여 저장하는 저장모듈을 더 구비하고,
    상기 보행자검출모듈은 상기 특정된 영역에서 특징을 추출하고, 상기 추출된 특징을 상기 보행자의 특징과 비교함으로써, 보행자를 검출하는 것을 특징으로 하는 보행자 검출 장치.
  9. 청구항 8에 있어서,
    상기 특징은 텍스쳐(texture), 에지(edge)인 것을 특징으로 하는 보행자 검출 장치.
  10. 청구항 8에 있어서,
    상기 저장모듈은 상기 보행자로 검출된 상기 특징을 데이터베이스화하여 기계학습(Machine Learning)을 수행하는 것을 특징으로 하는 보행자 검출 장치.
  11. 거리센싱모듈의 전면을 복수의 영역으로 구분하는 단계;
    상기 복수의 영역 각각과 상기 거리센싱모듈 간의 거리정보를 획득하는 단계;
    상기 복수의 영역 각각에 대한 거리정보에 기초하여 거리 데이터열을 생성하는 단계;
    상기 거리 데이터열을 분석하고, 물체의 빠른 검출을 위하여 상기 복수의 영역 중 일정 영역인 위험영역을 검출하는 단계;
    상기 복수의 영역을 촬영한 영상을 획득하는 단계;
    상기 거리정보를 포함하는 상기 위험영역에 대한 정보에 기초하여, 상기 획득한 영상 위에 상기 위험영역에 대응하는 영역을 특정하는 단계; 및
    상기 특정된 영역에서 보행자를 검출하는 단계를 포함하는 보행자 검출방법.
  12. 청구항 11에 있어서,
    상기 복수의 영역은 m행 n열의 m×n개의 영역으로 이루어지고,
    상기 거리 데이터열은 1행 n열의 n개의 데이터값으로 이루어지는 것을 특징으로 하는 보행자 검출방법(단, m 및 n은 1 이상의 정수).
  13. 청구항 12에 있어서,
    상기 m이 1인 경우
    상기 1행 n열로 이루어진 거리 데이터열은 상기 m행 n열로 이루어진 복수의 영역 각각에 대한 거리정보와 동일한 것을 특징으로 하는 보행자 검출방법.
  14. 청구항 12에 있어서,
    상기 m이 2 이상의 정수인 경우
    상기 1행 n열로 이루어진 거리 데이터열은 상기 m행 n열로 이루어진 복수의 영역 각각에 대한 거리정보에 있어서, 각 열의 평균값을 포함하는 것을 특징으로 하는 보행자 검출방법.
  15. 청구항 11에 있어서,
    상기 위험영역을 검출하는 단계는 기준 거리 데이터열의 패턴과 비교하여 상기 거리 데이터열을 분석하는 것을 특징으로 하는 보행자 검출방법.
  16. 청구항 12 내지 청구항 14 중 어느 한 항에 있어서,
    상기 위험영역을 검출하는 단계는 상기 상기 상기 데이터열의 패턴이 기준 거리 데이터열의 패턴에서 벗어난 경우로서, 상기 거리 데이터열의 제2 데이터값이, 직전의 제1 데이터값보다 소정의 값을 초과하여 증가한 경우,
    상기 복수의 영역에 있어서, 상기 제2 데이터값을 가진 열을 포함하여 전후 소정의 열을 위험영역으로 검출하는 것으로 특징으로 하는 보행자 검출방법.
  17. 청구항 11에 있어서,
    상기 위험영역에 대응하는 영역을 특정하는 단계는 상기 위험영역에 대한 정보에 기초하여, 상기 위험영역의 3차원 좌표를 산출하는 단계; 및
    상기 3차원 좌표를 이용하여, 상기 영상 중 상기 위험영역에 대응하는 영역을 특정하는 단계를 포함하는 것을 특징으로 하는 보행자 검출방법.
  18. 청구항 11에 있어서,
    상기 보행자를 검출하는 단계는, 상기 특정된 영역에서 특징을 추출하는 단계; 및
    미리 데이터베이스화되어 저장된 보행자의 특징과 상기 추출된 특징을 비교함으로써, 보행자를 검출하는 단계를 포함하는 것을 특징으로 하는 보행자 검출방법.
  19. 청구항 18에 있어서,
    상기 특징은 텍스쳐(texture), 에지(edge)인 것을 특징으로 하는 보행자 검출방법.
  20. 청구항 18에 있어서,
    상기 보행자로서 검출된 상기 특징을 데이터베이스화하여 기계학습을 수행하는 단계를 더 포함하는 것을 특징으로 하는 보행자 검출방법.
KR1020140099222A 2014-08-01 2014-08-01 보행자 검출 장치 및 방법 KR102119641B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140099222A KR102119641B1 (ko) 2014-08-01 2014-08-01 보행자 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140099222A KR102119641B1 (ko) 2014-08-01 2014-08-01 보행자 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160017269A KR20160017269A (ko) 2016-02-16
KR102119641B1 true KR102119641B1 (ko) 2020-06-08

Family

ID=55447798

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140099222A KR102119641B1 (ko) 2014-08-01 2014-08-01 보행자 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102119641B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109059863B (zh) * 2018-06-29 2020-09-22 大连民族大学 将平视行人轨迹点向量映射至二维世界坐标系的方法
KR102497610B1 (ko) * 2022-07-27 2023-02-08 장승환 영상을 이용한 안전 보조 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011099742A (ja) * 2009-11-05 2011-05-19 Mitsubishi Heavy Ind Ltd 対象物検出装置および対象物検出方法
JP2012030042A (ja) * 2010-06-30 2012-02-16 Panasonic Electric Works Co Ltd 監視装置、プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101188584B1 (ko) * 2007-08-28 2012-10-05 주식회사 만도 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치
KR20140019501A (ko) * 2012-08-06 2014-02-17 현대자동차주식회사 장애물 인식을 위한 분류기의 생성방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011099742A (ja) * 2009-11-05 2011-05-19 Mitsubishi Heavy Ind Ltd 対象物検出装置および対象物検出方法
JP2012030042A (ja) * 2010-06-30 2012-02-16 Panasonic Electric Works Co Ltd 監視装置、プログラム

Also Published As

Publication number Publication date
KR20160017269A (ko) 2016-02-16

Similar Documents

Publication Publication Date Title
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
EP3296923B1 (en) A method of detecting an overtaking vehicle, related processing system, overtaking vehicle detection system and vehicle
JP6587000B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
CN102317954B (zh) 检测对象的方法
JP6384182B2 (ja) 道路上の線形指示標識の検出方法及び装置
JP4456086B2 (ja) 車両周辺監視装置
US9569673B2 (en) Method and device for detecting a position of a vehicle on a lane
JP6107097B2 (ja) 道路分割体検知方法及び装置
CN104903915B (zh) 用于监视车辆的周围环境的方法和设备以及用于实施紧急制动的方法
EP2549457A1 (en) Vehicle-mounting vehicle-surroundings recognition apparatus and vehicle-mounting vehicle-surroundings recognition system
JP6702340B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
CN110543807B (zh) 验证障碍物候选的方法
JP2009037622A (ja) 画像を評価するための方法および装置
JP6583527B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
CN103770704A (zh) 用于识别车辆的停车位标志线的系统和方法
KR20150036947A (ko) 영상 인식 장치 및 방법
Suzuki et al. Sensor fusion-based pedestrian collision warning system with crosswalk detection
US20150070682A1 (en) Apparatus and method for recognizing obstacle using laser scanner
KR20180063524A (ko) 가상 차선을 이용한 전방 차량 위험도 감지 방법 및 장치
Kilicarslan et al. Visualizing driving video in temporal profile
JP7043785B2 (ja) 情報生成装置
US20180012368A1 (en) Moving object detection device, image processing device, moving object detection method, and integrated circuit
KR102119641B1 (ko) 보행자 검출 장치 및 방법
CN103577790B (zh) 道路转弯类型检测方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant