KR20160013660A - 보행자 인식 장치 및 방법 - Google Patents

보행자 인식 장치 및 방법 Download PDF

Info

Publication number
KR20160013660A
KR20160013660A KR1020140095729A KR20140095729A KR20160013660A KR 20160013660 A KR20160013660 A KR 20160013660A KR 1020140095729 A KR1020140095729 A KR 1020140095729A KR 20140095729 A KR20140095729 A KR 20140095729A KR 20160013660 A KR20160013660 A KR 20160013660A
Authority
KR
South Korea
Prior art keywords
pedestrian
candidate
candidate group
control module
image data
Prior art date
Application number
KR1020140095729A
Other languages
English (en)
Other versions
KR102109114B1 (ko
Inventor
최은진
김진학
이완재
이강훈
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140095729A priority Critical patent/KR102109114B1/ko
Publication of KR20160013660A publication Critical patent/KR20160013660A/ko
Application granted granted Critical
Publication of KR102109114B1 publication Critical patent/KR102109114B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 일정영역의 원적외선 영상데이터를 획득하는 원적외선 카메라, 원적외선 영상데이터에서 보행자 후보군을 검출하고, 보행자 후보군에서 비보행자에 대한 후보군을 제거하며, 비보행자에 대한 후보군이 제거된 보행자 후보군에서 보행자 검출을 수행하는 제어모듈을 포함할 수 있고, 다른 실시 예로도 적용이 가능하다.

Description

보행자 인식 장치 및 방법{Apparatus and Method for Recognizing a Pedestrian}
본 발명의 다양한 실시 예는 보행자 인식 장치 및 방법에 관한 것으로서, 보다 구체적으로 야간 보행자에 대하여 적절한 처리 속도와 신뢰성 있는 인식이 가능한 보행자 인식 장치 및 방법에 관한 것이다.
차량 사고 중 사망사고의 대부분은 야간에 전방 보행자를 인식하지 못하여 발생하는 경우가 대부분이다. 특히, 야간 운전의 경우 운전자의 시야가 좁아져 전방 보행자의 존재 유무와 움직임을 예측하지 못하기 때문에 발생할 수 있다. 이러한 문제를 해결하기 위하여 다양한 센서 신호를 수집하고, 이를 기반으로 야간 전방 보행자 인식을 수행하는 방안이 제안된 바 있다.
예컨대, 종래 보행자 인식 기술은 보행자와 관련하여 사전에 획득된 DB영상을 기준으로 HOG(Histogram of Oriented Gradients)라는 윤곽선 특징을 추출한 후, 이를 이용하여 보행자인지 비보행자인지를 구분하는 강분류기 SVM(Support Vector Machine) classifier를 사용하는 방식이 있다. 그러나 강분류기를 적용하는 방식은 검출성능을 향상시킬 수는 있으나 다수의 특징들을 비교해야 하기 때문에 검출속도가 저하되는 문제가 발생되고, 이로 인해 필요한 시점에 적절한 정보 게공이 어려운 문제점이 있다. 이를 보완하기 위해 약분류기인 adaboost 기법을 적용할 수 있는데 이 방식을 사용할 경우 처리 속도는 개선될 수 있으나 검출 성능이 필요 이하로 저하되므로 적절한 보행자 인식이 어려운 문제점이 있다. 더욱이 약분류기 방식을 적용할 경우 보행자 인지 성능에 오류가 많아 실용적인 기능 제공이 어려운 실정이다.
상기와 같이 종래의 문제점을 해결하기 위한 본 발명의 다양한 실시 예들은 보다 개선된 영상처리 프로세스 속도와 안정적인 보행자 인식이 가능한 보행자 인식 장치 및 방법을 제공하는 것이다.
본 발명의 일 실시 예에 따른 보행자 인식 장치는 일정영역의 원적외선 영상데이터를 획득하는 원적외선 카메라, 상기 원적외선 영상데이터에서 보행자 후보군을 검출하고, 상기 보행자 후보군에서 비보행자에 대한 후보군을 제거하며, 비보행자에 대한 후보군이 제거된 보행자 후보군에서 보행자 검출을 수행하는 제어모듈을 포함할 수 있다.
또한, 상기 제어모듈은 상기 원적외선 영상데이터에서 온도 정보 및 머리 정보를 기준으로 상기 보행자 후보군 검출을 수행할 수 있다.
또한, 상기 제어모듈은 상기 원적외선 영상데이터를 적어도 하나의 영역으로 분할하고, 상기 영역의 밝기 값의 합의 차이를 산출하여 상기 보행자 후보군에서 비보행자에 대한 후보군을 제거하는 Haarlike방식을 적용할 수 있다.
또한, 상기 제어모듈은 상기 비보행자에 대한 후보군이 제거된 보행자 후보군의 영역을 크기 변화가 가능한 사각형 블록으로 구분하고 360도 각도를 9개의 bin으로 구성하여 각도 표현하는 Adv_HOG 방식과, 현재 화소 값과 이웃 화소 값의 변화를 패턴화한 패턴화 값을 상기 보행자 후보군 영역에서 크기 변화가 가능한 블록마다 적용하여 구성된 히스토그램의 특징을 추출하는 LBP방식 중 적어도 하나의 방식을 적용하여 보행자를 인식할 수 있다.
또한, 상기 제어모듈은 상기 Adv_HOG 방식과 LBP 방식 중 적어도 하나의 방식을 적용하여 인식된 보행자 후보군의 영역에서 코너 수를 검출하는 코너 방식을 적용하여 최종 보행자를 인식할 수 있다.
아울러, 본 발명에 따른 보행자 인식 방법은 일정영역의 원적외선 영상데이터를 획득하는 단계, 상기 원적외선 영상데이터에서 보행자 후보군을 검출하는 단계, 상기 검출된 보행자 후보군에서 비보행자에 대한 후보군을 제거하는 단계, 상기 비보행자 후보군이 제거된 보행자 후보군에서 보행자 검출을 수행하는 단계를 포함할 수 있다.
또한, 상기 보행자 후보군을 검출하는 단계는 상기 원적외선 영상데이터에서 온도 정보 및 머리 정보를 기준으로 상기 보행자 후보군을 검출하는 단계일 수 있다.
또한, 상기 비보행자에 대한 후보군을 제거하는 단계는 Haarlike 방식을 적용하여 상기 원적외선 영상데이터를 적어도 하나의 영역으로 분할하는 단계, 상기 영역의 밝기 값의 합의 차이를 산출하는 단계, 상기 산출 값을 기반으로 상기 보행자 후보군에서 비보행자에 대한 후보군을 제거하는 단계일 수 있다.
또한, 상기 보행자 검출을 수행하는 단계 이후에 상기 비보행자에 대한 후보군이 제거된 보행자 후보군의 영역을 크기 변화가 가능한 사각형 블록으로 구분하고 360도 각도를 9개의 bin으로 구성하여 각도 표현하는 Adv_HOG 방식과, 현재 화소 값과 이웃 화소 값의 변화를 패턴화한 패턴화 값을 상기 보행자 후보군 영역에서 크기 변화가 가능한 블록마다 적용하여 구성된 히스토그램의 특징을 추출하는 LBP방식 중 적어도 하나의 방식을 적용하여 보행자를 인식하는 단계를 더 포함할 수 있다.
또한, 상기 보행자를 인식하는 단계 이후에 상기 Adv_HOG 방식과 LBP 방식 중 적어도 하나의 방식을 적용하여 인식된 보행자 후보군의 영역에서 코너 수를 검출하는 코너 방식을 적용하여 보행자를 최종 인식하는 단계를 더 포함할 수 있다.
상술한 바와 같이 본 발명은 보다 개선된 영상처리 속도와 안정적인 보행자 특징 검출을 통하여 보행자 인식이 적절한 시점에 신뢰성 있게 검출될 수 있도록 지원한다. 이에 따라, 본 발명은 운전자 및 보행자의 안전을 도모할 수 있다.
도 1은 본 발명의 실시 예에 따른 보행자 인식 장치의 구성을 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 보행자 인식 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 보행자 인식 장치 중 제어모듈 구성을 보다 상세히 나타낸 블록도이다.
도 4는 본 발명의 실시 예에 따른 보행자 인식 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 보행자 후보군 선정 방식을 설명하기 위한 도면이다.
도 6은 본 발명의 보행자 특징 검출 중 Haarlike 방식을 설명하기 위한 도면이다.
도 7은 본 발명의 보행자 특징 검출 중 Adv_HOG 방식을 설명하기 위한 도면이다.
도 8은 본 발명의 보행자 특징 검출 중 LBP 방식을 설명하기 위한 도면이다.
도 9는 본 발명의 보행자 특징 검출 중 코너 검출 방식을 설명하기 위한 도면이다.
도 10은 본 발명의 보행자 인식 결과에 따라 경고 알림을 설명하기 위한 도면이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면과 연관되어 기재된다. 본 발명의 다양한 실시 예는 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명의 다양한 실시 예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시 예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
도 1은 본 발명의 실시 예에 따른 보행자 인식 장치의 구성을 개략적으로 나타낸 블록도이다. 도 2는 본 발명의 보행자 인식 과정을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명에 따른 보행자 인식 장치(100)는 원적외선 카메라(110), 정보출력장치(120) 및 제어모듈(130)의 구성을 포함할 수 있다. 보행자 인식 장치(100)가 차량인 경우 정보출력장치(120)는 AVN(Audio/Video/Navigation), 클러스터 등의 구성이 될 수 있다.
이와 같은 구성을 포함하는 보행자 인식 장치(100)는 원적외선 카메라(110)가 수집한 원적외선 영상 신호를 영상데이터로 변환하여 제어모듈(130)이 처리하되, 보행자 인식을 위하여 도 2에 도시된 바와 같은 과정을 포함할 수 있다. 보행자 인식 장치(100)는 영상 입력 과정, 관심 영역 설정 과정, 후보 추출 과정, 보행자 검출 과정, 보행자 추적 과정 및 결과 영상 출력 과정을 포함할 수 있다.
원적외선 카메라(110)는 보행자 인식 장치(100)의 영상 입력 과정을 지원하는 구성일 수 있다. 원적외선 카메라(110)는 제어모듈(130)의 제어에 따라, 일정 방향 예컨대, 차량의 전방 일정 각도 범위 이내의 주변 환경에 대한 원적외선 영상을 수집할 수 있다. 이를 위해, 원적외선 카메라(110)는 차량 지붕이나 차량 본넷의 일정 위치에 배치될 수 있다. 원적외선 카메라(110)는 실시간 또는 일정 주기 단위로 원적외선 영상데이터를 획득할 수 있다. 원적외선 카메라(110)가 수집한 원적외선 영상데이터를 제어모듈(130)에 전달될 수 있다.
정보출력장치(120)는 제어모듈(130)의 제어에 따라 보행자 인식 결과를 출력하는 장치일 수 있다. 이러한 정보출력장치(120)는 차량에 배치된 적어도 하나의 오디오 장치, 비디오 장치 중 적어도 하나를 포함할 수 있다. 또한, 정보출력장치(120)는 AVN 또는 클러스터 장치를 포함할 수 있다. 이에 따라, 보행자 인식 결과는 오디오 신호 및 텍스트나 이미지 또는 램프 점멸 등의 형태로 출력될 수 있다. 이를 위해, 정보출력장치(120)는 보행자 인식 결과에 따라 출력된 사전 정의된 안내 메시지 및 안내 패턴 정보를 포함할 수 있다. 상기 안내 메시지 및 안내 패턴 정보 저장을 위해 정보출력장치(120)는 메모리 장치를 더 포함할 수 있다. 예컨대, 정보출력장치(120)는 보행자 인식 결과에 따라 전방에 위치하는 보행자 수, 보행자와 자차 간의 거리, 보행자와 자차 간의 거리에 따른 경보 메시지 등을 출력할 수 있다. 보행자 수, 보행자와 자차 간의 거리, 경보 메시지 등은 앞서 언급한 바와 같이 사전 정의된 일정 형태의 안내음이나 안내 텍스트 또는 안내 이미지, 램프 패턴 등 다양한 형태로 출력될 수 있다. 추가로, 정보출력장치(120) 중 비디오 장치는 원적외선 영상데이터에서의 보행자 인식 결과를 그대로 보여줄 수도 있다.
제어모듈(130)은 본 발명의 보행자 인식 기능 지원을 위한 장치 제어와, 신호 처리 및 데이터 처리와 전달 및 출력 등의 제어를 수행할 수 있다. 예컨대, 제어모듈(130)은 보행자 인식 모드 설정을 위한 입력 신호의 수신, 원적외선 카메라(110)의 활성화 및 원적외선 영상 수집 제어, 원적외선 영상데이터에서의 보행자 인식, 보행자 인식 결과의 출력을 제어할 수 있다. 이 과정에서 제어모듈(130)은 도 2에 도시된 바와 같이 영상 입력 과정, 관심 영역 설정 과정, 후보 추출 과정, 보행자 검출 과정, 보행자 추적 과정 및 결과 영상 출력 과정의 수행을 제어할 수 있다. 영상 입력 과정 수행을 위하여 제어모듈(130)은 원적외선 카메라(110)의 활성화를 제어하고, 원적외선 영상데이터를 실시간 또는 일정 주기로 획득할 수 있도록 제어할 수 있다. 관심 영역 설정 과정에서 제어모듈(130)은 획득된 원적외선 영상데이터에 사전 정의된 일정 영역을 관심 영역으로 설정하거나 또는 필터링 등을 수행하여 획득된 원적외선 영상데이터에서의 객체 검출을 개략적으로 수행하여 관심 영역을 설정할 수 있다. 관심 영역이 설정되면, 후보 추출 과정에서 제어모듈(130)은 관심 영역 내에서 보행자 인식을 위한 후보 영역을 선정할 수 있다. 후보 영역이 선정되면, 제어모듈(130)은 후보 영역들 중에 실제로 보행 중인 객체에 대한 검출을 보행자 검출 과정에서 수행할 수 있다. 이후 제어모듈(130)은 보행자 추적 과정에서 보행 중인 객체에 대한 추적을 수행하고, 그 결과를 결과 영상 과정에서 출력할 수 있도록 제어할 수 있다. 이를 위해 제어모듈(130)은 도 3에 도시된 바와 같은 구성을 포함할 수 있다.
추가적으로, 보행자 인식 장치(100) 또는 이를 포함하는 차량은 보행자 인식 모드 설정 또는 모드 진입을 위하여 입력 장치를 포함할 수 있다. 입력 장치는 적어도 하나의 키 버튼이나 터치 키 등 다양한 입력 수단을 포함할 수 있다.
도 3은 본 발명의 실시 예에 따른 보행자 인식 장치 중 제어모듈 구성을 보다 상세히 나타낸 블록도이다. 도 3을 참조하면, 본 발명의 제어모듈(130)은 영상수집부(131), 후보추출부(132), 보행자인식부(133) 및 정보출력제어부(134)를 포함할 수 있다.
도 1 및 도 3을 참조하면, 영상수집부(131)는 보행자 인식 모드 설정이 있거나 보행자 인식 기능 실행을 요청하는 입력 신호가 발생하면, 원적외선 카메라(110)의 활성화를 제어할 수 있다. 영상수집부(131)는 원적외선 카메라(110)가 획득되는 원적외선 영상데이터를 후보추출부(132)로 전달할 수 있다.
후보추출부(132)는 원적외선 카메라(110)에서 수집된 원적외선 영상데이터에 대한 필터링과 객체 추출 과정을 수행하여 보행자 영역에 대한 후보 영역을 추출할 수 있다. 이를 위해, 후보추출부(132)는 원적외선 영상데이터에 대한 관심영역을 설정을 수행할 수 있다. 이때, 후보추출부(132)는 획득된 원적외선 영상데이터의 일정 범위 예컨대, 차량 진입 과정에서 실질적으로 사고 위험이 발생할 수 있는 영역으로서 사전 정의된 일정 영역을 관심 영역으로 설정할 수 있다. 후보추출부(132)는 획득된 원적외선 영상데이터에 대한 대략적인 필터링을 수행한 후, 일정 객체들이 배치된 영역을 관심 영역으로 설정할 수 있다. 후보추출부(132)는 설정된 관심 영역 내에서만 필터링을 수행하여 일정 객체들이 배치되어 있는지 확인할 수 있다. 그리고 후보추출부(132)는 일정 크기 이상의 객체들이 검출되면, 해당 객체들을 후보 영역들로 설정할 수 있다. 후보추출부(132)는 추출된 후보 영역들에 대한 정보를 보행자인식부(133)에 전달할 수 있다.
보행자인식부(133)는 후보추출부(132)가 전달한 후보 영역들에 대한 보행자 검출을 수행할 수 있다. 이를 위해, 보행자인식부(133)는 사전 저장된 보행자 인식을 위한 데이터베이스에서 보행자 특징을 검출하고, 이 특징들과 현재 전달된 후보 영역들과의 비교를 수행할 수 있다. 보행자인식부(133)는 후보 영역들 중에서 보행자 특징을 포함하는 영역들을 보행자 영역으로 설정할 수 있다. 보행자 영역 설정 후에 보행자인식부(133)는 설정된 보행자 영역에 대한 추적을 수행할 수 있다. 보행자 추적 과정에서 보행자인식부(133)는 보행자와 자차와의 거리 등에 대한 정보를 산출하고 이를 정보출력제어부(134)에 전달할 수 있다.
정보출력제어부(134)는 보행자인식부(133)에서 추적 중인 특정 보행자 영역들에 대한 정보 중 적어도 일부를 정보출력장치(120)를 통해 출력하도록 제어할 수 있다. 예컨대, 정보출력제어부(134)는 보행자 영역 중 자차와의 거리가 일정 거리 이내인 보행자 영역에 대한 경보 메시지를 정보출력장치(120)를 통하여 출력하도록 제어할 수 있다. 정보출력제어부(134)은 인식된 전체 보행자 영역에 대한 정보를 영상데이터 메시지 등으로 비디오 신호로서 정보출력장치(120)에 출력하도록 제어할 수 있다.
추가로, 보행자 인식 장치(100)를 포함하는 차량은 차속 제어 장치를 더 포함할 수 있다. 차량은 인식된 보행자와 자차와의 거리가 일정 거리 이내인 경우 차속을 자동으로 저감하도록 할 수 있다. 또한, 보행자 인식 장치(100)를 포함하는 차량은 정보출력장치(120)로서 보행자가 인식할 수 있는 경보음 출력이 가능한 경보음 출력 장치를 더 포함할 수 있다. 차량은 보행자와 자차와의 거리가 일정 거리 이내인 경우 자동으로 경보음을 출력할 수 있다. 한편, 보행자 인식 장치(100)는 타이머, 조도 센서, 온도 센서 중 적어도 하나를 더 포함할 수 있다. 그리고 조도 센서 및 온도 센서가 수집하는 조도 센싱정보 및 온도 센싱정보를 바탕으로 보행자 인식 장치(100)는 보행자 인식 모드를 자동으로 수행하도록 제어할 수 있다. 예컨대, 보행자 인식 장치(100)는 타이머에서 설정된 특정 시간이 도래한 경우 보행자 인식 모드를 자동으로 수행하도록 제어할 수 있다. 보행자 인식 장치(100)는 차량 외부 환경이 일정 조도 이하인 경우 예컨대, 외부 환경이 밤이거나 차량이 터널 또는 주차장 등에서 운행 중인 경우에 보행자 인식 모드를 자동으로 수행하도록 제어할 수 있다. 보행자 인식 장치(100)는 차량 외부 온도가 일정 온도 이하인 경우 보행자 인식 모드를 자동으로 수행하도록 제어할 수 있다. 이에 따라, 본 발명의 보행자 인식 기능은 야간 시간 설정이나 야간 환경 등의 검출에 따라 야간 보행자 인식을 위한 특화된 기능으로서 지원될 수도 있을 것이다.
도 4는 본 발명의 실시 예에 따른 보행자 인식 방법을 설명하기 위한 순서도이다. 도 5는 본 발명의 보행자 후보군 선정 방식을 설명하기 위한 도면이다. 도 6은 본 발명의 보행자 특징 검출 중 Haarlike 방식을 설명하기 위한 도면이다. 도 7은 본 발명의 보행자 특징 검출 중 Adv_HOG 방식을 설명하기 위한 도면이다. 도 8은 본 발명의 보행자 특징 검출 중 LBP 방식을 설명하기 위한 도면이다. 도 9는 본 발명의 보행자 특징 검출 중 코너 검출 방식을 설명하기 위한 도면이다. 도 10은 본 발명의 보행자 인식 결과에 따라 경고 알림을 설명하기 위한 도면이다.
먼저, 도 4를 참조하면, 본 발명의 보행자 인식 방법은 제어모듈(130)이 11단계에서 보행자 추적 모드 상태인지 여부를 확인할 수 있다. 11단계에서 제어모듈(130)은 보행자 추적 모드 상태가 아닌 경우 27단계로 진행하여 사용자 조작에 따른 해당 기능 수행을 지원할 수 있다. 예컨대, 제어모듈(130)은 보행자 인식 장치(100)에 포함된 정보출력장치(120)를 기반으로 사용자 조작에 따라 방송 서비스 출력 기능을 수행하거나 음악 재생 기능을 수행하도록 제어할 수 있다.
11단계는 앞서 언급한 바와 같이 본 발명의 보행자 인식 기능을 위한 설정을 확인하는 단계일 수 있다. 즉, 야간 운행 중에만 보행자 인식 모드가 실행되도록 설정된 경우, 보행자 인식 장치(100) 또는 이를 포함하는 차량은 타이머나 조도 센서, 온도 센서 등을 포함하고, 사전 설정된 시간이 도래하거나, 사전 정의된 일정 조도 이하의 상황, 사전 정의된 일정 온도 이하의 상황이 발생하면 보행자 인식 모드 진입으로 판단할 수 있다.
한편, 11단계에서 보행자 인식 모드 진입 설정이 있거나 이를 위한 입력 이벤트 발생이 있으면, 제어모듈(130)은 13단계에서 원적외선 영상데이터 수집을 제어할 수 있다. 이를 위해, 제어모듈(130)은 원적외선 카메라(110)의 활성화를 수행하고 실시간 또는 일정 주기로 동작하도록 제어할 수 있다.
15단계에서 제어모듈(130)은 보행자 후보군 검출을 수행할 수 있다. 보행자 후보군 검출은 도 5에 도시된 바와 같이, 원적외선 영상데이터에서의 객체 온도 및 보행자의 머리 영역 기반으로 수행될 수 있다. 즉, 제어모듈(130)은 원적외선 영상데이터에서 보행자가 존재하는 온도 영역을 표현하는 영상 구축을 수행할 수 있다. 제어모듈(130)은 머리영역 기반 보행자 후보군 검출을 위하여, 수직 및 수평 필터를 적용하고, 그에 따른 결과로서 보행자의 머리영역 검출을 수행할 수 있다. 그리고 제어모듈(130)은 검출된 결과를 통해 지면까지의 거리를 예측하여 보행자의 키 예측을 수행할 수 있다. 제어모듈(130)은 보행자의 키를 통해 보행자의 어깨선을 추출하여 전체적인 보행자 후보군 검출을 수행할 수 있다.
보행자 후보군 검출이 완료되면 제어모듈(130)은 17단계로 진행하여 원적외선 영상데이터에 존재하는 보행자를 인식할 수 있다. 제어모듈(130)은 15단계에서 추출된 보행자 후보군에서 비보행자 후보군을 검출하여, 검출된 비보행자 후보군을 제거할 수 있다. 이때, 제어모듈(130)은 도 6과 같이 Haarlike 방식을 보행자 후보군에 적용하여 빠른 속도로 후보군의 수를 줄일 수 있다. 제어모듈(130)은 Haarlike 방식을 보행자 후보군에 적용하여, 보행자 후보군을 포함하는 원본영상을 LBP(Local Binary Patterns)코드 영상으로 변환하고, 변환된 LBP코드 영상에서 강인한 특징을 갖는 영역을 추출할 수 있다. 이때, 강인한 특징은 Haarlike 방식을 적용하여 복수개의 영역으로 분할된 LBP코드 영상에서 밝기 값이 가장 큰 적어도 하나의 영역이 갖는 밝기 값을 의미할 수 있다. 제어모듈(130)은 Haarlike 방식에 적용하여 보행자 후보군에서 비보행자 후보군을 제거하는 동안 약분류기인 Adaboost를 통해 특징 중 특성이 높은 상위 특징들을 추출하여 보행자 검출에 사용할 수 있다.
제어모듈(130)은 Haarlike 방식을 통해 특징을 추출한 이후에 도 7의 Adv_HOG 방식 및 도 8의 LBP 코드 적용 방식 중 적어도 하나의 방식을 이용하여 보행자 후보군에서 보행자의 특징을 추출할 수 있다. 제어모듈(130)은 Adv_HOG 방식 및 LBP 방식을 적용하기 이전에 haarlike 방식을 적용하여 비보행자가 확실한 후보군을 먼저 제거함으로써 Haarlike 방식에 비해 검출속도 느린 Adv_HOG 및 LBP 방식 적용 시에 특징을 추출하고자 하는 후보군의 수를 감소시켜 검출능력 향상 및 속도 향상을 제공할 수 있다. 이때, 제어모듈(130)은 원거리에 위치하는 보행자의 특징을 추출하는 동안 전신으로 보행자를 구분할 수 있도록 하나의 Adaboost를 적용할 수 있다. 반대로, 제어모듈(130)은 근거리에 위치하는 보행자의 특징을 추출하는 동안 전신으로 보행자를 구분하고, 상반신으로 보행자를 구분하여 보다 구체적으로 보행자를 구분할 수 있도록 복수개의 Adaboost를 적용할 수 있다.
HOG (Histogram of Gradients) 방식은 영상의 일정 block영역 내 윤곽선(Gradients) 각도에 따라 Histogram을 구성하여 크기를 정규화한 특징을 추출한다. 기존에는 16*16(w*h, 단위: pixels)Block 영역 내에서 gradients 값 추출하고 0~180도를 9개 bin으로 구성해서 각도 표현을 한다. 이에 반하여, 본 발명의 Adv_HOG (advanced Histogram of Gradients) 방식은 도 7에 도시된 바와 같이 정사각형(8*8) 외에도 block의 직사각형 및 크기 변화 유도를 지원하며, 원적외선 영상에 용이하게 변경 가능하도록 0~360도를 9개 bin으로 구성해서 각도 표현을 수행한다.
한편, 도 8에서 설명하는 LBP (Local Binary Patterns) 방식은 현재 화소 값과 이웃 화소 값의 변화를 패턴화한 값을 산출하고 적용하는 방식으로, 패턴화한 값을 단순히 적용하는 것이 아니라 각 block 마다 히스토그램을 구성하여 특징을 정규화하여 추출하는 방식이다. 여기서, block의 크기는 Adv_HOG 방식에서와 동일하게 기존의 정사각형 고정형태의 크기가 아니라 가변적으로 정사각형, 직사각형 등 크기의 다양화를 적용하여, 본 발명은 보다 강인한 특징 추출을 수행할 수 있도록 지원한다.
제어모듈(130)은 Adv_HOG 방식과 LBP 방식 중 적어도 하나의 방식을 통해 추출된 보행자 후보군에서 도 9와 같이 코너 수를 검출하는 코너 방식을 적용할 수 있다. 코너 방식을 적용하면 보행자의 경우 윤곽선이 분명하기 때문에 머리와 몸의 다리 또는 손에 코너가 검출됨을 확인할 수 있다. 제어모듈(130)은 Haarlike 방식, Adv_HOG방식, LBP방식을 적용하여 검출된 보행자 후보군에 최종적으로 코너 방식을 적용하여 보행자를 최종적으로 인식할 수 있다.
보행자의 인식이 완료되면 19단계에서 제어모듈(130)은 보행자의 추적을 수행할 수 있다. 보행자 추적에는 Kalman Filter를 적용할 수 있다. 이 과정에서 제어모듈(130)은 보행자 검출 결과를 통해 보행자의 위치, 속도, 특징 등의 파라미터를 적용하여 linear-kalman filter를 통해서 보행자의 움직임을 추적할 수 있다. 제어모듈(130)은 상술한 필터 적용을 통해 보행자의 움직임 예측을 수행하고, 그에 따른 미검출 또는 오검출 영역 제거를 수행할 수 있다.
21단계에서 제어모듈(130)은 정보 및 경보 출력 중 적어도 하나의 실행을 위한 설정이 있는지 여부를 확인할 수 있다. 이를 위해, 제어모듈(130)은 보행자를 검출한 영상을 이용하여 보행자와 자차 간의 거리를 예측할 수 있다. 이때, 제어모듈(130)은 원적외선 카메라(110)를 장착한 위치가 고정되어 있고, 사람의 키가 170cm라는 가정으로 보행자와 자차 간의 거리를 예측할 수 있다. 제어모듈(130)은 원적외선 영상데이터에서 보행자가 존재하는 영역이 어디인지를 이용하여 차량 전방의 어느 위치에 보행자가 서있는지 검출할 수 있다.
제어모듈(130)은 21단계에서 정보 및 경보 출력을 위한 설정이 있는 경우 23단계로 진행하여 사전 정의된 정보 및 경보 출력을 제어할 수 있다. 예컨대, 제어모듈(130)은 보행자가 근접하거나 차량 앞에 존재하는 경우 위험경고음 발생을 수행할 수 있다. 또는 제어모듈(130)은 보행자가 멀리 있거나 차량의 전방 우측 또는 좌측에 존재하는 경우 정보출력장치(120)의 비디오 장치를 통하여 영상데이터 내에 보행자 위치 표현을 수행할 수 있다. 이는 도 10과 같이 나타낼 수 있다.
한편, 제어모듈(130)은 21단계에서 정보 및 경보 출력을 위한 설정이 없는 경우, 23단계를 스킵할 수 있다.
다음으로, 제어모듈(130)은 25단계에서 보행자 인식 기능의 종료를 위한 이벤트 발생이 있는지 확인할 수 있다. 예컨대, 제어모듈(130)은 보행자 인식 기능 종료를 위한 입력 신호 수신이 있거나, 앞서 언급한 바와 같이 사전 정의된 일정 시간이 도래하거나, 조도 센싱정보가 일정 조도 이하 또는 이상인 경우, 온도 센싱정보가 일정 온도 이하 또는 이상인 경우, 보행자 인식 기능 종료를 위한 이벤트 발생으로 결정할 수 있다. 한편, 제어모듈(130)은 25단계에서 보행자 인식 기능 종료를 위한 이력 이벤트 발생이 없으면, 13단계로 회귀하여 이하 과정을 재수행할 수 있다.
이상에서 설명한 바와 같이 본 발명의 실시예에 따른 보행자 인식 장치 및 방법에 따르면 본 발명은 야간 등 운전자가 보행자를 인식하기 어려운 상황에서 능동적으로 보행자의 인식을 파악할 수 있도록 지원한다. 이 과정에서 본 발명은 보다 신속한 영상 처리와 신뢰성 높은 영상 인식을 통해 보행자 인식 기능에 대한 강건성을 제공할 수 있다. 추가로 본 발명은 보행자 인식 결과를 기반으로 차량 제어 또는 경보 제어를 수행함으로써 운전자 및 보행자에 대한 안전성 확보를 개선할 수 있다.
그리고 본 명세서와 도면에 발명된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 발명된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 보행자 인식 장치 110: 원적외선 카메라
120: 정보출력장치 130: 제어모듈

Claims (10)

  1. 일정영역의 원적외선 영상데이터를 획득하는 원적외선 카메라;
    상기 원적외선 영상데이터에서 보행자 후보군을 검출하고, 상기 보행자 후보군에서 비보행자에 대한 후보군을 제거하며, 비보행자에 대한 후보군이 제거된 보행자 후보군에서 보행자 검출을 수행하는 제어모듈;
    을 포함하는 보행자 인식 장치.
  2. 제1항에 있어서,
    상기 제어모듈은
    상기 원적외선 영상데이터에서 온도 정보 및 머리 정보를 기준으로 상기 보행자 후보군 검출을 수행하는 보행자 인식 장치.
  3. 제1항에 있어서,
    상기 제어모듈은
    상기 원적외선 영상데이터를 적어도 하나의 영역으로 분할하고, 상기 영역의 밝기 값의 합의 차이를 산출하여 상기 보행자 후보군에서 비보행자에 대한 후보군을 제거하는 Haarlike방식을 적용하는 보행자 인식 장치.
  4. 제3항에 있어서,
    상기 제어모듈은
    상기 비보행자에 대한 후보군이 제거된 보행자 후보군의 영역을 크기 변화가 가능한 사각형 블록으로 구분하고 360도 각도를 9개의 bin으로 구성하여 각도 표현하는 Adv_HOG 방식과,
    현재 화소 값과 이웃 화소 값의 변화를 패턴화한 패턴화 값을 상기 보행자 후보군 영역에서 크기 변화가 가능한 블록마다 적용하여 구성된 히스토그램의 특징을 추출하는 LBP방식 중 적어도 하나의 방식을 적용하여 보행자를 인식하는 보행자 인식 장치.
  5. 제4항에 있어서,
    상기 제어모듈은
    상기 Adv_HOG 방식과 LBP 방식 중 적어도 하나의 방식을 적용하여 인식된 보행자 후보군의 영역에서 코너 수를 검출하는 코너 방식을 적용하여 최종 보행자를 인식하는 보행자 인식 장치.
  6. 일정영역의 원적외선 영상데이터를 획득하는 단계;
    상기 원적외선 영상데이터에서 보행자 후보군을 검출하는 단계;
    상기 검출된 보행자 후보군에서 비보행자에 대한 후보군을 제거하는 단계;
    상기 비보행자 후보군이 제거된 보행자 후보군에서 보행자 검출을 수행하는 단계;
    를 포함하는 보행자 인식 방법.
  7. 제6항에 있어서,
    상기 보행자 후보군을 검출하는 단계는
    상기 원적외선 영상데이터에서 온도 정보 및 머리 정보를 기준으로 상기 보행자 후보군을 검출하는 단계인 보행자 인식 방법.
  8. 제6항에 있어서,
    상기 비보행자에 대한 후보군을 제거하는 단계는
    Haarlike 방식을 적용하여 상기 원적외선 영상데이터를 적어도 하나의 영역으로 분할하는 단계;
    상기 영역의 밝기 값의 합의 차이를 산출하는 단계;
    상기 산출 값을 기반으로 상기 보행자 후보군에서 비보행자에 대한 후보군을 제거하는 단계인 보행자 인식 방법.
  9. 제8항에 있어서,
    상기 보행자 검출을 수행하는 단계 이후에
    상기 비보행자에 대한 후보군이 제거된 보행자 후보군의 영역을 크기 변화가 가능한 사각형 블록으로 구분하고 360도 각도를 9개의 bin으로 구성하여 각도 표현하는 Adv_HOG 방식과, 현재 화소 값과 이웃 화소 값의 변화를 패턴화한 패턴화 값을 상기 보행자 후보군 영역에서 크기 변화가 가능한 블록마다 적용하여 구성된 히스토그램의 특징을 추출하는 LBP방식 중 적어도 하나의 방식을 적용하여 보행자를 인식하는 단계;
    를 더 포함하는 보행자 인식 방법.
  10. 제9항에 있어서,
    상기 보행자를 인식하는 단계 이후에
    상기 Adv_HOG 방식과 LBP 방식 중 적어도 하나의 방식을 적용하여 인식된 보행자 후보군의 영역에서 코너 수를 검출하는 코너 방식을 적용하여 보행자를 최종 인식하는 단계;
    를 더 포함하는 보행자 인식 방법.
KR1020140095729A 2014-07-28 2014-07-28 보행자 인식 장치 및 방법 KR102109114B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140095729A KR102109114B1 (ko) 2014-07-28 2014-07-28 보행자 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140095729A KR102109114B1 (ko) 2014-07-28 2014-07-28 보행자 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160013660A true KR20160013660A (ko) 2016-02-05
KR102109114B1 KR102109114B1 (ko) 2020-05-12

Family

ID=55353495

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140095729A KR102109114B1 (ko) 2014-07-28 2014-07-28 보행자 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102109114B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102001586B1 (ko) * 2018-02-14 2019-07-18 연세대학교 산학협력단 오브젝트 검출 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065756A (ja) * 2006-09-11 2008-03-21 Kawasaki Heavy Ind Ltd 運転支援装置
KR20110026566A (ko) * 2009-09-08 2011-03-16 주식회사 만도 보행자 검출 장치 및 그 방법
JP2014006075A (ja) * 2012-06-21 2014-01-16 Denso Corp 歩行者検知装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065756A (ja) * 2006-09-11 2008-03-21 Kawasaki Heavy Ind Ltd 運転支援装置
KR20110026566A (ko) * 2009-09-08 2011-03-16 주식회사 만도 보행자 검출 장치 및 그 방법
JP2014006075A (ja) * 2012-06-21 2014-01-16 Denso Corp 歩行者検知装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102001586B1 (ko) * 2018-02-14 2019-07-18 연세대학교 산학협력단 오브젝트 검출 장치 및 방법

Also Published As

Publication number Publication date
KR102109114B1 (ko) 2020-05-12

Similar Documents

Publication Publication Date Title
KR101543105B1 (ko) 보행자 인식 장치 및 그의 처리 방법과 이를 지원하는 차량
KR102441085B1 (ko) 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
CN106652465B (zh) 一种道路异常驾驶行为的识别方法及系统
KR101517181B1 (ko) 차선 이탈 경보 시스템 및 방법
KR101758576B1 (ko) 물체 탐지를 위한 레이더 카메라 복합 검지 장치 및 방법
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
US9047518B2 (en) Method for the detection and tracking of lane markings
KR101605514B1 (ko) 차선 인식 장치 및 방법
US20150169980A1 (en) Object recognition device
WO2013047088A1 (ja) 生体認識装置
WO2018211930A1 (ja) 物体検出装置、物体検出方法、及び、コンピュータが読取可能な記録媒体
JP2005196590A (ja) 歩行者抽出装置
US9160986B2 (en) Device for monitoring surroundings of a vehicle
JP2015153162A (ja) 境界線認識装置
KR101687094B1 (ko) 교통 표지판 인식 장치 및 교통 표지판 인식 방법
JP2014035560A (ja) 飛び出し検出装置
KR20100000698A (ko) 숫자의 기하학적 관계를 이용한 차량 번호판 인식 방법
JP2008077154A (ja) 車両周辺監視装置
JP2011103058A (ja) 誤認識防止装置
KR102109114B1 (ko) 보행자 인식 장치 및 방법
JP6087240B2 (ja) 車両周辺監視装置
JP4765113B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP5642785B2 (ja) 車両の周辺監視装置
KR100967456B1 (ko) 철도건널목 지장물 영상 검지장치 및 그 제어방법
JP5559121B2 (ja) 対象物種別判定装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant