KR20180070125A - 긴급제동 시스템 및 이의 구동 방법 - Google Patents

긴급제동 시스템 및 이의 구동 방법 Download PDF

Info

Publication number
KR20180070125A
KR20180070125A KR1020160172421A KR20160172421A KR20180070125A KR 20180070125 A KR20180070125 A KR 20180070125A KR 1020160172421 A KR1020160172421 A KR 1020160172421A KR 20160172421 A KR20160172421 A KR 20160172421A KR 20180070125 A KR20180070125 A KR 20180070125A
Authority
KR
South Korea
Prior art keywords
pedestrian
target image
crosswalk
vehicle
emergency braking
Prior art date
Application number
KR1020160172421A
Other languages
English (en)
Inventor
조영하
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020160172421A priority Critical patent/KR20180070125A/ko
Publication of KR20180070125A publication Critical patent/KR20180070125A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/17—Using electrical or electronic regulation means to control braking
    • B60T8/172—Determining control parameters used in the regulation, e.g. by calculations involving measured or detected parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/085—Taking automatic action to adjust vehicle attitude in preparation for collision, e.g. braking for nose dropping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 횡단보도 상에 존재하는 보행자의 움직임을 인식함과 아울러, 프리필(pre-fill) 구동을 제어하여 비상 상황에서의 제동력을 높일 수 있는 긴급제동 시스템 및 이의 구동 방법에 관한 것이다.
본 발명의 실시 예에 따른 긴급제동 시스템은, 차량에 배치된 카메라를 구동시켜 타겟 영상을 생성하는 영상 생성부와, 상기 타겟 영상을 이진화 처리하여 횡단보도를 검출하는 횡단보도 검출부와, 상기 횡단보도의 위치 정보에 기초하여 상기 타겟 영상에 관심영역을 설정하는 관심영역 설정부와, 상기 관심영역 상의 보행자와 상기 차량과의 거리를 측정하여 거리 정보를 생성하는 레이더와, 상기 거리 정보를 상기 타겟 영상에 투사하고, 레이더 트랙의 횡방향 움직임의 검출 시 횡단보도 상에 보행자가 존재하는 것으로 판단하는 보행자 인식부와, 횡단보도 상에 보행자가 존재하는 경우 브레이크의 유압이 상승되도록 프리필(pre-fill) 구동을 수행하는 긴급제동 구동부를 포함한다.

Description

긴급제동 시스템 및 이의 구동 방법{Autonomous Emergency Braking System And Method of Driving thereof}
본 발명은 긴급제동 시스템 및 이의 구동 방법에 관한 것으로, 더욱 자세하게는 횡단보도 상에 존재하는 보행자의 움직임을 인식함과 아울러, 프리필(pre-fill) 구동을 제어하여 비상 상황에서의 제동력을 높일 수 있는 긴급제동 시스템 및 이의 구동 방법에 관한 것이다.
자율 긴급제동(AEB: Autonomous Emergency Braking) 시스템은 레이더를 이용하여 전방의 물체와 사람을 인식하고, 제어부(ECU: electronic control unit)을 이용하여 긴급 상황인지를 판단한다. 이후, 긴급 상황으로 판단되면 브레이크 장치를 구동시켜 차량을 제동시킨다.
자율 긴급제동(AEB)이 이루어지기 위해서는 보행자를 감지할 뿐만 아니라, 보행자의 움직임을 정확하게 인식(파악)하는 것이 중요하다. 횡단보도에서는 보행자가 이동하게 되는데, 이로 인해 보행자가 미인식(또는 오인식)될 수 있다. 특히, 보행자의 수가 증가할수록 보행자들의 인식 및 움직임을 파악하는 것에 어려움이 있고, 이로 인해 자율 긴급제동(AEB)의 성능이 저하되어 사고의 발생을 방지할 수 없는 문제점이 있다.
한국 공개특허 10-2015-0128314호(차량 AEB 제동 장치 및 그 방법)
전술한 문제점을 해결하기 위해서, 횡단보도 및 복수의 보행자를 인식하여 비상 상황에서의 제동력을 높일 수 있는 긴급제동 시스템 및 이의 구동 방법을 제공하는 것을 기술적 과제로 한다.
전술한 문제점을 해결하기 위해서, 횡단보도 상에 보행자가 존재하는 경우 프리필(pre-fill) 구동을 제어하여 자율 긴급제동(AEB)의 성능을 향상시킬 수 있는 긴급제동 시스템 및 이의 구동 방법을 제공하는 것을 기술적 과제로 한다.
전술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 긴급제동 시스템은, 차량에 배치된 카메라를 구동시켜 타겟 영상을 생성하는 영상 생성부와, 상기 타겟 영상을 이진화 처리하여 횡단보도를 검출하는 횡단보도 검출부와, 상기 횡단보도의 위치 정보에 기초하여 상기 타겟 영상에 관심영역을 설정하는 관심영역 설정부와, 상기 관심영역 상의 보행자와 상기 차량과의 거리를 측정하여 거리 정보를 생성하는 레이더와, 상기 거리 정보를 상기 타겟 영상에 투사하고, 레이더 트랙의 횡방향 움직임의 검출 시 횡단보도 상에 보행자가 존재하는 것으로 판단하는 보행자 인식부와, 횡단보도 상에 보행자가 존재하는 경우 브레이크의 유압이 상승되도록 프리필(pre-fill) 구동을 수행하는 긴급제동 구동부를 포함한다.
본 발명의 실시 예에 따른 긴급제동 시스템은, 상기 차량과 보행자 간의 거리가 사전에 설정된 기준 거리 이하인 경우에 긴급 상황의 발생을 판단하는 판단부를 더 포함한다. 상기 긴급제동 구동부는 긴급 상황의 발생 시 브레이크 장치를 제어하여 자율 긴급제동이 이루어지도록 한다.
본 발명의 실시 예에 따른 긴급제동 시스템의 상기 횡단보도 검출부는, 이진화 처리된 타겟 영상에서 흑백 성분의 특성과 도로, 차선 및 횡단보도의 라인의 특성을 비교하여 상기 타겟 영상에서 횡단보도를 검출한다.
본 발명의 실시 예에 따른 긴급제동 시스템의 상기 보행자 인식부는, 광학 흐름(optical flow) 알고리즘을 적용하여 상기 타겟 영상의 프레임들 각각에 특징 포인트를 설정한다. 그리고, 연속된 프레임에서 상기 특징 포인트의 움직임을 검출하여 횡단보도 상에 보행자가 존재하는지를 판단한다.
전술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 긴급제동 시스템의 구동 방법은, 차량에 배치된 카메라를 구동시켜 타겟 영상을 생성하는 단계와, 상기 타겟 영상을 이진화 처리하여 횡단보도를 검출하는 단계와, 상기 횡단보도의 위치 정보에 기초하여 상기 타겟 영상에 관심영역을 설정하는 단계와, 상기 차량에 배치된 레이더에서 입력된 상기 차량과 보행자 간의 거리 정보를 상기 타겟 영상에 투사하는 단계와, 레이더 트랙의 횡방향 움직임의 검출 시 횡단보도 상에 보행자가 존재하는 것으로 판단하는 단계와, 횡단보도 상에 보행자가 존재하는 경우 브레이크의 유압이 상승되도록 프리필(pre-fill) 구동을 수행하는 단계를 포함한다.
본 발명의 실시 예에 따른 긴급제동 시스템의 구동 방법은, 상기 차량과 보행자 간의 거리와 사전에 설정된 기준 거리를 비교하여 긴급 상황의 발생을 판단하는 단계와, 상기 긴급 상황의 발생 시 브레이크 장치를 제어하는 단계를 더 포함한다. 이를 통해, 자율 긴급제동이 이루어지도록 한다.
위에서 언급된 본 발명의 기술적 과제 외에도, 본 발명의 다른 특징 및 이점들이 이하에서 기술되거나, 그러한 기술 및 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시 예에 따른 긴급제동 시스템 및 이의 구동 방법은 횡단보도 및 복수의 보행자를 인식하여 비상 상황에서의 제동력을 높이고, 제동 시간을 줄일 수 있다.
본 발명의 실시 예에 따른 긴급제동 시스템 및 이의 구동 방법은 횡단보도 상에 보행자가 존재하는 경우 프리필(pre-fill) 구동을 제어하여 자율 긴급제동(AEB)의 성능을 향상시킬 수 있다.
본 발명의 실시 예에 따른 긴급제동 시스템 및 이의 구동 방법은 타겟 영상에서 우선 횡단보도를 인식한 후, 횡단보도의 위치에 기초하여 관심영역을 설정하여 군집 보행자를 인식하기 위한 연산량 및 시간을 줄일 수 있다.
이 밖에도, 본 발명의 실시 예들을 통해 본 발명의 또 다른 특징 및 이점들이 새롭게 파악될 수도 있을 것이다.
도 1은 본 발명의 실시 예에 따른 긴급제동 시스템을 나타내는 도면이다.
도 2는 3차원 좌표에 기초하여 관심영역(ROI)를 설정하는 방법을 나타내는 도면이다.
도 3은 타겟 영상에서 보행자의 높이를 설정하는 방법을 나타내는 도면이다.
도 4는 오일러 방정식(Euler equation)을 이용하여 3X3 로테이션 행렬(rotation matrix)을 3X3 방향 코사인 행렬(direction cosine matrix)로 변환한 후, X, Y, Z축을 표시한 것을 나타내는 도면이다.
도 5는 프로젝션 행렬(projection matrix)을 이용하여 영상에서 관심영역(ROI)를 설정하고, 보행자의 움직임을 인식하는 방법을 나타내는 도면이다.
도 6은 횡단보도 상에서 다수의 타겟 포인트를 설정하고, 연속적인 프레임에서 다수의 타겟점의 움직임을 검출하여 보행자를 인식하는 방법을 나타내는 도면이다.
도 7은 본 발명의 실시 예에 따른 긴급제동 시스템의 구동 방법을 나타내는 도면이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.
제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.
여기서 사용되는 전문 용어는 단지 특정 실시 예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
도 1은 본 발명의 실시 예에 따른 긴급제동 시스템을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 긴급제동 시스템(100)은 영상 생성부(110), 횡단보도 검출부(120), 관심영역 설정부(130), 보행자 인식부(140), 판단부(150), 긴급제동 제어부(160), 1개 이상의 카메라(170) 및 1개 이상의 레이더(180)를 포함한다. 여기서, 카메라(170) 및 레이더(180)는 차량의 전방에 배치될 수 있다. 또한, 카메라(170) 및 레이더(180)는 차량의 전방뿐만 아니라, 측면 및 후면에도 배치될 수 있다.
영상 생성부(110)는 차량의 전방에 배치된 카메라를 구동시켜 차량의 전방을 실시간 촬영하여 타겟 영상을 생성한다. 이에 한정되지 않고, 차량의 후방 및 측방에 배치된 카메라를 추가로 구동시켜 차량의 후방 및 측방을 실시간 촬영하고, 차량의 전방 영상, 후방 영상 및 측방 영상에 기초하여 타겟 영상을 생성할 수도 있다. 이러한, 타겟 영상(영상 데이터)은 프레임 단위로 연속적으로 생성되어 횡단보도 검출부(120)에 제공된다.
횡단보도 검출부(120)는 영상 생성부(110)에서 입력된 타겟 영상에 기초하여 자차선의 도로가 모두 포함되도록 일정한 영역을 설정한다. 이때, 차량이 두 차선에 걸쳐 있는 경우 상기 두 차선의 도로가 모두 포함되도록 일정한 영역을 설정한다. 여기서, 설정된 영역은 도로 상에 배치된 횡단보도를 검출하기 위한 것으로, 도로, 차선 및 횡단보도의 라인의 특성이 미리 설정된 데이터를 이용하여 타겟 영상에서 횡단보도의 유무를 검출한다. 타겟 영상을 이진화 처리한 후, 흑백 성분의 특성과 도로, 차선 및 횡단보도의 라인의 특성을 비교하여 타겟 영상에서 횡단보도를 검출한다.
횡단보도 검출부(120)는 타겟 영상의 정보(영상 데이터) 및 횡단보도의 검출 결과 및 타겟 영상에서 횡단보도의 위치 정보를 관심영역 설정부(130)에 제공한다.
도 2는 3차원 좌표에 기초하여 관심영역(ROI)를 설정하는 방법을 나타내는 도면이고, 도 3은 타겟 영상에서 보행자의 높이를 설정하는 방법을 나타내는 도면이다.
도 2 및 도 3을 참조하면, 하나의 보행자 또는 복수의 보행자(군집 보행자)의 유무 및 보행자 각각의 움직임을 인식하기 위해서, 관심영역 설정부(130)는 횡단보도의 위치 정보에 기초하여 타겟 영상에서 관심영역(ROI)을 설정한다. 타겟 영상에서 관심영역(ROI)을 설정할 때 X축은 횡단보도의 일측에서 타측까지의 길이가 되고, Y축은 보행자의 키(높이)가 되어야 한다.
횡단보도는 지면에 위치함으로 역 투사 행렬(Inverse Projection Matrix)을 이용하여 차량과 횡단보도 사이의 거리를 산출할 수 있다. 거리 "d"에서 영상 내에서 물체(object)의 높이는 "h"는 "f*H/d"의 결과 값으로 산출할 수 있다. 즉, h = f* H/d로 나타낼 수 있다. 여기서, f는 센서(sensor)의 초점 길이(focal length)이며, H는 물체(object)의 높이를 의미한다.
산출된 보행자의 키(높이)는 0.8m ~ 2.0m 범위를 가지며, 차량의 높이는 1.0m ~ 3.0m의 범위를 가지게 된다. 따라서, 보행자의 키(높이)를 고려하여 타겟 영상 내에서 관심영역(ROI)를 설정한다. 이와 같이, 타겟 영상에서 횡단보도의 위치를 인식한 후, 관심영역(ROI)을 설정하면 군집 보행을 인식하기 위한 연산량 및 시간을 줄일 수 있다. 타겟 영상 내에서 설정된 관심영역(ROI)의 정보는 보행자 인식부(140)에 제공된다.
횡단보도 상에 보행자가 위치하는지 여부 및 긴급제동을 위해서는 차량과 보행자(물체) 간의 거리 정보가 필요하다. 이를 위해, 본 발명의 레이더(180)는 차량과 보행자(또는 물체) 간의 거리 정보를 생성한 후, 보행자 인식부(140)에 제공한다.
보행자 인식부(140)는 관심영역(ROI)에서 횡단보도 상에 보행자가 존재하지 여부 및 보행자의 움직임을 인식하기 위해서, 도 2에 도시된 바와 같이 3차원 영상을 2차원 영상으로 변환한다.
[수학식 1]
Figure pat00001
상기 수학식 1에서, "x"는 차량을 기준으로 전방의 위치이고, "y"는 전방의 물체의 너비이다. 상기 수학식 1에 기초하여 전방의 위치(x), 고도(z) 및 좌우방향(y)의 위치를 영상 좌표계로 변환한다. 이후, 변환한 영상 좌표계를 하기의 수학식 2에 기초하여 영상 좌표로 변환한다. 이때, 하기의 수학식 2에서 고도 방향(z)은 "0(zero)"인 것으로 가정한다.
[수학식 2]
Figure pat00002
상기 수학식 2에서 W는 3차원 좌표이고, U는 타겟 영상의 좌표이다. 그리고, P는 투사 행렬(Projection Matrix)이고, K는 차량에 배치된 카메라의 내부 파라미터(Intrinsic parameter matrix, fc: focal length, u0, v0: principal point)이고, R은 차량에 배치된 카메라가 3차원으로 회전된 정도를 나타내는 행렬(3Χ3 rotation matrix)이고, T는 차량에 배치된 카메라와 차량 범퍼 중심간의 3차원 좌표의 차이(3Χ1 translation matrix)이다.
3차원 좌표 W를 구성하는 x, y, z 중에서 하나의 성분을 0으로 설정하면 2차원으로 변환할 수 있다. 본 발명에서 횡단보도는 지면에 위치함으로 수직 성분(z)을 0으로 설정(z=0)으로 설정한다. 상기 수학식 2에서 z=0으로 설정하면, 상기 수학식 2를 하기의 수학식 3으로 나타낼 수 있다.
[수학식 3]
Figure pat00003
횡단보도의 밑변의 좌표와 상기 수학식 2, 3을 적용하여 횡단보도의 3차원 거리(Wx, Wy)를 추정할 수 있다. 여기서, Wx는 차량의 범퍼 중심 기준으로 횡방향 거리(오른쪽 -, 왼쪽 +)이고, Wy는 차량이 범퍼 중심 기준으로 종방향 거리이다.
도 4는 오일러 방정식(Euler equation)을 이용하여 3X3 로테이션 행렬(rotation matrix)을 3X3 방향 코사인 행렬(direction cosine matrix)로 변환한 후, X, Y, Z축을 표시한 것을 나타내는 도면이고, 도 5는 프로젝션 행렬(projection matrix)을 이용하여 영상에서 관심영역(ROI)를 설정하고, 보행자의 움직임을 인식하는 방법을 나타내는 도면이다.
도 4에 도시된 바와 같이, 오일러 방정식(Euler equation)을 이용하여 3X3 로테이션 행렬(rotation matrix,
Figure pat00004
)을 3X3 방향 코사인 행렬(direction cosine matrix)로 변환한다. 이후, 3X3 방향 코사인 행렬을 X, Y, Z축을 표시할 수 있다. 이때, X축은 피치(pitch)이고, Y축은 yaw이고, Z축은 roll을 의미하며, 각도는 축의 증가 방향으로 오른손 엄지 손가락을 놓고 나머지 손가락으로 축을 감싸 쥐었을 때, 축을 감싸 쥔 방향으로 증가하게 된다.
도 5에 도시된 바와 같이, 보행자 인식부(140)는 레이더(180)에서 입력된 차량과 보행자 간의 거리 정보를 타겟 영상에 투사(projection)한다. 여기서, 레이더(180)는 폴라 좌표계(Polar Coordinator)를 사용하게 되는데, 보행자 인식부(140)는 도 2에 도시된 것처럼 r성분과 θ성분으로 이루어진 좌표계를 직교 좌표계(Cartesian Coordinator)로 변환한다.
보행자 인식부(140)는 타겟 영상의 관심영역(ROI)에 투사(Projection) 한 레이더 트랙(Radar Track)이 횡방향으로 일정한 움직이는 것이 검출되면, 횡단보도 상에 보행자가 존재하는 것으로 판단한다. 이와 함께, 보행자 인식부(140)는 횡단보도 상에 보행자가 존재하는 경우 보행자의 수를 카운팅 할 수 있다.
도 6은 횡단보도 상에서 다수의 타겟 포인트를 설정하고, 연속적인 프레임에서 다수의 타겟점의 움직임을 검출하여 보행자를 인식하는 방법을 나타내는 도면이다.
도 6을 참조하면, 보행자는 반사파의 크기가 작아서 노이즈와 구분이 안 되는 경우가 있을 수 있다. 이런 경우에는 실제로 횡단보도 상에 보행자가 있어도 레이더 트랙(radar track)이 나오지 않을 수 있다. 이때, 레이더 정보만 이용하면 보행자의 인식 성능이 저하될 수 있고, 긴급제동이 구동되지 않아 사고가 발생할 수도 있다.
본 발명에서는 보행자의 미인식(또는 오인식)을 방지 및 보행자의 인식 성능을 높이기 위해서 광학 흐름(optical flow) 알고리즘을 적용하여 보행자의 움직임을 인식한다.
여기서, 타겟 영상의 프레임들 각각에서, 횡단보도 상의 보행자의 발밑의 높이는 0m, 어린이의 키는 0.8m, 성인의 키는 1.8m인 것으로 가정하고, 등 간격으로 다수의 특징 포인트(P)를 설정한다. 이와 같이, 설정한 특징 포인트(P)를 연속적인 프레임들에서 관찰하여 횡방향의 움직임이 있으면 횡단보도 상에 보행자가 존재하는 것으로 판단한다.
광학 흐름(optical flow) 알고리즘은 프레임들 각각에 특징 포인트(P)를 설정하고, 연속적인 프레임들에서 특징 포인트(P)가 어느 방향으로 이동했는지를 산출할 수 있다. 즉, t 프레임에서 설정된 특징 포인트(P)의 제1 위치와 t+1 프레임에서 설정된 특징 포인트(P)의 제2 위치를 비교하면 특징 포인트(P)가 어느 방향으로 이동했는지를 알 수 있고, 이를 통해 횡단보도 상에 보행자가 존재하는 것을 인지할 수 있다. 보행자 인식부(140)는 보행자(또는 물체)의 인식 정보를 생성하고, 생성된 보행자 인식 정보를 긴급제동 제어부(160)에 공급한다. 또한, 보행자 인식부(140)는 보행자 인식 정보 및 차량과 보행자 사이의 거리 정보를 판단부(150)에 제공한다.
긴급 상황에서는 신속하게 제동이 이루어져야 하는데, 실제 제동력이 발생하는 시점까지 브레이크의 압력이 높아지기 위해서는 일정 시간이 필요하게 된다. 이 경우, 미세한 시간 차이로 인해서 추돌 사고가 발생할 수도 있음으로 이에 대한 대책이 필요하다.
긴급제동 제어부(160)는 추돌 사고의 발생을 방지하기 위해서, 입력된 보행자 인식 정보에 기초하여 프리필(pre-fill) 구동을 수행한다. 즉, 횡단보도 상에 보행자가 존재하면 추돌 사고가 발생할 확률이 있음으로, 사전에 사고의 발생을 방지하기 위한 방안으로 미리 브레이크의 유압을 상승시켜 긴급 상황에서 신속하게 자율 긴급제동(AEB)이 이루어지도록 한다. 이때, 실제 제동력을 발생시키는 압력보다는 낮게 브레이크의 유압을 상승시킨다. 즉, 실제 제동력이 발생하지는 않지만 비상 상황 시 즉시 제동이 이루어지도록 프리필(pre-fill) 구동을 수행한다.
판단부(150)는 보행자 인식 정보 및 차량과 보행자 사이의 거리 정보에 기초하여, 보행자 각각과 차량 사이의 거리가 사전에 설정된 기준 거리 이하인 경우에 긴급 상황으로 판단한다. 여기서, 횡단보도 상에 복수의 보행자가 존재하는 경우, 복수의 보행자 중 차량과의 거리가 가장 짧은 보행자를 기준으로 긴급 상황의 발생 여부를 판단한다. 즉, 복수의 보행자 중에서 1명이라도 차량과의 거리가 기준 거리 이하일 때 긴급 상황으로 판단한다. 이후, 긴급 상황의 정보를 긴급제동 제어부(160)에 제공한다.
긴급제동 제어부(160)는 긴급 상황의 정보가 입력되면 브레이크 장치를 제어하여 차량의 긴급제동이 이루어지도록 한다. 이때, 사고 방생을 방지하기 위해서 운전자의 의도와는 상관없이 브레이크 장치를 제어하여 차량의 자율 긴급제동(AEB)이 이루어지도록 한다.
여기서, 횡단보도 상의 보행자가 인지된 경우, 긴급 상황이 발생하기 이전에 프리필(pre-fill) 구동을 수행하여 브레이크의 유압을 상승시켰다. 따라서, 자율 긴급제동(AEB) 시 제동 시간 및 제동 거리가 단축되어 사고의 발생 확률을 낮출 수 있다.
도 7은 본 발명의 실시 예에 따른 긴급제동 시스템의 구동 방법을 나타내는 도면이다.
도 1 내지 7을 결부하여 설하면, 영상 생성부(110)는 차량의 전방에 배치된 카메라(170)를 구동시켜 차량의 전방을 실시간 촬영하여 타겟 영상을 생성한다. 또한, 차량의 후방 및 측방에 배치된 카메라를 추가로 구동시켜 차량의 후방 및 측방을 실시간 촬영하고, 차량의 전방 영상, 후방 영상 및 측방 영상에 기초하여 타겟 영상을 생성한다(S10). 그러나, 이에 한정되지 않고, 영상 생성부(110)는 차량에 배치된 레이더를 구동시켜 타겟 영상을 생성할 수도 있다. 이러한, 타겟 영상의 정보(영상 데이터)는 횡단보도 검출부(120)에 제공된다. 이때, 타겟 영상은 프레임 단위로 연속적으로 생성된다.
이어서, 횡단보도 검출부(120)는 타겟 영상에 기초하여 도로 상의 횡단보도를 인식한다(S20). 구체적으로, 횡단보도 검출부(120)는 타겟 영상에 기초하여 자차선의 도로가 모두 포함되도록 일정한 영역을 설정한다. 이때, 차량이 두 차선에 걸쳐 있는 경우 상기 두 차선의 도로가 모두 포함되도록 일정한 영역을 설정한다. 여기서, 설정된 영역은 도로 상에 배치된 횡단보도를 검출하기 위한 것으로, 도로, 차선 및 횡단보도의 라인의 특성이 사전에 설정된 데이터를 이용하여 타겟 영상에서 횡단보도의 유무를 검출한다.
타겟 영상을 이진화 처리한 후, 흑백 성분의 특성과 도로, 차선 및 횡단보도의 라인의 특성을 비교하여 타겟 영상에서 횡단보도를 검출한다. 타겟 영상의 정보(영상 데이터) 및 횡단보도의 검출 결과 및 타겟 영상에서 횡단보도의 위치 정보를 관심영역 설정부(130)에 제공된다.
이어서, 관심영역 설정부(130)는 복수의 보행자(군집 보행자)의 유무 및 복수의 보행자 각각의 움직임을 인식하기 위해서, 횡단보도의 위치 정보에 기초하여 타겟 영상에서 관심영역(ROI)을 설정한다(S30). 이와 같이, 타겟 영상에서 횡단보도의 위치를 인식한 후, 관심영역(ROI)을 설정하면 군집 보행을 인식하기 위한 연산 시간을 줄일 수 있다.
이어서, 보행자 인식부(140)는 레이더(180)에서 입력된 차량과 보행자 간의 거리 정보를 타겟 영상에 투사(projection)한다(S40). 여기서, 레이더(180)는 폴라 좌표계(Polar Coordinator)를 사용하게 되는데, 보행자 인식부(140)는 도 2에 도시된 것처럼 r성분과 θ성분으로 이루어진 좌표계를 직교 좌표계(Cartesian Coordinator)로 변환한다.
이어서, 보행자 인식부(140)는 타겟 영상의 관심영역(ROI)에 투사(Projection) 한 레이더 트랙(Radar Track)이 횡방향으로 일정한 움직이는 것이 검출되면, 횡단보도 상에 보행자가 존재하는 것으로 판단하고, 보행자의 움직임을 인식한다(S50). 이와 함께, 보행자 인식부(140)는 횡단보도 상에 보행자가 존재하는 경우 보행자의 수를 카운팅 할 수 있다. 여기서, 보행자의 미인식(또는 오인식)을 방지 및 보행자의 인식 성능을 높이기 위해서 광학 흐름(optical flow) 알고리즘을 적용하여 보행자의 움직임을 인식한다.
t 프레임에서 설정된 특징 포인트(P)의 제1 위치와 t+1 프레임에서 설정된 특징 포인트(P)의 제2 위치를 비교하면 특징 포인트(P)가 어느 방향으로 이동했는지를 알 수 있고, 이를 통해 횡단보도 상에 보행자가 존재하는 것을 인지할 수 있다. 보행자 인식부(140)는 보행자(또는 물체)의 인식 정보를 생성하고, 생성된 보행자 인식 정보를 긴급제동 제어부(160)에 공급한다. 또한, 보행자 인식부(140)는 보행자 인식 정보 및 차량과 보행자 사이의 거리 정보를 판단부(150)에 제공한다.
이어서, 긴급제동 제어부(160)는 추돌 사고의 발생을 방지하기 위해서, 입력된 보행자 인식 정보에 기초하여 프리필(pre-fill) 구동을 수행한다(S60). 즉, 횡단보도 상에 보행자가 존재하면 추돌 사고가 발생할 확률이 있음으로, 사전에 사고의 발생을 방지하기 위한 방안으로 미리 브레이크의 유압을 상승시켜 긴급 상황에서 신속하게 자율 긴급제동(AEB)이 이루어지도록 한다. 이때, 실제 제동력을 발생시키는 압력보다는 낮게 브레이크의 유압을 상승시킨다. 즉, 실제 제동력이 발생하지는 않지만 비상 상황 시 즉시 제동이 이루어지도록 프리필(pre-fill) 구동을 수행한다.
이어서, 판단부(150)는 보행자 인식 정보 및 차량과 보행자 사이의 거리 정보에 기초하여 보행자 각각과 차량 사이의 거리가 사전에 설정된 기준 거리에 기초하여 긴급 상황이 발생했는지 확인한다(S70).
S70의 확인 결과, 보행자와 차량 사이의 거리가 기준 거리 이하인 경우에는 긴급 상황이 발생한 것으로 판단한다. 한편, 보행자와 차량 사이의 거리가 기준 거리를 초과하면 긴급 상황이 발생하지 않은 것으로 판단한다. 여기서, 횡단보도 상에 복수의 보행자가 존재하는 경우, 복수의 보행자 중 차량과의 거리가 가장 짧은 보행자를 기준으로 긴급 상황의 발생 여부를 판단한다. 즉, 복수의 보행자 중에서 1명이라도 차량과의 거리가 기준 거리 이하일 때 긴급 상황으로 판단한다. 이후, 긴급 상황의 정보를 긴급제동 제어부(160)에 제공한다.
이어서, 긴급제동 제어부(160)는 긴급 상황의 정보가 입력되면 브레이크 장치를 제어하여 차량의 긴급제동이 이루어지도록 한다(S80). 이때, 사고 방생을 방지하기 위해서 운전자의 의도와는 상관없이 브레이크 장치를 제어하여 차량의 자율 긴급제동(AEB)이 이루어지도록 한다. 여기서, 횡단보도 상의 보행자가 인지된 경우, 긴급 상황이 발생하기 이전에 프리필(pre-fill) 구동을 수행하여 브레이크의 유압을 상승시켰다. 따라서, 자율 긴급제동(AEB) 시 제동 시간 및 제동 거리가 단축되어 사고의 발생 확률을 낮출 수 있다.
본 발명의 실시 예에 따른 긴급제동 시스템 및 이의 구동 방법은 횡단보도 및 복수의 보행자를 인식하여 비상 상황에서의 제동력을 높이고, 제동 시간을 줄일 수 있다.
본 발명의 실시 예에 따른 긴급제동 시스템 및 이의 구동 방법은 횡단보도 상에 보행자가 존재하는 경우 프리필(pre-fill) 구동을 제어하여 자율 긴급제동(AEB)의 성능을 향상시킬 수 있다.
본 발명의 실시 예에 따른 긴급제동 시스템 및 이의 구동 방법은 타겟 영상에서 우선 횡단보도를 인식한 후, 횡단보도의 위치에 기초하여 관심영역을 설정하여 군집 보행자를 인식하기 위한 연산량 및 시간을 줄일 수 있다.
본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 긴급제동 시스템
110: 영상 생성부
12: 횡단보도 검출부
130: 관심영역 설정부
140: 보행자 인식부
150: 판단부
160: 긴급제동 제어부
170: 카메라
180: 레이더

Claims (6)

  1. 차량에 배치된 카메라를 구동시켜 타겟 영상을 생성하는 영상 생성부;
    상기 타겟 영상을 이진화 처리하여 횡단보도를 검출하는 횡단보도 검출부;
    상기 횡단보도의 위치 정보에 기초하여 상기 타겟 영상에 관심영역을 설정하는 관심영역 설정부;
    상기 관심영역 상의 보행자와 상기 차량과의 거리를 측정하여 거리 정보를 생성하는 레이더;
    상기 거리 정보를 상기 타겟 영상에 투사하고, 레이더 트랙의 횡방향 움직임의 검출 시 횡단보도 상에 보행자가 존재하는 것으로 판단하는 보행자 인식부; 및
    횡단보도 상에 보행자가 존재하는 경우 브레이크의 유압이 상승되도록 프리필(pre-fill) 구동을 수행하는 긴급제동 구동부;를 포함하는 긴급제동 시스템.
  2. 제1 항에 있어서,
    상기 차량과 보행자 간의 거리가 사전에 설정된 기준 거리 이하인 경우에 긴급 상황의 발생을 판단하는 판단부;를 더 포함하고,
    상기 긴급제동 구동부는 긴급 상황의 발생 시 브레이크 장치를 제어하여 자율 긴급제동이 이루어지도록 한 긴급제동 시스템.
  3. 제1 항에 있어서, 상기 횡단보도 검출부는,
    이진화 처리된 타겟 영상에서 흑백 성분의 특성과 도로, 차선 및 횡단보도의 라인의 특성을 비교하여 상기 타겟 영상에서 횡단보도를 검출하는 긴급제동 시스템.
  4. 제1 항에 있어서, 상기 보행자 인식부는,
    광학 흐름(optical flow) 알고리즘을 적용하여 상기 타겟 영상의 프레임들 각각에 특징 포인트를 설정하고, 연속된 프레임에서 상기 특징 포인트의 움직임을 검출하여 횡단보도 상에 보행자가 존재하는지를 판단하는 긴급제동 시스템.
  5. 차량에 배치된 카메라를 구동시켜 타겟 영상을 생성하는 단계;
    상기 타겟 영상을 이진화 처리하여 횡단보도를 검출하는 단계;
    상기 횡단보도의 위치 정보에 기초하여 상기 타겟 영상에 관심영역을 설정하는 단계;
    상기 차량에 배치된 레이더에서 입력된 상기 차량과 보행자 간의 거리 정보를 상기 타겟 영상에 투사하는 단계;
    레이더 트랙의 횡방향 움직임의 검출 시 횡단보도 상에 보행자가 존재하는 것으로 판단하는 단계; 및
    횡단보도 상에 보행자가 존재하는 경우 브레이크의 유압이 상승되도록 프리필(pre-fill) 구동을 수행하는 단계;를 포함하는 긴급제동 시스템의 구동 방법.
  6. 제 5항에 있어서,
    상기 차량과 보행자 간의 거리와 사전에 설정된 기준 거리를 비교하여 긴급 상황의 발생을 판단하는 단계; 및
    상기 긴급 상황의 발생 시 브레이크 장치를 제어하여 자율 긴급제동을 수행하는 단계를 더 포함하는 긴급제동 시스템의 구동 방법.
KR1020160172421A 2016-12-16 2016-12-16 긴급제동 시스템 및 이의 구동 방법 KR20180070125A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160172421A KR20180070125A (ko) 2016-12-16 2016-12-16 긴급제동 시스템 및 이의 구동 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160172421A KR20180070125A (ko) 2016-12-16 2016-12-16 긴급제동 시스템 및 이의 구동 방법

Publications (1)

Publication Number Publication Date
KR20180070125A true KR20180070125A (ko) 2018-06-26

Family

ID=62788494

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160172421A KR20180070125A (ko) 2016-12-16 2016-12-16 긴급제동 시스템 및 이의 구동 방법

Country Status (1)

Country Link
KR (1) KR20180070125A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150128314A (ko) 2014-05-09 2015-11-18 현대모비스 주식회사 차량 aeb 제동 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150128314A (ko) 2014-05-09 2015-11-18 현대모비스 주식회사 차량 aeb 제동 장치 및 그 방법

Similar Documents

Publication Publication Date Title
CN108351207B (zh) 立体相机装置
US9934690B2 (en) Object recognition apparatus and vehicle travel controller using same
JP3822515B2 (ja) 障害物検知装置及びその方法
EP2463843B1 (en) Method and system for forward collision warning
JP5389002B2 (ja) 走行環境認識装置
JP6246014B2 (ja) 外界認識システム、車両、及びカメラの汚れ検出方法
JP3759429B2 (ja) 障害物検出装置及びその方法
JP3123303B2 (ja) 車両用画像処理装置
US20160019429A1 (en) Image processing apparatus, solid object detection method, solid object detection program, and moving object control system
JP6407626B2 (ja) 物体認識装置及び車両制御システム
US20120081542A1 (en) Obstacle detecting system and method
WO2011080943A1 (ja) 路肩検出装置及び路肩検出装置を用いた車両
US20090052742A1 (en) Image processing apparatus and method thereof
KR20180063524A (ko) 가상 차선을 이용한 전방 차량 위험도 감지 방법 및 장치
JP2018060422A (ja) 物体検出装置
JP3656056B2 (ja) 割り込み車両検出装置及びその方法
JP6465919B2 (ja) 障害物検知システム
KR102529555B1 (ko) 자율 긴급 제동 시스템 및 이의 구동 방법
JP2016162130A (ja) 横断歩道検出装置、横断歩道検出方法及び横断歩道検出用コンピュータプログラム
JP2006004188A (ja) 障害物認識方法及び障害物認識装置
JP4791086B2 (ja) 衝突回避システム
KR20140087622A (ko) 촬영 영상의 휘도를 이용한 차선 추출 방법
JP4897539B2 (ja) 障害物検知装置
KR20180070125A (ko) 긴급제동 시스템 및 이의 구동 방법
KR101531313B1 (ko) 차량 하부의 물체 탐지장치 및 방법