KR20180078974A - 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법 - Google Patents

자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법 Download PDF

Info

Publication number
KR20180078974A
KR20180078974A KR1020160184290A KR20160184290A KR20180078974A KR 20180078974 A KR20180078974 A KR 20180078974A KR 1020160184290 A KR1020160184290 A KR 1020160184290A KR 20160184290 A KR20160184290 A KR 20160184290A KR 20180078974 A KR20180078974 A KR 20180078974A
Authority
KR
South Korea
Prior art keywords
pedestrian
vehicle
pdcms
automobile
brake
Prior art date
Application number
KR1020160184290A
Other languages
English (en)
Other versions
KR101996415B1 (ko
Inventor
김윤수
김응서
민석기
성동현
박승욱
권용석
이상민
이태영
이민병
정호철
정인용
Original Assignee
기아자동차주식회사
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 기아자동차주식회사, 현대자동차주식회사 filed Critical 기아자동차주식회사
Priority to KR1020160184290A priority Critical patent/KR101996415B1/ko
Priority to EP17205457.9A priority patent/EP3348446B1/en
Priority to US15/833,667 priority patent/US10435018B2/en
Priority to CN201711283583.3A priority patent/CN108263379B/zh
Publication of KR20180078974A publication Critical patent/KR20180078974A/ko
Application granted granted Critical
Publication of KR101996415B1 publication Critical patent/KR101996415B1/ko
Priority to US16/559,071 priority patent/US10870429B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/44—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating braking action or preparation for braking, e.g. by detection of the foot approaching the brake pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/085—Taking automatic action to adjust vehicle attitude in preparation for collision, e.g. braking for nose dropping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02—Active or adaptive cruise control system; Distance control
    • B60T2201/022—Collision avoidance systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B60W2550/10—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B60W2710/182—Brake pressure, e.g. of fluid or between pad and disc
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B60Y2300/085—Taking automatic action to adjust vehicle attitude or components thereof in preparation for collision, e.g. adjusting bumpers or wheels or braking for nose dropping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B60Y2300/09—Taking automatic action to avoid collision, e.g. braking or steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 자동차의 주행차선 상 보행자의 존재, 보행자의 시선정보, 보행자의 자동차에 대한 거리 및 상대 속도를 감지하는 전방 감지 센서, 자동차의 속도, 가속도, 조향각, 조향각속도 또는 마스터 실린더 압력 중 어느 하나 이상을 감지하는 차량 센서, 전방 감지 센서와 차량 센서에서 감지한 정보를 기반으로 PDCMS(Pedestrian Detection and Collision Mitigation System) 기능을 작동하는 전자 제어 유닛, 및 전자 제어 유닛의 제어에 의하여 운전자에게 자동차와 보행자의 충돌을 알리도록 작동하는 경보부를 포함하고, 전방 감지 센서는, 자동차 전방의 이미지를 획득하는 이미지 입력부, 이미지 내 물체의 크기에 대응하는 관심영역(ROI: Region Of Interest)를 설정하는 ROI 설정부, 설정된 ROI에서 물체의 동작에 기반하여 보행자 후보를 추출하는 후보 추출부, 및 데이터 베이스를 포함하고, 추출된 보행자 후보를 데이터 베이스 내 표본 보행자의 자세와 비교하여 보행자에 해당하는지 식별하는 보행자 판단부를 포함하며, PDCMS 기능은 경보부의 작동, 및 운전자의 브레이크 작동 여부와 관계없는 브레이크의 작동 활성화를 포함하고, 경보부의 작동 및 브레이크의 작동 활성화는 경보부의 작동, 자동차의 부분 제동, 자동차의 완전 제동의 순서로 수행되는 자동차의 PDCMS 작동 장치를 제공한다.

Description

자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법 {POSTURE INFORMATION BASED PEDESTRIAN DETECTION AND PEDESTRIAN COLLISION PREVENTION APPARATUS AND METHOD}
본 발명은 보행자 탐지 및 보행자 충돌 방지 장치 및 방법에 관한 것이다. 구체적으로, 자동차 전방의 이미지 내 보행자의 자세를 분석하여 보행자를 인식하고, 보행자의 시선 정보를 분석하여 사고 발생 가능성이 큰 경우 PDCMS 기능을 작동시켜 보행자를 보호하는 자동차의 PDCMS 작동 장치 및 작동 방법에 관한 것이다.
최근 운전자의 운전을 돕기 위하여 첨단 운전자 보조 시스템(Advanced Driver Assistance Systems)이 개발 되고 있다. ADAS는 복수의 하부 기술 분류를 갖고 있으며, 이 중에 PDCMS(Pedestrian Detection and Collision Mitigation System)가 포함된다.
PDCMS는 자동차와 보행자의 충돌이 예상되는 경우 운전자에게 보행자 충돌을 경고하고 자동으로 비상 브레이크를 활성화하는 기술이다.
보행자가 관련된 교통사고의 치사율 및 부상율은 매우 높아서 많은 생명의 손실로 이어진다. PDCMS 시스템은 피할 수 없는 보행자 충돌에 대하여 자동차 속도를 낮추는데 도움을 줌으로써 보행자의 충격을 완화하고 치사율 및 부상율을 줄일 수 있다.
따라서, PDCMS의 구체적인 적용을 위한 기술 개발이 요구되는 실정이다.
본 발명은 자동차 전방의 이미지 내 보행자의 자세 정보에 분석하여 보행자의 존재, 자동차와 보행자의 거리 및 상대속도를 보다 높은 정확도로 측정할 수 있는 전방 감지 센서를 포함하는 PDCMS 작동 장치를 제공하는데 그 목적이 있다.
PDCMS 기능을 정확하게 작동함으로써 보행자를 보다 안전하게 보호하는 시스템을 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위한 본 발명의 일실시예에 따른 자동차의 PDCMS 작동 장치는 자동차의 주행차선 상 보행자의 존재, 보행자의 시선정보, 보행자의 자동차에 대한 거리 및 상대 속도를 감지하는 전방 감지 센서, 자동차의 속도, 가속도, 조향각, 조향각속도 또는 마스터 실린더 압력 중 어느 하나 이상을 감지하는 차량 센서, 전방 감지 센서와 차량 센서에서 감지한 정보를 기반으로 PDCMS(Pedestrian Detection and Collision Mitigation System) 기능을 작동하는 전자 제어 유닛, 및 전자 제어 유닛의 제어에 의하여 운전자에게 자동차와 보행자의 충돌을 알리도록 작동하는 경보부를 포함하고, 전방 감지 센서는, 자동차 전방의 이미지를 획득하는 이미지 입력부, 이미지 내 물체의 크기에 대응하는 관심영역(ROI: Region Of Interest)를 설정하는 ROI 설정부, 설정된 ROI에서 물체의 동작에 기반하여 보행자 후보를 추출하는 후보 추출부, 및 데이터 베이스를 포함하고, 추출된 보행자 후보를 데이터 베이스 내 표본 보행자의 자세와 비교하여 보행자에 해당하는지 식별하는 보행자 판단부를 포함하며, PDCMS 기능은 경보부의 작동, 및 운전자의 브레이크 작동 여부와 관계없는 브레이크의 작동 활성화를 포함하고, 경보부의 작동 및 브레이크의 작동 활성화는 경보부의 작동, 자동차의 부분 제동, 자동차의 완전 제동의 순서로 수행된다.
바람직하게, 보행자 판단부는 데이터 베이스는 표본 보행자의 자세로서 표본 보행자의 전면부, 후면부, 좌측부, 우측부, 좌측 상반신 또는 우측 상반신 중 적어도 하나에 관련된 정보를 저장한다.
바람직하게, 보행자 판단부는 추출된 보행자 후보를 데이터 베이스 내 표본 보행자의 전면부, 후면부, 좌측부, 우측부, 좌측 상반신 또는 우측 상반신과 케스케이드 방식으로 비교한다.
바람직하게, 전방 감지 센서는, 보행자 판단부에 의하여 식별된 보행자를 추적하는 보행자 추적부를 더 포함한다.
바람직하게, 보행자 추적부는 설정된 ROI 내 보행자의 특징점의 수에 기반하여 보행자를 추적한다.
바람직하게, 보행자의 시선 정보는 보행자의 얼굴 전체의 가로길이를 x, 보행자의 좌측 얼굴 윤곽부터 좌측 눈까지의 가로길이를 x1, 보행자의 우측 얼굴 윤곽부터 우측 눈까지의 가로길이를 x2, 보행자의 좌측 눈과 우측 눈 사이의 가로길이를 x3로 정의하였을 때, |(x1 - x2)/x| < a 인 경우 정면 또는 대각면, x1 = x2 = x3 = 0 인 경우 후면, |(x1 - x2)/x| ≥ a 또는 x1 = 0 또는 x2 = 0 인 경우 측면에 해당하고, a는 0.65 내지 0.95 사이의 범위에서 선택될 수 있다.
바람직하게, 전자 제어 유닛은 경보부의 작동 및 브레이크 작동 활성화를, 보행자의 시선 정보가 정면 또는 대각면일 때에는 보행자의 시선 정보가 후면 또는 측면일 때보다 소정의 시간만큼 연기하여 수행한다.
바람직하게, 차량센서는 레인센서, 온도센서 또는 조도센서 중 어느 하나 이상을 더 포함한다.
바람직하게, 전자 제어 유닛은 브레이크의 작동 활성화를 브레이크의 작동 활성화 시점부터 자동차와 보행자의 충돌 시점까지 자동차의 속도를 최소한 소정의 속도 이상 감소시키도록 수행한다.
바람직하게, 전자 제어 유닛은 브레이크의 작동 활성화를 시작한 뒤에도 운전자에 의하여 가능한 최대치의 감속을 위한 브레이크 작동을 허용한다.
바람직하게, 전자 제어 유닛은 경보부를 제어하여 PDCMS 기능이 이용가능한(Available) 상태임을 운전자에 알린다.
바람직하게, 경보부는 자동차와 보행자의 충돌을 시각적으로 알리는 디스플레이부 또는 자동차와 보행자의 충돌을 청각적으로 알리는 스피커부를 포함한다.
바람직하게, PDCMS 기능은 후방 브레이크 램프 작동을 더 포함한다.
바람직하게, PDCMS 기능은 차체 자세 제어 장치(ESC: Electrical Stability Control) 작동을 더 포함한다.
본 발명의 일실시예에 따른 자동차의 PDCMS 작동 방법은 자동차 전방의 이미지를 획득하는 단계, 이미지 내 물체의 크기에 대응하는 관심영역(ROI: Region Of Interest)를 설정하는 단계, 설정된 ROI에서 물체의 동작에 기반하여 보행자 후보를 추출하는 단계, 데이터 베이스를 포함하고, 추출된 보행자 후보를 데이터 베이스 내 표본 보행자의 자세와 비교하여 자동차의 주행차선 상 보행자에 해당하는지 식별하는 단계, 전방 감지 센서에서 보행자의 시선정보, 보행자의 자동차에 대한 거리 및 상대 속도를 감지하는 단계, 차량 센서에서 자동차의 속도, 가속도, 조향각, 조향각속도 또는 마스터 실린더 압력 중 하나 이상을 감지하는 단계, 및 전방 감지 센서와 차량 센서에서 감지한 정보를 기반으로 PDCMS(Pedestrian Detection and Collision Mitigation System) 기능을 작동하는 단계를 포함하며, PDCMS 기능은 운전자에게 자동차와 보행자의 충돌을 알리도록 작동하는 경보부의 작동, 및 운전자의 브레이크 조작 여부에 관계없는 브레이크의 작동 활성화를 포함하고, 경보부의 작동 및 브레이크의 작동 활성화는 경보부의 작동, 자동차의 부분 제동, 자동차의 완전 제동의 순서로 수행된다.
본 발명에 따른 자동차의 PDCMS 작동 장치는 자동차 전방의 이미지 내 보행자의 자세 정보에 기초하여 보행자를 정확하게 판단할 수 있는 효과가 있다.
또한, 보행자의 시선 정보에 기초하여 보행자가 차량을 인식할 수 있는 상황인 경우에만 차량 제동 제어를 소정의 시간만큼 지연하여 수행하는 효과가 있다.
따라서, 본 발명에 따른 PDCMS 작동 장치는 보행자를 보다 정확하게 감지함으로써 보행자를 효율적으로 보호하고, 불필요하게 빈번히 발생하는 차량 제동 제어를 최적화하여 운전자의 이질감과 불쾌감을 해소하여 차량의 상품성을 향상시키는 효과가 있다.
도 1은 PDCMS의 개략적인 개념을 나타낸다.
도 2는 자동차에 따른 PDCMS 상태 변화를 나타내는 블록도이다.
도 3은 본 발명의 일실시예에 따른 자동차의 PDCMS 작동 장치를 개략적으로 나타낸 블록도이다.
도 4는 본 발명의 일실시예에 따른 전방 감지 센서의 구성도이다.
도 5는 본 발명의 일실시예에 따른 ROI 설정을 나타내는 예시도이다.
도 6은 본 발명의 일실시예에 따른 전방 감지 센서의 시선 정보를 구분하기 위한 예시도이다.
도 7은 보행자 이동 속도의 개념을 나타낸다.
도 8은 본 발명에 따른 PDCMS 기능을 작동시키기 위한 매핑 테이블의 일례를 나타낸다.
도 9는 본 발명에 따른 PDCMS 기능 작동의 일실시예를 나타낸다.
도 10은 본 발명의 일실시예에 따른 시선 정보가 정면일 때의 PDCMS 기능 작동을 나타낸 예시도이다.
도 11은 본 발명의 일실시예에 따른 시선 정보가 대각면일 때의 PDCMS 기능 작동을 나타낸 예시도이다.
도 12는 본 발명의 일실시예에 따른 시선 정보가 후면일 때의 PDCMS 기능 작동을 나타낸 예시도이다.
도 13은 본 발명의 일실시예에 따른 시선 정보가 측면일 때의 PDCMS 기능 작동을 나타낸 예시도이다.
도 14는 본 발명에 따른 PDCMS 기능 작동 방법의 일실시예의 흐름을 나타낸 흐름도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.
제 1, 제 2 및 제 3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제 1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제 2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90? 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
도 1은 PDCMS의 개략적인 개념을 나타낸다.
PDCMS는 자동차와 보행자의 충돌이 예상되는 경우 운전자에게 보행자 충돌을 경고하고 자동으로 비상 브레이크를 활성화하는 기술이다.
도 1을 참조하면, PDCMS는 보행자의 동작 판단과 자동차의 동작 판단으로부터 동작 여부가 결정된다. PDCMS의 동작이 결정되면, PDCMS 기능은 운전자에 대한 경고 및 자동차 제어 활성화로써 이루어진다.
시스템 설계자는 자동차와 보행자의 충돌 위험시 PDCMS 기능 단독으로 동작하도록 설계하거나, 또는 PDCMS 기능과 기타 운전 보조 시스템의 조합으로 동작하도록 설계할 수 있다.
도 2는 자동차에 따른 PDCMS 상태 변화를 나타내는 블록도이다.
PDCMS 끔 상태에서는 자동차의 동작에 대한 어떠한 조치도 취해지지 않는다. PDCMS 끔 상태는 자동차의 시동을 끄는 경우에 이루어진다.
PDCMS 비활성화 상태에서 PDCMS 작동 장치는 자동차의 속도를 모니터링하며, PDCMS를 활성화하기에 적절한 상태인지 여부를 결정한다. PDCMS 비활성화 상태는 PDCMS 끔 상태에서 시동을 킴으로써 이루어진다. 또한, PDCMS 비활성화 상태는 PDCMS 활성화 상태로부터 자동차가 활성화 조건 외의 상태가 되는 경우에도 이루어진다. 예를 들어, 자동차의 속도가 소정의 Vmin 이하로 떨어지는 경우 PDCMS 비활성화 상태가 이루어진다.
PDCMS 활성화 상태는 자동차의 속도가 소정의 Vmin 이상이고 소정의 Vmax 이하인 경우에 이루어진다. PDCMS 활성화 상태에서 PDCMS 기능을 작동할지 여부를 판단하기 위하여 보행자의 동작 및 자동차의 동작을 모니터링 한다. PDCMS 작동 장치는 PDCMS 기능을 작동해야 한다는 판단을 한 경우 PDCMS 기능을 시작한다. PDCMS 기능은 운전자에 대한 충돌 경고, 비상 브레이크의 작동, 또는 선택적으로 운전자에 의한 제동 조치를 포함한다.
도 3은 본 발명의 일실시예에 따른 자동차의 PDCMS 작동 장치를 개략적으로 나타낸 블록도이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 자동차의 PDCMS 작동 장치(100)는 전방 감지 센서(200), 차량 센서(300), 전자 제어 유닛(400) 및 경보부(500)를 포함한다.
전방 감지 센서(200)는 카메라를 통해 획득한 자동차 전방의 이미지에 관심영역(ROI: Region Of Interest)를 설정하는 방식으로 보행자를 정확하게 인식할 수 있다. 본 발명의 일실시예에 의한 전방 감지 센서(200)의 ROI 설정을 통한 보행자 판단 방법은 도 4를 참조하여 자세히 후술한다. 전방 감지 센서(200)는 자동차 전방에서 감지된 장애물의 특성을 추출하여 물체를 식별하고, 보행자뿐만 아니라 도로변에 존재하는 자동차 등 다양한 물체를 검출할 수 있다. 전방 감지 센서(200)는 보행자의 전체적인 모습뿐만 아니라 보행자를 구성하는 부분들도 감지하여, 도로변에 존재하는 자동차 등 다양한 물체에 가려진 보행자의 일부만 보여도 보행자를 감지할 수 있다. 또한, 전방 감지 센서(200)는 자동차 전방의 물체가 보행자로 판단되는 경우 보행자의 시선정보, 보행자의 자동차에 대한 거리 및 상대 속도를 감지할 수 있다. 전방 감지 센서(200)는 감지한 보행자의 정보를 전자 제어 유닛(400)으로 전송한다.
차량 센서(300)는 자동차 엔진으로부터 자동차 바퀴의 회전수를 측정하고, 미리 알고 있는 바퀴의 원주와 측정된 회전수와 시간으로부터 자동차의 주행속도를 계산한다. 또한, 차량 센서(300)은 가속도, 조향각, 조향각속도 또는 마스터 실린더 압력 등의 자동차 주행 상태에 관한 정보를 감지할 수 있다. 나아가, 차량 센서(300)는 레인센서, 온도센서 또는 조도센서 등을 포함함으로써 자동차 주행 환경에 관한 정보를 감지할 수도 있다. 차량 센서(300)는 상기 감지한 자동차 주행 상태 및 주행 환경에 관한 정보를 전자 제어 유닛(400)으로 전송한다.
전자 제어 유닛(400)은 전방 감지 센서(200) 및 차량 센서(300)로부터 수신한 정보를 바탕으로 자동차의 PDCMS 기능을 작동할지 여부를 판단한다. 구체적으로, 전자 제어 유닛(400)은 보행자의 상태 및 자동차의 상태를 종합하여 PDCMS 기능을 작동할 수 있는 조건을 만족하는지 여부를 판단한다. 즉, 전자 제어 유닛(400)은 장애물이 보행자인 것으로 판단된 경우, 보행자의 현재 위치, 자동차의 현재 위치, 자동차의 속도정보를 이용하여 자동차와 보행자의 충돌 위험성을 판단한다. 예를 들어, 보행자와 자동차의 거리가 일정 거리 미만이고, 보행자 움직임 방향과 자동차의 움직임 방향이 동일한 경우 충돌 위험성이 높기에 PDCMS 기능을 작동할 수 있는 조건을 만족한다고 판단하고, 보행자와 자동차의 거리가 일정 거리 미만이나, 보행자 움직임 방향과 자동차의 움직임 방향이 다른 경우에는 충돌 위험성이 낮기에 PDCMS 기능을 작동할 수 있는 조건을 만족하지 않는 것으로 판단한다.
바람직하게, 전자 제어 유닛(400)은 매핑 테이블에 기반하여 PDCMS 기능을 작동할 수 있는 조건의 만족 여부를 판단한다. 매핑 테이블에 관하여는 도 6을 참조하여 후술한다.
전자 제어 유닛(400)은 보행자의 상태 및 자동차의 상태가 PDCMS 기능을 시작할 수 있는 조건이 만족하였다고 판단한 경우, 자동차의 PDCMS 기능을 작동한다. PDCMS 기능은 경보부(500)를 작동하여 운전자에게 자동차와 보행자의 충돌을 경고하거나, 또는 운전자의 조작 없이 브레이크를 작동하는 것을 포함한다.
운전자에게 자동차와 보행자의 충돌을 경고하는 것은 경보부(500)의 작동을 통하여 이루어진다. 경보부(500)는 전자 제어 유닛(400)의 제어에 의하여 작동한다. 경보부(500)는 디스플레이부 또는 스피커부를 포함할 수 있다. 경보부(500)에 포함된 디스플레이부는 헤드업 디스플레이, 네비게이션 디스플레이 등을 통한 시각적 경고를 운전자에게 할 수 있다. 경보부(500)에 포함된 스피커부는 오디오를 통한 청각적 경고를 운전자에게 할 수 있다. 경보부(500)가 수행하는 경고의 내용은 자동차의 주행차로 상 전방에 장애물이 존재하므로 자동차와 보행자의 잠재적 충돌 위험이 있다는 것이다.
운전자의 브레이크 조작 여부에 관계없이 브레이크 작동 활성화하는 것은 운전자의 조작 없이 전자 제어 유닛(400)의 제어만으로 이루어진다. 브레이크 작동 활성화는 보행자 충돌이 임박함을 발견하였을 경우 자동차와 보행자의 상대속도를 자동적으로 줄이기 위한 것이다.
브레이크 작동 활성화는 브레이크 작동 활성화 시점부터 자동차와 보행자간 충돌이 발생하는 시점까지 자동차의 속도를 최소한 소정의 속도 이상 줄일 수 있도록 수행된다. 바람직하게, 상기 소정의 속도는 20km/h가 될 수 있다.
또한, 브레이크 작동 활성화를 시작한 후 운전자가 수동으로 브레이크를 조작하여 가능한 최대한의 감속을 수행할 수 있다. 즉, 운전자가 수동으로 자동차의 속도가 상기 소정의 속도보다 많이 줄도록 할 수도 있다. 예를 들어, 운전자는 자동차의 속도가 상기 소정의 속도인 20km/h 이상으로 최대한의 감속이 이루어지도록 수동으로 브레이크를 작동할 수 있다.
추가적으로 전자 제어 유닛(400)은 PDCMS 기능이 이용가능한(Available) 상태임을 운전자에게 알릴 수 있다. 구체적으로, 전자 제어 유닛(400)은 경보부(500)를 제어하여 경보부(500)의 디스플레이부 또는 스피커부를 통해 운전자에게 PDCMS 기능이 이용가능한 상태임을 알릴 수 있다.
추가적으로 PDCMS 기능은 브레이크 램프 작동을 제어함으로써 뒤에 따라오는 자동차에 대한 잠재적 충돌 위험을 방지할 수 있다.
추가적으로 PDCMS 기능은 차체 자세 제어 장치(ESC: Electrical Stability Control) 작동을 더 포함할 수 있다. 차체 자세 제어 장치는 자동차의 오버스티어 (주행 중 자동차가 도로의 회전반경보다 안쪽으로 들어오는 경우) 또는 언더스티어 (주행 중 자동차가 도로의 회전반경보다 바깥쪽으로 이탈하는 경우) 등의 위급상황 발생시 자동차가 스스로 브레이크 조작에 개입하여 운전자의 위급상황을 벗어나게 도와주는 장치이다.
도 4는 본 발명의 일실시예에 따른 전방 감지 센서의 구성도이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 전방 감지 센서(200)는 이미지 입력부(210), 관심영역(ROI: Region Of Interest) 설정부(220), 후보 추출부(230), 보행자 판단부(240) 및 보행자 추적부(250)을 포함한다.
전방 감지 센서(200)를 구성하는 각각의 부는 전자 제어 유닛(400)에 의하여 제어될 수 있다.
이미지 입력부(210)는 자동차의 전방을 촬영하는 카메라에 의해 취득된 이미지를 수신한다. ROI 설정부(220)는 이미지 입력부(210)를 통해 수신된 자동차의 정면 이미지에서 물체의 크기에 상응하는 ROI를 설정한다. 즉, ROI 설정부(220)는 이미지의 크기, 카메라의 설치 환경 정보, 카메라의 사양 및 보행자의 실제 크기를 이용하여 이미지 중의 보행자 영역의 바닥 위치를 결정한다. 따라서, 보행자가 픽셀 수에 기초하여 식별될 수 있기 때문에, 보행자 영역의 바닥위치로부터 보행자의 최소 및 최대 크기가 ROI 설정부(220)에 의하여 적절한 ROI로 설정될 수 있다.
도 5는 본 발명의 일실시예에 따른 ROI 설정을 나타내는 예시도이다.
도 5를 참조하면, 전방 감지 센서(200)의 설치 환경 정보는 다음의 수학식 1과 같이 나타날 수 있다.
[수학식 1]
Figure pat00001
상기 수학식 1에서 각각의 부호가 의미하는 바는 다음과 같다.
Figure pat00002
: 이미지에서 보행자 영역의 바닥 위치
Figure pat00003
: 이미지에서 보행자 영역의 크기(높이)
Figure pat00004
: 보행자가 점유하는 수직 방향의 각도
Figure pat00005
: 입력 이미지의 크기(높이)
Figure pat00006
: 보행자 머리 끝까지의 각도
Figure pat00007
: 보행자 발끝까지의 각도
Figure pat00008
: 보행자의 크기(높이)
Figure pat00009
: 보행자까지의 거리
Figure pat00010
: 카메라가 설치된 높이
Figure pat00011
: 카메라의 수직 방향의 각도
Figure pat00012
: 이미지의 시작점에 대응하는 실제 위치까지의 각도
Figure pat00013
: 이미지의 시작점에 대응하는 실제 위치까지의 거리
후보 추출부(230)는 ROI 설정부(220)에 의하여 설정된 ROI를 갖는 물체의 동작에 기반하여 보행자 후보를 추출한다.
보행자 판단부(240)는 후보 추출부(230)에서 추출된 보행자 후보를 보행자 특징 데이터 베이스 내 표본 보행자의 자세와 비교하여 보행자를 식별한다.
도시되지는 않았지만, 보행자 판단부(240)는 표본 보행자의 자세로서 표본 보행자의 전면부, 후면부, 좌측부, 우측부, 좌측 상반신 또는 우측 상반신에 관련된 정보를 저장하는 데이터 베이스를 포함한다.
따라서, 보행자 판단부(240)는 후보 추출부(230)에 의하여 추출된 보행자 후보의 특징과 상기 데이터 베이스에 저장된 표본 보행자의 자세를 순차적으로, 예를 들어 케스케이드(cascade) 방식으로 비교하여 보행자 후보가 보행자에 해당하는지 판단한다.
예를 들어, 보행자 후보의 특징과 비교하는 데이터 베이스 내 표본 보행자의 자세는, 표본 보행자의 전면부, 후면부, 좌측부, 우측부, 좌측 상반신, 우측 상반신의 순서로 하는 것이 바람직하다. 그러나, 반드시 상기 순서에 한정되는 것은 아니다.
보행자 추적부(250)는 보행자 판단부(240)에 의하여 식별된 보행자를 추적할 수 있다. 예를 들어, 보행자 추적부(250)는 ROI 내 보행자가 갖는 특징점의 수에 기초하여 보행자를 추적한다. 보행자 추적부(250)의 추적에 의하여 전방 감지 센서(200)는 보행자의 시선정보, 보행자의 자동차에 대한 거리 및 상대 속도를 감지할 수 있다.
도 6은 본 발명의 일실시예에 따른 전방 감지 센서의 시선 정보를 구분하기 위한 예시도이다.
본 발명의 일실시예에 따른 전방 감지 센서(200)는 보행자의 시선 정보를 감지하고 이를 전자 제어 유닛(400)의 PDCMS 작동에 반영할 수 있는 특징이 있다.
전방 감지 센서(200)는 보행자의 시선 정보를 감지하기 위하여 보행자 얼굴 전체의 가로길이를 x, 좌측 얼굴 윤곽부터 좌측 눈까지의 가로길이를 x1, 우측 얼굴 윤곽부터 우측 눈까지의 가로길이를 x2, 좌측 눈과 우측 눈 사이의 가로길이를 x3로 정의한 후 보행자의 시선 정보를 감지한다.
구체적으로, 보행자의 시선 정보는, |(x1 - x2)/x| < a 인 경우 정면 또는 대각면, x1 = x2 = x3 = 0 인 경우 후면, |(x1 - x2)/x| ≥ a 또는 x1 = 0 또는 x2 = 0 인 경우 측면에 해당하고, 상기 a는 0.65 내지 0.95 사이의 범위에서 선택될 수 있다.
전방 감지 센서(200)는 감지한 보행자의 시선 정보를 전자 제어 유닛(400)에 전송한다. 전자 제어 유닛(400)이 수신한 보행자의 시선 정보를 PDCMS 작동에 반영하는 방식에 대하여는 도 10 내지 13을 참조하여 후술한다.
도 7은 보행자 이동 속도의 개념을 나타낸다.
도 7을 참조하면, 전방 감지 센서(200)는 주행 차선 내에서 이동중인 보행자(600)와 자동차(700) 사이의 거리 및 보행자(600)의 이동 속도를 검출할 수 있다.
예를 들어, 보행자(600)가 자동차(700)의 전방 시선을 기준으로 좌측에서 우측으로 이동한다면 보행자(600)는 음(-)의 이동 속도를 갖고, 보행자(600)가 자동차(700)의 전방 시선을 기준으로 우측에서 좌측으로 이동한다면 보행자(600)는 양(+)의 이동 속도를 갖는다.
또한, 전방 감지 센서(200)는 자동차의 주행 차선 상 이동중인 보행자(600)와 자동차(700) 사이의 거리를 검출할 수 있다.
도 8은 본 발명에 따른 PDCMS 기능을 작동시키기 위한 매핑 테이블의 일례를 나타낸다.
전자 제어 유닛(400)은 매핑 테이블을 사용하여 보행자와 자동차의 충돌 위험성, 나아가 PDCMS 기능의 작동 여부를 판단한다.
도 8을 참조하면, 전자 제어 유닛(400)은 보행자의 주행 차선 경계에서의 초기 속도 및 자동차의 초기 속도를 기반으로 PDCMS 기능의 작동을 판단한다.
구체적으로, 전자 제어 유닛(400)은 PDCMS 기능의 작동 여부를 판단하는 시점에서 이동중인 보행자의 주행 차선 경계에서의 초기 속도 절대값 및 자동차의 초기 속도가 반드시 동작해야 하는 영역 내에 있는 경우에는 PDCMS 기능을 작동하도록 판단한다. 동작 가능 영역은 제조사의 선택에 따라 Vmin 또는 Vmax를 조절할 수 있는 영역을 의미한다.
예를 들어, 전자 제어 유닛(400)은 자동차의 속도가 Vmin으로서 8.4m/s(30km/h) 아래로 떨어지거나 또는 Vmax로서 16.6m/s(60km/h) 위로 올라가는 경우에는 PDCMS 비활성화 상태가 되어 PDCMS 기능을 작동하지 않도록 판단할 수 있다.
또한, 전자 제어 유닛(400)은 자동차의 초기 속도가 Vmin과 Vmax 사이이고 보행자의 주행 차선 경계에서의 초기 속도 절대값이 0.83m/s와 1.5m/s 사이인 경우 PDCMS 기능을 작동하도록 판단할 수 있다.
도 9는 본 발명에 따른 PDCMS 기능 작동의 일실시예를 나타낸다. 세로축은 자동차와 보행자의 거리 및 보행자의 상대 속도를 통해 도출한 TTC이며, 가로축은 자동차의 PDCMS 작동 기능을 나타낸다.
전자 제어 유닛(400)은 자동차와 보행자의 거리에 따라서 PDCMS 작동을 단계적으로 수행한다.
즉, 서로 다른 TTC인 t1, t2, t3에 대하여 t1>t2>t3일 때, 자동차와 보행자의 TTC가 t1인 경우 경보부(500)를 통하여 운전자에 대한 경고를 하고, 자동차와 보행자의 TTC가 t2인 경우 자동차에 대한 부분 제동을 하며, 자동차와 보행자의 TTC가 t3인 경우 자동차에 대한 완전 제동을 한다.
경보부(500)의 경고는 디스플레이부를 통한 시각적 경고 또는 스피커부를 통한 청각적 경고를 포함할 수 있다.
부분 제동은 자동차의 속도를 최소한 소정의 속도 이상 줄이는 것을 의미하며, 완전 제동은 자동차의 속도를 최대한으로 줄이는 것을 의미한다.
다만, PDCMS 기능이 작동된 후라도 운전자가 수동으로 브레이크를 조작하여 가능한 최대한의 감속을 수행할 수 있다. 즉, 운전자는 수동으로 브레이크를 조작하여 자동차의 속도를 PDCMS 기능에 따른 순차적 감속보다 더 많이 줄도록 할 수도 있다.
도 10 내지 13은 전자 제어 유닛(400)의 순차적 감속을 수행하는 PDCMS 기능 작동에 에 대하여 전방 감지 센서(200)로부터 수신한 보행자의 시선 정보를 적용하는 방법을 나타낸다.
보행자가 자동차의 진행 방향을 인지하는 경우에는 자동차의 경로 안쪽으로 이동할 가능성이 낮아지고, 그만큼 충돌 가능성은 감소하게 된다. 그러나, 보행자의 시선 방향을 고려하지 않는 경우에는 보행자의 시선이 자동차의 정면을 향하여서 보행자가 자동차의 진행 방향을 인지하여 충돌 가능성이 낮은 상황임에도 불필요하게 PDCMS 기능 작동으로 인하여 경고 및 브레이크의 작동 활성화가 수행될 우려가 있다.
이러한 불필요한 PDCMS 기능 작동은 운전자로 하여금 이질감과 불쾌감을 발생시키게 되고, 이는 곧 자동차의 상품성으로 직결되어 자동차 제조사에서는 큰 문제점이 아닐 수 없다.
따라서 보행자의 시선 방향에 따라 충돌 가능성을 판단하고 PDCMS 기능의 작동 시점을 제어한다면 보행자의 보호라는 PDCMS 본질적 목적과 더불어 운전자의 승차감 하락 방지를 도모할 수 있다.
도 10은 본 발명의 일실시예에 따른 시선 정보가 정면일 때의 PDCMS 기능 작동을 나타낸 예시도이다.
앞서 도 6에서 설명한 바와 같이 보행자 얼굴 전체의 가로길이를 x, 좌측 얼굴 윤곽부터 좌측 눈까지의 가로길이를 x1, 우측 얼굴 윤곽부터 우측 눈까지의 가로길이를 x2, 좌측 눈과 우측 눈 사이의 가로길이를 x3로 정의한다.
보행자의 시선이 자동차 정면을 향한다면 |(x1 - x2)/x| < a인 경우에 해당한다. 따라서, 전방 감지 센서(200)로부터 도출한 보행자 얼굴 각 부위의 길이를 바탕으로 |(x1 - x2)/x| < a에 해당한다면 보행자의 시선이 자동차 정면을 향하는 것으로 판단할 수 있다.
이 경우, 보행자의 시야 내에 자동차가 존재하므로 보행자가 자동차의 진행 방향을 인지하여 충돌 가능성이 낮을 것으로 예상된다. 따라서, 전자 제어 유닛(400)은 PDCMS 기능의 작동 시점 중 운전자 경고 및 부분 제동에 대하여 도 9에서와 같이 당초 설정한 t1 및 t2 로부터 소정의 시간만큼 연기할 수 있다. 또는, 전자 제어 유닛(400)은 PDCMS 기능의 작동 시점 중 운전자 경고, 부분 제동 및 완전 제동 모두에 대하여 도 9에서와 같이 당초 설정한 t1, t2 및 t3 모두로부터 소정의 시간만큼 연기할 수 있다.
도 11는 본 발명의 일실시예에 따른 시선 정보가 대각면일 때의 PDCMS 기능 작동을 나타낸 예시도이다.
보행자의 시선이 자동차 대각면을 향한다면 보행자의 시선이 자동차 정면인 경우와 동일하게 |(x1 - x2)/x| < a인 경우에 해당한다. 따라서, 전방 감지 센서(200)로부터 도출한 보행자 얼굴 각 부위의 길이를 바탕으로 |(x1 - x2)/x| < a에 해당한다면 보행자의 시선이 자동차 대각면을 향하는 것으로 판단할 수 있다.
이 경우, 보행자의 시야 내에 자동차가 존재하므로 보행자가 자동차의 진행 방향을 인지하여 충돌 가능성이 낮을 것으로 예상된다. 따라서, 전자 제어 유닛(400)은 PDCMS 기능의 작동 시점 중 운전자 경고 및 부분 제동에 대하여 도 9에서와 같이 당초 설정한 t1 및 t2 로부터 소정의 시간만큼 연기할 수 있다. 또는, 전자 제어 유닛(400)은 PDCMS 기능의 작동 시점 중 운전자 경고, 부분 제동 및 완전 제동 모두에 대하여 도 9에서와 같이 당초 설정한 t1, t2 및 t3 모두로부터 소정의 시간만큼 연기할 수 있다.
도 12는 본 발명의 일실시예에 따른 시선 정보가 후면일 때의 PDCMS 기능 작동을 나타낸 예시도이다.
보행자의 시선 방향이 자동차 진행 방향과 같은 방향으로서, 즉 자동차가 보행자의 후면을 향해 진행하고 있다면 x1 = x2 = x3 = 0인 경우에 해당한다. 따라서, 전방 감지 센서(200)로부터 도출한 보행자 얼굴 각 부위의 길이를 바탕으로 |(x1 - x2)/x| < a에 해당한다면 보행자의 시선 방향이 자동차의 진행 방향과 같은 것으로, 즉 자동차가 보행자의 후면을 향해 진행하는 것으로 판단할 수 있다.
이 경우, 보행자의 시야 내에 자동차가 존재하지 않으므로 보행자가 자동차의 진행 방향을 인지 못하여 충돌 가능성이 높을 것으로 예상된다. 따라서, 전자 제어 유닛(400)은 PDCMS 기능의 작동 시점을 도 9에서와 같이 당초 설정한 t1, t2 및 t3로부터 연기하지 않을 수 있다.
도 13은 본 발명의 일실시예에 따른 시선 정보가 측면일 때의 PDCMS 기능 작동을 나타낸 예시도이다.
보행자의 시선 방향이 자동차 진행 방향과 약 90도를 이루며, 즉 자동차가 보행자의 측면을 향해 진행하고 있다면 |(x1 - x2)/x| ≥ a 또는 x1 = 0 또는 x2 = 0 인 경우에 해당한다. 따라서, 전방 감지 센서(200)로부터 도출한 보행자 얼굴 각 부위의 길이를 바탕으로 |(x1 - x2)/x| ≥ a 또는 x1 = 0 또는 x2 = 0 에 해당한다면 보행자의 시선 방향이 자동차의 진행 방향과 약 90도를 이루며, 즉 자동차가 보행자의 측면을 향해 진행하는 것으로 판단할 수 있다.
이 경우, 보행자의 시야 내에 자동차가 존재하지 않을 가능성이 상당하므로 보행자가 자동차의 진행 방향을 인지 못하여 충돌 가능성이 높을 것으로 예상된다. 따라서, 전자 제어 유닛(400)은 PDCMS 기능의 작동 시점을 도 9에서와 같이 당초 설정한 t1, t2 및 t3로부터 연기하지 않을 수 있다.
도 14는 본 발명에 따른 PDCMS 기능 작동 방법의 일실시예의 흐름을 나타낸 흐름도이다.
도 14를 참조하면, 본 발명에 따른 자동차 PDCMS 기능 작동 방법의 일실시예는 자동차 전방의 이미지를 획득하는 단계(S100), 이미지 내 물체의 크기에 대응하는 관심영역(ROI: Region Of Interest)를 설정하는 단계(S200), 설정된 ROI에서 물체의 동작에 기반하여 보행자 후보를 추출하는 단계(S300), 데이터 베이스를 포함하고, 추출된 보행자 후보를 데이터 베이스 내 표본 보행자의 자세와 비교하여 자동차의 주행차선 상 보행자에 해당하는지 식별하는 단계(S400), 전방 감지 센서에서 보행자의 시선정보, 보행자의 자동차에 대한 거리 및 상대 속도를 감지하는 단계(S500), 차량 센서에서 자동차의 속도, 가속도, 조향각, 조향각속도 또는 마스터 실린더 압력 중 하나 이상을 감지하는 단계(S600) 및 전방 감지 센서와 차량 센서에서 감지한 정보를 기반으로 PDCMS(Pedestrian Detection and Collision Mitigation System) 기능을 작동하는 단계(S700)를 포함한다.
자동차 전방의 이미지를 획득하는 단계(S100)는 자동차 전방을 촬영하는 카메라에 의하여 이미지를 획득한다.
이미지 내 물체의 크기에 대응하는 관심영역(ROI: Region Of Interest)를 설정하는 단계(S200)는 S100을 통하여 획득한 자동차 전방의 이미지에서 물체의 크기에 상응하는 ROI를 설정한다. 즉, 이미지의 크기, 카메라의 설치 환경 정보, 카메라의 사양 및 보행자의 실제 크기를 이용하여 이미지 중의 보행자 영역의 바닥 위치를 결정한다. 따라서, 보행자가 픽셀 수에 기초하여 식별될 수 있기 때문에, 보행자 영역의 바닥위치로부터 보행자의 최소 및 최대 크기가 적절한 ROI로 설정될 수 있다.
설정된 ROI에서 물체의 동작에 기반하여 보행자 후보를 추출하는 단계(S300)는 이미지 내 설정된 ROI를 갖는 물체의 동작에 기반하여 보행자 후보를 추출한다.
데이터 베이스를 포함하고, 추출된 보행자 후보를 데이터 베이스 내 표본 보행자의 자세와 비교하여 자동차의 주행차선 상 보행자에 해당하는지 식별하는 단계(S400)는 추출된 보행자 후보의 특징을 데이터 베이스에 저장된 표본 보행자의 자세와 순차적으로, 예를 들어 케스케이드(cascade) 방식으로 비교하여 보행자 후보가 보행자에 해당하는지 판단한다.
전방 감지 센서에서 보행자의 시선정보, 보행자의 자동차에 대한 거리 및 상대 속도를 감지하는 단계(S500)는 ROI 내 보행자가 갖는 특징점의 수에 기초하여 보행자를 추적해 보행자의 시선 정보, 보행자의 자동차에 대한 거리 및 상대 속도를 감지한다.
차량 센서에서 자동차의 속도, 가속도, 조향각, 조향각속도 또는 마스터 실린더 압력 중 하나 이상을 감지하는 단계(S600)는 차량 센서를 이용하여 자동차 엔진으로부터 자동차 바퀴의 회전수를 측정하고, 미리 알고 있는 바퀴의 원주와 측정된 회전수와 시간으로부터 자동차의 주행속도를 계산하며, 가속도, 조향각, 조향각속도 또는 마스터 실린더 압력 등의 자동차 주행 상태에 관한 정보를 감지한다.
전방 감지 센서와 차량 센서에서 감지한 정보를 기반으로 PDCMS(Pedestrian Detection and Collision Mitigation System) 기능을 작동하는 단계(S700)는 보행자의 상태 및 자동차의 상태를 종합하여 PDCMS 기능을 작동할 수 있는 조건을 만족하는지 여부를 판단한다. 예를 들어, 보행자의 상태 및 자동차의 상태를 종합하여 매핑 테이블 상 PDCMS 기능을 작동할 수 있는 조건을 만족하는지 여부를 판단한다. 즉, 장애물이 보행자인 것으로 판단된 경우, 보행자의 현재 위치, 자동차의 현재 위치, 자동차의 속도정보를 이용하여 매핑 테이블 상에서 자동차와 보행자의 충돌 위험성을 판단한다.
나아가, 보행자의 상태 및 자동차의 상태가 PDCMS 기능을 시작할 수 있는 조건이 만족하였다고 판단한 경우, 자동차의 PDCMS 기능을 작동한다. PDCMS 기능은 운전자에게 자동차와 보행자의 충돌을 알리도록 작동하는 경보부의 작동, 및 운전자의 브레이크 조작 여부에 관계없는 브레이크의 작동 활성화를 포함한다. 경보부의 작동 및 브레이크의 작동 활성화는 경보부의 작동, 자동차의 부분 제동, 자동차의 완전 제동의 순서로 수행된다.
한편, 본 명세서에서는 설명의 편의상 PDCMS를 예시로 하고 있음이 이해되어야 한다. 전술한 바와 같이 PDCMS는 여러 개의 ADAS 기능들 중의 하나에 불과하며, 본 발명이 제시하는 PDCMS 구현은 관련되는 다른 ADAS 기능을 구현하기 위해서도 이용될 수 있음이 이해되어야 한다. 예를 들어, 본 발명에 제시하는 방식은 PDCMS, LCDAS(Lane Change Decision Aid System), LDWS(Land Departure Warning System), ACC(Adaptive Cruise Control), LKAS(Lane Keeping Assistance System), RBDPS(Road Boundary Departure Prevention System), CSWS(Curve Speed Warning System), FVCWS(Forward Vehicle Collision Warning System), LSF(Low Speed Following) 등의 ADAS 기능들 중에서 하나의 기능 또는 복수개의 기능의 결합을 구현하기 위해서도 사용될 수 있다.
상술한 것은 하나 이상의 실시예의 실례를 포함한다. 물론, 상술한 실시예들을 설명할 목적으로 컴포넌트들 또는 방법들의 가능한 모든 조합을 기술할 수 있는 것이 아니라, 당업자들은 다양한 실시예의 많은 추가 조합 및 치환이 가능함을 인식할 수 있다. 따라서 설명한 실시예들은 첨부된 청구범위의 진의 및 범위 내에 있는 모든 대안, 변형 및 개조를 포함하는 것이다. 더욱이, 상세한 설명 또는 청구범위에서 "포함한다"라는 용어가 사용되는 범위에 대해, 이러한 용어는 "구성되는"이라는 용어가 청구범위에서 과도적인 단어로 사용될 때 해석되는 것과 같이 "구성되는"과 비슷한 식으로 포함되는 것이다.
100: 자동차의 PDCMS 작동 시스템
200: 전방 감지 센서
210: 이미지 입력부
220: 관심영역(ROI: Region Of Interest) 설정부
230: 후보 추출부
240: 보행자 판단부
250: 보행자 추적부
300: 차량 센서
400: 전자 제어 유닛
500: 경보부
600: 보행자
700: 자동차

Claims (15)

  1. 자동차의 주행차선 상 보행자의 존재, 상기 보행자의 시선정보, 상기 보행자의 상기 자동차에 대한 거리 및 상대 속도를 감지하는 전방 감지 센서;
    상기 자동차의 속도, 가속도, 조향각, 조향각속도 또는 마스터 실린더 압력 중 어느 하나 이상을 감지하는 차량 센서;
    상기 전방 감지 센서와 상기 차량 센서에서 감지한 정보를 기반으로 PDCMS(Pedestrian Detection and Collision Mitigation System) 기능을 작동하는 전자 제어 유닛; 및
    상기 전자 제어 유닛의 제어에 의하여 운전자에게 상기 자동차와 상기 보행자의 충돌을 알리도록 작동하는 경보부를 포함하고,
    상기 전방 감지 센서는,
    상기 자동차 전방의 이미지를 획득하는 이미지 입력부;
    상기 이미지 내 물체의 크기에 대응하는 관심영역(ROI: Region Of Interest)를 설정하는 ROI 설정부;
    상기 설정된 ROI에서 상기 물체의 동작에 기반하여 보행자 후보를 추출하는 후보 추출부; 및
    데이터 베이스를 포함하고, 상기 추출된 보행자 후보를 상기 데이터 베이스 내 표본 보행자의 자세와 비교하여 상기 보행자에 해당하는지 식별하는 보행자 판단부를 포함하며,
    상기 PDCMS 기능은 상기 경보부의 작동, 및 상기 운전자의 브레이크 작동 여부와 관계없는 상기 브레이크의 작동 활성화를 포함하고,
    상기 경보부의 작동 및 상기 브레이크의 작동 활성화는 상기 경보부의 작동, 상기 자동차의 부분 제동, 상기 자동차의 완전 제동의 순서로 수행되는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  2. 제 1 항에 있어서,
    상기 보행자 판단부는 상기 데이터 베이스는 상기 표본 보행자의 자세로서 상기 표본 보행자의 전면부, 후면부, 좌측부, 우측부, 좌측 상반신 또는 우측 상반신 중 적어도 하나에 관련된 정보를 저장하는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  3. 제 2 항에 있어서,
    상기 보행자 판단부는 상기 추출된 보행자 후보를 상기 데이터 베이스 내 상기 표본 보행자의 전면부, 후면부, 좌측부, 우측부, 좌측 상반신 또는 우측 상반신과 케스케이드(cascade) 방식으로 비교하는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  4. 제 1 항에 있어서,
    상기 전방 감지 센서는,
    상기 보행자 판단부에 의하여 식별된 상기 보행자를 추적하는 보행자 추적부를 더 포함하는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  5. 제 4 항에 있어서,
    상기 보행자 추적부는,
    상기 설정된 ROI 내 상기 보행자의 특징점의 수에 기반하여 상기 보행자를 추적하는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  6. 제 1 항에 있어서,
    상기 보행자의 시선 정보는,
    상기 보행자의 얼굴 전체의 가로길이를 x,
    상기 보행자의 좌측 얼굴 윤곽부터 좌측 눈까지의 가로길이를 x1,
    상기 보행자의 우측 얼굴 윤곽부터 우측 눈까지의 가로길이를 x2,
    상기 보행자의 좌측 눈과 우측 눈 사이의 가로길이를 x3로 정의하였을 때,
    |(x1 - x2)/x| < a 인 경우 정면 또는 대각면,
    x1 = x2 = x3 = 0 인 경우 후면,
    |(x1 - x2)/x| ≥ a 또는 x1 = 0 또는 x2 = 0 인 경우 측면에 해당하고,
    상기 a는 0.65 내지 0.95 사이의 범위에서 선택될 수 있는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  7. 제 6 항에 있어서,
    상기 전자 제어 유닛은,
    상기 경보부의 작동 및 상기 브레이크 작동 활성화를,
    상기 보행자의 시선 정보가 정면 또는 대각면일 때에는 상기 보행자의 시선 정보가 후면 또는 측면일 때보다 소정의 시간만큼 연기하여 수행하는 것을 특징으로 하는
    자동차의 PDCMS 작동 장치.
  8. 제 1 항에 있어서,
    상기 차량센서는,
    레인센서, 온도센서 또는 조도센서 중 어느 하나 이상을 더 포함하는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  9. 제 1 항에 있어서,
    상기 전자 제어 유닛은,
    상기 브레이크의 작동 활성화를 상기 브레이크의 작동 활성화 시점부터 상기 자동차와 상기 보행자의 충돌 시점까지 상기 자동차의 속도를 최소한 소정의 속도 이상 감소시키도록 수행하는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  10. 제 1 항에 있어서,
    상기 전자 제어 유닛은,
    상기 브레이크의 작동 활성화를 시작한 뒤에도 상기 운전자에 의하여 가능한 최대치의 감속을 위한 브레이크 작동을 허용하는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  11. 제 1 항에 있어서,
    상기 전자 제어 유닛은,
    상기 경보부를 제어하여 상기 PDCMS 기능이 이용가능한(Available) 상태임을 상기 운전자에 알리는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  12. 제 1 항에 있어서,
    상기 경보부는,
    상기 자동차와 상기 보행자의 충돌을 시각적으로 알리는 디스플레이부 또는 상기 자동차와 상기 보행자의 충돌을 청각적으로 알리는 스피커부를 포함하는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  13. 제 1 항에 있어서,
    상기 PDCMS 기능은 후방 브레이크 램프 작동을 더 포함하는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  14. 제 1 항에 있어서,
    상기 PDCMS 기능은 차체 자세 제어 장치(ESC: Electrical Stability Control) 작동을 더 포함하는 것을 특징으로 하는,
    자동차의 PDCMS 작동 장치.
  15. 자동차 전방의 이미지를 획득하는 단계;
    상기 이미지 내 물체의 크기에 대응하는 관심영역(ROI: Region Of Interest)를 설정하는 단계;
    상기 설정된 ROI에서 상기 물체의 동작에 기반하여 보행자 후보를 추출하는 단계;
    데이터 베이스를 포함하고, 상기 추출된 보행자 후보를 상기 데이터 베이스 내 표본 보행자의 자세와 비교하여 상기 자동차의 주행차선 상 보행자에 해당하는지 식별하는 단계;
    전방 감지 센서에서 상기 보행자의 시선정보, 상기 보행자의 상기 자동차에 대한 거리 및 상대 속도를 감지하는 단계;
    차량 센서에서 상기 자동차의 속도, 가속도, 조향각, 조향각속도 또는 마스터 실린더 압력 중 하나 이상을 감지하는 단계; 및
    상기 전방 감지 센서와 상기 차량 센서에서 감지한 정보를 기반으로 PDCMS(Pedestrian Detection and Collision Mitigation System) 기능을 작동하는 단계를 포함하며,
    상기 PDCMS 기능은 운전자에게 상기 자동차와 상기 보행자의 충돌을 알리도록 작동하는 경보부의 작동, 및 상기 운전자의 브레이크 조작 여부에 관계없는 상기 브레이크의 작동 활성화를 포함하고,
    상기 경보부의 작동 및 상기 브레이크의 작동 활성화는 상기 경보부의 작동, 상기 자동차의 부분 제동, 상기 자동차의 완전 제동의 순서로 수행되는 것을 특징으로 하는,
    자동차의 PDCMS 작동 방법.
KR1020160184290A 2016-12-30 2016-12-30 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법 KR101996415B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020160184290A KR101996415B1 (ko) 2016-12-30 2016-12-30 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
EP17205457.9A EP3348446B1 (en) 2016-12-30 2017-12-05 Posture information based pedestrian detection and pedestrian collision prevention apparatus and method
US15/833,667 US10435018B2 (en) 2016-12-30 2017-12-06 Posture information based pedestrian detection and pedestrian collision prevention apparatus and method
CN201711283583.3A CN108263379B (zh) 2016-12-30 2017-12-06 基于姿势信息的行人检测和行人碰撞预防装置和方法
US16/559,071 US10870429B2 (en) 2016-12-30 2019-09-03 Posture information based pedestrian detection and pedestrian collision prevention apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160184290A KR101996415B1 (ko) 2016-12-30 2016-12-30 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180078974A true KR20180078974A (ko) 2018-07-10
KR101996415B1 KR101996415B1 (ko) 2019-07-04

Family

ID=60654687

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160184290A KR101996415B1 (ko) 2016-12-30 2016-12-30 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법

Country Status (4)

Country Link
US (2) US10435018B2 (ko)
EP (1) EP3348446B1 (ko)
KR (1) KR101996415B1 (ko)
CN (1) CN108263379B (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6551382B2 (ja) * 2016-12-22 2019-07-31 トヨタ自動車株式会社 衝突回避支援装置
KR101996417B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996414B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 보행자 시선을 고려한 충돌 방지 및 충격 완화 장치 및 방법
KR101996415B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996419B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996418B1 (ko) 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR102463175B1 (ko) 2017-09-04 2022-11-04 삼성전자주식회사 객체 인식 방법 및 장치
CN108839653B (zh) * 2018-08-09 2020-01-14 华东交通大学 一种自动紧急制动系统的控制方法及装置
CN109334566B (zh) * 2018-08-31 2022-01-25 阿波罗智联(北京)科技有限公司 用于提供车外反馈的方法、装置、设备和存储介质
US20200202133A1 (en) * 2018-12-21 2020-06-25 Continental Automotive Systems Inc. Pedestrian tracking system and method
US10780897B2 (en) * 2019-01-31 2020-09-22 StradVision, Inc. Method and device for signaling present driving intention of autonomous vehicle to humans by using various V2X-enabled application
CN109902624A (zh) * 2019-02-27 2019-06-18 百度在线网络技术（北京）有限公司 用于呈现信息的方法和装置
IL265495B (en) * 2019-03-19 2022-09-01 Rober Ohrenstein Method for travel authorization
CN110239529A (zh) * 2019-06-28 2019-09-17 北京海益同展信息科技有限公司 车辆控制方法、装置及计算机可读存储介质
CN110481544B (zh) * 2019-07-30 2020-11-20 江苏大学 一种针对行人的汽车避撞方法及避撞系统
CN111985388A (zh) * 2020-08-18 2020-11-24 深圳市自行科技有限公司 行人注意力检测驾驶辅助系统、装置和方法
CN112428989B (zh) * 2020-10-30 2022-03-11 惠州华阳通用电子有限公司 一种车辆控制方法
US11488479B2 (en) * 2020-12-10 2022-11-01 Toyota Research Institute, Inc. Methods and systems for generating targeted warnings
CN112590780A (zh) * 2020-12-17 2021-04-02 潍柴动力股份有限公司 吸扫车的控制方法、装置、设备、吸扫车及存储介质
CN113002539B (zh) * 2021-02-01 2022-09-23 潍柴动力股份有限公司 车辆碰撞预警方法、车辆预警系统及车辆
CN113033441B (zh) * 2021-03-31 2024-05-10 广州敏视数码科技有限公司 一种基于广角成像的行人碰撞预警方法
GB2615766A (en) * 2022-02-17 2023-08-23 Ocular Ltd A collision avoidance system for a vehicle
CN115092091A (zh) * 2022-07-11 2022-09-23 中国第一汽车股份有限公司 一种基于车联网的车辆行人保护系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06107141A (ja) * 1992-09-30 1994-04-19 Mazda Motor Corp 車両の自動制動装置
JP2005182452A (ja) * 2003-12-19 2005-07-07 Tokai Rika Co Ltd 顔の向き検知装置
JP2006163637A (ja) * 2004-12-03 2006-06-22 Fujitsu Ten Ltd 運転支援装置
JP2008143372A (ja) * 2006-12-11 2008-06-26 Denso Corp 歩行者衝突検出装置及び歩行者保護システム
JP2008282097A (ja) * 2007-05-08 2008-11-20 Toyota Central R&D Labs Inc 衝突危険度推定装置及びドライバ支援装置
JP2011063187A (ja) * 2009-09-18 2011-03-31 Autonetworks Technologies Ltd 車輌灯制御装置
JP2011225159A (ja) * 2010-04-22 2011-11-10 Toyota Central R&D Labs Inc 車両運動制御装置及びプログラム
JP2013089129A (ja) * 2011-10-20 2013-05-13 Sumitomo Electric Ind Ltd 移動体検出装置、コンピュータプログラム及び移動体検出方法
JP2016009251A (ja) * 2014-06-23 2016-01-18 エイディシーテクノロジー株式会社 車両用制御装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4628683B2 (ja) * 2004-02-13 2011-02-09 富士重工業株式会社 歩行者検出装置、及び、その歩行者検出装置を備えた車両用運転支援装置
JP5405741B2 (ja) * 2004-07-26 2014-02-05 オートモーティブ システムズ ラボラトリー インコーポレーテッド 道路使用弱者保護システム
JP2008276274A (ja) * 2005-07-04 2008-11-13 Nec Corp 情報処理装置及び情報処理方法
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
JP4333797B2 (ja) * 2007-02-06 2009-09-16 株式会社デンソー 車両用制御装置
JP5110356B2 (ja) * 2007-07-10 2012-12-26 オムロン株式会社 検出装置および方法、並びに、プログラム
EP2085279B1 (en) * 2008-01-29 2011-05-25 Ford Global Technologies, LLC A system for collision course prediction
US8482486B2 (en) * 2009-04-02 2013-07-09 GM Global Technology Operations LLC Rear view mirror on full-windshield head-up display
JP4873068B2 (ja) * 2009-11-20 2012-02-08 株式会社デンソー 衝突被害軽減装置
JP5401344B2 (ja) * 2010-01-28 2014-01-29 日立オートモティブシステムズ株式会社 車両用外界認識装置
US20120030007A1 (en) * 2010-07-28 2012-02-02 Yahoo Inc. Online advertisement profiles
DE102010053350A1 (de) * 2010-12-03 2012-06-06 Daimler Ag Verfahren und Vorrichtung zum Betrieb eines Fahrzeuges zur Erhöhung einer Insassensicherheit
KR101046677B1 (ko) * 2011-03-15 2011-07-06 동국대학교 산학협력단 눈 위치 추적방법 및 이를 이용한 의료용 헤드램프
EP2720929B1 (de) * 2011-06-17 2016-04-27 Robert Bosch GmbH Verfahren und vorrichtung zur unterstützung eines fahrers bei einer spurführung eines fahrzeugs auf einer fahrbahn
DE102011112985A1 (de) * 2011-09-10 2013-03-14 Daimler Ag Verfahren zum Betrieb einer Sicherheitsvorrichtung eines Fahrzeuges und eine solche Sicherheitsvorrichtung
US20140309853A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Vehicle diagnostics and roadside assistance
US20140017635A1 (en) * 2012-07-13 2014-01-16 GME German Medical Engineering GmbH Medical treatment apparatus with laser pulses in the femtosecond range
JP2014059841A (ja) * 2012-09-19 2014-04-03 Daimler Ag 運転支援装置
US20140169624A1 (en) * 2012-12-14 2014-06-19 Hyundai Motor Company Image based pedestrian sensing apparatus and method
US9092986B2 (en) * 2013-02-04 2015-07-28 Magna Electronics Inc. Vehicular vision system
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
KR101543105B1 (ko) * 2013-12-09 2015-08-07 현대자동차주식회사 보행자 인식 장치 및 그의 처리 방법과 이를 지원하는 차량
US9365214B2 (en) * 2014-01-30 2016-06-14 Mobileye Vision Technologies Ltd. Systems and methods for determining the status of a turn lane traffic light
KR102178433B1 (ko) * 2014-05-30 2020-11-16 주식회사 만도 긴급 제동 시스템 및 그의 보행자 인식 방법
CN104210489B (zh) * 2014-09-16 2017-06-13 武汉理工大学 车路协同环境下车辆与行人碰撞规避方法与系统
WO2018053175A1 (en) * 2016-09-14 2018-03-22 Nauto Global Limited Systems and methods for near-crash determination
JP6332383B2 (ja) * 2016-09-29 2018-05-30 マツダ株式会社 車両用物標検出システム
KR101996415B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06107141A (ja) * 1992-09-30 1994-04-19 Mazda Motor Corp 車両の自動制動装置
JP2005182452A (ja) * 2003-12-19 2005-07-07 Tokai Rika Co Ltd 顔の向き検知装置
JP2006163637A (ja) * 2004-12-03 2006-06-22 Fujitsu Ten Ltd 運転支援装置
JP2008143372A (ja) * 2006-12-11 2008-06-26 Denso Corp 歩行者衝突検出装置及び歩行者保護システム
JP2008282097A (ja) * 2007-05-08 2008-11-20 Toyota Central R&D Labs Inc 衝突危険度推定装置及びドライバ支援装置
JP2011063187A (ja) * 2009-09-18 2011-03-31 Autonetworks Technologies Ltd 車輌灯制御装置
JP2011225159A (ja) * 2010-04-22 2011-11-10 Toyota Central R&D Labs Inc 車両運動制御装置及びプログラム
JP2013089129A (ja) * 2011-10-20 2013-05-13 Sumitomo Electric Ind Ltd 移動体検出装置、コンピュータプログラム及び移動体検出方法
JP2016009251A (ja) * 2014-06-23 2016-01-18 エイディシーテクノロジー株式会社 車両用制御装置

Also Published As

Publication number Publication date
CN108263379B (zh) 2023-01-10
KR101996415B1 (ko) 2019-07-04
EP3348446A1 (en) 2018-07-18
EP3348446B1 (en) 2024-05-01
US20190389458A1 (en) 2019-12-26
CN108263379A (zh) 2018-07-10
US10870429B2 (en) 2020-12-22
US20180186368A1 (en) 2018-07-05
US10435018B2 (en) 2019-10-08

Similar Documents

Publication Publication Date Title
KR101996415B1 (ko) 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996417B1 (ko) 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996418B1 (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996414B1 (ko) 보행자 시선을 고려한 충돌 방지 및 충격 완화 장치 및 방법
KR101996419B1 (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
US10140531B2 (en) Detection of brake lights of preceding vehicles for adaptation of an initiation of active safety mechanisms
US20080015743A1 (en) Method and system for assisting the driver of a motor vehicle in identifying road bumps
US10535264B2 (en) Object detection apparatus and object detection method
KR20180078987A (ko) 보행자 충돌 시 충격 완화 장치 및 방법
JP2010125923A (ja) 緊急退避装置
KR102258475B1 (ko) 보행자 시선을 고려한 차량의 자동긴급제동 시스템 및 방법
CN108275148B (zh) 用于缓解行人碰撞的装置和方法
KR101512935B1 (ko) 차량 안전 제어 장치 및 방법
CN111717196A (zh) 一种基于视觉分析的驾驶安全辅助装置
JP2020032781A (ja) 停車支援装置
JP2020032783A (ja) 停車支援装置
JP2020032784A (ja) 停車支援装置
KR20190050643A (ko) 고속도로 주행 지원 시스템 연동 자동 긴급 제동 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right