KR102185743B1 - 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법 및 장치 - Google Patents
차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법 및 장치 Download PDFInfo
- Publication number
- KR102185743B1 KR102185743B1 KR1020190098039A KR20190098039A KR102185743B1 KR 102185743 B1 KR102185743 B1 KR 102185743B1 KR 1020190098039 A KR1020190098039 A KR 1020190098039A KR 20190098039 A KR20190098039 A KR 20190098039A KR 102185743 B1 KR102185743 B1 KR 102185743B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- information
- existence
- exists
- determining whether
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000007635 classification algorithm Methods 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 21
- 238000013136 deep learning model Methods 0.000 claims description 9
- 238000009434 installation Methods 0.000 claims description 6
- 238000007477 logistic regression Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000003066 decision tree Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 50
- 238000012545 processing Methods 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G06K9/00791—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
- B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B60W2420/42—
-
- B60W2420/52—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/20—Ambient conditions, e.g. wind or rain
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/60—Traffic rules, e.g. speed limits or right of way
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/10—Longitudinal speed
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법 및 장치가 제시된다. 일 실시예에 따른 객체의 실존 여부를 판단하는 방법은, 차량에 탑재된 객체 인식 장비로부터 상기 차량의 전방에 위치하는 객체 정보를 획득하는 단계; 상기 차량 외부의 지능형 교통 체계(Intelligent Transport System, ITS)로부터 상기 차량의 주변에 대한 외부 환경 정보를 수신하는 단계; 및 상기 객체 인식 장비로부터 수집된 상기 객체 정보 및 상기 지능형 교통 체계로부터 수집된 상기 외부 환경 정보를 이용하여 상기 차량의 전방에 대한 객체의 실존 여부를 판단하는 단계를 포함하여 이루어질 수 있다.
Description
아래의 실시예들은 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법 및 장치에 관한 것으로, 더욱 상세하게는, 차량의 객체 인식 장비 및 지능형 교통 체계(Intelligent Transport System, ITS) 정보를 바탕으로 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법 및 장치에 관한 것이다.
차량의 편의 기능과 안전 기능을 강화하기 위해 종래의 자동차 기계기술에 IT 기술과 전자제어기술 등의 융합을 통한 첨단 안전 차량 기술이 적용된 지능형 자동차가 제공되고 있다. 일반적으로 첨단 안전 차량 기술로는 예방안전기술, 사고회피기술, 자율주행기술, 충돌안전기술, 편의성향상기술, 차량정보화기술 등이 있고, 이는 횡방향 제어 시스템 및 종방향 제어 시스템으로 구분할 수 있는데, 특히 종방향 제어 시스템과 관련된 기술은 자동긴급제동(Autonomous Emergency Barking, AEB), 감응식순항제어(Active Cruise Control, ACC), 전방차량충돌경고장치(Forward Vehicle Collision Warning System, FVCWS) 등이 있다.
이러한 첨단 안전 차량 기술이 적용된 지능형 자동차에 있어서 차량의 전방을 정확하게 인식하는 기술은 매우 중요하며, 첨단 안전 차량 기술을 통해 전방을 보다 신속하고 정확하게 탐지함으로써 사고 예방 및 회피, 충돌 등 위험상황으로부터 운전자 및 탑승자를 보호하여 교통사고 및 피해를 줄일 수 있다.
기존에는 차량에 탑재된 객체 인식 장치(카메라 등)를 통해 차량의 전방의 객체를 인식하고, 검출된 정보로부터 운전차량과 객체의 충돌 여부를 판단함으로써 운전자에게 충돌 경고 또는 차량 속도 제어를 수행할 수 있었다.
그러나, 기존의 기술들은 인식된 객체의 실존 여부와는 상관없이 물체확인 정보를 제공하기 때문에 실제 위험한 상황이 아닌 경우에도 급제동 등의 제어가 실행되어, 오히려 급제동으로 인한 후방충돌 등과 같이 더 위험한 상황을 초래할 수 있다는 문제점들이 제기되어 왔다. 예컨대, 인식된 객체가 진짜 사람이 아니라 횡단보도 앞에 그려진 이미지인 경우에도 물체확인 정보를 제공함으로써 급제동이 실행되어 후방충돌이 발생될 수 있다. 이는 자율주행기술이 기존 1, 2 단계에서 3, 4 단계로 발전하고 있기 때문에 운전 조종권이 사람에서 기계로 점차 넘어간다는 점을 고려할 때 더욱 보완이 필요한 사항이다.
한국공개특허 10-2019-0014429호는 이러한 자율 주행 시스템 및 차량에 관한 것으로, 센서의 고장에 대비한 자율 주행 시스템에 관한 기술을 기재하고 있다.
상기에서 설명된 정보는 단지 이해를 돕기 위한 것이며, 종래 기술의 일부를 형성하지 않는 내용을 포함할 수 있으며, 종래 기술이 통상의 기술자에게 제시할 수 있는 것을 포함하지 않을 수 있다.
실시예들은 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법 및 장치에 관하여 기술하며, 보다 구체적으로 차량에 탑재된 객체 인식 장비(카메라, 레이더, 라이다 등)와 차량 외부의 지능형 교통 체계(ITS) 정보를 바탕으로 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 기술을 제공한다.
일 실시예에 따른 객체의 실존 여부를 판단하는 방법은, 차량에 탑재된 객체 인식 장비로부터 상기 차량의 전방에 위치하는 객체 정보를 획득하는 단계; 상기 차량 외부의 지능형 교통 체계(Intelligent Transport System, ITS)로부터 상기 차량의 주변에 대한 외부 환경 정보를 수신하는 단계; 및 상기 객체 인식 장비로부터 수집된 상기 객체 정보 및 상기 지능형 교통 체계로부터 수집된 상기 외부 환경 정보를 이용하여 상기 차량의 전방에 대한 객체의 실존 여부를 판단하는 단계를 포함하여 이루어질 수 있다.
상기 객체 인식 장비로부터 획득하는 상기 객체 정보는, 카메라, 라이다(Lidar) 센서 및 레이더(Radar) 센서를 통해 수집되는 정보를 포함할 수 있다.
상기 지능형 교통 체계로부터 수신하는 상기 외부 환경 정보는, 디지털 지도 또는 지도화(mapping) 시스템에 따른 도로 환경, 도로 내 설치물, 날씨 및 전방 차량과의 무선 차량 간 통신(Vehicle to Vehicle, V2V) 중 적어도 어느 하나 이상을 포함할 수 있다.
상기 객체 정보 및 상기 외부 환경 정보를 이용하여 객체의 실존 여부를 판단하는 단계는, 상기 객체 인식 장비로부터 수집된 상기 객체 정보 및 상기 지능형 교통 체계로부터 수집된 상기 외부 환경 정보를 분류 알고리즘의 분석을 통해 값을 산출하는 단계; 및 상기 분류 알고리즘의 분석을 통한 산출 값을 기반으로 상기 객체의 실존 여부를 판단하는 단계를 포함할 수 있다.
상기 분류 알고리즘의 분석을 통해 값을 산출하는 단계는, 딥러닝(Deep Learning) 모델, 랜덤포레스트(Random Forest) 모델, 히든마코프 모델(Hidden Markov Model, HMM), 머신러닝(Machine Learning) 모델, 앙상블(Ensemble) 모델, 로지스틱 회귀분석(Logistic Regression) 모델, 프로비트(Probit) 모델 및 의사결정나무(Decision Tree) 모델 중 적어도 어느 하나 이상의 모델을 이용하며, 상기 모델에 상기 객체 인식 장비로부터 수집된 상기 객체 정보 및 상기 지능형 교통 체계로부터 수집된 상기 외부 환경 정보를 입력하여 객체의 실존 여부를 판단 가능한 산출 값을 출력할 수 있다.
상기 분류 알고리즘의 분석을 통한 산출 값을 기반으로 상기 객체의 실존 여부를 판단하는 단계는, 상기 분류 알고리즘의 분석을 통한 산출 값이 기설정된 특정 값 미만일 경우 객체 실존으로 구분하고, 특정 값 이상일 경우 객체 미실존으로 구분할 수 있다.
상기 객체의 실존 여부를 판단하는 단계는, 상기 카메라로부터 인식된 상기 객체의 x, y, z 값이 취득되고, 상기 라이다 센서로부터 형태 정보가 취득되지 않으며, 상기 레이더 센서로부터 근거리 객체 정보가 취득되지 않으며, 3D 맵 상에서 보행자 이미지 또는 객체의 이미지의 위치 정보가 획득되는 경우, 객체 미실존으로 판단할 수 있다.
상기 객체의 실존 여부를 판단하는 단계는, 상기 카메라로부터 인식된 상기 객체의 x, y, z 값이 취득되지 않고, 상기 라이다 센서로부터 형태 정보가 취득되며, 상기 레이더 센서로부터 근거리 객체 정보가 취득되며, V2V 정보로부터 전방에 위치하는 다른 차량의 정보가 획득되는 경우, 객체 실존으로 판단할 수 있다. 상기 객체의 실존은 상기 다른 차량의 전방 급정지로 판단될 수 있다.
상기 객체의 실존 여부를 판단한 결과, 객체 실존으로 구분되는 경우 상기 차량의 운전자에게 충돌 경고 또는 차량 속도 제어를 수행하도록 동작을 제어하는 단계를 더 포함할 수 있다.
다른 실시예에 따른 객체의 실존 여부를 판단하는 장치는, 차량에 탑재된 객체 인식 장비로부터 상기 차량의 전방에 위치하는 객체 정보를 획득하는 객체 정보 수집부; 상기 차량 외부의 지능형 교통 체계(Intelligent Transport System, ITS)로부터 상기 차량의 주변에 대한 외부 환경 정보를 수신하는 외부 환경 정보 수집부; 및 상기 객체 인식 장비로부터 수집된 상기 객체 정보 및 상기 지능형 교통 체계로부터 수집된 상기 외부 환경 정보를 이용하여 상기 차량의 전방에 대한 객체의 실존 여부를 판단하는 객체 실존 여부 판단부를 포함하여 이루어질 수 있다.
상기 객체 실존 여부 판단부는, 상기 객체 인식 장비로부터 수집된 상기 객체 정보 및 상기 지능형 교통 체계로부터 수집된 상기 외부 환경 정보를 분류 알고리즘의 분석을 통해 값을 산출하는 분석 모듈; 및 상기 분석 모듈을 통한 산출 값을 기반으로 상기 객체의 실존 여부를 판단하는 판단 모듈을 포함할 수 있다.
상기 객체의 실존 여부를 판단한 결과, 객체 실존으로 구분되는 경우 상기 차량의 운전자에게 충돌 경고 또는 차량 속도 제어를 수행하도록 하는 동작 제어부를 더 포함할 수 있다.
실시예들에 따르면 차량에 탑재된 객체 인식 장비(카메라, 레이더, 라이다 등)와 차량 외부의 지능형 교통 체계(ITS) 정보를 바탕으로 차량의 전방에 위치하는 객체의 실존 여부를 판단함으로써, 객체의 실존 여부에 따른 안전 주행 및 경고 정보 제공이 가능한, 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법 및 장치를 제공할 수 있다.
실시예들에 따르면 주행 시 정확한 정보 제공으로 실존하지 않는 객체에 대하여 급제동 등의 차량 자체의 제어가 발생함으로 인한 사고 시나리오를 제거함으로써 사용자의 안전을 향상시킬 수 있다. 또한, 주행 시 불필요한 정보 제공에 의한 운전 방해 요인을 줄임으로써 보다 효율적인 경고 정보를 제공할 수 있다.
도 1은 일 실시예에 따른 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 장치를 개략적으로 나타내는 도면이다.
도 2는 일 실시예에 따른 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법을 나타내는 흐름도이다.
도 3은 일 실시예에 따른 객체 정보 및 외부 환경 정보를 이용하여 객체의 실존 여부를 판단하는 방법을 나타내는 흐름도이다.
도 4는 일 실시예에 따른 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 장치를 설명하기 위한 블록도이다.
도 2는 일 실시예에 따른 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법을 나타내는 흐름도이다.
도 3은 일 실시예에 따른 객체 정보 및 외부 환경 정보를 이용하여 객체의 실존 여부를 판단하는 방법을 나타내는 흐름도이다.
도 4는 일 실시예에 따른 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 장치를 설명하기 위한 블록도이다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
아래의 실시예들은 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법 및 장치에 관한 것으로, 차량에 탑재된 객체 인식 장비(카메라, 레이더, 라이다 등)와 차량 외부의 지능형 교통 체계(Intelligent Transport System, ITS) 정보를 바탕으로 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법 및 장치를 제공할 수 있다. 이러한 실시예들에 따른 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법 및 장치는 차량의 종방향 제어 시스템(AEB, ACC, FVCWS 등)을 포함한 첨단 안전 차량(Advanced Safety Vehicle, ASV)에 활용될 수 있다.
지능형 자동차(첨단 차량) 기술 즉, 운전 보조 기술, 자율주행 기술, 특히 자동차 부품개발 분야의 능동안전차량(Active Safety Vehicle, ASV), 첨단운전자지원시스템(Advanced Driver Assistance System, ADAS) 기술이 관련 높으며, 대표적인 지능형 자동차 기술로 EPS(Electric Power Steering), CDC(Continuous Damping Control), ESC(Electronic Stability Control)의 ABS(Anti-Lock Brake System), TCS(Traction Control System), VDC(Vehicle Dynamic Control) 등과 차량 환경 센서기반 전자 능동 제어 기술로 PCS(Pre-Crash Safety), ACC(Adaptive Cruise Control), LKAS(Lane Keeping Assist System), SPAS(Smart Parking Assist System), Night Vision 시스템과 같이 차량 상태와 주변 환경을 판단하는 계측 기술, 센서 융합기술, 특히 좌우감지(레이더), 전후방감지(비디오카메라), GPS, 거리감지 기술, 차량 간 통신 기술, 관성센서 기술, Drive-by-wire 기술, 무인운전지원 기술, vehicle to grid 통신 기술 등 다양한 계측 신호 처리, 통신, 제어 기술이 기반이 된다.
차량 중심 기술, 인프라 중심 기술, 인간 중심 기술, 차량/인프라 융합 기술이 관련 있으며, 특히 인간 중심 기술이 관련 높은 분야로 차량동역학을 기반으로 운전자의 주행 특성(Driving Behavior)에 맞게 차량이 작동되도록 제어하는 인간 중심(Human-Centered) 지능화 차량 제어기술이 바탕이 되며, 핵심기술은 차량 및 주행 상황을 감지하는 센서-신호처리 기술과 운전자-차량 통합 시스템을 제어하고, 운전자의 인식, 판단, 행동을 차량이 자동으로 수행하도록 구축되며, 궁극적으로 인간의 인지반응시간을 줄여 보다 안전한 차량의 상태를 돕도록 주행, 제동, 조향을 실시간으로 자동 제어하는 목적을 지닌다.
또한, 실시예들은 차량/인프라 융합 기술로 기존의 Telematics/ITS(Intelligent Transport System) 기술을 기반으로 하는 IT 기술을 교통체계 및 도로 자동차에 융합하여 창출되는 신 부가가치 산업 기술로 휴먼/자동차/인프라를 지능적, 유기적으로 융합하여 최적의 안전/편의/녹색 도로 교통 환경을 구현하는 IT 자동차 융합 신기술과 관련 있으며, 도로상의 지점 및 구간 검지기(레이더, 영상, 자기장 등)을 통해 실시간으로 수집되는 막대한 교통, 차량 정보(Big Data) 활용 분야와 지능형교통시스템(ITS) 및 첨단도로시스템(Assist Highway System, AHS) 기술 분야, 특히 최근 DSRC(Dedicated Short Range Communication), WAVE(Wireless Access in Vehicle Environment) 기술을 적용한 V2X(Vehicle to X Communication) 시스템의 일환인 안전운전지원을 위한 차량 추돌 방지, 도로위험 구간, 노면상태, 교통 소통상황, 교차로 충돌사고 예방, 신호 정보 제공 위급상황 통보 지원 시스템 등의 스마트 교차로서비스, 교통안전서비스, 차로운행서비스, 대안 경로 제공 서비스 등으로 운전자 안전 및 편의 정보 제공 분야와 관련이 있다.
도 1은 일 실시예에 따른 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 장치를 개략적으로 나타내는 도면이다.
도 1을 참조하면, 일 실시예에 따른 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 장치(130)는 차량에 탑재된 객체 인식 장치(110)에서 수집되는 물체확인 정보에 더하여 차량 외부 지능형 교통 체계(ITS, 120)에서 수신되는 정보를 바탕으로 차량의 전방에 대한 객체의 실존 여부(141, 142)를 판단할 수 있다. 여기서, 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 장치(130)는 하나의 프로세서로 표현될 수 있으며, 프로세서는 명령어들의 임의의 시퀀스를 처리할 수 있는 임의의 장치를 포함하거나 그의 일부일 수 있다. 이러한 프로세서는 컴퓨터 시스템의 일부일 수 있다. 프로세서는 객체 정보 수집부, 외부 환경 정보 수집부 및 객체 실존 여부 판단부를 포함하여 이루어질 수 있으며, 실시예에 따라 동작 제어부를 더 포함할 수 있다.
보다 구체적으로, 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 장치(130)는 차량에 탑재된 카메라(111), 라이다(Lidar) 센서(112), 레이더(Radar) 센서(113) 등의 객체 인식 장치(110)를 통해 객체 정보를 수집할 수 있고, 차량 외부의 지능형 교통 체계(ITS, 120)로부터 차량의 주변에 대한 외부 환경 정보를 수집할 수 있다. 이 때 객체의 실존 여부를 판단하는 장치(130)는 V2I(Vehicle to Infrastructure, 121) 및 V2V(Vehicle to Vehicle, 122) 통신에 기반하여 획득되는 외부 환경 정보를 수집할 수 있다. 다만, V2V 통신에 기반하여 획득되는 외부 환경 정보는 ITS를 통하지 않고 차량(장치(130))이 직접 수신할 수도 있다.
이후, 객체의 실존 여부를 판단하는 장치(130)는 수집된 객체 정보 및 외부 환경 정보를 이용하여 분류 알고리즘의 분석을 통해 차량의 전방의 객체 실존(141) 또는 객체 미실존(142)을 판단할 수 있다.
한편, 차량의 전방에 객체가 실존하는 것으로 판단되는 경우, 실행부를 통해 운전자에게 충돌 경고 또는 차량 속도 제어를 수행할 수 있다. 이에 따라 차량에 탑재된 객체 인식 장치(110) 및 차량 외부 지능형 교통 체계(ITS, 120)를 이용하여 차량의 전방의 물체확인 정보를 획득하고, 이러한 물체확인 정보를 통하여 경고, 제어 등의 후속조치를 통해 충돌의 위험을 미연에 방지할 수 있도록 할 수 있다.
도 2는 일 실시예에 따른 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법을 나타내는 흐름도이다.
도 2를 참조하면, 일 실시예에 따른 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법은 일 실시예에 따른 객체의 실존 여부를 판단하는 방법은, 차량에 탑재된 객체 인식 장비로부터 차량의 전방에 위치하는 객체 정보를 획득하는 단계(210), 차량 외부의 지능형 교통 체계(ITS)로부터 차량의 주변에 대한 외부 환경 정보를 수신하는 단계(220), 및 객체 인식 장비로부터 수집된 객체 정보 및 지능형 교통 체계로부터 수집된 외부 환경 정보를 이용하여 객체의 실존 여부를 판단하는 단계(230)를 포함하여 이루어질 수 있다.
또한, 객체의 실존 여부를 판단한 결과, 객체 실존으로 구분되는 경우 차량의 운전자에게 충돌 경고 또는 차량 속도 제어를 수행하도록 동작을 제어하는 단계(240)를 더 포함할 수 있다.
도 3은 일 실시예에 따른 객체 정보 및 외부 환경 정보를 이용하여 객체의 실존 여부를 판단하는 방법을 나타내는 흐름도이다.
도 3을 참조하면, 객체 정보 및 외부 환경 정보를 이용하여 객체의 실존 여부를 판단하는 단계(230)는, 객체 인식 장비로부터 수집된 객체 정보 및 지능형 교통 체계로부터 수집된 외부 환경 정보를 분류 알고리즘의 분석을 통해 값을 산출하는 단계(231), 및 분류 알고리즘의 분석을 통한 산출 값을 기반으로 객체의 실존 여부를 판단하는 단계(232)를 포함할 수 있다.
차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법은 도시된 순서대로 발생하지 않을 수 있으며, 단계들 중 일부가 생략되거나 추가의 과정이 더 포함될 수 있다. 아래에서 일 실시예에 따른 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법의 각 단계를 보다 상세히 설명한다.
일 실시예에 따른 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법은 일 실시예에 따른 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 장치를 이용하여 하나의 예를 들어 보다 상세히 설명할 수 있다.
도 4는 일 실시예에 따른 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 장치를 설명하기 위한 블록도이다.
도 4를 참조하면, 일 실시예에 따른 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 장치(400)는 객체 정보 수집부(410), 외부 환경 정보 수집부(420) 및 객체 실존 여부 판단부(430)를 포함하여 이루어질 수 있으며, 실시예에 따라 동작 제어부(440)를 더 포함할 수 있다. 여기서, 객체 실존 여부 판단부(430)는 분석 모듈(431) 및 판단 모듈(432)을 포함할 수 있다. 아래에서 도 2 내지 도 4를 참조하여 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법 및 장치에 대해 상세히 설명한다.
단계(210)에서, 객체 정보 수집부(410)는 차량에 탑재된 객체 인식 장비로부터 차량의 전방에 위치하는 객체 정보를 획득할 수 있다. 여기서, 객체 인식 장비로부터 획득하는 객체 정보는 차량에 탑재된 카메라, 라이다 센서, 레이더 센서 등을 통해 수집되는 정보를 포함할 수 있다.
차량은 전방을 감지하기 위해 카메라, 라이다 센서, 레이더 센서를 포함할 수 있다. 카메라, 라이다 센서, 레이더 센서는 같은 위치 또는 서로 다른 위치에 장착될 수 있으며, 예컨대 차량의 범퍼 근방, 윈드 쉴드 근방 또는 별도의 하우징에 구비될 수 있다. 카메라, 라이다 센서, 레이더 센서는 차량의 진행 방향과 일치한 방향을 향하여 배치될 수 있다.
카메라는 차량의 전방의 도로 영상을 촬영할 수 있다. 카메라는 단안 카메라일 수 있으며, CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 기반의 이미지 센서를 구비할 수 있다. 카메라는 차량의 전방의 영상을 취득하고, 카메라로부터 취득된 영상 정보로부터 차선, 전방 차량, 도로 경계, 또는 도로 주변의 장애물 등의 객체가 인식될 수 있다.
라이다 센서는 레이저빔을 지속적으로 발사하고 이것이 센서로 되돌아오는 시간을 계산해 거리를 측정할 수 있다. 라이다 센서는 차량의 지붕 부분에 설치되어 차량의 주변 360도 시야각을 제공하고 정확한 거리 정보를 실시간으로 전달함으로써, 주행 중 장애물, 사람, 자동차 등을 인식하고 추적도 가능하게 할 뿐만 아니라, 도로의 차선 경계, 전방 신호등 표시 등도 높은 정확도로 인식할 수 있다. 더욱이, 라이다 센서는 3D 맵핑 능력이 좋다.
레이더 센서는 전자기파를 차량의 전방으로 방사하고, 차량의 전방의 물체로부터 반사된 신호를 수신하여 차량의 전방의 객체를 인식할 수 있다. 예컨대, 레이더 센서는 어레이 안테나(Array Antenna)를 포함하고 하나 이상의 송신 채널과 수신 채널을 포함할 수 있다.
예를 들어, 객체 정보 수집부(410)는 카메라로부터 인식된 객체의 x, y, z 값을 취득하고, 라이다 센서로부터 형태 정보를 취득하며, 레이더 센서로부터 근거리 객체 정보를 취득함으로써 객체 정보를 획득할 수 있다. 이 때, 객체 정보 수집부(410)는 카메라, 라이다 센서 및 레이더 센서 중 적어도 어느 하나 이상으로부터 객체 정보를 획득할 수 없는 경우, 객체 실존 여부의 판단에 영향을 미칠 수 있다. 예를 들어 눈, 비 등 기상상황의 악화에 따라 카메라로부터 객체 정보를 미취득하는 경우에도 라이다 센서 및 레이더 센서 등을 통해 상황을 예측하고 차량의 전방에 객체 실존 여부를 정확하게 판단할 수 있다.
단계(220)에서, 외부 환경 정보 수집부(420)는 차량 외부의 지능형 교통 체계(ITS)로부터 차량의 주변에 대한 외부 환경 정보를 수신할 수 있다. 여기서 외부 환경 정보 수집부(420)는 차량의 주변에 대한 객체 정보를 포함하는 외부 환경 정보를 수집할 수 있다. 지능형 교통 체계로부터 수신하는 외부 환경 정보는 디지털 지도 또는 지도화(mapping) 시스템에 따른 도로 환경, 도로 내 설치물, 날씨, 전방 차량과의 무선 차량 간 통신(Vehicle to Vehicle, V2V) 등을 포함할 수 있다.
예를 들어, 외부 환경 정보 수집부(420)는 V2I를 통해 교통 신호 정보(Traffic sign info) 및 3D 맵 상에서 객체 정보를 취득할 수 있다. 여기서, (3D) 맵은 차량 내부에 저장되는 지도를 의미할 수 있으며, 예컨대, 차량의 내비게이션(navigation) 기능이나 자율주행 기능을 수행하기 위해 사용되는 지도일 수 있다. 예를 들어, 외부 환경 정보 수집부(420)는 사고 정보(또는 유고 정보)와 같은 업데이트 정보를 실시간으로 수신함으로써 맵을 업데이트할 수 있으며, 이 때, 맵의 업데이트를 위한 정보는 지능형 교통 체계(ITS)로부터 수신될 수 있다. 3D 맵은 자율주행 등 차량의 주행을 위해 센티미터(cm) 수준의 정밀도를 갖춘 3D 입체 지도로서, 고정밀 지도(HD 지도, HD맵)로 표기하기도 한다. 고정밀 지도에는 도로 중심선, 경계선 등 차선 단위의 정보는 물론 신호등, 표지판, 연석, 노면마크, 각종 구조물 등의 정보가 3차원(또는 2차원) 디지털로 표현될 수 있다.
또한, 외부 환경 정보 수집부(420)는 V2V를 통해 주변의 다른 차량의 정보를 취득할 수 있으며, 이 때 정지한 차량의 ID(Stop vehicle ID)와 주행하는 차량의 ID(Drive vehicle ID)를 수신할 수 있다. 한편, 외부 환경 정보 수집부(420)는 V2I, V2V뿐만 아니라 V2N(Vehicle to Network), V2P(Vehicle to Pedestrian) 등 V2X(Vehicle to Everything communication) 및 커넥티드 카(Connected Car)를 통해 객체 정보를 취득하거나 다른 차량의 정보를 취득할 수 있다. 여기서 V2X는 차량과 사물 또는 인프라가 전력을 주고받는 기능 외에도 차량이 유선 또는 무선망으로 통해 인프라, 사물, 다른 차량 등과 정보를 주고받는 기능을 포함할 수 있으며, 이를 통해 차량과 도로의 정보 환경, 안정성, 편리성 등을 향상시킬 수 있다.
한편, 객체 정보 수집부(410) 및 외부 환경 정보 수집부(420)는 차량에 탑재된 객체 인식 장비 및 지능형 교통 체계(ITS)로부터 객체 정보 및 외부 환경 정보를 수집하기 위한 것으로, 여기에서는 설명의 편의상 객체 정보 수집부(410) 및 외부 환경 정보 수집부(420)를 별도의 구성으로 구분하여 분류하고 있으나, 동일한 하나의 수집부를 통해 객체 정보 및 외부 환경 정보를 수집하는 것도 가능하다.
또한, 차량에 탑재된 객체 인식 장비 및 지능형 교통 체계(ITS)로부터 객체 정보 및 외부 환경 정보를 수집하기 위해 통신부를 더 포함할 수 있다. 통신부는 객체 인식 장비와 근거리 통신을 할 수 있으며, 지능형 교통 체계(ITS) 및 외부 디바이스와 통신을 수행할 수 있다. 여기서 외부 디바이스는 다른 차량, 이동 단말기 또는 서버일 수 있다. 통신부는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association, IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 어느 하나 이상을 이용하여 통신을 지원할 수 있다.
단계(230)에서, 객체 실존 여부 판단부(430)는 객체 인식 장비로부터 수집된 객체 정보 및 지능형 교통 체계로부터 수집된 외부 환경 정보를 이용하여 객체의 실존 여부를 판단할 수 있다.
보다 구체적으로 객체 실존 여부 판단부(430)는 분석 모듈(431) 및 판단 모듈(432)을 포함할 수 있다.
단계(231)에서, 분석 모듈(431)은 객체 인식 장비로부터 수집된 객체 정보 및 지능형 교통 체계로부터 수집된 외부 환경 정보를 분류 알고리즘의 분석을 통해 값을 산출할 수 있다.
분석 모듈(431)은 딥러닝(Deep Learning) 모델, 랜덤포레스트(Random Forest) 모델, 히든마코프 모델(Hidden Markov Model, HMM), 머신러닝(Machine Learning) 모델, 앙상블(Ensemble) 모델, 로지스틱 회귀분석(Logistic Regression) 모델, 프로비트(Probit) 모델 및 의사결정나무(Decision Tree) 모델 중 적어도 어느 하나 이상의 모델을 이용할 수 있다. 분석 모듈(431)은 이러한 모델에 객체 인식 장비로부터 수집된 객체 정보 및 지능형 교통 체계로부터 수집된 외부 환경 정보를 입력하여 객체의 실존 여부를 판단 가능한 산출 값을 출력할 수 있다.
단계(232)에서, 판단 모듈(432)은 분류 알고리즘의 분석을 통한 산출 값을 기반으로 객체의 실존 여부를 판단할 수 있다.
판단 모듈(432)은 분류 알고리즘의 분석을 통한 산출 값이 기설정된 특정 값 미만일 경우 객체 실존으로 구분하고, 특정 값 이상일 경우 객체 미실존으로 구분할 수 있다.
일례로, 상기 분석 모듈(431)에 사용되는 분류 알고리즘 중 딥러닝 모델을 이용하는 경우, 수집한 객체 정보 및 외부 환경 정보를 딥러닝 모듈의 입력 값으로 입력할 수 있다. 여기서, 수집한 객체 정보 및 외부 환경 정보는 카메라로부터 인식된 객체의 x, y, z 값, 라이다 센서로부터 취득한 형태 정보, 레이더 센서로부터 취득한 근거리 객체 정보, V2I를 통해 취득한 교통 신호 정보 및 3D 맵 상에서 객체 정보, 그리고 V2V를 통해 취득한 주변의 다른 차량의 정보 등이 될 수 있다.
그리고, 딥러닝 모델의 분석 결과에 따른 출력 값(산출 값)을 이용하여 객체 실존 여부를 판단할 수 있다. 딥러닝 모델의 출력 값에 따라 객체 실존 및 객체 미실존으로 구분하여 로지스틱 회귀 바탕의 딥러닝을 수행하여 딥러닝 알고리즘을 구축할 수 있다. 여기서, 딥러닝 알고리즘은 구축된 딥러닝 모델일 수 있다. 딥러닝 모델은 학습용 데이터, 검증용 데이터 및 결과용 데이터로 구분되는 데이터를 사용하여 구축될 수 있다. 예컨대, 학습용 데이터, 검증용 데이터 및 결과용 데이터를 6:2:2 비율로 구성하여 딥러닝 모델을 구축할 수 있다. 딥러닝 알고리즘은 반복적인 GPU(Graphics Processing Unit) 및 CPU 상의 연산을 통해 최적화될 수 있다. 실시예의 딥러닝 알고리즘은 분류(classification) 알고리즘일 수 있다. 예컨대, 출력 값이 0 또는 1로 구분됨으로써 객체의 실존 또는 미실존이 구분될 수 있다. 또는, 실시예의 딥러닝 알고리즘은 출력 값이 복수개인 다중-분류(classification) 알고리즘으로서 구현될 수도 있다.
다른 예로, 상기 분석 모듈(431)에 사용되는 분류 알고리즘 중 히든마코프 모델(HMM)을 이용하는 경우, 수집한 객체 정보 및 외부 환경 정보를 히든마코프 모델(HMM)의 입력 값으로 입력할 수 있다. 즉, 수집한 객체 정보 및 외부 환경 정보를 히든마코프 모델(HMM) 알고리즘 분석에 적용하여 값을 산출할 수 있다.
여기서, 판단 모듈(432)은 분석 모듈(431)을 통한 산출 값이 소정의 값 미만일 경우 객체 실존으로 구분하고, 소정의 값 이상일 경우 객체 미실존으로 구분할 수 있다. 또는, 판단 모듈(432)은 전술한 딥러닝 알고리즘을 통한 산출 값(출력 값)이 값이 0 또는 1인 경우 객체 실존(0) 또는 객체 미실존(1)을 판단할 수 있다.
단계(240)에서, 동작 제어부(440)는 객체의 실존 여부를 판단한 결과, 객체 실존으로 구분되는 경우 차량의 운전자에게 충돌 경고 또는 차량 속도 제어를 수행하도록 동작을 제어할 수 있다. 예를 들어 동작 제어부(440)는 객체의 실존 여부의 판단 결과, 객체 실존으로 구분된 경우 실행부를 통해 운전자에게 충돌 경고 또는 차량 속도 제어를 수행하도록 하며, 객체 미실존의 경우 실행부를 실행하지 않을 수 있다.
아래에서는 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법 및 장치의 적용 예시를 설명한다.
현재 문제되고 있는 대표적인 예시인 도로(횡단보도)에 그려진 보행자 이미지의 경우에 대한 의사결정 단계의 예를 살펴본다.
객체 실존 여부 판단부(430)는 객체 정보 수집부(410) 및 외부 환경 정보 수집부(420)로부터 수집된 정보를 바탕으로 객체 실존 여부를 판단할 수 있다. 예를 들어 객체 실존 여부 판단부(430)는 카메라로부터 인식된 객체의 x, y, z 값이 취득되고, 라이다 센서로부터 형태 정보가 취득되지 않으며, 레이더 센서로부터 근거리 객체 정보가 취득되지 않고, 3D 맵 상에서 보행자 이미지 또는 객체(또는 기타 사물) 이미지의 위치 정보가 획득되는 경우, 객체 미실존으로 판단할 수 있다. 따라서, 도로에 2차원으로 그려져 있는 이미지나 기호 등을 객체 실존으로 오인식하여 차량의 잘못된 제어가 이루어지는 경우가 방지될 수 있다.
또한, 현재 문제되고 있는 대표적인 다른 예시인 기상 악화(비, 눈, 햇빛 반사 등)에 따른 전방 차량의 급정지한 경우의 의사결정 단계의 예를 살펴본다.
객체 실존 여부 판단부(430)는 객체 정보 수집부(410) 및 외부 환경 정보 수집부(420)로부터 수집된 정보를 바탕으로 객체 실존 여부를 판단할 수 있다. 예를 들어, 기상 상황 또는 환경에 따라 카메라로부터 인식된 객체의 x, y, z 값이 취득되지 않고, 라이다 센서로부터 형태 정보는 취득되며, 레이더 센서로부터 근거리 객체 정보는 취득되며, V2V 정보로부터 전방에 위치하는 다른 차량(즉, 전방에서 급정지 또는 정지한 다른 차량)의 ID 정보를 획득하는 경우, 객체 실존으로 판단할 수 있다. 이 때, 객체의 실존은 상기 다른 차량의 전방 급정지로 판단될 수 있다. 따라서, 기상 상태 등에 의해 전방의 차량이 카메라나 센서를 통해 용이하게 인식될 수 없는 경우에도 전방 차량의 존재 여부나 급정지 여부가 정확하게 인식될 수 있고, 오인식에 따른 차량의 잘못된 제어가 이루어지는 경우가 방지될 수 있다.
이상과 같이, 실시예들에 따르면 첨단 안전 차량 및 지능형 차량의 시스템에 활용되는 경우 객체의 실존 여부에 따른 안전 주행 및 경고 정보 제공이 가능하며, 시스템 개발에 따른 객체의 실존 여부 판단 알고리즘 추가 시, 보다 정확한 정보 제공으로 실존하지 않는 객체에 대하여 급제동 등의 자동차 자체의 제어가 발생함으로 인한 사고 시나리오를 제거함으로써 사용자의 안전을 향상시킬 수 있는 효과가 있다.
추가적으로, 실시예들에 따르면 불필요한 정보 제공에 의한 운전 방해 요인을 줄임으로써 좀 더 효율적인 경고 정보를 제공할 수 있는 효과도 있다.
실시예는 차량 전방의 객체의 존재 여부를 판단하는 것을 중심으로 작성되었으나, 유사한 기술적 특징은 차량의 측면이나 후방의 객체의 존재 여부를 판단하는 것에 대해서도 유사하게 적용될 수 있다. 이에 관해 중복되는 설명은 생략한다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (12)
- 컴퓨터 시스템으로 구성되는 객체의 실존 여부를 판단하는 장치에 의해 수행되는 객체의 실존 여부를 판단하는 방법에 있어서,
차량에 탑재된 객체 인식 장비로부터 상기 차량의 전방에 위치하는 객체 정보를 획득하는 단계;
V2I (Vehicle to Infrastructure) 통신에 기반하여, 상기 차량 외부의 지능형 교통 체계(Intelligent Transport System, ITS)로부터 상기 차량의 주변에 대한 외부 환경 정보를 수신하는 단계; 및
상기 객체 인식 장비로부터 수집된 상기 객체 정보 및 상기 지능형 교통 체계로부터 수집된 상기 외부 환경 정보를 이용하여 상기 차량의 전방에 대한 객체의 실존 여부를 판단하는 단계
를 포함하고,
상기 지능형 교통 체계로부터 수신하는 상기 외부 환경 정보는,
디지털 지도 또는 지도화(mapping) 시스템에 따른 도로 환경 및 도로 내 설치물에 관한 정보 및 날씨에 관한 정보를 포함하고,
상기 도로 환경 및 도로 내 설치물에 관한 정보에 기반하여 상기 차량의 내부에 저장된 3D 맵이 업데이트되고,
상기 객체 인식 장비로부터 획득하는 상기 객체 정보는,
카메라, 라이다(Lidar) 센서 및 레이더(Radar) 센서를 통해 수집되는 정보를 포함하고,
상기 객체의 실존 여부를 판단하는 단계는,
제1 객체에 대해, 상기 카메라로부터 상기 제1 객체가 인식되어 상기 제1 객체의 x, y, z 값이 취득되었으나, 상기 라이다 센서로부터 상기 제1 객체에 대한 형태 정보가 취득되지 않고, 상기 레이더 센서로부터 상기 제1 객체에 대한 근거리 객체 정보가 취득되지 않으며, 상기 업데이트된 3D 맵 상에서 도로 상에 그려진 보행자 이미지 또는 상기 제1 객체의 이미지가 존재하는 경우, 상기 제1 객체를 객체 미실존으로 판단하고,
제2 객체에 대해, 상기 카메라로부터 상기 제2 객체의 x, y, z 값이 취득되지 않더라도, 상기 라이다 센서로부터 상기 제2 객체에 대한 형태 정보가 취득되며, 상기 레이더 센서로부터 상기 제2 객체에 대한 근거리 객체 정보가 취득되며, V2V (Vehicle to Vehicle) 통신에 기반하여, 상기 차량의 전방에 위치하는 다른 차량의 ID 정보가 획득되는 경우에는, 상기 제2 객체를 객체 실존으로 판단하고,
상기 제2 객체의 실존은 상기 다른 차량의 전방 급정지로 판단되는, 객체의 실존 여부를 판단하는 방법. - 삭제
- 삭제
- 제1항에 있어서,
상기 객체 정보 및 상기 외부 환경 정보를 이용하여 객체의 실존 여부를 판단하는 단계는,
상기 객체 인식 장비로부터 수집된 상기 객체 정보 및 상기 지능형 교통 체계로부터 수집된 상기 외부 환경 정보를 분류 알고리즘의 분석을 통해 값을 산출하는 단계; 및
상기 분류 알고리즘의 분석을 통한 산출 값을 기반으로 상기 객체의 실존 여부를 판단하는 단계
를 포함하는, 객체의 실존 여부를 판단하는 방법. - 제4항에 있어서,
상기 분류 알고리즘의 분석을 통해 값을 산출하는 단계는,
딥러닝(Deep Learning) 모델, 랜덤포레스트(Random Forest) 모델, 히든마코프 모델(Hidden Markov Model, HMM), 머신러닝(Machine Learning) 모델, 앙상블(Ensemble) 모델, 로지스틱 회귀분석(Logistic Regression) 모델, 프로비트(Probit) 모델 및 의사결정나무(Decision Tree) 모델 중 적어도 어느 하나 이상의 모델을 이용하며, 상기 모델에 상기 객체 인식 장비로부터 수집된 상기 객체 정보 및 상기 지능형 교통 체계로부터 수집된 상기 외부 환경 정보를 입력하여 객체의 실존 여부를 판단 가능한 산출 값을 출력하는 것
을 특징으로 하는, 객체의 실존 여부를 판단하는 방법. - 제4항에 있어서,
상기 분류 알고리즘의 분석을 통한 산출 값을 기반으로 상기 객체의 실존 여부를 판단하는 단계는,
상기 분류 알고리즘의 분석을 통한 산출 값이 기설정된 특정 값 미만일 경우 객체 실존으로 구분하고, 특정 값 이상일 경우 객체 미실존으로 구분하는 것
을 특징으로 하는, 객체의 실존 여부를 판단하는 방법. - 삭제
- 삭제
- 제1항에 있어서,
상기 객체의 실존 여부를 판단한 결과, 객체 실존으로 구분되는 경우 상기 차량의 운전자에게 충돌 경고 또는 차량 속도 제어를 수행하도록 동작을 제어하는 단계
를 더 포함하는, 객체의 실존 여부를 판단하는 방법. - 차량에 탑재된 객체 인식 장비로부터 상기 차량의 전방에 위치하는 객체 정보를 획득하는 객체 정보 수집부;
V2I (Vehicle to Infrastructure) 통신에 기반하여, 상기 차량 외부의 지능형 교통 체계(Intelligent Transport System, ITS)로부터 상기 차량의 주변에 대한 외부 환경 정보를 수신하는 외부 환경 정보 수집부; 및
상기 객체 인식 장비로부터 수집된 상기 객체 정보 및 상기 지능형 교통 체계로부터 수집된 상기 외부 환경 정보를 이용하여 상기 차량의 전방에 대한 객체의 실존 여부를 판단하는 객체 실존 여부 판단부
를 포함하고,
상기 지능형 교통 체계로부터 수신하는 상기 외부 환경 정보는,
디지털 지도 또는 지도화(mapping) 시스템에 따른 도로 환경 및 도로 내 설치물에 관한 정보 및 날씨에 관한 정보를 포함하고,
상기 도로 환경 및 도로 내 설치물에 관한 정보에 기반하여 상기 차량의 내부에 저장된 3D 맵이 업데이트되고,
상기 객체 인식 장비로부터 획득하는 상기 객체 정보는,
카메라, 라이다(Lidar) 센서 및 레이더(Radar) 센서를 통해 수집되는 정보를 포함하고,
상기 객체 실존 여부 판단부는,
제1 객체에 대해, 상기 카메라로부터 상기 제1 객체가 인식되어 상기 제1 객체의 x, y, z 값이 취득되었으나, 상기 라이다 센서로부터 상기 제1 객체에 대한 형태 정보가 취득되지 않고, 상기 레이더 센서로부터 상기 제1 객체에 대한 근거리 객체 정보가 취득되지 않으며, 상기 업데이트된 3D 맵 상에서 도로 상에 그려진 보행자 이미지 또는 상기 제1 객체의 이미지가 존재하는 경우, 상기 제1 객체를 객체 미실존으로 판단하고,
제2 객체에 대해, 상기 카메라로부터 상기 제2 객체의 x, y, z 값이 취득되지 않더라도, 상기 라이다 센서로부터 상기 제2 객체에 대한 형태 정보가 취득되며, 상기 레이더 센서로부터 상기 제2 객체에 대한 근거리 객체 정보가 취득되며, V2V (Vehicle to Vehicle) 통신에 기반하여, 상기 차량의 전방에 위치하는 다른 차량의 ID 정보가 획득되는 경우에는, 상기 제2 객체를 객체 실존으로 판단하고,
상기 제2 객체의 실존은 상기 다른 차량의 전방 급정지로 판단되는, 객체의 실존 여부를 판단하는 장치. - 제10항에 있어서,
상기 객체 실존 여부 판단부는,
상기 객체 인식 장비로부터 수집된 상기 객체 정보 및 상기 지능형 교통 체계로부터 수집된 상기 외부 환경 정보를 분류 알고리즘의 분석을 통해 값을 산출하는 분석 모듈; 및
상기 분석 모듈을 통한 산출 값을 기반으로 상기 객체의 실존 여부를 판단하는 판단 모듈
을 포함하는, 객체의 실존 여부를 판단하는 장치. - 제10항에 있어서,
상기 객체의 실존 여부를 판단한 결과, 객체 실존으로 구분되는 경우 상기 차량의 운전자에게 충돌 경고 또는 차량 속도 제어를 수행하도록 하는 동작 제어부
를 더 포함하는, 객체의 실존 여부를 판단하는 장치.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190098039A KR102185743B1 (ko) | 2019-08-12 | 2019-08-12 | 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법 및 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190098039A KR102185743B1 (ko) | 2019-08-12 | 2019-08-12 | 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법 및 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102185743B1 true KR102185743B1 (ko) | 2020-12-03 |
Family
ID=73779435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190098039A KR102185743B1 (ko) | 2019-08-12 | 2019-08-12 | 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법 및 장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102185743B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022173880A1 (en) * | 2021-02-10 | 2022-08-18 | Argo AI, LLC | System, method, and computer program product for topological planning in autonomous driving using bounds representations |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05216534A (ja) * | 1992-02-03 | 1993-08-27 | Nissan Motor Co Ltd | 車両用障害物検出装置 |
JP2016224867A (ja) * | 2015-06-03 | 2016-12-28 | 株式会社デンソー | 車載装置 |
KR20180014151A (ko) * | 2018-01-29 | 2018-02-07 | 주식회사 경신 | V2v통신을 이용한 추돌 위험 경고 장치 및 방법 |
KR20180097049A (ko) * | 2017-02-22 | 2018-08-30 | (주)오토팩토리 | 자동차 제동을 위한 인지 및 판단 장치 |
WO2019003533A1 (ja) * | 2017-06-26 | 2019-01-03 | 日立オートモティブシステムズ株式会社 | 駐車支援装置 |
KR20190014429A (ko) | 2017-08-02 | 2019-02-12 | 엘지전자 주식회사 | 자율 주행 시스템 및 차량 |
-
2019
- 2019-08-12 KR KR1020190098039A patent/KR102185743B1/ko active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05216534A (ja) * | 1992-02-03 | 1993-08-27 | Nissan Motor Co Ltd | 車両用障害物検出装置 |
JP2016224867A (ja) * | 2015-06-03 | 2016-12-28 | 株式会社デンソー | 車載装置 |
KR20180097049A (ko) * | 2017-02-22 | 2018-08-30 | (주)오토팩토리 | 자동차 제동을 위한 인지 및 판단 장치 |
WO2019003533A1 (ja) * | 2017-06-26 | 2019-01-03 | 日立オートモティブシステムズ株式会社 | 駐車支援装置 |
KR20190014429A (ko) | 2017-08-02 | 2019-02-12 | 엘지전자 주식회사 | 자율 주행 시스템 및 차량 |
KR20180014151A (ko) * | 2018-01-29 | 2018-02-07 | 주식회사 경신 | V2v통신을 이용한 추돌 위험 경고 장치 및 방법 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022173880A1 (en) * | 2021-02-10 | 2022-08-18 | Argo AI, LLC | System, method, and computer program product for topological planning in autonomous driving using bounds representations |
US11697429B2 (en) | 2021-02-10 | 2023-07-11 | Argo AI, LLC | System, method, and computer program product for topological planning in autonomous driving using bounds representations |
US11964669B2 (en) | 2021-02-10 | 2024-04-23 | Argo AI, LLC | System, method, and computer program product for topological planning in autonomous driving using bounds representations |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107953884B (zh) | 用于自主车辆的行驶控制设备和方法 | |
CN110662683B (zh) | 驾驶辅助装置以及驾驶辅助方法 | |
JP7247042B2 (ja) | 車両制御システム、車両制御方法、及びプログラム | |
KR20180072139A (ko) | 차량 및 그 제어 방법 | |
US20240142607A1 (en) | Information processing device, information processing method, computer program, and mobile device | |
US11858493B2 (en) | Method of sharing and using sensor data | |
EP3985640A1 (en) | Information processing device, information processing method, and program | |
JP7374098B2 (ja) | 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置 | |
US20210394752A1 (en) | Traveling Control Device, Vehicle, and Traveling Control Method | |
US11897458B2 (en) | Collision avoidance apparatus for vehicle | |
US20220383749A1 (en) | Signal processing device, signal processing method, program, and mobile device | |
EP3900994A1 (en) | Vehicle control device, vehicle control method, program, and vehicle | |
WO2022138123A1 (en) | Available parking space identification device, available parking space identification method, and program | |
US20220366175A1 (en) | Long-range object detection, localization, tracking and classification for autonomous vehicles | |
JP7380904B2 (ja) | 情報処理装置、情報処理方法、および、プログラム | |
US20230230368A1 (en) | Information processing apparatus, information processing method, and program | |
CN113291298A (zh) | 车辆的驾驶辅助系统 | |
CN113841100A (zh) | 自主行驶控制设备、自主行驶控制系统和自主行驶控制方法 | |
US20240182052A1 (en) | Driver assistance apparatus and driver assistance method | |
KR102185743B1 (ko) | 차량의 전방에 위치하는 객체의 실존 여부를 판단하는 방법 및 장치 | |
US20220281482A1 (en) | Vehicle control device, vehicle control method, and computer-readable storage medium storing program | |
KR102370876B1 (ko) | 클라우드의 도로 객체 인식을 이용하여 주행 정보를 제공하는 방법 및 장치 | |
US11763675B2 (en) | Information processing apparatus and information processing method | |
CN116901945A (zh) | 驾驶员辅助系统以及驾驶员辅助方法 | |
KR20240086205A (ko) | 주행 보조 시스템 및 주행 보조 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |