KR20230087347A - 사각지대 경보 장치, 시스템 및 방법 - Google Patents

사각지대 경보 장치, 시스템 및 방법 Download PDF

Info

Publication number
KR20230087347A
KR20230087347A KR1020220064343A KR20220064343A KR20230087347A KR 20230087347 A KR20230087347 A KR 20230087347A KR 1020220064343 A KR1020220064343 A KR 1020220064343A KR 20220064343 A KR20220064343 A KR 20220064343A KR 20230087347 A KR20230087347 A KR 20230087347A
Authority
KR
South Korea
Prior art keywords
vehicle
blind spot
spot warning
image
target
Prior art date
Application number
KR1020220064343A
Other languages
English (en)
Inventor
권덕용
홍두일
Original Assignee
주식회사 텔레칩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 텔레칩스 filed Critical 주식회사 텔레칩스
Publication of KR20230087347A publication Critical patent/KR20230087347A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B60K37/02—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0217—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for loud-speakers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1276—Mirror assemblies combined with other articles, e.g. clocks with radio receivers, loud-speakers or buzzers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 개시의 일 실시예에 따라, 컴퓨팅 장치에 의해 수행되는 사각지대 경보 방법으로서, 차량의 카메라를 통해 획득된 영상 내의 객체를 인식하는 단계, 상기 차량의 실시간 주행 정보를 기초로, 상기 차량에 대한 위험 가능성이 있는 객체 클래스를 결정하는 단계, 상기 객체 중 상기 객체 클래스와 대응되는 타겟 객체를 선별하는 단계, 및 상기 타겟 객체 각각에 대한 위험도를 산출하고, 상기 타겟 객체 중 상기 위험도가 임계치 이상인 위험 객체에 대한 경보의 출력을 결정하는 단계를 포함할 수 있다.

Description

사각지대 경보 장치, 시스템 및 방법{BLIND SPOT DETECTION DEVICE, SYSTEM AND METHOD}
본 개시는 사각지대 경보 장치, 시스템 및 방법에 관한 것이다.
종래의 사각지대 감시 방법은 대개 사각지대 감시를 위해, 별도의 분리된 모듈인 차량용 레이더를 사용하도록 구현된다. 구체적으로 종래의 사각지대 감시 방법은 차량에 장착되는 레이더 센서를 이용하여 물체를 감지하여 BSW(Basic Software) 모듈 내에서 장애물 존재 여부를 판단하고, 존재하는 장애물 각각에 대한 거리를 측정하고, 사이드 미러의 인디케이터 및/또는 스피커 사운드를 통해 운전자에게 경보를 표시해주는 시스템으로 구성된다.
그러나 이러한 종래의 사각지대 감시 방법은 레이더를 이용하여 감지할 대상의 속도와 위치를 측정하는데, 이 경우 차량보다 크기가 작은 사물을 인식하지 못하거나, 또는 날씨에 따른 오작동할 가능성이 있다. 나아가 사각지대 감시 장치가 별도의 모듈로서 동작하기 때문에 시스템 구성의 복잡도와 제조 단가가 상승되는 문제가 있다.
이에, 차량에 기본 장착되는 카메라와 연산 처리장치를 이용하여 시스템 복잡성과 제조 단가를 낮추는 한편, 차량의 주행을 고려하여 차량에 위협이 되는 객체에 대해 정확한 사각지대 경보를 제공할 수 있는 기술이 요구된다.
해결하고자 하는 과제는, 차량에 기본 장착되는 카메라와 연산 처리장치를 이용하여, 차량의 사각지대에 존재하고 차량의 주행을 고려하여 위협이 되는 객체에 대해 경보하는 사각지대 경보 장치, 시스템 및 방법을 제공하는 것이다. 상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 사용될 수 있다.
본 발명의 실시예에 따르면, 컴퓨팅 장치에 의해 수행되는 사각지대 경보 방법으로서, 상기 방법은, 차량의 카메라를 통해 획득된 영상 내의 객체를 인식하는 단계, 상기 차량의 실시간 주행 정보를 기초로, 상기 차량에 대한 위험 가능성이 있는 객체 클래스를 결정하는 단계, 상기 객체 중 상기 객체 클래스와 대응되는 타겟 객체를 선별하는 단계, 및 상기 타겟 객체 각각에 대한 위험도를 산출하고, 상기 타겟 객체 중 상기 위험도가 임계치 이상인 위험 객체에 대한 경보의 출력을 결정하는 단계를 포함할 수 있다.
상기 카메라는, 상기 차량에 기본 탑재되며 상기 차량의 주위를 촬영하는 후방 카메라 및 SVM(Surround View Monitoring) 카메라 중 적어도 일부를 포함할 수 있다.
상기 방법은, 획득된 상기 영상의 화질을 개선하는 단계를 더 포함할 수 있다.
상기 실시간 주행 정보는, 상기 차량의 현재 주행 위치, 상기 차량의 현재 주행 속도, 및 상기 차량의 현재 주행 방향 중 적어도 일부를 포함하며, 상기 차량에 관한 GPS, 네비게이션, 및 ECU 중 적어도 하나로부터 획득될 수 있다.
상기 위험 가능성이 있는 객체 클래스는, 상기 차량의 상기 실시간 주행 정보의 값 별로 상기 차량에 위협이 될 가능성이 있는 객체의 클래스를 매칭하여 사전 설정될 수 있다.
상기 타겟 객체를 선별하는 단계는, 상기 영상으로부터 상기 객체 중 상기 타겟 객체가 아닌 객체를 제거하여 타겟 영상을 생성하고, 상기 타겟 영상 내의 상기 타겟 객체에 대한 바운딩 박스(bounding box)를 생성하는 단계를 더 포함할 수 있다.
상기 위험도는, 딥 러닝 기반의 위험도 산출 모델에 상기 타겟 영상을 입력하여 획득되는 상기 타겟 객체의 상기 차량에 대한 상대 거리 정보에 기초하여 산출될 수 있다.
상기 위험도 산출 모델은, 학습용 영상 및 라이다 센서를 이용하여 측정된 상기 학습용 영상 내의 객체와 상기 학습용 영상을 촬영한 카메라 간 거리 값을 적어도 포함하는 어노테이션(annotation) 데이터의 쌍으로 구성되는 학습용 데이터를 사용하여 기 학습될 수 있다.
상기 경보의 출력을 결정하는 단계는, 상기 위험 객체의 위험도에 기초하여, 상기 위험 객체의 위험도와 대응되는 경보 출력 방식을 결정하는 단계, 및 상기 경보 출력 방식을 기초로, 상기 차량의 경보 출력 장치 중 적어도 하나를 통해 상기 차량의 운전자에게 상기 경보를 출력하는 단계를 포함할 수 있다.
상기 경보 출력 장치는, 상기 차량에 기본 탑재된 디스플레이 모니터, 사이드 미러, 및 스피커 중 적어도 하나를 포함할 수 있다.
본 발명의 실시예에 따르면, 컴퓨팅 시스템에 의해 수행되는 사각지대 경보 방법으로서, 상기 방법은, 차량의 카메라에 의해, 상기 차량의 주위 영상을 획득하는 단계, 사각지대 경보 장치에 의해, 상기 차량의 실시간 주행 정보에 기초하여, 상기 차량에 대한 위험 가능성이 있는 객체 클래스를 결정하는 단계, 상기 사각지대 경보 장치에 의해, 상기 객체 중 상기 객체 클래스와 대응되는 타겟 객체를 선별하는 단계, 상기 사각지대 경보 장치에 의해, 상기 타겟 객체 각각에 대해 위험도를 산출하고, 상기 타겟 객체 중 상기 위험도가 임계치 이상인 위험 객체를 결정하는 단계, 및 상기 차량의 경보 출력 장치에 의해, 상기 위험 객체에 관한 경보를 출력하는 단계를 포함할 수 있다.
상기 카메라는, 상기 차량에 기본 탑재되며 상기 차량의 주위를 촬영하는 후방 카메라 및 SVM(Surround View Monitoring) 카메라 중 적어도 일부를 포함하고, 상기 사각지대 경보 장치는, 상기 차량에 기본 탑재되는 NPU (Neural Processing Unit)를 포함할 수 있다.
상기 방법은, 상기 사각지대 경보 장치에 의해, 상기 타겟 객체를 선별하기에 앞서 상기 영상의 화질을 개선하는 단계를 더 포함할 수 있다.
상기 실시간 주행 정보는, 상기 차량의 현재 주행 위치, 상기 차량의 현재 주행 속도, 및 상기 차량의 현재 주행 방향 중 적어도 일부를 포함하며, 상기 차량에 관한 GPS, 네비게이션, 및 ECU 중 적어도 하나로부터 획득될 수 있다.
상기 위험 가능성이 있는 객체 클래스는, 상기 차량의 상기 실시간 주행 정보의 값 별로 상기 차량에 위협이 될 가능성이 있는 객체의 클래스를 매칭하여 사전 설정될 수 있다.
상기 타겟 객체를 선별하는 단계는, 상기 영상으로부터 상기 객체 중 상기 타겟 객체가 아닌 객체를 제거하여 타겟 영상을 생성하고, 상기 타겟 영상 내의 상기 타겟 객체에 대한 바운딩 박스(bounding box)를 생성하는 단계를 더 포함할 수 있다.
상기 위험도는, 딥 러닝 기반의 위험도 산출 모델에 상기 타겟 영상을 입력하여 획득되는 상기 타겟 객체의 상기 차량에 대한 상대 거리 정보에 기초하여 산출될 수 있다.
상기 위험도 산출 모델은, 학습용 영상 및 라이다 센서를 이용하여 측정된 상기 학습용 영상 내의 객체와 상기 학습용 영상을 촬영한 카메라 간 거리 값을 적어도 포함하는 어노테이션(annotation) 데이터의 쌍으로 구성되는 학습용 데이터를 사용하여 기 학습될 수 있다.
상기 위험 객체를 결정하는 단계는, 상기 사각지대 경보 장치에 의해, 상기 위험 객체의 위험도에 기초하여, 상기 위험 객체의 위험도와 대응되는 경보 출력 방식을 결정하는 단계, 및 상기 사각지대 경보 장치에 의해, 결정된 상기 경보 출력 방식을 상기 경보 출력 장치에 전달하는 단계를 더 포함할 수 있다.
상기 경보 출력 장치는, 상기 차량에 기본 탑재된 디스플레이 모니터, 사이드 미러, 및 스피커 중 적어도 하나를 포함할 수 있다.
본 발명의 실시예에 따르면, 차량에 장착된 카메라의 영상을 기초로 사각지대 경보를 제공하므로, 차량 전방위의 객체를 정확하게 인식하여 정확한 사각지대 경보를 제공할 수 있다.
본 발명의 실시예에 따르면, 별도의 BSW 모듈 없이 AP에 구현되어 있는 SVM 시스템을 기초로 사각지대 경보를 제공하므로, 시스템 구성의 복잡성을 완화하고 차량의 제조 단가를 낮출 수 있다.
본 발명의 실시예에 따르면, 차량의 주행 정보를 기초로 차량에 위협이 되는 객체를 필터링한 후 사각지대 경보를 위한 연산을 수행하므로, 불필요한 연산을 줄여 리소스를 저감하고 연산 처리 속도를 향상시킬 수 있다.
도 1은 본 발명의 몇몇 실시예에 따른 사각지대 경보 시스템을 나타낸 블록도이다.
도 2는 본 발명의 몇몇 실시예에 따른 사각지대 경보 방법에 대한 순서도이다.
도 3은 본 개시의 몇몇 실시예에 따른 사각지대 경보 방법을 제공하는 컴퓨팅 장치를 나타낸 블록도이다.
아래에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 네트워크를 구성하는 장치들은 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 개시의 몇몇 실시예에 따른 사각지대 경보 시스템을 나타낸 블록도이다.
도 1을 참조하면, 본 개시에 따른 사각지대 경보 시스템(100)은 카메라(200), 사각지대 경보 장치(300), 및 경보 출력 장치(400)를 포함할 수 있다. 본 개시에 따른 사각지대 경보 장치(300)는 카메라(200) 및 경보 출력 장치(400)와 통신적으로 연결될 수 있으며, 입력부(310), 제어부(320), 및 출력부(330)를 포함할 수 있다.
본 개시에 따른 사각지대 경보 장치(300)의 입력부(310)는, 카메라(200)를 통해 획득된 영상을 수신하고 제어부(320)로 전달할 수 있다.
여기서 카메라(200)는, 차량에 기본 탑재되며 차량의 주위를 촬영하는 하나 이상의 카메라를 포함할 수 있다. 가령 카메라(200)는 후방 카메라, SVM(Surround View Monitoring) 카메라, 전방 카메라, 우측 카메라, 및 좌측 카메라 중 적어도 하나를 포함할 수 있다.
카메라(200)를 통해 획득된 차량 주위의 영상은, MIPI(Mobile Industry Processor Interface) 인터페이스 및 ISP(Image Signal Processor)를 거쳐 프레임 버퍼(frame buffer)로 전달될 수 있다. 프레임 버퍼로 전달된 영상은 제어부(320)로 전달되어, 영상 분석을 통해 영상에 포함된 객체 중 경보를 출력할 적어도 일부의 객체를 결정하게끔 할 수 있다. 이 밖에도 프레임 버퍼로 전달된 영상은 후술할 출력부(330)로 전달되어, 경보 출력 장치(400)를 통해 출력할 경보 영상을 생성하기 위한 프리뷰(preview) 영상으로 사용될 수도 있다.
본 개시에 따른 사각지대 경보 장치(300)의 제어부(320)는, 입력부(310)로부터 전달된 영상 내의 객체를 인식할 수 있고, 차량의 실시간 주행 정보에 기초하여 차량에 대한 위험 가능성이 있는 객체 클래스를 결정할 수 있고, 인식된 객체 중 객체 클래스와 대응되는 타겟 객체를 선별할 수 있으며, 타겟 객체 각각에 대해 산출된 위험도에 기초하여 타겟 객체 중 위험도가 임계치 이상인 위험 객체에 대해 경보를 출력하도록 결정할 수 있다.
여기서 제어부(320)가 영상 내의 객체를 인식하고 타겟 객체 각각에 대한 위험도를 산출하기 위해 딥 러닝 기반 모델이 사용될 수 있다. 이에 따라 본 개시에 따른 제어부(320)는 차량에 기본 탑재되며 인공지능 알고리즘 연산 처리에 특화된 연산 처리장치인 NPU를 사용하여 구현될 수 있다. 다만 이에 한정되는 것은 아니다.
한편 본 개시에 따른 제어부(320)는 입력부(310)로부터 전달된 영상 내의 객체를 인식하기에 앞서, 전달된 영상의 화질을 개선할 수 있다. 가령 제어부(320)는, 전달된 영상에 대해 HDR(High Dynamic Range)을 이용하여 영상의 밝기를 분석하고 각각의 프레임을 여러 밝기의 프레임으로 변환한 다음 합성하여, 최적의 화질의 영상을 생성할 수 있다. 이를 통해 본 개시에 따른 사각지대 경보 시스템(100)은 영상이 촬영된 시각(예를 들어, 야간)이나 환경에 따른 영향을 최소화하고, 저화질의 영상에 대하여도 정확도 높은 사각지대 경보를 제공할 수 있다.
본 개시에 따른 사각지대 경보 장치(300)의 제어부(320)는, 객체 인식부(321), 주행 정보 수집부(322), 객체 선별부(323), 및 위험도 산출부(324)를 포함할 수 있다. 다만 상술한 구성은 사각지대 경보 장치(300)의 제어부(320)를 구현하는 데 필수적인 것은 아니어서, 제어부(320)는 열거된 구성보다 많거나 적은 구성들로 구현될 수 있다. 가령 제어부(320)는 객체를 인식하거나 및/또는 위험도를 산출하기 위한 모델을 학습시키는 학습부(미도시)를 더 포함할 수도 있다.
본 개시에 따른 제어부(320)의 객체 인식부(321)는, 입력부(310)로부터 전달된 영상 내의 객체를 인식할 수 있다. 영상 내의 객체는 차량의 주위에 존재하는 사물일 수 있으며, 가령 차선, 도로 표지판, 차량, 사람, 자전거, 오토바이 등일 수 있다. 객체 인식부(321)는 영상으로부터 이러한 객체를 인식하기 위해, 기 학습된 딥 러닝 기반의 객체 인식 모델을 포함할 수 있다.
객체 인식 모델은 가령 R-CNN(Region based Convolutional Neural Network), CNN, Fast R-CNN, Caster R-CNN, YOLO 등의 알고리즘을 기초로 구현될 수 있으며, 다만 이에 한정되는 것은 아니고 영상으로부터 객체를 인식하기 위해 사용될 수 있는 임의의 알고리즘이 사용될 수 있다. 또한 객체 인식 모델은, 학습용 영상, 그리고 학습용 영상 내의 객체 각각에 대한 객체 종류(즉, 클래스) 및/또는 바운딩 박스(bounding box) 좌표 값을 포함하는 어노테이션(annotation) 데이터의 쌍으로 구성되는 학습용 데이터를 사용하여 학습될 수 있다.
본 개시에 따른 제어부(320)의 주행 정보 수집부(322)는, 차량의 주행 위치, 차량의 주행 속도, 및 차량의 주행 방향 중 적어도 일부를 포함하는 차량의 실시간 주행 정보를 수집할 수 있다. 이와 같은 주행 정보를 수집하기 위해, 주행 정보 수집부(322)는 차량에 관한 GPS, 네비게이션, 및 ECU 중 적어도 하나에 통신적으로 연결될 수 있다.
가령 차량의 주행 위치는 차량과 통신적으로 연결된 GPS 및 네비게이션으로부터 획득될 수 있으며, 차량의 주행 속도는 차량에 탑재된 ECU의 속도 데이터로부터 획득될 수 있고, 마찬가지로 차량의 주행 방향은 차량에 탑재된 ECU의 기어모드 데이터로부터 획득될 수 있다. 다만 이에 한정되는 것은 아니다.
본 개시에 따른 제어부(320)의 객체 선별부(323)는, 수집된 실시간 주행정보를 기초로, 차량에 대한 위험 가능성이 있는 객체 클래스를 결정할 수 있고, 객체 인식부(321)에서 인식된 객체들 중 결정된 객체 클래스와 대응되는 타겟 객체를 선별할 수 있다.
여기서 위험 가능성이 있는 객체 클래스는, 차량의 실시간 주행 상태를 고려할 때 차량에 위협이 될 가능성이 있어 영상으로부터 검출할 필요가 있는 객체의 종류를 의미할 수 있다. 예컨대 위험 가능성이 있는 객체 클래스는, 하기의 표 1과 같이 차량의 주행 정보 별로 대응되는 객체 클래스를 매칭한 규칙(rule) 형태로 설정될 수 있다. 다만 이에 한정되는 것은 아니다.
주행 위치 주행 속도 주행 방향 위험 가능성이 있는 객체 클래스
고속도로
차량 전용도로		 고속 (80km/h 이상) 전진 차선, 차량
후진 일정 크기 이상의 도로 위의 모든 객체
저속 (80km/h 이하) 전진 차선, 차량
후진 일정 크기 이상의 도로 위의 모든 객체
일반도로 고속 (40km/h 이상) 전진 차선, 차량, 오토바이, 자전거
후진 일정 크기 이상의 도로 위의 모든 객체
저속 (40km/h 이하) 전진 차선, 차량, 오토바이, 자전거
후진 일정 크기 이상의 도로 위의 모든 객체
주택가
이면도로		 고속 (30km/h 이상) 전진 차선, 차량, 오토바이, 자전거
후진 일정 크기 이상의 도로 위의 모든 객체
저속 (30km/h 이하) 전진 일정 크기 이상의 도로 위의 모든 객체
후진 일정 크기 이상의 도로 위의 모든 객체
상기 표 1을 참고하면, 예컨대 차량이 동네 주택가에서 저속으로 전진하는 경우, 차량 이외에도 오토바이, 자전거, 사람, 동물 등 도로 위의 모든 객체가 차량에 위협이 될 가능성이 있으므로, 영상으로부터 인식되는 모든 객체를 타겟 객체로 선별할 필요가 있다.
이와 대조적으로 예컨대 차량이 차량 이외의 이동 객체가 진입할 수 없는 고속도로에서 고속으로 전진하는 경우, 차선과 다른 차량들 이외에는 차량에 위협이 될 가능성이 있는 객체가 존재하지 않을 것이다. 이에 따라, 영상으로부터 인식되는 객체들 중 클래스가 차선 및/또는 차량인 객체들만을 타겟 객체로 선별할 수 있다.
본 개시에 따른 객체 선별부(323)는, 입력부(310)로부터 전달된 영상에서 차량에 대한 위험 가능성이 없는 객체 클래스와 대응되는 객체를 제거여 타겟 영상을 생성할 수 있고, 타겟 영상 내에 잔여하는 객체(즉, 타겟 객체)에 대하여만 바운딩 박스를 생성할 수 있다.
이를 통해 객체 인식 모델의 인식 오류(예를 들어, 주행 위치가 고속도로인 차량의 카메라 영상에서 자전거 객체가 인식되는 경우 등)를 필터링하여 사각지대 경보의 정확도를 높일 수 있으며, 나아가 영상 내에 존재하는 방대한 양의 객체들 중 차량의 현재 주행 상태에서 위협이 되는 객체만을 선별하므로, 궁극적으로 사각지대 경보를 제공하기 위해 필요한 연산의 양, 리소스, 및 처리 소요시간을 줄일 수 있다.
본 개시에 따른 제어부(320)의 위험도 산출부(324)는, 타겟 객체 각각에 대한 위험도를 산출할 수 있으며, 산출된 위험도가 임계치 이상인 위험 객체에 대한 정보를 출력부(330)로 전달하여 경보를 출력하게끔 할 수 있다. 위험도 산출부(324)는 타겟 객체 각각에 대해 위험도를 산출하기 위해, 기 학습된 딥 러닝 기반의 위험도 산출 모델을 포함할 수 있다.
구체적으로 위험도는, 위험도 산출 모델에 타겟 영상을 입력하여 획득되는 타겟 객체의 차량에 대한 상대 거리 정보에 기초하여 산출될 수 있다. 즉, 본 개시에 따르면 영상 내에 존재하는 방대한 양의 객체들 중 차량의 현재 주행 상태에서 위협이 되는 객체들에 대하여만 위험도를 산출하므로, 사각지대 경보를 제공하기 위해 필요한 연산의 양, 리소스, 및 처리 소요시간을 줄일 수 있다.
한편 위험도는, 하기의 표 2와 같이 타겟 객체의 차량에 대한 상대 거리 값에 따라 구분되는 복수의 위험도 구간 중 어느 하나로 결정될 수 있다. 다만 이에 한정되는 것은 아니다.
위험도 상대 거리
상 좌우 3m * 후방 5m 이내
중 좌우 3m * 후방 10m 이내
하 좌우 3m * 후방 30m 이내
일반 좌우 3m * 후방 30m 이상
위험도 산출 모델은 상술한 객체 인식 모델에 사용되는 알고리즘을 기반으로 구현될 수 있다. 위험도 산출 모델은 가령 R-CNN(Region based Convolutional Neural Network), CNN, Fast R-CNN, Caster R-CNN, YOLO 등의 알고리즘을 기초로 구현될 수 있으며, 다만 이에 한정되는 것은 아니고 영상으로부터 객체를 인식하기 위해 사용될 수 있는 임의의 알고리즘이 사용될 수 있다.
특히 본 개시에 따른 위험도 산출 모델은, 일반적인 객체 인식 모델과는 달리 타겟 객체의 차량에 대한 상대 거리 정보를 획득할 필요가 있는 바, 학습용 영상, 그리고 학습용 영상 내의 객체와 학습용 영상을 촬영한 카메라 간 거리 값을 적어도 포함하는 어노테이션 데이터의 쌍으로 구성되는 학습용 데이터를 사용하여 학습될 수 있다. 여기서 학습용 영상 내의 객체와 학습용 영상을 촬영한 카메라 간 거리 값은, 예컨대 라이다 센서를 이용하여 측정된 값일 수 있다.
본 개시에 따른 사각지대 경보 장치(300)의 출력부(330)는, 위험도 산출부(324)에서 타겟 객체 별로 산출된 위험도 값을 기초로, 타겟 객체 별 경보 출력 여부 및 경보 출력 방식 중 적어도 하나를 결정할 수 있다. 가령 출력부(330)는, 타겟 객체 중 위험도 값이 임계치 이상인 타겟 객체(즉, 위험 객체)에 대하여는 경보를 출력하도록 결정하고, 반대로 위험도 값이 임계치 미만인 타겟 객체에 대하여는 경보를 출력하지 않도록 결정할 수 있다.
또한 본 개시에 따른 출력부(330)는 경보를 출력할 위험 객체에 대한 경보 출력 방식을 결정하고 이를 경보 출력 장치(400)로 전송하여, 차량의 운전자에게 경보를 출력하게끔 할 수 있다. 여기서 경보 출력 장치(400)는, 차량에 기본 탑재되는 하나 이상의 출력 장치일 수 있으며, 예를 들어 디스플레이 모니터, 사이드 미러, 스피커 중 적어도 하나를 포함할 수 있다.
타겟 객체 별 경보 출력 여부 및 경보 출력 방식은, 타겟 객체 별 위험도 값에 따라 하기의 표 3과 같이 위험도 구간 각각에 대해 사전 설정된 값 중 어느 하나로 결정될 수 있다. 다만 표 3의 내용으로 한정되지 않으며, 가령 경보 출력 방식은 차량에 탑재된 임의의 경보 출력 장치(400)를 사용하여 차량의 운전자가 위험을 인식할 수 있는 임의의 방식을 통해 출력되도록 설정될 수 있다.
위험도 경보 정보
상 § 디스플레이 모니터에 위험 객체의 바운딩 박스 표시
§ 사이드 미러에 경 고등 표시
§ 경고 사운드 1회 출력
중 § 디스플레이 모니터에 위험 객체의 바운딩 박스 표시§ 사이드 미러에 경고등 표시
§ 경고 사운드 2회 출력
하 § 디스플레이 모니터에 위험 객체의 바운딩 박스 표시§ 사이드 미러에 경고등 표시
일반 § 경보 없음
상기 표 3을 참고하면, 예컨대 특정 위험 객체의 위험도가 ‘중’인 경우, 출력부(330)는 프레임 버퍼로부터 전달된 영상을 프리뷰 영상으로 하고 위험 객체를 지시하는 그래픽(예를 들어, 바운딩 박스나 아이콘 등)을 프리뷰 영상 위에 오버레이한 경보 영상이 디스플레이 모니터에 출력되도록 제어할 수 있다.
또한 출력부(330)는 I2C(Inter-Integrated Circuit) 또는 UART(Universal Asynchronous Receiver / Transmitter)를 통해 사이드 미러의 경고등이 점등되도록 제어할 수 있으며, 동시에 I2S(Integrated Interchip Sound)를 통해 기 저장된 경고음이 1회 출력되도록 스피커를 제어할 수 있다.
도 2는 본 개시의 몇몇 실시예에 따른 사각지대 경보 방법에 대한 순서도이다.
도 2를 참조하면, 본 개시의 사각지대 경보 장치(300)는, 먼저 차량의 카메라를 통해 획득된 영상 내의 객체를 인식할 수 있다(S110).
구체적으로 본 개시에 따른 사각지대 경보 장치(300)는, 카메라(200)를 통해 획득된 영상을 수신하고, 영상 내의 객체를 인식할 수 있다. 여기서 카메라(200)는, 차량에 기본 탑재되며 차량의 주위를 촬영하는 하나 이상의 카메라를 포함할 수 있다. 가령 카메라(200)는 후방 카메라, SVM(Surround View Monitoring) 카메라, 전방 카메라, 우측 카메라, 및 좌측 카메라 중 적어도 하나를 포함할 수 있다.
카메라(200)를 통해 획득된 차량 주위의 영상은, MIPI(Mobile Industry Processor Interface) 인터페이스 및 ISP(Image Signal Processor)를 거쳐 프레임 버퍼(frame buffer)로 전달될 수 있다. 프레임 버퍼로 전달된 영상은 제어부(320)로 전달되어, 영상 분석을 통해 영상에 포함된 객체 중 경보를 출력할 적어도 일부의 객체를 결정하게끔 할 수 있다. 이 밖에도 프레임 버퍼로 전달된 영상은 후술할 출력부(330)로 전달되어, 경보 출력 장치(400)를 통해 출력할 경보 영상을 생성하기 위한 프리뷰(preview) 영상으로 사용될 수도 있다.
한편 본 개시에 따른 사각지대 경보 장치(300)는 영상 내의 객체를 인식하기에 앞서, 전달된 영상의 화질을 개선할 수 있다. 가령 사각지대 경보 장치(300)는, 전달된 영상에 대해 HDR(High Dynamic Range)을 이용하여 영상의 밝기를 분석하고 각각의 프레임을 여러 밝기의 프레임으로 변환한 다음 합성하여, 최적의 화질의 영상을 생성할 수 있다. 이를 통해 본 개시에 따른 사각지대 경보 시스템(100)은 영상이 촬영된 시각(예를 들어, 야간)이나 환경에 따른 영향을 최소화하고, 저화질의 영상에 대하여도 정확도 높은 사각지대 경보를 제공할 수 있다.
본 개시에 따른 사각지대 경보 장치(300)는, 카메라(200)로부터 전달된 영상 내의 객체를 인식할 수 있다. 영상 내의 객체는 차량의 주위에 존재하는 사물일 수 있으며, 가령 차선, 도로 표지판, 차량, 사람, 자전거, 오토바이 등일 수 있다. 사각지대 경보 장치(300)는, 영상으로부터 이러한 객체를 인식하기 위해, 기 학습된 딥 러닝 기반의 객체 인식 모델을 포함할 수 있다.
객체 인식 모델은 가령 R-CNN(Region based Convolutional Neural Network), CNN, Fast R-CNN, Caster R-CNN, YOLO 등의 알고리즘을 기초로 구현될 수 있으며, 다만 이에 한정되는 것은 아니고 영상으로부터 객체를 인식하기 위해 사용될 수 있는 임의의 알고리즘이 사용될 수 있다. 또한 객체 인식 모델은, 학습용 영상, 그리고 학습용 영상 내의 객체 각각에 대한 객체 종류(즉, 클래스) 및/또는 바운딩 박스(bounding box) 좌표 값을 포함하는 어노테이션(annotation) 데이터의 쌍으로 구성되는 학습용 데이터를 사용하여 학습될 수 있다.
다음으로 본 개시의 사각지대 경보 장치(300)는, 차량의 실시간 주행 정보를 기초로, 차량에 대한 위험 가능성이 있는 객체 클래스를 결정할 수 있다(S120).
차량의 실시간 주행 정보는, 차량의 주행 위치, 차량의 주행 속도, 및 차량의 주행 방향 중 적어도 일부를 포함할 수 있다. 이와 같은 주행 정보를 수집하기 위해, 사각지대 경보 장치(300)는 차량에 관한 GPS, 네비게이션, 및 ECU 중 적어도 하나에 통신적으로 연결될 수 있다.
가령 차량의 주행 위치는 차량과 통신적으로 연결된 GPS 및 네비게이션으로부터 획득될 수 있으며, 차량의 주행 속도는 차량에 탑재된 ECU의 속도 데이터로부터 획득될 수 있고, 마찬가지로 차량의 주행 방향은 차량에 탑재된 ECU의 기어모드 데이터로부터 획득될 수 있다. 다만 이에 한정되는 것은 아니다.
본 개시에 따른 사각지대 경보 장치(300)는, 수집된 실시간 주행정보를 기초로, 차량에 대한 위험 가능성이 있는 객체 클래스를 결정할 수 있다. 여기서 위험 가능성이 있는 객체 클래스는, 차량의 실시간 주행 상태를 고려할 때 차량에 위협이 될 가능성이 있어 영상으로부터 검출할 필요가 있는 객체의 종류를 의미할 수 있다. 예컨대 위험 가능성이 있는 객체 클래스는, 표 1과 같이 차량의 주행 정보 별로 대응되는 객체 클래스를 매칭한 규칙 형태로 설정될 수 있다.
다음으로 본 개시의 사각지대 경보 장치(300)는, 영상으로부터 인식된 객체 중 객체 클래스와 대응되는 타겟 객체를 선별할 수 있다(S130).
구체적으로 본 개시에 따른 사각지대 경보 장치(300)는, 영상으로부터 인식된 객체 중, 차량의 실시간 주행 상태를 고려할 때 위험 가능성이 있는 객체 클래스의 객체들을 타겟 객체로 선별할 수 있다. 또한 본 개시에 따른 사각지대 경보 장치(300)는, 카메라(200)로부터 전달된 영상에서 차량에 대한 위험 가능성이 없는 객체 클래스와 대응되는 객체를 제거여 타겟 영상을 생성할 수 있고, 타겟 영상 내에 잔여하는 객체(즉, 타겟 객체)에 대하여만 바운딩 박스를 생성할 수 있다.
이를 통해 객체 인식 모델의 인식 오류(예를 들어, 주행 위치가 고속도로인 차량의 카메라 영상에서 자전거 객체가 인식되는 경우 등)를 필터링하여 사각지대 경보의 정확도를 높일 수 있으며, 나아가 영상 내에 존재하는 방대한 양의 객체들 중 차량의 현재 주행 상태에서 위협이 되는 객체만을 선별하므로, 궁극적으로 사각지대 경보를 제공하기 위해 필요한 연산의 양, 리소스, 및 처리 소요시간을 줄일 수 있다.
다음으로 본 개시의 사각지대 경보 장치(300)는, 타겟 객체 각각에 대해 산출된 위험도에 기초하여, 타겟 객체 중 위험도가 임계치 이상인 위험 객체에 대한 경보를 출력할 수 있다(S140).
본 개시에 따른 사각지대 경보 장치(300)는, 타겟 객체 각각에 대한 위험도를 산출할 수 있으며, 산출된 위험도가 임계치 이상인 위험 객체에 대한 정보를 경보 출력 장치(400)로 전달하여 경보를 출력하게끔 할 수 있다. 사각지대 경보 장치(300)는 타겟 객체 각각에 대해 위험도를 산출하기 위해, 기 학습된 딥 러닝 기반의 위험도 산출 모델을 포함할 수 있다.
구체적으로 위험도는, 위험도 산출 모델에 타겟 영상을 입력하여 획득되는 타겟 객체의 차량에 대한 상대 거리 정보에 기초하여 산출될 수 있다. 즉, 본 개시에 따르면 영상 내에 존재하는 방대한 양의 객체들 중 차량의 현재 주행 상태에서 위협이 되는 객체들에 대하여만 위험도를 산출하므로, 사각지대 경보를 제공하기 위해 필요한 연산의 양, 리소스, 및 처리 소요시간을 줄일 수 있다.
한편 위험도는, 표 2와 같이 타겟 객체의 차량에 대한 상대 거리 값에 따라 구분되는 복수의 위험도 구간 중 어느 하나로 결정될 수 있다. 다만 이에 한정되는 것은 아니다.
위험도 산출 모델은 상술한 객체 인식 모델에 사용되는 알고리즘을 기반으로 구현될 수 있다. 위험도 산출 모델은 가령 R-CNN(Region based Convolutional Neural Network), CNN, Fast R-CNN, Caster R-CNN, YOLO 등의 알고리즘을 기초로 구현될 수 있으며, 다만 이에 한정되는 것은 아니고 영상으로부터 객체를 인식하기 위해 사용될 수 있는 임의의 알고리즘이 사용될 수 있다.
특히 본 개시에 따른 위험도 산출 모델은, 일반적인 객체 인식 모델과는 달리 타겟 객체의 차량에 대한 상대 거리 정보를 획득할 필요가 있는 바, 학습용 영상, 그리고 학습용 영상 내의 객체와 학습용 영상을 촬영한 카메라 간 거리 값을 적어도 포함하는 어노테이션 데이터의 쌍으로 구성되는 학습용 데이터를 사용하여 학습될 수 있다. 여기서 학습용 영상 내의 객체와 학습용 영상을 촬영한 카메라 간 거리 값은, 예컨대 라이다 센서를 이용하여 측정된 값일 수 있다.
본 개시에 따른 사각지대 경보 장치(300)는, 앞서 타겟 객체 별로 산출된 위험도 값을 기초로, 타겟 객체 별 경보 출력 여부 및 경보 출력 방식 중 적어도 하나를 결정할 수 있다. 가령 사각지대 경보 장치(300)는, 타겟 객체 중 위험도 값이 임계치 이상인 타겟 객체(즉, 위험 객체)에 대하여는 경보를 출력하도록 결정하고, 반대로 위험도 값이 임계치 미만인 타겟 객체에 대하여는 경보를 출력하지 않도록 결정할 수 있다.
또한 사각지대 경보 장치(300)는 경보를 출력할 위험 객체에 대한 경보 출력 방식을 결정하고 이를 경보 출력 장치(400)로 전송하여, 차량의 운전자에게 경보를 출력하게끔 할 수 있다. 여기서 경보 출력 장치(400)는, 차량에 기본 탑재되는 하나 이상의 출력 장치일 수 있으며, 예를 들어 디스플레이 모니터, 사이드 미러, 스피커 중 적어도 하나를 포함할 수 있다.
타겟 객체 별 경보 출력 여부 및 경보 출력 방식은, 타겟 객체 별 위험도 값에 따라 표 3과 같이 위험도 구간 각각에 대해 사전 설정된 값 중 어느 하나로 결정될 수 있다. 다만 표 3의 내용으로 한정되지 않으며, 가령 경보 출력 방식은 차량에 탑재된 임의의 경보 출력 장치(400)를 사용하여 차량의 운전자가 위험을 인식할 수 있는 임의의 방식을 통해 출력되도록 설정될 수 있다.
도 3은 본 개시의 몇몇 실시예에 따른 사각지대 경보 방법을 제공하는 컴퓨팅 장치를 나타낸 블록도이다.
여기서 사각지대 경보 방법을 제공하는 컴퓨팅 장치(10)는, 전술한 사각지대 경보 장치(300)이거나, 또는 사각지대 경보 방법을 제공하기 위해 사각지대 경보 장치(300)와 통신적으로 연결되는 카메라(200), 경보 출력 장치(400), 또는 그 밖의 사용자 단말(미도시)일 수도 있다. 다만 이에 한정되는 것은 아니다.
도 3을 참조하면, 본 개시에 따른 컴퓨팅 장치(10)는 하나 이상의 프로세서(11), 프로세서(11)에 의하여 수행되는 프로그램을 로드하는 메모리(12), 프로그램 및 각종 데이터를 저장하는 스토리지(13), 및 통신 인터페이스(14)를 포함할 수 있다. 다만, 상술한 구성 요소들은 본 개시에 따른 컴퓨팅 장치(10)를 구현하는데 있어서 필수적인 것은 아니어서, 컴퓨팅 장치(10)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다. 예컨대 컴퓨팅 장치(10)는 출력부 및/또는 입력부(미도시)를 더 포함하거나, 또는 스토리지(13)가 생략될 수도 있다.
프로그램은 메모리(12)에 로드될 때 프로세서(11)로 하여금 본 개시의 다양한 실시예에 따른 방법/동작을 수행하게끔 하는 명령어들(instructions)을 포함할 수 있다. 즉, 프로세서(11)는 명령어들을 실행함으로써, 본 개시의 다양한 실시예에 따른 방법/동작들을 수행할 수 있다. 프로그램은 기능을 기준으로 묶인 일련의 컴퓨터 판독가능 명령어들로 구성되고, 프로세서에 의해 실행되는 것을 가리킨다.
프로세서(11)는 컴퓨팅 장치(10)의 각 구성의 전반적인 동작을 제어한다. 프로세서(11)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(11)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다.
메모리(12)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(12)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위하여 스토리지(13)로부터 하나 이상의 프로그램을 로드할 수 있다. 메모리(12)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위는 이에 한정되지 않는다.
스토리지(13)는 프로그램을 비임시적으로 저장할 수 있다. 스토리지(13)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다. 통신 인터페이스(14)는 유/무선 통신 모듈일 수 있다.
이상에서 설명한 본 개시의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 개시의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 개시의 실시예에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 개시의 권리범위에 속하는 것이다.

Claims (20)

  1. 컴퓨팅 장치에 의해 수행되는 사각지대 경보 방법으로서,
    차량의 카메라를 통해 획득된 영상 내의 객체를 인식하는 단계,
    상기 차량의 실시간 주행 정보를 기초로, 상기 차량에 대한 위험 가능성이 있는 객체 클래스를 결정하는 단계,
    상기 객체 중 상기 객체 클래스와 대응되는 타겟 객체를 선별하는 단계, 및
    상기 타겟 객체 각각에 대한 위험도를 산출하고, 상기 타겟 객체 중 상기 위험도가 임계치 이상인 위험 객체에 대한 경보의 출력을 결정하는 단계를 포함하는,
    사각지대 경보 방법.
  2. 제 1항에서,
    상기 카메라는,
    상기 차량에 기본 탑재되며 상기 차량의 주위를 촬영하는 후방 카메라 및 SVM(Surround View Monitoring) 카메라 중 적어도 일부를 포함하는,
    사각지대 경보 방법.
  3. 제 1항에서,
    상기 방법은,
    획득된 상기 영상의 화질을 개선하는 단계를 더 포함하는,
    사각지대 경보 방법.
  4. 제 1항에서,
    상기 실시간 주행 정보는,
    상기 차량의 현재 주행 위치, 상기 차량의 현재 주행 속도, 및 상기 차량의 현재 주행 방향 중 적어도 일부를 포함하며, 상기 차량에 관한 GPS, 네비게이션, 및 ECU 중 적어도 하나로부터 획득되는,
    사각지대 경보 방법.
  5. 제 1항에서,
    상기 위험 가능성이 있는 객체 클래스는,
    상기 차량의 상기 실시간 주행 정보의 값 별로 상기 차량에 위협이 될 가능성이 있는 객체의 클래스를 매칭하여 사전 설정되는,
    사각지대 경보 방법.
  6. 제 1항에서,
    상기 타겟 객체를 선별하는 단계는,
    상기 영상으로부터 상기 객체 중 상기 타겟 객체가 아닌 객체를 제거하여 타겟 영상을 생성하고, 상기 타겟 영상 내의 상기 타겟 객체에 대한 바운딩 박스(bounding box)를 생성하는 단계를 더 포함하고,
    사각지대 경보 방법.
  7. 제 1항에서,
    상기 위험도는,
    딥 러닝 기반의 위험도 산출 모델에 상기 타겟 영상을 입력하여 획득되는 상기 타겟 객체의 상기 차량에 대한 상대 거리 정보에 기초하여 산출되는,
    사각지대 경보 방법.
  8. 제 1항에서,
    상기 위험도 산출 모델은,
    학습용 영상 및 라이다 센서를 이용하여 측정된 상기 학습용 영상 내의 객체와 상기 학습용 영상을 촬영한 카메라 간 거리 값을 적어도 포함하는 어노테이션(annotation) 데이터의 쌍으로 구성되는 학습용 데이터를 사용하여 기 학습되는,
    사각지대 경보 방법.
  9. 제 1항에서,
    상기 경보의 출력을 결정하는 단계는,
    상기 위험 객체의 위험도에 기초하여, 상기 위험 객체의 위험도와 대응되는 경보 출력 방식을 결정하는 단계, 및
    상기 경보 출력 방식을 기초로, 상기 차량의 경보 출력 장치 중 적어도 하나를 통해 상기 차량의 운전자에게 상기 경보를 출력하는 단계를 포함하는,
    사각지대 경보 방법.
  10. 제 9항에서,
    상기 경보 출력 장치는,
    상기 차량에 기본 탑재된 디스플레이 모니터, 사이드 미러, 및 스피커 중 적어도 하나를 포함하는,
    사각지대 경보 방법.
  11. 컴퓨팅 시스템에 의해 수행되는 사각지대 경보 방법으로서,
    차량의 카메라에 의해, 상기 차량의 주위 영상을 획득하는 단계,
    사각지대 경보 장치에 의해, 상기 차량의 실시간 주행 정보에 기초하여, 상기 차량에 대한 위험 가능성이 있는 객체 클래스를 결정하는 단계,
    상기 사각지대 경보 장치에 의해, 상기 객체 중 상기 객체 클래스와 대응되는 타겟 객체를 선별하는 단계,
    상기 사각지대 경보 장치에 의해, 상기 타겟 객체 각각에 대해 위험도를 산출하고, 상기 타겟 객체 중 상기 위험도가 임계치 이상인 위험 객체를 결정하는 단계, 및
    상기 차량의 경보 출력 장치에 의해, 상기 위험 객체에 관한 경보를 출력하는 단계를 포함하는,
    사각지대 경보 방법.
  12. 제 11항에서,
    상기 카메라는,
    상기 차량에 기본 탑재되며 상기 차량의 주위를 촬영하는 후방 카메라 및 SVM(Surround View Monitoring) 카메라 중 적어도 일부를 포함하고,
    상기 사각지대 경보 장치는,
    상기 차량에 기본 탑재되는 NPU (Neural Processing Unit)를 포함하는,
    사각지대 경보 방법.
  13. 제 11항에서,
    상기 방법은,
    상기 사각지대 경보 장치에 의해, 상기 타겟 객체를 선별하기에 앞서 상기 영상의 화질을 개선하는 단계를 더 포함하는,
    사각지대 경보 방법.
  14. 제 11항에서,
    상기 실시간 주행 정보는,
    상기 차량의 현재 주행 위치, 상기 차량의 현재 주행 속도, 및 상기 차량의 현재 주행 방향 중 적어도 일부를 포함하며, 상기 차량에 관한 GPS, 네비게이션, 및 ECU 중 적어도 하나로부터 획득되는,
    사각지대 경보 방법.
  15. 제 11항에서,
    상기 위험 가능성이 있는 객체 클래스는,
    상기 차량의 상기 실시간 주행 정보의 값 별로 상기 차량에 위협이 될 가능성이 있는 객체의 클래스를 매칭하여 사전 설정되는,
    사각지대 경보 방법.
  16. 제 11항에서,
    상기 타겟 객체를 선별하는 단계는,
    상기 영상으로부터 상기 객체 중 상기 타겟 객체가 아닌 객체를 제거하여 타겟 영상을 생성하고, 상기 타겟 영상 내의 상기 타겟 객체에 대한 바운딩 박스(bounding box)를 생성하는 단계를 더 포함하고,
    사각지대 경보 방법.
  17. 제 11항에서,
    상기 위험도는,
    딥 러닝 기반의 위험도 산출 모델에 상기 타겟 영상을 입력하여 획득되는 상기 타겟 객체의 상기 차량에 대한 상대 거리 정보에 기초하여 산출되는,
    사각지대 경보 방법.
  18. 제 11항에서,
    상기 위험도 산출 모델은,
    학습용 영상 및 라이다 센서를 이용하여 측정된 상기 학습용 영상 내의 객체와 상기 학습용 영상을 촬영한 카메라 간 거리 값을 적어도 포함하는 어노테이션(annotation) 데이터의 쌍으로 구성되는 학습용 데이터를 사용하여 기 학습되는,
    사각지대 경보 방법.
  19. 제 11항에서,
    상기 위험 객체를 결정하는 단계는,
    상기 사각지대 경보 장치에 의해, 상기 위험 객체의 위험도에 기초하여, 상기 위험 객체의 위험도와 대응되는 경보 출력 방식을 결정하는 단계, 및
    상기 사각지대 경보 장치에 의해, 결정된 상기 경보 출력 방식을 상기 경보 출력 장치에 전달하는 단계를 더 포함하는,
    사각지대 경보 방법.
  20. 제 19항에서,
    상기 경보 출력 장치는,
    상기 차량에 기본 탑재된 디스플레이 모니터, 사이드 미러, 및 스피커 중 적어도 하나를 포함하는,
    사각지대 경보 방법.
KR1020220064343A 2021-12-08 2022-05-25 사각지대 경보 장치, 시스템 및 방법 KR20230087347A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210174577 2021-12-08
KR20210174577 2021-12-08

Publications (1)

Publication Number Publication Date
KR20230087347A true KR20230087347A (ko) 2023-06-16

Family

ID=86948544

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220064343A KR20230087347A (ko) 2021-12-08 2022-05-25 사각지대 경보 장치, 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20230087347A (ko)

Similar Documents

Publication Publication Date Title
US11427193B2 (en) Methods and systems for providing depth maps with confidence estimates
JP4914233B2 (ja) 車外監視装置
JP4987573B2 (ja) 車外監視装置
CN112349144B (zh) 一种基于单目视觉的车辆碰撞预警方法及系统
CN102203837B (zh) 车辆周围监测装置
US8175334B2 (en) Vehicle environment recognition apparatus and preceding-vehicle follow-up control system
US20030137593A1 (en) Infrared image-processing apparatus
JP5809751B2 (ja) 対象物認識装置
US11295145B2 (en) Object detection using vehicular vision system
JP2008027309A (ja) 衝突判定システム、及び衝突判定方法
US8643723B2 (en) Lane-marker recognition system with improved recognition-performance
WO2016157698A1 (ja) 車両検出システム、車両検出装置、車両検出方法、及び車両検出プログラム
KR20180065527A (ko) 차량 후측방 경고 장치 및 이를 이용한 경고 방법
CN111985388B (zh) 行人注意力检测驾驶辅助系统、装置和方法
CN114119955A (zh) 一种潜在危险目标检测方法及装置
JP2007128460A (ja) 衝突判定システム、衝突判定方法、コンピュータプログラム及び判定装置
US11919522B2 (en) Apparatus and method for determining state
JP2007087203A (ja) 衝突判定システム、衝突判定方法及びコンピュータプログラム
JP5345992B2 (ja) 車両周辺監視装置
KR20230087347A (ko) 사각지대 경보 장치, 시스템 및 방법
JP2012053663A (ja) 物体種別判定装置
KR20130031713A (ko) 차량용 안전 거리를 안내하는 장치 및 그 방법
CN114511834A (zh) 一种确定提示信息的方法、装置、电子设备及存储介质
US20240362884A1 (en) Method of outputting analog signal and electronic device for performing the same
KR102583256B1 (ko) 깊이 맵에 신뢰도 추정치를 제공하는 방법 및 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal