KR20240031569A - Avm 장치를 이용한 도로 위험물 감지 시스템 및 방법 - Google Patents

Avm 장치를 이용한 도로 위험물 감지 시스템 및 방법 Download PDF

Info

Publication number
KR20240031569A
KR20240031569A KR1020220110272A KR20220110272A KR20240031569A KR 20240031569 A KR20240031569 A KR 20240031569A KR 1020220110272 A KR1020220110272 A KR 1020220110272A KR 20220110272 A KR20220110272 A KR 20220110272A KR 20240031569 A KR20240031569 A KR 20240031569A
Authority
KR
South Korea
Prior art keywords
avm
dangerous
dangerous goods
map
vehicle
Prior art date
Application number
KR1020220110272A
Other languages
English (en)
Inventor
정명환
정일권
강문준
김정아
Original Assignee
오토아이티(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오토아이티(주) filed Critical 오토아이티(주)
Priority to KR1020220110272A priority Critical patent/KR20240031569A/ko
Publication of KR20240031569A publication Critical patent/KR20240031569A/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2756/00—Output or target parameters relating to data
    • B60W2756/10—Involving external transmission of data to or from the vehicle

Abstract

본 발명은 AVM 장치를 이용한 도로 위험물 감지 시스템 및 방법에 관한 것으로, 이는 AVM 장치를 내장하며, 상기 AVM 장치를 통해 차량 주행 상황에 따라 동작 모드를 가변하고, AVM 모드시에는 다시점 영상을 획득 및 정합하여 AVM 영상을 생성 및 출력하고, 위험물 감지 모드시에는 다시점 영상을 획득 및 분석하여 위험물 감지를 위한 정보를 획득 및 제공하는 다수의 차량; 및 상기 차량 각각이 제공하는 수집 및 분석하여 위험물 지도를 작성 및 관리하며, 위험물 지도에 따른 안전 관리 동작을 수행하는 관제 서버를 포함한다.

Description

AVM 장치를 이용한 도로 위험물 감지 시스템 및 방법{System and method for road hazard detection using AVM device}
본 발명은 차량에 장착된 AVM(Around View Monitor) 장치를 활용하여, 별도의 시스템 구축없이 도로 위험물을 효율적으로 감지할 수 있도록 하는 AVM 장치를 이용한 도로 위험물 감지 시스템에 관한 것이다.
아스팔트 도로가 파손되어 냄비(pot)처럼 구멍 파인 포트홀(pothole)이나, 도로에 떨어진 각종 낙하물은 도로 주행 중인 차량의 사고를 유발하는 요인이 된다.
특히, 포트홀은 최근 기후가 온대에서 아열대로 변화, 강우량의 증가로 해가 갈수록 증가 추세에 있으며, 최근 3년 동안 국내에서 발생한 포트홀 수는 657, 993개로 집계하고 있으며, 국토교통부는 2020년 예산에 포트홀 개선과 불량도로 정비 등에 3,080억 원 편성하고 있는 실정이다.
종래에는 포트홀, 각종 낙하물과 같은 도로 위험물을 감지하기 위한 방식으로 전용차량방식, 수동신고방식 등이 있다.
전용차량방식은 고가의 장비인 검지계측기(약 3억원) 및 전담 운영인력 필요하고 포트홀 판단은 운영자가 직접 결정하는 방식으로서, 정확성 있으나 측정 영역 및 비용 효율성이 미흡한 단점이 있다.
수동신고방식은 버스/택시 운전사가 직접 육안으로 확인하여 운전 중에 포트홀 신고 시스템으로 해당 이벤트 정보(예를 들어, 위치정보, 사진 등)를 전송하는 방식으로서, 안전운전을 위협하고 검지율이 낮으며 전반적으로 비효율적인 단점이 있다
국내등록특허 제10-1546700호(2015.08.18.)
이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 차량에 장착된 AVM 장치를 활용하여, 별도의 시스템 구축없이 도로 위험물을 효율적으로 감지할 수 있도록 하는 AVM 장치를 이용한 도로 위험물 감지 시스템을 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, AVM 장치를 내장하며, 상기 AVM 장치를 통해 차량 주행 상황에 따라 동작 모드를 가변하고, AVM 모드시에는 다시점 영상을 획득 및 정합하여 AVM 영상을 생성 및 출력하고, 위험물 감지 모드시에는 다시점 영상을 획득 및 분석하여 위험물 감지를 위한 정보를 획득 및 제공하는 다수의 차량; 및 상기 차량 각각이 제공하는 수집 및 분석하여 위험물 지도를 작성 및 관리하며, 위험물 지도에 따른 안전 관리 동작을 수행하는 관제 서버를 포함하는 AVM 장치를 이용한 도로 위험물 감지 시스템을 제공한다.
상기 차량 각각은 차량 주변을 서로 다른 다수의 시점으로 촬영한 다시점 영상을 획득 및 제공하는 다수의 카메라; 차량이 기 설정된 속도 이하로 주행할 때에는 AVM 모드를 설정하여 상기 다시점 영상에 상응하는 AVM 영상을 생성 및 출력하고, 차량이 기 설정된 속도 보다 빨리 주행할 때에는 위험물 감지 모드를 설정하여 상기 다시점 영상에 상응하는 위험물 감지 결과를 획득 및 출력하는 AVM 장치; 및 상기 관제 서버와의 통신 채널을 형성 및 운영하는 통신부를 포함하는 것을 특징으로 한다.
상기 AVM 장치는 AVM 모드시, 다시점 영상을 정합하여 AVM 영상을 생성 및 출력하는 AVM 영상 생성부; 위험물 감지 모드시, 영상 특징에 상응하는 객체 종류와 객체 위치가 사전 학습된 신경망 모델을 이용하여 다시점 영상 각각에 대응되는 객체 종류 및 객체 위치를 확인 및 분석함으로써 위험물을 검출하는 위험물 검출부; 위험물 검출시, 위험물 검출 위치에 기반하여 다시점 영상에서 스테레오 영상을 추출한 후, 스테레오 영상을 활용하여 위험물의 3차원 객체를 생성하는 위험물 객체화부; 상기 3차원 객체의 형상 변화를 추적 모니터링 및 분석하여 위험물 종류를 식별하고, 위험물 종류, 크기, 위치 중 적어도 하나에 기반하여 위험물의 위험도를 파악하는 위험물 분석부; 및 차량 주행 상황에 기반하여 동작 모드를 결정하고, AVM 모드시에는 AVM 영상을 획득 및 재생하고, 위험물 감지 모드시에는 위험물 검출 결과에 차량 식별 정보 및 차량 위치 정보를 매핑하여 공유 정보를 생성 및 출력하는 AVM 제어부를 포함하는 것을 특징으로 한다.
상기 위험물 검출부는 움직임이 있는 비정상 객체는 위험물 감지 대상에서 제외시키는 것을 특징으로 한다.
상기 관제 서버는 상기 차량 각각과의 통신 채널을 형성 및 운영하는 통신부; 위험물의 종류, 위험도, 위치, 감지 시점에 대한 정보를 지도 기반으로 등록 및 관리하기 위한 위험물 지도를 구비하고, 상기 차량 각각이 전송하는 정보에 기반하여 상기 위험물 지도를 업데이트하는 위험물 관리부; 상기 위험물 지도를 기 설정된 사용자에 제공하거나, 상기 위험물 지도에 등록된 정보 기반으로 위험물 제거 요청 동작을 수행하는 서버 제어부를 포함하는 것을 특징으로 한다.
상기 위험물 관리부는 다수 차량에 의해 동일 위치에서 기 설정 횟수 이상 반복적으로 검출되는 위험물에 대한 정보만을 이용하여 상기 위험물 지도를 업데이트하는 기능을 더 포함하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따르면 다수의 차량 각각이 AVM 장치를 통해 위험물 감지 결과, 차량 식별 정보 및 차량 위치 정보를 포함하는 공유 정보를 생성하여 출력하는 단계; 관제 서버가 상기 공유 정보를 수집 및 분석하여 위험물의 종류, 위험도, 위치, 감지 시점에 대한 정보를 지도 기반으로 등록 및 관리하는 위험물 지도를 업데이트하는 단계; 및 상기 관제 서버가 위험물 지도를 기 설정된 사용자에 제공하거나, 상기 위험물 지도에 등록된 정보 기반으로 위험물 제거 요청 동작을 수행하는 단계를 포함하는 AVM 장치를 이용한 도로 위험물 감지 방법을 제공한다.
본 발명은 차량이 내장된 AVM 장치를 이용하여 위험물 감지 동작을 수행하도록 함으로써, 시스템 구축 및 유지에 소요되는 비용과 시간이 획기적으로 감소될 수 있도록 한다.
그리고 위험물의 형상을 3차원적으로 분석함으로써, 위험물 감지 결과의 신뢰성 또한 극대화될 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 AVM 장치를 이용한 도로 위험물 감지 시스템의 개략도를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량 구성도를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 관제 서버 구성도를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 AVM 장치 구성도를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 스테레오 영상 획득 원리를 설명하기 위한 도면이다.
도 6은 위험물과의 거리 변화에 따른 객체 형상 변화 패턴을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 AVM 장치를 이용한 도로 위험물 감지 방법을 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1 내지 도 3은 본 발명의 일 실시예에 따른 AVM 장치를 이용한 도로 위험물 감지 시스템을 설명하기 위한 도면으로, 도 1은 시스템 개략도, 도 2는 차량 구성도, 도 3은 관제 서버 구성도이다.
먼저, 도 1을 참고하면, 본 발명의 시스템은 AVM 장치를 내장하며, 상기 AVM 장치를 통해 차량 주행 상황에 따라 동작 모드를 가변하고, AVM 모드시에는 다시점 영상을 획득 및 정합하여 AVM 영상을 생성 및 출력하고, 위험물 감지 모드시에는 다시점 영상을 획득 및 분석하여 위험물 감지를 위한 정보를 획득 및 제공하는 다수의 차량(100), 차량(100) 각각이 제공하는 정보를 수집 및 분석하여 도로 위험물 지도를 작성 및 관리하며, 도로 위험물 지도에 따른 안전 관리 동작을 수행하는 관제 서버(200)를 포함한다.
차량(100)은 도 2와 같이, 다수의 카메라(110), AVM 장치(120), 및 통신부(130) 등을 포함한다.
다수의 카메라(110)는 차량의 전방, 후방, 좌측면, 우측면 등과 같은 차량 측면에 분산 배치되어, 차량 주변을 서로 다른 다수의 시점으로 촬영한 다시점 영상을 획득 및 제공한다.
AVM 장치(120)는 차량 주행 상황에 따라 동작 모드를 가변한다. 차량이 기 설정된 속도 이하로 주행하는 AVM 모드시에는 다시점 영상을 정합하여 차량 주변을 차량 상공에서 내려보는 것과 같은 AVM 영상을 생성 및 재생하고, 차량이 기 설정 속도 보다 빨리 주행하는 위험물 감지 모드시에는 다시점 영상을 통해 위험물 감지 동작을 수행한 후, 위험물 감지 결과를 관제 서버(200)에 통보하도록 한다.
통신부(130)는 AVM 장치(120)가 위험물 감지 모드로 동작되는 경우, 관제 서버(200)와의 통신 채널을 형성 및 운영함으로써, AVM 장치(120)의 출력 데이터를 관제 서버(200)로 실시간 전송하도록 한다.
관제 서버(200)는 통신부(210), 위험물 관리부(220), 서버 제어부(230) 등을 포함한다.
통신부(210)는 차량(100) 각각과의 통신 채널을 형성 및 운영함으로써, 차량(100) 각각이 통보하는 위험물 감지 결과를 수신 및 저장한다.
위험물 관리부(220)는 위험물의 종류, 위험도, 위치, 감지 시점 등에 대한 정보를 지도 기반으로 등록 및 관리하기 위한 위험물 지도를 구비하고, 새로운 위험물 감지 결과를 수신할 때마다 이를 반영하여 위험물 지도를 업데이트하도록 한다.
서버 제어부(230)는 위험물 지도를 기 등록된 사용자에 제공하거나, 위험물 지도에 등록된 위험물들을 제거 요청하는 등의 작업을 수행하도록 한다.
또한 정보 제공자를 등록 및 관리하고, 정보 제공자 각각의 정보 공유 이력에 상응하는 인센티브를 제공할 수도 있도록 한다. 이때, 인센티브는 특정 웹 사이트, 매장, 장소 등에서 이용 가능한 포인트, 상품권, 이용권 등일 수 있으나, 이에 한정될 필요는 없다.
도 4 내지 도 6은 본 발명의 일 실시예에 따른 AVM 장치의 상세 구성을 설명하기 위한 도면으로, 도 4는 AVM 장치 구성도, 도 5는 스테레오 영상 획득 원리를 설명하기 위한 도면, 도 6은 위험물과의 거리 변화에 따른 객체 형상 변화 패턴이다.
도 4를 참고하면, 본 발명의 AVM 장치(120)는 AVM 영상 생성부(121), 위험물 검출부(122), 위험물 객체화부(123), 위험물 분석부(124), 및 AVM 제어부(125) 등을 포함한다.
AVM 영상 생성부(121)는 종래의 AVM 장치 기능을 수행하는 것으로, 이는 AVM 모드일 때 동작 활성화되어, 다수의 카메라(110)를 통해 획득된 다시점 영상을 정합하여 하나의 AVM 영상을 생성 및 출력한다.
위험물 검출부(122)는 위험물 감지 모드일 때 동작 활성화되어, 영상 특징에 상응하는 객체 종류 및 객체 위치가 사전 학습된 신경망 모델을 구비한다. 즉, 신경망 모델은 영상 특징을 입력 조건으로, 객체 위치와 객체 종류를 출력 조건으로 가지는 대용량의 학습 데이터를 통해 학습된 것으로, 이때의 객체 종류는 각종 신호 표지판, 신호등, 가로등, 과속 단속 장치 등과 같이 기 설정된 형상과 색상을 가지는 정상 객체 뿐 아니라, 형상 및 색상이 랜덤값을 가지는 비정상 객체를 포함할 수 있다.
그리고 다시점 영상 각각을 전처리하여 영상 특징을 획득한 후, 이를 신경망 모델에 입력함으로써, 신경망 모델을 통해 다시점 영상 각각에 상응하는 객체 종류와 객체 위치를 파악한다. 그리고 다시점 영상 중 적어도 하나를 통해 비정상 객체가 검출하면, 해당 비정상 객체를 위험물로, 객체 위치와 영상 종류에 기반하여 위험물 검출 위치로 특정하도록 한다.
이때, 비정상 객체의 움직임 여부를 추가 확인한 후, 움직이는 비정상 객체는 위험물 감지 대상에서 제외하도록 한다. 즉, 야생동물 등의 이동하는 객체가 존재할 수 있으나, 이는 발생 패턴이나 빈도, 처리 방법 등이 일정치 않으므로 본 발명에서는 취급하지 않도록 한다.
위험물 객체화부(123)는 위험물 검출이 확인되면, 위험물 검출 위치에 따라 위험물이 촬영될 가능성이 가장 큰 적어도 두 개의 영상들을 스테레오 영상으로 선정한 후, 스테레오 영상에 기반하여 위험물에 상응하는 3차원 객체를 생성 및 출력하도록 한다.
참고로, 3차원 객체는 동일 객체를 서로 상이한 2개의 시점으로 촬영한 스테레오 영상을 통해 생성될 수 있다.
이에 본 발명에서는 도로 위에 위험물이 존재하는 경우에는 차량 전방 영상과 차량 후방 영상을, 도로 좌측편에 위험물이 존재하는 경우에는 차량 전방 영상과 도로 좌측면 영상 또는 차량 후방 영상과 도로 좌측면 영상을, 도로 우측편에 위험물이 존재하는 경우에는 차량 전방 영상과 도로 우측면 영상을 또는 차량 후방 영상과 도로 우측면 영상을 스테레오 영상으로 각각 활용하도록 한다.
또 다르게는 차량 주행에 따라 도 5에서와 같이 동일 객체를 바라보는 시점이 변화될 수 있음을 고려하여, 동일 카메라를 통해 소정의 시간차를 두고 획득되는 2 개의 영상을 스테레오 영상으로 활용할 수도 있도록 한다. 즉, 도로 위에 위험물이 존재하는 경우에는 소정의 시간차를 두고 획득되는 2개의 차량 전방 영상(또는 차량 후방 영상)을, 도로 좌측편에 위험물이 존재하는 경우에는 소정의 시간차를 두고 획득되는 2개의 차량 좌측면 영상을, 도로 우측편에 위험물이 존재하는 경우에는 소정의 시간차를 두고 획득되는 2개의 차량 우측면 영상을 스테레오 영상으로 각각 활용하도록 한다.
그리고 스테레오 영상에 포함되는 2개 영상의 경우, 카메라와 객체까지의 거리에 따라 서로 상이한 객체 크기를 가지게 됨을 고려하여, 영상내 객체 크기를 개별 조정하여 영상내 객체 크기가 모두 동일해지도록 한 후, 각 영상의 특징점을 추출 및 정합하여 3차원 객체를 생성하도록 한다. 즉, 항상 균일한 영상 품질을 가지는 3차원 객체가 안정적으로 생성될 수 있도록 한다.
위험물 분석부(124)는 도 5와 같이 3차원 객체의 형상 변화 패턴을 위험물과의 거리 변화에 따라 추적 모니터링 및 분석하여 위험물 종류를 식별하도록 한다.
예를 들어, 포트홀은 원거리에서는 보이지 않으나 낙하물은 원거리에서도 보이는 특징이 있다. 이에 본 발명에서는 3차원 객체의 형상 뿐 아니라 형상 변화 패턴까지 추가적으로 확인하여 위험물 종류를 최종 결정함으로써, 위험물 식별 동작의 정확도를 높이도록 한다.
또한 위험물 종류, 크기, 위치 중 적어도 하나에 기반하여, 위험물의 위험도까지 추가 파악하도록 한다. 즉, 위험물 종류에 기반하여 자체 판단되는 위험도 뿐 아니라, 위험물이 얼마나 크며 차량 주행 경로에 얼마나 가까운지 까지 복합적으로 고려하여, 위험물의 위험도를 최종 결정할 수도 있도록 한다.
AVM 제어부(125)는 차량 주행 상황에 기반하여 동작 모드를 결정한다. AVM 모드시에는 AVM 영상 생성부(121)를 통해 AVM 영상을 생성하여 차량에 내장된 디스플레이 장치를 통해 실시간 재생하도록 한다. 위험물 감지 모드시에는 위험물 검출부(122) 및 위험물 분석부(123)를 통해 위험물 검출 결과를 획득한 후 차량 식별 정보 및 차량 위치 정보를 매핑하여 공유 정보를 생성하여 관제 서버(200)에 제공하도록 한다.
이때, 차량 식별 정보는 AVM 장치의 장치 식별 번호이거나 차량 번호이거나, 차량 위치 정보는 차량에 기본 내장된 GPS 장치를 통해 획득되는 위치값일 수 있으나, 이에 한정될 필요는 없다.
또한 통신량 최소화를 위해, 위험물이 감지되는 경우에만 상기의 공유 정보를 제공하도록 할 수도 있도록 한다.
도 7은 본 발명의 일 실시예에 따른 AVM 장치를 이용한 도로 위험물 감지 방법을 도시한 도면이다.
먼저, 도로 위를 주행 중인 다수의 차량(100) 각각은 위험물이 감지될 때마다, 위험물 감지 결과, 차량 식별 정보 및 차량 위치 정보를 포함하는 공유 정보를 생성하여 출력하도록 한다(S1).
그러면, 관제 서버(200)는 다수의 차량(100) 각각이 전송하는 공유 정보 모두를 수신하고, 공유 정보 각각의 유효성을 확인한다(S2).
공유 정보 유효성은 다수 차량에 의해 동일 위치에서 동일 객체가 기 설정 횟수 이상 반복적으로 검출되는지 확인함으로써 확인 가능하며, 이는 위험물 감지 오류 발생을 다수의 차량의 관제 참여를 통해 필터링하도록 하기 위함이다.
유효성 확인이 완료된 공유 정보에 기반하여 위험물 각각의 종류, 위험도, 위치, 감지 시점 등에 대한 정보를 가지는 위험물 지도를 업데이트한다(S3).
그리고 기 설정된 사용자에게는 업데이트된 위험물 지도를 제공하여, 사용자 각각이 위험물 지도를 참고한 안전 운전을 할 수 있도록 한다(S4).
또한 S4를 수행함과 동시에, 위험물 처리 담당자에게는 위험물의 종류, 위험도, 위치에 대한 정보를 가지는 위험물 제거 요청 정보를 생성 및 제공함으로써, 보다 신속 정확한 위험물 제거 동작을 수행할 수 있도록 한다(S5).
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (7)

  1. AVM(Around View Monitor) 장치를 내장하며, 상기 AVM 장치를 통해 차량 주행 상황에 따라 동작 모드를 가변하고, AVM 모드시에는 다시점 영상을 획득 및 정합하여 AVM 영상을 생성 및 출력하고, 위험물 감지 모드시에는 다시점 영상을 획득 및 분석하여 위험물 감지를 위한 정보를 획득 및 제공하는 다수의 차량; 및
    상기 차량 각각이 제공하는 수집 및 분석하여 위험물 지도를 작성 및 관리하며, 위험물 지도에 따른 안전 관리 동작을 수행하는 관제 서버를 포함하는 AVM 장치를 이용한 도로 위험물 감지 시스템.
  2. 제1항에 있어서, 상기 차량 각각은
    차량 주변을 서로 다른 다수의 시점으로 촬영한 다시점 영상을 획득 및 제공하는 다수의 카메라;
    차량이 기 설정된 속도 이하로 주행할 때에는 AVM 모드를 설정하여 상기 다시점 영상에 상응하는 AVM 영상을 생성 및 출력하고, 차량이 기 설정된 속도 보다 빨리 주행할 때에는 위험물 감지 모드를 설정하여 상기 다시점 영상에 상응하는 위험물 감지 결과를 획득 및 출력하는 AVM 장치; 및
    상기 관제 서버와의 통신 채널을 형성 및 운영하는 통신부를 포함하는 것을 특징으로 하는 AVM 장치를 이용한 도로 위험물 감지 시스템.
  3. 제2항에 있어서, 상기 AVM 장치는
    AVM 모드시, 다시점 영상을 정합하여 AVM 영상을 생성 및 출력하는 AVM 영상 생성부;
    위험물 감지 모드시, 영상 특징에 상응하는 객체 종류와 객체 위치가 사전 학습된 신경망 모델을 이용하여 다시점 영상 각각에 대응되는 객체 종류 및 객체 위치를 확인 및 분석함으로써 위험물을 검출하는 위험물 검출부;
    위험물 검출시, 위험물 검출 위치에 기반하여 다시점 영상에서 스테레오 영상을 추출한 후, 스테레오 영상을 활용하여 위험물의 3차원 객체를 생성하는 위험물 객체화부;
    상기 3차원 객체의 형상 변화를 추적 모니터링 및 분석하여 위험물 종류를 식별하고, 위험물 종류, 크기, 위치 중 적어도 하나에 기반하여 위험물의 위험도를 파악하는 위험물 분석부; 및
    차량 주행 상황에 기반하여 동작 모드를 결정하고, AVM 모드시에는 AVM 영상을 획득 및 재생하고, 위험물 감지 모드시에는 위험물 검출 결과에 차량 식별 정보 및 차량 위치 정보를 매핑하여 공유 정보를 생성 및 출력하는 AVM 제어부를 포함하는 것을 특징으로 하는 AVM 장치를 이용한 도로 위험물 감지 시스템.
  4. 제3항에 있어서, 상기 위험물 검출부는
    움직임이 있는 비정상 객체는 위험물 감지 대상에서 제외시키는 것을 특징으로 하는 AVM 장치를 이용한 도로 위험물 감지 시스템.
  5. 제1항에 있어서, 상기 관제 서버는
    상기 차량 각각과의 통신 채널을 형성 및 운영하는 통신부;
    위험물의 종류, 위험도, 위치, 감지 시점에 대한 정보를 지도 기반으로 등록 및 관리하기 위한 위험물 지도를 구비하고, 상기 차량 각각이 전송하는 정보에 기반하여 상기 위험물 지도를 업데이트하는 위험물 관리부;
    상기 위험물 지도를 기 설정된 사용자에 제공하거나, 상기 위험물 지도에 등록된 정보 기반으로 위험물 제거 요청 동작을 수행하는 서버 제어부를 포함하는 것을 특징으로 하는 AVM 장치를 이용한 도로 위험물 감지 시스템.
  6. 제5항에 있어서, 상기 위험물 관리부는
    다수 차량에 의해 동일 위치에서 기 설정 횟수 이상 반복적으로 검출되는 위험물에 대한 정보만을 이용하여 상기 위험물 지도를 업데이트하는 기능을 더 포함하는 것을 특징으로 하는 AVM 장치를 이용한 도로 위험물 감지 시스템.
  7. 다수의 차량 각각이 AVM(Around View Monitor) 장치를 통해 위험물 감지 결과, 차량 식별 정보 및 차량 위치 정보를 포함하는 공유 정보를 생성하여 출력하는 단계;
    관제 서버가 상기 공유 정보를 수집 및 분석하여 위험물의 종류, 위험도, 위치, 감지 시점에 대한 정보를 지도 기반으로 등록 및 관리하는 위험물 지도를 업데이트하는 단계; 및
    상기 관제 서버가 위험물 지도를 기 설정된 사용자에 제공하거나, 상기 위험물 지도에 등록된 정보 기반으로 위험물 제거 요청 동작을 수행하는 단계를 포함하는 AVM 장치를 이용한 도로 위험물 감지 방법.
KR1020220110272A 2022-08-31 2022-08-31 Avm 장치를 이용한 도로 위험물 감지 시스템 및 방법 KR20240031569A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220110272A KR20240031569A (ko) 2022-08-31 2022-08-31 Avm 장치를 이용한 도로 위험물 감지 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220110272A KR20240031569A (ko) 2022-08-31 2022-08-31 Avm 장치를 이용한 도로 위험물 감지 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20240031569A true KR20240031569A (ko) 2024-03-08

Family

ID=90236048

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220110272A KR20240031569A (ko) 2022-08-31 2022-08-31 Avm 장치를 이용한 도로 위험물 감지 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20240031569A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101546700B1 (ko) 2014-11-28 2015-08-24 한국건설기술연구원 영상을 활용한 도로 포트홀 영역 인식 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101546700B1 (ko) 2014-11-28 2015-08-24 한국건설기술연구원 영상을 활용한 도로 포트홀 영역 인식 장치 및 방법

Similar Documents

Publication Publication Date Title
CN110364008B (zh) 路况确定方法、装置、计算机设备和存储介质
CN109686088B (zh) 一种交通视频告警方法、设备及系统
CN106503653A (zh) 区域标注方法、装置和电子设备
KR102609016B1 (ko) 택배차를 활용한 포트홀 실시간 탐지 장치
CN111354182A (zh) 一种辅助驾驶方法和系统
CN107527006B (zh) 用于检查机动车的介质损失的方法以及用于执行这样的方法的机动车和系统
CN112819968B (zh) 基于混合现实的自动驾驶车辆的测试方法和装置
US11003925B2 (en) Event prediction system, event prediction method, program, and recording medium having same recorded therein
JP6094181B2 (ja) 運転評価装置、方法、プログラム及び運転評価用車載機
CN111354222A (zh) 一种辅助驾驶方法和系统
US11924584B2 (en) Highway infrastructure inventory and assessment device
KR101834838B1 (ko) 영상처리를 이용한 도로 교통 정보 제공 시스템 및 방법
CN110491127A (zh) 一种通行引导方法、装置以及可读存储介质
CN109983303A (zh) 电子地图的更新方法
CN113674523A (zh) 交通事故分析方法、装置及设备
JPWO2021039319A5 (ko)
CN115236694A (zh) 障碍物检测方法、装置、电子设备和存储介质
CN113724496A (zh) 一种全场景道路交通安全隐患排查方法以及排查系统
KR20240031569A (ko) Avm 장치를 이용한 도로 위험물 감지 시스템 및 방법
JP2019096121A (ja) 道路画像処理装置、道路画像処理方法、道路画像処理プログラム、および、記録媒体
EP3070459A1 (en) Inspection target object extraction apparatus and inspection target object extraction method
Kojima et al. NaviView: visual assistance by virtual mirrors at blind intersection
Aubert et al. Digital imaging for assessing and improving highway visibility
WO2020210960A1 (zh) 交通道路的数字化全景重建的方法和系统
CN116013100A (zh) 道路状态预警方法、装置、车辆及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal