KR20200020193A - 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템 - Google Patents

커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템 Download PDF

Info

Publication number
KR20200020193A
KR20200020193A KR1020180095597A KR20180095597A KR20200020193A KR 20200020193 A KR20200020193 A KR 20200020193A KR 1020180095597 A KR1020180095597 A KR 1020180095597A KR 20180095597 A KR20180095597 A KR 20180095597A KR 20200020193 A KR20200020193 A KR 20200020193A
Authority
KR
South Korea
Prior art keywords
data
information
situation
target vehicle
vehicle
Prior art date
Application number
KR1020180095597A
Other languages
English (en)
Other versions
KR102105007B1 (ko
Inventor
이장훈
이재홍
Original Assignee
주식회사 유비벨록스모바일
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유비벨록스모바일 filed Critical 주식회사 유비벨록스모바일
Priority to KR1020180095597A priority Critical patent/KR102105007B1/ko
Publication of KR20200020193A publication Critical patent/KR20200020193A/ko
Application granted granted Critical
Publication of KR102105007B1 publication Critical patent/KR102105007B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers

Abstract

커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템이 제공된다. 엣지 컴퓨팅 장치는 타겟 차량으로부터 수신되는 차량 센싱데이터와, 클라우드 컴퓨팅 시스템으로부터 수신되는 타겟 차량이 운행 중인 주변과 관련된 주변 운행 정보를 분석하여 돌발 상황 징후의 여부를 판단하고, 돌발 상황 징후가 있는 것으로 판단되면, 돌발 상황 징후를 판단한 판단 근거 데이터를 차량 센싱데이터 및 주변 운행 정보로부터 추출하여 타겟 차량에 대한 돌발 상황 징후 데이터를 생성하고, 클라우드 컴퓨팅 시스템은 엣지 컴퓨팅 장치로부터 돌발 상황 징후 데이터가 수신되면, 돌발 상황 징후 데이터를 기반으로 타겟 차량의 주행 상황 정보를 예측하고, 타겟 차량의 주행 상황 정보와 주변 차량들의 주행 상황 정보를 연계하여 돌발 상황 징후를 심층 분석한 후, 심층 분석된 결과를 포함하는 돌발 상황에 대한 운행 정보를 생성하여 엣지 컴퓨팅 장치로 전송하고, 엣지 컴퓨팅 장치는 돌발 상황 운행 정보를 타겟 차량으로 전송할 수 있다.

Description

커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템{Edge-cloud system for collecting and providing data of connected car}
본 발명은 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템에 관한 것으로서, 보다 상세하게는, 차량의 운행 경로 중 발생할 수 있는 돌발 상황 정보를 제공하여 안전 운행이 가능하도록 할 수 있는 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템에 관한 것이다.
최근에 출시되는 차량은 운전자에게 속도와 엔진 회전수부터 엔진오일의 수명 등 차량과 관련된 다양한 정보를 알려주는 기능을 제공한다. 일 예로, 운전자는 OBD(On-Board Diagnostics)로부터의 정보를 스마트폰으로 확인하는 것이 가능하다. OBD는 차량의 자가 진단을 위해 제조사에서 만들어 놓은 진단 시스템이다.
또한, 최근의 차량은 안전운전을 위한 충돌 감지 기능을 제공하여 운전자가 충돌에 의한 교통사고를 사전에 예방하도록 한다.
그러나, 기존의 차량에서 발생하는 각종 데이터는 운전자에게만 제공되며, OBD로부터의 데이터는 주로 차량에 결함이 발생할 경우 진단할 수 있도록 이력데이터를 제공하므로 실시간으로 제공되는 데는 한정적이다.
따라서, 운전자가 차량의 상태를 보다 객관적 및 직관적으로 파악하거나 주행 도중 발생할 수 있는 돌발 상황과 관련된 징후를 판단하는 데 한계가 있다.
국내 공개특허 제10-2018-0063789호 (2018.06.12)
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 차량으로부터 센싱되는 다양한 데이터를 엣지 컴퓨팅 시스템과 클라우드에서 실시간으로 공유하여 차량 또는 주행과 관련된 돌발 상황 징후를 판단하고, 판단된 돌발 상황에 대한 운행 정보를 운전자에게 제공하여 운전자가 보다 신속하면서 정확히 차량의 상태 또는 돌발 상황에 대처할 수할 수 있도록 하는 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템을 제시하는 데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템은, 타겟 차량으로부터 수신되는 차량 센싱데이터와, 클라우드 컴퓨팅 시스템으로부터 수신되는 상기 타겟 차량이 운행 중인 주변과 관련된 주변 운행 정보를 분석하여 돌발 상황 징후의 여부를 판단하고, 돌발 상황 징후가 있는 것으로 판단되면, 상기 돌발 상황 징후를 판단한 판단 근거 데이터를 상기 차량 센싱데이터 및 상기 주변 운행 정보로부터 추출하여 상기 타겟 차량에 대한 돌발 상황 징후 데이터를 생성하는 엣지 컴퓨팅 장치; 및 상기 엣지 컴퓨팅 장치로부터 돌발 상황 징후 데이터가 수신되면, 상기 수신된 돌발 상황 징후 데이터를 기반으로 상기 타겟 차량의 주행 상황 정보를 예측하고, 상기 타겟 차량의 주행 상황 정보와 주변 차량들의 주행 상황 정보를 연계하여 상기 돌발 상황 징후를 심층 분석한 후, 상기 심층 분석된 결과를 포함하는 돌발 상황에 대한 운행 정보(이하, '돌발 상황 운행 정보'라 함)를 생성하여 상기 엣지 컴퓨팅 장치로 전송하는 클라우드 컴퓨팅 시스템;을 포함하고, 상기 엣지 컴퓨팅 장치는 상기 클라우드 컴퓨팅 시스템으로부터 수신되는 돌발 상황 운행 정보를 상기 타겟 차량으로 전송할 수 있다.
상기 엣지 컴퓨팅 장치는, 상기 타겟 차량의 차량 센싱데이터와 상기 주변 운행 정보를 분석하여 사고 발생 여부, 공사 진행 여부, 악천후 정보 및 장애물 여부 중 적어도 하나를 포함하는 돌발 상황 징후의 여부를 판단하고, 상기 타겟 차량 및 주변 차량들에서 센싱되는 차량 센싱데이터는 영상데이터, 속도데이터, 가속도 데이터, 급감속 데이터, 충돌 감지 데이터, 레이저 송수신 데이터 중 적어도 하나를 포함하고, 상기 주변 운행 정보는 상기 주변 차량들에서 센싱된 차량 센싱데이터와, 공공 기관에서 제공하는 기상 데이터 및 도로 공상 중인 구간 정보를 포함할 수 있다.
상기 엣지 컴퓨팅 장치는, 상기 돌발 상황 징후가 있는 것으로 판단되면, 상기 돌발 상황 징후와 관련된 위치 정보, 영상 정보, 가감속 정보, 충돌 감지 정보, 레이저 송수신 데이터로부터 분석된 기상 상태 정보 중 적어도 하나를 상기 판단 근거 데이터로서 상기 차량 센싱데이터 및 상기 주변 운행 정보로부터 추출할 수 있다.
상기 클라우드 컴퓨팅 시스템은, 상기 돌발 상황 징후 데이터가 수신되면, 상기 타겟 차량의 전방 및 후방 중 적어도 하나에 위치하는 객체와 상기 타겟 차량의 주행 상황 정보를 포함하는 상기 타겟 차량의 주행 정보를 생성하고, 상기 생성된 타겟 차량의 주행 정보와 상기 타겟 차량의 주변에서 운행 중인 주변 차량들에 대해 생성된 주행 정보를 연계하여 돌발 상황 징후를 심층 분석할 수 있다.
상기 클라우드 컴퓨팅 시스템은, 상기 돌발 상황 징후를 심층 분석한 결과와 외부 공공 데이터를 연계 및 분석하여 사고 발생 여부, 공사 진행 여부, 악천후 정보 및 장애물 여부를 판별하고, 상기 판별된 결과를 포함하는 돌발 상황 운행 정보를 생성하여 상기 엣지 컴퓨팅 장치로 전송할 수 있다.
본 발명에 따르면, 차량으로부터 센싱되는 다양한 데이터를 엣지 컴퓨팅 시스템과 클라우드에서 실시간으로 공유하여 차량 또는 주행과 관련된 돌발 상황 징후를 판단하고, 판단된 돌발 상황에 대한 운행 정보를 운전자에게 제공하여 운전자가 보다 신속하면서 정확히 차량의 상태 또는 돌발 상황에 대처할 수 있다.
또한, 본 발명에 따르면 엣지 컴퓨팅 시스템과 클라우드 시스템에서 차량에서 분석된 돌발 상황 징후(사고 여부, 날씨 등)를 기반으로 자동차의 상태를 예측하고, 주변 자동차와의 상태와 연계하여 지속적으로 돌발 상황에 대한 보정작업을 수행하여 차량의 안전 운행에 필요한 데이터를 생성 및 제공할 수 있다.
또한, 본 발명에 따르면, 돌발 상황 징후가 예측된 후 차량에서 사고가 발생한 경우, 클라우드에서 사고 처리에 필요한 정보(위치, 사고 종류 등)를 경찰청 서버, 병원, 보험사 등에 제공할 수도 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시 예에 의한 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템을 도시한 도면,
도 2는 도 1에 도시된 엣지 컴퓨팅 장치와 클라우드 컴퓨팅 시스템을 자세히 도시한 블록도,
도 3은 영상인식기반 전방 차량 검출 알고리즘의 개요도,
도 4는 일반적인 Tenser Flow 구조를 도시한 도면,
도 5는 일반적인 CNN 구조를 도시한 도면,
도 6은 ROI pooling의 예시도,
도 7은 MultiNet의 물체 검출 알고리즘 구조를 도시한 도면,
도 8은 HSV 색상 모델을 이용한 중앙선 식별 결과의 예시도와 중앙선 식별 알고리즘을 적용한 차량 주행방향 판단 결과를 보여주는 도면,
도 9는 본 발명의 실시 예에 따른 엣지-클라우드 시스템의 돌발 상황 정보 제공 방법을 설명하기 위한 흐름도, 그리고,
도 10은 S950단계 내지 S970단계를 자세히 도시한 흐름도이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
또한, 제1 엘리먼트 (또는 구성요소)가 제2 엘리먼트(또는 구성요소) 상(ON)에서 동작 또는 실행된다고 언급될 때, 제1 엘리먼트(또는 구성요소)는 제2 엘리먼트(또는 구성요소)가 동작 또는 실행되는 환경에서 동작 또는 실행되거나 또는 제2 엘리먼트(또는 구성요소)와 직접 또는 간접적으로 상호 작용을 통해서 동작 또는 실행되는 것으로 이해되어야 할 것이다.
어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.
또한, 어떤 엘리먼트(또는 구성요소)가 구현됨에 있어서 특별한 언급이 없다면, 그 엘리먼트(또는 구성요소)는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시 예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다.
어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.
도 1에 도시된 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템의 각각의 구성은 기능 및 논리적으로도 분리될 수 있음을 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
또한, 본 명세서에서 DB라 함은, 각각의 DB에 대응되는 정보를 저장하는 소프트웨어 및 하드웨어의 기능적 구조적 결합을 의미할 수 있다. DB는 적어도 하나의 테이블로 구현될 수도 있으며, 상기 DB에 저장된 정보를 검색, 저장, 및 관리하기 위한 별도의 DBMS(Database Management System)를 더 포함할 수도 있다. 또한, 링크드 리스트(linked-list), 트리(Tree), 관계형 DB의 형태 등 다양한 방식으로 구현될 수 있으며, 상기 DB에 대응되는 정보를 저장할 수 있는 모든 데이터 저장매체 및 데이터 구조를 포함한다또한, 엣지 컴퓨팅은 네트워크 상의 엣지 부분에 데이터 처리를 위한 컴퓨팅 시스템을 구축하여, 클라우드까지 가기 전에 1차적으로 데이터를 가공하는 시스템 구조로서, 포그(fog) 컴퓨팅 또는 클라우드렛(Cloudlet)이라고도 한다. 엣지 컴퓨팅 시스템에는 다수의 엣지 컴퓨팅 장치들이 존재하고, 각 엣지 컴퓨팅 장치(100~300)는 개별 차량에 대한 데이터를 처리하며, 클라우드 컴퓨팅 시스템(200)은 다수의 엣지 컴퓨팅 장치들의 컴퓨팅 파워 문제, 수집된 데이터의 통계 및 이후 비슷한 지역의 사용자들 또는 차량들에게 자동으로 매크로를 노출시켜 소비하도록 할 수 있다.
상기 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템을 위한 다수의 프로그램은 소정의 데이터 프로세싱 장치에 설치되어 본 발명의 기술적 사상을 구현할 수 있다.
도 1은 본 발명의 실시 예에 따른 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템을 도시한 도면이다.
도 1을 참조하면, 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템은 다수의 엣지 컴퓨팅 장치들(100, 200, 300) 및 클라우드 컴퓨팅 시스템(600)을 포함할 수 있다.
먼저, 타겟 차량(10)은 타겟 차량(10) 내외부에 장착된 다수의 센서들로부터 타겟 차량(10)의 상태를 센싱한 차량 센싱데이터를 수신하여 엣지 컴퓨팅 장치(100)로 전송할 수 있다. 각 센서들이 직접 센싱데이터를 엣지 컴퓨팅 장치(100)로 전송하도록 각 센서에 통신 모듈이 구비될 수도 있다.
'차량 센싱데이터'는 차량에서 센싱가능한 모든 종류(자동차 상태, 성능, 고장 여부, 위치, 운행 정보 등)의 데이터를 포함하고, 예를 들어, 블랙박스가 촬영한 차량의 전방 또는 후방 영상데이터, 속도 센서에 의한 속도데이터, 가속도 센서에 의한 가속도 데이터, 급감속 데이터, 충돌 감지 센서에 의한 충돌 감지 데이터, GPS에서 획득한 차량 위치정보, OBD(On-Board Diagnostics)에서 획득한 OBD 데이터, 레이저 송수신 데이터, 라이더에 의한 데이터 중 적어도 하나와, 타겟 차량(10)의 식별 정보와 타겟 차량(10)의 운행 경로 정보 또는 목적지 정보를 포함할 수 있다.
타겟 차량(10)의 주변에 위치한 주변 차량들 중 주변 엣지 컴퓨팅 장치(200,300)가 장착된 주변 차량들(20, 30) 역시 타겟 차량(10)과 동일하게 차량 센싱데이터를 수집하여 각각 주변 엣지 컴퓨팅 장치들(200, 300)에게 전송한다.
기상청 서버(400) 및 도로공사 서버(500)와 같은 공공기관 서버들 또 는중 3RD PART Gateway 서버(미도시)는 외부 공공데이터, 즉, 기상데이터나 도로 내 공사가 진행 중인 구간 정보 등 도로와 관련된 정보를 제공한다.
엣지 컴퓨팅 장치(100)는 타겟 차량(10)에 장착되어 엣지 컴퓨팅 시스템을 구축한다. 본 발명의 실시 예에서, 엣지 컴퓨팅 장치(100)는 타겟 차량(10)으로부터 수신되는 차량 센싱데이터와, 클라우드 컴퓨팅 시스템(600)으로부터 수신되는 타겟 차량이 운행 중인 주변과 관련된 주변 운행 정보를 분석하여 돌발 상황 징후의 여부를 판단하고, 돌발 상황 징후가 있는 것으로 판단되면, 돌발 상황 징후를 판단한 판단 근거 데이터를 차량 센싱데이터 및 주변 운행 정보로부터 추출하여 타겟 차량에 대한 돌발 상황 징후 데이터를 생성할 수 있다.
클라우드 컴퓨팅 시스템(600)은 타겟 차량(10)과 주변 차량들(20, 30)로부터 차량 센싱데이터를 수신하여 저장할 수 있다. 또한, 클라우드 컴퓨팅 시스템(600)은 타겟 차량(10)의 운행 위치를 기준으로 사전에 정해진 반경 Nkm 내에 위치하는 차량, 또는 타겟 차량(10)의 운행 위치를 기준으로 목적지까지 사용가능한 운행 경로들 중에서 전방 Nkm 내에 위치하는 차량을 타겟 차량(10)의 주변 차량으로 선별하고, 선별된 주변 차량들(20, 30)의 차량 센싱데이터를 포함하는 주변 운행 정보를 엣지 컴퓨팅 장치(100)로 전송할 수 있다. 예를 들어, 클라우드 컴퓨팅 시스템(600)은 표준 노드 링크 기반의 GPS 상의 비슷한 위치의 차량을 주변 차량으로 선별한다.
'주변 운행 정보'는 주변 차량들(20, 30)의 센서들이 센싱한 차량 센싱데이터와, 타겟 차량(10)이 운행 중인 지역(또는 주변)의 날씨 정보, 운행 중인 도로 또는 운행 예정인 도로의 공사 구간 정보 등 주행에 영향을 주는 모든 정보를 포함할 수 있다.
또한, 클라우드 컴퓨팅 시스템(600)은 엣지 컴퓨팅 장치(100)로부터 돌발 상황 징후 데이터가 수신되면, 수신된 돌발 상황 징후 데이터를 기반으로 타겟 차량(10)의 주행 상황 정보를 예측하고, 타겟 차량(10)의 주행 상황 정보와 주변 차량들(20, 30)의 주행 상황 정보를 연계하여 1차적으로 판단된 돌발 상황 징후를 심층 분석한 후, 심층 분석된 결과를 포함하는 돌발 상황에 대한 운행 정보(이하, '돌발 상황 운행 정보'라 함)를 생성하여 엣지 컴퓨팅 장치(100)로 전송할 수 있다.
엣지 컴퓨팅 장치(100)는 클라우드 컴퓨팅 시스템(600)으로부터 수신되는 돌발 상황 운행 정보를 타겟 차량(10)으로 전송한다.
타겟 차량(10)은 수신된 돌발 상황 운행 정보를 운전자가 인식가능하도록 외부로 표출하며, 이로써, 운전자는 운행 경로 중 돌발 상황 징후가 있는 위치를 인식하고 안전 운행에 집중할 수 있다.
이하에서는 도 2 내지 도 8을 참조하여 본 발명의 실시예를 보다 자세히 설명한다.
도 2는 도 1에 도시된 엣지 컴퓨팅 장치(100)와 클라우드 컴퓨팅 시스템(600)을 자세히 도시한 블록도이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 엣지 컴퓨팅 장치(100)는 버스(110), 엣지 통신부(120), 데이터 수집부(130), 엣지 메모리(140) 및 엣지 프로세서(150)를 포함한다.
버스(110)는 엣지 통신부(120), 데이터 수집부(130), 엣지 메모리(140) 및 엣지 프로세서(150)를 서로 연결하고, 제어 메시지, 상태정보, 및/또는 데이터와 같은 각종 신호를 전달하는 회로를 포함할 수 있다.
엣지 통신부(120)는 타겟 차량(10)과 클라우드 컴퓨팅 시스템(600)과의 통신을 위한 인터페이스 회로를 포함한다. 예를 들어, 엣지 통신부(120)는 타겟 차량(10)으로부터 차량 센싱데이터를 수신하고, 수신된 차량 센싱데이터를 클라우드 컴퓨팅 시스템(600)으로 전송하며, 클라우드 컴퓨팅 시스템(600)으로부터 주변 운행 정보를 수신할 수 있다.
데이터 수집부(130)는 타겟 차량(10)으로부터 수신되는 차량 센싱데이터를 수집 및 저장할 수 있다. 또한, 데이터 수집부(130)는 클라우드 컴퓨팅 시스템(600)으로부터 수신되는 주변 차량들(20, 30)의 주변 운행 정보를 수집 저장할 수 있다.
엣지 메모리(140)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 엣지 메모리(140)에는 엣지 컴퓨팅 장치(100)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.
엣지 메모리(140)에 저장되는 프로그램은 수집되는 차량 센싱데이터와 주변 운행 정보를 분석하여 타겟 차량(10)의 운전자가 설정한 운행 경로 상에서 발생할 수 있는 돌발 상황 징후를 1차적으로 판단하는 돌발 상황 판단 프로그램을 포함할 수 있다.
엣지 프로세서(150)는 엣지 메모리(140)에 저장된 하나 이상의 프로그램을 실행하여 엣지 컴퓨팅 장치(100)의 전반적인 동작을 제어할 수 있다.
이를 위하여, 엣지 프로세서(150)는 돌발상황징후 판단부(152), 돌발상황징후 데이터 생성부(154) 및 정상데이터 생성부(156)를 포함할 수 있다.
돌발상황징후 판단부(152)는 돌발 상황 판단 프로그램을 실행하여 타겟 차량(10)으로부터 수신된 차량 센싱데이터와 클라우드 컴퓨팅 시스템(600)으로부터 수신된 주변 운행 정보를 분석하여 운행 경로 상에서 사고가 발생하였는지의 여부, 사고 발생 가능성, 진행 중인 공사가 있는지의 여부, 주변 지역의 악천후 정보, 기타 장애물이 있는지의 여부 중 적어도 하나를 포함하는 돌발 상황 징후가 있는지를 1차적으로 판단할 수 있다. 즉, 돌발 상황은 사고, 도로 공사, 악천후, 장애물을 포함한다.
예를 들어, 돌발상황징후 판단부(152)는 타겟 차량(10)의 차량 센싱데이터 중 충돌 감지 데이터나 급감속 정보를 통해 돌발 상황 징후를 판단하거나, 주변 차량(20)의 영상 데이터를 통해 운행 경로 상에 장애물이 존재하는지 판단하거나, 외부 공공 데이터 중 한국도로공사에서 제공하는 도로 공사 구간에 대한 정보로부터 공사 여부 또는 사고 여부를 판단할 수 있다.
돌발상황징후 데이터 생성부(154)는 돌발상황징후 판단부(152)에서 돌발 상황 징후가 있는 것으로 판단되면, 돌발 상황 징후와 관련된 위치 정보, 영상 정보, 가감속 정보, 충돌 감지 정보, 레이저 송수신 데이터로부터 분석된 기상 상태 정보 중 적어도 하나를 판단 근거 데이터로서 차량 센싱데이터 및 주변 운행 정보로부터 추출할 수 있다.
예를 들어, 돌발상황징후 데이터 생성부(154)는 타겟 차량(10)의 차량 센싱데이터를 분석한 결과 급감속 이후 충돌 감지가 되면 타겟 차량(10)의 사고라고 판단하여 급감속 데이터와 충돌 감지데이터를 판단 근거 데이터로서 추출할 수 있다. 또한, 돌발상황징후 데이터 생성부(154)는 주변 차량(30)의 라이더 및 영상을 통해 수집되는 정보를 분석한 결과 라이더로 앞의 물체와의 거리가 계속적으로 줄어들 경우 영상을 통해 장애물이 있는 것으로 판단하고, 라이더가 센싱한 데이터와 영상데이터를 판단 근거 데이터로서 추출할 수 있다. 또한, 돌발상황징후 데이터 생성부(154)는 주변 차량(20)에 설치된 레이저를 내보내는 기기 두 개가 레이저를 송신 및 수신할 때 전달되는 데이터 형태로 기상 상태를 구분하고, 해당하는 레이저의 송수신 데이터를 악천후의 판단근거데이터로서 추출할 수 있다. 또한, 돌발상황징후 데이터 생성부(154)는 한국도로공사 교통정보센터의 정보와 타겟 차량(10)의 GPS 센서를 연계하여 운행 경로 상에서 진행 중인 공사를 판단하고, 공사가 진행 중인 위치 정보를 판단근거데이터로서 추출할 수 있다.
그리고, 돌발상황징후 데이터 생성부(154)는 돌발 상황 징후의 종류와 이를 추출한 판단 근거 데이터와 판단 근거 데이터를 추출하는데 사용된 타겟 차량(10)의 차량 센싱데이터와 주변 운행 정보를 포함하는 돌발 징후 데이터를 생성하고, 돌발 징후 데이터가 클라우드 컴퓨팅 시스템(600)으로 전송되도록 처리한다.
정상데이터 생성부(156)는 돌발상황징후 판단부(152)에서 돌발 상황 징후가 없는 것으로 판단되면, 타겟 차량(10)의 차량 센싱데이터와 수신된 주변 운행 정보를 정상데이터로 분류하고 차량 센싱데이터와 주변 운행 정보를 포함하는 정상데이터를 생성한 후 클라우드 컴퓨팅 시스템(600)으로 전송되도록 처리한다.
한편, 본 발명의 실시 예에 따른 클라우드 컴퓨팅 시스템(600)은 버스(610), 클라우드 통신부(620), 클라우드 DB(630), 클라우드 메모리(640) 및 클라우드 프로세서(650)를 포함한다.
버스(610)는 클라우드 통신부(620), 클라우드 DB(630), 클라우드 메모리(640) 및 클라우드 프로세서(650)를 서로 연결하고, 제어 메시지, 상태정보, 및/또는 데이터와 같은 각종 신호를 전달하는 회로를 포함할 수 있다.
클라우드 통신부(620)는 엣지 컴퓨팅 장치들(100~300), 공공 기관들(400, 500)과의 통신을 위한 인터페이스 회로를 포함한다.
클라우드 DB(630)는 엣지 컴퓨팅 장치들(100~300)로부터 수신되는 차량 센싱데이터와 공공 기관들(400, 500)들로부터 수신되는 외부 공공 데이터를 저장한다.
클라우드 메모리(640)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 클라우드 메모리(640)에는 클라우드 컴퓨팅 시스템(600)이 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.
클라우드 메모리(640)에 저장되는 프로그램은 엣지 컴퓨팅 장치(100)로부터 수신된 데이터가 돌발상황징후 데이터이면, 돌발상황징후 데이터에 포함된 차량 센싱데이터와 영상데이터를 이용하여 돌발 상황을 심층 분석하고, 수신된 데이터가 정상데이터이면 정상 운행 정보를 생성하는 심층 분석 프로그램을 포함할 수 있다.
클라우드 프로세서(650)는 클라우드 메모리(640)에 저장된 하나 이상의 프로그램을 실행하여 클라우드 컴퓨팅 시스템(600)의 전반적인 동작을 제어할 수 있다.
이를 위하여, 클라우드 프로세서(650)는 정상운행정보 생성부(652), 돌발상황 심층 분석부(654), 판별부(656), 돌발상황 운행 정보 생성부(658) 및 최종 운행정보 생성부(659)를 포함할 수 있다.
정상운행정보 생성부(652)는 엣지 컴퓨팅 장치(100)로부터 수신된 돌발 상황 분석 결과의 데이터가 정상데이터이면, 수신된 정상 데이터로부터 정상 운행 정보를 생성하여 메모리에 저장한 후 정상 운행 정보를 최종 운행정보 생성부(659)로 전달한다.
돌발상황 심층 분석부(654)는 엣지 컴퓨팅 장치(100)로부터 돌발 상황 징후로 분류된 돌발 상황 징후 데이터가 수신되면, 타겟 차량(10)의 전방 및 후방 중 적어도 하나에 위치하는 객체와 타겟 차량(10)의 주행 상황 정보를 포함하는 타겟 차량(10)의 주행 정보를 생성하고, 생성된 타겟 차량(10)의 주행 정보와 타겟 차량(10)의 주변에서 운행 중인 주변 차량들(20, 30)에 대해 생성된 주행 정보를 연계하여 돌발 상황 징후를 심층 분석할 수 있다. 이로써 돌발상황 심층 분석부(654)는 영상데이터로부터 장애물이 있는지 타겟 차량(10)의 앞에서 사고가 발생했는지, 날씨 상태가 어떠한지를 추출할 수 있다.
먼저, 돌발상황 심층 분석부(654)는 심층 분석 프로그램을 실행하여 타겟 차량(10)으로부터 수신된 차량 센싱데이터 중 영상데이터를 이용하여 딥러닝 알고리즘 기반의 객체를 검출하고, 목표물 분류 알고리즘에 의한 주행 상황 정보를 추출하여 돌발 상황 징후를 심층 분석할 수 있다.
다시 말하면, 돌발상황 심층 분석부(654)는 타겟 차량(10)이 운행 도중 돌발 상황이 발생할 징후가 1차적으로 판별되었으면, 타겟 차량(10)에서 촬영된 영상데이터와 영상인식기반의 차량 검출 알고리즘을 이용하여 타겟 차량(10)의 전방 및 후방 중 적어도 하나에 위치하는 객체(예를 들어, 차량 또는 보행자)를 검출하고, 타겟 차량(10)에서 촬영된 영상데이터와 중앙선 식별 알고리즘을 이용하여 차량의 주행 방향을 검출한 후, 검출된 객체와 차량의 주행 방향을 분석하여 타겟 차량(10)의 돌발 상황 징후를 심층 분석할 수 있다.
또한, 돌발상황 심층 분석부(654)는 주변 차량들(20, 30)의 운행 중 돌발 상황이 발생할 징후가 1차적으로 판별된 경우에도, 주변 차량들(20, 30)에 대하여 딥러닝 알고리즘 기반의 객체를 검출하고, 목표물 분류 알고리즘에 의한 주행 상황 정보를 추출하여 돌발 상황 징후를 각 주변 차량(20, 30) 별로 심층 분석할 수 있다. 장애물 인식 알고리즘은 'https://prezi.com/qzzqwryahnuy/opencv/ 또는 https://blog.naver.com/windowsub0406/220503344281'를 참조할 수 있다.
먼저, 도 3 내지 도 7을 참조하여 딥러닝 기반의 객체를 검출하는 동작에 대해 설명한다.
도 3은 영상인식기반 전방 차량 검출 알고리즘의 개요도, 도 4는 일반적인 Tenser Flow 구조를 도시한 도면, 도 5는 일반적인 CNN 구조를 도시한 도면, 도 6은 ROI pooling의 예시도, 도 7은 MultiNet의 물체 검출 알고리즘 구조를 도시한 도면이다.
먼저, 본 발명의 실시 예에서, 객체 검출은 전방 차량 또는 후방 차량 검출을 의미하고, 딥러닝 알고리즘과 차량 검출 알고리즘과 멀티넷의 물체 검출 알고리즘은 동일한 알고리즘을 의미하며, 설명의 편의를 위해 혼용될 수 있다.
도 3 내지 도 7을 참조하면, 딥러닝 알고리즘은 물체의 특징 추출 단계가 포함되어 있어, 영상 전처리 과정과 특징 추출 단계를 별도로 진행하지 않고, 딥러닝 알고리즘이 학습 목적에 맞춰 스스로 특징 추출 단계를 계산할 수 있는 장점이 있다. 도 5에 도시된 CNN(Convolution Neural Network) 구조는 컴퓨터가 스스로 특징표현을 학습하여 결과를 도출하는 특징표현 학습 알고리즘의 네트워크 구조로서, 영상의 위상학적 구조를 학습할 수 있도록 신경망의 구조를 새롭게 설계해 영상 처리에 적합한 신경망이다.
CNN은 특징을 추출하는 convolution과 pooling 레이어 단계와 추출된 특징을 학습하여 결과를 예측하는 Fully Connected 레이어 단계로 구성되어 있다. Convolution 레이어는 CNN을 이루는 핵심 레이어로, 입력 이미지로부터 특징을 추출하는 필터와 이 필터의 값을 비선형 값으로 변경하는 Activiation 함수로 구성된다. 또한, Pooling 레이어는 convolution 레이어에 의해 추출된 특징을 서브 샘플링하는 과정으로 convolution 레이어와 함께 특징을 추출하는 단계에 속한다. Fully Connected 레이어는 추출된 특징 값을 기존의 인공 신경망으로 분류하는 단계로 이 단계를 통해 예측 결과 값이 출력되는 구조이며, Softmax 함수와 같은 Activiation 함수를 추가로 사용하여 분류의 다양성을 확장시킬 수 있다.
한편, MultiNet 알고리즘은, YOLO(You only look once) 알고리즘의 장점인 fast regression design과 Fast-RCNN(Fast Recurrent Convolution Neural Network)알고리즘의 장점인 ROI-Pooling 기능을 결합한 알고리즘이다.
YOLO 알고리즘은 한 번에 물체의 종류와 위치를 찾는 알고리즘으로, 이미지 내의 Bounding Box와 class probability를 single regression 문제로 간주하며, 실시간 처리가 가능하지만 정확도가 비교적 낮다. Fast-RCNN 알고리즘은 Region proposal 단계를 진행한 이미지를 CNN 알고리즘으로 특징 맵을 추출한 후, ROI pooling 레이어 단계를 거쳐 softmax classifier와 Bounding Box Regressor 단계를 진행하는 알고리즘으로 정확도는 높지만, Region proposal 단계의 처리 속도가 느려 실시간에 적합하지 못하다. ROI pooling은 도 6에 도시된 것처럼 ROI크기에 상관없이 내가 원하는 N*M feature가 나오도록 ROI 내 영역을 나누는 방법이다.
이러한 MultiNet 알고리즘은 딥러닝 알고리즘을 이용해 실시간으로 분류(classification), 검출(detection), 분할(segmentation)하기 위한 알고리즘으로, 분류 단계는 도로와 사이드 도로를 구분하는 역할을 하고, 검출 단계에서는 차량을 검출하고, 분할단계에서는 빈 공간을 구별하는 역할을 한다. 본 발명의 경우, 블랙박스 영상에서 전방 차량 또는 후방 차량을 확인할 때, 분류와 분할 단계는 불필요하므로 검출 단계만 적용할 수 있다. 이는 본 발명에서는 중앙선 식별 알고리즘을 이용하여 중앙선을 식별하고 차량 주행방향을 추출하기 때문에, 분류와 분할 단계를 제외할 수 있다.
한편, 기존의 물체 검출 알고리즘은 region propasals 단계를 진행한 후 convolution 네트워크를 사용해 점수에 따라 물체를 검출하는 기법을 주로 사용하였다. 본 발명에서 사용하는 MultiNet의 검출 알고리즘은 end-to-end trainable 검출 방법을 제안하여, 크기에 적응적인 features를 가질 수 있는 장점이 있어, 다양한 크기의 차량 또는 보행자와 같은 객체를 실시간으로 검출할 수 있다.
도 7을 참조하면, 입력된 이미지는 CNN Encoder 단계와 Detection Decoder 단계를 거쳐 영상에서 물체를 검출한다. CNN Encoder 단계는 상술한 것처럼 VGG16(Very Deep Convolution Network)의 convolution 레이어와 Max pooling(5단계의 pooling 레이어) 단계를 거쳐 특징 맵을 추출하는 단계이다.
MultiNet의 Detection decoder는 FastBox라고 하며, Hidden, Prediction, Rezoom Layers, Delta Prediction의 4단계를 포함한다. Hidden 단계는 특징 맵을 500개의 filter로 1x1 convolution한 결과이며, 이를 1x1 convolution으로 특정 위치에 물체가 있는지에 대한 confidence와 해당 cell 주변 Bounding Box의 좌표를 찾는 과정을 prediction 과정이라 한다. Prediction 단계의 낮은 결과 정확도 향상을 위해 높은 차원(VGG)에 ROI pooling을 적용해 grid(39x12) 크기로 특징 추출하고, 1x1 convolution을 진행하는 Rezoom Layer 단계를 거쳐 해당 Bounding Box가 차량인지 아닌지를 판별할 수 있으며, 이로써 차량)의 전방 차량 또는 후방 차량이 판별된다.
상술한 영상인식기반의 물체 검출 알고리즘, 즉, 차량 검출 알고리즘은 영상데이터에서 운전자의 전방 또는 후방에 위치한 차량을 검출하여 교통 상황을 파악하며, 영상 내 차량 검출 크기는 (40x40)pixels 이상이고, 바퀴 2개 및 차량의 60% 이상이 식별가능할 경우 차량으로서 검출될 수 있다.
다음으로, 도 8을 참조하여 중앙선 식별 알고리즘에 의해 차량의 주행 방향을 판단하는 동작에 대해 설명한다.
도 8은 HSV 색상 모델을 이용한 중앙선 식별 결과의 예시도와 중앙선 식별 알고리즘을 적용한 차량 주행방향 판단 결과를 보여주는 도면이다.
먼저, 본 발명의 실시 예에서, 중앙선을 검출하여 타겟 차량(10)의 주행 방향 및/또는 차량 대수를 검출하는 동작은 주행상황정보를 추출하는 동작 또는 도로상황을 인식하는 동작과 동일한 의미로 사용될 수 있으며, 설명의 편의를 위해 혼용될 수 있다.
중앙선 식별 알고리즘은 도로에서 주로 노란색 실선으로 표현된 중앙선을 검출하기 위한 알고리즘으로서, 컬러모델을 RGB 색상 모델에서 HSV 색상 모델로 변경하여 명암에 관계없이 색상을 추출하여 차선을 검출할 수 있다. HSV 색상 모델은 모든 색상을 색상(Hue), 채도(Saturation), 명도(Value) 채널로 표현하는 방식으로 모든 채널을 확인해야 하는 RGB 색상 모델과 달리 색상 채널만 확인하여 노란색을 기준으로 하는 이진화 영상을 추출할 수 있다.
돌발상황 심층분석부(654)는 노란색인 영역과 노란색이 아닌 영역으로 이진화된 영상에서 직선 성분을 찾아 중앙선을 판별하며, 이로써 단순히 직선 성분을 찾던 기존의 알고리즘보다 중앙선 식별 시간이 빠르고 정확하다. 특히, 도 8의 아래에 도시된 예시도에서, 돌발상황 심층분석부(654)는 우측에 도시된 것처럼 중앙선(파란선)을 기준으로 양쪽의 차량의 주행 방향이 다름(노랑 사각형과 초록 사각형으로 구분)을 정확히 판단한다.
그리고, 돌발상황 심층분석부(654)는 검출된 객체, 즉, 검출된 전방 차량 또는 후방 차량과 주행 방향을 종합 분석하여 돌발 상황 징후를 보다 심층적으로 분석할 수 있다. 예를 들어, 타겟 차량(10)과 동일한 경로로 운행 중인 주변 차량(20)이 같은 방향의 옆차선으로 이탈한 경우 타겟 차량(10)의 주행방향의 차량 복잡도가 올라갈 수 있으며, 이러한 경우 타겟 차량(10)의 주행 방향에 대해 돌발 상황 징후가 있는 것으로 판단하고, 돌발 상황에 대한 가중치를 상향조정할 수 있다.
한편, 판별부(656)는 돌발 상황 징후를 심층 분석한 결과와 외부 공공 데이터를 연계 및 분석하여 타겟 차량(10)의 운행 경로를 기준으로 사고 발생 여부, 공사 진행 여부, 악천후 정보 및 장애물 여부 즉, 돌발 상황 징후의 타입을 심층 분석 및 판별할 수 있다. 판별부(656)에서 고려되는 타겟 차량(10)의 운행 경로는 타겟 차량(10)의 운전자가 네비게이션 장치를 통해 설정된 목적지까지의 운행 경로, 또는 돌발상황 심층 분석부(654)에서 예측가능한 다른 운행 경로들을 포함한다.
예를 들어, 돌발상황 심층분석부(654)의 심층 분석 결과와 주변 차량(20)이 전복된 도로의 전방에서 공사도 진행 중이라면, 판별부(656)는 돌발 상황 징후의 타입을 사고와 공사로 판별하며, 사고와 공사의 정도에 따라 가중치를 다르게 줄 수 있다.돌발상황 운행정보 생성부(658)는 판별부(656)에서 판별된 결과를 포함하는 돌발 상황 운행 정보를 생성하여 클라우드 DB(630)에 저장하고, 최종 운행정보 생성부(659)로 전달한다. 또는, 판별부(656)는 타겟 차량(10)의 위치를 판별하여 해당 위치의 기상데이터와 매핑하여 악천후를 판별할 수 있다.
최종 운행정보 생성부(659)는 돌발상황 운행정보 생성부(658)로부터 전달받은 돌발상황 운행정보를 분석하여 돌발 상황 징후가 발생한 지역의 위치 정보와 예측된 돌발 상황 징후의 종류와 예측된 시간, 돌발 상황에 의한 목적지까지의 도착 예정 시간, 추천 경로 등을포함하는 최종 운행 정보를 생성할 수 있다. 여기서, 돌발상황 운행정보 생성부(658)에서 생성되는 돌발상황 운행 정보와 최종 운행정보 생성부(659)에서 생성되는 돌발상황 운행정보는 데이터 필드의 형태는 동일하며, 다만, 돌발 징후에 관련된 값들이 NONE 값으로 초기화 된 값이냐 아니냐의 차이가 있을 수 있다. 데이터의 정보로는 타겟 차량(10)에서 수집된 차량 센싱데이터, 엣지 컴퓨팅 장치(100)에서 분석된 1차 돌발 징후의 판단 근거 데이터, 그리고, 클라우드 컴퓨팅 시스템(600)에서 자체적으로 돌발 징후를 판단한 2차 도발 징후의 값들이 가진 데이터 형태(예를 들면, 사고, 공사, 악천후, 장애물 중 하나 이상)를 포함할 수 있다.
또한, 최종 운행정보 생성부(659)는 정상운행정보 생성부(652)로부터 전달받은 정상 운행 정보에 대해서도 현재 시간을 포함하는 최종 운행 정보를 생성할 수 있다.
최종 운행정보 생성부(659)는 생성된 최종 운행 정보를 엣지 컴퓨팅 장치(100)로 전송하고, 엣지 컴퓨팅 장치(100)는 최종 운행 정보를 저장하고, 타겟 차량(10)에 노출하도록 지시할 수 있다.
도 9는 본 발명의 실시 예에 따른 엣지-클라우드 시스템의 돌발 상황 정보 제공 방법을 설명하기 위한 흐름도이다.
도 9 및 도 10에 도시된 타겟 차량(10), 엣지 컴퓨팅 장치(100), 주변 차량들(20, 30), 공공기관 서버(400, 500) 및 클라우드 컴퓨팅 시스템(600)은 도 1 내지 도 8을 참조하여 설명하였으므로 상세한 설명은 생략한다. 주변 엣지 컴퓨팅 장치들(200, 300) 역시 설명의 편의를 위해 생략한다
도 9를 참조하면, 엣지 컴퓨팅 장치(100)는 타겟 차량(10)으로 차량 센싱데이터를 수신하여 수집 및 저장한 후, 클라우드 컴퓨팅 시스템(600)으로 전송한다(S905, S910, S915).
주변 차량들(20, 30)도 차량 센싱데이터를 클라우드 컴퓨팅 시스템(600)으로 전송하고, 공공기관 서버(400, 500) 또는 3RD PART G/W 서버(미도시)는 외부 공공데이터를 가동하여 클라우드 컴퓨팅 시스템(600)으로 전송한다(920, S925).
클라우드 컴퓨팅 시스템(600)은 수신된 타겟 차량(10)과 주변 차량들(20, 30)의 차량 센싱 데이터, 외부 공공데이터를 클라우드 DB(630)에 저장한다(S930).
클라우드 컴퓨팅 시스템(600)은 타겟 차량(10)의 현재 위치와 운행 경로를 기준으로 타겟 차량(10)의 주변 차량을 선별하고, 선별된 주변 차량들(20, 30)의 차량 센싱데이터와 타겟 차량(10)의 운행 경로와 관련된 외부 공공데이터를 클라우드 DB(630)에서 추출하여 주변 운행 정보를 생성하고, 생성된 주변 운행 정보를 엣지 컴퓨팅 장치(100)로 전송한다(S935, S940).
엣지 컴퓨팅 장치(100)는 수신되는 주변 운행 정보를 저장한다(S945).
엣지 컴퓨팅 장치(100)는 S915단계 및 S945단계에서 저장된 타겟 차량(10)의 차량 센싱데이터와 주변 운행 정보를 분석하여 돌발 상황 징후의 여부를 1차적으로 판단할 수 있다(S950).
엣지 컴퓨팅 장치(100)는 S950의 판단 결과에 따라 S950단계에서 사용된 차량 센싱데이터와 주변 운행 정보를 돌발 상황 데이터 또는 정상 데이터로 분류하여 클라우드 컴퓨팅 시스템(600)으로 전송한다(S955).
클라우드 컴퓨팅 시스템(600)은 S950단계에서 수신된 데이터가 돌발 상황 데이터이면(S960-Yes), 타겟 차량(10)의 센싱데이터를 주변 차량들(20, 30)의 센싱데이터와 외부 공공데이터와 연계하여 1차적으로 판단된 돌발 상황을 심층 분석한다(S965).
클라우드 컴퓨팅 시스템(600)은 S950단계에서 수신된 데이터가 정상 데이터이면(S960-No), 정상데이터에 대해 정상 운행 정보를 생성한다(S970).
그리고, 클라우드 컴퓨팅 시스템(600)은 S965단계의 심층 분석 결과 또는 S970단계에서 생성된 정상 운행 정보를 최종 분석하여 최종 분석된 운행 정보를 생성한 후 엣지 컴퓨팅 장치(100)로 전송한다(S975, S980).
엣지 컴퓨팅 장치(100)는 수신된 최종 분석된 운행 정보를 저장하고, 타겟 차량(10)으로 전송한다(S985, S990). 이로써 타겟 차량(10)은 현재 주행 중인 운행 경로 상에서 돌발 상황 징후가 있는지 또는 정상적인지를 운전자가 인식가능한 형태로 변환하여 외부로 출력한다.
도 10은 S950단계 내지 S970단계를 자세히 도시한 흐름도이다.
도 10을 참조하면, 엣지 컴퓨팅 장치(100)는 S915단계 및 S945단계에서 저장된 타겟 차량(10)의 차량 센싱데이터와 주변 운행 정보를 분석하여 돌발 상황 징후가 있는지를 1차적으로 판단한다(S1010).
돌발 상황 징후가 있으면(S1010-Yes), 엣지 컴퓨팅 장치(100)는 돌발 징후를 나타내는 판단 근거 데이터를 S1010단계에서 사용된 차량 센싱데이터와 주변 운행 정보에서 추출하고, 현재 상황을 돌발 상황으로 분류한다(S1030).
그리고, 엣지 컴퓨팅 장치(100)는 S1010단계에서 사용된 차량 센싱데이터와 주변 운행 정보를 돌발 상황 징후 데이터로 생성하여 클라우드 컴퓨팅 시스템(600)으로 전송한다(S1040, S955).
반면, 돌발 상황 징후가 없는 것으로 판단되면(S1010-No), 엣지 컴퓨팅 장치(100)는 현재 상황을 정상으로 분류하고, S1010단계에서 사용된 차량 센싱데이터와 주변 운행 정보를 정상데이터로 생성하여 클라우드 컴퓨팅 시스템(600)으로 전송한다(S1050, S955).
클라우드 컴퓨팅 시스템(600)은 S955단계로부터 수신되는 데이터가 돌발 상황 징후 데이터이면(S1050-Yes), 타겟 차량(10)의 영상데이터로부터 전방 및 후방 중 적어도 하나에 위치하는 객체를 딥러닝 기반으로 학습한 AI(인공지능)를 통해 검출하고, 목표물 분류 알고리즘을 통해 타겟 차량(10)의 주행 상황 정보를 추출한다(S1060).
클라우드 컴퓨팅 시스템(600)은 추출된 객체와 주행 상황 정보를 포함하는 타겟 차량(10)의 주행 정보와 주변 차량들(20, 30)의 상황 정보와 외부 공공데이터를 연계하여 돌발 상황 징후를 심층 분석할 수 있다(S1070). 주변 차량들(20, 30)의 상황 정보는, 돌발 상황 징후의 여부, 주변 차량들(20, 30)에서 센싱된 센싱데이터와 주변 차량들(20, 30) 각각에 대해 1차로 판단된 돌발 상황 징후 데이터(또는 정상 데이터)와 종류, 주변 차량들(20, 30)의 주행 정보(객체와 주행 방향 정보)를 포함한다.
클라우드 컴퓨팅 시스템(600)은 돌발 상황 징후의 심층 분석 결과와 외부 공공 데이터를 연계하고 수집된 영상데이터를 딥러닝 기반으로 학습한 AI(인공지능)를 통해 판독하여 타겟 차량(10)의 운행 경로를 기준으로 돌발 상황 징후의 타입을 판별할 수 있다(S1080). 예를 들어, 외부 공공데이터가 기상과 관련된 악천후 여부의 판별에 사용될 외부 기상데이터인 경우, S1080단계는 운전자의 위치를 판별하여 해당 위치의 지역을 기상데이터와 매핑하여 악천후를 판별할 수 있다. 또는 주변 차량(20)에서 전송된 차량 센싱데이터 중 기상과 관련된 레이더 데이터를 분석하여 저장된 데이터에 해당 위치의 기상 상태를 나타내는 값이 있고, 이 값들과 기상청으로부터의 기상데이터를 연계하여 악천후 여부를 최종 판별할 수 있다.
S1080단계에서 사용되는 외부 공공데이터는 타겟 차량(10)의 운행 경로를 기준으로 사전에 정해진 주변에서 발생하는 공공데이터일 수 있다.
클라우드 컴퓨팅 시스템(600)은 S1070단계의 심층 분석 결과와 S1080단계의 판별 결과를 포함하는 돌발 상황 운행 정보를 생성하고(S1090), 돌발 상황 징후가 발생한 지역의 위치 정보와 예측된 돌발 상황 징후의 종류와 예측된 시간을 포함하는 최종 운행 정보를 생성할 수 있다(S980).
반면, 클라우드 컴퓨팅 시스템(600)은 S955단계로부터 수신되는 데이터가 정상데이터이면(S1050-No), 전송가능한 형태의 정상데이터를 이용하여 정상 운행 정보를 생성하고(S1095), 정상데이터로 판별된 현재 시간과 날씨, 가장 안전한 경로로 예상되는 추천 경로 등을 포함하는 최종 운행 정보를 생성할 수 있다(S980).
한편, 이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시 예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주하여야 할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 타겟 차량 20, 30: 주변 차량
100, 200, 300: 엣지 컴퓨팅 장치들
400, 500: 공공기관 서버
600: 클라우드 컴퓨팅 시스템

Claims (5)

  1. 타겟 차량으로부터 수신되는 차량 센싱데이터와, 클라우드 컴퓨팅 시스템으로부터 수신되는 상기 타겟 차량이 운행 중인 주변과 관련된 주변 운행 정보를 분석하여 돌발 상황 징후의 여부를 판단하고, 돌발 상황 징후가 있는 것으로 판단되면, 상기 돌발 상황 징후를 판단한 판단 근거 데이터를 상기 차량 센싱데이터 및 상기 주변 운행 정보로부터 추출하여 상기 타겟 차량에 대한 돌발 상황 징후 데이터를 생성하는 엣지 컴퓨팅 장치; 및
    상기 엣지 컴퓨팅 장치로부터 돌발 상황 징후 데이터가 수신되면, 상기 수신된 돌발 상황 징후 데이터를 기반으로 상기 타겟 차량의 주행 상황 정보를 예측하고, 상기 타겟 차량의 주행 상황 정보와 주변 차량들의 주행 상황 정보를 연계하여 상기 돌발 상황 징후를 심층 분석한 후, 상기 심층 분석된 결과를 포함하는 돌발 상황에 대한 운행 정보(이하, '돌발 상황 운행 정보'라 함)를 생성하여 상기 엣지 컴퓨팅 장치로 전송하는 클라우드 컴퓨팅 시스템;을 포함하고,
    상기 엣지 컴퓨팅 장치는 상기 클라우드 컴퓨팅 시스템으로부터 수신되는 돌발 상황 운행 정보를 상기 타겟 차량으로 전송하는 것을 특징으로 하는 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템.
  2. 제1항에 있어서,
    상기 엣지 컴퓨팅 장치는,
    상기 타겟 차량의 차량 센싱데이터와 상기 주변 운행 정보를 분석하여 사고 발생 여부, 공사 진행 여부, 악천후 정보 및 장애물 여부 중 적어도 하나를 포함하는 돌발 상황 징후의 여부를 판단하고,
    상기 타겟 차량 및 주변 차량들에서 센싱되는 차량 센싱데이터는 영상데이터, 속도데이터, 가속도 데이터, 급감속 데이터, 충돌 감지 데이터, 레이저 송수신 데이터 중 적어도 하나를 포함하고,
    상기 주변 운행 정보는 상기 주변 차량들에서 센싱된 차량 센싱데이터와, 공공 기관에서 제공하는 기상 데이터 및 도로 공상 중인 구간 정보를 포함하는 것을 특징으로 하는 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템.
  3. 제2항에 있어서,
    상기 엣지 컴퓨팅 장치는,
    상기 돌발 상황 징후가 있는 것으로 판단되면, 상기 돌발 상황 징후와 관련된 위치 정보, 영상 정보, 가감속 정보, 충돌 감지 정보, 레이저 송수신 데이터로부터 분석된 기상 상태 정보 중 적어도 하나를 상기 판단 근거 데이터로서 상기 차량 센싱데이터 및 상기 주변 운행 정보로부터 추출하는 것을 특징으로 하는 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템.
  4. 제1항에 있어서,
    상기 클라우드 컴퓨팅 시스템은,
    상기 돌발 상황 징후 데이터가 수신되면, 상기 타겟 차량의 전방 및 후방 중 적어도 하나에 위치하는 객체와 상기 타겟 차량의 주행 상황 정보를 포함하는 상기 타겟 차량의 주행 정보를 생성하고, 상기 생성된 타겟 차량의 주행 정보와 상기 타겟 차량의 주변에서 운행 중인 주변 차량들에 대해 생성된 주행 정보를 연계하여 돌발 상황 징후를 심층 분석하는 것을 특징으로 하는 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템.
  5. 제4항에 있어서,
    상기 클라우드 컴퓨팅 시스템은,
    상기 돌발 상황 징후를 심층 분석한 결과와 외부 공공 데이터를 연계 및 분석하여 사고 발생 여부, 공사 진행 여부, 악천후 정보 및 장애물 여부를 판별하고, 상기 판별된 결과를 포함하는 돌발 상황 운행 정보를 생성하여 상기 엣지 컴퓨팅 장치로 전송하는 것을 특징으로 하는 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템.
KR1020180095597A 2018-08-16 2018-08-16 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템 KR102105007B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180095597A KR102105007B1 (ko) 2018-08-16 2018-08-16 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180095597A KR102105007B1 (ko) 2018-08-16 2018-08-16 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템

Publications (2)

Publication Number Publication Date
KR20200020193A true KR20200020193A (ko) 2020-02-26
KR102105007B1 KR102105007B1 (ko) 2020-04-28

Family

ID=69637816

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180095597A KR102105007B1 (ko) 2018-08-16 2018-08-16 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템

Country Status (1)

Country Link
KR (1) KR102105007B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102354870B1 (ko) * 2021-08-20 2022-01-21 한밭대학교 산학협력단 게임엔진 기반 디지털 건설현장 안전 모니터링 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102409052B1 (ko) 2020-09-22 2022-06-15 (주)엘렉스정보통신 커넥티드 데이터 다중접속 동시전송장치 및 커넥티드 데이터 관리시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140119471A (ko) * 2013-04-01 2014-10-10 현대엠엔소프트 주식회사 차량내 장치 기반의 위험도로구간 정보 수집 및 주의안내 서비스제공 시스템 및 그 방법
KR20160080231A (ko) * 2014-12-29 2016-07-07 재단법인대구경북과학기술원 주행 구간 내 위험 정보 알람 시스템 및 방법
JP2017084034A (ja) * 2015-10-27 2017-05-18 株式会社日立製作所 交通情報提供装置及びシステム及び方法
KR20170065366A (ko) * 2015-12-03 2017-06-13 현대오트론 주식회사 안전 운전 지원 장치
KR20180049892A (ko) * 2016-11-04 2018-05-14 (주)에코브레인 실시간 운전자 환경이 반영된 커넥티드카 기반 전기차 플랫폼 시스템
KR20180063789A (ko) 2016-12-02 2018-06-12 팅크웨어(주) 차량 운행 상태를 통합 관리하기 위한 방법 및 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140119471A (ko) * 2013-04-01 2014-10-10 현대엠엔소프트 주식회사 차량내 장치 기반의 위험도로구간 정보 수집 및 주의안내 서비스제공 시스템 및 그 방법
KR20160080231A (ko) * 2014-12-29 2016-07-07 재단법인대구경북과학기술원 주행 구간 내 위험 정보 알람 시스템 및 방법
JP2017084034A (ja) * 2015-10-27 2017-05-18 株式会社日立製作所 交通情報提供装置及びシステム及び方法
KR20170065366A (ko) * 2015-12-03 2017-06-13 현대오트론 주식회사 안전 운전 지원 장치
KR20180049892A (ko) * 2016-11-04 2018-05-14 (주)에코브레인 실시간 운전자 환경이 반영된 커넥티드카 기반 전기차 플랫폼 시스템
KR20180063789A (ko) 2016-12-02 2018-06-12 팅크웨어(주) 차량 운행 상태를 통합 관리하기 위한 방법 및 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102354870B1 (ko) * 2021-08-20 2022-01-21 한밭대학교 산학협력단 게임엔진 기반 디지털 건설현장 안전 모니터링 시스템

Also Published As

Publication number Publication date
KR102105007B1 (ko) 2020-04-28

Similar Documents

Publication Publication Date Title
US11840239B2 (en) Multiple exposure event determination
CN111712829B (zh) 检测阻塞静止车辆
US10853673B2 (en) Brake light detection
KR102073929B1 (ko) 블록체인망을 이용한 차량의 비상 상황 로그 시스템
US10223910B2 (en) Method and apparatus for collecting traffic information from big data of outside image of vehicle
CN110796007B (zh) 场景识别的方法与计算设备
US10717442B2 (en) Method and apparatus for determining a presently existing driving situation
CN113095125B (zh) 基于场景连续性来诊断感知系统
CN108960083B (zh) 基于多传感器信息融合的自动驾驶目标分类方法及系统
KR101969842B1 (ko) 딥 러닝을 기반으로 도로노면 위험 정보를 분류하기 위한 시스템 및 그 방법
CN112330915B (zh) 无人机森林防火预警方法、系统、电子设备和存储介质
US20230419688A1 (en) Ambiguous Lane Detection Event Miner
KR102105007B1 (ko) 커넥티드 카 데이터 수집 및 돌발 상황 정보 제공을 위한 엣지-클라우드 시스템
CN114841910A (zh) 车载镜头遮挡识别方法及装置
CN111967384A (zh) 车辆信息处理方法、装置、设备及计算机可读存储介质
JP7380616B2 (ja) 自動運転制御装置、自動運転制御方法、及び自動運転制御プログラム
KR20180058090A (ko) 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법
EP4113377A1 (en) Use of dbscan for lane detection
US10415981B2 (en) Anomaly estimation apparatus and display apparatus
KR101877809B1 (ko) Gpu를 이용한 신호등 인식 장치 및 방법
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
CN112437111B (zh) 一种基于上下文感知的车路协同系统
CN114972731A (zh) 交通灯检测识别方法及装置、移动工具、存储介质
US20240124002A1 (en) Method and apparatus for changing route when error occurs in autonomous driving artificial intelligence
Juyal et al. Anomalous Activity Detection Using Deep Learning Techniques in Autonomous Vehicles

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant