KR102246462B1 - 지능형 엣지 기반 도로교통 상황인지 방법 - Google Patents
지능형 엣지 기반 도로교통 상황인지 방법 Download PDFInfo
- Publication number
- KR102246462B1 KR102246462B1 KR1020200072490A KR20200072490A KR102246462B1 KR 102246462 B1 KR102246462 B1 KR 102246462B1 KR 1020200072490 A KR1020200072490 A KR 1020200072490A KR 20200072490 A KR20200072490 A KR 20200072490A KR 102246462 B1 KR102246462 B1 KR 102246462B1
- Authority
- KR
- South Korea
- Prior art keywords
- situation
- recognition
- learning
- road
- dangerous
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
-
- G06K9/00771—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G06K2209/15—
-
- G06K2209/23—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 지능형 엣지 기반 도로교통 상황인지 방법에 관한 것으로, 도로교통 현장지원을 위한 학습모델 서버로부터 사전 학습되어 구축된 사전 학습 모델을 수신하는 단계, 상기 사전 학습 모델을 엣지(edge) 디바이스가 운영되는 엣지 환경에 맞춰 조정하는 단계, 조정된 상기 사전 학습 모델을 기초로 적어도 하나의 학습 알고리즘에 관한 응용 학습을 수행하여 도로교통 상황인지를 위한 인지 모델을 생성하는 단계 및 상기 엣지 디바이스 상에서 수집된 도로현장 상황 데이터를 상기 인지 모델에 적용하여 도로교통에 관한 시나리오별 위험상황을 인지하는 단계를 포함한다.
Description
본 발명은 지능형 엣지 유닛 기술에 관한 것으로, 보다 상세하게는 지능형 엣지 아키텍쳐를 기반으로 임베디드 AI 모듈을 통해 스마트 도로조명 인근에서 수집된 도로현장 데이터를 분석하여 위험 상황을 판단할 수 있는 지능형 엣지 기반 도로교통 상황인지 방법에 관한 것이다.
최근 재난 및 안전사고의 형태는 점차 대형화, 복합화 되고 있고 이로 인해 다양한 재난발생에 따른 사회·경제적 손실 역시 증대하고 있다. 4차 산업혁명을 구성하는 신기술들을 재난·안전 분야에 도입 활용하는 새로운 재난안전 관리 패러다임의 변화가 필요하다. 기존 기술적 수준에서는 다룰 수 없었던 빅데이터 처리와 인공지능을 활용한 자가학습을 통해 대용량의 정보를 실시간으로 수집·분석하여 효과적인 의사결정 지원으로 재난안전·관리분야의 획기적인 변화가 가능하다.
이에 재난대응의 목표는 재난 상황을 빠르게 인지하고 정확한 행동매뉴얼을 적용함으로써, 추가적인 인적·물적 피해를 최소화하는 것이다. 그러나, 재난상황을 빠르게 인식하고 정확한 행동 매뉴얼을 적용함에 있어 모든 과정을 정확히 이행하기에는 한계가 있다. 재난관리 담당자들의 역량은 재난을 경험하면서 향상되는 것이기 때문에 담당자의 경험이 적다면 재난대응 과정이 정확히 이행되기란 더욱 어려운 일이다.
이러한 문제점을 해결하기 위하여 4차산업혁명 시대가 열리면서 빅데이터, 무인기, 인공지능, 차세대 통신, 가상·증강현실, 지능형 로봇 등의 기술을 바탕으로 한 "초연결 기반 지능화 혁명" 기반으로 다양한 ICT기술을 재난상황에 적용하려는 시도가 늘어나고 있다.
본 발명의 일 실시예는 지능형 엣지 아키텍쳐를 기반으로 임베디드 AI 모듈을 통해 스마트 도로조명 인근에서 수집된 현장 데이터를 분석하여 위험 상황을 판단할 수 있는 지능형 엣지 기반 도로교통 상황인지 방법을 제공하고자 한다.
본 발명의 일 실시예는 스마트 도로조명을 통해 수집된 도로환경 정보를 기초로 도로상황을 인지·판단하여 이용자 위험정보를 제공함으로써 교통사고 저감에 기여할 수 있는 지능형 엣지 기반 도로교통 상황인지 방법을 제공하고자 한다.
본 발명의 일 실시예는 엣지 디바이스 환경에서 학습 서버로부터 제공되는 학습 모델의 로컬라이징을 통해 도로교통 상황인지 및 전파를 효과적으로 수행할 수 있는 지능형 엣지 기반 도로교통 상황인지 방법을 제공하고자 한다.
실시예들 중에서, 지능형 엣지 기반 도로교통 상황인지 방법은 도로교통 현장지원을 위한 학습모델 서버로부터 사전 학습되어 구축된 사전 학습 모델을 수신하는 단계, 상기 사전 학습 모델을 엣지(edge) 디바이스가 운영되는 엣지 환경에 맞춰 조정하는 단계, 조정된 상기 사전 학습 모델을 기초로 적어도 하나의 학습 알고리즘에 관한 응용 학습을 수행하여 도로교통 상황인지를 위한 인지 모델을 생성하는 단계 및 상기 엣지 디바이스 상에서 수집된 도로현장 상황 데이터를 상기 인지 모델에 적용하여 도로교통에 관한 시나리오별 위험상황을 인지하는 단계를 포함한다.
상기 수신하는 단계는 상기 사전 학습 모델에 관한 레이어 정보와 모델 데이터를 수신하는 단계를 포함하고, 상기 조정하는 단계는 모델 옵티마이저(model optimizer)를 통해 가중치를 양자화(quantization)하고 배치(batch)별 학습을 통해 상기 가중치를 갱신하는 단계를 포함할 수 있다.
상기 생성하는 단계는 상기 응용 학습을 통해 상기 도로교통에 관한 영상 및 센서정보를 입력 데이터로 사용하여 교차로, 터널, 스쿨존, 횡단보도 및 결빙도로를 포함하는 위험상황들과 교통사고, 정체, 교차로 경로, 차량 과속, 차량 가감속, 차량 역주행 및 교통량을 포함하는 시나리오들 간의 조합으로 정의되는 시나리오별 위험상황을 출력으로 제공하는 모델을 상기 인지 모델로서 생성하는 단계를 포함할 수 있다.
상기 인지하는 단계는 독립적인 동작을 수행하는 모듈들 각각을 통해, 위험상황 인지와 함께 다음의 이벤트 발생 단계들 중 적어도 하나를 수행하는 단계를 포함할 수 있다.
1-1) 상기 도로현장 상황 데이터의 영상 및 센서정보를 기준으로 특정 라인을 설정하고 인식객체와 상기 특정 라인 간의 중첩을 검출하여 위험가능 상황에 관한 이벤트를 발생시키는 단계
1-2) 상기 영상 및 센서정보에서 도로 영역을 검출하고 해당 도로 영역 내에 존재하는 인식객체들의 방향 및 위치를 기초로 상기 위험가능 상황 중 충돌에 관한 이벤트를 발생시키는 단계
1-3) 상기 영상 및 센서정보에서 연속하여 추출된 이미지들 간의 변화율이 기 설정된 임계값을 초과하는 경우 영상 생성 동작의 정상 유무에 관한 이벤트를 발생시키는 단계
상기 도로교통 상황인지 방법은 상기 위험상황의 위치와 등급을 결정하는 단계, 상기 위험상황의 등급에 따라 위험상황 알림 영역을 결정하는 단계 및 상기 위험상황 알림 영역과 연관된 적어도 하나의 엣지 디바이스에게 상기 위험상황을 전파하는 단계를 더 포함할 수 있다.
상기 전파하는 단계는 독립적인 동작을 수행하는 모듈들 각각을 통해, 위험상황 분석을 위해 다음의 후처리 단계들 중 적어도 하나를 수행하는 단계를 더 포함할 수 있다.
2-1) 상기 위험상황의 위치를 기준으로 정의되는 위험지역 내의 인식객체에 대한 카운트 및 인덱스를 저장하는 단계
2-2) 상기 인식객체의 고유특징-상기 인식객체가 차량인 경우 상기 고유특징은 차종, 색상 및 번호판을 포함함-을 인식하고 특징별 인덱스를 저장하는 단계
2-3) 상기 인식객체의 위험도를 기초로 결정되는 위험객체에 대한 인덱스를 저장하는 단계
2-4) 상기 위험객체에 대해 상황예측을 통해 기 정의된 복수의 위험가능 상황들로 분류하여 저장하는 단계
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 지능형 엣지 기반 도로교통 상황인지 방법은 스마트 도로조명을 통해 수집된 도로환경 정보를 기초로 도로상황을 인지·판단하여 이용자 위험정보를 제공함으로써 교통사고 저감에 기여할 수 있다.
본 발명의 일 실시예에 따른 지능형 엣지 기반 도로교통 상황인지 방법은 엣지 디바이스 환경에서 학습 서버로부터 제공되는 학습 모델의 로컬라이징을 통해 도로교통 상황인지 및 전파를 효과적으로 수행할 수 있다.
도 1은 도로조명 플랫폼을 구성하는 스마트 도로조명의 구성을 설명하는 도면이다.
도 2는 본 발명에 따른 도로교통 상황인지 장치의 시스템 구성을 설명하는 도면이다.
도 3은 본 발명에 따른 도로교통 상황인지 장치의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 지능형 엣지 기반의 도로교통 상황인지 방법을 설명하는 순서도이다.
도 5는 본 발명의 다른 실시예에 따른 지능형 엣지 기반의 도로교통 상황인지 방법을 설명하는 순서도이다.
도 6은 본 발명에 따른 지능형 엣지 기반의 도로교통 상황인지 방법을 설명하는 개념도이다.
도 2는 본 발명에 따른 도로교통 상황인지 장치의 시스템 구성을 설명하는 도면이다.
도 3은 본 발명에 따른 도로교통 상황인지 장치의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 지능형 엣지 기반의 도로교통 상황인지 방법을 설명하는 순서도이다.
도 5는 본 발명의 다른 실시예에 따른 지능형 엣지 기반의 도로교통 상황인지 방법을 설명하는 순서도이다.
도 6은 본 발명에 따른 지능형 엣지 기반의 도로교통 상황인지 방법을 설명하는 개념도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
스마트 도로조명 플랫폼은 도로조명(예를 들어, 스마트 도로조명)에 영상 및 센서정보, ICT 기술을 접속시켜 도로환경 정보를 수집하고 분석 및 인지·판단하여 이용자 위험정보를 제공함으로써 교통사고 저감에 기여할 수 있다. 스마트 도로조명 플랫폼은 도로환경 정보의 수집을 위하여 교통사고가 발생하기 쉬운 횡단보도, 교차로, 터널, 스쿨존 및 결빙구간 등에 설치된 도로조명을 스마트화 하여 엣지 단말로서 구성할 수 있다.
즉, 스마트 도로조명 플랫폼은 인접 영역에 설치된 다수의 스마트 도로조명들이 각각의 엣지 장치로서 동작할 수 있고, 다수의 스마트 도로조명들과 연결되어 해당 인접 영역의 통합 관리를 담당하는 로컬 플랫폼 서버를 포함하며, 다수의 로컬 플랫폼 서버들과 연결되어 전체 영역에 대한 통합 관리를 담당하는 통합 플랫폼 서버를 포함하여 구성될 수 있다. 또한, 통합 플랫폼 서버는 도시 재난안전 관리 서버와 연계되어 재난정보를 전달할 수 있다.
도 1은 도로조명 플랫폼을 구성하는 스마트 도로조명의 구성을 설명하는 도면이다.
도 1를 참조하면, 스마트 도로조명(100)은 스마트 도로조명 플랫폼의 엣지(edge)단에서 인근의 도로환경 정보를 수집하여 통합 운영을 지원하기 위한 관제 센터에 전송하는 역할을 수행할 수 있다. 이 때, 도로환경 정보는 센서정보, 영상 및 현장정보를 포함할 수 있다. 스마트 도로조명(100)은 통상적인 조명 기능을 위한 구성을 기본으로 포함하면서 CCTV(110), 고정센서(120), 추가센서(130), 지능형 엣지 유닛 장치(140) 및 무선통신(150)을 포함하여 구현될 수 있다.
CCTV(110)는 인근의 현장감시를 위한 감시 카메라를 포함할 수 있고, 사각 영역의 최소화를 위하여 360도 회전 가능하도록 설치될 수 있다. 고정센서(120)는 스마트 도로조명(100)에 설치되는 필수 센서에 해당할 수 있고, 온·습도, 소리 및 안개 등의 환경정보를 수집할 수 있다. 추가센서(130)는 고정센서(120)와 달리 설치 환경에 따라 선택적으로 추가할 수 있는 보조 센서에 해당할 수 있고, 기압 및 노면온도 등의 환경정보를 수집할 수 있다.
지능형 엣지 유닛(IEU, Intelligent Edge Unit) 장치(140)는 엣지 컴퓨팅에 해당할 수 있고, 데이터 수집, 상황분석 및 인지 등의 동작을 수행할 수 있다. 지능형 엣지 유닛 장치(140)는 별도의 학습 서버에서 학습된 정보를 적용하여 상황분석 및 인지 동작을 수행할 수 있으며, 이를 위한 구성으로서 내부에 독립적인 추론(Inference) 시스템(예를 들어, 임베디드 AI 모듈)을 포함하여 구현될 수 있다. 무선통신(150)은 WAVE 통신과 같이 스마트 도로조명(100)이 관제 센터와 데이터 송·수신을 수행하는 동작을 처리할 수 있다.
일 실시예에서, 지능형 엣지 유닛 장치(140)는 본 발명에 따른 도로교통 상황인지 장치를 내부에 포함하여 구현될 수 있고, 이 경우 본 발명에 따른 도로교통 상황인지 장치는 상황분석 및 인지 동작을 수행하는 내부 추론 시스템의 역할을 수행할 수 있다.
한편, 스마트 도로조명(100)은 도로조명기구를 이용한 도로 통신 네트워크 구축 및 위치/상황 인식 정보 기반의 미래형 ICT-안전 융합 서비스 실현을 가능케 할 수 있다.
도 2는 본 발명에 따른 도로교통 상황인지 장치의 시스템 구성을 설명하는 도면이다.
도 2를 참조하면, 도로교통 상황인지 장치(200)는 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함할 수 있다.
프로세서(210)는 도로교통 상황인지 장치(200)가 동작하는 과정에서의 각 단계들을 처리하는 프로시저를 실행할 수 있고, 그 과정 전반에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄할 수 있다. 프로세서(210)는 도로교통 상황인지 장치의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 도로교통 상황인지 장치(200)의 CPU(Central Processing Unit)로 구현될 수 있다.
메모리(230)는 SSD(Solid State Drive) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 도로교통 상황인지 장치(200)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다.
사용자 입출력부(250)는 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함할 수 있다. 예를 들어, 사용자 입출력부(250)는 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)는 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 도로교통 상황인지 장치(200)는 서버로서 수행될 수 있다. 한편, 사용자 입출력부(250)는 필요에 따라 도로교통 상황인지 장치(200)에서 생략될 수 있음은 물론이다.
네트워크 입출력부(270)은 네트워크를 통해 외부 장치 또는 시스템과 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다.
도 3은 본 발명에 따른 도로교통 상황인지 장치의 기능적 구성을 설명하는 도면이다.
도 3을 참조하면, 도로교통 상황인지 장치(200)는 학습 모델 수신부(310), 학습 모델 조정부(320), 인지 모델 생성부(330), 위험상황 인지부(340), 위험상황 알림부(350) 및 제어부(360)를 포함할 수 있다.
학습 모델 수신부(310)는 도로교통 현장지원을 위한 학습모델 서버로부터 사전 학습되어 구축된 사전 학습 모델을 수신할 수 있다. 여기에서, 학습모델 서버는 인공지능 학습을 위한 전용 컴퓨팅 장치에 해당할 수 있고, 다양한 출처로부터 수집된 도로교통 위험상황에 관한 정보를 기초로 멀티 모달 머신러닝(machine learning)을 통해 위험상황 인지 및 분석을 위한 학습 모델을 구축하는 동작을 수행할 수 있다. 학습모델 서버는 사전 학습을 통해 구축된 사전 학습 모델을 네트워크를 통해 전송할 수 있으며, 이를 위하여 네트워크 전송이 가능한 형태로의 데이터 변환을 수행할 수 있다.
한편, 학습모델 서버는 스마트 도로조명 플랫폼의 일 구성요소로서 포함될 수 있고, 교통상황에 관한 실시간 모니터링을 수행하는 모니터링 서버, 영상 자동 이벤트 생성 및 검색을 수행하는 검색 서버, 딥러닝 기반의 영상 분석 결과를 제공하는 배포(deploy) 서버, CNN/RNN AI 공통 플랫폼으로 구현되고 딥러닝을 수행하는 딥러닝 영상 서버, 학습 데이터 수집 및 지식베이스를 관리하는 지식베이스 서버 및 영상분석 관련 데이터를 저장하고 관리하는 저장 시스템을 포함하여 구현될 수 있다. 학습모델 서버는 스마트 도로조명에 설치된 지능형 엣지 유닛 장치와 연동하여 동작할 수 있으며, 특히 도로교통 상황인지 장치와 직접 연결되어 동작할 수도 있다.
일 실시예에서, 학습 모델 수신부(310)는 사전 학습 모델에 관한 레이어 정보와 모델 데이터를 수신할 수 있다. 학습모델 서버는 사전 학습 모델에 관한 정보로서 네트워크를 통한 전송 가능 정보만을 전달할 수 있으며, 학습 모델 수신부(310)는 사전 학습 모델을 구성하는 레이어의 속성 정보와 학습 네트워크를 구성하는 가중치 정보를 수신할 수 있다.
학습 모델 조정부(320)는 사전 학습 모델을 엣지(edge) 디바이스가 운영되는 엣지 환경에 맞춰 조정할 수 있다. 여기에서, 엣지 환경은 엣지 디바이스가 운영되는 디바이스 환경에 해당할 수 있다. 예를 들어, 엣지 환경은 엣지 디바이스를 구성하는 하드웨어와 엣지 디바이스에서 실행되는 소프트웨어로 구성될 수 있다. 이 때, 소프트웨어는 추론 엔진(Inference Engine), OpenVino, OpenCV, OpenVX, Intel MediaSDK, LocalDB, Ubuntu 16.04를 포함할 수 있으며, 하드웨어는 Camera-4k급, Intel i5(5세대이상), 4GB, GPU, Intel movidius, SSD 512GB, Network Device를 포함할 수 있다.
즉, 학습 모델 조정부(320)는 학습모델 서버로부터 수신한 사전 학습 모델이 엣지 디바이스 환경에서 정상적으로 동작할 수 있도록 재배치하는 동작을 수행할 수 있다. 예를 들어, 학습 모델 조정부(320)는 사전 학습 모델에 관한 테스트 환경을 설정하는 제1 단계, 학습모델 서버로부터 사전 학습 모델을 수신하여 배치하는 제2 단계, 테스트 데이터를 이용하여 상기 사전 학습 모델에 대한 테스트를 수행하는 제3 단계 및 상기 테스트 결과를 기초로 상기 사전 학습 모델을 재배치하는 제4 단계를 통해 수행될 수 있다.
일 실시예에서, 학습 모델 조정부(320)는 모델 옵티마이저(model optimizer)를 통해 가중치를 양자화(quantization)하고 배치(batch)별 학습을 통해 가중치를 갱신할 수 있다. 모델 옵티마이저(model optimizer)는 특정 목표 달성을 위해 최적인 상태를 결정하여 적용하는 것으로, 딥러닝에 있어 Optimization은 학습속도를 빠르고 안정적이게 하는 연산에 해당할 수 있다.
보다 구체적으로, 학습 모델 조정부(320)는 사전 학습 모델을 구성하는 활성 노드, 노드 간의 연결 및 각 연결에 관한 가중치에서 가중치와 활성 노드 연산을 대상으로 양자화를 수행할 수 있다. 만약 양자화된 가중치로 저비트(lower-bit) 연산을 수행하면서 중간값도 함께 양자화 한다면 학습 모델의 연산 속도(Run-Time)가 빨라지고 성능도 향상될 수 있다. 또한, 양자화된 신경망은 메모리 액세스를 줄이고 연산 효율성도 높이기 때문에 학습 모델 조정부(320)는 결과적으로 전력 효율성도 향상시킬 수 있다. 즉, 저비트 양자화 데이터를 사용하는 경우, 온칩(on-chip)이나 오프칩(off-chip) 모두에서 적은 양의 데이터 이동만이 필요하기 때문에 메모리 대역폭을 줄일 수 있고 전력 소비도 저감할 수 있다.
한편, 학습 모델 조정부(320)는 가중치 갱신 과정에서 배치별 학습을 통해 전체 데이터가 아닌 배치 단위의 학습마다 가중치 조정을 수행할 수 있다. 배치별 학습은 학습량(Learning Rate)과 학습방향(Gradient)에 따라 다양하게 정의될 수 있다.
인지 모델 생성부(330)는 조정된 사전 학습 모델을 기초로 적어도 하나의 학습 알고리즘에 관한 응용 학습을 수행하여 도로교통 상황인지를 위한 인지 모델을 생성할 수 있다. 즉, 인지 모델 생성부(330)는 해당 도로교통 상황인지 장치가 설치된 스마트 도로조명에서 수집된 영상 및 센서 정보를 기초로 추가 학습을 수행하여 해당 스마트 도로조명 인근에서의 상황인지에 최적화된 인지 모델을 생성할 수 있다.
이 때, 인지 모델 생성부(330)는 추가적인 응용 학습을 위해 다양한 학습 알고리즘을 활용할 수 있다. 학습 알고리즘은 각각 모듈화되어 구현될 수 있고, 도로교통 상황인지 장치의 메모리 상에 저장되어 관리될 수 있으며, 인지 모델 생성부(330)는 모듈화된 학습 알고리즘을 이용하여 응용 학습을 자체적으로 수행할 수 있다. 예를 들어, 학습 알고리즘은 DNN용 라이브러리(예를 들어, MKL-DNN, clDNN 등)로 구현되어 CPU, FPGA, Graphics Processor 등의 하드웨어 유닛을 통해 동작되거나 또는 딥러닝 칩(예를 들어, DLIA 등)을 통해 직접 동작될 수 있다.
한편, 인지 모델 생성부(330)는 인지 모델을 생성하여 상황인지를 수행하는 애플리케이션 로직에 제공하는 역할을 수행할 수 있다.
일 실시예에서, 인지 모델 생성부(330)는 응용 학습을 통해 도로교통에 관한 영상 신호를 입력 데이터로 사용하여 교차로, 터널, 스쿨존, 횡단보도 및 결빙도로를 포함하는 위험상황들과 교통사고, 정체, 교차로 경로, 차량 과속, 차량 가감속, 차량 역주행 및 교통량을 포함하는 시나리오들 간의 조합으로 정의되는 시나리오별 위험상황을 출력으로 제공하는 모델을 인지 모델로서 생성할 수 있다. 교차로, 터널, 스쿨존, 횡단보도 및 결빙도로는 5대 위험사고 상황 시나리오로 정의될 수 있고, 교통사고, 정체, 교차로 경로, 차량 과속, 차량 가감속, 차량 역주행 및 교통량은 5대 위험사고 상황 시나리오에서 발생할 수 있는 위험상황으로 정의될 수 있다. 인지 모델 생성부(330)는 스마트 도로조명 인근에서 획득되는 영상 및 센서정보를 기초로 도로교통 상황인지에 관한 추가 학습을 수행하여 사전 학습 모델을 로컬라이징(localizing) 할 수 있다.
위험상황 인지부(340)는 엣지 디바이스 상에서 수집된 도로현장 상황 데이터를 인지 모델에 적용하여 도로교통에 관한 시나리오별 위험상황을 인지할 수 있다. 또한, 위험상황 인지부(340)는 도로현장 상황 데이터를 기초로 이동 객체를 인식하고 분류할 수 있으며, 이동 객체의 순간적인 움직임을 산출하여 객체에 주어진 현장 상황을 판단할 수 있다. 보다 구체적으로, 위험상황 인지부(340)는 이동 객체의 움직임 및 이동 객체 간의 거리 변화를 계산하고 이동 객체의 고유특징을 추출하여 이동 객체에 대한 객체 데이터를 생성할 수 있다.
일 실시예에서, 위험상황 인지부(340)는 위험상황 인지와 함께 다음의 이벤트 발생 단계들 중 적어도 하나를 수행할 수 있다.
1-1) (라인 이탈 이벤트) 도로현장 상황 데이터의 영상 신호를 기준으로 특정 라인을 설정하고 인식객체와 특정 라인 간의 중첩을 검출하여 위험가능 상황에 관한 이벤트를 발생시키는 단계
1-2) (객체 충돌 이벤트) 영상 신호에서 도로 영역을 검출하고 해당 도로 영역 내에 존재하는 인식객체들의 방향 및 위치를 기초로 위험가능 상황 중 충돌에 관한 이벤트를 발생시키는 단계
1-3) (템퍼링 이벤트) 영상 신호에서 연속하여 추출된 이미지들 간의 변화율이 기 설정된 임계값을 초과하는 경우 영상 생성 동작의 정상 유무에 관한 이벤트를 발생시키는 단계
여기에서, 위험상황 인지부(340)는 영상 신호에서 차선에 대응되는 라인을 설정할 수 있고, 인식 객체가 차량인 경우 해당 인식 객체가 설정된 라인, 즉 차선을 넘어서서 주행하는 상태를 검출하여 이에 관한 이벤트를 발생시킬 수 있다. 또한, 위험상황 인지부(340)는 인식객체들의 방향에 따라 충돌 후보군을 설정할 수 있고, 해당 충돌 후보군에 포함된 인식객체들의 중심값 간의 거리를 모니터링하여 해당 거리가 급속도로 줄어드는 경우 이를 감지하여 관련 이벤트를 발생시킬 수 있다.
또한, 위험상황 인지부(340)는 영상 신호로부터 주기적인 샘플링을 통해 복수의 이미지 프레임들을 추출할 수 있고, 연속하여 추출된 이미지 프레임 간의 이미지 변화율이 임계값을 초과하는 경우 영상 신호 생성에 문제가 발생한 것으로 보아 카메라 리셋(reset) 등의 동작 개시를 위한 이벤트를 발생시킬 수 있다. 여기에서, 이미지 변화율은 이미지들의 대응되는 픽셀들 간의 RGB값 변화를 수치화하여 산출될 수 있다.
한편, 위험상황 인지부(340)는 위험상황 인지와 함께 각 이벤트 발생 단계들을 독립적으로 수행하는 복수의 모듈들을 포함할 수 있다. 예를 들어, 위험상황 인지부(340)는 라인 이탈 이벤트 모듈, 객체 충돌 이벤트 모듈 및 템퍼링 이벤트 모듈을 포함할 수 있으며, 각 모듈의 고유 동작은 각 이벤트 발생 단계에 대응될 수 있다.
일 실시예에서, 위험상황 인지부(340)는 영상 신호를 기초로 인지된 위험상황에 관한 정보를 반영하여 인지 모델을 갱신할 수 있다. 즉, 위험상황 인지부(340)는 인지 모델을 통해 상황 분석 및 인지를 실시간으로 수행할 수 있으며, 인지 결과를 학습 데이터로 활용하여 인지 모델을 갱신할 수 있다.
위험상황 알림부(350)는 위험상황 인지부(340)에 의해 위험상황이 인지된 경우 해당 위험상황을 외부로 전파할 수 있다. 이 때, 위험상황에 대한 전파 경로는 다른 지능형 엣지 유닛 장치(140), 로컬 플랫폼 서버, 통합 플랫폼 서버 및 도시 재난안전 관리 서버와 연계된 경로를 포함할 수 있다. 한편, 전파 경로는 인지된 위험상황의 등급에 따라 상이하게 결정될 수 있다. 또한, 위험상황 알림부(350)는 스마트 도로조명 제어를 위한 이벤트 신호를 생성할 수 있으며, 인지된 위험상황 시나리오에 따른 독립된 알림 프로세스를 개시할 수 있다.
예를 들어, 결빙도로 상황이 검출된 경우의 알림 프로세스는 다른 지능형 엣지 유닛 장치(140)들만을 경유하는 전파 경로를 설정하는 제1 단계, 영상 신호에서 주행 차량을 객체로 인식하는 제2 단계, 인식객체의 진행방향을 기준으로 인식객체의 위치로부터 전방에 설치된 스마트 도로조명을 식별하는 제3 단계 및 식별된 스마트 도로조명을 대상으로 위험상황 알림 동작을 개시하는 알림 이벤트를 생성하여 전송하는 제4 단계로 구성될 수 있다.
또한, 횡단보도에서 보행자 이동이 검출된 경우의 알림 프로세스는 횡단보도를 중심으로 특정 반경 이내의 위험상황 알림 영역을 설정하는 제1 단계, 위험상황 알림 영역에 설치된 스마트 도로조명을 식별하는 제2 단계, 식별된 스마트 도로조명을 통해 인근의 도로 상에 주행 중인 차량을 검출하는 제3 단계, 검출된 차량 중 주행 방향이 횡단보도를 향하는 위험차량을 식별하는 제4 단계 및 위험상황 알림 영역에서 위험차량의 진행방향을 기준으로 전방에 설치된 스마트 도로조명에 대해 위험상황 알림 동작을 개시하는 알림 이벤트를 생성하여 전송하는 제5 단계로 구성될 수 있다.
한편, 위험상황 알림부(350)의 알림 이벤트에 따라 스마트 도로조명에 의해 수행되는 알림 동작은 위험상황에 관한 경고 표시, 무선 정보, 시그널 및 알림 음성 중 적어도 하나의 제공에 해당할 수 있다.
일 실시예에서, 위험상황 알림부(350)는 위험상황의 위치와 등급을 결정하고, 위험상황의 등급에 따라 위험상황 알림 영역을 결정하며, 위험상황 알림 영역과 연관된 적어도 하나의 엣지 디바이스에게 위험상황을 전파할 수 있다. 위험상황 알림부(350)는 위험상황 인지부(340)에 의해 위험상황이 인지된 경우 위험상황의 위치와 등급을 결정할 수 있으며, 이를 위하여 자체적인 영상 분석을 수행할 수 있다.
이 때, 위험상황의 위치는 위험상황 알림 영역의 위치와 형태에 영향을 미칠 수 있고, 위험상황의 등급은 위험상황 알림 영역의 크기에 영향을 미칠 수 있다. 예를 들어, 위험상황의 위치 좌표가 (x, y)이고 위험상황의 등급이 g인 경우, 위험상황 알림 영역은 기준 반경 r과 위험상황의 등급 g 및 위험상황 시나리오별 계수 s를 기초로 (x±r(1+gs), y±r(1+gs))를 통해 결정될 수 있다. 여기에서, 위험상황의 등급 g는 위험도를 고려하여 결정되는 등급에 해당할 수 있고 1부터 10까지의 수치화된 값으로 표현될 수 있으며 값이 증가할수록 위험도가 높음을 의미할 수 있다. 위험상황 시나리오별 계수 s는 장소적 특징, 위험상황의 평균적 규모 및 위험상황 시 교통체증 유발 정도를 고려하여 기 정의된 위험상황 시나리오 별로 부여된 영역 결정 변수에 해당할 수 있다.
일 실시예에서, 위험상황 알림부(350)는 위험상황 분석을 위해 다음의 후처리 단계들 중 적어도 하나를 수행할 수 있다.
2-1) (객체 인식) 위험상황의 위치를 기준으로 정의되는 위험지역 내의 인식객체에 대한 카운트 및 인덱스를 저장하는 단계
2-2) (고유특징 인식) 인식객체의 고유특징을 인식하고 특징별 인덱스를 저장하는 단계(예를 들어, 인식객체가 차량인 경우 고유특징은 차종, 색상 및 번호판을 포함할 수 있다.)
2-3) (위험객체 인식) 인식객체의 위험도를 기초로 결정되는 위험객체에 대한 인덱스를 저장하는 단계
2-4) (상황 분류) 위험객체에 대해 상황예측을 통해 기 정의된 복수의 위험가능 상황들로 분류하여 저장하는 단계
보다 구체적으로, 위험상황 알림부(350)는 위험상황 분석을 위한 후처리 동작을 수행하여 위험상황 인지의 정확성을 높이기 위한 추가 정보를 생성할 수 있다. 예를 들어, 위험상황 알림부(350)는 위험지역 내에 존재하는 객체들의 수를 검출할 수 있고, 각 객체별 인덱스를 부여하여 저장할 수 있다. 이를 기초로, 위험상황 알림부(350)는 위험지역 별로 인식객체의 혼잡도를 도출하여 저장할 수도 있다.
또한, 위험상황 알림부(350)는 인식객체 별로 고유특징 정보를 분석하여 해당 특징 별로 인덱스를 부여하여 관리할 수 있다. 또한, 위험상황 알림부(350)는 영상신호 분석을 통해 각 인식객체별 위험도를 산출할 수 있고, 해당 위험도를 기초로 향후 위험상황 발생 가능성이 높은 위험객체를 결정하여 인덱스를 부여할 수 있다.
또한, 위험상황 알림부(350)는 위험객체 별로 상황예측 결과에 따른 위험가능 상황들을 분류할 수 있다. 예를 들어, 위험객체가 사람인 경우 사고, 무단횡단 등의 가능상황으로 분류하거나 위험객체가 차량인 경우 추돌, 충돌, 역주행 등의 가능상황으로 분류할 수 있다. 위험상황 알림부(350)의 후처리 동작을 통해 생성 및 저장된 정보들은 이후 인지 모델 생성을 위한 학습 과정에 적용될 수 있다.
한편, 위험상황 알림부(350)는 위험상황 분석을 위한 각 후처리 단계들을 독립적으로 수행하는 복수의 모듈들을 포함할 수 있다. 예를 들어, 위험상황 알림부(350)는 객체 인식 모듈, 고유특징 인식 모듈, 위험객체 인식 모듈 및 상황 분류 모듈을 포함할 수 있으며, 각 모듈의 고유 동작은 각 후처리 단계에 대응될 수 있다.
제어부(360)는 도로교통 상황인지 장치(200)의 전체적인 동작을 제어하고, 학습 모델 수신부(310), 학습 모델 조정부(320), 인지 모델 생성부(330), 위험상황 인지부(340) 및 위험상황 알림부(350) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 4는 본 발명의 일 실시예에 따른 지능형 엣지 기반의 도로교통 상황인지 방법을 설명하는 순서도이다.
도 4를 참조하면, 도로교통 상황인지 장치(200)는 학습 모델 수신부(310)를 통해 도로교통 현장지원을 위한 학습모델 서버로부터 사전 학습되어 구축된 사전 학습 모델을 수신할 수 있다(단계 S410). 도로교통 상황인지 장치(200)는 학습 모델 조정부(320)를 통해 사전 학습 모델을 엣지 디바이스가 운영되는 엣지 환경에 맞춰 조정할 수 있다(단계 S430).
또한, 도로교통 상황인지 장치(200)는 인지 모델 생성부(330)를 통해 조정된 사전 학습 모델을 기초로 적어도 하나의 학습 알고리즘에 관한 응용 학습을 수행하여 도로교통 상황인지를 위한 인지 모델을 생성할 수 있다(단계 S450). 도로교통 상황인지 장치(200)는 위험상황 인지부(340)를 통해 엣지 디바이스 상에서 수집된 도로현장 상황 데이터를 인지 모델에 적용하여 도로교통에 관한 시나리오별 위험상황을 인지할 수 있다(단계 S470).
도 5는 본 발명의 다른 실시예에 따른 지능형 엣지 기반의 도로교통 상황인지 방법을 설명하는 순서도이다.
도 5를 참조하면, 도로교통 상황인지 장치(200)는 위험상황 인지부(340)에 의해 위험상황이 인지된 경우 위험상황 알림부(350)를 통해 해당 위험상황을 외부로 전파할 수 있다. 보다 구체적으로, 위험상황 알림부(350)는 위험상황의 위치와 등급을 결정할 수 있고(단계 S510), 위험상황의 등급에 따라 위험상황 알림 영역을 결정할 수 있다(단계 S530). 또한, 위험상황 알림부(350)는 위험상황 알림 영역과 연관된 적어도 하나의 엣지 디바이스에게 위험상황을 전파할 수 있다(단계 S550).
도 6은 본 발명에 따른 지능형 엣지 기반의 도로교통 상황인지 방법을 설명하는 개념도이다.
도 6을 참조하면, 도로교통 상황인지 장치(200)는 지능형 엣지 아키텍쳐를 기반으로 임베디드 AI 모듈을 통해 스마트 도로조명 인근에서 수집된 현장 데이터를 분석하여 위험 상황을 판단하고 이를 신속히 외부로 전파하는 동작을 수행할 수 있다. 이를 위하여 도로교통 상황인지 장치(200)는 지능형 엣지 유닛 장치(140)에 포함되어 구현될 수 있고, 지능형 엣지 유닛 장치(140)와 연동하여 동작할 수 있다.
한편, 도로교통 상황인지 장치(200)는 위험상황을 인지하기 위한 학습 모델의 구축과 적용에 최적화된 하드웨어와 소프트웨어를 포함하여 구현될 수 있다. 예를 들어, 도로교통 상황인지 장치(200)는 백엔드(BackEnd) UI 시스템, 추론 엔진(Inference Engine), OpenVino 툴킷(Toolkit), OpenVX/Intel Media SDK, OpenCL, 네트워크 시스템, Ubuntu 16.04 LTS 및 로컬 DB(Video Data, Sensor Data, Event Data)를 포함하여 구현될 수 있다.
또한, 도로교통 상황인지 장치(200)는 다양한 하부 시스템들로 구성될 수 있으며, 예를 들어, 메인 시스템(Main System), 입출력 서브시스템(I/O Subsystem), 인식 서브시스템(Recognition Subsystem), 네트워크 서브시스템(Network Subsystem) 및 백엔드 UI 서브시스템(Backend UI Subsystem)을 포함할 수 있다.
여기에서, 메인 시스템(Main System)은 메인 태스크 매니저, 동영상 저장 및 DB 모듈의 동작을 관리할 수 있고, 입출력 서브시스템(I/O Subsystem)은 센서와 I/O 컨트롤 모듈의 동작을 관리할 수 있다. 인식 서브시스템(Recognition Subsystem)은 입력된 영상의 딥러닝 인식 모듈 적용에 따른 인식 결과 이벤트 출력 동작을 관리할 수 있고, 네트워크 서브시스템(Network Subsystem)은 네트워크 통신 모듈의 동작(예를 들어, MQTT 검토)을 관리할 수 있으며, 백엔드 UI 서브시스템(Backend UI Subsystem)은 환경설정 및 모니터링 화면 설정 동작(예를 들어, Grafana 검토)을 관리할 수 있다.
도 6에서, 도로교통 상황인지 장치(200)는 학습모델 서버로부터 사전 학습된 학습 모델(Trained Model)을 수신할 수 있고, 모델 옵티마이저(MODEL OPTIMIZER)를 통해 학습 모델을 조정한 후 추론 엔진(INFERENCE ENGINE)에서 각 엣지 환경에 맞는 추가 학습을 수행할 수 있다. 즉, 추가 학습은 해당 엣지 환경에서 상황인지의 정확도를 높이기 위한 로컬라이징(Localizing)에 해당할 수 있다. 추론 엔진에 의해 생성된 인지 모델은 애플리케이션 로직에 제공되어 도로교통 상황인지 동작을 수행할 수 있으며, 해당 분석 결과는 피드백되어 인지모델 갱신에 활용될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 스마트 도로조명 200: 도로교통 상황인지 장치
110: CCTV 120: 고정센서
130: 추가센서 140: 지능형 엣지 유닛 장치
150: 무선통신
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 학습 모델 수신부 320: 학습 모델 조정부
330: 인지 모델 생성부 340: 위험상황 인지부
350: 위험상황 알림부 360: 제어부
110: CCTV 120: 고정센서
130: 추가센서 140: 지능형 엣지 유닛 장치
150: 무선통신
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 학습 모델 수신부 320: 학습 모델 조정부
330: 인지 모델 생성부 340: 위험상황 인지부
350: 위험상황 알림부 360: 제어부
Claims (6)
- 도로교통 현장지원을 위한 학습모델 서버로부터 사전 학습되어 구축된 사전 학습 모델을 수신하는 단계;
상기 사전 학습 모델을 엣지(edge) 디바이스가 운영되는 엣지 환경에 맞춰 조정하는 단계;
조정된 상기 사전 학습 모델을 기초로 적어도 하나의 학습 알고리즘에 관한 응용 학습을 수행하여 도로교통 상황인지를 위한 인지 모델을 생성하는 단계;
상기 엣지 디바이스 상에서 수집된 도로현장 상황 데이터를 상기 인지 모델에 적용하여 도로교통에 관한 시나리오별 위험상황을 인지하는 단계;
상기 위험상황의 위치와 등급을 결정하는 단계;
상기 위험상황의 위치 (x, y)를 기준으로 기준 반경 r과 상기 위험상황의 등급 g와 위험상황 시나리오별 계수 s에 따라 위험상황 알림 영역 (x±r(1+gs), y±r(1+gs))을 결정하는, 상기 g는 위험도에 관한 등급으로서 1부터 10까지의 수치화된 값에 해당하고 상기 s는 장소적 특징과 상기 위험상황의 평균적 규모 및 위험상황 시 교통체증 유발 정도에 따라 기 정의된 위험상황 시나리오 별로 부여된 영역 결정 변수에 해당함, 단계; 및
상기 위험상황 알림 영역과 연관된 적어도 하나의 엣지 디바이스에게 상기 위험상황을 전파하는 단계;를 포함하고,
상기 인지하는 단계는 독립적인 동작을 수행하는 모듈들 각각을 통해, 위험상황 인지와 함께 1-1) 상기 도로현장 상황 데이터의 영상 및 센서정보를 기준으로 특정 라인을 설정하고 인식객체와 상기 특정 라인 간의 중첩을 검출하여 위험가능 상황에 관한 이벤트를 발생시키는 단계, 1-2) 상기 영상 및 센서정보에서 도로 영역을 검출하고 해당 도로 영역 내에 존재하는 인식객체들의 방향 및 위치를 기초로 상기 위험가능 상황 중 충돌에 관한 이벤트를 발생시키는 단계, 및1-3) 상기 영상 및 센서정보에서 연속하여 추출된 이미지들 간의 변화율이 기 설정된 임계값을 초과하는 경우 영상 생성 동작의 정상 유무에 관한 이벤트를 발생시키는 단계를 수행하는 단계를 포함하고,
상기 전파하는 단계는 독립적인 동작을 수행하는 모듈들 각각을 통해, 위험상황 분석을 위해 2-1) 상기 위험상황의 위치를 기준으로 정의되는 위험지역 내의 인식객체에 대한 카운트 및 인덱스를 저장하는 단계, 2-2) 상기 인식객체의 고유특징-상기 인식객체가 차량인 경우 상기 고유특징은 차종, 색상 및 번호판을 포함함-을 인식하고 특징별 인덱스를 저장하는 단계, 2-3) 상기 인식객체의 위험도를 기초로 결정되는 위험객체에 대한 인덱스를 저장하는 단계, 및 2-4) 상기 위험객체에 대해 상황예측을 통해 기 정의된 복수의 위험가능 상황들로 분류하여 저장하는 단계를 수행하는 단계를 포함하는 것을 특징으로 하는 지능형 엣지 기반 도로교통 상황인지 방법.
- 제1항에 있어서,
상기 수신하는 단계는 상기 사전 학습 모델에 관한 레이어 정보와 모델 데이터를 수신하는 단계를 포함하고,
상기 조정하는 단계는 모델 옵티마이저(model optimizer)를 통해 가중치를 양자화(quantization)하고 배치(batch)별 학습을 통해 상기 가중치를 갱신하는 단계를 포함하는 것을 특징으로 하는 지능형 엣지 기반 도로교통 상황인지 방법.
- 제1항에 있어서, 상기 생성하는 단계는
상기 응용 학습을 통해 상기 도로교통에 관한 영상 및 센서정보를 입력 데이터로 사용하여 교차로, 터널, 스쿨존, 횡단보도 및 결빙도로를 포함하는 위험상황들과 교통사고, 정체, 교차로 경로, 차량 과속, 차량 가감속, 차량 역주행 및 교통량을 포함하는 시나리오들 간의 조합으로 정의되는 시나리오별 위험상황을 출력으로 제공하는 모델을 상기 인지 모델로서 생성하는 단계를 포함하는 것을 특징으로 하는 지능형 엣지 기반 도로교통 상황인지 방법.
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200072490A KR102246462B1 (ko) | 2020-06-15 | 2020-06-15 | 지능형 엣지 기반 도로교통 상황인지 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200072490A KR102246462B1 (ko) | 2020-06-15 | 2020-06-15 | 지능형 엣지 기반 도로교통 상황인지 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102246462B1 true KR102246462B1 (ko) | 2021-04-30 |
Family
ID=75740807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200072490A KR102246462B1 (ko) | 2020-06-15 | 2020-06-15 | 지능형 엣지 기반 도로교통 상황인지 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102246462B1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102354863B1 (ko) * | 2021-10-01 | 2022-01-24 | 주식회사 제일엔지니어링종합건축사사무소 | 사물인터넷 기반의 교통안전시설 운영관리 장치 및 방법 |
| CN114200935A (zh) * | 2021-12-06 | 2022-03-18 | 北京云迹科技股份有限公司 | 一种机器人防跌落方法、装置、电子设备和存储介质 |
| CN117033562A (zh) * | 2023-10-09 | 2023-11-10 | 北京中机车辆司法鉴定中心 | 基于场景要素匹配的危险预测方法以及系统 |
| KR102670326B1 (ko) | 2023-09-05 | 2024-05-30 | 한국건설기술연구원 | 스마트 도로 조명 장치를 이용한 엣지 컴퓨팅 기반의 지능형 도로 위험분석 및 주행 가이던스 제공방법 및 그를 위한 스마트 도로 조명 장치 기반의 도로 위험분석 및 주행 가이던스 제공 플랫폼 |
| KR102694202B1 (ko) * | 2023-12-20 | 2024-08-13 | 한국건설기술연구원 | 아이오티 및 영상분석 기반의 경사지 상태 분석 방법 및 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101116273B1 (ko) * | 2010-05-03 | 2012-03-14 | 연세대학교 산학협력단 | 교통사고 인식장치 및 그 방법 |
| KR101391324B1 (ko) | 2012-10-23 | 2014-05-27 | 메타빌드주식회사 | 도로 레이더 수집정보를 활용한 이벤트 룰 기반 교통상황 인지 방법 및 장치 |
| KR101703001B1 (ko) * | 2016-07-13 | 2017-02-06 | 주식회사 시로코 | 지능형 도로 안전 펜스 시스템 |
| KR20180113447A (ko) * | 2017-04-06 | 2018-10-16 | 삼성전자주식회사 | 전자 장치, 그의 경고 메시지 제공 방법 및 비일시적 컴퓨터 판독가능 기록매체 |
| KR101962961B1 (ko) * | 2018-09-07 | 2019-03-28 | 주식회사 시로코 | 표면멀티센서를 이용하여 도로의 상황을 판단하는 시스템 |
-
2020
- 2020-06-15 KR KR1020200072490A patent/KR102246462B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101116273B1 (ko) * | 2010-05-03 | 2012-03-14 | 연세대학교 산학협력단 | 교통사고 인식장치 및 그 방법 |
| KR101391324B1 (ko) | 2012-10-23 | 2014-05-27 | 메타빌드주식회사 | 도로 레이더 수집정보를 활용한 이벤트 룰 기반 교통상황 인지 방법 및 장치 |
| KR101703001B1 (ko) * | 2016-07-13 | 2017-02-06 | 주식회사 시로코 | 지능형 도로 안전 펜스 시스템 |
| KR20180113447A (ko) * | 2017-04-06 | 2018-10-16 | 삼성전자주식회사 | 전자 장치, 그의 경고 메시지 제공 방법 및 비일시적 컴퓨터 판독가능 기록매체 |
| KR101962961B1 (ko) * | 2018-09-07 | 2019-03-28 | 주식회사 시로코 | 표면멀티센서를 이용하여 도로의 상황을 판단하는 시스템 |
Non-Patent Citations (1)
| Title |
|---|
| 이용주 외 3. 경량 딥러닝 기술동향. 전자통신동향분석 제34권 제2호, 한국전자통신연구원, 2019년 4월, pp.40-50. 1부* * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102354863B1 (ko) * | 2021-10-01 | 2022-01-24 | 주식회사 제일엔지니어링종합건축사사무소 | 사물인터넷 기반의 교통안전시설 운영관리 장치 및 방법 |
| CN114200935A (zh) * | 2021-12-06 | 2022-03-18 | 北京云迹科技股份有限公司 | 一种机器人防跌落方法、装置、电子设备和存储介质 |
| KR102670326B1 (ko) | 2023-09-05 | 2024-05-30 | 한국건설기술연구원 | 스마트 도로 조명 장치를 이용한 엣지 컴퓨팅 기반의 지능형 도로 위험분석 및 주행 가이던스 제공방법 및 그를 위한 스마트 도로 조명 장치 기반의 도로 위험분석 및 주행 가이던스 제공 플랫폼 |
| CN117033562A (zh) * | 2023-10-09 | 2023-11-10 | 北京中机车辆司法鉴定中心 | 基于场景要素匹配的危险预测方法以及系统 |
| CN117033562B (zh) * | 2023-10-09 | 2024-02-23 | 北京中机车辆司法鉴定中心 | 基于场景要素匹配的危险预测方法以及系统 |
| KR102694202B1 (ko) * | 2023-12-20 | 2024-08-13 | 한국건설기술연구원 | 아이오티 및 영상분석 기반의 경사지 상태 분석 방법 및 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102246462B1 (ko) | 지능형 엣지 기반 도로교통 상황인지 방법 | |
| US12049229B2 (en) | Approaches for encoding environmental information | |
| CN109598066B (zh) | 预测模块的效果评估方法、装置、设备和存储介质 | |
| US11868136B2 (en) | Geolocalized models for perception, prediction, or planning | |
| US11458991B2 (en) | Systems and methods for optimizing trajectory planner based on human driving behaviors | |
| US11354913B1 (en) | Systems and methods for improving vehicle predictions using point representations of scene | |
| US11170238B2 (en) | Approaches for determining traffic light state | |
| US20240344835A1 (en) | Systems and methods for autonomous vehicle performance evaluation | |
| US20190057314A1 (en) | Joint processing for embedded data inference | |
| Faro et al. | Integrating location tracking, traffic monitoring and semantics in a layered ITS architecture | |
| US11157007B2 (en) | Approaches for encoding environmental information | |
| US20210035443A1 (en) | Navigation analysis for a multi-lane roadway | |
| US11816900B2 (en) | Approaches for encoding environmental information | |
| US20210403035A1 (en) | Systems and methods for autonomous vehicle performance evaluation | |
| US20210124355A1 (en) | Approaches for encoding environmental information | |
| US20210253046A1 (en) | Supercapacitor power buffer for vehicle power system | |
| US20230110659A1 (en) | Approaches for encoding environmental information | |
| US20220119012A1 (en) | Systems and methods for configuring autonomous vehicle operation | |
| CN118470974A (zh) | 一种基于车联网的行车安全预警系统及方法 | |
| KR102556447B1 (ko) | 패턴 분석을 통한 상황 판단 시스템 | |
| US20230415767A1 (en) | Protolanes for testing autonomous vehicle intent | |
| KR102246456B1 (ko) | 도로교통 현장안전 지원을 위한 지능형 엣지 유닛 장치 | |
| Thakare et al. | Advanced Traffic Clearance System for Emergency Vehicles | |
| Islam et al. | Deep Learning Based IoT System for Real-time Traffic Risk Notifications | |
| Wang et al. | Real-time intersection vehicle turning movement counts from live UAV video stream using multiple object tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |