KR102602319B1 - 인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적기반 교통 정보 수집 시스템 및 방법 - Google Patents

인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적기반 교통 정보 수집 시스템 및 방법 Download PDF

Info

Publication number
KR102602319B1
KR102602319B1 KR1020230092917A KR20230092917A KR102602319B1 KR 102602319 B1 KR102602319 B1 KR 102602319B1 KR 1020230092917 A KR1020230092917 A KR 1020230092917A KR 20230092917 A KR20230092917 A KR 20230092917A KR 102602319 B1 KR102602319 B1 KR 102602319B1
Authority
KR
South Korea
Prior art keywords
image
data set
deep learning
model
image data
Prior art date
Application number
KR1020230092917A
Other languages
English (en)
Inventor
김선중
권문수
김정대
Original Assignee
메타빌드 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 메타빌드 주식회사 filed Critical 메타빌드 주식회사
Priority to KR1020230092917A priority Critical patent/KR102602319B1/ko
Application granted granted Critical
Publication of KR102602319B1 publication Critical patent/KR102602319B1/ko

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G08G1/054—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed photographing overspeeding vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 인공지능 영상 딥러닝 모델을 이용한 다중 객체 기반 교통 정보 수집 시스템 및 방법은, 범용 영상 데이터 셋으로 초기 학습 후, 현장에 설치된 수집용 영상 센서들이 촬영한 현장 영상을 수집하여 생성된 현장 영상 데이터 셋으로 추가 학습한 영상 딥러닝 미세조정 모델을 통해 객체의 종류와 위치를 도출하도록 구성됨으로써, 국내 도로 환경이나 주행 차량 등의 현장 특성에 맞게 검지 정확도가 향상될 수 있는 이점이 있다. 또한, 검지용 영상 센서들이 촬영한 검지 영상 내 2차원의 검지 영역을 3차원 영역으로 변환하여 객체의 속도와 주행 차선 등을 도출하도록 구성됨으로써, 객체 정보와 교통 정보를 보다 정확하게 도출할 수 있는 이점이 있다.

Description

인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적 기반 교통 정보 수집 시스템 및 방법{Traffic information collection system and method based on multi-object tracking using artificial intelligence image deep learning model}
본 발명은 인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적 기반 교통 정보 수집 시스템 및 방법에 관한 것으로서, 보다 상세하게는 국내 도로 현장을 촬영한 현장 영상으로 생성된 현장 영상 데이터 셋으로 영상 딥러닝 미세조정 모델을 추가학습하고, 영상 딥러닝 미세조정 모델을 이용하여 객체 정보와 교통 정보를 보다 정확하게 도출할 수 있는 인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적 기반 교통 정보 수집 시스템 및 방법에 관한 것이다.
일반적으로 도로 상의 교통 상황이나 돌발 상황 등을 파악하기 위하여 도로에 설치된 카메라의 영상을 이용하고 있다. 그러나, 카메라의 영상을 관리자가 육안으로 파악한 후 운전자들에게 안내해야 하기 때문에 시간이 오래 걸리는 문제점이 있다.
따라서, 최근에는 도로에 설치된 카메라를 이용하여 영상을 획득하고, 딥러닝 모델을 이용하여 객체를 검출하고 추적하는 기술 개발에 대한 관심이 증가하고 있다. 그러나 사전 학습 딥러닝 모델을 이용하는 경우, 도로 환경에 따라 정확도가 떨어지는 문제점이 있다.
한국등록특허 제10-2453627호
본 발명의 목적은, 보다 정확한 객체 정보와 교통 정보를 도출할 수 있는 인공지능 영상 딥러닝 모델을 이용한 다중 객체 기반 교통 정보 수집 시스템 및 방법을 제공하는 데 있다.
본 발명에 따른 인공지능 영상 딥러닝 모델을 이용한 다중 객체 기반 교통 정보 수집 시스템은, 미리 설정된 현장에 설치된 복수의 영상 센서들과; 기저장된 범용 영상 데이터 셋을 학습하여 영상 내 객체의 종류를 도출하는 영상 딥러닝 초기 모델을 생성하고, 상기 영상 딥러닝 초기 모델을 상기 영상 센서들 중 적어도 일부가 촬영한 현장 영상들을 수집하여 생성된 현장 영상 데이터 셋으로 추가 학습하여, 상기 현장의 특성을 반영하여 영상 내 객체의 종류를 도출하는 영상 딥러닝 미세조정 모델을 생성하는 서버와; 상기 영상 센서들 중 적어도 일부가 촬영한 검지 영상을 이용하여 객체 정보와 교통 정보를 도출하는 제어기와; 상기 제어기는, 상기 검지 영상의 2차원 영역을 원근 변환 기법을 이용하여 3차원 영역으로 변환시키고, 상기 2차원 영역의 실거리와 상기 3차원 영역의 변환 거리를 매칭시켜, 상기 2차원 영역 내 객체의 위치를 상기 3차원 영역 내 3차원 좌표로 변환시키기 위한 원근 변환 행렬을 도출하는 전처리부와; 상기 영상 딥러닝 미세조정 모델을 통해 상기 검지 영상 내 객체의 종류와 객체의 위치를 도출하고, 상기 원근 변환 행렬을 통해 상기 도출된 객체의 위치를 3차원 좌표로 변환시키고, 상기 객체의 속도와 상기 객체의 주행 차선을 도출하는 객체 정보 도출부를 포함한다.
상기 제어기는, 상기 객체의 종류, 상기 객체의 위치, 상기 객체의 속도 및 상기 객체의 주행 차선을 포함한 객체 정보에 따라 교통 정보를 도출하는 교통 정보 도출부를 더 포함한다.
상기 서버는, 상기 영상 딥러닝 초기 모델과 상기 영상 딥러닝 미세조정 모델에 기저장된 검증 데이터 셋을 각각 입력하여 도출된 결과들을 비교하여, 상기 영상 딥러닝 미세조정 모델의 정확도를 검증한다.
상기 영상 센서들은, 상기 영상 딥러닝 미세조정 모델에 입력하여 객체 정보를 도출하기 위한 상기 검지 영상을 촬영하는 검지용 영상 센서와; 상기 현장 영상 데이터 셋을 생성하기 위한 상기 현장 영상을 촬영하는 수집용 영상 센서를 포함한다.
상기 현장 영상 데이터 셋은, 상기 수집용 영상 센서들로부터 수집한 현장 영상들을 객체의 형태, 객체의 크기, 현장 배경의 유무, 촬영 시간대, 객체간 중첩도, 객체와 배경의 중첩도를 각각 미리 설정된 선별 기준과 비교하여, 상기 선별 기준에 만족하는 영상들만 선별한 선별 영상 데이터 셋을 포함한다.
상기 현장 영상 데이터 셋은, 상기 수집용 영상 센서들로부터 수집한 현장 영상들을 객체의 형태, 객체의 크기, 현장 배경의 유무, 촬영 시간대, 객체간 중첩도, 객체와 배경의 중첩도를 각각 미리 설정된 선별 기준과 비교하여, 상기 선별 기준에 만족하는 영상들만 선별한 선별 영상 데이터 셋과, 상기 수집용 영상 센서들을 통해 수집한 현장 영상들 중 상기 선별 영상 데이터 셋을 제외한 영상들 중 일부를 샘플링한 노이즈 영상 데이터 셋을 포함하고, 상기 선별 영상 데이터 셋과 상기 노이즈 영상 데이터 셋을 미리 설정된 설정 비율로 혼합한다.
본 발명에 따른 인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적 기반 교통 정보 수집 방법은, 미리 설정된 현장에 설치된 복수의 영상 센서들이 미리 설정된 검지 영역을 촬영하는 영상 촬영 단계와; 서버의 모델 학습부가 기저장된 범용 영상 데이터 셋을 학습하여, 영상 내 객체의 종류를 도출하는 영상 딥러닝 초기 모델을 생성하는 초기 모델 학습 단계와; 상기 모델 학습부가 상기 영상 센서들 중 적어도 일부가 촬영한 현장 영상들을 수집하여 생성한 현장 영상 데이터 셋으로 상기 영상 딥러닝 초기 모델을 추가 학습하여, 상기 현장의 특성을 반영하여 객체의 종류를 도출하는 영상 딥러닝 미세조정 모델을 생성하는 미세조정 모델 학습 단계와; 제어기의 전처리부가 상기 영상 센서들 중 적어도 일부가 촬영한 검지 영상 내 2차원 영역을 3차원 영역으로 변환시키고, 상기 2차원 영역의 실거리와 상기 3차원 영역의 변환 거리를 매칭시켜, 상기 2차원 영역 내 객체의 위치를 상기 3차원 영역 내 3차원 좌표로 변환시키는 원근 변환 행렬을 도출하는 실거리 매칭 단계와; 상기 제어기의 객체 정보 도출부가 상기 영상 딥러닝 미세조정 모델을 이용하여 상기 검지 영상 내 객체의 종류와 객체의 위치를 도출하는 객체 종류 도출단계와; 상기 객체 정보 도출부가 상기 원근 변환 행렬을 이용하여 상기에서 도출된 상기 객체의 위치를 3차원 좌표로 변환시키는 좌표 변환 단계와; 상기 객체 정보 도출부가 상기 객체의 3차원 좌표의 변화를 추적하여 상기 객체의 속도를 도출하는 객체 속도 도출단계를 포함한다.
상기 객체 정보 도출부가 상기 객체의 3차원 좌표의 변화를 추적하여, 상기 객체의 주행 차선을 도출하는 객체 차선 도출단계를 더 포함한다.
상기 제어기의 교통 정보 도출부가 상기 객체의 종류, 상기 객체의 속도 및 상기 객체의 주행 차선을 포함한 객체 정보를 미리 설정된 교통 정보 분석 알고리즘을 통해 분석하여, 정체, 돌발, 사고를 포함한 교통 정보를 생성하는 교통 정보 도출 단계를 더 포함한다.
상기 미세조정 모델 학습 단계는, 상기 모델 학습부가 상기 영상 딥러닝 초기 모델과 상기 영상 딥러닝 미세조정 모델에 기저장된 검증 데이터 셋을 각각 입력하여 도출된 결과를 비교하여, 상기 영상 딥러닝 미세조정 모델의 정확도를 검증하는 과정을 더 포함한다.
상기 서버가 상기 현장 영상 데이터 셋을 생성하는 현장 영상 데이터 셋 생성 단계를 더 포함하고, 상기 현장 영상 데이터 셋 생성 단계는, 상기 영상 센서들 중에서 미리 설정된 수집용 영상 센서들이 촬영한 현장 영상들을 수집하는 현장 영상 수집 과정과, 상기 현장 영상들을 객체의 형태, 객체의 크기, 현장 배경의 유무, 촬영 시간대, 객체간 중첩도, 객체와 배경의 중첩도를 각각 미리 설정된 선별 기준과 비교하여, 상기 선별 기준에 만족하는 영상들을 선별하여 선별 영상 데이터 셋을 만드는 영상 선별 과정을 포함한다.
상기 현장 영상 데이터 셋 생성 단계는, 상기 선별 영상 데이터 셋과, 상기 영상 선별 과정에서 상기 선별 영상 데이터 셋으로 채택되지 못한 영상들 중 일부를 샘플링한 노이즈 영상 데이터 셋을 미리 설정된 설정 비율로 혼합하는 데이터 셋 혼합 과정과, 상기 데이터 셋 혼합 과정에서 혼합된 데이터 셋을 상기 현장 영상 데이터 셋으로 선정하여 저장하는 데이터 셋 저장 과정을 더 포함한다.
본 발명의 다른 측면에 따른 인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적 기반 교통 정보 수집 방법은, 미리 설정된 현장에 설치된 복수의 영상 센서들이 미리 설정된 검지 영역을 촬영하는 영상 촬영 단계와; 서버의 모델 학습부가 기저장된 범용 영상 데이터 셋을 학습하여, 영상 내 객체의 종류를 도출하는 영상 딥러닝 초기 모델을 생성하는 초기 모델 학습 단계와; 상기 서버가 상기 영상 센서들 중 수집용 영상 센서들이 촬영한 현장 영상들을 선별하여 현장 영상 데이터 셋을 생성하는 현장 영상 데이터 셋 생성 단계와; 상기 모델 학습부가 상기 현장 영상 데이터 셋으로 상기 영상 딥러닝 초기 모델을 추가 학습하여, 상기 현장의 특성을 반영하여 객체의 종류를 도출하는 영상 딥러닝 미세조정 모델을 생성하는 미세조정 모델 학습 단계와; 상기 제어기의 전처리부가 상기 영상 센서들 중 검지용 영상 센서들이 촬영한 검지 영상 내 2차원 영역을 3차원 영역으로 변환시키고, 상기 2차원 영역의 실거리와 상기 3차원 영역의 변환 거리를 매칭시켜, 2차원 영역 내 객체의 위치를 상기 3차원 영역 내 3차원 좌표로 변환시키는 원근 변환 행렬을 도출하는 실거리 매칭 단계와; 상기 제어기의 객체 정보 도출부가 상기 영상 딥러닝 미세조정 모델을 이용하여 상기 검지 영상 내 객체의 종류와 객체의 위치를 도출하는 객체 종류 도출단계와; 상기 객체 정보 도출부가 상기 원근 변환 행렬을 이용하여 상기에서 도출된 상기 객체의 위치를 3차원 좌표로 변환시키는 좌표 변환 단계와; 상기 객체 정보 도출부가 상기 객체의 3차원 좌표의 변화를 추적하여 상기 객체의 속도를 도출하는 객체 속도 도출단계와; 상기 객체 정보 도출부가 상기 객체의 3차원 좌표의 변화를 추적하여, 상기 객체의 주행 차선을 도출하는 객체 차선 도출단계와; 상기 제어기의 교통 정보 도출부가 상기 객체의 종류, 상기 객체의 속도 및 상기 객체의 주행 차선을 포함한 객체 정보를 미리 설정된 교통 정보 분석 알고리즘을 통해 분석하여, 정체, 돌발, 사고를 포함한 교통 정보를 생성하는 교통 정보 도출 단계를 포함한다.
본 발명에 따른 인공지능 영상 딥러닝 모델을 이용한 다중 객체 기반 교통 정보 수집 시스템 및 방법은, 범용 영상 데이터 셋으로 초기 학습 후, 현장에 설치된 수집용 영상 센서들이 촬영한 현장 영상을 수집하여 생성된 현장 영상 데이터 셋으로 추가 학습한 영상 딥러닝 미세조정 모델을 통해 객체의 종류와 위치를 도출하도록 구성됨으로써, 국내 도로 환경이나 주행 차량 등의 현장 특성에 맞게 검지 정확도가 향상될 수 있는 이점이 있다.
또한, 검지용 영상 센서들이 촬영한 검지 영상 내 2차원의 검지 영역을 3차원 영역으로 변환하여 객체의 속도와 주행 차선 등을 도출하도록 구성됨으로써, 객체 정보와 교통 정보를 보다 정확하게 도출할 수 있는 이점이 있다.
도 1은 본 발명의 실시예에 따른 인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적 기반 교통 정보 수집 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적 기반 교통 정보 수집 방법을 개략적으로 나타낸 순서도이다.
도 3은 본 발명의 실시예에 따른 모델 학습 단계를 나타낸 순서도이다.
도 4는 본 발명의 실시예에 따른 현장 영상 데이터 셋 생성 단계를 나타낸 순서도이다.
도 5는 본 발명의 실시예에 따른 객체 정보 도출 단계를 나타낸 순서도이다.
도 6은 본 발명의 실시예에 따른 검지용 영상 센서가 촬영한 검지 영상의 검지 영역의 예를 나타낸다.
도 7은 본 발명의 실시예에 따른 전처리부가 2차원 영역을 3차원 영역으로 변환한 예를 나타낸다.
도 8은 본 발명의 실시예에 따른 객체 정보를 도출한 화면의 예를 나타낸다.
도 9는 본 발명의 실시예에 따른 교통 정보를 표시한 화면의 예를 나타낸다.
도 10은 본 발명의 실시예에 따른 현장 영상 데이터 셋의 수집시 객체 형태에 따라 선별하는 예를 나타낸다.
도 11은 본 발명의 실시예에 따른 현장 영상 데이터 셋의 수집시 객체 크기에 따라 선별하는 예를 나타낸다.
도 12는 본 발명의 실시예에 따른 현장 영상 데이터 셋의 수집시 객체간 중첩도에 따라 선별하는 예를 나타낸다.
도 13은 본 발명의 실시예에 따른 현장 영상 데이터 셋의 수집시 객체와 배경의 중첩도에 따라 선별하는 예를 나타낸다
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대해 설명하면, 다음과 같다.
도 1은 본 발명의 실시예에 따른 인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적 기반 교통 정보 수집 시스템의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적 기반 교통 정보 수집 시스템은, 영상 센서(10), 제어기(20) 및 서버(30)를 포함한다.
상기 영상 센서(10)는, 관리자 등에 의해 미리 설정된 현장에 설치되어 미리 설정된 검지 영역을 촬영하는 카메라이다. 상기 영상 센서(10)는, 복수개가 복수의 현장들에 설치된다. 상기 영상 센서(10)는, 도로 위나 도로 주변에 설치된 CCTV인 것으로 예를 들어 설명한다.
상기 영상 센서(10)는, 후술하는 영상 딥러닝 미세조정 모델에 입력하기 위한 검지 영상을 촬영하는 검지용 영상 센서(11)와, 후술하는 현장 영상 데이터 셋을 생성하기 위한 현장 영상을 촬영하는 수집용 영상 센서(12)를 포함한다.
본 실시예에서는, 상기 검지용 영상 센서(11)와 상기 수집용 영상 센서(12)는 별도로 설치된 것으로 예를 들어 설명한다. 다만, 이에 한정되지 않고, 상기 검지용 영상 센서(11) 중 일부가 상기 수집용 영상 센서(12)로 사용되는 것도 가능하고, 상기 검지용 영상 센서(11)와 상기 수집용 영상 센서(12)가 서로 동일하게 사용되는 것도 물론 가능하다.
상기 서버(30)는, 데이터 셋 구축부(31)와 모델 학습부(32)를 포함하는 학습 서버이다.
상기 데이터 셋 구축부(31)는, 상기 수집용 영상 센서들(12)로부터 수집한 현장 영상들을 선별하여 현장 영상 데이터 셋을 구축한다. 본 실시예에서는, 상기 데이터 셋 구축부(31)가 상기 서버(30)에 포함된 것으로 예를 들어 설명하였으나, 이에 한정되지 않고, 상기 서버(30)와 별도로 구성되는 것도 물론 가능하다.
상기 현장 영상 데이터 셋은, 상기 수집용 영상 센서들(12)이 설치된 현장의 도로 환경, 도로 상황 및 주행 차량들에 대한 영상 데이터이다.
상기 현장 영상 데이터 셋은, 상기 수집용 영상 센서들(12)을 통해 수집한 현장 영상들 중에서 객체의 크기, 배경, 촬영 시간대, 객체간 중첩도, 객체와 배경의 중첩도를 각각 미리 설정된 선별 기준과 비교하여, 상기 선별 기준에 만족하는 영상들로 선별된 선별 영상들과, 상기 수집용 영상 센서들(12)을 통해 수집한 현장 영상들 중에서 상기 선별 영상들을 제외한 노이즈 영상들을 미리 설정된 비율로 혼합한 데이터 셋이다. 여기서, 상기 노이즈 영상들은 상기 수집용 영상 센서들(12)을 통해 수집한 현장 영상들 중에서 상기 선별 영상들을 제외하고 일부 영상들을 샘플링한 것으로 예를 들어 설명한다. 상기 선별 영상들과 상기 노이즈 영상들의 혼합 비율은 1:1인 것으로 예를 들어 설명한다. 상기 현장 영상들의 선별 방법은 뒤에서 상세히 설명하기로 한다.
상기 모델 학습부(32)는, 상기 서버(30)에 기저장된 범용 영상 데이터 셋을 학습하여 영상 내 객체의 종류를 도출하는 영상 딥러닝 초기 모델을 생성한다.
여기서, 상기 범용 영상 데이터 셋은 국외의 외부 기관 등에서 범용으로 제공받은 영상 데이터이고, 상기 서버(30) 또는 별도의 데이터베이스(미도시)에 미리 저장된다.
또한, 상기 모델 학습부(32)는 상기 영상 딥러닝 초기 모델을 생성한 후, 상기 영상 딥러닝 초기 모델을 상기 현장 영상 데이터 셋으로 추가 학습하여, 영상 딥러닝 미세조정(fine tunning) 모델을 생성한다.
상기 현장 영상 데이터 셋으로 추가 학습함으로써, 상기 수집용 영상 센서(12)가 설치된 현장의 특성을 반영할 수 있으므로, 영상 내 객체의 종류를 보다 정확하게 도출할 수 있다.
한편, 상기 제어기(20)는, 상기 검지용 영상 센서(11)와 유선 또는 무선 통신을 하고, 상기 검지용 영상 센서(11)가 촬영한 검지 영상들을 실시간으로 수신한다. 상기 제어기(20)는, 상기 검지용 영상 센서(11)로부터 수신한 검지 영상을 이용하여, 객체 정보와 교통 정보를 도출하는 프로세서이다.
상기 제어기(20)는, 전처리부(22), 객체 정보 도출부(23) 및 교통 정보 도출부(24)를 포함한다.
상기 전처리부(22)는, 상기 검지용 영상 센서(11)가 촬영한 검지 영상 내 2차원 영역을 원근 변환(Perspective Transform) 기법을 이용하여 3차원 영역으로 변환시킨다. 상기 전처리부(22)는, 상기 2차원 영역의 실거리와 상기 3차원 영역의 변환 거리를 매칭시키고, 상기 2차원 영역 내 객체의 위치를 상기 3차원 영역 내 3차원 좌표로 변환시키기 위한 원근 변환 행렬을 도출한다. 상기 원근 변환 기법은, 2차원 영역을 3차원 영역으로 변환시키는 방법이며 상용화된 기법이므로 자세한 설명은 생략한다.
상기 객체 정보 도출부(23)는, 상기 영상 딥러닝 미세조정 모델에 상기 검지 영상을 입력하여 상기 검지 영상 내에 있는 객체의 종류와 객체의 위치를 도출한다.
또한, 상기 객체 정보 도출부(23)는, 상기 원근 변환 행렬을 통해 상기 도출된 객체의 위치를 상기 3차원 영역 내 3차원 좌표로 변환시킨다. 상기 객체 정보 도출부(23)는 상기 객체의 3차원 좌표의 x축, y축, z축 중에서 x축과 y축을 사용하고 z축은 사용하지 않는다. 상기 객체 정보 도출부(23)는 상기 객체의 x,y좌표값의 변화에 따라 상기 객체의 속도와 상기 객체의 주행 차선을 도출한다. 즉, 상기 객체의 속도는 상기 3차원 좌표 중 시간에 따른 y좌표값의 변화로부터 순간 속도와 평균 속도를 추론할 수 있다. 상기 객체의 주행 차선은, 상기 3차원 좌표 중 x좌표값으로부터 추론할 수 있다.
상기 교통 정보 도출부(24)는, 상기 객체의 종류, 상기 객체의 위치, 상기 객체의 속도, 상기 객체의 주행 차선을 포함한 객체 정보에 따라 교통 정보를 도출한다. 상기 교통 정보 도출부(24)는, 상기 객체 정보와 미리 설정된 패턴 정보를 비교하고 분석하여, 정체, 돌발, 사고 등의 발생 유무를 포함한 교통 정보를 도출한다. 상기 교통 정보 도출부(24)는 정체, 돌발, 사고 등의 발생 유무에 따라 위험, 경고, 주의 등의 단계별 안내 메시지를 도출할 수 있다.
상기와 같이 구성된 본 발명의 실시예에 따른 인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적 기반 교통 정보 수집 방법을 설명하면 다음과 같다.
도 2는 본 발명의 실시예에 따른 인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적 기반 교통 정보 수집 방법을 개략적으로 나타낸 순서도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적 기반 교통 정보 수집 방법은, 영상 촬영 단계(S10), 모델 학습 단계(S20), 객체 정보 도출 단계(S30) 및 교통 정보 도출 단계(S40)를 포함한다.
상기 영상 촬영 단계(S10)는, 상기 영상 센서들(10)이 상기 현장의 검지 영역을 촬영하는 단계이다. 상기 영상 촬영 단계(S10)는, 상기 검지용 영상 센서들(11)이 해당 현장을 실시간으로 촬영하여 복수의 검지 영상들을 생성하여 상기 제어기(20)로 전송하는 과정과, 상기 수집용 영상 센서들(12)이 해당 현장을 촬영하여 상기 서버(30)로 전송하는 과정을 포함한다.
상기 모델 학습 단계(S20)는, 상기 서버(30)의 모델 학습부(32)가 상기 영상 딥러닝 미세조정 모델을 학습하는 단계이다. 본 실시예에서는, 상기 모델 학습 단계(S20)가 상기 영상 촬영 단계(S10) 이후인 것으로 예를 들어 설명하나, 이에 한정되지 않고 상기 영상 촬영 단계(S10)와 별도로 수행되거나 상기 현장 영상 데이터 셋이 미리 구축된 경우 상기 검지용 영상 센서들(11)이 촬영하기 이전 단계에 수행되는 것도 물론 가능하다.
도 3을 참조하면, 상기 모델 학습 단계(S20)는, 초기 모델 학습 단계(S21), 현장 영상 데이터 셋 생성 단계(S22), 미세조정 모델 학습 단계(S23) 및 검증 단계(S24)를 포함한다.
상기 초기 모델 학습 단계(S21)는, 상기 서버(30)의 모델 학습부(32)가 기저장된 상기 범용 영상 데이터 셋을 학습하여, 영상 내 객체의 종류를 도출하기 위한 영상 딥러닝 초기 모델을 생성하는 단계이다.
상기 현장 영상 데이터 셋 생성 단계(S22)는, 상기 현장 영상 데이터 셋을 수집하여 생성하는 단계이다. 본 실시예에서는, 상기 현장 영상 데이터 셋 생성 단계(S22)가 상기 초기 모델 학습 단계(S21) 이후인 것으로 예를 들어 설명하였으나, 이에 한정되지 않고 상기 초기 모델 학습 단계(S21) 이전에 수행되는 것도 물론 가능하다.
도 4를 참조하면, 상기 현장 영상 데이터 셋 생성 단계(S22)는, 현장 영상 수집 과정(S22-1), 영상 선별 과정(S22-2), 데이터 셋 혼합 과정(S22-3), 현장 영상 데이터 셋 저장 과정(S22-4)을 포함한다.
상기 현장 영상 수집 과정(S22-1)은, 상기 서버(30)가 사용자나 관리자가 복수의 현장들에 설치한 상기 수집용 영상 센서들(12)이 촬영한 현장 영상을 수집하는 과정이다.
상기 영상 선별 과정(S22-2)은, 상기 수집한 현장 영상들을 미리 설정된 선별 기준과 비교하여, 상기 선별 기준에 만족하는 영상들로 선별된 선별 영상 데이터 셋을 만드는 과정이다.
상기 영상 선별 과정(S22-2)에서는, 상기 현장 영상 내 객체의 형태와 객체의 크기, 상기 현장 배경의 유무, 상기 현장 영상의 촬영 시간대, 상기 현장 영상 내 객체간 중첩도, 상기 현장 영상 내 객체와 배경의 중첩도를 각각 확인하여 선별한다. 상기 선별 기준은, 상기 객체의 형태, 상기 객체의 크기, 상기 현장 배경의 유무, 상기 촬영 시간대, 상기 객체간 중첩도, 상기 객체와 배경의 중첩도에 따라 각각 다르게 미리 설정된다.
상기 객체의 형태에 따른 영상 선별 과정은, 상기 현장 영상 내 상기 객체의 형태가 나온 비율을 미리 설정된 설정 비율과 비교하여, 상기 설정 비율 이상인 객체를 채택한다.
이 때, 상기 객체의 형태가 나온 비율이 상기 설정 비율 미만으로 상기 객체의 형태가 일부만 나온 경우에는 상기 객체의 크기를 미리 설정된 제1설정 크기와 비교한다.
즉, 상기 현장 영상 내 상기 객체의 형태가 일부만 나온 경우이고, 상기 객체의 크기가 상기 제1설정 크기 이상이면, 일부만 나온 객체의 크기가 너무 커서 노이즈 영상이라고 판단하여 해당 객체가 나온 영상을 배제한다.
한편, 상기 현장 영상 내 상기 객체의 형태가 일부만 나온 경우이고, 상기 객체의 크기가 상기 제1설정 크기 미만이면, 일부만 나온 객체의 크기가 작으므로, 해당 영상에서 해당 객체만 배제한다.
도 10은 본 발명의 실시예에 따른 현장 영상 데이터 셋의 수집시 객체 형태에 따라 선별하는 예를 나타낸다.
도 10을 참조하면, 상기 영상은 객체인 자동차의 일부만이 촬영되었고 상기 영상 내에서 상기 객체의 크기가 매우 크기 때문에, 해당 영상은 배제하여 노이즈 영상으로 분류할 수 있다.
또한, 상기 객체의 크기에 따른 영상 선별 과정은, 상기 객체의 크기를 미리 설정된 제2설정 크기와 비교하여, 상기 제2설정 크기 이상인 객체는 채택하고 상기 제2설정 크기 미만인 객체는 배제한다. 상기 객체의 크기가 상기 제2설정 크기 미만이면, 상기 객체의 크기가 너무 작아서 특징을 추출하기 어려우므로 영상에서 해당 객체를 배제한다.
여기서, 상기 제2설정 크기는 객체를 인식하여 객체의 종류를 구분할 수 있는 크기로 미리 설정된다. 상기 제1설정 크기와 다르게 설정된 것으로 예를 들어 설명하나, 이에 한정되지 않고 상기 제1설정 크기와 상기 제2설정 크기는 동일한 것도 가능하다.
도 11은 본 발명의 실시예에 따른 현장 영상 데이터 셋의 수집시 객체 크기에 따라 선별하는 예를 나타낸다.
도 11을 참조하면, 상기 현장 영상 속에 복수의 객체들이 포함되는 바, 복수의 객체들 중에서 상기 제2설정 크기 이상인 객체들만 채택될 수 있다.
또한, 상기 현장 배경의 유무에 따른 영상 선별 과정은, 상기 현장 영상 내 배경을 현장에 따라 미리 설정된 설정 배경과 비교하여, 상기 설정 배경을 포함한 영상을 채택하고, 상기 설정 배경을 포함하지 않은 영상은 배제한다. 상기 설정 배경은 각각의 현장의 특성을 반영한 배경으로 미리 설정된다.
예를 들어, 고가 도로가 있는 현장에 설치된 상기 수집용 영상 센서들(12)로부터 수집된 영상들은 고가 도로가 포함된 영상을 우선적으로 채택하고, 바닷가 현장에 설치된 상기 수집용 영상 센서들(12)로부터 수집된 영상들은 바다가 포함된 영상을 우선적으로 채택한다. 따라서, 상기 현장 영상 데이터 셋에 복수의 현장들의 다양한 배경의 영상이 포함될 수 있도록 한다.
또한, 상기 촬영 시간대에 따른 영상 선별 과정은, 상기 현장 영상을 촬영한 촬영 시간대와 미리 설정된 설정 시간대를 비교하여, 상기 촬영 시간대가 상기 설정 시간대 이내이면 해당 영상을 채택하고, 상기 촬영 시간대가 상기 설정 시간대를 벗어나면 해당 영상을 배제한다. 예를 들어, 상기 설정 시간대는 일몰 후부터 일몰 전까지 소정의 시간대를 제외한 시간대로 설정될 수 있다. 따라서, 상기 현장 영상 데이터 셋에는 복수의 현장들의 다양한 시간대의 영상이 포함되고, 보다 정확한 영상 데이터를 사용할 수 있다.
또한, 상기 객체간 중첩도에 따른 영상 선별 과정은, 상기 현장 영상 내에 복수의 객체들이 포함된 경우, 상기 객체간 중첩도가 미리 설정된 중첩 기준에 만족하는지 판단하여 선별하는 과정이다. 상기 객체간 중첩도는 상기 객체들이 서로 겹쳐진 정도를 의미한다. 상기 객체간 중첩도에 따른 영상 선별 과정은 미리 설정된 분석 알고리즘을 통해 수행될 수 있다. 상기 중첩 기준은, 상기 영상 내에 객체를 검지하여 표시하는 사각형의 바운딩 박스의 4개의 선 중 적어도 하나라도 전방에 보이는 객체에 의해 완전히 가려지지 않는 것으로 예를 들어 설명한다. 즉, 제1객체의 바운딩 박스의 4개의 선 중 하나의 선이라도 전방에 있는 다른 객체에 의해 완전히 가려질 경우, 상기 중첩 기준을 만족하지 못했다고 판단하여 해당 객체가 나온 영상을 배제한다. 상기 해당 영상에서 상기 제1객체만을 배제할 경우, 상기 제1객체를 배경으로 인식할 수 있으므로, 정확한 학습을 위하여 해당 영상을 배제한다.
도 12는 본 발명의 실시예에 따른 현장 영상 데이터 셋의 수집시 객체간 중첩도에 따라 선별하는 예를 나타낸다.
도 12a를 참조하면, 영상에서 2개의 제1,2객체(1)(2)가 검지된 경우이며, 상기 제1객체(1)를 표시하는 제1바운딩 박스의 4개의 선 중 1개의 선이 상기 제2객체(2)에 의해 완전히 가려진 상태를 나타낸다. 이 경우, 상기 객체간 중첩도가 상기 중첩 기준을 만족하지 못하다고 판단하여, 해당 영상을 배제한다.
도 12b를 참조하면, 영상 속에서 복수의 객체들(1)(2)이 검지된 경우이며, 복수의 객체들 중에서 바운딩 박스의 4개의 선 중 완전히 가려지는 경우가 없으므로, 상기 객체간 중첩도가 상기 중첩 기준을 만족한다고 판단하여, 해당 영상을 채택한다.
또한, 상기 객체와 배경의 중첩도에 따른 영상 선별 과정은, 상기 현장 영상 내 객체가 배경에 의해 가려질 경우, 상기 객체가 상기 배경에 의해 가려지는 정도인 객체와 배경의 중첩도를 미리 설정된 설정 중첩 비율과 비교하여 선별하는 과정이다.
상기 객체와 배경의 중첩도가 상기 설정 중첩 비율 이상이면 해당 영상을 배제하고, 상기 설정 중첩 비율 미만이면 해당 영상을 채택한다. 상기 객체와 배경의 중첩도에 따른 영상 선별 과정은 미리 설정된 분석 알고리즘을 통해 수행될 수 있다. 여기서, 상기 설정 중첩 비율은 60%인 것으로 예를 들어 설명한다.
도 13은 본 발명의 실시예에 따른 현장 영상 데이터 셋의 수집시 객체와 배경의 중첩도에 따라 선별하는 예를 나타낸다.
도 13을 참조하면, 영상에서 검지된 객체(O)가 도로 표지판(S)에 의해 가려진 경우를 나타내며, 객체(O)가 도로 표지판(S)에 가려진 정도가 60% 이상이면, 해당 영상을 배제한다.
상기와 같이 구성된 상기 영상 선별 과정(S22-2)을 통해 선별되어 채택된 영상들은 선별 영상 데이터 셋이 된다. 이 때, 상기 채택된 영상들 중에서 상기 객체의 종류별 비율의 균형이 이루어지도록 추가 선별될 수 있다.
상기 현장 영상들 중에서 상기 영상 선별 과정(S22-2)을 통해 배제된 영상들은 노이즈 영상 데이터 셋으로 분류된다.
상기 영상 선별 과정(S22-2)이 끝나면, 상기 데이터 셋 혼합 과정(S22-3)이 수행된다.
상기 데이터 셋 혼합 과정(S22-3)은, 상기 선별 영상 데이터 셋과 상기 노이즈 영상 데이터 셋을 미리 설정된 비율로 혼합하는 과정이다. 여기서, 상기 비율은 1:1인 것으로 예를 들어 설명한다. 다만, 이에 한정되지 않고, 상기 선별 영상 데이터 셋만으로도 추가 학습하기 충분한 양이라고 판단될 경우, 상기 현장 영상 데이터 셋은 상기 선별 영상 데이터 셋만으로 구성되는 것도 물론 가능하다.
상기 현장 영상 데이터 셋 저장 과정(S22-4)은, 상기 데이터 셋 혼합 과정(S22-3)에서 혼합된 데이터 셋을 상기 현장 영상 데이터 셋으로 저장하는 과정이다.(S22-4)
상기와 같은 방법으로 상기 현장 영상 데이터 셋이 생성되면, 상기 현장 영상 데이터 셋을 이용하여 상기 미세조정 모델 학습 단계(S23)을 수행한다.
상기 미세조정 모델 학습 단계(S23)는, 상기 모델 학습부(32)가 상기 현장 영상 데이터 셋으로 상기 영상 딥러닝 초기 모델을 추가 학습하여, 상기 현장의 특성을 반영하여 객체의 종류를 도출하는 영상 딥러닝 미세조정 모델을 생성하는 단계이다. 상기 미세조정 모델 학습 단계(S23)에서 상기 현장 영상 데이터 셋으로 추가 학습함으로써, 상기 영상 센서가 설치된 현장의 특성을 반영하여 영상 내 객체의 종류를 보다 정확하게 도출할 수 있다.
상기 검증 단계(S24)는, 상기 영상 딥러닝 초기 모델과 상기 영상 딥러닝 미세조정 모델에 기저장된 검증 데이터 셋을 각각 입력하여 각각에서 도출된 결과를 비교하여, 상기 영상 딥러닝 미세조정 모델의 정확도를 검증하는 단계이다. 상기 영상 딥러닝 미세조정 모델의 정확도가 미리 설정된 기준 정확도 미만일 경우, 상기 현장 영상 데이터 셋 생성 단계에서 선별 기준 등을 조정할 수 있다.
한편, 도 5는 본 발명의 실시예에 따른 객체 정보 도출 단계를 나타낸 순서도이다.
도 5를 참조하면, 상기 객체 정보 도출 단계(S30)는, 실거리 매칭 단계(S31), 객체 종류 도출 단계(S32), 좌표 변환 단계(S33), 객체 속도 도출 단계(S34) 및 객체 차선 도출 단계(S35)를 포함한다.
상기 실거리 매칭 단계(S31)는, 상기 제어기(20)의 전처리부(22)가 상기 검지 영상 내 2차원 영역을 3차원 영역으로 변환시키는 과정과, 상기 2차원 영역의 실거리와 상기 3차원 영역의 변환 거리를 매칭시키는 과정과, 상기 2차원 영역 내 객체의 위치를 상기 3차원 영역 내 3차원 좌표로 변환시키는 원근 변환 행렬을 도출하는 과정을 포함한다.
즉, 상기 실거리 매칭 단계(S31)에서는 상기 전처리부(22)가 상기 검지용 영상 센서(11)가 촬영한 검지 영상 내 2차원 영역을 원근 변환(Perspective Transform) 기법을 이용하여 3차원 영역으로 변환시킨다. 상기 원근 변환 기법은, 2차원 영역을 3차원 영역으로 변환시키는 방법이며 상용화된 기법이므로 자세한 설명은 생략한다.
도 6은 본 발명의 실시예에 따른 검지용 영상 센서가 촬영한 검지 영상의 검지 영역의 예를 나타낸다. 도 7은 본 발명의 실시예에 따른 전처리부가 2차원 영역을 3차원 영역으로 변환한 예를 나타낸다.
도 6을 참조하면, 상기 검지 영상 내 2차원 영역을 표시하고 있다. 여기서, 상기 2차원 영역의 실제 측량 거리는 x축 방향 가로 길이는 20m이고, y축 방향 세로 길이는 50m인 것으로 예를 들어 설명한다.
도 7을 참조하면, 상기 2차원 영역을 상기 원근 변환 기법을 통해 변환한 3차원 영역의 xy평면을 나타내고 있다. 여기서, 상기 2차원 영역의 실거리의 단위인 1mm를 상기 3차원 영역의 변환 거리의 단위인 1pixel로 매칭하였다.
또한, 상기 실거리 매칭 단계(S31)에서는 상기 전처리부(22)가 상기 2차원 영역의 실거리와 상기 3차원 영역의 변환 거리를 매칭시키고, 상기 2차원 영역 내 객체의 위치를 상기 3차원 영역 내 3차원 좌표로 변환시키기 위한 원근 변환 행렬을 도출한다.
상기 객체 종류 도출 단계(S32)는, 상기 제어기(20)의 객체 정보 도출부(23)가 상기 검지 영상을 상기 영상 딥러닝 미세조정 모델에 입력하여, 상기 영상 딥러닝 미세조정 모델로부터 상기 검지 영상 내 객체의 종류와 객체의 위치를 도출하는 단계이다.
여기서, 상기 객체의 종류는 승용차, 버스, 트럭, 보행자를 포함하여 4가지 클래스로 분류하는 것으로 예를 들어 설명한다. 상기 영상 딥러닝 미세조정 모델로부터 도출되는 상기 객체의 위치는 2차원 좌표값이다.
상기 좌표 변환 단계(S33)는, 상기 객체 정보 도출부(23)가 상기 원근 변환 행렬을 이용하여 상기 객체의 위치를 3차원 좌표로 변환시키는 단계이다. 즉, 상기 영상 딥러닝 미세조정 모델로부터 도출된 객체의 위치는 2차원 좌표이므로, 상기 원근 변환 행렬을 이용하여 3차원 좌표로 변환한다.
상기 객체 속도 도출 단계(S34)는, 상기 객체 정보 도출부(23)가 상기 객체의 3차원 좌표의 변화를 추적하여 상기 객체의 속도를 도출하는 단계이다. 상기 객체 정보 도출부(23)는 상기 3차원 좌표 중 y좌표값의 변화에 따라 상기 객체의 순간 속도와 평균 속도를 모두 도출할 수 있다. 상기 객체의 속도는 상기 3차원 좌표 중 시간에 따른 y좌표값의 변화로부터 순간 속도와 평균 속도를 추론할 수 있다.
상기 객체 차선 도출 단계(S35)는, 상기 객체 정보 도출부(23)가 상기 객체의 3차원 좌표의 변화를 추적하여, 상기 객체의 주행 차선을 도출하는 단계이다. 상기 객체의 주행 차선은, 상기 3차원 좌표 중 x좌표값으로부터 추론할 수 있다.
도 8은 본 발명의 실시예에 따른 객체 정보를 도출한 화면의 예를 나타낸다.
도 8을 참조하면, 상기 단계들에서 도출한 객체 정보인 객체의 ID, 객체의 종류, 객체의 위치, 객체의 속도, 객체의 주행 차선을 포함한 객체 정보를 상기 검지 영상 내의 해당 객체에 표시하는 화면의 예를 나타낸다. 상기 객체 정보를 표시한 화면은 사용자 또는 관리자가 소지한 단말기 등에 표시될 수 있다.
한편, 상기 교통 정보 도출 단계(S40)는, 상기 제어기의 교통 정보 도출부(24)가 상기 객체의 종류, 상기 객체의 속도 및 상기 객체의 주행 차선을 포함한 객체 정보를 미리 설정된 교통 정보 분석 알고리즘을 통해 분석하여, 교통 정보를 생성하는 단계이다.
상기 교통 정보 도출단계에서는, 상기 교통 정보 분석 알고리즘을 통해 상기 객체 정보와 미리 설정된 패턴 정보를 비교하고 분석하여, 정체, 돌발, 사고 등의 발생 유무를 포함한 교통 정보를 도출한다. 상기 교통 정보 도출부(24)는 정체, 돌발, 사고 등의 발생 유무에 따라 위험, 경고, 주의 등의 단계별 안내 메시지를 도출할 수 있다. 상기 교통 정보는, 사용자 또는 관리자가 소지한 단말기 등에 표시될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
10: 영상 센서 11: 검지용 영상 센서
12: 수집용 영상 센서 20: 제어기
22: 전처리부 23: 객체 정보 도출부 24: 교통 정보 도출부 30: 서버
31: 데이터 셋 구축부 32: 모델 학습부

Claims (13)

  1. 미리 설정된 현장에 설치된 복수의 영상 센서들과;
    기저장된 범용 영상 데이터 셋을 학습하여 영상 내 객체의 종류를 도출하는 영상 딥러닝 초기 모델을 생성하고, 상기 영상 딥러닝 초기 모델을 상기 영상 센서들 중 적어도 일부가 촬영한 현장 영상들을 수집하여 생성된 현장 영상 데이터 셋으로 추가 학습하여, 상기 현장의 특성을 반영하여 영상 내 객체의 종류를 도출하는 영상 딥러닝 미세조정 모델을 생성하는 서버와;
    상기 영상 센서들 중 적어도 일부가 촬영한 검지 영상을 이용하여 객체 정보와 교통 정보를 도출하는 제어기와;
    상기 제어기는,
    상기 검지 영상의 2차원 영역을 원근 변환 기법을 이용하여 3차원 영역으로 변환시키고, 상기 2차원 영역의 실거리와 상기 3차원 영역의 변환 거리를 매칭시켜, 상기 2차원 영역 내 객체의 위치를 상기 3차원 영역 내 3차원 좌표로 변환시키기 위한 원근 변환 행렬을 도출하는 전처리부와;
    상기 영상 딥러닝 미세조정 모델을 통해 상기 검지 영상 내 객체의 종류와 객체의 위치를 도출하고, 상기 원근 변환 행렬을 통해 상기 도출된 객체의 위치를 3차원 좌표로 변환시키고, 상기 객체의 속도와 상기 객체의 주행 차선을 도출하는 객체 정보 도출부를 포함하고,
    상기 영상 센서들은,
    상기 영상 딥러닝 미세조정 모델에 입력하여 객체 정보를 도출하기 위한 상기 검지 영상을 촬영하는 검지용 영상 센서와,
    상기 현장 영상 데이터 셋을 생성하기 위한 상기 현장 영상을 촬영하는 수집용 영상 센서를 포함하고,
    상기 현장 영상 데이터 셋은,
    상기 수집용 영상 센서들로부터 수집한 현장 영상들을 객체의 형태, 객체의 크기, 현장 배경의 유무, 촬영 시간대, 객체간 중첩도, 객체와 배경의 중첩도를 각각 미리 설정된 선별 기준과 비교하여, 상기 선별 기준에 만족하는 영상들만 선별한 선별 영상 데이터 셋과,
    상기 수집용 영상 센서들을 통해 수집한 현장 영상들 중 상기 선별 영상 데이터 셋을 제외한 영상들 중 일부를 샘플링한 노이즈 영상 데이터 셋을 포함하고,
    상기 선별 영상 데이터 셋과 상기 노이즈 영상 데이터 셋을 미리 설정된 설정 비율로 혼합한,
    인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적 기반 교통 정보 수집 시스템.
  2. 청구항 1에 있어서,
    상기 제어기는,
    상기 객체의 종류, 상기 객체의 위치, 상기 객체의 속도 및 상기 객체의 주행 차선을 포함한 객체 정보에 따라 교통 정보를 도출하는 교통 정보 도출부를 더 포함하는,
    인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적 기반 교통 정보 수집 시스템.
  3. 청구항 1에 있어서,
    상기 서버는,
    상기 영상 딥러닝 초기 모델과 상기 영상 딥러닝 미세조정 모델에 기저장된 검증 데이터 셋을 각각 입력하여 도출된 결과들을 비교하여, 상기 영상 딥러닝 미세조정 모델의 정확도를 검증하는,
    인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적 기반 교통 정보 수집 시스템.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 미리 설정된 현장에 설치된 복수의 영상 센서들이 미리 설정된 검지 영역을 촬영하는 영상 촬영 단계와;
    서버의 모델 학습부가 기저장된 범용 영상 데이터 셋을 학습하여, 영상 내 객체의 종류를 도출하는 영상 딥러닝 초기 모델을 생성하는 초기 모델 학습 단계와;
    상기 모델 학습부가 상기 영상 센서들 중 적어도 일부가 촬영한 현장 영상들을 수집하여 생성한 현장 영상 데이터 셋으로 상기 영상 딥러닝 초기 모델을 추가 학습하여, 상기 현장의 특성을 반영하여 객체의 종류를 도출하는 영상 딥러닝 미세조정 모델을 생성하는 미세조정 모델 학습 단계와;
    상기 영상 센서들 중 적어도 일부가 촬영한 검지 영상을 이용하여 객체 정보와 교통 정보를 도출하기 위한 제어기의 전처리부가 상기 영상 센서들 중 적어도 일부가 촬영한 검지 영상 내 2차원 영역을 3차원 영역으로 변환시키고, 상기 2차원 영역의 실거리와 상기 3차원 영역의 변환 거리를 매칭시켜, 상기 2차원 영역 내 객체의 위치를 상기 3차원 영역 내 3차원 좌표로 변환시키는 원근 변환 행렬을 도출하는 실거리 매칭 단계와;
    상기 제어기의 객체 정보 도출부가 상기 영상 딥러닝 미세조정 모델을 이용하여 상기 검지 영상 내 객체의 종류와 객체의 위치를 도출하는 객체 종류 도출단계와;
    상기 객체 정보 도출부가 상기 원근 변환 행렬을 이용하여 상기에서 도출된 상기 객체의 위치를 3차원 좌표로 변환시키는 좌표 변환 단계와;
    상기 객체 정보 도출부가 상기 객체의 3차원 좌표의 변화를 추적하여 상기 객체의 속도를 도출하는 객체 속도 도출단계를 포함하고,
    상기 서버가 상기 현장 영상 데이터 셋을 생성하는 현장 영상 데이터 셋 생성 단계를 더 포함하고,
    상기 현장 영상 데이터 셋 생성 단계는,
    상기 영상 센서들 중에서 미리 설정된 수집용 영상 센서들이 촬영한 현장 영상들을 수집하는 현장 영상 수집 과정과,
    상기 현장 영상들을 객체의 형태, 객체의 크기, 현장 배경의 유무, 촬영 시간대, 객체간 중첩도, 객체와 배경의 중첩도를 각각 미리 설정된 선별 기준과 비교하여, 상기 선별 기준에 만족하는 영상들을 선별하여 선별 영상 데이터 셋을 만드는 영상 선별 과정과,
    상기 선별 영상 데이터 셋과, 상기 영상 선별 과정에서 상기 선별 영상 데이터 셋으로 채택되지 못한 영상들 중 일부를 샘플링한 노이즈 영상 데이터 셋을 미리 설정된 설정 비율로 혼합하는 데이터 셋 혼합 과정과,
    상기 데이터 셋 혼합 과정에서 혼합된 데이터 셋을 상기 현장 영상 데이터 셋으로 선정하여 저장하는 데이터 셋 저장 과정을 포함하는,
    인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적 기반 교통 정보 수집 방법.
  8. 청구항 7에 있어서,
    상기 객체 정보 도출부가 상기 객체의 3차원 좌표의 변화를 추적하여, 상기 객체의 주행 차선을 도출하는 객체 차선 도출단계를 더 포함하는,
    인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적 기반 교통 정보 수집 방법.
  9. 청구항 8에 있어서,
    상기 제어기의 교통 정보 도출부가 상기 객체의 종류, 상기 객체의 속도 및 상기 객체의 주행 차선을 포함한 객체 정보를 미리 설정된 교통 정보 분석 알고리즘을 통해 분석하여, 정체, 돌발, 사고를 포함한 교통 정보를 생성하는 교통 정보 도출 단계를 더 포함하는,
    인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적 기반 교통 정보 수집 방법.
  10. 청구항 7에 있어서,
    상기 미세조정 모델 학습 단계는,
    상기 모델 학습부가 상기 영상 딥러닝 초기 모델과 상기 영상 딥러닝 미세조정 모델에 기저장된 검증 데이터 셋을 각각 입력하여 도출된 결과를 비교하여, 상기 영상 딥러닝 미세조정 모델의 정확도를 검증하는 과정을 더 포함하는,
    인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적 기반 교통 정보 수집 방법.
  11. 삭제
  12. 삭제
  13. 삭제
KR1020230092917A 2023-07-18 2023-07-18 인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적기반 교통 정보 수집 시스템 및 방법 KR102602319B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230092917A KR102602319B1 (ko) 2023-07-18 2023-07-18 인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적기반 교통 정보 수집 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230092917A KR102602319B1 (ko) 2023-07-18 2023-07-18 인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적기반 교통 정보 수집 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102602319B1 true KR102602319B1 (ko) 2023-11-16

Family

ID=88964671

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230092917A KR102602319B1 (ko) 2023-07-18 2023-07-18 인공지능 영상 딥러닝 모델을 이용한 다중 객체 추적기반 교통 정보 수집 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102602319B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210052031A (ko) * 2019-10-31 2021-05-10 한국전자기술연구원 딥러닝 기반 교통 흐름 분석 방법 및 시스템
KR20210158037A (ko) * 2020-06-23 2021-12-30 동명대학교산학협력단 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
KR102355431B1 (ko) * 2021-08-25 2022-02-08 한국건설기술연구원 Ai 기반 돌발상황 검지 방법 및 그 시스템
JP2023020992A (ja) * 2021-07-29 2023-02-09 三星電子株式会社 オブジェクト検出方法及び装置
KR102499340B1 (ko) * 2021-05-12 2023-02-10 고현준 이기종 객체 필터 기반 하이브리드 영상 분석 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210052031A (ko) * 2019-10-31 2021-05-10 한국전자기술연구원 딥러닝 기반 교통 흐름 분석 방법 및 시스템
KR102453627B1 (ko) 2019-10-31 2022-10-12 한국전자기술연구원 딥러닝 기반 교통 흐름 분석 방법 및 시스템
KR20210158037A (ko) * 2020-06-23 2021-12-30 동명대학교산학협력단 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
KR102499340B1 (ko) * 2021-05-12 2023-02-10 고현준 이기종 객체 필터 기반 하이브리드 영상 분석 장치 및 방법
JP2023020992A (ja) * 2021-07-29 2023-02-09 三星電子株式会社 オブジェクト検出方法及び装置
KR102355431B1 (ko) * 2021-08-25 2022-02-08 한국건설기술연구원 Ai 기반 돌발상황 검지 방법 및 그 시스템

Similar Documents

Publication Publication Date Title
Toulminet et al. Vehicle detection by means of stereo vision-based obstacles features extraction and monocular pattern analysis
JP3367170B2 (ja) 障害物検出装置
JP4919036B2 (ja) 移動物体認識装置
US6205242B1 (en) Image monitor apparatus and a method
JP6197388B2 (ja) 距離測定装置、距離測定方法、およびプログラム
CN109427214A (zh) 使用模拟传感器数据扩增现实传感器记录
CN109425855A (zh) 使用模拟传感器数据扩增现实传感器记录
Zhu et al. Reliable detection of overtaking vehicles using robust information fusion
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
US9710719B2 (en) Apparatus and method for image recognition
CN108040496A (zh) 检测物体距图像传感器的距离的计算机实现的方法
JP5834933B2 (ja) 車両位置算出装置
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
JPH1166319A (ja) 移動体検出方法及び装置並びに移動体認識方法及び装置並びに人間検出方法及び装置
EP2476999B1 (en) Method for measuring displacement, device for measuring displacement, and program for measuring displacement
CN103810475A (zh) 一种目标物识别方法及装置
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
CN109886064A (zh) 确定可驾驶空间的边界的方法
Strigel et al. Vehicle detection and tracking at intersections by fusing multiple camera views
CN112699748B (zh) 基于yolo及rgb图像的人车距离估计方法
JPH1144533A (ja) 先行車両検出装置
JP2002366958A (ja) 画像認識方法および画像認識装置
CN114969221A (zh) 一种更新地图的方法及相关设备
JP2007233440A (ja) 車載用画像処理装置
EP4250245A1 (en) System and method for determining a viewpoint of a traffic camera

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant