KR102498538B1 - 세그멘테이션 기반의 영상 분석 시스템, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 - Google Patents
세그멘테이션 기반의 영상 분석 시스템, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 Download PDFInfo
- Publication number
- KR102498538B1 KR102498538B1 KR1020220027056A KR20220027056A KR102498538B1 KR 102498538 B1 KR102498538 B1 KR 102498538B1 KR 1020220027056 A KR1020220027056 A KR 1020220027056A KR 20220027056 A KR20220027056 A KR 20220027056A KR 102498538 B1 KR102498538 B1 KR 102498538B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- patch
- sharpness
- interest
- analysis system
- Prior art date
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 91
- 238000010191 image analysis Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title description 36
- 238000004590 computer program Methods 0.000 title description 4
- 238000004891 communication Methods 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000002265 prevention Effects 0.000 claims description 8
- 238000003703 image analysis method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 9
- 238000003672 processing method Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000005021 gait Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G06T5/003—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
영상 분석 시스템은 기준 영상에 대응되는 제1 영상과 판단 대상 영상에 대응되는 제2 영상 각각에 대하여 관심 영역과 비관심 영역을 세그멘테이션(segmentation)하고, 제1 영상에 대한 패치 단위 세그멘테이션 결과와 제2 영상에 대한 패치 단위 세그멘테이션 결과를 비교하여 가시거리 확보 여부를 1차 판단하는 데이터 처리부를 포함한다.
Description
본 발명은 세그멘테이션 기반의 영상 분석 시스템, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
차량의 운전 시, 가시 거리는 운전자의 안전 운전을 위하여 매우 중요한 요소이다. 안개, 폭우, 폭설 등의 상황에서 운전자의 가시거리는 짧아지고, 운전자의 운전 위험성은 커지게 된다.
이러한 가시거리 미확보에 따른 위험 요소를 해결하기 위하여, 종래에는 촬영 영상의 픽셀 분포, 픽셀 히스토그램 등을 이용하여 영상으로부터 가시거리 미확보 상황을 판단하는 기술이 개발되었다.
다만, 상술한 종래의 기술은 정확도가 낮고, 다양한 환경(예를 들어, 주간, 야간, 교통 혼잡, 교통 원활, 날씨, 계절 등)에 대한 일반화 성능이 떨어진다는 문제점이 있었다.
또한, 상술한 종래의 기술은 영상 픽셀 특징들의 계산에 따른 많은 연산량으로 인하여 가시거리 미확보 상황에 대한 실시간 판단이 어렵다는 문제점이 있었다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 기준 영상과 판단 대상 영상 각각에 대한 패치 단위 세그멘테이션 결과를 기초로 가시거리 확보 여부에 대한 1차 판단을 수행하는 영상 분석 시스템, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체를 제공함에 있다.
또한, 본 발명의 목적은 1차 판단 결과 가시거리 미확보 상태로 판단되면, 패치맵의 영역별 가중치를 기초로 산출된 영상의 선명도를 이용하여 가시거리 확보 여부에 대한 2차 판단을 수행하는 영상 분석 시스템, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체를 제공함에 있다.
본 문서에 개시된 실시예들의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 영상 분석 시스템은 기준 영상에 대응되는 제1 영상과 판단 대상 영상에 대응되는 제2 영상 각각에 대하여 관심 영역과 비관심 영역을 패치 단위 세그멘테이션(segmentation)하고, 상기 제1 영상에 대한 패치 단위 세그멘테이션 결과와 상기 제2 영상에 대한 패치 단위 세그멘테이션 결과를 비교하여 가시거리 확보 여부를 1차 판단하는 데이터 처리부를 포함한다.
그리고, 데이터 처리부는, 인공 신경망을 이용하여 상기 제1 영상 및 상기 제2 영상 각각에 대한 패치 단위 세그멘테이션을 수행할 수 있다.
또한, 상기 패치 단위 세그멘테이션 결과는, 복수의 패치로 구성되되, 상기 관심 영역에 대응되는 패치와 상기 비관심 영역에 대응되는 패치에 서로 다른값이 할당된 패치맵 일 수 있다.
그리고, 상기 데이터 처리부는, 상기 패치맵을 행 방향의 복수의 영역으로 구분할 수 있다.
또한, 상기 1차 판단을 위하여 데이터 처리부는, 상기 제1 영상에 대한 패치 단위 세그멘테이션 결과와 상기 제2 영상에 대한 패치 단위 세그멘테이션 결과를 기초로 차이 패치맵을 산출하고, 상기 산출된 차이 패치맵의 합산값이 제1 임계값 보다 작으면, 가시거리 확보 상태로 판단하며, 상기 산출된 차이 패치맵의 합산값이 상기 제1 임계값 보다 크면, 가시거리 확보 여부를 2차 판단할 수 있다.
또한, 상기 데이터 처리부는, 상기 1차 판단 결과 가시거리 미확보 상태로 판단되면, 상기 제1 영상 및 상기 제2 영상 각각으로부터 추출된 관심 영상의 선명도를 기초로 가시거리 확보 여부를 2차 판단할 수 있다.
그리고, 상기 2차 판단을 위하여 데이터 처리부는, 상기 제1 영상에 대한 패치 단위세그멘테이션 결과와 상기 제2 영상에 대한 패치 단위 세그멘테이션 결과를 기초로 산출된 합집합 패치맵에 대한 영역별 가중치를 산출하고, 상기 합집합 패치맵을 기초로 상기 제1 영상 및 상기 제2 영상 각각으로부터 추출된 관심 영상에 상기 산출된 영역별 가중치를 적용하여 상기 관심 영상의 선명도를 산출할 수 있다.
또한, 상기 데이터 처리부는, 상기 합집합 패치맵의 구분된 복수의 영역들 각각에 대하여 촬영 위치로부터 먼 영역일수록 더 큰 가중치 값을 할당할 수 있다.
그리고, 상기 데이터 처리부는, 상기 제1 영상으로부터 추출된 제1 관심 영상의 각 구분 영역에 상기 산출된 영역별 가중치를 적용하여 제1 영상에 대한 제1 지역 선명도를 산출하고, 상기 제2 영상으로부터 추출된 제2 관심 영상의 각 구분 영역에 상기 산출된 영역별 가중치를 적용하여 제2 영상에 대한 제2 지역 선명도를 산출하며, 상기 제1 영상 및 상기 제2 영상 각각에 대한 제1 전역 선명도 및 제2 전역 선명도를 산출하고, 상기 제1 지역 선명도와 상기 제1 전역 선명도를 기초로 상기 제1 관심 영상의 선명도를 산출하고, 상기 제2 지역 선명도와 상기 제2 전역 선명도를 기초로 상기 제2 관심 영상의 선명도를 산출할 수 있다.
또한, 상기 데이터 처리부는, 상기 제1 관심 영상의 선명도와 상기 제2 관심 영상의 선명도의 선명도 차이값을 산출하고, 상기 산출된 선명도 차이값이 제2 임계값 보다 크고, 상기 제1 관심 영상의 선명도가 상기 제2 관심 영상의 선명도 보다 크면, 가시거리 미확보 상황으로 판단할 수 있다.
그리고, 상기 패치의 크기, 패치맵의 영역 분할 수, 상기 데이터 처리부의 가시 거리 확보 여부 판단을 위한 임계값 중 적어도 하나는 사용자 입력에 따라 설정 가능할 수 있다.
또한, 상기 관심 영역은 차로 영역을 포함하고, 상기 비관심 영역은 비차로 영역을 포함할 수 있다.
그리고, 상기 데이터 처리부는, 통행 정보, 방범 정보, 이벤트 정보 및 가시거리 확보 여부 정보 중 적어도 하나를 포함하는 결과 데이터를 생성할 수 있다.
그리고, 상기 결과 데이터를 차량 또는 운영 서버에 전송하는 통신 인터페이스부를 더 포함할 수 있다.
또한, 상기 제1 영상 및 상기 제2 영상 중 적어도 하나를 촬영하도록 설정된 촬영부를 더 포함할 수 있다.
그리고, 상기 제2 영상에 포함된 객체의 위치 또는 이동 거리를 측정하는 센서부를 더 포함할 수 있다.
또한, 상기 데이터 처리부는, 상기 가시거리 확보 여부에 대한 판단 결과를 기초로 관제 기능을 수행할 수 있다.
한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 프로세서에 의해 수행되는 영상 분석 방법은 기준 영상에 대응되는 제1 영상과 판단 대상 영상에 대응되는 제2 영상 각각에 대하여 관심 영역과 비관심 영역을 세그멘테이션(segmentation)하는 단계 및 상기 제1 영상에 대한 패치 단위 세그멘테이션 결과와 상기 제2 영상에 대한 패치 단위 세그멘테이션 결과를 비교하여 가시거리 확보 여부를 1차 판단하는 단계를 포함한다.
또한, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 컴퓨터 판독 가능한 기록 매체는 상술한 영상 분석 방법을 실행시키기 위한 프로그램이 기록될 수 있다.
또한, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 프로그램은 컴퓨터 판독 가능한 기록 매체에 저장되어 상술한 영상 분석 방법을 실행시킬 수 있다.
한편, 상술한 목적을 달성하기 위한 본 발명의 다양한 실시 예에 따른 영상 분석 시스템은 "기준 영상에 대응되는 제1 영상의 패치 단위 세그멘테이션 결과와 판단 대상 영상에 대응되는 제2 영상의 패치 단위 세그멘테이션 결과의 비교", 및 "상기 제1 영상 및 상기 제2 영상 각각으로부터 추출된 관심 영상의 선명도 비교" 중 적어도 하나를 기초로 가시거리 확보 여부를 판단하는 데이터 처리부를 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 기준 영상과 판단 대상 영상 각각에 대한 패치 단위 세그멘테이션 결과를 가시거리 확보 여부에 대한 판단의 근거로 이용함으로써, 관심 영역과 비관심 영역에 대한 세그멘테이션 정확도를 높일 수 있고, 출력의 크기를 줄여 연산량을 낮추어 실시간 처리에 적합한 시스템을 구현할 수 있다.
본 발명에 따르면, 먼저 패치 단위 세그멘테이션 결과를 기초로 가시 거리 확보 여부에 대한 1차 판단을 수행하고, 1차 판단 결과 가시거리가 미확보 상태로 판단된 경우에만 가시 거리 확보 여부에 대한 2차 판단을 진행함으로써, 가시거리가 확보된 대부분의 상황을 적은 연산량으로 판단할 수 있도록 하여 실시간 처리에 적합한 시스템을 구현할 수 있다.
또한, 본 발명에 따르면, 주간, 야간, 교통 혼잡, 교통 원활, 날씨, 계절 등 다양한 환경 상황에서도 시스템의 강건성을 높일 수 있다.
또한, 본 발명에 따르면, 영상 분석 시스템은 차량 및 보행자의 통행 정보, 교통 법규 위반 정보, 및 방범 정보 등을 수집함으로써 다양한 교통 관련 서비스를 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 영상 분석 시스템을 나타내는 개념도이다.
도 2는 본 발명의 일 실시 예에 따른 영상 분석 시스템의 구현 예시를 나타내는 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 영상 분석 시스템을 나타내는 블록도이다.
도 4는 본 발명의 다른 실시 예에 따른 영상 분석 시스템을 나타내는 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 데이터 처리부의 가시거리 확보 여부 판단과정을 나타내는 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 패치 단위 세그멘테이션 결과를 나타내는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 데이터 처리부의 가시거리 확보 여부 판단과정을 상세히 나타내는 흐름도이다.
도 8은 본 발명의 일 실시 예에 따른 데이터 처리부의 제1 판단 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 데이터 처리부의 합집합 패치맵에 대한 영역 별 가중치 산출 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 데이터 처리부의 영상 영역 추출 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 데이터 처리부의 영상 선명도 산출 과정을 설명하기 위한 도면이다.
도 12는 영상에 대한 픽셀 단위 세그멘테이션 결과와 패치 단위 세그멘테이션 결과를 나타내는 도면이다.
도 13은 주간 촬영 영상과 야간 촬영 영상 각각에 대한 에지 추출 결과를 나타내는 도면이다.
도 14는 본 발명의 또 다른 실시 예에 따른 영상 분석 시스템을 나타내는 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 영상 분석 시스템의 구현 예시를 나타내는 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 영상 분석 시스템을 나타내는 블록도이다.
도 4는 본 발명의 다른 실시 예에 따른 영상 분석 시스템을 나타내는 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 데이터 처리부의 가시거리 확보 여부 판단과정을 나타내는 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 패치 단위 세그멘테이션 결과를 나타내는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 데이터 처리부의 가시거리 확보 여부 판단과정을 상세히 나타내는 흐름도이다.
도 8은 본 발명의 일 실시 예에 따른 데이터 처리부의 제1 판단 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 데이터 처리부의 합집합 패치맵에 대한 영역 별 가중치 산출 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 데이터 처리부의 영상 영역 추출 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 데이터 처리부의 영상 선명도 산출 과정을 설명하기 위한 도면이다.
도 12는 영상에 대한 픽셀 단위 세그멘테이션 결과와 패치 단위 세그멘테이션 결과를 나타내는 도면이다.
도 13은 주간 촬영 영상과 야간 촬영 영상 각각에 대한 에지 추출 결과를 나타내는 도면이다.
도 14는 본 발명의 또 다른 실시 예에 따른 영상 분석 시스템을 나타내는 블록도이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시 예들뿐만 아니라 특정 실시 예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시 예에 대하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 영상 분석 시스템을 나타내는 개념도이다. 도 1을 참조하면, 영상 분석 시스템(1000)은 촬영 장치(100) 및 운영 서버(200)를 포함할 수 있다.
촬영 장치(100)는 영상을 촬영하는 장치로, 촬영 장치(100)는 특정 지역에 설치되어 영상을 촬영할 수 있다. 여기서, 촬영 장치(100)에 의하여 촬영된 영상은 가시거리 확보 여부의 판단을 위해 이용될 수 있다. 일 예로, 촬영 장치(100)에 의하여 촬영된 영상은 도로, 도로 상에 위치한 차량, 시설물 등과 같은 다양한 객체를 포함할 수 있다.
이러한 촬영 장치(100)는 전방향을 촬영할 수 있는 화각을 갖도록 설치될 수 있다. 일 예로, 촬영 장치(100)는 정방향 주행 도로를 포함하는 제1 영역을 촬영할 수 있는 제1 화각과 역방향 주행 도로를 촬영할 수 있는 제2 화각을 갖도록 설치될 수 있다. 이러한 본 발명에 따르면, 하나의 촬영 장치에서 정방향 및 역방향 차로 각각의 차량, 번호판 등을 동시에 촬영할 수 있다.
운영 서버(200)는 교통 관련 관제 기능을 수행할 수 있다. 구체적으로, 운영 서버(200)는 촬영 장치(100)를 통해 촬영된 영상을 데이터 베이스에 저장 및 관리하고, 저장된 정보를 이용하여 운영 서버(200)의 사용자(예: 관제 요원)가 실시간으로 도로 상황을 관제할 수 있도록 하는 인터페이스를 출력할 수 있다.
여기서, 운영 서버(200)는 지방자치 단체, 도로공사, 시설공단, 또는 경찰청과 같은 공공기관에 의하여 운영될 수 있다.
한편, 상술한 촬영 장치(100) 및 운영 서버(200) 중 적어도 하나는 촬영 장치(100)에 의하여 촬영된 영상을 이용하여 가시 거리가 확보된 상황인지 여부를 판단하는 데이터 처리부(미도시)를 포함할 수 있다.
여기서, 데이터 처리부(미도시)는 기준 영상과 판단 대상 영상 각각에 대하여 관심 영역과 비관심 영역을 패치 단위 세그멘테이션(segmentation)하고, 기준 영상에 대한 패치 단위 세그멘테이션 결과와 판단 대상 영상에 대한 패치 단위 세그멘테이션 결과를 비교하여 가시거리 확보 여부를 1차 판단할 수 있다.
여기서, 세그멘테이션은 기 설정된 클래스의 집합을 이용하여 영상을 구성하는 최소 단위(예를 들어, 픽셀(Pixel), 패치(Patch) 등)를 특정 클래스로 분류하는 과정을 의미할 수 있다.
여기서, 패치는 복수의 픽셀의 집합으로 형성된 픽셀 집합을 의미할 수 있다. 즉, 픽셀 단위 세그멘테이션은 픽셀 단위로 클래스를 분류하는 것을 의미하고, 패치 단위 세그멘테이션은 복수의 픽셀로 이루어진 패치 단위로 클래스를 분류하는 것을 의미할 수 있다.
또한, 데이터 처리부(미도시)는 1차 판단 결과 가시거리 미확보 상황으로 판단되면, 패치맵의 영역별 가중치를 기초로 산출된 영상의 선명도를 이용하여 가시거리 확보 여부를 2차 판단할 수 있다.
이 때, 기준 영상은 가시거리 확보 여부 판단을 위하여 비교의 기준이 되는 영상을 의미할 수 있다. 일 예로, 기준 영상은 기 설정된 가시거리가 확보된 상황에 대응되는 영상(즉, 안개, 폭우, 폭설 등이 없이 기 설정된 가시거리가 확보된 상황에서 촬영된 영상)을 의미할 수 있다.
또한, 본 발명에 따르면, 데이터의 실시간 처리를 위하여, 기준 영상에는 기준 영상에 대한 패치 단위 세그멘테이션 결과인 패치맵, 패치맵에서 소정값을 갖는 패치의 개수 및 패치 별 선명도 중 적어도 하나가 미리 산출되어 저장될 수 있다. 패치맵에서 소정값을 갖는 패치의 개수에서 소정값은 '0' 및 '1' 중 적어도 하나일 수 있고, 기준 영상에는 패치값이 '1'인 패치의 개수 및 패치값이 '0'인 패치의 개수 중 적어도 하나가 저장될 수 있다.
또한, 판단 대상 영상은 가시거리 확보 여부 판단의 대상이 되는 영상을 의미할 수 있다. 일 예로, 판단 대상 영상은 촬영 장치(100)의 실시간 촬영 영상을 포함할 수 있다. 이 경우, 데이터 처리부(미도시)는 현재 시점의 가시거리 확보 여부를 판단할 수 있다. 다른 예로, 판단 대상 영상은 과거 영상을 포함할 수 있다. 이 경우, 데이터 처리부(미도시)는 과거 시점의 가시거리 확보 여부를 판단할 수 있다.
또한, 관심 영역은 차로 영역을 포함할 수 있다. 그리고, 비관심 영역은 비차로 영역을 포함할 수 있다.
이러한 데이터 처리부(미도시)는 영상 분석 시스템(1000)의 구현 방식에 따라 다양한 방식으로 구현될 수 있다. 이에 대해서는 도 2를 참조하여 보다 구체적으로 설명하기로 한다.
도 2는 본 발명의 일 실시 예에 따른 영상 분석 시스템의 구현 예시를 나타내는 블록도이다.
도 2(a)는 영상 분석 시스템(1000-1)이 현장처리 방식으로 구현된 예시를 나타내는 블록도이다. 현장처리 방식의 영상 분석 시스템(1000-1)에서 데이터 처리부는 현장 또는 촬영 장치에 구비될 수 있고, 데이터 처리부는 촬영 장치(100)에서 촬영된 영상을 분석하여 가시거리 확보 여부를 판단할 수 있다. 데이터 처리부는 분석 결과를 운영 서버(200)에 전송할 수 있다.
즉, 상술한 현장처리 방식의 영상 분석 시스템(1000-1)은 최소 기능 단위로 촬영 장치(100)를 구성하는 유닛과 데이터 처리부를 포함하여 구성될 수 있다.
도 2(b)는 영상 분석 시스템(1000-2)이 센터처리 방식으로 구현된 예시를 나타내는 블록도이다. 센터처리 방식의 영상 분석 시스템(1000-2)에서 데이터 처리부는 센터 또는 운영 서버(300)에 구비될 수 있고, 데이터 처리부는 촬영 장치(100)에서 촬영된 영상을 유/무선 통신망을 통해 수신하고 수신된 영상을 분석하여 가시거리 확보 여부를 판단할 수 있다. 이 경우, 영상 분석 시스템(1000-2)의 운영 서버(200)는 데이터 처리부의 가시거리 확보 여부에 대한 분석 결과에 기초하여 관제 기능을 수행할 수 있다. 일 예로, 운영 서버(200)는 데이터 처리부의 분석 결과에 기초하여 신호기의 신호를 제어하거나 차량과의 통신을 통하여 가시거리 확보 여부에 대한 안내를 제공하거나 사용자(예: 관제 요원)가 실시간으로 도로 상황을 관제할 수 있도록 하는 인터페이스를 출력할 수 있다.
즉, 상술한 센터처리 방식의 영상 분석 시스템(1000-2)은 최소 기능 단위로 운영 서버(200)를 구성하는 유닛과 데이터 처리부를 포함하여 구성될 수 있다.
한편, 도 2(c)와 같이, 영상 분석 시스템(1000-3)은 촬영 장치(100)와 운영 서버(200)를 포함하여 구성될 수도 있다. 이 경우, 데이터 처리부는 촬영 장치(100) 측 및 운영 서버(200) 측 중 하나에 구비되거나 또는 모두에 구비될 수 있다.
또한, 도 2에서는 도시하지 않았으나, 데이터 처리부는 촬영 장치(100) 및 운영 서버(200)와 별도의 모듈로 구현될 수도 있다. 일 예로, 데이터 처리부는 도로의 일 영역에 설치된 별도의 인프라스트럭처(Infrastructure)로 구현될 수 있다. 이 경우, 데이터 처리부는 V2I(Vehicle-to-Infrastructure) 통신을 통해 차량에게 가시거리 판단 결과에 대한 정보를 송신할 수 있다. 또한, 데이터 처리부는 V2I(Vehicle-to-Infrastructure) 통신을 통해 차량에게 후술할 통행 정보, 이벤트 정보, 방범 정보 등을 전송할 수 있다.
한편, 도 1에서는 영상 분석 시스템(1000)이 영상을 이용하여 차량의 도로 주행 환경에 대한 가시 거리 확보 여부를 판단하는 것을 예로 설명하였으나, 본 발명의 구현 예는 이에 한정되는 것은 아니다. 즉, 본 발명의 영상 분석 시스템(1000)은 가시 거리 확보 여부의 판단이 필요한 모든 환경(일 예로, 비행기의 항공 비행/활주로 비행 환경, 선박의 운항 환경 등)에 적용되어, 가시 거리 확보 여부를 판단하는데 이용될 수 있다.
이하에서는 설명의 편의를 위하여, 본 발명의 일 실시 예에 따른 영상 분석 시스템(1000)이 차량의 도로 주행 환경에 적용된 것으로 예시로 설명하기로 한다.
이하에서는 도 3 내지 4를 참조하여, 본 발명의 다양한 구현 예에 따른 영상 분석 시스템을 보다 구체적으로 설명하기로 한다.
도 3은 본 발명의 일 실시 예에 따른 영상 분석 시스템을 나타내는 블록도이다. 도 3은 도 2(a)의 현장처리 방식의 영상 분석 시스템(1000-1)의 일 구현 예를 나타낸 것으로, 영상 분석 시스템(300)은 촬영부(310), 센서부(320), 데이터 처리부(330) 및 통신 인터페이스부(340)의 전부 또는 일부를 포함할 수 있다.
촬영부(310)는 도 1에서 설명한 촬영 장치(100)와 실질적으로 동일한 기능을 수행할 수 있다.
센서부(320)는 차량 또는 사람과 같은 객체를 검출하고, 객체의 이동을 추적함으로써 객체의 위치 또는 이동 거리를 측정할 수 있는 센서(예: 레이더(radio detection and ranging, RADAR), 라이다(light detection and ranging, LIDAR), 영상 센서 및 레이다(laser detection and ranging, LADAR) 중 적어도 하나)를 포함할 수 있다. 실시예들에 따라, 영상 분석 시스템(300)은 촬영부(310) 및 센서부(320)를 상호 협력적으로 사용할 수 있다. 예를 들어, 영상 분석 시스템(300)은 객체의 이동 위치, 거리, 방향, 또는 속도를 보다 정확하게 검출하기 위하여 센서부(320)를 우선적으로 사용할 수 있으며, 객체의 형태를 식별할 필요가 있는 경우에는 촬영부(310)를 이용할 수 있다. 실시 예에 따르면, 촬영부(310) 및 센서부(320)는 하나의 통합된 모듈로 구현될 수 있다.
데이터 처리부(330)는 촬영부(310) 또는 센서부(320) 중 적어도 어느 하나를 통해 다양한 정보를 획득할 수 있다. 예를 들어, 데이터 처리부(330)는 통행 정보를 획득할 수 있으며, 통행 정보는 도로 영상을 포함할 수 있다. 또한, 통행 정보는 차량 영상, 차량의 수, 차량의 주행 속도, 차량의 주행 방향, 차량의 주행 차로, 차량의 이동 거리, 차량의 통행량, 차량의 대기 길이, 차량의 점유율, 보행자 영상, 보행자의 수, 보행 속도, 또는 보행 방향 중 적어도 하나를 더 포함할 수 있다. 또한, 통행 정보는 차량의 종류, 차량의 색상, 차량의 크기, 주행 차로, 차량 번호, 또는 보행자의 외형 중 적어도 하나를 포함하는 식별 정보를 포함할 수 있다. 추가적으로, 데이터 처리부(330)는 촬영부(310)를 통해 방범 정보를 획득할 수 있으며, '방범 정보'는 생활 방범 정보 또는 교통 방범 정보 중 적어도 하나를 포함할 수 있다.
데이터 처리부(330)는 통행 정보(예: 영상)를 이용하여 객체 및/또는 이벤트를 검출할 수 있다. 객체는 차량, 사람(예: 차량 탑승자, 보행자 등) 및 동물 등을 포함할 수 있다. '이벤트'는 도로 상에 발생한 위험 상황으로써 차량이나 보행자에게 알릴 필요가 있는 상태를 의미할 수 있다. 예를 들어, 데이터 처리부(330)는 차량의 정지, 차량 사고, 역주행, 보행자/야생동물의 출현, 낙하물, 로드킬, 산사태, 안개, 또는 포트홀과 같은 이벤트 종류와, 해당 이벤트가 발생한 위치를 검출할 수 있다. 이벤트의 종류 또는 이벤트의 위치를 나타내는 정보는 '이벤트 정보'로 참조 될 수 있다.
데이터 처리부(330)는 통행 정보 외에도 적어도 하나의 센서로부터 획득된 데이터를 통해서 이벤트를 검출할 수 있다. 예를 들어, 데이터 처리부(330)는 도로 위의 충격을 감지하기 위한 가속도 센서, 도로 인접 비탈면에서 산사태를 감지하기 위한 측위 센서, 온/습도와 같은 기상 변화를 감지하기 위한 온/습도 센서, 로드킬을 감지하기 위한 동작 감지 센서, 또는 음향 센서 중 적어도 하나로부터 수신된 데이터에 기반하여 이벤트 정보를 획득할 수 있다.
데이터 처리부(330)는 기준 영상과 판단 대상 영상 각각에 대하여 관심 영역과 비관심 영역을 패치 단위 세그멘테이션하고, 기준 영상에 대한 패치 단위 세그멘테이션 결과와 판단 대상 영상에 대한 패치 단위 세그멘테이션 결과를 비교하여 가시거리 확보 여부를 1차 판단할 수 있다. 그리고, 데이터 처리부(130)는 1차 판단 결과 가시거리 미확보 상황으로 판단되면, 기준 영상 및 판단 대상 영상 각각으로부터 추출된 관심 영상의 선명도를 기초로 가시거리 확보 여부를 2차 판단할 수 있다. 이러한 데이터 처리부(330)의 상세 동작에 대해서는 도 5 내지 11을 참조하여 후술하기로 한다.
통신 인터페이스부(340)는 영상 분석 시스템(300)을 위한 통신 기능을 수행할 수 있다. 구체적으로, 통신 인터페이스부(340)는 데이터 처리부(330)의 분석 결과 데이터(예: 통행 정보, 방범 정보, 이벤트 정보, 가시거리 확보 여부 판단 결과 정보 중 적어도 하나)를 통신 중계기 또는 차량 또는 운영 서버(200)에 전송할 수 있다.
즉, 본 발명의 일 실시 예에 따른 영상 분석 시스템(300)은 데이터 처리부(330)의 분석 결과를 통신 인터페이스부(340)를 통해 운영 서버(200)에 전송할 수 있고, 이 경우, 운영 서버(200)는 통신 인터페이스부(340)를 통해 수신한 분석 결과 데이터를 기초로 교통 관련 관제 기능을 수행할 수 있다. 일 예로, 운영 서버(200)는 통신 인터페이스부(340)를 통해 수신한 분석 결과 데이터를 기초로 해당 구역에 대한 교통 상황, 가시거리 상황을 다양한 사용자들에게 제공할 수 있다.
도 4는 본 발명의 다른 실시 예에 따른 영상 분석 시스템을 나타내는 블록도이다. 도 4는 도 2(b)의 센터처리 방식의 영상 분석 시스템(1000-2)의 일 구현 예를 나타낸 것으로, 영상 분석 시스템(400)은 통신 인터페이스부(410), 데이터 베이스(430), 데이터 처리부(420)의 전부 또는 일부를 포함할 수 있다.
통신 인터페이스부(410)는 영상 분석 시스템(400)을 위한 통신 기능을 수행할 수 있다. 구체적으로, 통신 인터페이스부(410)는 촬영 장치(100)에서 촬영된 영상을 촬영 장치(100)로부터 수신할 수 있다.
데이터 베이스(430)는 운영 서버(200)의 관제 기능에 필요한 각종 프로그램 및 데이터들을 저장할 수 있다. 특히, 데이터 베이스(430)는 복수 지역에 설치된 복수의 촬영 장치들(100) 각각으로부터 수신한 영상을 촬영 장치의 식별 정보에 따라 분류하여 저장할 수 있다.
데이터 처리부(420)는 통신 인터페이스부(410)를 통해 수신된 영상을 이용하여 가시거리 확보 여부를 판단할 수 있고, 가시거리 확보 여부 판단 기능은 도 3에 도시된 데이터 처리부(330)의 기능과 실질적으로 동일할 수 있다. 이러한 데이터 처리부(420)의 상세 동작에 대해서는 도 5 내지 11을 참조하여 후술하기로 한다.
또한, 데이터 처리부(420)는 가시거리 확보 여부 판단 결과를 촬영 장치(100)의 위치에 따라 분류하고, 사용자들에게 촬영 장치(100)의 위치 별 가시거리 판단 결과를 제공할 수 있다. 일 예로, 데이터 처리부(420)는 사용자(예: 관제 요원)가 실시간으로 촬영 장치(100)의 위치 별 가시거리 확보 여부를 확인할 수 있도록 하는 인터페이스를 출력할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 데이터 처리부의 가시거리 확보 여부 판단 과정을 나타내는 흐름도이다. 도 5를 참조하면, 데이터 처리부(330,420)는 기준 영상을 획득할 수 있다(S110). 일 예로, 데이터 처리부(330,420)는 기 저장된 가시거리 확보 영상들로부터 기준 영상을 획득할 수 있다.
또한, 데이터 처리부(330,420)는 판단 대상 영상을 획득할 수 있다(S120). 일 예로, 데이터 처리부(330,420)는 실시간 촬영 영상으로부터 판단 대상 영상을 획득할 수 있다.
다시 도 5로 돌아와서, 데이터 처리부(330,420)는 기준 영상에 대하여 관심 영역과 비관심 영역을 패치 단위 세그멘테이션 할 수 있다(S130). 또한, 데이터 처리부(330,420)는 판단 대상 영상에 대해서도 관심 영역과 비관심 영역을 패치 단위 세그멘테이션 할 수 있다(S140). 여기서, 관심 영역은 차로 영역을 포함하고, 비관심 영역은 비차로 영역을 포함할 수 있다.
이 경우, 데이터 처리부(330,420)는 인공 신경망을 이용하여 기준 영상 및 판단 대상 영상 각각에 대한 패치 단위 세그멘테이션을 수행할 수 있다.
구체적으로, 데이터 처리부(330,420)는 하기의 수학식 1을 기초로 패치 단위 세그멘테이션을 수행할 수 있다.
수학식 1에서 
는 패치 단위 세그멘테이션 결과, 
는 패치값, 
는 영상의 가로 크기, 
는 영상의 세로 크기, 
는 단일 패치의 크기를 의미할 수 있다.
데이터 처리부(330,420)는 기준 영상(
)을 입력 받은 후 인공 신경망을 통해 패치 단위 세그멘테이션(
)을 수행하고, 수행 결과 
를 산출할 수 있다.
가시거리 확보 여부 판단 시 마다, 기준 영상(
)에 대한 패치 단위 세그멘테이션을 수행하여 수행 결과를 산출하는 것은 실시간 시스템에서 사용하기에 비효율적이므로, 데이터 처리부(330,420)는 기준 영상(
)에 대한 패치 단위 세그멘테이션(
) 결과(
인 패치맵과 패치맵에서 패치값이 "1"인 패치의 합(즉, 패치의 개수)를 미리 산출하여 저장할 수 있고, 이 값들을 실시간 계산 시 활용할 수 있다.
또한, 데이터 처리부(330,420)는 판단 대상 영상(
)을 입력 받은 후 인공 신경망을 통해 패치 단위 세그멘테이션(
)을 수행하고, 수행 결과 
를 산출할 수 있다.
즉, 수학식 1에 따르면, 
크기의 기준 영상(
) 및 
크기의 판단 대상 영상(
) 각각의 패치 단위 세그멘테이션 결과인 
와 
는 패치값 
의 행렬로 구성될 수 있다.
여기서, 인공 신경망은 생물학의 신경망을 모방한 통계학적 모델로서, 학습 과정을 통해 문제 해결 능력을 가질 수 있다. 이러한 신경망의 파라미터들은 학습 데이터를 이용한 학습 과정을 통해 조정될 수 있다.
여기서, 신경망은 딥러닝(deep learning) 방식으로 학습될 수 있다. 딥러닝 방식이란 여러 비선형 변환 기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계 학습 알고리즘을 의미한다.
일 예로, 본 발명에 따른 인공 신경망 모델은 지도 학습(supervised learning) 방식을 이용하여 학습시킬 수 있다. 또한, 본 발명에 따른 인공 신경망 모델은 지도 없이 학습 데이터를 이용하여 스스로 학습함으로써, 판단 기준을 발견하는 비지도 학습(unsupervised learning)을 통해 학습시킬 수 있다. 또한, 본 발명에 따른 인공 신경망 모델은 학습에 따른 상황 판단의 결과가 올바른지에 대한 피드백을 이용하여 강화 학습(reinforcement learning)을 통하여 학습시킬 수 있다. 또한, 본 발명에 따른 인공 신경망 모델은 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient decent)을 포함하는 학습 알고리즘을 이용하여 학습시킬 수 있다.
여기서, 인공 신경망의 제한되지 않은 일 예시는 컨벌루션 뉴럴 네트워크(Convolution Neural Network : CNN)일 수 있다.
즉, 본 발명에 따른 인공 신경망의 패치 단위 세그멘테이션 성능은 학습을 통해 최적화될 수 있다.
이러한 데이터 처리부(330,420)의 영상에 대한 패치 단위 세그멘테이션 결과는 도 6과 같을 수 있다. 도 6을 참조하면, 도 6(a)에 도시된 영상의 일 영역(10)에 대한 패치 단위 세그멘테이션 결과는 도 6(b)와 같을 수 있다. 도 6(b)를 참조하면, 패치 단위 세그멘테이션 결과는 복수의 패치로 구성되되, 복수의 패치 각각에 패치값이 할당된 패치맵을 포함할 수 있다. 여기서, 
는 패치의 크기를 의미하고, 이러한 패치의 크기는 학습된 인공 신경망의 출력 크기에 의해 결정될 수 있다.
상술한 수학식 1에 따라, 데이터 처리부(330,420)의 영상에 대한 패치 단위 세그멘테이션 결과는 차로 영역에 대응되는 패치와 비차로 영역에 대응되는 패치에 서로 다른 값이 할당된 패치맵을 포함할 수 있다. 즉, 차로 영역에 대응되는 패치에는 "1"이 할당되고(도 6(b)의 보라색 표시 영역), 비차로 영역에 대응되는 패치에는 "0"이 할당(도 6(b)의 흰색 표시 영역)될 수 있다.
또한, 데이터 처리부(330,420)는 패치 단위 세그멘테이션 결과인 패치맵을 행 방향으로 적어도 두 개 이상 분할함으로써, 패치맵을 행 방향의 복수의 영역으로 구분할 수 있다. 구체적으로, 도 6(b)를 참조하면, 데이터 처리부(330,420)가 패치맵을 행 방향의 3개의 영역(11,12,13)으로 3 분할한 것을 예시로 나타내고 있다. 다만, 도 6(b)에는 제1 영역(11)과 제2 영역(12)의 행은 3개로 동일하나, 제3 영역(13)의 행은 4개로 상이한 것을 확인할 수 있다.
즉, 데이터 처리부(330,420)는 패치맵을 균등하게 분할하되, 균등하게 분할되지 않는 남는 행에 대해서는 마지막 행이 위치한 영역에 포함시킬 수 있다.
여기서, 나눠진 영역은 하기의 수학식 2와 같이 정의될 수 있다.
수학식 2에서 
는 패치 단위 세그멘테이션 결과를 의미하고, 
은 패치 단위 세그멘테이션 결과(
)의 나눠진 영역을 의미하고, n 이 작을수록 패치맵의 상단 영역(첫번째 행에 근접한 영역, 또는 다른 표현으로는 촬영 위치에서 먼 쪽)을 의미할 수 있다.
본 발명에서 데이터 처리부(330,420)가 패치맵의 영역을 구분하는 이유는 촬영 장치(100)와 가까운 부분은 상대적으로 가시거리 판단에 필요한 정보가 적기 때문에, 촬영 장치(100)와의 거리에 따라 가중치를 다르게 할당하기 위함이다.
다시 도 5로 돌아와서, 데이터 처리부(330,420)는 기준 영상에 대한 패치 단위 세그멘테이션 결과와 판단 대상 영상에 대한 패치 단위 세그멘테이션 결과를 비교할 수 있다(S150). 그리고, 데이터 처리부(330,420)는 기준 영상의 패치 단위 세그멘테이션 결과와 판단 대상 영상의 패치 단위 세그멘테이션 결과를 기초로 가시거리 확보 여부를 1차 판단할 수 있다(S160). 만약, 1차 판단 결과 가시거리 미확보 상황으로 판단되면, 데이터 처리부(330,420)는 기준 영상 및 판단 대상 영상 각각으로부터 추출된 관심 영상의 선명도를 기초로 가시거리 확보 여부를 2차 판단할 수 있다(S170). 이러한 1차 판단 및 2차 판단에 대해서는 도 7을 참조하여 보다 상세히 설명하기로 한다.
도 7은 본 발명의 일 실시 예에 따른 가시거리 확보 여부 판단 방법을 보다 상세히 나타내는 흐름도이다. 도 7을 참조하면, 데이터 처리부(330,420)는 기준 영상에 대한 패치 단위 세그멘테이션 결과와 판단 대상 영상에 대한 패치 단위 세그멘테이션 결과 간의 차이를 나타내는 차이 패치맵(
)을 산출할 수 있다(S161). 구체적으로, 데이터 처리부(330,420)는 하기 수학식 3을 기초로 차이 패치맵(
)을 산출할 수 있다.
수학식 3에서 
는 기준 영상에 대한 패치 단위 세그멘테이션 결과(즉, 기준 영상에 대한 패치맵)를 의미하고, 
는 판단 대상 영상에 대한 패치 단위 세그멘테이션 결과(즉, 판단 대상 영상에 대한 패치맵)를 의미할 수 있다. 
는 기준 영상에 대한 패치맵과 판단 대상 영상에 대한 패치맵의 차를 절대치한 패치맵으로, 차이 패치맵의 각 패치에는 "1"또는 "0"의 패치값이 할당될 수 있다.
그리고, 데이터 처리부(330,420)는 패치 단위 세그멘테이션 결과의 차이 패치맵
의 합산값(
과 제1 임계값(
)의 크기를 비교할 수 있다(S162). 여기서, 
은 차이 패치맵에서 패치값이 "1" 인 패치의 합(즉, 패치의 개수)를 의미할 수 있다.
만약, 합산값(
이 제1 임계값(
) 보다 작으면(S162 : NO), 데이터 처리부(330,420)는 현재 상태를 가시거리 확보 상태(S163)로 판단할 수 있다. 다만, 합산값(
이 제1 임계값(
) 보다 크면(S162 : YES), 데이터 처리부(330,420)는 가시거리 확보 여부에 대한 제2 판단 과정을 수행할 수 있다.
이러한 데이터 처리부(330,420)의 제1 판단 과정에 대해서는 도 8을 참조하여 보다 구체적으로 설명하기로 한다. 도 8을 참조하면, 데이터 처리부(330,420)는 상술한 수학식 3를 기초로 기준 영상에 대한 패치맵(21)과 판단 대상 영상에 대한 패치맵(22)의 차를 절대치한 차이 패치맵(23)을 산출할 수 있다. 그리고, 데이터 처리부(330,420)는 차이 패치맵(23)에서 패치값이 "1"인 패치의 총 개수 "12"를 산출할 수 있다. 그리고, 데이터 처리부(330,420)는 차이 패치맵(23)에서 패치값이 "1"인 패치(차이 패치맵(23)에서 빨간색 표시 패치)의 총 개수 "12"를 제1 임계값(
)과 비교하여 가시 거리 확보 여부에 대한 1차 판단을 수행할 수 있다.
즉, 본 발명에 따르면, 데이터 처리부(330,420)는 먼저 패치 단위 세그멘테이션 결과를 기초로 가시 거리 확보 여부에 대한 1차 판단을 수행하고, 1차 판단 결과 가시거리가 미확보 상태로 판단된 경우에만 가시 거리 확보 여부에 대한 2차 판단을 진행함으로써, 가시거리가 확보된 대부분의 상황을 적은 연산량으로 판단할 수 있도록 하여 실시간 처리에 적합한 시스템을 구현할 수 있다.
다시, 도 7로 돌아와서, 가시 거리 확보 여부에 대한 1차 판단 과정을 만족하지 못하면(S162 : YES), 데이터 처리부(330,420)는 기준 영상에 대한 패치 단위 세그멘테이션 결과와 판단 대상 영상에 대한 패치 단위 세그멘테이션 결과의 합집합에 따라 산출된 합집합 패치맵에 대한 영역별 가중치를 산출할 수 있다(S171). 즉, 기준 영상 및 판단 대상 영상 각각에 대한 패치 단위 세그멘테이션 결과가 서로 다르기 때문에, 본 발명의 일 실시 예에 따른 데이터 처리부(330,420)는 동일 조건하의 비교를 위해 합집합 패치맵에 대한 영역 별 가중치를 산출할 수 있다.
특히, 데이터 처리부(330,420)는 촬영 장치(100)와 먼 부분이 가시거리 판단에 미치는 정보가 많기 때문에 먼 부분의 결과에 좀 더 많은 비중을 두도록 가중치를 산출할 수 있다.
즉, 데이터 처리부(330,420)는, 아래의 수학식 4와 같이, 합집합 패치맵의 구분된 복수의 영역들 각각에 대하여 촬영 위치로부터 먼 영역일수록 더 큰 가중치 값이 할당되도록 각 영역에 대한 가중치를 산출할 수 있다.
여기서, 
는 합집합 패치맵, 
은 합집합 패치맵의 부분 영역, 
은 합집합 패치맵에서 영역 별 패치값이 "1"인 패치의 합(즉, 패치의 개수), 
은 집합 C에 대한 최대값을 의미할 수 있다.
이러한 데이터 처리부(330,420)의 합집합 패치맵에 대한 영역 별 가중치 산출 과정에 대해서는 도 9를 참조하여 보다 구체적으로 설명하기로 한다. 도 9를 참조하면, 데이터 처리부(330,420)는 기준 영상에 대한 패치 단위 세그멘테이션 결과(24)와 판단 대상 영상에 대한 패치 단위 세그멘테이션 결과(25)의 합집합 연산을 통해 합집합 패치맵(26)을 산출할 수 있다.
합집합 패치맵(26)은 상술한 도 6(b)에서 도시된 바와 같이 3개의 영역으로 구분될 수 있고, 데이터 처리부(330,420)는 제1 영역(1, 2, 및 3행)에 대응되는 
의 값으로 "2"를 산출하고, 제2 영역(4, 5, 및 6행)에 대응되는 
의 값으로 "12"를 산출하며, 제3 영역(7, 8, 9, 및 10행)에 대응되는 
의 값으로 "32"를 산출할 수 있다. 이 경우. 데이터 처리부(330,420)는 집합 
에 대한 최대 값은 "32"이기에, 
의 값으로 "32"를 산출할 수 있다. 그리고, 데이터 처리부(330,420)는 상술한 수학식 4를 기초로 아래 표 1과 같이 합집합 패치맵의 영역별 가중치를 산출할 수 있다. 여기서, 합집합 패치맵의 영역 별 가중치는 
일 수 있고, 모든 가중치의 합은 1일 수 있다.
 |
 |
 |
 |
|
 |
2 | 32 | 16 | 0.8221 |
 |
13 | 2.4615 | 0.1264 | |
 |
32 | 1 | 0.0515 |
다시 도 7로 돌아와서, 데이터 처리부(330,420)는 합집합 패치맵을 기초로 기준 영상 및 판단 대상 영상 각각으로부터 추출된 관심 영상에 상기 산출된 영역별 가중치를 적용하여 관심 영상의 선명도를 산출할 수 있다(S172). 구체적으로, 데이터 처리부(330,420)는 기준 영상으로부터 추출된 제1 관심 영상의 각 구분 영역에 상기 산출된 영역별 가중치를 적용하여 제1 영상에 대한 제1 지역 선명도를 산출하고, 판단 대상 영상으로부터 추출된 제2 관심 영상의 각 구분 영역에 상기 산출된 영역별 가중치를 적용하여 판단 대상 영상에 대한 제2 지역 선명도를 산출할 수 있다. 그리고, 데이터 처리부(330,420)는 기준 영상 및 판단 대상 영상 각각에 대한 제1 전역 선명도 및 제2 전역 선명도를 산출할 수 있다, 그리고, 데이터 처리부(330,420)는 제1 지역 선명도와 제1 전역 선명도를 기초로 제1 관심 영상의 선명도를 산출하고, 제2 지역 선명도와 제2 전역 선명도를 기초로 제2 관심 영상의 선명도를 산출할 수 있다.
이 경우, 가시거리 확보 여부 판단 시 마다, 기준 영상에 대한 제1 관심 영상의 선명도를 산출하는 것은 실시간 시스템에서 사용하기에 비효율적이므로, 데이터 처리부(330,420)는 패치 별 선명도(보다 구체적으로 패치맵을 구성하는 각 패치들에 대하여 미리 산출되어 저장된 패치 별 선명도)를 미리 산출하여 저장할 수 있고, 저장된 값들을 실시간 계산 시 활용할 수 있다.
보다 구체적으로, 데이터 처리부(330,420)는 아래 수학식 5를 기초로 제1 및 제2 관심 영상의 선명도를 산출할 수 있다
수학식 5에서, 
는 합집합 패치맵, 
는 기준 영상 또는 판단 대상 영상, 
는 합집합 패치맵(
)을 
에 적용하여 추출된 관심 영상, 
은 합집합 패치맵(
)의 구분 영역에 대응되게 관심 영상(
)에서 구분된 영역, 
은 구분 영역(
) 별 각 패치
의 선명도, 
는 지역 선명도, 
는 전역 선명도를 의미할 수 있다.
이러한 데이터 처리부(330,420)의 선명도 산출 과정에 대해서는 도 10 내지 11을 참조하여 보다 구체적으로 설명하기로 한다.
도 10은 본 발명의 일 실시 예에 따른 데이터 처리부의 영상 추출 과정을 나타내는 도면이다. 도 10을 참조하면, 데이터 처리부(330,420)는 영상(30)과 합집합 패치맵(26)의 "AND 연산"을 통해 영상(30)으로부터 관심 영상(40)을 생성할 수 있다.
여기서, 영상(30)은 기준 영상 또는 판단 대상 영상일 수 있다.
그리고, 관심 영상은 차로 영역을 포함하는 영상으로, 관심 영상(40)는 차로 영역에 대해서는 픽셀값을 갖고, 비차로 영역에 대해서는 픽셀값을 갖지 않는 영상일 수 있다.
즉, 데이터 처리부(330,420)는 기준 영상 및 판단 대상 영상 각각과 합집합 패치맵(26)의 "AND 연산"을 통해 영상(30)으로부터 관심 영상(40)을 생성할 수 있다. 여기서, "AND 연산"은 영상(30) 및 패치맵(26)의 동일 영역 값이 모두 1이 아닌 경우 해당 영역의 값을 0으로 판단하는 것을 의미한다.
도 11은 본 발명의 일 실시 예에 따른 데이터 처리부의 영상 선명도 산출 과정을 나타내는 도면이다. 도 11을 수학식 5를 기초로 설명하면, 데이터 처리부(330,420)는 관심 영상(
(40)을 합집합 패치맵(
의 구분 영역에 대응되게 분할하여 관심 영상(
에 대한 구분 영역(
)을 산출할 수 있다. 그리고, 데이터 처리부(330,420)는 소벨(Sobel) 에지 검출기(
)를 통해 관심 영상(
(40)의 각 구분 영역(
)에 포함되는 각 패치
의 선명도(
)를 산출할 수 있다. 그리고, 데이터 처리부(330,420)는 각 구분 영역(
)에 대한 선명도(
)의 조화 평균(harmonic mean)을 산출하고, 각 구분 영역에 S171 단계에서 산출된 대응되는 영역별 가중치를 곱한 값을 합산한 후 구분 영역 수 
로 나누어 지역 선명도(
를 산출할 수 있다.
또한, 데이터 처리부(330,420)는 소벨(Sobel) 에지 검출기(
)를 통해 관심 영상(
)에 대한 전역 선명도(
)를 산출하고, 지역 선명도를 전역 선명도로 나누어 관심 영상의 선명도(
를 산출할 수 있다. 여기서, 선명도가 낮을 수록, 
는 0에 가까운 값일 수 있고, 이는 가시거리가 좋지 않을 확률이 높은 것을 의미할 수 있다.
한편, 데이터 처리부(330,420)는 상술한 과정을 기준 영상 및 판단 대상 영상 모두에 대하여 수행하여, 기준 영상의 제1 관심 영역에 대한 선명도(
)와 판단 대상 영상의 제2 관심 영역에 대한 선명도(
)를 각각 산출할 수 있다.
다시 도 7로 돌아와서, 데이터 처리부(330,420)는 제1 관심 영상의 선명도(
)와 제2 관심 영상의 선명도(
)의 선명도 차이값(
)을 산출하고, 산출된 선명도 차이값(
)과 제2 임계값(
)을 비교하고 제1 관심 영역에 대한 선명도(
)와 판단 대상 영상의 제2 관심 영역에 대한 선명도(
)를 비교할 수 있다(S173).
만약, 선명도 차이값(
)이 과 제2 임계값(
) 보다 크고 제1 관심 영역에 대한 선명도(
)가 제2 관심 영역에 대한 선명도(
) 보다 크면(S173 : YES), 데이터 처리부(330,420)는 가시거리 미확보 상태로 판단할 수 있다(S174). 다만, S173의 조건을 만족시키지 못하면, (S173:NO), 데이터 처리부(330,420)는 가시거리 확보 상태로 판단할 수 있다(S175).
한편, 본 발명에 일 실시 예에 따르면, 데이터 처리부(330,420)는 동작을 위한 환경 설정값을 사용자로부터 입력받아 동작 환경을 설정할 수 있다. 여기서, 사용자로부터 입력받은 환경 설정값은 아래의 표 2와 같을 수 있다.
| 변수 | 설명 |
 |
패치의 크기 |
 |
영역 분할수 |
 |
제1 임계값 |
 |
제 2 임계값 |
이러한 본 발명의 일 실시 예에 따른 데이터 처리부는 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 구현될 수 있다. 일 예로, 하드웨어적인 구현에 의하면, ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(micro-processors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
한편, 상술한 예시에 따르면, 데이터 처리부(330,420)는 1차 판단을 수행하고, 1차 판단 결과 가시거리가 미확보 상태로 판단된 경우에만 가시 거리 확보 여부에 대한 2차 판단을 진행하는 것을 예로 설명하였으나, 이는 본 발명의 일 예시일 뿐, 본 발명의 구현 예가 이러한 순서에 한정되는 것은 아니다. 즉, 본 발명의 다른 구현 예에 따르면, 1차 판단과 2차 판단의 순서는 제한되지 않을 수 있다. 일 예로, 본 발명의 다른 구현 예에 따르면, 1차 판단과 2차 판단은 동시에 수행되거나, 2차 판단 이후에 1차 판단이 수행되거나, 1차 판단만 수행하고 2차 판단을 수행하지 않거나, 2차 판단만 수행하도 1차 판단은 수행하지 않는 등 다양한 형태로 구현될 수 있다.
한편, 상술한 본 발명의 다양한 실시 예에 따르면, 종래기술 대비 현저한 효과를 달성할 수 있다. 이에 대해서는 도 12 내지 13을 참조하여 설명하기로 한다.
도 12는 픽셀 단위 세그멘테이션과 패치 단위 세그멘테이션의 결과를 비교하는 도면이다. 도 12(a)는 촬영 장치(100)에 의하여 촬영된 영상, 도 12(b)는 픽셀 단위 세그멘테이션 결과, 도 12(c)는 패치 단위 세그멘테이션 결과를 나타내는 도면이다.
도 12(a)의 일 영역(10)에 대한 픽셀 단위 세그멘테이션 결과인 도 12(b)의 일 영역(10)을 참조하면, 차로 위에 위치한 버스와 같은 객체의 영향으로 차로 영역의 픽셀 단위 세그멘테이션 결과의 정확도는 낮음을 확인할 수 있다. 즉, 픽셀 단위 세그멘테이션은 모델의 예측을 픽셀 단위로 하기 때문에, 예측의 결과가 굉장히 지역적일 수 있다. 따라서, 해당 픽셀이 차로를 나타내더라도 차량에 의해 가려질 경우 오예측이 되는 경우가 많다.
이에 따라, 픽셀 단위 세그멘테이션을 통한 가시거리 확보 여부 판단은 정확도가 낮고, 환경(예를 들어, 주간, 야간, 교통 혼잡 혹은 원활, 날씨, 계절 등) 변화에 강건하지 못하다는 문제점이 있다.
다만, 본 발명에 따른 패치 단위 세그멘테이션 결과인 도 12(c)의 일 영역(10)을 참조하면, 차로 위에 위치한 객체의 영향을 거의 받지 않고 차로 영역에 대한 세그멘테이션 결과의 정확도가 높음을 알 수 있다. 즉, 패치 단위 세그멘테이션의 경우, 패치 단위로 예측을 하기 때문에, 상대적으로 넓은 범위의 정보를 이용해 전역적인 특징을 보다 잘 학습할 수 있다. 따라서, 보다 강건한 추론이 가능할 수 있다.
즉, 본 발명에 따르면, 패치 단위 세그멘테이션을 통해 관심 영역과 비관심 영역에 대한 세그멘테이션 정확도를 높일 수 있고, 출력 크기를 줄임에 따라 연산량을 낮추어 실시간 처리에 적합한 시스템을 구현할 수 있다. 또한, 본 발명에 따르면, 주간, 야간, 교통 혼잡 혹은 원활, 날씨, 계절 등 다양한 환경에 대한 강건성을 높일 수 있다.
특히, 연산량 측면에서, 픽셀 단위 세그멘테이션의 경우 입력이 FHD(1920x1080)이면 출력도 FHD(1920x1080)로 같지만, 패치단위 세그멘테이션은 입력이 FHD(1920x1080) 이라면 출력은 (1920/패치크기, 1080/패치크기)가 됨으로 연산량이 줄어드므로 효과적일 수 있다.
도 13은 주간 및 야간 차이에 따른 에지 추출 결과를 나타내는 도면이다. 도 13(a)는 가시거리가 확보된 상태에서 촬영된 야간 촬영 영상을 나타내고, 도 13(b)는 도 13(a)의 야간 촬영 영상에 대응되는 에지 검출 영상을 나타내며, 도 13(c)는 가시거리가 확보된 상태에서 촬영된 주간 촬영 영상을 나타내고, 도 13(d)는 도 13(c)의 주간 촬영 영상에 대응되는 에지 검출 영상을 나타낸다.
종래에는 영상에서 추출된 에지(Edge)를 기초로 영상의 선명도를 산출하여 가시거리 확보 여부를 판단하는 기술이 존재하였다. 다만, 이러한 종래 기술에 따른 에지 추출 방식에 따르면, 도 13(a) 및 도 13(c)와 같이 실제로는 가시거리가 확보된 상태이지만, 도 13(b) 및 도 13(d)에서와 같이, 밝기로 인해 주간 영상에서는 야간 영상 보다 차로 이외의 비차로 영역에서 엣지가 더 많이 검출되는 것을 확인할 수 있다.
이와 같이, 종래 기술에 따르면, 가시거리가 확보된 상태의 주간 영상과 가시거리가 확보된 상태의 야간 영상 간의 에지 추출 결과에 크게 차이가 있기에, 종래 기술은 다양한 환경에 일반화하여 적용이 어렵다는 문제점이 있다.
다만, 본 발명에 따르면, 관심 영상만을 추출하여 정확하게 선명도를 산출하는 방안을 제시함으로써, 다양한 환경에서도 시스템의 강건성을 높일 수 있다.
도 14는 본 발명의 또 다른 실시 예에 따른 영상 분석 시스템을 나타내는 블록도이다. 도 14를 참조하면, 영상 분석 시스템(2000)은 네트워크를 통해 연결되는 복수의 현장 처리 방식의 영상 분석 시스템(300-1,300-2,300-3)과 센터 처리 방식의 영상 분석 시스템(400)을 포함할 수 있다. 여기서, 복수의 현장 처리 방식의 영상 분석 시스템(300-1,300-2,300-3)은 특정 지역(예: 고속도로, 일반도로 등) 단위로 설치될 수 있다.
또한, 본 발명의 또 다른 실시 예에 따른 영상 분석 시스템(2000)은 현장 처리 방식의 영상 분석 시스템(300-1,300-2,300-3)의 부족한 하드웨어 성능을 보완하기 위하여, 센터 처리 방식의 영상 분석 시스템(400)에도 데이터 처리부(420)를 구비할 수 있다. 예를 들어, 센터 처리 방식의 영상 분석 시스템(400)의 데이터 처리부(420)는 현장 처리 방식의 영상 분석 시스템(300-1,300-2,300-3)의 데이터 처리부(330) 보다 고성능의 영상 처리를 구현할 수 있는 하드웨어(예: GPU(graphic processing unit))를 포함할 수 있다. 이 경우, 복수의 현장 처리 방식의 영상 분석 시스템(300-1,300-2,300-3)의 데이터 처리부(330)는 제거 또는 비활성화되는 것이 가능할 수 있다.
한편, 본 발명의 일 실시 예에 따른 영상 분석 시스템의 판단 대상은 가시거리 확보 여부인 것을 예로 설명하였으나, 이에 한정되는 것은 아니다. 상술한 데이터 처리부의 영상 분석은 차로 상에 발생할 수 있는 다양한 상황(예를 들어, 법면 유실, 침수, 이상 물체(현상) 등)의 탐지 기술에도 동일하게 적용될 수 있고, 본 발명의 영상 분석 시스템은 영상을 기초로 차로 상의 다양한 상황에 대한 탐지를 수행할 수 있다.
또한, 명세서 및 청구범위에서 "제 1", "제 2", "제 3" 및 "제 4" 등의 용어는, 만약 있는 경우, 유사한 구성요소 사이의 구분을 위해 사용되며, 반드시 그렇지는 않지만 특정 순차 또는 발생 순서를 기술하기 위해 사용된다. 그와 같이 사용되는 용어는 여기에 기술된 본 발명의 실시예가, 예컨대, 여기에 도시 또는 설명된 것이 아닌 다른 시퀀스로 동작할 수 있도록 적절한 환경하에서 호환 가능한 것이 이해될 것이다. 마찬가지로, 여기서 방법이 일련의 단계를 포함하는 것으로 기술되는 경우, 여기에 제시된 그러한 단계의 순서는 반드시 그러한 단계가 실행될 수 있는 순서인 것은 아니며, 임의의 기술된 단계는 생략될 수 있고/있거나 여기에 기술되지 않은 임의의 다른 단계가 그 방법에 부가 가능할 것이다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
또한 명세서 및 청구범위의 "왼쪽", "오른쪽", "앞", "뒤", "상부", "바닥", "위에", "아래에" 등의 용어는, 설명을 위해 사용되는 것이며, 반드시 불변의 상대적 위치를 기술하기 위한 것은 아니다. 그와 같이 사용되는 용어는 여기에 기술된 본 발명의 실시예가, 예컨대, 여기에 도시 또는 설명된 것이 아닌 다른 방향으로 동작할 수 있도록 적절한 환경하에서 호환 가능한 것이 이해될 것이다. 여기서 사용된 용어 "연결된"은 전기적 또는 비 전기적 방식으로 직접 또는 간접적으로 접속되는 것으로 정의된다. 여기서 서로 "인접하는" 것으로 기술된 대상은, 그 문구가 사용되는 문맥에 대해 적절하게, 서로 물리적으로 접촉하거나, 서로 근접하거나, 서로 동일한 일반적 범위 또는 영역에 있는 것일 수 있다. 여기서 "일실시예에서"라는 문구의 존재는 반드시 그런 것은 아니지만 동일한 실시예를 의미한다.
또한 명세서 및 청구범위에서 '연결된다', '연결하는', '체결된다', '체결하는', '결합된다', '결합하는' 등과 이런 표현의 다양한 변형들의 지칭은 다른 구성요소와 직접적으로 연결되거나 다른 구성요소를 통해 간접적으로 연결되는 것을 포함하는 의미로 사용된다.
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로써, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한 본 명세서에서 사용된 용어들은 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.
그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 가시 거리 확보 여부 판단 방법은 프로그램으로 구현되어 서버 또는 기기들에 제공될 수 있다. 이에 따라 각 장치들은 프로그램이 저장된 서버 또는 기기에 접속하여, 상기 프로그램을 다운로드 할 수 있다.
또한, 상술한 본 발명의 다양한 실시 예들에 따른 방법은 프로그램으로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다. 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
310 : 촬영부 320 : 센서부
330 : 데이터 처리부 340 : 통신 인터페이스부
330 : 데이터 처리부 340 : 통신 인터페이스부
Claims (21)
- 기준 영상에 대응되는 제1 영상과 판단 대상 영상에 대응되는 제2 영상 각각에 대하여 관심 영역과 비관심 영역을 패치 단위 세그멘테이션(segmentation)하고, 상기 제1 영상에 대한 패치 단위 세그멘테이션 결과와 상기 제2 영상에 대한 패치 단위 세그멘테이션 결과를 비교하여 가시거리 확보 여부를 1차 판단하는 데이터 처리부;를 포함하는 영상 분석 시스템.
- 제1항에 있어서,
상기 데이터 처리부는,
인공 신경망을 이용하여 상기 제1 영상 및 상기 제2 영상 각각에 대한 패치 단위 세그멘테이션을 수행하는 것을 특징으로 하는 영상 분석 시스템. - 제1항에 있어서,
상기 패치 단위 세그멘테이션 결과는,
복수의 패치로 구성되되, 상기 관심 영역에 대응되는 패치와 상기 비관심 영역에 대응되는 패치에 서로 다른값이 할당된 패치맵인 것을 특징으로 하는 영상 분석 시스템. - 제3항에 있어서,
상기 데이터 처리부는,
상기 패치맵을 행 방향의 복수의 영역으로 구분하는 것을 특징으로 하는 영상 분석 시스템. - 제1항에 있어서,
상기 1차 판단을 위하여 데이터 처리부는,
상기 제1 영상에 대한 패치 단위 세그멘테이션 결과와 상기 제2 영상에 대한 패치 단위 세그멘테이션 결과를 기초로 차이 패치맵을 산출하고,
상기 산출된 차이 패치맵의 합산값이 제1 임계값 보다 작으면, 가시거리 확보 상태로 판단하며,
상기 산출된 차이 패치맵의 합산값이 상기 제1 임계값 보다 크면, 가시거리 확보 여부를 2차 판단하는 것을 특징으로 하는 영상 분석 시스템. - 제1항에 있어서,
상기 데이터 처리부는,
상기 1차 판단 결과 가시거리 미확보 상태로 판단되면, 상기 제1 영상 및 상기 제2 영상 각각으로부터 추출된 관심 영상의 선명도를 기초로 가시거리 확보 여부를 2차 판단하는 것을 특징으로 하는 영상 분석 시스템. - 제6항에 있어서,
상기 2차 판단을 위하여 데이터 처리부는,
상기 제1 영상에 대한 패치 단위 세그멘테이션 결과와 상기 제2 영상에 대한 패치 단위 세그멘테이션 결과를 기초로 산출된 합집합 패치맵에 대한 영역별 가중치를 산출하고,
상기 합집합 패치맵을 기초로 상기 제1 영상 및 상기 제2 영상 각각으로부터 추출된 관심 영상에 상기 산출된 영역별 가중치를 적용하여 상기 관심 영상의 선명도를 산출하는 것을 특징으로 하는 영상 분석 시스템. - 제7항에 있어서,
상기 데이터 처리부는,
상기 합집합 패치맵의 구분된 복수의 영역들 각각에 대하여 촬영 위치로부터 먼 영역일수록 더 큰 가중치 값을 할당하는 것을 특징으로 하는 영상 분석 시스템. - 제7항에 있어서,
상기 데이터 처리부는,
상기 제1 영상으로부터 추출된 제1 관심 영상의 각 구분 영역에 상기 산출된 영역별 가중치를 적용하여 제1 영상에 대한 제1 지역 선명도를 산출하고,
상기 제2 영상으로부터 추출된 제2 관심 영상의 각 구분 영역에 상기 산출된 영역별 가중치를 적용하여 제2 영상에 대한 제2 지역 선명도를 산출하며,
상기 제1 영상 및 상기 제2 영상 각각에 대한 제1 전역 선명도 및 제2 전역 선명도를 산출하고,
상기 제1 지역 선명도와 상기 제1 전역 선명도를 기초로 상기 제1 관심 영상의 선명도를 산출하고,
상기 제2 지역 선명도와 상기 제2 전역 선명도를 기초로 상기 제2 관심 영상의 선명도를 산출하는 것을 특징으로 하는 영상 분석 시스템. - 제9항에 있어서,
상기 데이터 처리부는,
상기 제1 관심 영상의 선명도와 상기 제2 관심 영상의 선명도의 선명도 차이값을 산출하고,
상기 산출된 선명도 차이값이 제2 임계값 보다 크고, 상기 제1 관심 영상의 선명도가 상기 제2 관심 영상의 선명도 보다 크면, 가시거리 미확보 상황으로 판단하는 것을 특징으로 하는 영상 분석 시스템. - 제1항에 있어서,
상기 패치의 크기, 패치맵의 영역 분할 수, 상기 데이터 처리부의 가시 거리 확보 여부 판단을 위한 임계값 중 적어도 하나는 사용자 입력에 따라 설정 가능한 것을 특징으로 하는 영상 분석 시스템. - 제1항에 있어서,
상기 관심 영역은 차로 영역을 포함하고,
상기 비관심 영역은 비차로 영역을 포함하는 것을 특징으로 하는 영상 분석 시스템. - 제1항에 있어서,
상기 데이터 처리부는,
통행 정보, 방범 정보, 이벤트 정보 및 상기 가시거리 확보 여부 정보 중 적어도 하나를 포함하는 결과 데이터를 생성하는 것을 특징으로 하는 영상 분석 시스템. - 제13항에 있어서,
상기 결과 데이터를 차량 또는 운영 서버에 전송하는 통신 인터페이스부를 더 포함하는 것을 특징으로 하는 영상 분석 시스템. - 제1항에 있어서,
상기 제1 영상 및 상기 제2 영상 중 적어도 하나를 촬영하도록 설정된 촬영부를 더 포함하는 영상 분석 시스템. - 제1항에 있어서,
상기 제2 영상에 포함된 객체의 위치 또는 이동 거리를 측정하는 센서부를 더 포함하는 영상 분석 시스템. - 제1항에 있어서,
상기 데이터 처리부는,
상기 가시거리 확보 여부에 대한 판단 결과를 기초로 관제 기능을 수행하는 것을 특징으로 하는 영상 분석 시스템. - 기준 영상에 대응되는 제1 영상과 판단 대상 영상에 대응되는 제2 영상 각각에 대하여 관심 영역과 비관심 영역을 패치 단위 세그멘테이션(segmentation)하는 단계; 및
상기 제1 영상에 대한 패치 단위 세그멘테이션 결과와 상기 제2 영상에 대한 패치 단위 세그멘테이션 결과를 비교하여 가시거리 확보 여부를 1차 판단하는 단계;를 포함하는 프로세서에 의해 수행되는 영상 분석 방법. - 제18항에 기재된 영상 분석 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
- 컴퓨터 판독 가능한 기록 매체에 저장되어 제18항에 기재된 영상 분석 방법을 실행시키는 프로그램.
- "기준 영상에 대응되는 제1 영상의 패치 단위 세그멘테이션 결과와 판단 대상 영상에 대응되는 제2 영상의 패치 단위 세그멘테이션 결과의 비교", 및 "상기 제1 영상 및 상기 제2 영상 각각으로부터 추출된 관심 영상의 선명도 비교" 중 적어도 하나를 기초로 가시거리 확보 여부를 판단하는 데이터 처리부;를 포함하는 영상 분석 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220027056A KR102498538B1 (ko) | 2022-03-02 | 2022-03-02 | 세그멘테이션 기반의 영상 분석 시스템, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220027056A KR102498538B1 (ko) | 2022-03-02 | 2022-03-02 | 세그멘테이션 기반의 영상 분석 시스템, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102498538B1 true KR102498538B1 (ko) | 2023-02-10 |
Family
ID=85223630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220027056A KR102498538B1 (ko) | 2022-03-02 | 2022-03-02 | 세그멘테이션 기반의 영상 분석 시스템, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102498538B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130095578A (ko) * | 2012-02-20 | 2013-08-28 | 울산대학교 산학협력단 | 도로 영역 및 기하학적 정보를 이용한 차로 인식 방법 및 장치 |
| KR20180057029A (ko) * | 2016-11-21 | 2018-05-30 | 현대자동차주식회사 | 차량의 주행차로 추정 장치 및 방법 |
| KR20190103508A (ko) * | 2018-02-12 | 2019-09-05 | 경북대학교 산학협력단 | 차선 검출 방법, 이를 수행하기 위한 장치 및 기록매체 |
| KR20200058260A (ko) * | 2019-01-18 | 2020-05-27 | 주식회사 인텔리빅스 | 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 및 그 장치의 구동방법 |
-
2022
- 2022-03-02 KR KR1020220027056A patent/KR102498538B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130095578A (ko) * | 2012-02-20 | 2013-08-28 | 울산대학교 산학협력단 | 도로 영역 및 기하학적 정보를 이용한 차로 인식 방법 및 장치 |
| KR20180057029A (ko) * | 2016-11-21 | 2018-05-30 | 현대자동차주식회사 | 차량의 주행차로 추정 장치 및 방법 |
| KR20190103508A (ko) * | 2018-02-12 | 2019-09-05 | 경북대학교 산학협력단 | 차선 검출 방법, 이를 수행하기 위한 장치 및 기록매체 |
| KR20200058260A (ko) * | 2019-01-18 | 2020-05-27 | 주식회사 인텔리빅스 | 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 및 그 장치의 구동방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11380105B2 (en) | Identification and classification of traffic conflicts | |
| JP5815910B2 (ja) | マルチキュー・オブジェクトの検出および分析のための方法、システム、製品、およびコンピュータ・プログラム（マルチキュー・オブジェクトの検出および分析） | |
| Zheng et al. | A novel vehicle detection method with high resolution highway aerial image | |
| US11488392B2 (en) | Vehicle system and method for detecting objects and object distance | |
| CN102693432B (zh) | 使用可靠局部模型更新来调节畅通路径检测 | |
| KR102282800B1 (ko) | 라이다와 영상카메라를 이용한 멀티 표적 추적 방법 | |
| US20160026865A1 (en) | Vision-based system for dynamic weather detection | |
| CN102682301B (zh) | 使用附加分类器来调节畅通路径检测 | |
| CN111626170B (zh) | 一种铁路边坡落石侵限检测的图像识别方法 | |
| US10824881B2 (en) | Device and method for object recognition of an input image for a vehicle | |
| CN110852177A (zh) | 基于单目相机的障碍物检测方法及系统 | |
| EP4145398A1 (en) | Systems and methods for vehicle camera obstruction detection | |
| Xia et al. | Vision-based traffic accident detection using matrix approximation | |
| Kühnl et al. | Visual ego-vehicle lane assignment using spatial ray features | |
| KR102486562B1 (ko) | 전광 표지판의 오작동 여부를 분석하는 영상 분석 시스템, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록매체 | |
| KR102498538B1 (ko) | 세그멘테이션 기반의 영상 분석 시스템, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 | |
| Marques et al. | An evaluation of machine learning methods for speed-bump detection on a GoPro dataset | |
| EP3627378A1 (en) | Enhancing the detection of non-structured objects on a driveway | |
| KR102281891B1 (ko) | 도로 결빙 현상 알림을 제공하는 차량 제어 시스템 및 그것의 제어방법 | |
| Hsieh et al. | Recognising daytime and nighttime driving images using Bayes classifier | |
| Lashkov et al. | Computing‐efficient video analytics for nighttime traffic sensing | |
| Kovačić et al. | Measurement of road traffic parameters based on multi-vehicle tracking | |
| US20240257535A1 (en) | Systems and methods for determining road object importance based on forward facing and driver facing video data | |
| Song et al. | Abnormal Event Detection Based on in Vehicle Monitoring System | |
| KR20190088154A (ko) | 진입 금지 차선 주행 경보 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20220302 |
|
| PA0201 | Request for examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20221121 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20220302 Patent event code: PA03021R01I Comment text: Patent Application |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20230130 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20230207 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20230207 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |