KR101933856B1 - 콘벌루션 신경망을 이용한 영상 처리 시스템 및 이를 이용한 영상 처리 방법 - Google Patents

콘벌루션 신경망을 이용한 영상 처리 시스템 및 이를 이용한 영상 처리 방법 Download PDF

Info

Publication number
KR101933856B1
KR101933856B1 KR1020170084070A KR20170084070A KR101933856B1 KR 101933856 B1 KR101933856 B1 KR 101933856B1 KR 1020170084070 A KR1020170084070 A KR 1020170084070A KR 20170084070 A KR20170084070 A KR 20170084070A KR 101933856 B1 KR101933856 B1 KR 101933856B1
Authority
KR
South Korea
Prior art keywords
image
layers
generated
image information
weather
Prior art date
Application number
KR1020170084070A
Other languages
English (en)
Inventor
채신태
Original Assignee
(주)시정
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)시정 filed Critical (주)시정
Priority to KR1020170084070A priority Critical patent/KR101933856B1/ko
Application granted granted Critical
Publication of KR101933856B1 publication Critical patent/KR101933856B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06K9/6267
    • G06T5/002
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/24Fluid dynamics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

콘벌루션 신경망을 이용하여 특정 영역의 영상 정보를 영상 처리하여 기상 상태를 분석하는 영상 처리 시스템 및 이를 이용한 영상 처리 방법이 개시된다. 본 콘벌루션 신경망을 이용한 영상 처리 시스템은 특정 영역에 대한 영상 정보를 획득하는 영상 정보 획득부; 상기 특정 영역의 기상 상태를 알기 위해, 콘볼루션 신경망(Convolutional Neural Network)을 이용하여, 상기 획득된 영상 정보를 영상 처리하는 영상 처리부; 및 상기 영상 정보의 영상 처리 결과를 기반으로 상기 특정 영역의 기상 상태를 분석하는 기상 분석부;를 포함한다. 이에 의해, 미세먼지 농도를 측정하면서도, 다른 일기의 기상 상태를 함께 고려하여 대기오염을 정량(定量)적으로 파악할 수 있다.

Description

콘벌루션 신경망을 이용한 영상 처리 시스템 및 이를 이용한 영상 처리 방법{System for image processing using the convolutional neural network and method using the same}
본 발명은 콘벌루션 신경망을 이용한 영상 처리 시스템 및 이를 이용한 영상 처리 방법에 관한 것으로, 보다 상세하게는 콘벌루션 신경망을 이용하여 특정 영역의 영상 정보를 영상 처리하여 기상 상태를 분석하는 영상 처리 시스템 및 이를 이용한 영상 처리 방법에 관한 것이다.
최근에는 일기 예보에 미세먼지의 예보가 포함될 정도로 미세먼지 또는 초미세먼지가 심각한 사회문제로 야기되고 있다.
이러한 미세먼지의 농도 측정 방법으로는 방사선 또는 빛의 물리적 특성을 이용하여 간접적으로 측정하는 방법으로, 방사선인 베타선이 어떤 물질을 통과할 때 그 물질의 질량이 클수록 더 많이 흡수되는 성질을 이용하여 미세먼지를 채취한 여과지(필터)에 흡수된 베타선 양을 측정하여 그 값으로부터 미세먼지의 농도를 구하는 방식인 베타선 흡수법과 물질에 빛을 쪼이면 충돌한 빛이 여러 방향으로 흩어지는 원리를 이용하여 흩어진 빛의 양을 측정하고 그 값으로부터 미세먼지의 농도를 구하는 방식인 광산란법, 그리고 미세먼지의 질량을 저울로 직접(수동) 측정하는 방법인 중량농도법 등이 있다.
그러나 종래의 미세먼지 농도 측정 방법들은, 미세먼지의 농도를 정밀하게 측정할 수 있다는 장점을 갖고 있으나, 다른 일기(기상 상태)는 고려하지 못한다는 한계점도 함께 갖고 있다.
한편, 딥 러닝(Deep learning)은 여러 비선형 변환 기법을 이용해서 학습 데이터에 대한 높은 수준의 추상화를 통해 데이터의 주요 특징들을 추출한 다음, 데이터 군집 및 분류를 수행하는 기계학습의 일종으로 Auto Encoder, DBN (Deep Belief Network), 콘벌루션 신경망(convolutional neural network) 등을 활용하는 방법이 있으며, 딥 러닝의 지도학습(Supervised Learning) 모델 가운데 하나인 콘벌루션 신경망은 최근 영상인식을 포함한 여러 영역에서 탁월한 성능을 보이고 있다.
이에, 콘벌루션 신경망을 활용하여 대기오염을 정량(定量)적으로 파악할 수 있도록, 미세먼지 농도를 측정하면서도, 다른 일기의 기상 상태를 함께 고려할 수 있는 기상 분석 방법의 모색이 요구된다.
한국공개특허 제10-2015-0136904호(발명의 명칭: 미세먼지 측정장치) 한국공개특허 제10-2017-0035768호(발명의 명칭: 미세먼지 측정 시스템 및 측정 데이터 표시 방법)
본 발명은 상기와 같은 문제를 해결하기 위해 안출된 것으로, 본 발명의 목적은, 콘벌루션 신경망을 이용하여 특정 영역의 영상 정보를 영상 처리하여 기상 상태를 분석하여, 대기오염을 정량(定量)적으로 파악할 수 있는 영상 처리 시스템 및 이를 이용한 영상 처리 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 콘벌루션 신경망을 이용한 영상 처리 시스템은 특정 영역에 대한 영상 정보를 획득하는 영상 정보 획득부; 상기 특정 영역의 기상 상태를 알기 위해, 콘볼루션 신경망(Convolutional Neural Network)을 이용하여, 상기 획득된 영상 정보를 영상 처리하는 영상 처리부; 및 상기 영상 정보의 영상 처리 결과를 기반으로 상기 특정 영역의 기상 상태를 분석하는 기상 분석부;를 포함한다.
그리고 상기 영상 처리부는, 상기 영상 정보에서 영상 프레임별 또는 시간 주기별로 특정 이미지들을 추출하고, 상기 추출된 특정 이미지들이 메타 데이터에 따라 필터링되도록 하여, 복수의 콘벌루션 계층(convolutional layer)을 생성할 수 있다.
또한, 상기 영상 처리부는, 상기 추출된 특정 이미지들이 타임 메타 데이터에 따라 필터링되도록 하여 제1 콘벌루션 계층을 복수로 생성하고, 상기 제1 콘벌루션 계층이 복수로 생성되면, 풀링 필터(pooling filter)를 이용하여 각각의 제1 콘벌루션 계층의 사이즈를 축소하는 서브 샘플링(sub-sampling)을 수행하여 제1 서브 샘플링 계층을 복수로 생성하고, 상기 타임 메타 데이터는, 현재시간 주기의 영상과 이전시간 주기의 영상 또는 현재 영상프레임과 이전 영상프레임이 비교되어, 상기 특정 영역에 대한 영상 정보를 구성하는 영상 데이터 중 차이가 발생된 영상 데이터들의 추상적 특징만이 선별되어 포함될 수 있다.
그리고 상기 영상 처리부는, 상기 제1 서브 샘플링 계층이 복수로 생성되면, 상기 생성된 복수의 제1 서브 샘플링 계층이 기상 메타 데이터에 따라 필터링되도록 하여, 제2 콘벌루션 계층을 복수로 생성하되, 상기 제2 콘벌루션 계층이 복수로 생성되면, 상기 풀링 필터를 이용하여 각각의 제2 콘벌루션 계층의 사이즈를 축소하는 서브 샘플링을 수행하여 제2 서브 샘플링 계층을 복수로 생성하고, 상기 기상 메타 데이터는, 비, 눈, 구름, 바람 또는 안개의 발생 여부 및 발생 정도와 기온, 미세먼지의 농도에 따라 상기 특정 영역에서 추출 가능한 기상 상태별 추상적 특징이 포함될 수 있다.
또한, 상기 영상 처리부는, 상기 기상 메타 데이터에 상기 특정 영역의 가시거리가 기설정된 거리범위 미만이 되도록 하는 안개가 발생된 기상 상태의 추상적 특징 또는 상기 특정 영역의 미세먼지의 농도가 기설정된 농도범위를 초과한 기상 상태의 추상적 특징이 포함되면, 상기 안개 또는 상기 미세먼지의 추상적 특징이 포함된 기상 메타 데이터에 따라 상기 추출된 이미지들이 필터링되어, 생성된 제2 콘벌루션 계층이 복수로 생성되도록 하되, 하나의 평균 풀링 필터(average pooling filter)에 포함되는 영상 데이터 유닛들에 포함된 안개의 빈도 또는 미세먼지의 농도의 평균값이 산출되어, 상기 하나의 평균 풀링 필터에 포함된 영상 데이터 유닛들이 상기 산출된 평균값이 포함된 하나의 영상 데이터 유닛으로 축소 변환되어 제2 서브 샘플링 계층이 생성되도록 할 수 있다.
그리고 상기 영상 처리부는, 각각의 제2 서브 샘플링 계층에 하나의 추상적 특징만이 포함되도록 하되, 상기 각각의 제2 서브 샘플링 계층이 생성되면, 상기 각각의 제2 서브 샘플링 계층을 기상 상태별로 분류할 수 있다.
또한, 상기 영상 처리부는, 상기 특정 영역의 기상 상태에 따른 각각의 영상 정보를 저장하고, 상기 기저장된 각각의 영상 정보와 상기 각각의 제2 서브 샘플링 계층을 비교하여, 상기 각각의 제2 서브 샘플링 계층을 기상 상태별로 분류하도록 할 수 있다.
그리고 상기 영상 처리부는, 상기 각각의 제2 서브 샘플링 계층을 상기 기상 상태별로 분류하는 과정에서 발생되는 오차를 최소화하기 위해, 상기 기저장된 각각의 영상 정보에 포함된 영상 데이터 유닛의 R(red), G(green), B(blue) 색상별 명암도의 평균값을 산출하여 룩업 테이블에 기록하고, 상기 각각의 제2 서브 샘플링 계층이 생성되면, 상기 룩업 테이블을 기반으로, 상기 각각의 제2 서브 샘플링 계층을 기상 상태별로 분류할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 콘벌루션 신경망을 이용한 영상 처리 방법은, 영상 정보 획득부가 특정 영역에 대한 영상 정보를 획득하는 단계; 영상 처리부가 상기 특정 영역의 기상 상태를 알기 위해, 콘볼루션 신경망(Convolutional Neural Network)을 이용하여, 상기 획득된 영상 정보를 영상 처리하는 단계; 및 기상 분석부가 상기 영상 정보의 영상 처리 결과를 기반으로 상기 특정 영역의 기상 상태를 분석하는 단계;를 포함할 수 있다.
이에 의해, 미세먼지 농도를 측정하면서도, 다른 일기의 기상 상태를 함께 고려하여 대기오염을 정량(定量)적으로 파악할 수 있다.
도 1은 본 발명의 일 실시예에 따른 콘벌루션 신경망을 이용한 영상 처리 시스템을 설명하기 위해 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리부가 콘벌루션 신경망을 이용하여 영상 정보를 영상 처리하는 과정을 설명하기 위해 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 처리부가 영상 처리부가 콘벌루션 신경망의 콘벌루션 계층을 생성하는 과정을 설명하기 위해 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 처리부가 영상 처리부가 콘벌루션 신경망의 제1 콘벌루션 계층을 생성하는 과정을 설명하기 위해 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 콘벌루션 신경망을 이용한 영상 처리 방법을 설명하기 위해 도시한 도면이다.
이하에서는 도면을 참조하여 본 발명에 대해 보다 상세히 설명하기로 한다. 이하에 소개되는 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 본 발명은 이하 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 콘벌루션 신경망을 이용한 영상 처리 시스템(이하에서는 '영상 처리 시스템'으로 총칭함)을 설명하기 위해 도시한 도면이다.
이하에서는 도면을 참조하여 본 발명에 대해 보다 상세히 설명하기로 한다. 이하에 소개되는 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 본 발명은 이하 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 콘벌루션 신경망을 이용한 영상 처리 시스템((이하에서는 '영상 처리 시스템'으로 총칭함)을 설명하기 위해 도시한 도면이다.
이하에서는 도 1을 참조하여 본 실시예에 따른 영상 처리 시스템을 설명하기로 한다.
본 영상 처리 시스템은 콘벌루션 신경망을 이용하여 특정 영역의 영상 정보를 영상 처리하여 기상 상태를 분석하여, 대기오염을 정량(定量)적으로 파악하기 위해 마련된다.
이를 위하여, 본 영상 처리 시스템은, 영상 정보 획득부(100), 영상 처리부(200) 및 기상 분석부(300)를 포함한다.
영상 정보 획득부(100)는, 특정 영역에 대한 영상 정보를 획득하기 위해 마련된다. 구체적으로 영상 정보 획득부(100)는, 카메라가 구비되어, 특정 영역을 촬영하여, 동영상 타입의 영상 정보를 생성할 수 있다.
영상 처리부(200)는, 콘볼루션 신경망(Convolutional Neural Network)을 이용하여, 영상 정보 획득부(100)로부터 수신된 영상 정보를 영상 처리하기 위해 마련된다.
구체적으로 영상 처리부(200)는, 영상 정보 획득부(100)와 무선 또는 유선 데이터 통신 네트워크로 연결되어, 영상 정보를 수신할 수 있으며, 수신된 영상 정보에서 영상 프레임별 또는 시간 주기별로 특정 이미지들을 추출할 수 있다. 그리고 영상 처리부(200)는 추출된 특정 이미지들을 콘볼루션 신경망을 이용하여 영상 처리할 수 있다. 여기서, 영상 처리부(200)가 추출된 특정 이미지들을 영상 처리하는 과정은 후술하기로 한다.
기상 분석부(300)는, 영상 정보를 영상 처리한 결과를 기반으로 특정 영역의 기상 상태를 분석하기 위해 마련된다. 구체적으로, 기상 분석부(300)는, 영상 처리 결과를 기반으로 특정 영역에 비, 눈, 구름, 바람 또는 안개의 발생 여부를 알 수 있으며, 비, 눈, 구름, 바람 또는 안개의 발생 정도와 기온, 미세먼지의 농도 등을 산출할 수 있다.
이에 의해, 본 영상 처리 시스템은 미세먼지 농도를 측정하면서도, 다른 일기의 기상 상태를 함께 고려하여 대기오염을 정량(定量)적으로 파악할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 처리부(200)가 콘벌루션 신경망을 이용하여 영상 정보를 영상 처리하는 과정을 설명하기 위해 도시한 도면이며, 도 3은 본 발명의 일 실시예에 따른 영상 처리부(200)가 콘벌루션 계층을 생성하는 과정을 설명하기 위해 도시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 영상 처리부(200)가 제1 콘벌루션 계층을 생성하는 과정을 설명하기 위해 도시한 도면이다.
이하에서는 도 2 내지 도 4를 참조하여, 본 실시예에 따른 영상 처리부(200)가 콘벌루션 신경망을 이용하여 영상 정보를 영상 처리하는 과정을 설명하기로 한다.
도 1을 참조하여 전술한 바와 같이 본 실시예에 따른 영상 처리부(200)는, 영상 정보 획득부(100)로부터 수신된 영상 정보에서 영상 프레임별 또는 시간 주기별로 특정 이미지들을 추출할 수 있다.
여기서, 영상 처리부(200)는 추출된 특정 이미지들을 학습 데이터로 활용하여, 다양한 기상 상태들에 대한 추상적 특징들을 개별적으로 추출하고, 추출된 추상적 특징들을 분류하여, 특정 이미지가 어떠한 기상 상태에 촬영된 것인지 추정하도록 할 수 있다.
이러한 동작 특성들을 수행하기 위하여, 영상 처리부(200)는, 추출된 특정 이미지들이 메타 데이터에 따라 필터링되도록 하여, 복수의 콘벌루션 계층(convolutional layer)을 생성하고, 생성된 콘벌루션 계층의 사이즈를 축소하여 서브 샘플링 계층을 생성한 뒤, 이들을 분류하여, 기상 상태별로 추출된 추상적 특징들을 학습하도록 할 수 있다.
여기서, 메타 데이터는, 특정 이미지들의 정보들 가운데, 우리가 추출하고자 하는 정보들을 필터링하도록 하는 영상 필터의 속성 정보를 의미한다.
도 3a 내지 도 3b은 영상 정보 또는 영상 정보에서 추출된 이미지 정보 및 영상 필터에 포함된 정보들을 수치로 예를 들어 도시한 도면이다. 본 실시예에 따른 영상 정보 또는 영상 정보에서 추출된 이미지 정보 및 영상 필터에 포함된 정보들은 도 4에 도시된 바와 같이 형상 및 색상이 시각적으로 표현된 정보로 이해하는 것이 바람직하다.
다시 도 3을 참조하여 메타 데이터를 설명하면, 메타 데이터는 도 3a에 도시된 영상 필터에서 X1, X0, X1, X0, X1, X0, X1, X0, X1 값(1행 1열부터 3행 3열)을 가지는 속성 정보이다.
이때, 영상 처리부(200)는, 영상 정보에 포함된 정보들(도 3a 내지 도 3b에 도시된 0 또는 1의 값에 해당함, 이하에서는 '영상 데이터'로 총칭함)을 메타 데이터에 따라 필터링되도록 하여, 필터링 결과를 모두 합산하여 콘벌루션 특징을 추출할 수 있다.
도 3a을 참조하면, 영상 데이터들이 메타 데이터에 필터링되어(1X1+1X0+0X1+1X0+1X1+1X0+0X1+1X0+1X1), 필터링 결과(1+0+0+0+1+0+0+0+1)를 합산하여 콘벌루션 특징(3)을 추출할 수 있다.
이때, 도 3은 설명의 편의를 위해, 영상 처리부(200)에 의해 추출된 특정 이미지들이 5X5 구조의 영상 데이터들의 결합으로 도시하고, 영상 필터는 3X3 구조의 메타 데이터들의 결합으로 도시하였으나, 실제 본 실시예에 따른 영상 처리부(200)에 의해 추출된 특정 이미지들이 32X32 구조의 영상 데이터들의 결합으로 구현되고, 영상 필터는 5X5 구조의 메타 데이터들의 결합으로 구현되어, 콘벌루션 특징들이 매핑된 28X28 구조의 콘벌루션 계층을 6장 생성할 수 있다.
한편, 영상 처리부(200)는, 추출된 특정 이미지들이 타임 메타 데이터에 따라 필터링되도록 하여 제1 콘벌루션 계층을 복수로 생성하고, 제1 콘벌루션 계층이 복수로 생성되면, 풀링 필터(pooling filter)를 이용하여 각각의 제1 콘벌루션 계층의 사이즈를 축소하는 서브 샘플링(sub-sampling)을 수행하여 제1 서브 샘플링 계층을 복수로 생성할 수 있다.
풀링 필터에 대하여 간략하게 설명하면, 풀링 필터는 각각의 제1 콘벌루션 계층의 사이즈를 개별적으로 축소하여, 서브 샘플링 계층을 생성하는데, 콘벌루션 특징(추상적 특징)을 선별하는 과정에 따라, 가장 중요한 추상적 특징만 남기는 최대 풀링 필터과 추상적 특징들의 평균값을 산출하는 평균 풀링 필터로 나뉠 수 있으나, 본 실시예의 영상 처리부(200)는, 대기오염을 정량적으로 파악하기 위해, 평균 풀링 필터를 이용하여, 콘벌루션 계층의 사이즈를 축소하여 서브 샘플링 계층을 생성하도록 한다.
구체적으로, 영상 처리부(200)는 28X28 구조의 콘벌루션 계층이 6장 생성된 경우, 각각의 콘벌루션 계층을 평균 풀링 필터를 이용하여, 서브 샘플링하여 14X14 구조의 서브 샘플링 계층을 6장 생성할 수 있다.
여기서, 타임 메타 데이터는, 시간에 따라 이미지 내에서의 형상 또는 색상이 변경된 영상 데이터라고 가정하면, 도 4에 도시된 바와 같이 현재시간 주기의 영상과 이전시간 주기의 영상 또는 현재 영상프레임과 이전 영상프레임이 비교되어, 특정 영역에 대한 영상 정보를 구성하는 영상 데이터 중 차이가 발생된 영상 데이터들의 추상적 특징만이 선별되어 포함될 수 있다.
제1 서브 샘플링 계층이 복수로 생성되면, 영상 처리부(200)는, 생성된 복수의 제1 서브 샘플링 계층이 기상 메타 데이터에 따라 필터링되도록 하여, 제2 콘벌루션 계층을 복수로 생성하되, 제2 콘벌루션 계층이 복수로 생성되면, 풀링 필터를 이용하여 각각의 제2 콘벌루션 계층의 사이즈를 축소하는 서브 샘플링을 수행하여 제2 서브 샘플링 계층을 복수로 생성할 수 있다.
이때, 기상 메타 데이터는, 비, 눈, 구름, 바람 또는 안개의 발생 여부와 발생 정도 및 기온과 미세먼지 농도에 따라 특정 영역에서 추출 가능한 기상 상태별 특징이 포함될 수 있다.
예를 들어, 영상 처리부(200)는, 기상 메타 데이터에 특정 영역의 가시거리가 기설정된 거리범위 미만이 되도록 하는 안개가 발생된 기상 상태의 특징 또는 특정 영역의 미세먼지의 농도가 기설정된 농도범위를 초과한 기상 상태의 특징이 포함되면, 안개 또는 미세먼지의 특징이 포함된 기상 메타 데이터에 따라 추출된 이미지들이 필터링되어, 생성된 제2 콘벌루션 계층이 복수로 생성되도록 하되, 하나의 평균 풀링 필터(average pooling filter)에 포함되는 영상 데이터 유닛들에 포함된 안개의 빈도 또는 미세먼지의 농도의 평균값이 산출되어, 하나의 평균 풀링 필터에 포함된 영상 데이터 유닛들이 산출된 평균값이 포함된 하나의 영상 데이터 유닛(1X1 구조)으로 축소 변환되어 제2 서브 샘플링 계층이 생성되도록 할 수 있다.
좀 더 첨언하면, 평균 풀링 필터를 이용하여 서브 샘플링 계층을 생성하는 경우, 콘벌루션 계층의 사이즈는 1/4로 축소됨에 따라, 제2 서브 샘플링 과정이 한번 수행하는 것이 아니라, 영상 데이터 유닛이 1X1 구조로 구현될 때까지 제2 서브 샘플링 과정이 반복 수행될 수 있다.
그리고 영상 처리부(200)는, 특정 영역의 기상 상태에 따른 각각의 영상 정보를 저장하고, 각각의 제2 서브 샘플링 계층에 하나의 추상적 특징만이 포함되도록 하되, 각각의 제2 서브 샘플링 계층이 생성되면, 기저장된 각각의 영상 정보와 각각의 제2 서브 샘플링 계층을 비교하여, 각각의 제2 서브 샘플링 계층을 기상 상태별로 분류할 수 있다.
분류화 과정은 비가 오고 있는지, 눈이 오고 있는지, 구름이 껴 있는지, 바람이 불고 있는지, 안개가 발생된 것인지, 비가 얼마나 오고 있는지, 눈이 얼마나 오고 있는지, 기온이 몇도 인지, 미세먼지의 농도가 얼마인지와 같은 다양한 항목들로 분류될 수 있으며, 이를 위하여, 영상 처리부(200)는, 기상 상태의 발생 정도에 대한 분류 항목에 대응되는 수치 값은 퍼지 함수와 같은 비선형 함수를 이용하여, 산출하도록 함으로써, 기상 상태를 정략적으로 분석할 수 있다.
다른 예를 들면, 영상 처리부(200)는, 각각의 제2 서브 샘플링 계층을 기상 상태별로 분류하는 과정에서 발생되는 오차를 최소화하기 위해, 기저장된 각각의 영상 정보에 포함된 영상 데이터 유닛의 R(red), G(green), B(blue) 색상별 명암도의 평균값을 산출하여 룩업 테이블에 기록하고, 각각의 제2 서브 샘플링 계층이 생성되면, 룩업 테이블을 기반으로, 각각의 제2 서브 샘플링 계층을 기상 상태별로 분류할 수 있다.
여기서, 비선형 변환에 대한 영상 데이터 유닛의 명암도의 평균값을 산출하여 룩업테이블에 기록하는 것이기 때문에, 영상 처리부(200)는, 룩업 테이블 자체의 데이터가 지나치게 무거워질 수 있기 때문에, 제2 서브 샘플링 과정이 반복 수행되어, 영상 데이터 유닛이 1X1 구조로 구현된 경우에만, 1X1 구조의 영상 데이터 유닛의 R(red), G(green), B(blue) 색상별 명암도의 평균값을 산출하여 룩업 테이블에 기록하도록 한다.
도 5는 본 발명의 일 실시예에 따른 콘벌루션 신경망을 이용한 영상 처리 방법(이하에서는 '영상 처리 방법'으로 총칭함)을 설명하기 위해 도시한 도면이다.
이하에서는 도 5를 참조하여 본 실시예에 따른 영상 처리 방법을 설명하기로 한다.
영상 정보 획득부(100)는, 특정 영역을 촬영하여, 동영상 타입의 영상 정보를 획득할 수 있다(S510).
영상 처리부(200)는, 영상 정보 획득부(100)와 무선 또는 유선 데이터 통신 네트워크로 연결되어, 영상 정보를 수신할 수 있으며, 수신된 영상 정보에서 영상 프레임별 또는 시간 주기별로 특정 이미지들을 추출할 수 있다(S520).
특정 이미지들이 추출되면, 영상 처리부(200)는 추출된 특정 이미지들이 메타 데이터에 따라 필터링되도록 하여, 복수의 콘벌루션 계층(convolutional layer)을 생성할 수 있다.
구체적으로, 영상 처리부(200)는, 추출된 특정 이미지들이 타임 메타 데이터에 따라 필터링되도록 하여 제1 콘벌루션 계층을 복수로 생성하고(S530), 제1 콘벌루션 계층이 복수로 생성되면, 풀링 필터(pooling filter)를 이용하여 각각의 제1 콘벌루션 계층의 사이즈를 축소하는 서브 샘플링(sub-sampling)을 수행하여 제1 서브 샘플링 계층을 복수로 생성할 수 있다(S540).
또한, 제1 서브 샘플링 계층이 복수로 생성되면, 영상 처리부(200)는, 생성된 복수의 제1 서브 샘플링 계층이 기상 메타 데이터에 따라 필터링되도록 하여, 제2 콘벌루션 계층을 복수로 생성하되(S550), 제2 콘벌루션 계층이 복수로 생성되면, 풀링 필터를 이용하여 각각의 제2 콘벌루션 계층의 사이즈를 축소하는 서브 샘플링을 수행하여 제2 서브 샘플링 계층을 복수로 생성할 수 있다(S560).
각각의 제2 서브 샘플링 계층이 생성되면, 영상 처리부(200)는, 기저장된 각각의 영상 정보와 각각의 제2 서브 샘플링 계층을 비교하여, 각각의 제2 서브 샘플링 계층을 기상 상태별로 분류할 수 있다(S570).
제2 서브 샘플링 계층이 기상 상태별로 분류되면, 기상 분석부(300)는, 영상 정보를 영상 처리한 결과를 기반으로 특정 영역의 기상 상태를 분석할 수 있다(S580).
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 영상 정보 획득부
200 : 영상 처리부
300 : 기상 분석부

Claims (9)

  1. 특정 영역에 대한 영상 정보를 획득하는 영상 정보 획득부;
    상기 특정 영역의 기상 상태를 알기 위해, 콘볼루션 신경망(Convolutional Neural Network)을 이용하여, 상기 획득된 영상 정보를 영상 처리하는 영상 처리부; 및
    상기 영상 정보의 영상 처리 결과를 기반으로 상기 특정 영역의 기상 상태를 분석하는 기상 분석부;를 포함하며,
    상기 영상 처리부는,
    상기 영상 정보에서 영상 프레임별 또는 시간 주기별로 특정 이미지들을 추출하고, 상기 추출된 특정 이미지들이 메타 데이터에 따라 필터링되도록 하여, 복수의 콘벌루션 계층(convolutional layer)을 생성하며,
    상기 영상 처리부는,
    상기 추출된 특정 이미지들이 타임 메타 데이터에 따라 필터링되도록 하여 제1 콘벌루션 계층을 복수로 생성하되,
    상기 추출된 32X32 구조의 이미지들이 5X5 구조의 타임 메타 데이터에 따라 필터링되도록 하여 28X28 구조의 제1 콘벌루션 계층을 복수로 생성하고,
    상기 28X28 구조의 제1 콘벌루션 계층이 복수로 생성되면, 풀링 필터(pooling filter)를 이용하여 각각의 28X28 구조의 제1 콘벌루션 계층의 사이즈를 축소하는 서브 샘플링(sub-sampling)을 수행하여 14X14 구조의 제1 서브 샘플링 계층을 복수로 생성하고,
    상기 타임 메타 데이터는,
    현재시간 주기의 영상과 이전시간 주기의 영상 또는 현재 영상프레임과 이전 영상프레임이 비교되어, 상기 특정 영역에 대한 영상 정보를 구성하는 영상 데이터 중 차이가 발생된 영상 데이터들의 추상적 특징만이 선별되어 포함되고,
    상기 영상 처리부는,
    상기 14X14 구조의 제1 서브 샘플링 계층이 복수로 생성되면, 상기 생성된 복수의 14X14 구조의 제1 서브 샘플링 계층이 기상 메타 데이터에 따라 필터링되도록 하여, 제2 콘벌루션 계층을 복수로 생성하되,
    상기 제2 콘벌루션 계층이 복수로 생성되면, 상기 풀링 필터를 이용하여 각각의 제2 콘벌루션 계층의 사이즈를 축소하는 서브 샘플링을 수행하여 제2 서브 샘플링 계층을 복수로 생성하고,
    상기 기상 메타 데이터는,
    비, 눈, 구름, 바람 또는 안개의 발생 여부 및 발생 정도와 기온, 미세먼지의 농도에 따라 상기 특정 영역에서 추출 가능한 기상 상태별 추상적 특징이 포함되며,
    상기 영상 처리부는,
    상기 기상 메타 데이터에 상기 특정 영역의 가시거리가 기설정된 거리범위 미만이 되도록 하는 안개가 발생된 기상 상태의 추상적 특징 또는 상기 특정 영역의 미세먼지의 농도가 기설정된 농도범위를 초과한 기상 상태의 추상적 특징이 포함되면, 상기 안개 또는 상기 미세먼지의 특징이 포함된 기상 메타 데이터에 따라 상기 추출된 이미지들이 필터링되어, 생성된 제2 콘벌루션 계층이 복수로 생성되도록 하되,
    하나의 평균 풀링 필터(average pooling filter)에 포함되는 영상 데이터 유닛들에 포함된 안개의 빈도 또는 미세먼지의 농도의 평균값이 산출되어, 상기 하나의 평균 풀링 필터에 포함된 영상 데이터 유닛들이 상기 산출된 평균값이 포함된 하나의 영상 데이터 유닛으로 축소 변환되어 제2 서브 샘플링 계층이 생성되도록 하고,
    상기 영상 처리부는,
    각각의 제2 서브 샘플링 계층에 하나의 추상적 특징만이 포함되도록 하되, 상기 각각의 제2 서브 샘플링 계층이 생성되면, 상기 각각의 제2 서브 샘플링 계층을 기상 상태별로 분류하며,
    상기 영상 처리부는,
    상기 특정 영역의 기상 상태에 따른 각각의 영상 정보를 저장하고, 상기 기저장된 각각의 영상 정보와 상기 각각의 제2 서브 샘플링 계층을 비교하여, 상기 각각의 제2 서브 샘플링 계층을 기상 상태별로 분류하도록 하고,
    상기 영상 처리부는,
    상기 각각의 제2 서브 샘플링 계층을 상기 기상 상태별로 분류하는 과정에서 발생되는 오차를 최소화하기 위해, 상기 기저장된 각각의 영상 정보에 포함된 영상 데이터 유닛의 R(red), G(green), B(blue) 색상별 명암도의 평균값을 산출하여 룩업 테이블에 기록하고,
    상기 각각의 제2 서브 샘플링 계층이 생성되면, 상기 룩업 테이블에 기록된 R(red), G(green), B(blue) 색상별 명암도의 평균값과 상기 각각의 제2 서브 샘플링 계층을 비교하여, 상기 각각의 제2 서브 샘플링 계층을 기상 상태별로 분류하는 것을 특징으로 하는 콘벌루션 신경망을 이용한 영상 처리 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 영상 정보 획득부가 특정 영역에 대한 영상 정보를 획득하는 단계;
    영상 처리부가 상기 특정 영역의 기상 상태를 알기 위해, 콘볼루션 신경망(Convolutional Neural Network)을 이용하여, 상기 획득된 영상 정보를 영상 처리하는 단계; 및
    기상 분석부가 상기 영상 정보의 영상 처리 결과를 기반으로 상기 특정 영역의 기상 상태를 분석하는 단계;를 포함하고,
    상기 영상 정보를 영상 처리하는 단계는,
    상기 영상 처리부가 상기 영상 정보에서 영상 프레임별 또는 시간 주기별로 특정 이미지들을 추출하고, 상기 추출된 특정 이미지들이 타임 메타 데이터에 따라 필터링되도록 하여 제1 콘벌루션 계층을 복수로 생성하되,
    상기 추출된 32X32 구조의 이미지들이 5X5 구조의 타임 메타 데이터에 따라 필터링되도록 하여 28X28 구조의 제1 콘벌루션 계층을 복수로 생성하고,
    상기 28X28 구조의 제1 콘벌루션 계층이 복수로 생성되면, 풀링 필터(pooling filter)를 이용하여 각각의 28X28 구조의 제1 콘벌루션 계층의 사이즈를 축소하는 서브 샘플링(sub-sampling)을 수행하여 14X14 구조의 제1 서브 샘플링 계층을 복수로 생성하고,
    상기 영상 정보를 영상 처리하는 단계는,
    상기 14X14 구조의 제1 서브 샘플링 계층이 복수로 생성되면, 상기 영상 처리부가, 상기 생성된 복수의 14X14 구조의 제1 서브 샘플링 계층이 기상 메타 데이터에 따라 필터링되도록 하여, 제2 콘벌루션 계층을 복수로 생성하되,
    상기 제2 콘벌루션 계층이 복수로 생성되면, 상기 풀링 필터를 이용하여 각각의 제2 콘벌루션 계층의 사이즈를 축소하는 서브 샘플링을 수행하여 제2 서브 샘플링 계층을 복수로 생성하고,
    상기 타임 메타 데이터는,
    현재시간 주기의 영상과 이전시간 주기의 영상 또는 현재 영상프레임과 이전 영상프레임이 비교되어, 상기 특정 영역에 대한 영상 정보를 구성하는 영상 데이터 중 차이가 발생된 영상 데이터들의 추상적 특징만이 선별되어 포함되고,
    상기 기상 메타 데이터는,
    비, 눈, 구름, 바람 또는 안개의 발생 여부 및 발생 정도와 기온, 미세먼지의 농도에 따라 상기 특정 영역에서 추출 가능한 기상 상태별 추상적 특징이 포함되며,
    상기 영상 정보를 영상 처리하는 단계는,
    상기 영상 처리부가, 상기 기상 메타 데이터에 상기 특정 영역의 가시거리가 기설정된 거리범위 미만이 되도록 하는 안개가 발생된 기상 상태의 추상적 특징 또는 상기 특정 영역의 미세먼지의 농도가 기설정된 농도범위를 초과한 기상 상태의 추상적 특징이 포함되면, 상기 안개 또는 상기 미세먼지의 특징이 포함된 기상 메타 데이터에 따라 상기 추출된 이미지들이 필터링되어, 생성된 제2 콘벌루션 계층이 복수로 생성되도록 하되,
    하나의 평균 풀링 필터(average pooling filter)에 포함되는 영상 데이터 유닛들에 포함된 안개의 빈도 또는 미세먼지의 농도의 평균값이 산출되어, 상기 하나의 평균 풀링 필터에 포함된 영상 데이터 유닛들이 상기 산출된 평균값이 포함된 하나의 영상 데이터 유닛으로 축소 변환되어 제2 서브 샘플링 계층이 생성되도록 하고,
    상기 영상 정보를 영상 처리하는 단계는,
    각각의 제2 서브 샘플링 계층에 하나의 추상적 특징만이 포함되도록 하되, 상기 영상 처리부가, 상기 특정 영역의 기상 상태에 따른 각각의 영상 정보를 저장하고,
    상기 각각의 제2 서브 샘플링 계층이 생성되면, 상기 기저장된 각각의 영상 정보와 상기 각각의 제2 서브 샘플링 계층을 비교하여, 상기 각각의 제2 서브 샘플링 계층을 기상 상태별로 분류하도록 하고,
    상기 영상 정보를 영상 처리하는 단계는,
    상기 영상 처리부가, 상기 각각의 제2 서브 샘플링 계층을 상기 기상 상태별로 분류하는 과정에서 발생되는 오차를 최소화하기 위해, 상기 기저장된 각각의 영상 정보에 포함된 영상 데이터 유닛의 R(red), G(green), B(blue) 색상별 명암도의 평균값을 산출하여 룩업 테이블에 기록하고,
    상기 각각의 제2 서브 샘플링 계층이 생성되면, 상기 룩업 테이블에 기록된 R(red), G(green), B(blue) 색상별 명암도의 평균값과 상기 각각의 제2 서브 샘플링 계층을 비교하여, 상기 각각의 제2 서브 샘플링 계층을 기상 상태별로 분류하는 것을 특징으로 하는 콘벌루션 신경망을 이용한 영상 처리 방법.
KR1020170084070A 2017-07-03 2017-07-03 콘벌루션 신경망을 이용한 영상 처리 시스템 및 이를 이용한 영상 처리 방법 KR101933856B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170084070A KR101933856B1 (ko) 2017-07-03 2017-07-03 콘벌루션 신경망을 이용한 영상 처리 시스템 및 이를 이용한 영상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170084070A KR101933856B1 (ko) 2017-07-03 2017-07-03 콘벌루션 신경망을 이용한 영상 처리 시스템 및 이를 이용한 영상 처리 방법

Publications (1)

Publication Number Publication Date
KR101933856B1 true KR101933856B1 (ko) 2018-12-31

Family

ID=64959440

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170084070A KR101933856B1 (ko) 2017-07-03 2017-07-03 콘벌루션 신경망을 이용한 영상 처리 시스템 및 이를 이용한 영상 처리 방법

Country Status (1)

Country Link
KR (1) KR101933856B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458147A (zh) * 2019-08-26 2019-11-15 东莞德福得精密五金制品有限公司 人工智能云计算非应用感应器的液体气体污染排放监控方法
CN110866593A (zh) * 2019-11-05 2020-03-06 西南交通大学 一种基于人工智能的高速公路恶劣天气识别方法
WO2020156028A1 (zh) * 2019-01-28 2020-08-06 南京航空航天大学 一种基于深度学习的室外非固定场景天气识别方法
CN111505738A (zh) * 2020-03-17 2020-08-07 上海眼控科技股份有限公司 数值天气预报中气象因素的预测方法及设备
KR102171384B1 (ko) * 2020-03-04 2020-10-28 주식회사 문창 영상 보정 필터를 이용한 객체 인식 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101723073B1 (ko) * 2016-09-01 2017-04-05 (주)오션네트웍스 미세먼지농도 측정장치 및 미세먼지농도 측정시스템
KR101746712B1 (ko) * 2016-02-26 2017-06-13 울산과학기술원 안개 제거 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101746712B1 (ko) * 2016-02-26 2017-06-13 울산과학기술원 안개 제거 방법 및 장치
KR101723073B1 (ko) * 2016-09-01 2017-04-05 (주)오션네트웍스 미세먼지농도 측정장치 및 미세먼지농도 측정시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020156028A1 (zh) * 2019-01-28 2020-08-06 南京航空航天大学 一种基于深度学习的室外非固定场景天气识别方法
CN110458147A (zh) * 2019-08-26 2019-11-15 东莞德福得精密五金制品有限公司 人工智能云计算非应用感应器的液体气体污染排放监控方法
CN110866593A (zh) * 2019-11-05 2020-03-06 西南交通大学 一种基于人工智能的高速公路恶劣天气识别方法
KR102171384B1 (ko) * 2020-03-04 2020-10-28 주식회사 문창 영상 보정 필터를 이용한 객체 인식 시스템 및 방법
CN111505738A (zh) * 2020-03-17 2020-08-07 上海眼控科技股份有限公司 数值天气预报中气象因素的预测方法及设备

Similar Documents

Publication Publication Date Title
KR101933856B1 (ko) 콘벌루션 신경망을 이용한 영상 처리 시스템 및 이를 이용한 영상 처리 방법
CN110796284B (zh) 细颗粒物污染等级的预测方法、装置及计算机设备
CN103530638B (zh) 多摄像头下的行人匹配方法
CN113392775B (zh) 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
US20160260306A1 (en) Method and device for automated early detection of forest fires by means of optical detection of smoke clouds
CN107622258A (zh) 一种结合静态底层特征和运动信息的快速行人检测方法
CN111126136A (zh) 一种基于图像识别的烟雾浓度量化方法
CN110929607A (zh) 一种城市建筑物施工进度的遥感识别方法和系统
KR101874968B1 (ko) 이미지 정보 기반의 시정거리 측정 시스템 및 이를 이용한 시정거리 측정 방법
KR101183105B1 (ko) 자동 구름 정보 산출방법
CN112069985B (zh) 基于深度学习的高分辨率大田图像稻穗检测与计数方法
CN111914634A (zh) 一种抗复杂场景干扰的井盖类别自动检测方法和系统
CN113469278B (zh) 一种基于深度卷积神经网络的强天气目标识别方法
CN114648714A (zh) 一种基于yolo的车间规范行为的监测方法
CN111046728A (zh) 一种基于特征金字塔网络的秸秆燃烧检测方法
CN111724566A (zh) 基于智慧灯杆视频监控系统的行人跌倒检测方法和装置
CN116761049B (zh) 一种家用智能安防监控方法及系统
CN111723656B (zh) 一种基于YOLO v3与自优化的烟雾检测方法及装置
Zhang et al. Outdoor air quality level inference via surveillance cameras
CN115731493A (zh) 基于视频图像识别的降水微物理特征参量提取与分析方法
Katrojwar et al. Design of Image based Analysis and Classification using Unmanned Aerial Vehicle
CN109815784A (zh) 一种基于红外热像仪的智能分类方法、系统及存储介质
Nelson et al. Spatial statistical techniques for aggregating point objects extracted from high spatial resolution remotely sensed imagery
KR20210032188A (ko) 우시정 측정 시스템 및 방법
CN110765900A (zh) 一种基于dssd的自动检测违章建筑方法及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant