KR101966750B1 - 이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치, 시스템, 및 방법 - Google Patents

이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치, 시스템, 및 방법 Download PDF

Info

Publication number
KR101966750B1
KR101966750B1 KR1020170157353A KR20170157353A KR101966750B1 KR 101966750 B1 KR101966750 B1 KR 101966750B1 KR 1020170157353 A KR1020170157353 A KR 1020170157353A KR 20170157353 A KR20170157353 A KR 20170157353A KR 101966750 B1 KR101966750 B1 KR 101966750B1
Authority
KR
South Korea
Prior art keywords
image data
machine learning
database
distance
image
Prior art date
Application number
KR1020170157353A
Other languages
English (en)
Inventor
조영임
안드레이기엔코
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020170157353A priority Critical patent/KR101966750B1/ko
Application granted granted Critical
Publication of KR101966750B1 publication Critical patent/KR101966750B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G06T5/007
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치, 시스템, 및 방법에 관한 것으로, 특히 본 발명의 시정거리 예측 시스템은 이미지 데이터로부터 기계학습에 의한 시정거리 예측 시스템,적어도 하나의 카메라를 포함하는 촬영부; 기계 학습부, 기계 학습부에 의해 기계 학습이 수행되어 생성된 인공지능 모델, 및 데이터베이스를 포함하는 서버; 서버와 통신 가능한 적어도 하나의 사용자 단말기; 및 통신망을 포함하고, 데이터베이스는 카메라의 제1 이미지 데이터 및 카메라가 위치된 장소에서의 제1 시정거리 값을 포함하되, 제1 이미지 데이터 및 제1 시정거리 값 각각은 다수 개의 이미지들에 대한 이미지 데이터 및 시정거리 값을 포함하고, 인공지능 모델은 데이터베이스로부터 생성된 학습세트가 사용되어 학습되고, 사용자 단말기로부터 서버로 제2 이미지 데이터가 입력되면, 제2 이미지 데이터의 이미지는 흑백으로 변환되고 사이즈가 조절되어 기설정된 표준 형식으로 가공된 후, 인공지능 모델을 통해 제2 이미지에 대한 제2 시정거리 값이 추정되어 출력되는 것을 특징으로 하며, 이에 의하면, 일반 사용자 누구든 이미지 데이터를 시스템에 입력함으로써 신속하고 용이하게 시정거리 정보를 획득할 수 있다.

Description

이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치, 시스템, 및 방법{Device, system, and method for estimating visibility by machine learning using image data}
본 발명은 이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치, 시스템, 및 방법에 관한 것으로, 더 상세하게는, 촬영된 이미지를 입력하면 기계학습에 의한 시정거리 예측 알고리즘을 통해 예측된 시정거리가 출력되는 장치, 시스템, 및 방법에 관한 것이다.
일반적으로, 시정은 인간이 대상물을 파악할 수 있는 최장거리라는 단순한 의미를 뛰어넘어 대기오염을 유발하는 가스상, 입자상 물질의 화학적 평형관계, 에어로졸에 의한 빛의 물리적 소멸현상, 오염원의 화학적 조성, 기상요소에 의한 자연적 장애를 종합적으로 평가할 수 있는 대기환경에 대한 체감지표로 평가되고 있다.
시정을 측정을 위한 관련기술 현황은 광학적 시정관측용으로 미국 IMPROVE network에 설치된 OPTEC inc.사 LPV-2 Transmissometer가 현재 널리 사용되고 있는 제품이며, Belfort사 model 6000/6100/6230A Visibility Meter, ETA사 Longshot Long Path Transmissometer 등이 있다. 중단거리용은 Vaisala사 MITRAS transmissometer와 Biral사의 Visibility Sensor 등의 제품이 사용되고 있다.
현재 우리나라의 시정관측은 기상청에서 목측에 의해 이루어지고 있으며, 시정변화를 실시간으로 관측할 수 있는 광학측정 장비를 갖춘 연구기관은 수 개소가 있으나, 각종 특정 장소에서의 주시 가능한 시정거리를 신속하게 예측할 수 없다는 점에서 한계가 있다. 이에 따라 일반인이 쉽게 이해하고 이용할 수 있는 시정변화 예측 장치는 찾기 어려운 실정이다.
최근에 들어 종래의 광학측정 장비가 아닌 디지털 카메라(CCD)를 활용한 영상학적 방법을 이용하여 시정변화를 실시간으로 모니터링 할 수 있는 기술이 개발된 바 있다.
국내등록특허 제10-1748524호(2017.06.27 공고)는 시정거리 산정을 이용한 안개 감지 장치 및 방법에 관한 것으로, 도로 영상을 획득하여 에지(edge) 검출 영상을 생성하고 일부 지점의 실측 거리 정보를 이용하여 예측된 가상 등거리선 중 인접한 두 가상 등거리선 상에 존재하는 일부 실측 지점들을 연결하여 복수의 삼각형 영역으로 분할한 후, 삼각형 내의 모든 지점에 대한 거리 정보를 선형 보간법을 이용하여 산출하는 것을 특징으로 하고 있다.
이에 의하면, 디지털 카메라를 활용하여 도로 영상으로부터의 에지 검출을 통해 거리 정보를 산출할 수 있다. 그러나, 이와 같은 안개 감지 장치에 의하면, 도로 영상으로부터 에지가 미리 설정된 비율 이상의 밝기 대비를 가져야 하며, 도로 영상에서 밝기가 급격하게 변하는 경계 영역이 명확하지 않을 경우, 예측된 가상 등거리선에 대한 데이터뿐만 아니라, 산출된 거리 정보 등이 모두 정확하지 않게 되어 산출된 정보에 대한 신뢰도가 떨어질 수밖에 없다.
즉, 종래의 이와 같은 영상 분석을 통한 안개 감지 장치는 실질적으로 입력되는 영상으로부터 특정된 시각적인 요소를 기반으로 모든 산출이 이루어진다는 점에서 신뢰도에 한계가 있다.
또한, 종래에는 이와 같이 미리 설정된 비율 이상의 밝기 대비를 갖도록 촬영하는 디지털 카메라 및 안개 감지 장치가 설치된 장소에서만 시정거리를 예측할 수 있다. 이에 따라 시정거리를 예측할 수 있는 지역 범위가 한정되어, 실질적으로 일반인이 필요에 따라 자신이 위치한 장소에서의 시정거리를 즉각적으로 파악할 수 있는 시정거리 예측 장치는 찾기 어려운 실정이다.
따라서, 현재는 시정거리를 파악하고자 할 때마다 매번 연구기관의 광학측정 장비로부터의 새로운 데이터가 필요 없으면서, 시정거리를 예측할 수 있는 지역 범위를 경제적으로 확장시킬 수 있는 새로운 시정거리 예측 기술이 필요한 실정이다.
KR 10-1748524 B1
상기한 바와 같은 종래의 문제점을 해결하기 위한 본 발명은, 촬영된 이미지를 입력하면 기계학습에 의한 시정거리 예측 알고리즘을 통해 예측된 시정거리가 출력되는 장치, 시스템, 및 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치는, 카메라부; 및 기계 학습이 수행되어 생성된 인공지능 모델(AI 모델)을 포함하는 기계 학습부;를 포함하고, 상기 인공지능 모델은 제1 이미지 데이터 및 제1 시정거리 값을 포함하는 데이터베이스로부터 생성된 학습세트가 사용되어 학습되되, 상기 제1 이미지 데이터 및 상기 제1 시정거리 값 각각은 다수 개의 이미지들에 대한 이미지 데이터 및 시정거리 값을 포함하고, 상기 카메라부로부터 획득되는 제2 이미지 데이터의 이미지는 흑백으로 변환되고 사이즈가 조절되어 기설정된 표준 형식으로 가공된 후, 상기 인공지능 모델을 통해 상기 제2 이미지 데이터에 대한 제2 시정거리 값이 추정되어 출력되는 것을 특징으로 한다.
또한, 상기 학습세트는 상기 제1 이미지 데이터 중에서 시정거리 클래스가 할당된 이미지 데이터를 포함하되, 상기 제1 이미지 데이터의 생성 조건과 가장 근접한 조건에 측정된 상기 제1 시정거리 값을 기반으로 상기 시정거리 클래스가 결정되는 것이 바람직하다.
또한, 상기 제2 시정거리 값을 기반으로 상기 제2 이미지 데이터에 시정거리 클래스가 할당되고, 상기 제2 이미지 데이터의 생성 조건이 데이터 값으로 추출되고, 상기 제2 이미지 데이터, 상기 시정거리 클래스, 및 상기 데이터 값이 상기 데이터베이스에 저장되는 것이 바람직하다.
또한, 상기 생성 조건은 날짜, 시간, 및 위치를 포함하는 것이 바람직하다.
또한, 상기 기계 학습부와 연결된 통신부를 더 포함하고, 상기 통신부를 통해 외부 데이터베이스에 대한 접근이 상기 기계 학습부에 제공되고, 상기 외부 데이터베이스는 상기 통신부를 통해 상기 카메라부로부터 상기 이미지를 전달받아 저장하는 것이 바람직하다.
또한, 상기 기계 학습부와 연결된 디스플레이부를 더 포함하고, 상기 디스플레이부를 통해 상기 제2 시정거리 값이 표시되는 것이 바람직하다.
또한, 상기 기계 학습부와 연결된 출력부를 더 포함하고, 상기 출력부는 외부 장치로 상기 제2 시정거리 값을 제공하는 것이 바람직하다.
상기 목적을 달성하기 위한 본 발명의 이미지 데이터로부터 기계학습에 의한 시정거리 예측 시스템은, 적어도 하나의 카메라를 포함하는 촬영부; 기계 학습부, 상기 기계 학습부에 의해 기계 학습이 수행되어 생성된 인공지능 모델, 및 데이터베이스를 포함하는 서버; 상기 서버와 통신 가능한 적어도 하나의 사용자 단말기; 및 통신망을 포함하고, 상기 데이터베이스는 상기 카메라의 제1 이미지 데이터 및 상기 카메라가 위치된 장소에서의 제1 시정거리 값을 포함하되, 상기 제1 이미지 데이터 및 상기 제1 시정거리 값 각각은 다수 개의 이미지들에 대한 이미지 데이터 및 시정거리 값을 포함하고, 상기 인공지능 모델은 상기 데이터베이스로부터 생성된 학습세트가 사용되어 학습되고, 상기 사용자 단말기로부터 상기 서버로 제2 이미지 데이터가 입력되면, 상기 제2 이미지 데이터의 이미지는 흑백으로 변환되고 사이즈가 조절되어 기설정된 표준 형식으로 가공된 후, 상기 인공지능 모델을 통해 상기 제2 이미지에 대한 제2 시정거리 값이 추정되어 출력되는 것이 바람직하다.
또한, 상기 서버는, 상기 제1 및 제2 이미지 데이터가 입력되는 이미지 입력부; 상기 사용자 단말기로부터의 요청을 수신하는 요청 입력부; 및 상기 제2 이미지 데이터 및 상기 제2 시정거리 값을 출력하는 출력부;를 더 포함하고, 상기 제1 이미지 데이터는 서로 다른 위치의 다수 개의 상기 카메라로 획득되고, 상기 제2 이미지 데이터는 상기 사용자 단말기로부터 상기 요청과 동시에 상기 데이터베이스로 전달되는 것이 바람직하다.
또한, 상기 학습 세트의 데이터는 별도의 기록 매체에 저장될 수 있는 것이 바람직하다.
상기 목적을 달성하기 위한 본 발명의 이미지 데이터로부터 기계학습에 의한 시정거리 예측 방법은, (a) 제1 이미지 데이터가 서버에 입력되어 제1 시정거리 값을 포함하는 데이터베이스에 저장되는 단계; (b) 상기 제1 이미지 데이터의 생성 조건이 데이터 값으로 추출되어 상기 데이터베이스에 저장되는 단계; (c) 상기 데이터베이스로부터 생성된 학습세트를 사용한 기계 학습이 수행되어 인공지능 모델이 생성되는 단계; (d) 제2 이미지 데이터 및 요청이 사용자 단말기로부터 상기 서버에 입력되는 단계; (e) 상기 제2 이미지 데이터의 이미지가 상기 데이터베이스에 저장되는 단계; (f) 상기 제2 이미지 데이터의 이미지가 흑백으로 변환되고 사이즈가 조절되어 기설정된 표준 형식으로 가공된 후, 상기 인공지능 모델을 통해 상기 제2 이미지 데이터에 대한 시정거리 평가가 수행되는 단계; 및 (g) 상기 시정거리 평가 결과로서 추정된 제2 시정거리 값이 출력되는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 (c) 단계는, (c1) 기계 학습부에서 상기 학습 세트의 데이터를 읽는 단계; (c2) 상기 학습 세트에 포함된 상기 제1 이미지 데이터의 이미지가 흑백으로 변환되는 단계; (c3) 상기 이미지의 사이즈가 변환되는 단계; (c4) 기설정된 표준 형식으로 가공된 상기 이미지가 정규화되는 단계; (c5) 임의의 입력 데이터 배치가 생성되는 단계; (c6) 상기 인공지능 모델의 비용 및 정확도가 계산되는 단계; 및 (c7) 기계 학습의 완성 판단 단계;를 포함하고, 기계 학습이 완성되지 않은 경우, 그라디언트가 계산 및 최적화되어 다시 상기 (c5) 단계부터 반복되고, 기계 학습이 완성된 경우, 상기 인공지능 모델은 상기 데이터베이스에 저장되는 것이 바람직하다.
또한, 상기 (d) 단계에서 상기 제2 이미지 데이터 및 상기 요청은 웹에 구성된 인덱스 페이지를 통해 상기 사용자 단말기로부터 상기 서버에 입력되고, 상기 (g) 단계에서 상기 제2 시정거리 값은 웹에 구성된 결과 페이지를 통해 표시되는 것이 바람직하다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.
이상에서 살펴본 바와 같이, 본 발명에 의하면, 시정거리의 파악을 위해 매번 고비용의 광학측정 장비로부터의 새로운 데이터가 필요 없어, 일반 사용자 누구든 신속하고 용이하게 시정거리 정보를 획득할 수 있다.
또한, 본 발명에 의하면, 단순히 특정 영상의 시각요소의 검출을 통한 시정거리 예측이 아닌, 학습된 인공지능 모델을 사용하여 실측 데이터에 근접한 시정거리 정보를 획득할 수 있다.
또한, 본 발명에 의하면, 다양한 지역에서의 시정거리가 용이하고 신속하게 예측될 수 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치를 설명하기 위한 개념도이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 시스템을 설명하기 위한 개념도이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 시스템의 서버를 설명하기 위한 개념도이다.
도 4 및 도 5는 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 시스템을 설명하기 위한 도면이다.
도 6은 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 방법에서 데이터베이스 생성 단계를 설명하기 위한 흐름도이다.
도 8은 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 방법에서 학습세트 생성 단계를 설명하기 위한 도면이다.
도 9는 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 방법에서 AI 모델 생성 단계를 설명하기 위한 도면이다.
도 10은 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 방법에서 웹 인터페이스상의 결과 데이터 출력 단계를 설명하기 위한 도면이다.
도 11은 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치, 시스템, 및 방법에서 사용될 수 있는 CNN(convolutional neural network)의 논리적 구조를 나타내는 도면이다.
도 12는 본 발명의 일 실시예에 따른 인덱스 페이지 화면을 나타내는 도면이다.
도 13a 내지 도 13d는 본 발명의 일 실시예에 따른 결과 페이지 화면을 나타내는 도면이다.
도 14a 및 도 14b 각각은 본 발명의 일 실시예에 따른 AI 모델이 학습됨에 따라 감소하는 비용 함수 및 증가하는 정확도를 나타내는 그래프이다.
본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.
즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.
또한, 본 명세서에 있어서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.
본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.
더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결시키기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.
반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.
마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.
또한, 본 명세서에 있어서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.
또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.
더욱이, 본 발명의 명세서에서는, "…부", "…기", "모듈", "장치" 등의 용어는, 사용된다면, 하나 이상의 기능이나 동작을 처리할 수 있는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있음을 알아야 한다.
또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.
본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.
또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대한 상세한 설명은 생략될 수도 있다.
이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치
먼저, 도 1을 참조하여 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치를 설명한다. 도 1은 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치를 설명하기 위한 개념도이다.
본 발명의 이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치(이하, 시정거리 예측 장치로 지칭)는, 카메라부(20) 및 기계 학습이 수행되어 생성된 인공지능 모델(AI 모델)을 포함하는 기계 학습부(10)를 포함한다.
또한, 본 발명의 시정거리 예측 장치는 디스플레이부(30) 및 통신부(40)를 더 포함할 수 있다.
기계 학습부(10)는 기계 학습을 통해 인공지능 모델을 생성할 수 있다. 즉, 기계 학습부(10)는 기계 학습을 위해 필요한 제1 이미지 데이터 및 제1 시정거리 값을 입력받고, 데이터베이스를 포함하여 이러한 데이터를 저장할 수 있다.
또한, 기계 학습부(10)는 제1 이미지 데이터 및 제2 이미지 데이터를 기설정된 형식으로 가공하는 이미지 변환 모듈을 포함할 수 있다.
인공지능 모델은 제1 이미지 데이터 및 제1 시정거리 값을 포함하는 데이터베이스로부터 생성된 학습세트가 사용되어 학습되되, 제1 이미지 데이터 및 제1 시정거리 값 각각은 다수 개의 이미지들에 대한 이미지 데이터 및 시정거리 값을 포함한다.
학습세트는 제1 이미지 데이터 중에서 시정거리 클래스가 할당된 이미지 데이터를 포함하되, 제1 이미지 데이터의 생성 조건과 가장 근접한 조건에 측정된 상기 제1 시정거리 값을 기반으로 시정거리 클래스가 결정되는 것이 바람직하다.
예를 들면, 제1 이미지 데이터는 어느 지역에 설치된 CCTV로 촬영된 다수의 이미지 데이터를 포함하고, 그 지역에서 측정된 시정거리 값이 제1 시정거리 값으로 별도의 디스크나 기록매체에 저장될 수 있다.
이러한 이미지 데이터 및 시정거리 값들은 데이터베이스에 저장되고, 제1 이미지 데이터 중에서도 특정 날짜, 시간, 위치에 촬영된 제1 이미지 데이터가 이와 근접한 특정 날짜, 시간, 장소에 측정된 제1 시정거리 값과 매칭될 수 있다. 이에 따라 매칭된 제1 시정거리 값을 기반으로 특정 제1 이미지 데이터의 시정거리 클래스가 결정될 수 있다.
시정거리 클래스는 어느 한 가지로 한정되지 않으나, 예를 들어, 1000m 단위로하여 21000m까지 클래스를 생성한다면 21 개의 클래스로 시정거리 값을 구분할 수 있다. 이에 의하면, 매칭된 제1 시정거리 값은 1000m 단위로 반올림되어 21 개의 클래스 중 어느 하나가 제1 이미지 데이터의 시정거리 클래스로 결정될 수 있다.
기계 학습부(10)에서는, 학습세트에 포함된 제1 이미지 데이터가 이미지 변환 모듈을 통해 흑백으로 변환되고 사이즈가 조절되어 기설정된 표준 형식으로 가공된 후, 정규화되고, 이를 기반으로 임의의 입력 데이터 배치가 생성되어 인공지능 모델이 학습된다.
기계 학습부(10)에서 인공지능 모델의 비용 및 정확도가 계산되어 기계 학습의 완성 여부가 판단되고, 기계 학습이 완성되지 않은 경우, 그라디언트가 계산 및 최적화되어 다시 임의의 입력 데이터 배치가 생성되고, 인공지능 모델의 비용 및 정확도가 계산되어 기계 학습의 완성 여부가 판단된다.
기계 학습이 완성된 경우, 완성된 인공지능 모델은 데이터베이스에 저장되어 추후 입력되는 제2 이미지 데이터의 이미지를 평가하는 데에 사용될 수 있다.
카메라부(20)로부터 획득되는 제2 이미지 데이터의 이미지는 기계 학습부(10)로 전송되어 흑백으로 변환되고 사이즈가 조절되어 기설정된 표준 형식으로 가공된 후, 상기 완성된 인공지능 모델을 통해 제2 이미지 데이터에 대한 제2 시정거리 값이 추정되어 출력되는 것이 바람직하다.
또한, 제1 이미지 데이터 및 제1 시정거리 값과 마찬가지로, 제2 시정거리 값을 기반으로 제2 이미지 데이터에도 시정거리 클래스가 할당되는 것이 바람직하다. 제2 이미지 데이터의 생성 조건인 날짜, 시간, 및 위치와 같은 생성 조건이 데이터 값으로 추출되고, 제2 이미지 데이터, 시정거리 클래스, 및 데이터 값이 데이터베이스에 저장되는 것이 바람직하다.
이에 따라 사용자가 제2 이미지 데이터를 시정거리 예측 장치에 입력하면, 데이터베이스로부터 제2 이미지 데이터, 시정거리 클래스, 및 데이터 값이 함께 출력될 수 있다.
본 발명의 다른 일 실시예에서, 기계 학습부(10)와 연결된 통신부(40)를 통해 외부 데이터베이스에 대한 접근이 기계 학습부(10)에 제공될 수 있다. 즉, 외부 데이터베이스는 기계 학습부(10)가 아닌 다른 외부 저장소, 예를 들면, 클라우드, 웹 디스크, 컴퓨터 디스크, 등의 기록 매체에 저장된 데이터베이스일 수 있다.
이때 본 발명의 시정거리 예측 장치에 통신부(40)가 구비됨으로써, 외부 데이터베이스로부터 데이터를 송수신할 수 있다. 예를 들면, 기계 학습부(10)는 외부 데이터베이스로부터 필요한 특정 데이터를 받기 위한 요청을 생성하여 통신부(40)는 이러한 요청을 외부 데이터베이스로 보내고, 외부 데이터베이스로부터의 데이터를 수신할 수 있다.
통신부(40)를 통해 데이터의 수신뿐만 아니라, 외부 데이터베이스로의 데이터의 송신도 가능하다. 예를 들면, 카메라부(20)로 촬영된 제2 이미지 데이터의 이미지를 외부 데이터베이스로 전달하여 저장할 수 있다.
이를 통해 본 발명의 시정거리 예측 장치는 직접 기계 학습부(10)에서 인공지능 모델을 생성할 수 있는 동시에, 다른 외부 데이터베이스에도 접속하여 다른 인공지능 모델을 다운받아 사용할 수도 있다.
다른 외부 데이터베이스는 다른 위치에서의 제1 이미지 데이터 및 제1 시정거리 값을 포함하여, 이를 기반으로 생성된 학습세트가 사용되어 생성된 인공지능 모델을 저장할 수 있다. 이에 따라 본 발명의 시정거리 예측 장치의 위치가 변동된 경우에, 카메라부(20)로 촬영된 제2 이미지 데이터의 생성 위치 정보 기반으로 가장 근접한 위치에 대한 인공지능 모델을 검색할 수 있다. 본 발명의 시정거리 예측 장치는 외부 데이터베이스에 접속하여 인공지능 모델을 다운받아 사용하여, 시정거리 예측 장치의 위치가 변동되더라도 신속한 시정거리 예측이 가능하다.
또한, 본 발명의 시정거리 예측 장치는 기계 학습부(10)와 연결된 디스플레이부(30)를 더 포함할 수 있으며, 디스플레이부(30)를 통해, 추정된 시정거리 값, 즉 제2 시정거리 값이 표시될 수 있다.
또한, 기계 학습부(10)와 연결된 출력부(미도시)를 더 포함할 수 있으며, 출력부는 외부 장치로 제2 시정거리 값을 제공하는 것이 바람직하다. 여기서 외부 장치는 제2 시정거리 값을 기반으로 작동하는 장치일 수 있으며, 예를 들면, 알람 수단, 컴퓨터, 스피커, 등일 수 있다.
이미지 데이터로부터 기계학습에 의한 시정거리 예측 시스템
다음은 도 2 내지 도 5를 참조하여 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 시스템을 설명한다.
도 2는 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 시스템을 설명하기 위한 개념도이다. 도 3은 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 시스템의 서버를 설명하기 위한 개념도이다. 도 4 및 도 5는 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 시스템을 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 본 발명의 이미지 데이터로부터 기계학습에 의한 시정거리 예측 시스템은, 적어도 하나의 카메라(210, 220)를 포함하는 촬영부(200), 서버(100), 서버(100)와 통신 가능한 적어도 하나의 사용자 단말기(310, 320), 및 통신망(400)을 포함한다.
도 3에 도시된 바와 같이, 서버(100)는 기계 학습부(150), 기계 학습부(150)에 의해 기계 학습이 수행되어 생성된 인공지능 모델(151), 및 데이터베이스(140)를 포함한다.
데이터베이스(140)는 카메라(210, 220)의 제1 이미지 데이터 및 카메라(210, 220)가 위치된 장소에서의 제1 시정거리 값을 포함하되, 제1 이미지 데이터 및 제1 시정거리 값 각각은 다수 개의 이미지들에 대한 이미지 데이터 및 시정거리 값을 포함하는 것이 바람직하다.
인공지능 모델(151)은 데이터베이스(140)로부터 생성된 학습세트가 사용되어 학습된다. 적어도 하나의 사용자 단말기(300)로부터 서버(100)로 제2 이미지 데이터가 입력되면, 제2 이미지 데이터의 이미지는 흑백으로 변환되고 사이즈가 조절되어 기설정된 표준 형식으로 가공된 후, 인공지능 모델(151)을 통해 제2 이미지에 대한 제2 시정거리 값이 추정되어 출력되는 것이 바람직하다.
예를 들면, 제1 사용자 단말기(310)로부터 제2 이미지 데이터가 통신망(400)을 통해 서버(100)로 송신되어 입력되면, 데이터베이스(140)는 제1 사용자 단말기(310)의 제2 이미지 데이터를 저장하고, 인공지능 모델(151)을 통해 제2 시정거리 값을 추정하여 다시 제1 사용자 단말기(310)로 제2 이미지 데이터 및 제2 시정거리 값이 송신되어 전달될 수 있다.
제2 사용자 단말기(320)로부터 또 다른 제2 이미지 데이터가 통신망(400)을 통해 서버(100)로 송신되어 입력되면, 마찬가지로 제2 이미지 데이터가 저장되고 인공지능 모델(151)을 통해 제2 시정거리 값이 추정되어 제2 사용자 단말기(320)로 송신되어 전달될 수 있다.
이때, 서버(100)는 제1 및 제2 이미지 데이터가 입력되는 이미지 입력부(110), 사용자 단말기(310, 320)로부터의 요청을 수신하는 요청 입력부(120), 및 제2 이미지 데이터 및 제2 시정거리 값을 출력하는 출력부(130)를 더 포함할 수 있다.
즉, 카메라부(200)로 촬영되는 제1 이미지 데이터는 입력부(110)를 통해 입력되어 데이터베이스(140)에 저장될 수 있고, 사용자 단말기(300)로부터 입력되는 제2 이미지 데이터도 입력부(110)를 통해 데이터베이스(140)에 저장될 수 있다.
카메라부(200)로 촬영된 제1 이미지 데이터는 실제로 카메라부(200)의 카메라(210, 220) 각각이 설치된 위치에 근접한 곳에서 측정된 각각의 제1 시정거리 값과 매칭되어 학습세트에 사용될 수 있다. 여기서 학습 세트의 데이터는 별도의 기록 매체에 저장될 수 있는 것이 바람직하다.
사용자 단말기(300)로부터 입력되는 제2 이미지 데이터는 서로 사용자 단말기(300)로 입력되는 시정거리 예측 요청과 함께 데이터베이스(140)로 전달되는 것이 바람직하다. 이에 따라 요청에 대한 응답으로서 제2 이미지 데이터 및 제2 시정거리 값을 출력부(130)를 통해 출력하여 사용자 단말기(300)로 데이터를 전달할 수 있다.
도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 시스템은 카메라부(200)에 무선 및/또는 유선 카메라가 포함될 수 있으며, 서버(100)로부터 카메라부(200)에 대한 접속을 요청할 수 있다. 통신망(400)을 통해 접속 요청이 전달되고 요청에 대한 응답으로서 카메라부(200)로의 접근이 허용되면, 카메라 비디오 피드를 통해 서버(100)로 제1 이미지 데이터가 전달될 수 있다.
여기서 카메라부(200)와의 접속은 사용자 단말기(300)와도 이루어질 수 있다. 이에 따라 스마트폰, 태블릿, PC와 같은 사용자 단말기(300)를 통해 직접 유무선 카메라로부터 실시간 비디오 피드를 통해 제1 이미지 데이터를 확인 및/또는 저장할 수 있다.
서버(100)에서 인공지능 모델을 생성하여 사용자 단말기(300)에 제공함으로써 사용자 단말기(300)에서의 제2 이미지 데이터의 시정거리 평가가 가능하고 평가를 통한 제2 시정거리 값의 추정이 가능하다.
관리자 단말기(500)는 서버(100)에 접속하여 인공지능 모델 생성, 제공, 관리 등의 작업을 수행할 수 있는 컴퓨터인 것이 바람직하다.
도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 시스템은 웹 브라우저를 통해 사용자 단말기(300)로부터 서버(100)로 제2 이미지 데이터 평가 요청 및 응답을 송수신할 수 있다.
이때 카메라부(200)로부터의 이미지, 즉 제1 이미지 데이터는 별도의 저장소에 파일로 저장될 수 있으며, 웹 브라우저를 통한 사용자 단말기의 제2 이미지 데이터 입력 및 요청의 입력은 각각 서버(100)의 이미지 입력부(110) 및 요청 입력부(120)로 전달될 수 있다.
기계 학습부(150)를 통해 생성된 인공지능 모델(151)이 사용되어, 입력된 제2 이미지 데이터에 대한 시정거리 평가가 이루어질 수 있으며, 평가 결과로서 추정된 제2 시정거리 값과 제2 이미지 데이터의 이미지가 웹 브라우저를 통해 표시될 수 있다.
이미지 데이터로부터 기계학습에 의한 시정거리 예측 방법
도 6 내지 도 10을 참조하여 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 방법을 설명한다.
도 6은 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 방법을 설명하기 위한 흐름도이다. 도 7은 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 방법에서 데이터베이스 생성 단계를 설명하기 위한 흐름도이다. 도 8은 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 방법에서 학습세트 생성 단계를 설명하기 위한 도면이다.
도 9는 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 방법에서 AI 모델 생성 단계를 설명하기 위한 도면이다. 도 10은 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 방법에서 웹 인터페이스상의 결과 데이터 출력 단계를 설명하기 위한 도면이다.
본 발명의 이미지 데이터로부터 기계학습에 의한 시정거리 예측 방법은, 이미지 데이터를 입력하는 단계(S100), 이미지 데이터를 처리 및 데이터 값을 저장하는 단계(S200), 이미지 데이터 및 데이터 값으로 기계학습하여 인공지능(AI) 모델을 생성하는 단계(S300), 사용자 단말기로부터 요청이 입력되는 단계(S400), 제2 이미지 데이터 및 요청을 포함하는 요청 입력 데이터를 데이터베이스에 저장하는 단계(S500), 인공지능 모델을 사용하여 요청 입력 데이터에 대해 시정거리를 평가하는 단계(S600), 및 평가를 통해 추정된 예측 시정거리 값을 포함하는 결과 데이터를 출력하는 단계(S700)를 포함한다.
이미지 데이터를 입력하는 단계(S100)에서는 제1 이미지 데이터가 서버에 입력되고, 이미지 데이터를 처리 및 데이터 값을 저장하는 단계(S200)에서 제1 이미지 데이터의 이미지 및 이미지 생성 조건, 예를 들면, 날짜, 시간, 위치에 대한 데이터 값이 추출되어 제1 시정거리 값을 포함하는 데이터베이스에 저장된다.
이미지 데이터를 입력하는 단계(S100)는 도 7에 도시된 바와 같이, 제1 이미지 데이터를 포함하는 저장소의 디렉터리 콘텐츠가 읽히는 단계(S110), 서브 디렉터리인지 판단되는 단계(S120), 서브 디렉터리일 경우 순환 호출이 수행되는 단계(S121), 서브 디렉터리가 아닌 경우, 제1 이미지 데이터로부터 날짜 및 시간과 같은 생성 조건에 대한 정보가 추출되어 획득되는 단계(S130), 날짜 및 시간과 같은 생성 조건에 가장 근접한 조건에서 측정된 시정거리 값이 데이터베이스에서 검색되는 단계(S140), 및 제1 이미지 데이터의 파일명, 날짜, 시간과 같은 데이터, 및 이와 매칭되어 검색된 제1 시정거리 값이 데이터베이스에 기록되어 저장되는 단계(150)를 포함할 수 있다.
이미지 데이터를 처리 및 데이터 값을 저장하는 단계(S200)는 도 8에 도시된 바와 같이, 제1 이미지 데이터의 파일명, 날짜, 시간과 같은 데이터와 제1 시정거리 값이 데이터베이스로부터 제공되는 단계(S210), 이를 기반으로 제1 이미지 데이터에 시정거리 클래스가 할당되는 단계(S220), 할당된 제1 이미지 데이터의 파일명 및 시정거리 클래스가 입력파일에 추가되는 단계(S230), 및 파일 목록에 시정거리클래스가 할당되지 않은 제1 이미지 데이터가 있는지 판단되는 단계(240)를 포함하고, 저장된 제1 이미지 데이터의 목록 중에서의 모든 제1 이미지 데이터에 대해 시정거리 클래스가 할당될 때까지 과정이 반복되는 것이 바람직하다.
여기서 시정거리 클래스가 할당된 제1 이미지 데이터는 인공지능 모델의 기계 학습에 사용되는 학습세트로 사용되는 것이 바람직하다.
인공지능 모델이 생성되는 단계(S300)에서는 데이터베이스로부터 생성된 학습세트를 사용하여 기계 학습이 수행되어 인공지능 모델이 생성된다. 도 9에 도시된 바와 같이, 인공지능 모델이 생성되는 단계(S300)는 기계 학습부에서 학습세트의 데이터를 읽는 단계(S310), 학습세트에 포함된 제1 이미지 데이터의 이미지가 흑백으로 변환되는 단계(S321), 상기 이미지의 사이즈가 변환되는 단계(S322), 기설정된 표준 형식으로 가공된 상기 이미지가 정규화되는 단계(S323), 임의의 입력 데이터 배치가 생성되는 단계(S330), 인공지능 모델의 비용 및 정확도가 계산되는 단계(S337), 및 기계 학습의 완성 판단 단계(S340)를 포함할 수 있다.
기계 학습이 완성되지 않은 경우, 그라디언트가 계산 및 최적화되는 단계(S338)가 더 포함될 수 있고, 다시 미니배치 생성 단계(S330)부터 반복되고, 기계 학습이 완성된 경우, 인공지능 모델은 데이터베이스에 저장되는 것이 바람직하다. 여기서 인공지능 모델을 별도의 디스크에 저장될 수 있다.
임의의 미니배치가 생성되어 반복적인 기계 학습이 수행될 때, CNN(Convolutional Neural Network) 구조가 활용되어 디스크로부터 이미지를 읽고, 이미지들로부터 임의의 배치를 생성할 수 있으나, 기계 학습을 위해 이외의 다양한 프로그램이 사용될 수 있으며, 이에 한정되지 않는다.
본 발명의 일 실시예에서는 이와 같은 CNN 구조에 의해 인공지능 모델 생성 과정에서 미니배치가 생성되고 제1 합성곱 레이어를 통해 제1 이미지 데이터로부터 특징들을 추출하는 단계(S331), 제1 풀링 레이어를 통해 데이터의 차원을 감소시키는 단계(S332), 제2 합성곱 레이어를 생성하여 제1 이미지 데이터로부터 특징들을 더 추출하는 단계(S333), 제2 풀링 레이어를 생성하여 데이터의 차원을 더 감소시키는 단계(S334), 완전 연결 레이어를 생성하여 특징들을 구분하여 클래스로 구현하는 단계(S335), 및 각각의 시정거리 값 클래스에 대한 정확한 평가 확률을 포함하는 출력 레이어를 생성하는 단계(S336)를 더 포함할 수 있다.
요청 입력 단계(S400)에서는 제2 이미지 데이터 및 요청이 사용자 단말기로부터 상기 서버에 입력되는 단계로서, 도 10에 도시된 바와 같이, 웹 브라우저상에서의 인덱스 페이지가 출력되는 단계(S410), 사용자 단말기로부터 제2 이미지 데이터, 즉 이미지 파일이 인덱스 페이지에 입력되는 단계(S420), 및 인덱스 페이지에 입력된 파일이 서버로 전달되는 단계(S430)를 포함할 수 있다.
서버에 제2 이미지 데이터, 즉 파일이 저장되는 단계(S500)에서 제2 이미지 데이터는 요청 입력 데이터로서 서버에 저장되는 것이 바람직하다.
인공지능 모델을 사용하여 요청 입력 데이터에 대해 평가가 수행되는 단계(S600)에서, 제2 이미지 데이터의 이미지가 흑백으로 변환되고 사이즈가 조절되어 기설정된 표준 형식으로 가공된 후 평가가 수행되는 것이 바람직하다. 제2 시정거리 값은 결과 데이터로서 웹 브라우저상의 결과 페이지에 출력(S700)될 수 있다.
이미지 데이터로부터 기계학습에 의한 시정거리 예측 실시예
도 11 내지 14b를 더 참조하여 본 발명의 이미지 데이터로부터 기계학습에 의한 시정거리 예측 실시예를 설명한다. 도 11은 본 발명의 바람직한 일 실시예에 따른 이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치, 시스템, 및 방법에서 사용될 수 있는 CNN(convolutional neural network)의 논리적 구조를 나타내는 도면이다.
도 12는 본 발명의 일 실시예에 따른 인덱스 페이지 화면을 나타내는 도면이다. 도 13a 내지 도 13d는 본 발명의 일 실시예에 따른 결과 페이지 화면을 나타내는 도면이다. 도 14a 및 도 14b 각각은 본 발명의 일 실시예에 따른 AI 모델이 학습됨에 따라 감소하는 비용 함수 및 증가하는 정확도를 나타내는 그래프이다.
본 발명의 이미지 데이터로부터 기계학습에 의한 시정거리 예측 실시예에서는 다양한 프로그램들 구성 및 사용되었으며, 이를 정리한 표 1은 다음과 같다.
분류 설명
프로그램 기능
DB생성 하드드라이브에 저장된 학습데이터의 초기 DB양식을 작성하는데 사용되는 기능. DB를 사용하는 것이 디스크의 파일을 직접 사용하는 것보다 빠름
폴더 내용 읽기 디스크의 데이터폴더안에 있는 파일리스트와 서브폴더들을 읽는 기능
엔트리타입 체크 디스크 각 엔트리에 대해 이미지인지 서브폴더인지 체크
서브폴더 읽기 파일이 아닌 각 엔트리에 대해 폴더와 서브 폴더를 로드
파일이름 읽기 파일이름과 패스 추출
시간과 날짜 추출 이미지가 생성되었을 때 시간 추출
데이터를 DB에 업로드 추출된 데이터를 DB에 업로드하기 위한 SQL 쿼리 생성하여 업로드
학습세트 생성 파이썬 프로그램에 의해 학습세트를 생성하기 위한 기능
쿼리 DB 파일경로와 클래스를 검색하기 위해 DB에 SQL 쿼리 생성 및 수행
리스트와 입력쌍 생성 파일경로와 관련된 클래스의 텍스트 표현 생성
파일을 디스크에 저장 생성된 리스트를 디스크에 저장
모델 훈련(학습)프로그램 AI 모델 생성 및 훈련을 위해TensorFlow 사용
훈련세트를 디스크로부터 로드 훈련세트 파일을 디스크로부터 로드
훈련세트로부터 이미지 로드 훈련세트의 각 엔트리에 대해 이미지를 메모리로 로드
이미지 변환 이미지 해상도를 줄이고 그레이 스케일로 변환
메모리에 모델 생성 AI 모델의 인스턴스 생성을 위해 TensorFlow 사용
훈련 파라미터 세팅 훈련속도, 반복횟수 및 다른 변수들 세팅
훈련 반복 수행 랜덤 입력배치파일 이용하여 훈련 반복실행
디스크에 저장 학습모델을 메모리로부터 디스크에 저장
배치 평가 프로그램 훈련모델 성능평가를 위한 프로그램기능
모델을 디스크로부터 로드 훈련된 모델을 디스크로부터 메모리로 로드
쿼리 데이터베이스 파일경로와 관련된 ID를 검색하기위해 SQL 생성 및 실행
이미지 로드 파일 경로로부터 메모리로 이미지 로드
이미지 변환 이미지 해상도를 줄이고 그레이 스케일로 변환
가시성 평가 훈련된 모델을 사용하여 가시성 평가
DB에 예상된 결과값 저장 예상값을 DB에 저장하기 위해 SQL query 생성 및 실행
웹 인터페이스 서브릿(servlet) Tomcat Server상에서 실행되며 브라우저로부터 온 이미지의 가시성 평가
요구 수락 클라이언트 브라우저로부터 POST 요구사항 수락
파일을 디스크에 저장 클라이언트로부터 업로드된 이미지를 "uploads" 디렉토리에 저장
메모리를 디스크로부터 로드 훈련된 모델을 디스크로부터 메모리로 로드
이미지 변환 이미지의 해상도를 줄여서 그레이 스케일로 변환
평가 수행 훈련된 모델 사용하여 가시성 평가
반응 생성 평가결과를 포함하는 HTML 생성 및 클라이언트 브라우저로 전달
도 11에 도시된 바와 같이, 각각의 미니배치는 64개의 임의의 이미지가 선택되어 묶이고, 기설정된 크기의 합성곱 레이어 및 풀링 레이어가 사용되어 이미지로부터 특징들이 추출되고 데이터의 차원을 감소시킬 수 있었다.
시정거리 값을 1000m 단위로 21000m까지 분류하여 21개의 클래스를 만들었고, 이에 대해 출력 레이어는 각각의 클래스에 대해 시정거리 추정이 정확할 확률을 포함한다.
도 12는 본 발명의 일 실시예에 따른 인덱스 페이지 화면을 나타내는 도면으로서, 웹 브라우저 상에서 사진을 업로드 할 수 있는 부분이 구성될 수 있고, 이를 서버에 입력할 수 있는 요청 버튼이 구성될 수 있으나, 인덱스 페이지 화면은 이에 한정되지 않는다.
도 13a 내지 도 13d는 본 발명의 일 실시예에 따른 결과 페이지 화면을 나타내는 도면으로서, 각각 사용자 단말기로부터 인덱스 페이지 화면에서 입력된 제2 이미지 데이터의 이미지와 제2 시정거리 값이 결과 페이지 화면을 통해 출력된 것을 나타낸다. 이와 같이 결과 페이지는 HTML 페이지로 생성될 수 있으나, 이에 한정되지 않는다.
도 14a 및 도 14b 각각은 본 발명의 일 실시예에 따른 AI 모델이 학습됨에 따라 감소하는 비용 함수 및 증가하는 정확도를 나타내는 그래프로서, 반복 훈련이 진행되면서 비용 함수는 감소하고, 정확도는 증가함을 나타낸다.
훈련 과정에서의 손실 (비용 함수)과 정확도 함수의 진화는 다음 그림에서 볼 수 있습니다 (가로축은 훈련 이포크를 나타내다. 초당 4 에포크이며 그래프는 총 17500 초를 나타낸다; 세로축 손실 또는 훈련 정확도 기능)
비용 함수는 "옵티마이저"라는 서브 프로그램에 의해 계산된 오류 값으로, 비용 함수가 낮을수록 인공지능 모델의 성능이 증가한다. 정확도는 알려진 시정거리를 가진 이미지의 임의의 세트를 선택하고 인공지능 모델을 배치한 다음 인공지능 모델의 몇 퍼센트가 정확하게 추정되었는지 계산한다.
도 14a 및 도 14b에 도시된 바와 같이, 비용 함수가 성공적으로 약 20 %로 감소되었으며, 훈련 중에 무작위 배치에 대한 정확도는 이미지 유사성에 기반하여 약 90%정도의 성공률을 나타낸다.
본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 살펴본 바와 같이, 본 발명에 의하면, 이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치, 시스템, 및 방법이 제공되어, 일반 사용자 누구든 신속하고 용이하게 시정거리 정보를 획득할 수 있다.
10: 기계학습부
20: 카메라부
30: 디스플레이부
40: 통신부
100: 서버
110: 이미지 입력부
120: 요청 입력부
130: 출력부
140: 데이터베이스
150: 기계 학습부
151: AI 모델
200: 촬영부
210: 제1 카메라
220: 제2 카메라
300: 사용자 단말기
310: 제1 단말기
320: 제2 단말기
400: 통신망
500: 관리자 단말기

Claims (13)

  1. 카메라부; 및
    기계 학습이 수행되어 생성된 인공지능 모델(AI 모델)을 포함하는 기계 학습부;를 포함하고,
    상기 인공지능 모델은 제1 이미지 데이터 및 제1 시정거리 값을 포함하는 데이터베이스로부터 생성된 학습세트가 사용되어 학습되되, 상기 제1 이미지 데이터 및 상기 제1 시정거리 값 각각은 다수 개의 이미지들에 대한 이미지 데이터 및 시정거리 값을 포함하고,
    상기 카메라부로부터 획득되는 제2 이미지 데이터의 이미지는 흑백으로 변환되고 사이즈가 조절되어 기설정된 표준 형식으로 가공된 후, 상기 인공지능 모델을 통해 상기 제2 이미지 데이터에 대한 제2 시정거리 값이 추정되어 출력되고,
    상기 학습세트는 상기 제1 이미지 데이터 중에서 시정거리 클래스가 할당된 이미지 데이터를 포함하며,
    상기 제1 이미지 데이터의 생성 날짜, 시간, 및 위치를 포함하는 생성 조건과 가장 근접한 조건에 측정된 상기 제1 시정거리 값을 기반으로 상기 시정거리 클래스가 결정되고,
    상기 기계 학습부에서 임의의 입력 데이터 배치가 생성되고, 상기 인공지능 모델의 비용 및 정확도가 계산되어 상기 기계 학습의 완성 여부가 판단되며,
    상기 기계 학습이 완성되지 않은 경우, 다시 임의의 입력 데이터 배치가 생성되고, 상기 비용 및 상기 정확도가 계산되고, 상기 기계 학습이 완성된 것으로 판단되면 상기 인공지능 모델이 상기 데이터베이스에 저장되어 상기 제2 시정거리 값을 추정하여 출력하는 데에 사용되는 것을 특징으로 하는,
    이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 제2 시정거리 값을 기반으로 상기 제2 이미지 데이터에 시정거리 클래스가 할당되고,
    상기 제2 이미지 데이터의 생성 조건이 데이터 값으로 추출되고,
    상기 제2 이미지 데이터, 상기 시정거리 클래스, 및 상기 데이터 값이 상기 데이터베이스에 저장되는 것을 특징으로 하는,
    이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 기계 학습부와 연결된 통신부를 더 포함하고,
    상기 통신부를 통해 외부 데이터베이스에 대한 접근이 상기 기계 학습부에 제공되고,
    상기 외부 데이터베이스는 상기 통신부를 통해 상기 카메라부로부터 상기 이미지를 전달받아 저장하는 것을 특징으로 하는,
    이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치.
  6. 제 1 항에 있어서,
    상기 기계 학습부와 연결된 디스플레이부를 더 포함하고,
    상기 디스플레이부를 통해 상기 제2 시정거리 값이 표시되는 것을 특징으로 하는,
    이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치.
  7. 제 1 항에 있어서,
    상기 기계 학습부와 연결된 출력부를 더 포함하고,
    상기 출력부는 외부 장치로 상기 제2 시정거리 값을 제공하는 것을 특징으로 하는,
    이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치.
  8. 적어도 하나의 카메라를 포함하는 촬영부;
    기계 학습부, 상기 기계 학습부에 의해 기계 학습이 수행되어 생성된 인공지능 모델, 및 데이터베이스를 포함하는 서버;
    상기 서버와 통신 가능한 적어도 하나의 사용자 단말기; 및
    통신망을 포함하고,
    상기 데이터베이스는 상기 카메라의 제1 이미지 데이터 및 상기 카메라가 위치된 장소에서의 제1 시정거리 값을 포함하되, 상기 제1 이미지 데이터 및 상기 제1 시정거리 값 각각은 다수 개의 이미지들에 대한 이미지 데이터 및 시정거리 값을 포함하고,
    상기 인공지능 모델은 상기 데이터베이스로부터 생성된 학습세트가 사용되어 학습되며, 상기 학습세트는 상기 제1 이미지 데이터 중에서 시정거리 클래스가 할당된 이미지 데이터를 포함하며, 상기 제1 이미지 데이터의 생성 날짜, 시간, 및 위치를 포함하는 생성 조건과 가장 근접한 조건에 측정된 상기 제1 시정거리 값을 기반으로 상기 시정거리 클래스가 결정되고,
    상기 기계 학습부에서 임의의 입력 데이터 배치가 생성되고, 상기 인공지능 모델의 비용 및 정확도가 계산되어 상기 기계 학습의 완성 여부가 판단되며,
    상기 기계 학습이 완성되지 않은 경우, 다시 임의의 입력 데이터 배치가 생성되고, 상기 비용 및 상기 정확도가 계산되고, 상기 기계 학습이 완성된 것으로 판단되면 상기 인공지능 모델이 상기 데이터베이스에 저장되고,
    상기 사용자 단말기로부터 상기 서버로 제2 이미지 데이터가 입력되면, 상기 제2 이미지 데이터의 이미지는 흑백으로 변환되고 사이즈가 조절되어 기설정된 표준 형식으로 가공된 후, 상기 데이터베이스에 저장된 상기 인공지능 모델을 통해 상기 제2 이미지에 대한 제2 시정거리 값이 추정되어 출력되는 것을 특징으로 하는,
    이미지 데이터로부터 기계학습에 의한 시정거리 예측 시스템.
  9. 제 8 항에 있어서,
    상기 서버는,
    상기 제1 및 제2 이미지 데이터가 입력되는 이미지 입력부;
    상기 사용자 단말기로부터의 요청을 수신하는 요청 입력부; 및
    상기 제2 이미지 데이터 및 상기 제2 시정거리 값을 출력하는 출력부;를 더 포함하고,
    상기 제1 이미지 데이터는 서로 다른 위치의 다수 개의 상기 카메라로 획득되고,
    상기 제2 이미지 데이터는 상기 사용자 단말기로부터 상기 요청과 동시에 상기 데이터베이스로 전달되는 것을 특징으로 하는,
    이미지 데이터로부터 기계학습에 의한 시정거리 예측 시스템.
  10. 제 8 항에 있어서,
    상기 학습 세트의 데이터는 별도의 기록 매체에 저장될 수 있는 것을 특징으로 하는,
    이미지 데이터로부터 기계학습에 의한 시정거리 예측 시스템.
  11. (a) 제1 이미지 데이터가 서버에 입력되어 제1 시정거리 값을 포함하는 데이터베이스에 저장되는 단계;
    (b) 상기 제1 이미지 데이터의 생성 조건이 데이터 값으로 추출되어 상기 데이터베이스에 저장되는 단계;
    (c) 상기 데이터베이스로부터 생성된 학습세트를 사용한 기계 학습이 수행되어 인공지능 모델이 생성되는 단계;
    (d) 제2 이미지 데이터 및 요청이 사용자 단말기로부터 상기 서버에 입력되는 단계;
    (e) 상기 제2 이미지 데이터의 이미지가 상기 데이터베이스에 저장되는 단계;
    (f) 상기 제2 이미지 데이터의 이미지가 흑백으로 변환되고 사이즈가 조절되어 기설정된 표준 형식으로 가공된 후, 상기 인공지능 모델을 통해 상기 제2 이미지 데이터에 대한 시정거리 평가가 수행되는 단계; 및
    (g) 상기 시정거리 평가 결과로서 추정된 제2 시정거리 값이 출력되는 단계;를 포함하고,
    상기 학습세트는 상기 제1 이미지 데이터 중에서 시정거리 클래스가 할당된 이미지 데이터를 포함하며, 상기 제1 이미지 데이터의 생성 날짜, 시간, 및 위치를 포함하는 생성 조건과 가장 근접한 조건에 측정된 상기 제1 시정거리 값을 기반으로 상기 시정거리 클래스가 결정되고,
    상기 (c) 단계는,
    (c1) 기계 학습부에서 상기 학습 세트의 데이터를 읽는 단계;
    (c2) 상기 학습 세트에 포함된 상기 제1 이미지 데이터의 이미지가 흑백으로 변환되는 단계;
    (c3) 상기 이미지의 사이즈가 변환되는 단계;
    (c4) 기설정된 표준 형식으로 가공된 상기 이미지가 정규화되는 단계;
    (c5) 임의의 입력 데이터 배치가 생성되는 단계;
    (c6) 상기 인공지능 모델의 비용 및 정확도가 계산되는 단계;
    (c7) 기계 학습의 완성 판단 단계;
    기계 학습이 완성되지 않은 경우, 다시 상기 (c5) 단계부터 반복되고,
    기계 학습이 완성된 경우, 상기 인공지능 모델은 상기 데이터베이스에 저장되는 것을 특징으로 하는,
    이미지 데이터로부터 기계학습에 의한 시정거리 예측 방법.
  12. 삭제
  13. 제 11 항에 있어서,
    상기 (d) 단계에서 상기 제2 이미지 데이터 및 상기 요청은 웹에 구성된 인덱스 페이지를 통해 상기 사용자 단말기로부터 상기 서버에 입력되고,
    상기 (g) 단계에서 상기 제2 시정거리 값은 웹에 구성된 결과 페이지를 통해 표시되는 것을 특징으로 하는,
    이미지 데이터로부터 기계학습에 의한 시정거리 예측 방법.



KR1020170157353A 2017-11-23 2017-11-23 이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치, 시스템, 및 방법 KR101966750B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170157353A KR101966750B1 (ko) 2017-11-23 2017-11-23 이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치, 시스템, 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170157353A KR101966750B1 (ko) 2017-11-23 2017-11-23 이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치, 시스템, 및 방법

Publications (1)

Publication Number Publication Date
KR101966750B1 true KR101966750B1 (ko) 2019-04-08

Family

ID=66164047

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170157353A KR101966750B1 (ko) 2017-11-23 2017-11-23 이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치, 시스템, 및 방법

Country Status (1)

Country Link
KR (1) KR101966750B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112912689A (zh) * 2019-09-19 2021-06-04 纬哲纽咨信息咨询有限公司 能见度推断装置、能见度推断方法以及记录介质
KR20230167856A (ko) 2022-06-03 2023-12-12 대한민국(기상청 국립기상과학원장) 트리 기반 기계학습 알고리즘과 기상 예측 자료를 이용한 시정 예측 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101391667B1 (ko) * 2013-01-31 2014-05-07 한국과학기술연구원 크기 변화에 강건한 범주 물체 인식을 위한 모델 학습 및 인식 방법
KR20170068360A (ko) * 2015-12-09 2017-06-19 삼성전자주식회사 분산 기계 학습을 위한 저장 장치 및 그것의 기계 학습 방법
KR101748524B1 (ko) 2016-01-26 2017-06-27 (주)스마트테크놀로지 시정거리 산정을 이용한 안개 감지 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101391667B1 (ko) * 2013-01-31 2014-05-07 한국과학기술연구원 크기 변화에 강건한 범주 물체 인식을 위한 모델 학습 및 인식 방법
KR20170068360A (ko) * 2015-12-09 2017-06-19 삼성전자주식회사 분산 기계 학습을 위한 저장 장치 및 그것의 기계 학습 방법
KR101748524B1 (ko) 2016-01-26 2017-06-27 (주)스마트테크놀로지 시정거리 산정을 이용한 안개 감지 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
구성관 외1, "심층신경망을 활용한 활주로 가시거리 예측 모델 개발", 한국항행학회논문지, 2017년 10월.* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112912689A (zh) * 2019-09-19 2021-06-04 纬哲纽咨信息咨询有限公司 能见度推断装置、能见度推断方法以及记录介质
KR20230167856A (ko) 2022-06-03 2023-12-12 대한민국(기상청 국립기상과학원장) 트리 기반 기계학습 알고리즘과 기상 예측 자료를 이용한 시정 예측 방법

Similar Documents

Publication Publication Date Title
US11216690B2 (en) System and method for performing image processing based on a damage assessment image judgement model
US10839211B2 (en) Systems, methods and computer program products for multi-resolution multi-spectral deep learning based change detection for satellite images
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
CN111339858A (zh) 一种基于神经网络的油气管道标志物识别方法
CN104919794A (zh) 用于从主从式相机跟踪系统提取元数据的方法和系统
WO2020046960A1 (en) System and method for optimizing damage detection results
CN111310770B (zh) 目标检测方法和装置
KR101966750B1 (ko) 이미지 데이터로부터 기계학습에 의한 시정거리 예측 장치, 시스템, 및 방법
CN114913162A (zh) 一种基于轻量级Transformer的桥梁混凝土裂缝检测方法及装置
CN112434612A (zh) 吸烟检测方法、装置、电子设备及计算机可读存储介质
CN108133235A (zh) 一种基于神经网络多尺度特征图的行人检测方法
JPWO2010041447A1 (ja) 異常検知システム、異常検知方法及び異常検知プログラム記録媒体
CN112767394A (zh) 图像检测方法、装置和设备
JP2020154835A (ja) 情報処理装置、情報処理方法及びプログラム
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
CN115620141A (zh) 一种基于加权可变形卷积目标检测方法和装置
CN113906436A (zh) 用于探测烟雾的方法和设备
CN113281780B (zh) 对图像数据进行标注的方法、装置及电子设备
CN116311004B (zh) 基于稀疏光流提取的视频运动目标检测方法
CN116206221B (zh) 一种水体耀斑检测方法和系统
CN116563748A (zh) 一种高层施工建筑物高度测量方法及系统
CN117456198A (zh) 一种基于改进的Yolov5神经网络的输电线路故障检测方法
JP7059889B2 (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
WO2020189241A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR20220144237A (ko) 구름 이미지를 이용한 실시간 강수량 예측 장치, 이를 이용한 강수량 예측 방법 및 이를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터-판독가능매체

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant