KR102221096B1 - 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템 - Google Patents

적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템 Download PDF

Info

Publication number
KR102221096B1
KR102221096B1 KR1020200123325A KR20200123325A KR102221096B1 KR 102221096 B1 KR102221096 B1 KR 102221096B1 KR 1020200123325 A KR1020200123325 A KR 1020200123325A KR 20200123325 A KR20200123325 A KR 20200123325A KR 102221096 B1 KR102221096 B1 KR 102221096B1
Authority
KR
South Korea
Prior art keywords
pixel values
pixel value
pixel
value
adjusted
Prior art date
Application number
KR1020200123325A
Other languages
English (en)
Inventor
이형근
박강현
유기중
오세윤
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020200123325A priority Critical patent/KR102221096B1/ko
Application granted granted Critical
Publication of KR102221096B1 publication Critical patent/KR102221096B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

적외선 이미지를 이용한 딥러닝 학습 방법은 대상체 및 배경이 표시된 적외선 이미지의 전체 픽셀 값들에 기초하여 전체 픽셀 값들에 대한 임계 값을 지정하는 단계 대상체 및 배경을 구분하기 위해, 전체 픽셀 값들 중 임계 값을 초과하는 픽셀 값들을 제1 픽셀 값으로 조정하고, 임계 값 이하인 픽셀 값들은 제1 픽셀 값과 상이한 제2 픽셀 값으로 조정한 전처리 이미지를 생성하는 단계 전처리 이미지와 적외선 이미지를 결합하여 학습 데이터를 생성하는 단계 및 학습 데이터를 입력 데이터로 하여 딥러닝 모델을 학습시키는 단계를 포함할 수 있다.

Description

적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템{Deep learning training method and system using infrared image}
본 개시는 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템을 제공한다.
적외선 이미지는 관측하고자 하는 대상체에 가시광선이 공급되지 않더라도 대상체가 방사하는 복사 에너지를 모아서 가시화할 수 있는 데이터이다. 적외선은 파장 범위에 따라 근적외선과 원적외선으로 나뉘는데, 근적외선은 태양 또는 인공적인 조명이 대상체로 조사되어 반사된 빛을 검출하는 데 사용될 수 있고, 원적외선은 대상체의 온도에 따라 방출되는 에너지를 검출하는 데 사용될 수 있다. 따라서, 적외선 이미지는 야간이나 대기 조건이 좋지 못한 환경에서 대상체를 관측하는데 활용될 수 있다. 특히, 적외선 이미지는 군사 작전 상황에서 적을 관측하는데 활용될 수 있다.
다만, 적외선 이미지로부터 대상체를 관측하는 것에는 많은 노동력 및 시간이 소모될 수 있다. 따라서, 적외선 이미지로부터 대상체 또는 적을 자동적으로, 그리고 정확히 인식하는 기술이 요구된다.
한국 공개 특허: KR 10-2019-0143153 A
한국 등록 특허: KR 10-2051074 B1
본 발명이 해결하고자 하는 기술적 과제는, 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템을 제공하는데 있다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 측면에 따른 적외선 이미지를 이용한 딥러닝 학습 방법은, 대상체 및 배경이 표시된 적외선 이미지의 전체 픽셀 값들에 기초하여 상기 전체 픽셀 값들에 대한 임계 값을 지정하는 단계; 상기 대상체 및 상기 배경을 구분하기 위해, 상기 전체 픽셀 값들 중 상기 임계 값을 초과하는 픽셀 값들을 제1 픽셀 값으로 조정하고, 상기 임계 값 이하인 픽셀 값들은 제1 픽셀 값과 상이한 제2 픽셀 값으로 조정한 전처리 이미지를 생성하는 단계; 상기 전처리 이미지와 상기 적외선 이미지를 결합하여 학습 데이터를 생성하는 단계; 및 상기 학습 데이터를 입력 데이터로 하여 딥러닝 모델을 학습시키는 단계를 포함할 수 있다.
상기 임계 값을 지정하는 단계는, 상기 전체 픽셀 값들 중 픽셀 값이 가장 크게 변화하는 구간을 탐지하는 단계; 및 상기 구간의 중간 픽셀 값을 상기 임계 값으로 지정하는 단계를 포함하는 포함할 수 있다.
상기 임계 값을 지정하는 단계는, 상기 전체 픽셀 값들 중 최대 픽셀 값 및 최소 픽셀 값을 탐지하는 단계; 및 상기 최대 픽셀 값 및 상기 최소 픽셀 값의 중간 픽셀 값을 상기 임계 값으로 지정하는 단계를 포함할 수 있다.
상기 임계 값을 지정하는 단계는, 상기 전체 픽셀 값들의 평균 픽셀 값을 결정하는 단계; 및 상기 평균 픽셀 값을 상기 임계 값으로 지정하는 단계를 포함할 수 있다.
상기 임계 값을 지정하는 단계는, 상기 대상체의 평균 픽셀 값 및 상기 배경의 평균 픽셀 값을 결정하는 단계; 및 상기 대상체의 평균 픽셀 값 및 상기 배경의 평균 픽셀 값의 중간 픽셀 값을 상기 임계 값으로 지정하는 단계를 포함할 수 있다.
상기 제1 픽셀 값은 최대 픽셀 값이고 상기 제2 픽셀 값은 최소 픽셀 값일 수 있다.
상기 딥러닝 모델을 학습시키는 단계는, 상기 적외선 이미지 외의 임의의 적외선 이미지가 상기 딥러닝 모델에 입력되는 경우, 상기 임의의 적외선 이미지에 표시된 대상체의 픽셀 값들 및 배경의 픽셀 값들이 상이한 픽셀 값으로 조정되도록 상기 딥러닝 모델을 학습시키는 단계일 수 있다.
상기 방법은, 상기 전처리 이미지의 정확도를 연산하는 단계를 더 포함하고, 상기 정확도는 상기 전처리 이미지에서, 상기 대상체 및 상기 배경이 구분되도록 상기 대상체의 픽셀 값들 및 상기 배경의 픽셀 값들이 상이한 픽셀 값으로 조정된 경우 가장 높게 나타날 수 있다.
상기 전처리 이미지의 정확도를 연산하는 단계는, 상기 전처리 이미지에서, 상기 대상체의 픽셀 값들 중 상기 제1 픽셀 값으로 조정된 영역, 상기 대상체의 픽셀 값들 중 상기 제2 픽셀 값으로 조정된 영역 및 상기 배경의 픽셀 값들 중 상기 제1 픽셀 값으로 조정된 영역을 검출하는 단계를 포함하고, 상기 정확도는 상기 검출된 영역들의 합에 대한, 상기 대상체의 픽셀 값들 중 상기 제1 픽셀 값으로 조정된 영역의 비율일 수 있다.
상기 정확도는,
Figure 112020101465801-pat00001
에 의하여 결정되며, 상기 수학식에서 Fβ는 정확도, Suncorrect는 상기 배경의 픽셀 값들 중 상기 제1 픽셀 값으로 조정된 영역, Smiss는 상기 대상체의 픽셀 값들 중 상기 제2 픽셀 값으로 조정된 영역, Scorrect는 상기 대상체의 픽셀 값들 중 상기 제1 픽셀 값으로 조정된 영역이고 β는 상기 대상체의 픽셀 값들 중 상기 제2 픽셀 값으로 조정된 영역에 대한 가중치일 수 있다.
다른 측면에 따른 적외선 이미지를 이용한 딥러닝 학습 시스템은, 대상체 및 배경이 표시된 적외선 이미지의 전체 픽셀 값들에 기초하여 상기 전체 픽셀 값들에 대한 임계 값을 지정하고, 상기 대상체 및 상기 배경을 구분하기 위해, 상기 전체 픽셀 값들 중 상기 임계 값을 초과하는 픽셀 값들을 제1 픽셀 값으로 조정하고, 상기 임계 값 이하인 픽셀 값들은 제1 픽셀 값과 상이한 제2 픽셀 값으로 조정한 전처리 이미지를 생성하는 전처리 이미지 생성부; 상기 전처리 이미지와 상기 적외선 이미지를 결합하여 학습 데이터를 생성하는 학습 데이터 생성부; 및 상기 학습 데이터를 입력 데이터로 하여 딥러닝 모델을 학습시키는 딥러닝 모델 학습부를 포함할 수 있다.
상기 전처리 이미지 생성부는, 상기 전체 픽셀 값들 중 픽셀 값이 가장 크게 변화하는 구간을 탐지하고, 상기 구간의 중간 픽셀 값을 상기 임계 값으로 지정할 수 있다.
상기 시스템은, 상기 전처리 이미지의 정확도를 연산하는 정확도 연산부를 더 포함하고, 상기 정확도는 상기 전처리 이미지에서, 상기 대상체 및 상기 배경이 구분되도록 상기 대상체의 픽셀 값들 및 상기 배경의 픽셀 값들이 상이한 픽셀 값으로 조정된 경우 가장 높게 나타날 수 있다.
상기 정확도 연산부는, 상기 전처리 이미지에서, 상기 대상체의 픽셀 값들 중 상기 제1 픽셀 값으로 조정된 영역, 상기 대상체의 픽셀 값들 중 상기 제2 픽셀 값으로 조정된 영역 및 상기 배경의 픽셀 값들 중 상기 제1 픽셀 값으로 조정된 영역을 검출하고, 상기 정확도는 상기 검출된 영역들의 합에 대한, 상기 대상체의 픽셀 값들 중 상기 제1 픽셀 값으로 조정된 영역의 비율일 수 있다.
또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 일 측면에 따른 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 기록매체를 포함할 수 있다.
본 발명에 따르면, 적외선 이미지를 이용한 딥러닝 학습 방법에 있어, 적외선 이미지의 전체 픽셀 값들에 기초하여 지정되는 임계 값을 기준으로 적외선 이미지의 픽셀 값들을 조정함으로써 보다 정확도가 높은 전처리 이미지를 자동적으로 생성할 수 있다. 전처리 이미지는 딥러닝 모델의 학습에 활용될 수 있다.
적외선 이미지를 이용한 딥러닝 학습 방법은 적외선 이미지로부터 대상체를 보다 정확하게 인식하는 것을 가능케 함으로써 군사 작전 상황에서 적이 관측되기 어려운 환경이라도 적의 위치를 용이하게 파악하는 효과를 개시한다.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 적외선 이미지를 이용한 딥러닝 학습 시스템을 나타낸 블록도이다.
도 2는 다른 실시예에 따른 적외선 이미지를 이용한 딥러닝 학습 시스템을 나타낸 블록도이다.
도 3은 일 실시예에 따른 적외선 이미지 및 전처리 이미지이다.
도 4는 일 실시예에 따른 임계 값에 기초하여 픽셀 값을 조정하는 방법을 설명하기 위한 도면이다.
도 5는 다른 실시예에 따른 적외선 이미지와 전처리 이미지이다.
도 6은 일 실시예에 따른 전처리 이미지의 정확도를 연산하는 방법을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 적외선 이미지를 이용한 딥러닝 학습 방법을 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
실시예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "…부", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
또한, 본 명세서에서 사용되는 '제1' 또는 '제2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다.
도 1은 일 실시예에 따른 적외선 이미지를 이용한 딥러닝 학습 시스템을 나타낸 블록도이다.
도 1을 참조하면, 적외선 이미지를 이용한 딥러닝 학습 시스템(100)은 전처리 이미지 생성부(110), 학습 데이터 생성부(120) 및 딥러닝 모델 학습부(130)를 포함할 수 있다.
도 1에 도시된 적외선 이미지를 이용한 딥러닝 학습 시스템(100)에는 본 실시예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 적외선 이미지를 이용한 딥러닝 학습 시스템(100)에는 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음은 당업자에게 자명하다. 이하에서 설명의 편의를 위해 적외선 이미지를 이용한 딥러닝 학습 시스템(100)을 딥러닝 학습 시스템(100)이라 칭한다.
딥러닝 학습 시스템(100)은 대상체 및 배경이 표시된 적외선 이미지에서 대상체를 자동적으로, 그리고 보다 정확히 인식하기 위해 적외선 이미지를 이용하여 딥러닝 학습을 수행할 수 있다. 대상체는 예를 들어 적에 해당할 수 있으나, 이에 한정되지 않고 사람 또는 기타 생명체 등을 포함할 수 있다. 배경은 대상체를 제외한 주변 환경으로서 예를 들어 공기, 사물, 바닥 및 건물 등 대상체를 제외한 요소들을 포함할 수 있다.
한편, 군사 작전 상황에서 적은 관측자의 시야를 피해 어두운 환경에서 이동하거나 주변 환경과 쉽게 구분되지 않는 모습으로 이동하는 경우가 많다. 이러한 경우 육안으로는 적이 쉽게 관측되지 않으므로 어두운 환경에서도 온도를 통해 대상체를 관측할 수 있는 적외선 이미지가 활용될 수 있다. 적외선 이미지는 어둡거나 적이 관측되기 어려운 환경이라도 적의 위치를 파악하는데 활용될 수 있으므로 군사적으로 유용하게 사용될 수 있다.
적외선 이미지로부터 대상체와 배경이 명확히 그리고 자동적으로 분리된다면 적을 인식하는 것이 더욱 용이해질 수 있다. 따라서, 대상체와 배경을 자동적으로 분리하며 그 정확도를 향상시키기 위한 딥러닝 학습 시스템(100)은 군사적으로 유용하게 활용될 수 있다.
딥러닝 학습 시스템(100)은 적외선 이미지로부터 생성한 학습 데이터를 입력 데이터로 하여 딥러닝 모델을 학습시킬 수 있다.
딥러닝은 적외선 이미지로부터 대상체를 분류 또는 인식하는데 활용될 수 있다. 다만, 딥러닝을 통한 인식의 정확도를 향상시키기 위해서는 최소 수 만 장에서 수백 만 장의 학습 이미지(또는 학습 데이터)가 요구된다. 이와 같은 지도학습기반의 딥러닝 학습을 위해서는 사용자가 수작업으로 학습 데이터를 생성하는 것이 일반적이며, 학습 데이터의 기본이 되는 적외선 이미지를 확보하는 것 또한 어렵다. 따라서, 수작업으로 학습 데이터를 생성하는 것은 굉장히 큰 노동력과 시간이 소모된다.
또한, 비지도학습기반 머신러닝의 경우 학습 데이터가 요구되지 않지만, 대상체와 배경 사이에 열 교환 및 대기에서 빛의 흩어짐과 흡수 등이 발생함에 따라 적외선 이미지에서 대상체와 배경과의 대비가 낮아지므로 적외선 이미지에 활용되기에는 적합하지 않다.
딥러닝 학습 시스템(100)은 학습 데이터를 자동으로 생성하며 사용자가 수작업으로 생성하는 것에 비하여 정확한 학습 데이터를 생성할 수 있다.
전처리 이미지 생성부(110)는 적외선 이미지의 전체 픽셀 값들에 기초하여 전체 픽셀 값들에 대한 임계 값을 지정할 수 있다. 적외선 이미지는 픽셀들로 형성되며 각 픽셀 마다 색의 정보가 포함된 픽셀 값이 존재한다. 예를 들어, 흑백 적외선 이미지의 경우 픽셀 값이 클수록 흰색에 가깝고 픽셀 값이 작을수록 검은색에 가까울 수 있다. 전처리 이미지 생성부(110)가 임계 값을 지정하는 구체적인 방법에 대해서는 도 2를 참조하여 후술하도록 한다.
전처리 이미지 생성부(110)는 대상체 및 배경을 구분하기 위해 전체 픽셀 값들 중 임계 값을 초과하는 픽셀 값들을 제1 픽셀 값으로 조정하고, 임계 값 이하인 픽셀 값들은 제1 픽셀 값과 상이한 제2 픽셀 값으로 조정할 수 있다. 전처리 이미지 생성부(110)는 픽셀 값들이 제1 픽셀 값 및 제2 픽셀 값으로 조정된 전처리 이미지를 생성할 수 있다. 예를 들어, 제1 픽셀 값은 최대 픽셀 값이고 제2 픽셀 값은 최소 픽셀 값일 수 있고 이 경우, 흑백 적외선 이미지라면 제1 픽셀 값은 흰색에 대응되고 제2 픽셀 값은 검은색에 대응될 수 있다. 다만, 이는 예시에 불과하며 제1 픽셀 값 및 제2 픽셀 값은 다양한 픽셀 값에 해당할 수 있다.
한편, 다른 실시예에서, 전처리 이미지 생성부(110)는 임계 값을 지정하는 과정 및 임계 값에 기초하여 픽셀 값을 조정하는 과정을 생략할 수 있다. 이 경우, 전처리 이미지 생성부(110)는 픽셀 값이 급격히 변화하는 부분부터 픽셀 값이 다시 원래의 값에 근접하게 급격히 변화하는 부분까지 박싱(boxing) 처리를 함으로써 전처리 이미지를 생성할 수 있다. 박싱 처리란 픽셀 값이 급격히 변화하기 시작하는 부분을 가장자리로 하여 사각형 형태를 지정하고, 사각형 형태 내부의 픽셀 값들을 제1 픽셀 값으로 조정하고 외의 사각형 형태 외부의 픽셀 값들을 제2 픽셀 값으로 조정하는 처리를 의미할 수 있다. 박싱 처리된 전처리 이미지의 구체적인 예시는 도 3을 참조하여 후술하도록 한다.
학습 데이터 생성부(120)는 전처리 이미지와 적외선 이미지를 결합하여 학습 데이터를 생성할 수 있다. 학습 데이터는 생성부는 딥러닝 모델을 학습시키기에 적합한 형태의 데이터를 생성하기 위해 전처리 이미지와 적외선 이미지를 결합할 수 있다.
딥러닝 모델 학습부(130)는 학습 데이터를 입력 데이터로 하여 딥러닝 모델을 학습시킬 수 있다. 딥러닝 모델 학습부(130)는 전처리 이미지를 생성하기 위해 사용된 적외선 이미지 외의 임의의 적외선 이미지가 딥러닝 모델에 입력되는 경우, 임의의 적외선 이미지에서 대상체 및 배경이 구분될 수 있도록 딥러닝 모델을 학습시킬 수 있다. 다시 말해, 딥러닝 모델 학습부(130)는 임의의 적외선 이미지에 표시된 대상체의 픽셀 값들 및 배경의 픽셀 값들이 상이한 픽셀 값으로 조정되도록 딥러닝 모델을 학습시킬 수 있다. 예를 들어, 딥러닝 모델 학습부(130)는 임의의 적외선 이미지에 표시된 대상체의 픽셀 값들은 제1 픽셀 값으로 조정되고, 배경의 픽셀 값들은 제2 픽셀 값으로 조정되도록 딥러닝 모델을 학습시킬 수 있다.
딥러닝 학습 시스템(100)은 적어도 하나의 프로세서를 포함한다. 전처리 이미지 생성부(110), 학습 데이터 생성부(120) 및 딥러닝 모델 학습부(130)는 하나의 프로세서에 포함되거나 각각 별개의 프로세서에 포함되거나 각각이 별개의 프로세서를 포함할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
도 2는 다른 실시예에 따른 적외선 이미지를 이용한 딥러닝 학습 시스템을 나타낸 블록도이다.
도 2를 참조하면, 적외선 이미지를 이용한 딥러닝 학습 시스템(100)은 전처리 이미지 생성부(110), 학습 데이터 생성부(120), 딥러닝 모델 학습부(130) 및 정확도 연산부(140)를 포함할 수 있다. 전처리 이미지 생성부(110)는 임계 값 지정부(111) 및 픽셀 값 조정부(112)를 포함할 수 있다. 딥러닝 모델 학습부(130)는 딥러닝 모델(150)을 학습시킬 수 있다. 도 2의 전처리 이미지 생성부(110), 학습 데이터 생성부(120) 및 딥러닝 모델 학습부(130)는 도 1의 전처리 이미지 생성부(110), 학습 데이터 생성부(120) 및 딥러닝 모델 학습부(130)에 대응될 수 있다. 따라서, 중복되는 설명은 생략한다.
도 2에 도시된 적외선 이미지를 이용한 딥러닝 학습 시스템(100)에는 본 실시예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 적외선 이미지를 이용한 딥러닝 학습 시스템(100)에는 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음은 당업자에게 자명하다.
전처리 이미지 생성부(110)는 임계 값 지정부(111) 및 픽셀 값 조정부(112)를 이용하여 전처리 이미지를 생성할 수 있다. 임계 값 지정부(111)는 적외선 이미지의 전체 픽셀 값들에 기초하여 전체 픽셀 값들에 대한 임계 값을 지정할 수 있다. 임계 값은 대상체 및 배경을 구분하기 위한 기준이 되는 픽셀 값으로서, 대상체 및 배경을 구분하기에 적절한 값으로 설정될 수 있다. 임계 값 지정부(111)가 임계 값을 지정하는 구체적인 방법에 관해서는 도 4를 참조하여 후술하도록 한다.
픽셀 값 조정부(112)는 임계 값 지정부(111)에 의해 지정된 임계 값을 기준으로 전체 픽셀 값들을 조정할 수 있다. 픽셀 값 조정부(112)는 전 전체 픽셀 값들 중 임계 값을 초과하는 픽셀 값들을 제1 픽셀 값으로 조정하고, 임계 값 이하인 픽셀 값들은 제1 픽셀 값과 상이한 제2 픽셀 값으로 조정할 수 있다. 픽셀 값 조정부(112)는 전체 픽셀 값들을 조정함으로써 전처리 이미지를 생성할 수 있다. 픽셀 값 조정부(112)가 임계 값에 기초하여 픽셀 값을 조정하는 구체적인 예시는 도 4를 참조하여 후술하도록 한다.
정확도 연산부(140)는 전처리 이미지의 정확도를 연산할 수 있다. 정확도는 전처리 이미지에서 대상체 및 배경이 얼마나 정확히 구분되었는지를 나타내는 지표이다. 정확도는 전처리 이미지에서, 대상체 및 배경이 구분되도록 대상체의 픽셀 값들 및 배경의 픽셀 값들이 상이한 픽셀 값으로 조정된 경우 가장 높게 나타난다. 예를 들어, 대상체의 픽셀 값들이 모두 제1 픽셀 값으로 조정되고, 배경의 픽셀 값들이 모두 제2 픽셀 값으로 조정되는 경우 오차가 없는 것이고 정확도는 가장 높게 나타난다. 대상체의 픽셀 값들 중 제2 픽셀 값으로 조정되거나 배경의 픽셀 값들 중 제1 픽셀 값으로 조정되는 값들이 많아질수록 정확도는 낮아지게 된다. 정확도 연산부(140)가 정확도를 연산하는 구체적인 방법에 대해서는 도 6을 참조하여 후술하도록 한다.
딥러닝 모델 학습부(130)는 학습 데이터를 입력 데이터로 하여 딥러닝 모델(150)을 학습시킬 수 있다. 딥러닝 모델(150)은 예를 들어, Support Vector Machine, Linear Discriminant Analysis, 또는 Softmax 등을 포함할 수 있다. 다만, 이는 예시에 불과하며 딥러닝 모델(150)은 입력 데이터를 분류 또는 구분할 수 있는 모델이라면 한정되지 않고 포함할 수 있다.
도 3은 일 실시예에 따른 적외선 이미지 및 전처리 이미지이다.
도 3을 참조하면, 적외선 이미지(310) 및 박싱 처리된 전처리 이미지(320)가 도시된다.
적외선 이미지(310)는 딥러닝 모델(150)을 학습시키기 위해 생성되는 전처리 이미지의 원본 이미지에 해당할 수 있다. 도 3의 전처리 이미지(320)는 전처리 이미지 생성부(110)가 박싱 처리한 이미지이거나, 사용자에 의해 수작업으로 생성된 이미지일 수 있다. 도 3의 전처리 이미지(320)는 대상체의 형태를 유지하지 않고 사각형 형태로서 대상체를 구분하기 때문에, 그 정확도가 비교적 낮을 수 있다. 또한, 전처리 이미지(320)가 사용자에 의해 수작업으로 생성되는 경우 많은 노동력 및 시간이 소모될 수 있다.
도 4는 일 실시예에 따른 임계 값에 기초하여 픽셀 값을 조정하는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 적외선 이미지(310), 임계 값에 기초하여 픽셀 값이 조정된 전처리 이미지(330), 적외선 이미지(310)의 히스토그램(312) 및 전처리 이미지(330)의 히스토그램(332)이 도시된다. 도 4의 적외선 이미지(310)는 도 3의 적외선 이미지(310)에 대응될 수 있다.
적외선 이미지(310)의 히스토그램(312)은 적외선 이미지(310)에 표시된 선(311)에 해당하는 픽셀 값들을 나타낸 히스토그램이다. 전처리 이미지(330)의 히스토그램(332)은 전처리 이미지(330)에 표시된 선(331)에 해당하는 픽셀 값들을 나타낸 히스토그램이다. 히스토그램들(312, 332)의 수직 축은 픽셀 값을 나타내며 수평 축은 이미지들에 표시된 선에 대응될 수 있다.
히스토그램들에 도시된 바와 같이, 픽셀 값 조정부(112)는 적외선 이미지(310)의 히스토그램에서 임계 값을 초과하는 픽셀 값들에 대해서는 제1 픽셀 값으로 조정하고, 임계 값 이하인 픽셀 값들에 대해서는 제2 픽셀 값으로 조정할 수 있다.
임계 값 지정부(111)는 대상체와 배경을 정확히 구분하기 위하여 적절한 임계 값을 지정할 수 있다.
일 실시예에서, 임계 값 지정부(111)는 전체 픽셀 값들 중 픽셀 값이 가장 크게 변화하는 구간을 탐지할 수 있다. 예를 들어, 임계 값 지정부(111)는 적외선 이미지(310) 상의 임의의 지점으로부터 소정의 거리만큼 떨어진 지점까지의 픽셀 값의 변화를 검출함으로써 픽셀 값이 가장 크게 변화하는 구간을 탐지할 수 있다. 또는 임계 값 지정부(111)는 적외선 이미지(310) 상의 임의의 영역으로부터 소정의 거리만큼 떨어진 영역까지의 평균 픽셀 값의 변화를 검출함으로써 픽셀 값이 가장 크게 변화하는 구간을 탐지할 수 있다. 임계 값 지정부(111)는 탐지된 구간의 중간 픽셀 값을 임계 값으로 지정할 수 있다. 여기서, 중간 픽셀 값은 예를 들어 탐지된 구간의 픽셀 값들의 평균값(mean) 또는 중앙값(median)에 해당할 수 있다. 또는 중간 픽셀 값은 탐지된 구간의 픽셀 값들 중 기 설정된 파라미터에 의해 결정되는 하나의 값에 해당할 수 있다.
다른 실시예에서, 임계 값 지정부(111)는 전체 픽셀 값들 중 최대 픽셀 값 및 최소 픽셀 값을 탐지할 수 있다. 예를 들어, 흑백 적외선 이미지(310)의 경우 임계 값 지정부(111)는 가장 밝은 픽셀의 픽셀 값 및 가장 어두운 픽셀의 픽셀 값을 탐지할 수 있다. 임계 값 지정부(111)는 최대 픽셀 값 및 최소 픽셀 값의 중간 픽셀 값을 임계 값으로 지정할 수 있다. 여기서, 중간 픽셀 값은 예를 들어 최대 픽셀 값 및 최소 픽셀 값의 평균값에 해당할 수 있다. 또는 중간 픽셀 값은 최대 픽셀 값 및 최소 픽셀 값에 기 설정된 파라미터를 적용함으로써 결정되는 최대 픽셀 값 및 최소 픽셀 값 사이의 하나의 값에 해당할 수 있다.
또 다른 실시예에서, 임계 값 지정부(111)는 전체 픽셀 값들의 평균 픽셀 값을 결정할 수 있다. 임계 값 지정부(111)는 평균 픽셀 값을 임계 값으로 지정할 수 있다. 또는 임계 값 지정부(111)는 전체 픽셀 값들의 중앙값을 임계 값으로 지정할 수 있다.
또 다른 실시예에서, 임계 값 지정부(111)는 대상체의 평균 픽셀 값 및 배경의 평균 픽셀 값을 결정할 수 있다. 임계 값 지정부(111)는 대상체의 평균 픽셀 값 및 배경의 평균 픽셀 값의 중간 픽셀 값을 임계 값으로 지정할 수 있다. 여기서, 중간 픽셀 값은 예를 들어 대상체의 평균 픽셀 값 및 배경의 평균 픽셀 값의 평균값에 해당할 수 있다. 또는 중간 픽셀 값은 대상체의 평균 픽셀 값 및 배경의 평균 픽셀 값에 기 설정된 파라미터를 적용함으로써 결정되는 대상체의 평균 픽셀 값 및 배경의 평균 픽셀 값 사이의 하나의 값에 해당할 수 있다.
또 다른 실시예에서, 임계 값 지정부(111)는 대상체의 픽셀 값들의 중앙값 및 배경의 픽셀 값들의 중앙값을 결정할 수 있다. 임계 값 지정부(111)는 대상체의 픽셀 값들의 중앙값 및 배경의 픽셀 값들의 중앙값 사이의 중간 픽셀 값을 임계 값으로 지정할 수 있다. 여기서, 중간 픽셀 값은 예를 들어, 대상체의 픽셀 값들의 중앙값 및 배경의 픽셀 값들의 중앙값의 평균값에 해당할 수 있다. 또는 중간 픽셀 값은 대상체의 픽셀 값들의 중앙값 및 배경의 픽셀 값들의 중앙값에 기 설정된 파라미터를 적용함으로써 결정되는 대상체의 픽셀 값들의 중앙값 및 배경의 픽셀 값들의 중앙값 사이의 하나의 값에 해당할 수 있다.
도 5는 다른 실시예에 따른 적외선 이미지와 전처리 이미지이다.
도 5를 참조하면, 적외선 이미지(310) 및 임계 값에 기초하여 픽셀 값이 조정된 전처리 이미지(330)가 도시된다. 도 5의 적외선 이미지(310)는 도 3 및 도 4의 적외선 이미지(310)에 대응되며 도 5의 전처리 이미지(330)는 도 4의 전처리 이미지(330)에 대응될 수 있다.
임계 값에 기초하여 픽셀 값을 조정한 전처리 이미지(330)는 대상체의 형태를 유지하며 대상체를 배경과 구분하므로 도 3의 전처리 이미지(320)에 비하여 대상체 및 배경의 구분이 명확하며, 정확도가 높을 수 있다.
도 6은 일 실시예에 따른 전처리 이미지의 정확도를 연산하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 적외선 이미지의 대상체에 대응되는 영역(610) 및 전처리 이미지 생성부(110)가 대상체로 인식한 영역(620)(예를 들어, 제1 픽셀 값으로 조정한 영역)이 도시된다. 대상체에 대응되는 영역(610) 및 대상체로 인식한 영역(620)이 중복되는 영역(621)은 전처리 이미지 생성부(110)가 대상체를 대상체로 인식한 영역에 해당할 수 있다. 대상체에 대응되는 영역(610)에서 대상체로 인식한 영역(620)을 제외한 영역(611)은 전처리 이미지 생성부(110)가 대상체를 배경으로 인식한 영역으로서 대상체를 인식하지 못한 영역에 해당할 수 있다. 대상체로 인식한 영역(620)에서 대상체에 대응되는 영역(610)을 제외한 영역(622)은 전처리 이미지 생성부(110)가 배경을 대상체로 잘못 인식한 영역에 해당할 수 있다.
도 6에 따른 실시예에서, 전처리 이미지 생성부(110)가 제1 픽셀 값으로 조정한 영역을 대상체로 인식한 영역(620)이라 하고, 제2 픽셀 값으로 조정한 영역을 배경으로 인식한 영역이라 한다.
정확도 연산부(140)는 전처리 이미지에서, 대상체의 픽셀 값들 중 제1 픽셀 값으로 조정된 영역(621), 대상체의 픽셀 값들 중 제2 픽셀 값으로 조정된 영역(611) 및 배경의 픽셀 값들 중 제1 픽셀 값으로 조정된 영역(622)을 검출할 수 있다. 전처리 이미지의 정확도는 검출된 영역들(611, 622, 621)의 합에 대한, 대상체의 픽셀 값들 중 제1 픽셀 값으로 조정된 영역(621)의 비율에 해당할 수 있다.
예를 들어, 정확도는 하기 수학식 1에 의해 결정될 수 있다.
Figure 112020101465801-pat00002
수학식 1에서 Fβ는 정확도, Suncorrect는 전처리 이미지 생성부(110)가 배경을 대상체로 잘못 인식한 영역(배경의 픽셀 값들 중 제1 픽셀 값으로 조정한 영역), Smiss는 전처리 이미지 생성부(110)가 대상체를 인식하지 못한 영역(대상체의 픽셀 값들 중 제2 픽셀 값으로 조정된 영역), Scorrect는 전처리 이미지 생성부(110)가 대상체를 대상체로 인식한 영역(대상체의 픽셀 값들 중 제1 픽셀 값으로 조정된 영역)이고 β는 전처리 이미지 생성부(110)가 대상체를 인식하지 못한 영역(대상체의 픽셀 값들 중 제2 픽셀 값으로 조정된 영역)에 대한 가중치이다. β가 1인 경우 전처리 이미지 생성부(110)가 배경을 대상체로 잘못 인식한 영역 및 대상체를 인식하지 못한 영역에 동일한 가중을 두는 것이고, β가 1을 초과하는 경우, 대상체를 인식하지 못한 영역에 더 큰 가중을 두는 것이고, β가 1 미만인 경우 배경을 대상체로 잘못 인식한 영역에 더 큰 가중을 두는 것이다. β는 예를 들어, 0.5, 1 또는 2에 해당할 수 있으나, 이에 한정되지 않는다.
정확도 연산부(140)는 정확도와 기준 값을 비교할 수 있다. 정확도 연산부(140)는 정확도가 기준 값을 초과하는 경우 전처리 이미지의 정확도가 목표 정확도에 도달한 것으로 결정할 수 있다. 기준 값은 수학식 1에, 전처리 이미지 생성부(110)가 생성한 전처리 이미지 대신, 사용자가 수작업으로 적외선 이미지에 대해 대상체 및 배경을 구분하여 대상체로 판단한 영역은 제1 픽셀 값, 배경으로 판단한 영역은 제2 픽셀 값으로 조정한 이미지를 적용함으로써 연산되는 결과에 해당할 수 있다. 따라서, 전처리 이미지가 목표 정확도에 도달한 것은 전처리 이미지 생성부(110)가 생성한 전처리 이미지의 정확도가 사용자의 수작업으로 생성된 이미지의 정확도보다 높은 것을 의미할 수 있다.
도 7은 일 실시예에 따른 적외선 이미지를 이용한 딥러닝 학습 방법을 나타낸 흐름도이다.
도 7을 참조하면, 적외선 이미지를 이용한 딥러닝 학습 방법은 도 1 및 도 2에 도시된 적외선 이미지를 이용한 딥러닝 학습 시스템(100)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 1 및 도 1에 적외선 이미지를 이용한 딥러닝 학습 시스템(100)에 관하여 전술된 내용은 도 7의 방법에도 적용됨을 알 수 있다.
단계 S710에서, 딥러닝 학습 시스템(100)은 대상체 및 배경이 표시된 적외선 이미지의 전체 픽셀 값들에 기초하여 전체 픽셀 값들에 대한 임계 값을 지정할 수 있다.
일 실시예에서, 딥러닝 학습 시스템(100)은 전체 픽셀 값들 중 픽셀 값이 가장 크게 변화하는 구간을 탐지할 수 있다. 딥러닝 학습 시스템(100)은 탐지된 구간의 중간 픽셀 값을 임계 값으로 지정할 수 있다.
다른 실시예에서, 딥러닝 학습 시스템(100)은 전체 픽셀 값들 중 최대 픽셀 값 및 최소 픽셀 값을 탐지할 수 있다. 딥러닝 학습 시스템(100)은 최대 픽셀 값 및 최소 픽셀 값의 중간 픽셀 값을 임계 값으로 지정할 수 있다.
또 다른 실시예에서, 딥러닝 학습 시스템(100)은 전체 픽셀 값들의 평균 픽셀 값을 결정할 수 있다. 딥러닝 학습 시스템(100)은 평균 픽셀 값을 임계 값으로 지정 할 수 있다.
다른 실시예에서, 딥러닝 학습 시스템(100)은 대상체의 평균 픽셀 값 및 배경의 평균 픽셀 값을 결정할 수 있다. 딥러닝 학습 시스템(100)은 대상체의 평균 픽셀 값 및 배경의 평균 픽셀 값의 중간 픽셀 값을 임계 값으로 지정할 수 있다.
단계 S720에서, 딥러닝 학습 시스템(100)은 대상체 및 배경을 구분하기 위해, 전체 픽셀 값들 중 임계 값을 초과하는 픽셀 값들을 제1 픽셀 값으로 조정하고, 임계 값 이하인 픽셀 값들은 제1 픽셀 값과 상이한 제2 픽셀 값으로 조정한 전처리 이미지를 생성할 수 있다.
예를 들어, 제1 픽셀 값은 최대 픽셀 값이고 제2 픽셀 값은 최소 픽셀 값일 수 있다.
단계 S730에서, 딥러닝 학습 시스템(100)은 전처리 이미지와 적외선 이미지를 결합하여 학습 데이터를 생성할 수 있다.
단계 S740에서, 딥러닝 학습 시스템(100)은 학습 데이터를 입력 데이터로 하여 딥러닝 모델(150)을 학습시킬 수 있다.
딥러닝 학습 시스템(100)은 전처리 이미지를 생성하기 위해 사용된 적외선 이미지 외의 임의의 적외선 이미지가 딥러닝 모델(150)에 입력되는 경우, 임의의 적외선 이미지에 표시된 대상체의 픽셀 값들 및 배경의 픽셀 값들이 상이한 픽셀 값으로 조정되도록 딥러닝 모델(150)을 학습시킬 수 있다.
단계 S720 이후, 딥러닝 학습 시스템(100)은 전처리 이미지의 정확도를 연산 할 수 있다. 딥러닝 학습 시스템(100)은 단계 S720 이후라면 단계 S730 및 단계 S740의 수행 여부에 불문하고 전처리 이미지의 정확도를 연산할 수 있다.
정확도는 전처리 이미지에서, 대상체 및 배경이 구분되도록 대상체의 픽셀 값들 및 배경의 픽셀 값들이 상이한 픽셀 값으로 조정된 경우 가장 높게 나타난다.
딥러닝 학습 시스템(100)은 전처리 이미지에서, 대상체의 픽셀 값들 중 제1 픽셀 값으로 조정된 영역, 대상체의 픽셀 값들 중 제2 픽셀 값으로 조정된 영역 및 배경의 픽셀 값들 중 제1 픽셀 값으로 조정된 영역을 검출할 수 있다.
정확도는 검출된 영역들의 합에 대한, 대상체의 픽셀 값들 중 제1 픽셀 값으로 조정된 영역의 비율일 수 있다.
예를 들어, 정확도는 수학식 1에 의하여 결정되며, 수학식 1에서 Fβ는 정확도, Suncorrect는 배경의 픽셀 값들 중 제1 픽셀 값으로 조정된 영역, Smiss는 대상체의 픽셀 값들 중 제2 픽셀 값으로 조정된 영역, Scorrect는 대상체의 픽셀 값들 중 제1 픽셀 값으로 조정된 영역이고 β는 대상체의 픽셀 값들 중 제2 픽셀 값으로 조정된 영역에 대한 가중치이다.
본 실시예들은 전자 디바이스에 의해 실행 가능한 명령어 및 데이터를 저장하는 전자 디바이스로 읽을 수 있는 기록매체에 저장된 어플리케이션의 형태로 구현될 수 있다. 상기 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 상기 명령어는 프로세서에 의해 실행되었을 때, 개시된 실시예들의 소정의 동작들을 수행할 수 있다.
본 실시예들은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 명세서의 설명은 예시를 위한 것이며, 본 명세서의 내용이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 실시예의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 포함되는 것으로 해석되어야 한다.

Claims (16)

  1. 딥러닝 학습 시스템에 의해 수행되는 적외선 이미지를 이용한 딥러닝 학습 방법에 있어서,
    대상체 및 배경이 표시된 적외선 이미지의 전체 픽셀 값들에 기초하여 상기 전체 픽셀 값들에 대한 임계 값을 지정하는 단계;
    상기 대상체 및 상기 배경을 구분하기 위해, 상기 전체 픽셀 값들 중 상기 임계 값을 초과하는 픽셀 값들을 제1 픽셀 값으로 조정하고, 상기 임계 값 이하인 픽셀 값들은 제1 픽셀 값과 상이한 제2 픽셀 값으로 조정한 전처리 이미지를 생성하는 단계;
    상기 전처리 이미지와 상기 적외선 이미지를 포함하는 학습 데이터를 생성하는 단계; 및
    상기 학습 데이터를 입력 데이터로 하여 딥러닝 모델을 학습시키는 단계를 포함하고,
    상기 딥러닝 모델을 학습시키는 단계는,
    상기 적외선 이미지 외의 임의의 적외선 이미지가 상기 딥러닝 모델에 입력되는 경우, 상기 임의의 적외선 이미지에 표시된 대상체의 픽셀 값들 및 배경의 픽셀 값들이 상이한 픽셀 값으로 조정되도록 상기 딥러닝 모델을 학습시키는, 방법.
  2. 제 1항에 있어서,
    상기 임계 값을 지정하는 단계는,
    상기 전체 픽셀 값들 중 픽셀 값이 가장 크게 변화하는 구간을 탐지하는 단계; 및
    상기 구간의 중간 픽셀 값을 상기 임계 값으로 지정하는 단계를 포함하는, 방법.
  3. 제 1항에 있어서,
    상기 임계 값을 지정하는 단계는,
    상기 전체 픽셀 값들 중 최대 픽셀 값 및 최소 픽셀 값을 탐지하는 단계; 및
    상기 최대 픽셀 값 및 상기 최소 픽셀 값의 중간 픽셀 값을 상기 임계 값으로 지정하는 단계를 포함하는, 방법.
  4. 제 1항에 있어서,
    상기 임계 값을 지정하는 단계는,
    상기 전체 픽셀 값들의 평균 픽셀 값을 결정하는 단계; 및
    상기 평균 픽셀 값을 상기 임계 값으로 지정하는 단계를 포함하는, 방법.
  5. 제 1항에 있어서,
    상기 임계 값을 지정하는 단계는,
    상기 대상체의 평균 픽셀 값 및 상기 배경의 평균 픽셀 값을 결정하는 단계; 및
    상기 대상체의 평균 픽셀 값 및 상기 배경의 평균 픽셀 값의 중간 픽셀 값을 상기 임계 값으로 지정하는 단계를 포함하는, 방법.
  6. 제 1항에 있어서,
    상기 제1 픽셀 값은 최대 픽셀 값이고 상기 제2 픽셀 값은 최소 픽셀 값인, 방법.
  7. 삭제
  8. 제 1항에 있어서,
    상기 방법은,
    상기 전처리 이미지의 정확도를 연산하는 단계를 더 포함하고,
    상기 정확도는 상기 전처리 이미지에서, 상기 대상체 및 상기 배경이 구분되도록 상기 대상체의 픽셀 값들 및 상기 배경의 픽셀 값들이 상이한 픽셀 값으로 조정된 경우 가장 높은, 방법.
  9. 제 8항에 있어서,
    상기 전처리 이미지의 정확도를 연산하는 단계는,
    상기 전처리 이미지에서, 상기 대상체의 픽셀 값들 중 상기 제1 픽셀 값으로 조정된 영역, 상기 대상체의 픽셀 값들 중 상기 제2 픽셀 값으로 조정된 영역 및 상기 배경의 픽셀 값들 중 상기 제1 픽셀 값으로 조정된 영역을 검출하는 단계를 포함하고,
    상기 정확도는 상기 검출된 영역들의 합에 대한, 상기 대상체의 픽셀 값들 중 상기 제1 픽셀 값으로 조정된 영역의 비율인, 방법.
  10. 제 8항에 있어서,
    상기 정확도는,
    Figure 112020101465801-pat00003

    에 의하여 결정되며,
    상기 수학식에서 Fβ는 정확도, Suncorrect는 상기 배경의 픽셀 값들 중 상기 제1 픽셀 값으로 조정된 영역, Smiss는 상기 대상체의 픽셀 값들 중 상기 제2 픽셀 값으로 조정된 영역, Scorrect는 상기 대상체의 픽셀 값들 중 상기 제1 픽셀 값으로 조정된 영역이고 β는 상기 대상체의 픽셀 값들 중 상기 제2 픽셀 값으로 조정된 영역에 대한 가중치인, 방법.
  11. 적외선 이미지를 이용한 딥러닝 학습 시스템에 있어서,
    대상체 및 배경이 표시된 적외선 이미지의 전체 픽셀 값들에 기초하여 상기 전체 픽셀 값들에 대한 임계 값을 지정하고,
    상기 대상체 및 상기 배경을 구분하기 위해, 상기 전체 픽셀 값들 중 상기 임계 값을 초과하는 픽셀 값들을 제1 픽셀 값으로 조정하고, 상기 임계 값 이하인 픽셀 값들은 제1 픽셀 값과 상이한 제2 픽셀 값으로 조정한 전처리 이미지를 생성하는 전처리 이미지 생성부;
    상기 전처리 이미지와 상기 적외선 이미지를 포함하는 학습 데이터를 생성하는 학습 데이터 생성부; 및
    상기 학습 데이터를 입력 데이터로 하여 딥러닝 모델을 학습시키는 딥러닝 모델 학습부를 포함하고,
    상기 딥러닝 모델 학습부는,
    상기 적외선 이미지 외의 임의의 적외선 이미지가 상기 딥러닝 모델에 입력되는 경우, 상기 임의의 적외선 이미지에 표시된 대상체의 픽셀 값들 및 배경의 픽셀 값들이 상이한 픽셀 값으로 조정되도록 상기 딥러닝 모델을 학습시키는, 시스템.
  12. 제 11항에 있어서,
    상기 전처리 이미지 생성부는,
    상기 전체 픽셀 값들 중 픽셀 값이 가장 크게 변화하는 구간을 탐지하고, 상기 구간의 중간 픽셀 값을 상기 임계 값으로 지정하는, 시스템.
  13. 제 11항에 있어서,
    상기 시스템은,
    상기 전처리 이미지의 정확도를 연산하는 정확도 연산부를 더 포함하고,
    상기 정확도는 상기 전처리 이미지에서, 상기 대상체 및 상기 배경이 구분되도록 상기 대상체의 픽셀 값들 및 상기 배경의 픽셀 값들이 상이한 픽셀 값으로 조정된 경우 가장 높은, 시스템.
  14. 제 13항에 있어서,
    상기 정확도 연산부는,
    상기 전처리 이미지에서, 상기 대상체의 픽셀 값들 중 상기 제1 픽셀 값으로 조정된 영역, 상기 대상체의 픽셀 값들 중 상기 제2 픽셀 값으로 조정된 영역 및 상기 배경의 픽셀 값들 중 상기 제1 픽셀 값으로 조정된 영역을 검출하고,
    상기 정확도는 상기 검출된 영역들의 합에 대한, 상기 대상체의 픽셀 값들 중 상기 제1 픽셀 값으로 조정된 영역의 비율인, 시스템.
  15. 제 13항에 있어서,
    상기 정확도는,
    Figure 112020121713595-pat00004

    에 의하여 결정되며,
    상기 수학식에서 Fβ는 정확도, Suncorrect는 상기 배경의 픽셀 값들 중 상기 제1 픽셀 값으로 조정된 영역, Smiss는 상기 대상체의 픽셀 값들 중 상기 제2 픽셀 값으로 조정된 영역, Scorrect는 상기 대상체의 픽셀 값들 중 상기 제1 픽셀 값으로 조정된 영역이고 β는 상기 대상체의 픽셀 값들 중 상기 제2 픽셀 값으로 조정된 영역에 대한 가중치인, 시스템.
  16. 제 1항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020200123325A 2020-09-23 2020-09-23 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템 KR102221096B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200123325A KR102221096B1 (ko) 2020-09-23 2020-09-23 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200123325A KR102221096B1 (ko) 2020-09-23 2020-09-23 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102221096B1 true KR102221096B1 (ko) 2021-02-26

Family

ID=74687807

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200123325A KR102221096B1 (ko) 2020-09-23 2020-09-23 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102221096B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180037532A (ko) * 2016-10-04 2018-04-12 계명대학교 산학협력단 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템 및 방법
KR101955498B1 (ko) * 2018-07-19 2019-03-08 엘아이지넥스원 주식회사 신경망 구조를 이용한 적외선 영상 보정 장치 및 그 방법
KR20190099914A (ko) * 2018-02-20 2019-08-28 삼성전자주식회사 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
KR102051074B1 (ko) 2018-07-26 2019-12-02 샐터스 주식회사 영상 처리 장치 및 방법
KR20190143153A (ko) 2018-06-20 2019-12-30 써모아이 주식회사 영상 분석 장치 및 방법
KR20200020646A (ko) * 2018-08-16 2020-02-26 주식회사 날비컴퍼니 이미지에 보케 효과를 적용하는 방법 및 기록매체

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180037532A (ko) * 2016-10-04 2018-04-12 계명대학교 산학협력단 드론과 열 영상 카메라의 영상분석을 이용한 자동 싱크홀 탐지 시스템 및 방법
KR20190099914A (ko) * 2018-02-20 2019-08-28 삼성전자주식회사 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
KR20190143153A (ko) 2018-06-20 2019-12-30 써모아이 주식회사 영상 분석 장치 및 방법
KR101955498B1 (ko) * 2018-07-19 2019-03-08 엘아이지넥스원 주식회사 신경망 구조를 이용한 적외선 영상 보정 장치 및 그 방법
KR102051074B1 (ko) 2018-07-26 2019-12-02 샐터스 주식회사 영상 처리 장치 및 방법
KR20200020646A (ko) * 2018-08-16 2020-02-26 주식회사 날비컴퍼니 이미지에 보케 효과를 적용하는 방법 및 기록매체

Similar Documents

Publication Publication Date Title
US10684681B2 (en) Neural network image processing apparatus
Alshaqaqi et al. Driver drowsiness detection system
CN108985210A (zh) 一种基于人眼几何特征的视线追踪方法及系统
US7925093B2 (en) Image recognition apparatus
US10346601B2 (en) Biometric information acquisition method and device for same
JP5287333B2 (ja) 年令推定装置
CN105260731A (zh) 一种基于光脉冲的人脸活体检测系统及方法
CN105518711A (zh) 活体检测方法、活体检测系统以及计算机程序产品
KR20180138300A (ko) 관심 객체에 대한 외부 광원의 속성 정보를 제공하는 방법을 지원하는 전자 장치
US11188771B2 (en) Living-body detection method and apparatus for face, and computer readable medium
US20200320683A1 (en) Skin diagnostic device and skin diagnostic method
CN107203743B (zh) 一种人脸深度跟踪装置及实现方法
CN104598888B (zh) 一种人脸性别的识别方法
US10650225B2 (en) Image processing apparatus which determines category to which object in image belongs, method therefor, and object discrimination apparatus
KR102230797B1 (ko) 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템
US20200126248A1 (en) Contaminant detection and bird risk management at airports
US20220164949A1 (en) Ophthalmic image processing device and ophthalmic image processing method
US11980420B2 (en) Dynamic adjustment of flash intensity based on retinal pigmentation
CN105404866A (zh) 一种多模式自动实施人体状态感知的实现方法
US20170243061A1 (en) Detection system and detection method
KR102221096B1 (ko) 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템
CN114360039A (zh) 一种智能眼睑检测方法及系统
US20120194504A1 (en) Rendering-based landmark localization from 3d range images
Cazzato et al. Real-time gaze estimation via pupil center tracking
CN113436735A (zh) 基于人脸结构度量的体重指数预测方法、设备和存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant