KR102242477B1 - 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치 및 방법 - Google Patents

머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치 및 방법 Download PDF

Info

Publication number
KR102242477B1
KR102242477B1 KR1020200187145A KR20200187145A KR102242477B1 KR 102242477 B1 KR102242477 B1 KR 102242477B1 KR 1020200187145 A KR1020200187145 A KR 1020200187145A KR 20200187145 A KR20200187145 A KR 20200187145A KR 102242477 B1 KR102242477 B1 KR 102242477B1
Authority
KR
South Korea
Prior art keywords
thermal image
information
learning
unit
feature information
Prior art date
Application number
KR1020200187145A
Other languages
English (en)
Inventor
황병우
백형구
조연희
이완연
Original Assignee
주식회사 인텔리코드
주식회사 위드데이터
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인텔리코드, 주식회사 위드데이터 filed Critical 주식회사 인텔리코드
Priority to KR1020200187145A priority Critical patent/KR102242477B1/ko
Application granted granted Critical
Publication of KR102242477B1 publication Critical patent/KR102242477B1/ko

Links

Images

Classifications

    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/4652—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치 및 방법에 관한 것으로서, 입력되는 열화상 영상에서 객체를 탐지하고, 탐지된 객체에 상응하는 객체 특징 정보를 추출하는 전처리부; 학습용 열화상 영상에 대해 상기 전처리부에 의해 추출된 객체 특징 정보와, 학습용 열화상 영상에 상응하여 입력된 주석 정보에 의해 분류부를 학습시키는 학습 수행부; 및 상기 전처리부에 의해 추출된 검사용 열화상 영상의 객체 특징 정보에 기초하여 검사용 열화상 영상의 객체 이상 정보를 출력하는 분류부를 포함하는 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치 및 이를 이용한 객체 이상 현상 탐지 방법을 제공한다.

Description

머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치 및 방법{APPARATUS AND METHOD FOR DETECTING ANOMALY OF OBJECT IN THERMAL IMAGE BASED ON MACHINE LEARNING}
본 발명은, 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치 및 방법에 관한 것으로서, 보다 상세하게는 학습용 열화상 영상의 객체 특징 정보와 주석 정보에 의해 학습을 수행한 후 검사용 열화상 영상의 객체 특징 정보에 의해 객체 이상 정보를 출력할 수 있는 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치 및 방법에 관한 것이다.
열화상 영상은, 피사체에서 발산되는 적외선에 의해 온도를 색상으로 표현한 영상을 의미한다. 이러한 열화상 영상은 적외선을 감지할 수 있는 열화상 카메라에 의해 획득되는데, 열화상 카메라는 일반 카메라와는 달리 피사체의 표면에서 발생되는 온도에 따라 달라지는 적외선의 양을 감지하여 온도를 측정하고, 측정된 온도에 상응하여 색상을 표현함으로써 열화상 영상을 생성한다.
그러나, 열화상 카메라로 획득한 피사체의 온도 값은 피사체와 열화상 카메라 사이의 거리에 따라 각각 다르게 측정되기 때문에, 열화상 영상의 색상 밝기와 실제 온도 사이에는 오차가 발생한다.
예컨대, 열화상 영상의 색상 밝기가 유사하더라도 열화상 카메라와 피사체의 거리가 멀수록 실제 온도는 더 높고, 동일한 실제 온도를 갖는 피사체에 대해서도 열화상 카메라와 피사체의 거리가 멀수록 열화상 영상의 색상 밝기는 더 낮아지게 된다.
따라서, 피사체가 열화상 카메라로부터 어느 정도 멀리 있는가에 따라 피사체에서 획득되는 열화상 영상은 다르게 나타난다는 문제점이 있다.
한편, 대한민국 등록특허공보 10-2164177호(2020.10.06 공고)에 의하면, 열화상 카메라의 온도 정확도를 개선하는 방법이 개시되어 있다.
이에 의하면, 열화상 카메라와 피사체와의 실제 거리를 계산하여 열화상 카메라에서 획득된 열화상 영상의 피사체의 온도를 보정함으로써 열화상 영상의 온도 정확도를 개선하는 방법을 사용하고 있다.
그러나, 이러한 방식은 열화상 카메라와 피사체와의 거리를 계산하기 위한 구성과 계산된 거리에 의해 열화상 영상의 피사체의 온도를 보정하기 위한 구성을 별도로 구비해야 하므로, 장치의 하드웨어 및 소프트웨어의 구성이 복잡하다는 한계점이 있어서, 실시간으로 전달되는 동영상에는 특히 적합하지 않다는 문제가 있다.
대한민국 등록특허공보 10-2164177호(2020.10.06 공고)
본 발명은 상기한 바와 같은 문제점을 해결하기 위한 것으로서, 피사체와 열화상 카메라의 거리에 관계없이 열화상 영상으로부터 객체가 정상 상태/비정상 상태인지의 여부와 같은 객체 이상 정보를 정확하고 효율적으로 판단할 수 있는 장치 및 방법을 제공하는 것을 목적으로 한다.
상기한 바와 같은 과제를 해결하기 위하여 본 발명은, 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치로서, 입력되는 열화상 영상에서 객체를 탐지하고, 탐지된 객체에 상응하는 객체 특징 정보를 추출하는 전처리부; 학습용 열화상 영상에 대해 상기 전처리부에 의해 추출된 객체 특징 정보와, 학습용 열화상 영상에 상응하여 입력된 주석 정보에 의해 분류부를 학습시키는 학습 수행부; 및 상기 전처리부에 의해 추출된 검사용 열화상 영상의 객체 특징 정보에 기초하여 검사용 열화상 영상의 객체 이상 정보를 출력하는 분류부를 포함하는 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치를 제공한다.
여기에서, 상기 전처리부는, 입력되는 열화상 영상으로부터 객체를 탐지하고, 탐지된 객체의 객체 영역을 결정하는 객체 영역 결정부; 상기 객체 영역 결정부에서 결정된 객체 영역의 크기를 계산하는 객체 크기 결정부; 상기 객체 영역 결정부에서 결정된 객체 영역 내에 포함된 색상 픽셀값들의 색상 분포 정보를 추출하는 색상 분포 정보 추출부; 및 상기 객체 크기 결정부에서 계산된 객체 영역의 크기 정보와 상기 색상 분포 정보 추출부에서 추출된 색상 분포 정보에 의해 객체 특징 정보를 구성하는 객체 특징 정보 구성부를 포함하고, 상기 객체 특징 정보 구성부는, 입력되는 열화상 영상이 학습용 열화상 영상인 경우 객체 특징 정보를 학습 수행부로 전달하고, 입력되는 열화상 영상이 검사용 열화상 영상인 경우 객체 특징 정보를 분류부로 전달할 수 있다.
또한, 상기 주석 정보는, 전처리부에 입력된 학습용 열화상 영상에 포함된 객체의 종류를 나타내는 객체 종류 정보와 전처리부에 입력된 학습용 열화상 영상에 포함된 객체가 정상 상태인지 또는 비정상 상태인지의 여부를 나타내는 상태 분류 정보를 포함할 수 있다.
또한, 상기 학습 수행부는, 머신 러닝에 기반하여 상기 객체 특징 정보와 상기 주석 정보에 의해 분류부를 학습시킬 수 있다.
또한, 상기 분류부는, 검사용 열화상 영상에 대해 전처리부에서 구성되어 전달되는 객체 특징 정보를 입력받아 해당 객체 특징 정보에 상응하는 객체 이상 정보를 출력할 수 있다.
또한, 상기 분류부는, 검사용 열화상 영상에서 탐지된 객체 영역을 디스플레이부를 통해 표시하도록 할 수 있다.
본 발명의 다른 측면에 의하면, 상기한 바와 같은 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치에서 수행되는 열화상 영상의 객체 이상 현상 탐지 방법으로서, 학습용 열화상 영상에서 객체를 탐지하고, 탐지된 객체에 상응하는 객체 특징 정보를 추출하는 제1 단계; 학습용 열화상 영상에 대해 상기 추출된 객체 특징 정보와, 학습용 열화상 영상에 상응하여 입력된 주석 정보에 의해 분류부를 학습시키는 제2 단계; 검사용 열화상 영상에서 객체를 탐지하고, 탐지된 객체에 상응하는 객체 특징 정보를 추출하는 제3 단계; 및 상기 검사용 열화상 영상에서 추출된 객체 특징 정보에 기초하여 분류부가 검사용 열화상 영상의 객체 이상 정보를 출력하는 제4 단계를 포함하는 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 방법을 제공한다.
본 발명의 또 다른 측면에 의하면, 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치로서, 입력되는 열화상 영상에서 객체를 탐지하고, 탐지된 객체의 객체 영역에 대하여 미리 설정된 단계별로 발열 영역을 추출하고, 상기 단계별 발열 영역에 대한 단계별 객체 특징 정보를 추출하는 전처리부; 학습용 열화상 영상에 대해 상기 전처리부에 의해 추출된 단계별 객체 특징 정보에 의해 분류부를 학습시키는 학습 수행부; 및 상기 전처리부에 의해 추출된 검사용 열화상 영상의 단계별 객체 특징 정보에 기초하여 검사용 열화상 영상의 객체 이상 정보를 출력하는 분류부를 포함하는 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치를 제공한다.
여기에서, 상기 전처리부는, 입력되는 열화상 영상으로부터 객체를 탐지하고, 탐지된 객체의 객체 영역을 결정하는 객체 영역 결정부; 상기 객체 영역 결정부에서 결정된 객체 영역으로부터 미리 설정된 단계별로 발열 영역을 추출하고 객체 영역에 대한 발열 영역의 상대적 위치 및 상대적 크기를 결정하는 단계별 발열 영역 결정부; 상기 단계별 발열 영역 결정부에서 추출된 각 단계별 발열 영역 내에 포함된 색상 픽셀값들의 단계별 발열 영역에 대한 단계별 색상 분포 정보를 추출하는 단계별 색상 분포 정보 추출부; 및 상기 단계별 발열 영역 결정부에서 결정된 단계별 발열 영역의 상대적 위치 정보 및 상대적 크기 정보와 상기 단계별 색상 분포 정보 추출부에서 추출된 단계별 색상 분포 정보에 의해 단계별 객체 특징 정보를 구성하는 단계별 객체 특징 정보 구성부를 포함하고, 상기 단계별 객체 특징 정보 구성부는, 입력되는 열화상 영상이 학습용 열화상 영상인 경우 단계별 객체 특징 정보를 학습 수행부로 전달하고, 입력되는 열화상 영상이 검사용 열화상 영상인 경우 단계별 객체 특징 정보를 분류부로 전달할 수 있다.
또한, 상기 학습 수행부는, 상기 객체 특징 정보에 의해 머신 러닝의 비지도 학습에 기반하여 분류부를 학습시킬 수 있다.
또한, 상기 분류부는, 검사용 열화상 영상에 대해 전처리부에서 구성되어 전달되는 단계별 객체 특징 정보를 입력받아 해당 단계별 객체 특징 정보에 상응하는 객체 이상 정보를 출력할 수 있다.
또한, 상기 객체 이상 정보는, 비정상 상태로 판단된 검사용 열화상 영상의 발열 영역 정보를 포함할 수 있다.
본 발명의 또 다른 측면에 의하면, 상기한 바와 같은 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치에서 수행되는 열화상 영상의 객체 이상 현상 탐지 방법으로서, 입력되는 열화상 영상에서 객체를 탐지하고, 탐지된 객체의 객체 영역에 대하여 미리 설정된 단계별로 발열 영역을 추출하고, 상기 단계별 발열 영역에 대한 객체 특징 정보를 추출하는 제1 단계; 학습용 열화상 영상에 대해 상기 추출된 단계별 객체 특징 정보에 의해 분류부를 학습시키는 제2 단계; 검사용 열화상 영상에서 객체를 탐지하고, 탐지된 객체의 객체 영역에 대하여 미리 설정된 단계별로 발열 영역을 추출하고, 상기 단계별 발열 영역에 대한 객체 특징 정보를 추출하는 제3 단계; 및 상기 검사용 열화상 영상에서 추출된 단계별 객체 특징 정보에 기초하여 분류부가 검사용 열화상 영상의 객체 이상 정보를 출력하는 제4 단계를 포함하는 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 방법을 제공한다.
본 발명에 의하면, 피사체와 열화상 카메라의 거리에 관계없이 열화상 영상으로부터 정상 상태/비정상 상태인지의 여부와 같은 객체 이상 정보를 정확하고 효율적으로 판단할 수 있는 장치 및 방법을 제공할 수 있다.
도 1은 본 발명에 의한 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치(100)의 일실시예를 나타낸 도면이다.
도 2는 전처리부(10)의 구성을 나타낸 도면이다.
도 3은 학습 수행부(20)로 전달되는 객체 특징 정보와 주석 정보의 일예를 나타낸 도면이다.
도 4는 학습 수행부(20)의 동작을 설명하기 위한 도면이다.
도 5는 도 1 내지 도 4에서 설명한 탐지 장치(100)의 전체적인 동작을 나타낸 흐름도이다.
도 6은 본 발명의 다른 실시예에 의한 탐지 장치(200)의 동작을 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시예에 의한 탐지 장치(200)의 전처리부(10-1)의 구성을 나타낸 도면이다.
도 8은 본 발명의 다른 실시예에 의한 탐지 장치(200)에서 사용되는 객체 특징 정보의 일예를 나타낸 도면이다.
도 9는 도 6 내지 도 8에서 설명한 탐지 장치(200)의 전체적인 동작을 나타낸 흐름도이다.
이하, 첨부 도면을 참조하여 본 발명에 의한 실시예를 상세하게 설명하기로 한다.
도 1은 본 발명에 의한 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치(100)의 일실시예를 나타낸 도면이다.
도 1을 참조하면, 본 실시예의 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치(100, 이하, 간단히 "탐지 장치(100)"라 한다)는, 전처리부(10), 학습 수행부(20) 및 분류부(30)를 포함한다.
전처리부(10)는, 입력되는 열화상 영상에서 객체를 탐지하고, 탐지된 객체에 상응하는 객체 특징 정보를 추출하는 기능을 수행한다.
여기에서, 전처리부(10)에 입력되는 열화상 영상은, 학습용 열화상 영상 및 검사용 열화상 영상을 포함한다. 학습용 열화상 영상은 학습 수행부(20)에 의해 분류부(30)를 머신 러닝(machine learning)에 기반하여 학습시키는데 사용되는 열화상 영상을 의미하며, 검사용 열화상 영상은 머신 러닝에 의해 학습된 분류부(30)에 의해 객체 이상 정보가 출력되는 대상이 되는 열화상 영상을 의미한다.
또한, 여기에서, 열화상 영상은 열화상 카메라에 의해 획득된 영상을 의미하며, 동영상 또는 정지 영상(이미지)일 수 있다.
학습 수행부(20)는, 학습용 열화상 영상에 대해, 전처리부(10)에 의해 추출된 객체 특징 정보와, 학습용 열화상 영상에 상응하여 입력된 주석 정보에 의해 분류부(30)를 학습시키는 기능을 담당한다.
분류부(30)는, 전처리부(10)에 의해 추출된 검사용 열화상 영상의 객체 특징 정보에 기초하여 검사용 열화상 영상의 객체 이상 정보를 출력하는 기능을 수행한다.
또한, 탐지 장치(100)는 본 발명의 동작을 위해 필요한 정보들을 저장하는 데이터베이스(40)를 더 포함할 수 있다.
이하, 이들 구성 요소의 구체적인 구성 및 동작에 대해 도 2 이하를 참조하여 보다 상세하게 설명한다.
도 2는 전처리부(10)의 구성을 나타낸 도면이다.
도 2를 참조하면, 전처리부(10)는, 객체 영역 결정부(11), 객체 크기 결정부(12), 색상 분포 정보 추출부(13) 및 객체 특징 정보 구성부(14)를 포함한다.
객체 영역 결정부(11)는 입력되는 열화상 영상으로부터 객체를 탐지하고, 탐지된 객체의 객체 영역을 결정하는 기능을 수행한다.
열화상 영상이 동영상인 경우, 객체 영역 결정부(11)는 열화상 영상을 구성하는 각 프레임 영상으로부터 객체를 탐지하고 탐지된 객체의 경계 영역을 확인하여 객체 영역을 결정한다.
여기에서, 객체 영역이란, 열화상 영상에서 해당 객체가 차지하는 영역을 의미한다. 주어진 영상에서 객체를 탐지하고 경계 영역을 확인하여 객체 영역을 결정하는 기술은 본 발명의 직접적인 목적이 아니며, 종래 알려져 있는 기술을 사용할 수 있으므로, 여기서는 상세 설명은 생략한다.
객체 크기 결정부(12)는 객체 영역 결정부(11)에서 결정된 객체 영역의 크기를 계산하는 기능을 수행한다.
객체 크기 결정부(12)는 객체 영역 결정부(11)에서 결정된 객체 영역의 형상을 데이터베이스(40)에 저장되어 있는 완성체 형상과 비교하여 일정 수준 이상 일치하는 경우 해당 객체 영역의 크기를 계산한다.
여기에서, 완성체란 사람, 얼굴, 소, 개, 고양이 등과 같은 객체로서, 열화상 영상에 의해 이상 현상을 탐지하는 대상이 되는 객체를 의미한다.
한편, 객체 영역의 형상을 완성체 형상과 비교하여 일치도를 판단하는 기술 자체는 본 발명의 직접적인 목적이 아니며 종래 알려져 있는 기술을 사용할 수 있으므로, 상세 설명은 생략한다.
객체 영역의 크기는, 해당 열화상 영상에서 객체 영역이 차지하는 픽셀의 수로 나타낼 수 있으며, 이는 넓이라고도 할 수 있다.
색상 분포 정보 추출부(13)는 객체 영역 결정부(11)에서 결정된 객체 영역 내에 포함된 색상 픽셀값들의 색상 분포 정보를 추출하는 기능을 수행한다.
여기에서, 색상 분포 정보는, 색상 픽셀값들의 평균 밝기 정보, 최대 밝기 정보, 최소 밝기 정보, 편차 정보, 히스토그램 정보 중 적어도 어느 하나를 포함한다.
이러한 색상 분포 정보 및 색상 분포 정보를 추출하는 기술 자체는 종래 기술에 의해 알려져 있는 것이므로, 이에 대해서는 상세 설명은 생략한다.
객체 특징 정보 구성부(14)는 객체 크기 결정부(12)에서 계산된 객체 영역의 크기 정보와 색상 분포 정보 추출부(13)에서 추출된 색상 분포 정보에 의해 객체 특징 정보를 구성하는 기능을 수행한다.
객체 특징 정보 구성부(14)는, 입력되는 열화상 영상이 학습용 열화상 영상인 경우 객체 특징 정보를 학습 수행부(20)로 전달하고, 입력되는 열화상 영상이 검사용 열화상 영상인 경우 객체 특징 정보를 분류부(30)로 전달한다.
학습 수행부(20)는 앞서 설명한 바와 같이 학습용 열화상 영상에 대해 전처리부(10)에 의해 추출된 객체 특징 정보와, 학습용 열화상 영상에 상응하여 입력된 주석 정보에 의해 분류부(30)를 학습시키는 기능을 수행한다.
여기에서, 객체 특징 정보는, 전술한 바와 같이, 전처리부(10)의 객체 특징 정보 구성부(14)로부터 전달되며, 전처리부(10)의 객체 크기 결정부(12)에서 계산된 객체 영역의 크기 정보와, 전처리부(10)의 색상 분포 정보 추출부(13)에서 추출된 색상 분포 정보로 구성된다.
한편, 주석 정보는, 객체 종류 정보와 상태 분류 정보로 구성된다.
객체 종류 정보는 전처리부(10)에 입력되는 학습용 열화상 영상에 포함된 객체의 종류를 나타내는 정보로서, 예컨대, 사람, 얼굴, 소, 개, 고양이 등과 같이 객체의 종류가 어떤 것인지를 나타내는 정보이다.
또한, 상태 분류 정보는, 전처리부(10)에 입력되는 학습용 열화상 영상에 포함된 객체가 정상 상태인지 또는 비정상 상태인지의 여부를 나타내는 상태 분류 정보로 구성된다. 이러한 상태 분류 정보는 전처리부(10)에 입력되는 학습용 열화상 영상에 포함된 객체의 실제 온도에 기초하여 예컨대 일정 온도 이상인 경우 비정상 상태로 하고 일정 온도 이하인 경우 정상 상태인 것으로 분류해 둘 수 있다.
객체 종류 정보와 상태 분류 정보는, 전처리부(10)에 입력되는 학습용 열화상 영상 각각에 상응하여 사전에 입력되어 학습용 열화상 영상이 전처리부(10)에 입력될 때 학습 수행부(20)로 자동으로 입력되도록 할 수 있다.
다른 방법으로는, 전처리부(10)에 입력되는 학습용 열화상 영상 각각에 상응하여 학습 수행시에 수작업에 의하여 입력되도록 할 수도 있다.
도 3은 학습 수행부(20)로 전달되는 객체 특징 정보와 주석 정보의 일예를 나타낸 도면이다.
도 3에 나타낸 바와 같이, 객체 특징 정보는 객체 영역의 크기 정보와 색상 분포 정보로 구성된다.
객체 영역의 크기 정보는, 전술한 바와 같이, 전처리부(10)로 입력된 학습용 열화상 영상에 포함된 객체 영역의 크기(넓이)를 나타내는 정보이며, 색상 분포 정보는 해당 객체 영역의 평균 밝기 정보, 최대 밝기 정보, 최소 밝기 정보, 편차 정보, 히스토그램 정보 중 적어도 어느 하나를 포함하는 정보로 구성된다.
또한, 주석 정보는, 상태 분류 정보와 객체 종류 정보로 구성된다.
상태 분류 정보는, 전술한 바와 같이, 전처리부(10)에 입력되는 학습용 열화상 영상에 포함된 객체가 정상 상태인지 또는 비정상 상태인지의 여부를 나타내는 정보이며, 객체 종류 정보는 전처리부(10)에 입력되는 학습용 열화상 영상에 포함된 객체가 어떤 것인지를 나타내는 정보이다.
학습 수행부(20)는 이러한 객체 특징 정보와 주석 정보에 의해 분류부(30)를 학습시킨다.
도 4는 학습 수행부(20)의 동작을 설명하기 위한 도면이다.
전술한 바와 같이, 학습 수행부(20)는, 학습용 열화상 영상에 대해 전처리부(10)로부터 전달되는 객체 특징 정보(크기 정보, 색상 분포 정보)와, 주석 정보(상태 분류 정보, 객체 종류 정보)를 분류부(30)로 입력하여 분류부(30)를 학습시켜서, 분류부(30)가 검사용 열화상 영상에 대해 객체 특징 정보에 기초하여 객체 이상 정보를 출력할 수 있도록 하는 기능을 수행한다.
여기에서, 학습 수행부(20)는, 머신 러닝(machine learning)에 기반하여 분류부(30)를 학습시킬 수 있다. 주지된 바와 같이, 머신 러닝은 학습 데이터(training data)인 특징(feature) 정보를 입력으로 하여 분류기(classifier)의 출력 결과의 비용(error) 함수를 최소화시키도록 분류기의 파라미터를 반복 조절함으로써 분류기를 학습시키는 인공 지능(Artificial Intelligence)의 한 분야를 의미한다. 머신 러닝은 학습 데이터에 대한 주석(annotation, 라벨(label)이라고도 함) 정보를 이용하는 지도 학습(supervised learning)과 주석 정보를 사용하지 않는 비지도 학습(unsupervised learning) 등과 같은 방법이 알려져 있다.
본 발명에서는, 학습용 열화상 영상에 대해 전처리부(10)로부터 전달되는 객체 특징 정보(크기 정보, 색상 분포 정보)와, 해당 학습용 열화상 영상에 대한 주석 정보(상태 분류 정보, 객체 종류 정보)를 이용하는 지도 학습을 사용할 수 있다.
여기에서, 학습 수행부(20)는 상태 분류 정보만을 이용하여 분류부(30)를 학습시킬 수도 있다.
이러한 머신 러닝 방법 자체는 본 발명의 직접적인 목적이 아니며, 종래 알려져 있는 다양한 머신 러닝 기술을 사용할 수 있으므로, 이에 대해서는 상세 설명은 생략한다.
한편, 분류부(30)는, 전처리부(10)에서 추출된 검사용 열화상 영상의 객체 특징 정보에 기초하여 검사용 열화상 영상의 객체 이상 정보를 출력하는 기능을 수행한다.
분류부(30)는 전술한 바와 같이, 사전에 학습 수행부(20)에 의해 객체 특징 정보와 주석 정보에 의해 머신 러닝에 기반하여 학습되어 있으며, 이러한 상태에서, 검사용 열화상 영상에 대해 전처리부(10)에서 구성되어 전달되는 객체 특징 정보를 입력받아 해당 객체 특징 정보에 상응하는 객체 이상 정보를 출력한다.
여기에서, 객체 특징 정보는 전술한 바와 같이, 전처리부(10)로 입력되는 검사용 열화상 영상에 포함된 객체 영역의 크기 정보와 해당 객체 영역의 색상 분포 정보를 포함한다.
한편, 분류부(30)가 출력하는 객체 이상 정보는 앞서 설명한 바와 같은 상태 분류 정보를 포함할 수 있다. 전술한 바와 같이, 분류부(30)는 객체 특징 정보에 기초하여 주석 정보에 포함된 상태 분류 정보가 학습된 것이므로, 입력되는 검사용 열화상 영상에 상응하는 상태 분류 정보를 객체 이상 정보로서 출력할 수 있다.
또한, 분류부(30)는 검사용 열화상 영상에서 탐지된 객체 영역을 디스플레이부를 통해 표시하도록 할 수도 있다. 이 때, 검사용 열화상 영상에서 비정상 상태가 발생한 세부 영역 범위를 출력할 수도 있다.
이러한 구성에 의하면, 분류부(30)는 객체 영역의 크기 정보 및 색상 분포 정보에 대응하여 상태 분류 정보가 학습되어 있으므로, 검사용 열화상 영상의 크기에 상관없이 상태 분류 정보를 포함하는 객체 이상 정보를 출력할 수 있다.
도 5는 도 1 내지 도 4에서 설명한 탐지 장치(100)의 전체적인 동작을 나타낸 흐름도이다.
도 5를 참조하면, 우선 전처리부(10)로 학습용 열화상 영상이 입력되고(S100), 전처리부(10)는 입력되는 학습용 열화상 영상으로부터 객체 특징 정보를 구성한다(S110).
이는 전술한 바와 같이, 다음과 같은 과정으로 이루어진다.
즉, 전처리부(10)의 객체 영역 결정부(11)는, 전술한 바와 같이, 입력되는 열화상 영상으로부터 객체를 탐지하고, 탐지된 객체의 객체 영역을 결정한다. 그리고, 전처리부(10)의 객체 크기 결정부(12)는 객체 영역 결정부(11)에서 결정된 객체 영역의 크기를 계산한다.
그리고, 전처리부(10)의 색상 분포 정보 추출부(13)는 객체 영역 결정부(11)에서 결정된 객체 영역 내에 포함된 색상 픽셀값들의 색상 분포 정보를 추출한다.
그리고, 객체 특징 정보 구성부(14)는, 상기 객체 크기 결정부(12)에서 계산된 객체 영역의 크기 정보와 상기 색상 분포 정보 추출부(13)에서 추출된 색상 분포 정보에 의해 객체 특징 정보를 구성하고, 이를 학습 수행부(20)로 전달한다(S120).
학습 수행부(20)는 전술한 바와 같이, 해당 열화상 영상에 대해 주석 정보를 입력받고, 주석 정보와 상기 전처리부(10)에서 전달된 객체 특징 정보에 의해 분류부(30)를 머신 러닝에 기반하여 학습시킨다(S140).
이러한 과정(S100~S140)을 복수개의 열화상 영상에 대해 반복 수행하여 학습이 완료된 상태에서, 검사용 열화상 영상이 전처리부(10)로 입력되면(S150), 전처리부(10)는 전술한 바와 마찬가지로 검사용 열화상 영상에 대해 객체 특징 정보를 구성하고(S160), 이를 분류부(30)로 전달한다(S170).
분류부(30)는 전처리부(10)에서 전달된 객체 특징 정보를 입력으로 하여 해당 객체 특징 정보에 상응하는 상태 분류 정보를 포함하는 객체 이상 정보를 출력한다(S180).
다음으로, 도 6 내지 도 8을 참조하여 본 발명의 다른 실시예에 의한 탐지 장치(200)를 설명한다.
도 6은 본 발명의 다른 실시예에 의한 탐지 장치(200)의 동작을 설명하기 위한 도면이고, 도 7은 본 발명의 다른 실시예에 의한 탐지 장치(200)의 전처리부(10-1)의 구성을 나타낸 도면이고, 도 8은 본 발명의 다른 실시예에 의한 탐지 장치(200)에서 사용되는 객체 특징 정보의 일예를 나타낸 도면이다.
도 6 내지 도 8의 실시예의 탐지 장치(200)는 도 1 내지 도 5를 참조하여 설명한 실시예의 탐지 장치(100)와 유사하지만, 탐지된 객체 영역에서 미리 설정된 온도보다 일정 수준 이상(또는 이하)인 발열 영역을 추출하고, 온도를 단계별로 증가(또는 감소)시키면서 각각의 단계별로 발열 영역에 대한 객체 특징 정보를 추출하고 추출된 객체 특징 정보를 이용하여 분류부(30)를 학습시킨다는 점에서 차이가 있다.
보다 상세히 설명하면, 탐지 장치(200)는, 전처리부(10-1), 학습 수행부(20-1) 및 분류부(30-1)를 포함한다.
전처리부(10-1)는 입력되는 열화상 영상에서 객체를 탐지하고, 탐지된 객체의 객체 영역에 대하여 미리 설정된 단계별로 발열 영역을 추출하고, 상기 단계별 발열 영역에 대한 객체 특징 정보를 추출하는 기능을 수행한다.
도 7을 참조하면, 전처리부(10-1)는, 객체 영역 결정부(11), 단계별 발열 영역 결정부(15), 단계별 색상 분포 정보 추출부(13-1) 및 단계별 객체 특징 정보 구성부(14-1)를 포함한다.
객체 영역 결정부(11)는, 입력되는 열화상 영상으로부터 객체를 탐지하고, 탐지된 객체의 객체 영역을 결정하는 기능을 수행하며, 이는 앞서 도 1 내지 도 5를 참조하여 설명한 실시예와 동일하므로 상세 설명은 생략한다.
단계별 발열 영역 결정부(15)는 객체 영역 결정부(11)에서 결정된 객체 영역으로부터 미리 설정된 단계별로 발열 영역을 추출하고 발열 영역의 상대적 위치 및 상대적 크기를 결정하는 기능을 수행한다.
전술한 바와 같이, 객체 영역은 열화상 영상에서 해당 객체가 차지하는 영역을 의미하며, 단계별 발열 영역 결정부(15)는 이러한 객체 영역에서 미리 설정된 단계별로 발열 영역을 추출하고, 객체 영역에 대해 추출된 발열 영역의 상대적 위치 및 상대적 크기를 결정한다.
여기에서, 미리 설정된 단계란, 미리 설정된 온도 범위의 단계를 의미한다. 열화상 영상은 온도에 따라 다른 색상을 나타내므로, 열화상 영상에서 색상에 따라 미리 설정된 온도 범위에 해당하는 발열 영역을 결정할 수 있다.
이와 같이, 색상에 따라 단계별로 발열 영역을 추출하는 기술 자체 또한 본 발명의 직접적인 목적이 아니며, 종래 알려져 있는 기술을 사용할 수 있으므로, 여기서는 상세 설명은 생략한다.
발열 영역에 대한 상대적 위치 정보는 객체 영역 전체에서 발열 영역의 위치를 상대적으로 나타내는 정보이다. 예컨대, 객체 영역의 중심점을 (x,y) 좌표계의 중심점인 (0,0)으로 했을 때, 발열 영역의 중심점을 객체 영역의 중심점에 대한 상대적인 위치로 표현하는 정보이다. 이러한 상대적 위치 정보에 의해, 발열 영역이 객체 영역에서 상대적으로 얼마나 떨어져 있는지를 판단할 수 있다.
또한, 발열 영역의 상대적 크기 정보는, 앞서 도 1 내지 도 5의 실시예의 객체 크기 결정부(12)에서 설명한 바와 마찬가지 방식으로 계산한 크기를 객체 영역에 대한 비율로 나타낸 것이다. 예컨대, 객체 영역의 크기를 100이라고 할 때, 발열 영역의 크기를 객체 영역의 크기에 비례하여 5, 10 등과 같은 형태로 표시할 수 있다.
한편, 단계별 색상 분포 정보 추출부(13-1)는, 단계별 발열 영역 결정부(15)에서 추출된 각 단계별 발열 영역 내에 포함된 색상 픽셀값들의 단계별 발열 영역에 대한 단계별 색상 분포 정보를 추출하는 기능을 수행한다.
이는 앞서 도 1 내지 도 5의 실시예의 색상 분포 정보 추출부(13)에서 설명한 바와 마찬가지 방식으로 이루어질 수 있다.
또한, 단계별 객체 특징 정보 구성부(14-1)는, 단계별 발열 영역 결정부(15)에서 결정된 단계별 발열 영역의 상대적 위치 정보 및 상대적 크기 정보와 단계별 색상 분포 정보 추출부(13-1)에서 추출된 단계별 색상 분포 정보에 의해 단계별 객체 특징 정보를 구성한다.
단계별 객체 특징 정보 구성부(14-1)는, 입력되는 열화상 영상이 학습용 열화상 영상인 경우 단계별 객체 특징 정보를 학습 수행부(20-1)로 전달하고, 입력되는 열화상 영상이 검사용 열화상 영상인 경우 단계별 객체 특징 정보를 분류부(30-1)로 전달한다.
학습 수행부(20-1)는, 학습용 열화상 영상에 대해 전처리부(10-1)에 의해 추출된 객체 특징 정보에 의해 분류부(30-1)를 학습시키는 기능을 담당한다.
학습 수행부(20-1)는 도 1 내지 도 5의 실시예의 학습 수행부(20)와 기본적으로 동일하지만, 학습 데이터로서 주석 정보를 사용하지 않고 단계별 객체 특징 정보만을 이용하여 비지도 학습(unsupervised learning) 방식으로 분류부(30-1)를 학습시킨다는 점에서 차이가 있다.
도 8은 학습 수행부(20-1)로 전달되는 객체 특징 정보의 일예를 나타낸 도면이다.
도 8에 나타낸 바와 같이, 객체 특징 정보는 전술한 바와 같은 단계별 발열 영역의 상대적 위치 정보, 상대적 크기 정보 및 단계별 색상 분포 정보로 구성된다.
학습 수행부(20-1)는 이러한 단계별 객체 특징 정보에 의해 분류부(30-1)를 학습시킨다.
전술한 바와 같이, 학습 수행부(20-1)는, 주석 정보를 사용하지 않고 단계별 객체 특징 정보에 의해 머신 러닝(machine learning)의 비지도 학습(unsupervised learning)에 기반하여 분류부(30)를 학습시킨다.
이러한 머신 러닝의 비지도 학습 방법 자체는 본 발명의 직접적인 목적이 아니며, 종래 알려져 있는 다양한 머신 러닝의 비지도 학습 알고리듬을 사용할 수 있으므로, 이에 대해서는 상세 설명은 생략한다.
한편, 학습 수행부(20-1)는 단계별 발열 영역에 대해 수집된 객체 특징 정보를 각 단계별로 분리하여 고정하지 않고, 다른 단계에서 수집된 객체 특징 정보라도 유사한 속성(발열 영역의 상대적 위치의 유사성, 상대적 크기의 유사성 등)에 따라 객체 특징 정보를 재그룹핑하여 분류부(30-1)를 학습시키는 방식을 사용할 수도 있다.
또한, 학습 수행부(20-1)는 도 1 내지 도 5의 실시예에서 설명한 바와 같은 상태 분류 정보를 주석 정보로 하여 지도 학습을 통해 분류부(30-1)를 학습시킬 수도 있다.
한편, 분류부(30-1)는, 전처리부(10)에 의해 추출된 검사용 열화상 영상의 객체 특징 정보에 기초하여 검사용 열화상 영상의 객체 이상 정보를 출력하는 기능을 수행한다.
분류부(30-1)는 전술한 바와 같이, 사전에 학습 수행부(20-1)에 의해 단계별 객체 특징 정보에 의해 머신 러닝에 기반하여 학습되어 있으며, 분류부(30)는 이러한 상태에서 검사용 열화상 영상에 대해 전처리부(10-1)에서 구성되어 전달되는 단계별 객체 특징 정보를 입력받아 해당 객체 특징 정보에 상응하는 객체 이상 정보를 출력한다.
여기에서, 단계별 객체 특징 정보는 전술한 바와 같이, 전처리부(10-1)로 입력되는 검사용 열화상 영상에 포함된 객체 영역에 포함된 단계별 발열 영역의 상대적 위치 정보 및 상대적 크기 정보와 단계별 발열 영역의 단계별 색상 분포 정보를 포함한다.
한편, 분류부(30-1)가 출력하는 객체 이상 정보는 앞서 설명한 바와 같은 상태 분류 정보를 포함할 수 있다.
또한, 객체 이상 정보는, 비정상 상태로 판단된 검사용 열화상 영상의 발열 영역 정보를 포함할 수 있으며, 이러한 발열 영역 정보에 상응하는 발열 영역을 열화상 영상에서 다른 영역과 구분하여 디스플레이부를 통해 표시하도록 할 수 있다.
한편, 전처리부(10-1)는 검사용 열화상 영상과 함께 미리 설정된 온도값이 입력되는 경우, 해당 온도값에 상응하는 단계별 객체 특징 정보만을 추출하여 분류부(30-1)로 전달하고, 분류부(30-1)는 해당 단계별 객체 특징 정보에 상응하는 객체 이상 정보만을 출력하도록 할 수도 있다.
이러한 구성의 탐지 장치(200)에 의하면, 열화상 영상에 포함된 탐지 객체의 일부 영역에서의 급격한 열 상승(또는 하강)을 정확하고 효율적으로 탐지할 수 있다는 장점이 있다. 예컨대, 신체 일부 부위에서 부상이 발생하여 급격히 발열이 발생한 경우 이를 정확하게 파악할 수 있다.
또한, 예컨대 소의 침 흘림 증가 현상 등과 같이 발열 영역이 확장되거나 축소되는 경우에도 탐지 장치(200)는 이를 정확하고 효율적으로 판단하여 해당 발열 영역을 미리 설정된 온도 범위에 대한 단계별로 상응하여 나타내 줄 수 있다.
도 9는 도 6 내지 도 8에서 설명한 탐지 장치(200)의 전체적인 동작을 나타낸 흐름도이다.
도 9를 참조하면, 우선 전처리부(10-1)로 학습용 열화상 영상이 입력되고(S200), 전처리부(10-1)는 입력되는 학습용 열화상 영상으로부터 단계별 객체 특징 정보를 구성한다(S210).
이는 다음과 같은 과정으로 이루어진다.
즉, 전처리부(10-1)의 객체 영역 결정부(11)는, 전술한 바와 같이, 입력되는 열화상 영상으로부터 객체를 탐지하고, 탐지된 객체의 객체 영역을 결정한다. 그리고, 전처리부(10-1)의 단계별 발열 영역 결정부(15)는 객체 영역 결정부(11)에서 결정된 객체 영역으로부터 미리 설정된 단계별로 발열 영역을 추출하고 객체 영역에 대한 발열 영역의 상대적 위치 및 상대적 크기를 결정한다.
그리고, 전처리부(10-1)의 단계별 색상 분포 정보 추출부(13-1)는 단계별 발열 영역 결정부(15)에서 추출된 각 단계별 발열 영역 내에 포함된 색상 픽셀값들의 단계별 발열 영역에 대한 단계별 색상 분포 정보를 추출한다.
그리고, 단계별 객체 특징 정보 구성부(14-1)는, 상기 단계별 발열 영역 결정부(15)에서 결정된 단계별 발열 영역의 상대적 위치 정보 및 상대적 크기 정보와 상기 단계별 색상 분포 정보 추출부(13-1)에서 추출된 단계별 색상 분포 정보에 의해 단계별 객체 특징 정보를 구성하고, 이를 학습 수행부(20-1)로 전달한다(S220).
학습 수행부(20)는 전술한 바와 같이, 상기 전처리부(10-1)에서 전달된 객체 특징 정보에 의해 분류부(30-1)를 머신 러닝에 기반하여 학습시킨다(S230).
이러한 과정(S200~S230)을 복수개의 열화상 영상에 대해 반복 수행하여 학습이 완료된 상태에서, 검사용 열화상 영상이 전처리부(10-1)로 입력되면(S240), 전처리부(10-1)는 전술한 바와 마찬가지로 검사용 열화상 영상에 대해 단계별 객체 특징 정보를 구성하고(S160), 이를 분류부(30-1)로 전달한다(S260).
분류부(30-1)는 전처리부(10-1)에서 전달된 단계별 객체 특징 정보를 입력으로 하여 해당 단계별 객체 특징 정보에 상응하는 객체 이상 정보를 출력한다(S270).
이상에서, 본 발명에 의한 바람직한 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니며, 기타 다양한 수정 및 변형 실시가 가능함은 물론이다.
100, 200...머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치
10, 10-1...전처리부
20, 20-1...학습 수행부
30, 30-1...분류부

Claims (13)

  1. 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치로서,
    입력되는 열화상 영상에서 객체를 탐지하고, 탐지된 객체에 상응하는 객체 특징 정보를 추출하는 전처리부;
    학습용 열화상 영상에 대해 상기 전처리부에 의해 추출된 객체 특징 정보와, 학습용 열화상 영상에 상응하여 입력된 주석 정보에 의해 분류부를 학습시키는 학습 수행부; 및
    상기 전처리부에 의해 추출된 검사용 열화상 영상의 객체 특징 정보에 기초하여 검사용 열화상 영상의 객체 이상 정보를 출력하는 분류부
    를 포함하고,
    상기 전처리부는,
    입력되는 열화상 영상으로부터 객체를 탐지하고, 탐지된 객체의 객체 영역을 결정하는 객체 영역 결정부;
    상기 객체 영역 결정부에서 결정된 객체 영역의 크기를 계산하는 객체 크기 결정부;
    상기 객체 영역 결정부에서 결정된 객체 영역 내에 포함된 색상 픽셀값들의 색상 분포 정보를 추출하는 색상 분포 정보 추출부; 및
    상기 객체 크기 결정부에서 계산된 객체 영역의 크기 정보와 상기 색상 분포 정보 추출부에서 추출된 색상 분포 정보에 의해 객체 특징 정보를 구성하는 객체 특징 정보 구성부
    를 포함하고,
    상기 객체 특징 정보 구성부는, 입력되는 열화상 영상이 학습용 열화상 영상인 경우 객체 특징 정보를 학습 수행부로 전달하고, 입력되는 열화상 영상이 검사용 열화상 영상인 경우 객체 특징 정보를 분류부로 전달하는 것을 특징으로 하는 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 주석 정보는, 전처리부에 입력된 학습용 열화상 영상에 포함된 객체의 종류를 나타내는 객체 종류 정보와 전처리부에 입력된 학습용 열화상 영상에 포함된 객체가 정상 상태인지 또는 비정상 상태인지의 여부를 나타내는 상태 분류 정보를 포함하는 것을 특징으로 하는 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치.
  4. 청구항 3에 있어서,
    상기 학습 수행부는, 머신 러닝에 기반하여 상기 객체 특징 정보와 상기 주석 정보에 의해 분류부를 학습시키는 것을 특징으로 하는 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치.
  5. 청구항 4에 있어서,
    상기 분류부는, 검사용 열화상 영상에 대해 전처리부에서 구성되어 전달되는 객체 특징 정보를 입력받아 해당 객체 특징 정보에 상응하는 객체 이상 정보를 출력하는 것을 특징으로 하는 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치.
  6. 청구항 5에 있어서,
    상기 분류부는, 검사용 열화상 영상에서 탐지된 객체 영역을 디스플레이부를 통해 표시하도록 하는 것을 특징으로 하는 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치.
  7. 청구항 1, 청구항 3 내지 청구항 6 중 어느 한 항에 의한 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치에서 수행되는 열화상 영상의 객체 이상 현상 탐지 방법으로서,
    학습용 열화상 영상에서 객체를 탐지하고, 탐지된 객체에 상응하는 객체 특징 정보를 추출하는 제1 단계;
    학습용 열화상 영상에 대해 상기 추출된 객체 특징 정보와, 학습용 열화상 영상에 상응하여 입력된 주석 정보에 의해 분류부를 학습시키는 제2 단계;
    검사용 열화상 영상에서 객체를 탐지하고, 탐지된 객체에 상응하는 객체 특징 정보를 추출하는 제3 단계; 및
    상기 검사용 열화상 영상에서 추출된 객체 특징 정보에 기초하여 분류부가 검사용 열화상 영상의 객체 이상 정보를 출력하는 제4 단계
    를 포함하는 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 방법.
  8. 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치로서,
    입력되는 열화상 영상에서 객체를 탐지하고, 탐지된 객체의 객체 영역에 대하여 미리 설정된 단계별로 발열 영역을 추출하고, 상기 단계별 발열 영역에 대한 단계별 객체 특징 정보를 추출하는 전처리부;
    학습용 열화상 영상에 대해 상기 전처리부에 의해 추출된 단계별 객체 특징 정보에 의해 분류부를 학습시키는 학습 수행부; 및
    상기 전처리부에 의해 추출된 검사용 열화상 영상의 단계별 객체 특징 정보에 기초하여 검사용 열화상 영상의 객체 이상 정보를 출력하는 분류부
    를 포함하고,
    상기 전처리부는,
    입력되는 열화상 영상으로부터 객체를 탐지하고, 탐지된 객체의 객체 영역을 결정하는 객체 영역 결정부;
    상기 객체 영역 결정부에서 결정된 객체 영역으로부터 미리 설정된 단계별로 발열 영역을 추출하고 객체 영역에 대한 발열 영역의 상대적 위치 및 상대적 크기를 결정하는 단계별 발열 영역 결정부;
    상기 단계별 발열 영역 결정부에서 추출된 각 단계별 발열 영역 내에 포함된 색상 픽셀값들의 단계별 발열 영역에 대한 단계별 색상 분포 정보를 추출하는 단계별 색상 분포 정보 추출부; 및
    상기 단계별 발열 영역 결정부에서 결정된 단계별 발열 영역의 상대적 위치 정보 및 상대적 크기 정보와 상기 단계별 색상 분포 정보 추출부에서 추출된 단계별 색상 분포 정보에 의해 단계별 객체 특징 정보를 구성하는 단계별 객체 특징 정보 구성부
    를 포함하고,
    상기 단계별 객체 특징 정보 구성부는, 입력되는 열화상 영상이 학습용 열화상 영상인 경우 단계별 객체 특징 정보를 학습 수행부로 전달하고, 입력되는 열화상 영상이 검사용 열화상 영상인 경우 단계별 객체 특징 정보를 분류부로 전달하는 것을 특징으로 하는 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치.
  9. 삭제
  10. 청구항 8에 있어서,
    상기 학습 수행부는, 상기 객체 특징 정보에 의해 머신 러닝의 비지도 학습에 기반하여 분류부를 학습시키는 것을 특징으로 하는 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치.
  11. 청구항 8에 있어서,
    상기 분류부는, 검사용 열화상 영상에 대해 전처리부에서 구성되어 전달되는 단계별 객체 특징 정보를 입력받아 해당 단계별 객체 특징 정보에 상응하는 객체 이상 정보를 출력하는 것을 특징으로 하는 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치.
  12. 청구항 11에 있어서,
    상기 객체 이상 정보는, 비정상 상태로 판단된 검사용 열화상 영상의 발열 영역 정보를 포함하는 것을 특징으로 하는 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치.
  13. 청구항 8, 청구항 10 내지 청구항 12 중 어느 한 항에 의한 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치에서 수행되는 열화상 영상의 객체 이상 현상 탐지 방법으로서,
    입력되는 열화상 영상에서 객체를 탐지하고, 탐지된 객체의 객체 영역에 대하여 미리 설정된 단계별로 발열 영역을 추출하고, 상기 단계별 발열 영역에 대한 객체 특징 정보를 추출하는 제1 단계;
    학습용 열화상 영상에 대해 상기 추출된 단계별 객체 특징 정보에 의해 분류부를 학습시키는 제2 단계;
    검사용 열화상 영상에서 객체를 탐지하고, 탐지된 객체의 객체 영역에 대하여 미리 설정된 단계별로 발열 영역을 추출하고, 상기 단계별 발열 영역에 대한 객체 특징 정보를 추출하는 제3 단계; 및
    상기 검사용 열화상 영상에서 추출된 단계별 객체 특징 정보에 기초하여 분류부가 검사용 열화상 영상의 객체 이상 정보를 출력하는 제4 단계
    를 포함하는 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 방법.
KR1020200187145A 2020-12-30 2020-12-30 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치 및 방법 KR102242477B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200187145A KR102242477B1 (ko) 2020-12-30 2020-12-30 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200187145A KR102242477B1 (ko) 2020-12-30 2020-12-30 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102242477B1 true KR102242477B1 (ko) 2021-04-20

Family

ID=75743037

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200187145A KR102242477B1 (ko) 2020-12-30 2020-12-30 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102242477B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023286941A1 (ko) * 2021-07-15 2023-01-19 한국수력원자력 주식회사 열화상 이미지의 발열 및 반사열 판별 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102144531B1 (ko) * 2019-07-10 2020-08-14 (주)아이지오 딥 러닝 영상분석을 활용한 객체 메타데이터 기반의 자동 선별관제 방법
KR102164177B1 (ko) 2016-09-30 2020-10-13 비와이디 컴퍼니 리미티드 파워 캐비닛
KR20200142147A (ko) * 2019-06-11 2020-12-22 주식회사 비즈모델라인 열화상 인식 기반 객체 정보 인식 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102164177B1 (ko) 2016-09-30 2020-10-13 비와이디 컴퍼니 리미티드 파워 캐비닛
KR20200142147A (ko) * 2019-06-11 2020-12-22 주식회사 비즈모델라인 열화상 인식 기반 객체 정보 인식 방법
KR102144531B1 (ko) * 2019-07-10 2020-08-14 (주)아이지오 딥 러닝 영상분석을 활용한 객체 메타데이터 기반의 자동 선별관제 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023286941A1 (ko) * 2021-07-15 2023-01-19 한국수력원자력 주식회사 열화상 이미지의 발열 및 반사열 판별 방법

Similar Documents

Publication Publication Date Title
US10878283B2 (en) Data generation apparatus, data generation method, and data generation program
Azizah et al. Deep learning implementation using convolutional neural network in mangosteen surface defect detection
US10885618B2 (en) Inspection apparatus, data generation apparatus, data generation method, and data generation program
CN110274908B (zh) 缺陷检查装置、缺陷检查方法以及计算机可读记录介质
US10789504B2 (en) Method and device for extracting information in histogram
US10410292B2 (en) Method, system, apparatus, and storage medium for realizing antifraud in insurance claim based on consistency of multiple images
US20210089895A1 (en) Device and method for generating a counterfactual data sample for a neural network
JP2011214903A (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
WO2020189044A1 (ja) 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル
CN113111817B (zh) 语义分割的人脸完整度度量方法、系统、设备及存储介质
US20210364447A1 (en) Inspection device and method
KR102242477B1 (ko) 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치 및 방법
CN113469950A (zh) 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
Lamping et al. ChickenNet-an end-to-end approach for plumage condition assessment of laying hens in commercial farms using computer vision
Wang et al. Local defect detection and print quality assessment
TWI822968B (zh) 濾色器檢查裝置、檢查裝置、濾色器檢查方法及檢查方法
US10395139B2 (en) Information processing apparatus, method and computer program product
KR102430946B1 (ko) 소장 정결도를 진단하는 시스템 및 방법
JP7423237B2 (ja) 画像処理装置、画像処理方法、プログラム
CN112396594A (zh) 变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质
US20220122244A1 (en) Defect image generation method for deep learning and system therefor
JP6760589B2 (ja) 画像処理装置および画像処理方法
KR102082129B1 (ko) 영상 인식 기반 동물 특이 종 인식 장치 및 방법
KR20230017806A (ko) 벌크 플로우 내에서 복수의 물체를 분류하도록 신경망-구현 센서 시스템을 학습시키는 방법 및 시스템
WO2021119946A1 (en) Food inspection solution

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant