KR20200017521A - 모델 학습 장치, 학습 완료 모델의 생성 방법, 프로그램, 학습 완료 모델, 감시 장치, 및 감시 방법 - Google Patents

모델 학습 장치, 학습 완료 모델의 생성 방법, 프로그램, 학습 완료 모델, 감시 장치, 및 감시 방법 Download PDF

Info

Publication number
KR20200017521A
KR20200017521A KR1020207001770A KR20207001770A KR20200017521A KR 20200017521 A KR20200017521 A KR 20200017521A KR 1020207001770 A KR1020207001770 A KR 1020207001770A KR 20207001770 A KR20207001770 A KR 20207001770A KR 20200017521 A KR20200017521 A KR 20200017521A
Authority
KR
South Korea
Prior art keywords
image data
monitoring target
model
learning
monitoring
Prior art date
Application number
KR1020207001770A
Other languages
English (en)
Other versions
KR102395357B1 (ko
Inventor
마스미 노무라
고키 다테이시
모토시 다카스
Original Assignee
미츠비시 히타치 파워 시스템즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미츠비시 히타치 파워 시스템즈 가부시키가이샤 filed Critical 미츠비시 히타치 파워 시스템즈 가부시키가이샤
Publication of KR20200017521A publication Critical patent/KR20200017521A/ko
Application granted granted Critical
Publication of KR102395357B1 publication Critical patent/KR102395357B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Alarm Systems (AREA)

Abstract

화상 취득부는, 정상의 감시 대상이 촬상된 화상 데이터를 취득한다. 화상 처리부는, 화상 데이터에 대하여, 감시 대상의 정상의 범위를 넘지 않는 범위에서, 색조의 변경을 수반하는 상이한 화상 처리를 행하는 것에 의해, 복수의 복제 화상 데이터를 생성한다. 학습부는, 복수의 복제 화상 데이터를 교사 데이터로 하여, 감시 대상을 촬상한 화상 데이터로부터, 감시 대상의 정상성의 판정에 이용되는 값을 출력하도록 모델을 학습시킨다.

Description

모델 학습 장치, 학습 완료 모델의 생성 방법, 프로그램, 학습 완료 모델, 감시 장치, 및 감시 방법
본 발명은, 모델 학습 장치, 학습 완료 모델의 생성 방법, 프로그램, 학습 완료 모델, 감시 장치, 및 감시 방법에 관한 것이다.
본원은, 2017년 7월 27일에 일본에 출원된 특허 출원 2017-145268호에 대하여 우선권을 주장하고, 그 내용을 여기에 원용한다.
특허문헌 1에는, 미리 감시 대상의 과거의 정상 때의 화상의 학습에 의해 정상 규범 화상을 생성하고, 감시 대상을 촬상한 화상과 정상 규범 화상을 비교하여 감시 대상의 정상성을 판정하는 기술이 개시되어 있다.
특허문헌 2에는, 기계 학습과 관련되는 모델의 학습 때에 있어서, 교사 데이터인 화상에 필터 처리, 트리밍 처리 및 회전 처리를 행함으로써, 라벨 부여를 행하는 수고를 생략하면서 교사 데이터를 증가시키는 기술이 개시되어 있다.
특허문헌 1 : 일본 특허 공개 H7-78239호 공보 특허문헌 2 : 일본 특허 공개 2016-62524호 공보
특허문헌 1에 기재된 발명에 있어서, 정상 규범 화상을 생성하기 위해서는, 감시 대상의 정상 때의 화상을 대량으로 준비할 필요가 있다. 한편, 감시 대상의 정상성의 판정을 조기에 실시하고 싶다고 하는 요망이 있고, 이 경우에는 학습을 위해 충분한 화상을 준비할 수 없는 일이 있다.
본 발명의 목적은, 교사 데이터가 적은 상태에 있어서도, 학습 완료 모델에 의해 감시 대상의 정상성을 적절히 판정할 수 있는 모델 학습 장치, 학습 완료 모델의 생성 방법, 프로그램, 학습 완료 모델, 감시 장치, 및 감시 방법을 제공하는 것에 있다.
본 발명의 제 1 태양에 의하면, 모델 학습 장치는, 정상의 감시 대상이 촬상된 화상 데이터를 취득하는 화상 취득부와, 상기 화상 데이터에 대하여, 상기 감시 대상의 정상의 범위를 넘지 않는 범위에서, 색조의 변경을 수반하는 상이한 화상 처리를 행하는 것에 의해, 복수의 복제 화상 데이터를 생성하는 화상 처리부와, 상기 복수의 복제 화상 데이터를 교사 데이터로 하여, 상기 감시 대상을 촬상한 화상 데이터로부터, 상기 감시 대상의 정상성의 판정에 이용되는 값을 출력하도록 상기 모델을 학습시키는 학습부를 구비한다.
본 발명의 제 2 태양에 의하면, 제 1 태양과 관련되는 모델 학습 장치는, 상기 화상 데이터가, 상기 감시 대상의 온도에 따라 색조가 상이한 열화상을 포함하고, 상기 화상 처리부는, 상기 화상 데이터의 색조를, 상기 감시 대상의 환경 온도의 변화 범위 내의 상이한 온도에 상당하는 색조로 보정하는 화상 처리를 행하는 것에 의해, 상기 복수의 복제 화상 데이터를 생성하는 것이더라도 좋다.
본 발명의 제 3 태양에 의하면, 제 2 태양과 관련되는 모델 학습 장치는, 상기 화상 데이터가 촬상되었을 때의 상기 감시 대상의 환경 온도를 나타내는 온도 데이터를 취득하는 온도 취득부와, 상기 화상 데이터와 상기 온도 데이터에 근거하여, 온도 변화와 색조의 보정치의 관계를 특정하는 보정치 특정부를 더 구비하고, 상기 화상 처리부는, 상기 화상 데이터에 대하여, 상기 보정치 특정부가 특정한 상기 관계에 근거하여 특정되는 상기 보정치를 이용한 화상 처리를 행하는 것이더라도 좋다.
본 발명의 제 4 태양에 의하면, 제 1 태양 내지 제 3 태양 중 어느 하나의 태양과 관련되는 모델 학습 장치는, 상기 화상 처리부가, 상기 화상 데이터의 색조를, 상기 감시 대상의 환경의 조도의 변화 범위 내의 상이한 조도에 상당하는 색조로 보정하는 화상 처리를 행하는 것에 의해, 상기 복수의 복제 화상 데이터를 생성하는 것이더라도 좋다.
본 발명의 제 5 태양에 의하면, 제 1 태양 내지 제 4 태양 중 어느 하나의 태양과 관련되는 모델 학습 장치는, 상기 화상 데이터를 분할하여 복수의 분할 화상 데이터를 생성하는 분할부를 더 구비하고, 상기 화상 처리부는, 상기 복수의 분할 화상 데이터의 각각에 대하여, 색조의 변경을 수반하는 상이한 화상 처리를 행하는 것에 의해, 복수의 복제 화상 데이터를 생성하는 것이더라도 좋다.
본 발명의 제 6 태양에 의하면, 학습 완료 모델의 생성 방법은, 정상의 감시 대상이 촬상된 화상 데이터를 취득하는 스텝과, 상기 화상 데이터에 대하여, 상기 감시 대상의 정상의 범위를 넘지 않는 범위에서, 색조의 변경을 수반하는 상이한 화상 처리를 행하는 것에 의해, 복수의 복제 화상 데이터를 생성하는 스텝과, 상기 복수의 복제 화상 데이터를 교사 데이터로 하여, 상기 감시 대상을 촬상한 화상 데이터로부터, 상기 감시 대상의 정상성의 판정에 이용되는 값을 출력하도록 상기 모델을 학습시킴으로써 학습 완료 모델을 생성하는 스텝을 갖는다.
본 발명의 제 7 태양에 의하면, 프로그램은, 컴퓨터에, 정상의 감시 대상이 촬상된 화상 데이터를 취득하는 스텝과, 상기 화상 데이터에 대하여, 상기 감시 대상의 정상의 범위를 넘지 않는 범위에서, 색조의 변경을 수반하는 상이한 화상 처리를 행하는 것에 의해, 복수의 복제 화상 데이터를 생성하는 스텝과, 상기 복수의 복제 화상 데이터를 교사 데이터로 하여, 상기 감시 대상을 촬상한 화상 데이터로부터, 상기 감시 대상의 정상성의 판정에 이용되는 값을 출력하도록 상기 모델을 학습시키는 스텝을 실행시킨다.
본 발명의 제 8 태양에 의하면, 학습 완료 모델은, 정상 때에 있어서의 감시 대상이 촬상된 화상 데이터에 대하여, 정상의 범위를 넘지 않고서 색조의 변경을 수반하는 상이한 화상 처리를 행하는 것에 의해 생성된 복수의 복제 화상 데이터를 교사 데이터로 하여, 상기 감시 대상을 촬상한 화상 데이터로부터, 상기 감시 대상의 정상성의 판정에 이용되는 값을 출력하도록 학습된 학습 완료 모델이고, 컴퓨터에, 취득된 상기 화상 데이터로부터, 상기 감시 대상의 정상성의 판정에 이용되는 값을 출력하는 스텝을 실행시킨다.
본 발명의 제 9 태양에 의하면, 감시 장치는, 촬상된 화상 데이터를 취득하는 화상 취득부와, 제 8 태양과 관련되는 학습 완료 모델을 이용하여, 상기 화상 데이터로부터 상기 감시 대상의 정상성의 판정에 이용되는 값을 산출하는 추론 처리부와, 산출된 상기 값을 이용하여, 상기 감시 대상의 정상성을 판정하는 판정부를 구비한다.
본 발명의 제 10 태양에 의하면, 감시 방법은, 감시 대상이 촬상된 화상 데이터를 취득하는 스텝과, 제 9 태양과 관련되는 모델 학습 장치에 의해 학습된 학습 완료 모델을 이용하여, 상기 화상 데이터로부터 상기 감시 대상의 정상성의 판정에 이용되는 값을 산출하는 스텝과, 산출된 상기 값을 이용하여, 상기 감시 대상의 정상성을 판정하는 스텝을 갖는다.
상기 태양 중 적어도 하나의 태양에 의하면, 모델 학습 장치는, 교사 데이터가 적은 상태에 있어서도, 학습 완료 모델에 의해 감시 대상의 정상성을 적절히 판정시킬 수 있다.
도 1은 제 1 실시형태와 관련되는 감시 시스템의 구성을 나타내는 개략도이다.
도 2는 제 1 실시형태와 관련되는 감시 장치의 구성을 나타내는 개략 블록도이다.
도 3은 제 1 실시형태와 관련되는 감시 장치에 의한 학습 완료 모델의 생성 방법을 나타내는 플로차트이다.
도 4는 제 1 실시형태와 관련되는 감시 장치에 의한 정상성의 판정 방법을 나타내는 플로차트이다.
도 5는 제 3 실시형태와 관련되는 감시 장치의 구성을 나타내는 개략 블록도이다.
도 6은 제 3 실시형태와 관련되는 화상 데이터의 분할의 예를 나타내는 도면이다.
도 7은 적어도 하나의 실시형태와 관련되는 컴퓨터의 구성을 나타내는 개략 블록도이다.
<정의>
"특정한다"는 것은, 제 1 값을 이용하여 복수의 값을 취할 수 있는 제 2 값을 정하는 것이다. 예컨대, "특정한다"는 것은, 제 1 값으로부터 제 2 값을 산출하는 것, 테이블을 참조하여 제 1 값에 대응하는 제 2 값을 읽어내는 것, 제 1 값을 쿼리로 하여 제 2 값을 검색하는 것, 제 1 값에 근거하여 복수의 후보 중에서 제 2 값을 선택하는 것을 포함한다.
"취득한다"는 것은, 새롭게 값을 얻는 것이다. 예컨대, "취득한다"는 것은, 값을 수신하는 것, 값의 입력을 받는 것, 테이블로부터 값을 읽어내는 것, 값을 산출하는 것, 값을 계측하는 것을 포함한다.
<제 1 실시형태>
이하, 도면을 참조하면서 실시형태에 대하여 자세하게 설명한다.
도 1은 제 1 실시형태와 관련되는 감시 시스템의 구성을 나타내는 개략도이다.
제 1 실시형태와 관련되는 감시 시스템(10)은, 근방법(neighborhood method)에 근거하여 화상 데이터로부터 감시 대상(100)의 정상성을 판정한다. 근방법은, 복수의 표본 데이터 중에서, 대상 데이터의 근방의 표본 데이터를 추출하고, 추출한 표본 데이터에 근거하여, 정상성을 판정하는 수법이다. 근방법의 예로서는, k근방법(k-nearest neighbor method), 국소이상치법(local outlier factor method) 등을 들 수 있다.
감시 시스템(10)은, 촬상 장치(200)와, 감시 장치(300)를 구비한다.
촬상 장치(200)는, 감시 대상(100)을 촬상하고, 가시화상 데이터, 적외화상 데이터, 및 열화상 데이터를 얻는다. 가시화상 데이터는, 감시 대상(100)에 의해 반사된 가시광의 계측에 의해 얻어지는 화상 데이터이다. 적외화상 데이터는, 촬상 장치(200)가 투광하고, 감시 대상(100)에 의해 반사된 적외선의 계측에 의해 얻어지는 화상 데이터이다. 열화상 데이터는, 감시 대상(100)으로부터 방사되는 적외선의 계측에 의해 얻어지는 화상 데이터이다. 촬상 장치(200)는, 화상 데이터를 일정 주기마다 촬상한다.
감시 장치(300)는, 촬상 장치(200)가 촬상한 화상 데이터에 근거하여, 감시 대상(100)의 정상성을 판정한다.
도 2는 제 1 실시형태와 관련되는 감시 장치의 구성을 나타내는 개략 블록도이다.
감시 장치(300)는, 화상 취득부(301), 온도 취득부(302), 이력 기억부(303), 보정치 특정부(304), 화상 처리부(305), 학습부(306), 모델 기억부(307), 추론 처리부(308), 판정부(309), 출력 제어부(310)를 구비한다.
화상 취득부(301)는, 촬상 장치(200)가 촬상한 가시화상 데이터, 적외화상 데이터, 및 열화상 데이터를 취득한다.
이력 기억부(303)는, 화상 데이터와 촬상 시각을 관련지어 기억한다. 이력 기억부(303)가 기억하는 화상 데이터는, 모두 정상의 감시 대상(100)이 촬상된 화상 데이터이다.
온도 취득부(302)는, 촬상 장치(200)가 화상 데이터를 촬상한 시각에 있어서의 감시 대상(100)의 환경 온도를 나타내는 온도 데이터를 취득한다. 예컨대, 온도 취득부(302)는, 네트워크를 통해서 감시 대상(100)이 설치된 지역의 기상 정보를 취득한다.
보정치 특정부(304)는, 화상 데이터의 화상 처리에 이용하는 보정치를 특정한다. 구체적으로는, 보정치 특정부(304)는, 이력 기억부(303)가 기억하는 가시화상 데이터에 근거하여, 감시 대상(100)의 환경 조도에 따라 가시화상 데이터의 색조를 변화시키기 위한 감마 보정치를 특정한다. 다시 말해, 보정치 특정부(304)는, 이력 기억부(303)가 기억하는 가시화상 데이터에 근거하여, 가시화상 데이터의 평균 명도의 증분과 감마 보정치의 관계를 특정한다. 가시화상 데이터는, 환경 조도가 낮을수록, 명도가 낮고, 또한 콘트라스트가 낮아진다. 또한, 보정치 특정부(304)는, 이력 기억부(303)가 기억하는 열화상 데이터에 근거하여, 환경 온도에 따라 열화상 데이터의 색조를 변화시키기 위한 감마 보정치를 특정한다. 다시 말해, 보정치 특정부(304)는, 이력 기억부(303)가 기억하는 열화상 데이터에 근거하여, 온도의 증분과 감마 보정치의 관계를 특정한다. 열화상 데이터는, 온도가 낮을수록, 명도가 낮아진다.
화상 처리부(305)는, 화상 데이터에 복수의 상이한 화상 처리를 행함으로써, 복수의 복제 화상 데이터를 생성한다. 화상 처리의 예로서는, 평활화 처리, 감마 보정, 에지 추출, 평행 이동, 회전 등을 들 수 있다. 감마 보정은, 색조 변경을 수반하는 화상 처리의 일례이다. 예컨대, 화상 처리부(305)는, A개의 화상 데이터에 대하여, B패턴의 평활화 처리, C패턴의 감마 보정, D패턴의 평행 이동, E패턴의 회전을 행함으로써, A×B×C×D×E개의 복제 화상 데이터를 생성한다. 화상 처리부(305)는, 감시 대상(100)의 정상의 범위를 넘지 않는 범위에서, 색조의 변경을 수반하는 상이한 화상 처리를 행한다. 예컨대, 화상 처리부(305)는, 열화상의 화상 처리를 행하는 경우에, 화상 데이터의 색조를, 소정 기간의 최고 기온으로부터 최저 기온까지의 온도 범위 내에서 변화시키도록 화상 처리를 행한다. 또한 예컨대, 화상 처리부(305)는, 가시화상의 화상 처리를 행하는 경우에, 화상 데이터의 색조를, 조명의 온으로부터 오프까지의 조도 범위 내에서 변화시키도록 화상 처리를 행한다.
학습부(306)는, 이력 기억부(303)가 기억하는 화상 데이터와, 화상 처리부(305)가 생성한 복제 화상 데이터를 교사 데이터로 하여, 모델을 학습시킨다. 즉, 학습부(306)는, 근방법의 표본 데이터로서, 화상 취득부(301)에 입력된 화상 데이터와, 화상 처리부(305)가 생성한 복제 화상 데이터를 모델 기억부(307)에 기억시킨다. 복수의 복제 화상 데이터를 포함하는 표본 데이터군은, 학습 완료 모델의 일례이다.
모델 기억부(307)는, 학습부(306)에 의해 학습된 모델을 기억한다.
추론 처리부(308)는, 모델 기억부(307)가 기억하는 모델을 이용하여, 화상 취득부(301)에 입력된 화상 데이터로부터, 감시 대상(100)의 정상성을 나타내는 지표치를 산출한다. 지표치는, 감시 대상(100)이 이상일 가능성이 높을수록 큰 값이 된다.
판정부(309)는, 추론 처리부(308)가 산출한 지표치와 임계치를 비교함으로써, 감시 대상(100)의 정상성을 판정한다. 판정부(309)는, 지표치가 임계치 미만인 경우에, 감시 대상(100)이 정상이라고 판정한다. 판정부(309)는, 지표치가 임계치 이상인 경우에, 감시 대상(100)이 이상이라고 판정한다.
출력 제어부(310)는, 판정부(309)에 의한 판정 결과를 출력 장치에 출력시킨다. 출력 장치의 예로서는, 디스플레이, 프린터, 스피커 등을 들 수 있다.
다음으로, 제 1 실시형태와 관련되는 감시 장치의 동작에 대하여 설명한다. 감시 장치(300)의 화상 취득부(301)는, 학습 완료 모델을 작성하기 전에, 촬상 장치(200)로부터 화상 데이터를 취득하고, 촬상 시각에 관련지어 이력 기억부(303)에 기록한다. 이것에 의해, 감시 장치(300)는, 이력 기억부(303)에 복수의 화상 데이터를 기억시킨다. 이때, 감시 장치(300)는, 화상 데이터 중, 어두운 부분의 계조가 흐트러져 피사체가 새까맣게 찍혀 나오는 현상(blocked up shadows) 또는 밝은 부분의 계조가 흐트러져 피사체가 새하얗게 찍혀 나오는 현상(blown out highlights)에 의해 감시 대상(100)의 상을 재현할 수 없는 것을 제외하여 두면 된다.
도 3은 제 1 실시형태와 관련되는 감시 장치에 의한 학습 완료 모델의 생성 방법을 나타내는 플로차트이다.
감시 장치(300)의 온도 취득부(302)는, 이력 기억부(303)가 기억하는 화상 데이터의 촬상 시각에 있어서의 감시 대상(100)의 환경 온도를 나타내는 온도 데이터를 취득한다(스텝 S1). 보정치 특정부(304)는, 이력 기억부(303)가 기억하는 복수의 열화상 데이터의 색조와, 그 열화상 데이터의 촬상 때에 있어서의 환경 온도에 근거하여, 온도의 증분과 감마 보정치의 관계를 특정한다(스텝 S2). 예컨대, 보정치 특정부(304)는, 2개의 열화상 데이터에 대하여, 명도의 차이가 최소가 되는 감마 보정치를 구하고, 또한 그 2개의 열화상 데이터에 있어서의 환경 온도 차이를 구함으로써, 감마 보정치와 온도의 증분의 관계를 구할 수 있다. 또한 보정치 특정부(304)는, 이력 기억부(303)가 기억하는 복수의 가시화상 데이터의 색조에 근거하여, 평균 명도의 증분과 감마 보정치의 관계를 특정한다(스텝 S3).
화상 처리부(305)는, 온도 취득부(302)가 취득한 온도 데이터, 또는 다른 기상 데이터에 근거하여, 현재 시각을 기점으로 한 소정 기간(예컨대, 2개월간)에 있어서의 최고 기온과 최저 기온을 특정한다(스텝 S4). 화상 처리부(305)는, 이력 기억부(303)가 기억하는 열화상 데이터의 각각에 대하여, 그 열화상 데이터와 관련되는 환경 온도로부터, 최고 기온과 최저 기온의 범위를 소정 수로 분할한 각 온도까지의 증분에 대응하는 감마 보정치를 각각 이용하여 감마 보정을 행함으로써, 복수의 복제 화상 데이터를 생성한다(스텝 S5). 예컨대, 최고 기온이 10℃이고, 최저 기온이 -10℃이고, 어느 열화상 데이터와 관련되는 환경 온도가 0℃이고, 최고 기온과 최저 기온을 5분할하는 경우, 화상 처리부(305)는, 증분 -10℃에 대응하는 감마 보정치, 증분 -5℃에 대응하는 감마 보정치, 증분 5℃에 대응하는 감마 보정치, 증분 10℃에 대응하는 감마 보정치를 이용하여, 열화상 데이터의 감마 보정을 행함으로써, 4개의 복제 화상 데이터를 생성한다.
화상 처리부(305)는, 이력 기억부(303)가 기억하는 가시화상 데이터에 근거하여, 평균 명도의 최대치와 최소치를 특정한다(스텝 S6). 화상 처리부(305)는, 이력 기억부(303)가 기억하는 가시화상 데이터의 각각에 대하여, 그 가시화상 데이터의 평균 명도로부터, 평균 명도의 범위를 소정 수로 분할한 각 명도까지의 증분에 대응하는 감마 보정치를 각각 이용하여 감마 보정을 행함으로써, 복수의 복제 화상 데이터를 생성한다(스텝 S7).
화상 처리부(305)는, 이력 기억부(303)가 기억하는 각 화상 데이터, 및 각 복제 화상 데이터에 대하여, 적어도 평활화 처리를 포함하는 그 외의 화상 처리를 행함으로써, 또한 복수의 복제 화상 데이터를 생성한다(스텝 S8).
학습부(306)는, 이력 기억부(303)가 기억하는 화상 데이터 및 화상 처리부(305)가 생성한 복수의 복제 화상 데이터를 교사 데이터로 하여 모델을 학습시키고(스텝 S9), 학습 완료 모델을 모델 기억부(307)에 기록한다(스텝 S10).
모델 기억부(307)에 학습 완료 모델이 기억되면, 감시 장치(300)는, 일정 주기와 관련되는 타이밍마다, 감시 대상(100)의 정상성 판정 처리를 행한다. 도 4는 제 1 실시형태와 관련되는 감시 장치에 의한 정상성의 판정 방법을 나타내는 플로차트이다.
감시 장치(300)의 화상 취득부(301)는, 촬상 장치(200)로부터 화상 데이터를 취득한다(스텝 S51). 다음으로, 화상 처리부(305)는, 취득한 화상 데이터를 평활화한다(스텝 S52). 추론 처리부(308)는, 모델 기억부(307)가 기억하는 학습 완료 모델에, 평활화된 화상 데이터를 입력함으로써, 지표치를 산출한다(스텝 S53).
예컨대, 추론 처리부(308)는, k근방법에 의해 지표치를 산출하는 경우, 이하의 처리를 행한다. 추론 처리부(308)는, 학습 완료 모델을 구성하는 표본 데이터의 각각에 대하여, 취득된 화상 데이터와의 거리를 산출한다. 추론 처리부(308)는, 산출한 거리가 가장 짧은 k개의 표본 데이터와 관련되는 거리의 대표치를, 지표치로서 특정한다.
예컨대, 추론 처리부(308)는, 국소이상치법에 의해 지표치를 산출하는 경우, 이하의 처리를 행한다. 추론 처리부(308)는, 학습 완료 모델을 구성하는 표본 데이터의 각각에 대하여, 취득된 화상 데이터와의 거리를 산출한다. 추론 처리부(308)는, 산출한 거리가 가장 짧은 k개의 표본 데이터의 밀도를 산출한다. 추론 처리부(308)는, k개의 표본 데이터와 관련되는 거리의 대표치를 산출한 밀도에 근거하여 정규화한 값을, 지표치로서 특정한다.
표본 데이터와 취득된 화상 데이터의 거리, 표본 데이터의 밀도, 및 지표치는, "감시 대상의 정상성의 판정에 이용되는 값"의 일례이다.
다음으로, 판정부(309)는, 지표치가 임계치 미만인지 여부를 판정한다(스텝 S54). 지표치가 임계치 미만인 경우(스텝 S54 : 예), 판정부(309)는, 감시 대상(100)이 정상이라고 판정한다(스텝 S55). 한편, 지표치가 임계치 이상인 경우(스텝 S54 : 아니오), 판정부(309)는, 감시 대상(100)이 이상이라고 판정한다(스텝 S56).
그리고, 출력 제어부(310)는, 판정부(309)의 판정 결과를, 출력 장치에 출력시킨다(스텝 S57).
이와 같이, 제 1 실시형태와 관련되는 감시 장치(300)는, 정상의 감시 대상이 촬상된 화상 데이터에 대하여, 감시 대상의 정상의 범위를 넘지 않는 범위에서, 색조의 변경을 수반하는 상이한 화상 처리를 행하는 것에 의해, 복수의 복제 화상 데이터를 생성하고, 이들을 교사 데이터로 하여 모델을 학습시킨다. 이것에 의해, 감시 장치(300)는, 적은 화상 데이터로부터 다량의 교사 데이터를 생성할 수 있다. 따라서, 제 1 실시형태와 관련되는 감시 시스템(10)에 의하면, 원래의 교사 데이터가 적은 상태에 있어서도, 학습 완료 모델에 의해 감시 대상의 정상성을 적절히 판정할 수 있다. 또, 제 1 실시형태에서는, 색조의 변경을 수반하는 상이한 화상 처리로서, 감마 보정치를 상이하게 한 감마 보정을 이용했지만, 이것으로 한정되지 않는다. 예컨대, 다른 실시형태에 있어서는, 보정치를 상이하게 한 콘트라스트 보정, 명도 보정 등, 다른 화상 처리를 실시하더라도 좋다.
제 1 실시형태와 관련되는 화상 처리부(305)는, 열화상 데이터의 색조를, 감시 대상(100)의 환경 온도의 변화 범위 내의 상이한 온도에 상당하는 색조로 보정하는 화상 처리를 행하는 것에 의해, 복수의 복제 화상 데이터를 생성한다. 이것에 의해, 화상 처리부(305)는, 실제로 관측되지 않은 환경 온도에 있어서의 감시 대상(100)의 상태를 나타내는 열화상 데이터를 생성할 수 있다. 또한, 보정치 특정부(304)는, 화상 데이터와 촬상 때의 환경 온도에 근거하여, 온도 변화와 색조의 보정치의 관계를 특정한다. 이것에 의해, 감시 장치(300)는, 목적의 온도에 대응하는 색조가 되도록 화상 처리를 행할 수 있다.
제 1 실시형태와 관련되는 화상 처리부(305)는, 가시화상 데이터의 색조를, 감시 대상(100)의 환경의 조도의 변화 범위 내의 상이한 조도에 상당하는 색조로 보정하는 화상 처리를 행하는 것에 의해, 복수의 복제 화상 데이터를 생성한다. 이것에 의해, 화상 처리부(305)는, 실제로 관측되지 않은 조명 환경에 있어서의 감시 대상(100)의 상태를 나타내는 가시화상 데이터를 생성할 수 있다.
또한, 제 1 실시형태와 관련되는 감시 장치(300)는, 학습 완료 모델로서 감시 대상(100)의 정상 때의 상태를 학습한다. 다시 말해, 제 1 실시형태와 관련되는 감시 장치(300)에 있어서는, 교사 데이터로서 정상 때의 감시 장치(300)가 찍히는 화상 데이터만을 이용하고, 이상 때의 감시 장치(300)가 찍히는 화상 데이터를 이용하지 않는다. 따라서, 감시 장치(300)는, 각 화상 데이터를 교사 데이터로서 이용함에 있어서, 정상인지 이상인지를 나타내는 라벨을 부여할 필요가 없다.
그런데, 감시 대상(100)의 감시를 계속함으로써, 촬상 장치(200)에 의해 촬상되는 화상 데이터의 수는 점차 증가한다. 따라서, 모델 기억부(307)가 기억하는 모델을 학습부(306)가 적당히 갱신함으로써, 학습 완료 모델을 구성하는 오리지널(복제 화상 데이터가 아닌) 화상 데이터의 수가 증가한다. 오리지널 화상 데이터는, 복제 화상 데이터와 비교하여 교사 데이터로서의 신뢰성이 높다. 그 때문에, 감시 장치(300)는, 입력되는 화상 데이터의 근방의 표본 데이터를 선택할 때에, 복제 화상 데이터와 비교하여 오리지널 화상 데이터가 선택되기 쉽도록 모델을 형성하더라도 좋다. 예컨대, 학습부(306)는, 표본 데이터의 수가 소정 수에 도달한 상태에서 새롭게 오리지널 화상 데이터를 취득한 경우에, 오리지널 화상 데이터를 표본 데이터에 추가함과 아울러, 복제 화상 데이터인 표본 데이터를 삭제함으로써, 학습 완료 모델을 갱신하더라도 좋다. 또한 예컨대, 추론 처리부(308)는, 표본 데이터의 선택 때에, 오리지널 화상 데이터의 거리에 1 미만의 가중치를 곱함으로써, 오리지널 화상 데이터가 선택되기 쉽도록 하더라도 좋다. 단, 추론 처리부(308)는, 선택한 표본 데이터를 이용하여 지표치를 산출할 때, 가중치를 가미하지 않는 거리에 근거하여 지표치를 산출한다.
<제 2 실시형태>
제 1 실시형태와 관련되는 감시 시스템(10)은, 근방법에 근거하여 화상 데이터로부터 감시 대상(100)의 정상성을 판정한다. 이것에 비하여, 제 2 실시형태와 관련되는 감시 시스템(10)은, 뉴럴 네트워크에 근거하여 화상 데이터로부터 감시 대상(100)의 정상성을 판정한다.
제 2 실시형태와 관련되는 감시 장치(300)는, 제 1 실시형태와 모델 기억부(307)가 기억하는 모델, 및 학습부(306), 추론 처리부(308) 및 판정부(309)의 처리가 상이하다.
모델 기억부(307)는, 입력층, 중간층, 및 출력층으로 이루어지는 뉴럴 네트워크 모델을 기억한다. 입력층 및 출력층의 노드 수는, 화상 데이터의 화소 수와 동일하다. 학습 완료 모델은, 입력층에 입력된 화상 데이터를 압축한 후에 복원하여 출력하는 오토 인코더로서 기능한다. 학습 완료 모델이 출력하는 화상 데이터는, "감시 대상의 정상성의 판정에 이용되는 값"의 일례이다.
학습부(306)는, 이력 기억부(303)가 기억하는 화상 데이터와, 화상 처리부(305)가 생성한 복제 화상 데이터를 교사 데이터로 하여, 모델을 학습시킨다. 즉, 학습부(306)는, 모델 기억부(307)가 기억하는 모델의 입력층과 출력층에 교사 데이터를 입력하고, 입력층과 중간층의 각 노드에 있어서의 가중치 계수와 활성화 함수를 학습시킨다. 교사 데이터는, 모두 정상 때에 있어서의 감시 대상(100)이 찍힌 화상 데이터이다. 그 때문에, 학습 완료 모델은, 입력된 화상 데이터로부터, 정상 때에 있어서의 감시 대상(100)이 찍힌 화상 데이터를 출력하도록 학습된다. 다시 말해, 이상 때에 있어서의 감시 대상(100)이 찍힌 화상 데이터가 학습 완료 모델에 입력됨으로써, 학습 완료 모델이, 오리지널 화상 데이터보다 정상에 가까운 감시 대상(100)이 찍힌 화상 데이터를 출력하는 것이 기대된다.
추론 처리부(308)는, 모델 기억부(307)가 기억하는 학습 완료 모델을 이용하여, 화상 취득부(301)에 입력된 화상 데이터로부터, 화상 데이터를 재생성한다. 학습 완료 모델은, 정상 때에 있어서의 감시 대상(100)이 찍힌 화상 데이터에 근거하여 학습되고 있기 때문에, 입력한 화상 데이터와 재생성된 화상 데이터의 차이는, 감시 대상(100)이 이상일 가능성이 높을수록 커진다.
판정부(309)는, 추론 처리부(308)가 재생성한 화상 데이터와 입력한 화상 데이터의 차이를 산출하고, 그 차이를 임계치와 비교함으로써, 감시 대상(100)의 정상성을 판정한다. 판정부(309)는, 재생성한 화상 데이터와 입력한 화상 데이터의 차이가 임계치 미만인 경우에, 감시 대상(100)이 정상이라고 판정한다. 판정부(309)는, 지표치가 임계치 이상인 경우에, 감시 대상(100)이 이상이라고 판정한다.
이와 같이, 제 2 실시형태와 관련되는 감시 장치(300)는, 제 1 실시형태와 관련되는 감시 장치(300)와 마찬가지로, 원래의 교사 데이터가 적은 상태에 있어서도, 학습 완료 모델에 의해 감시 대상의 정상성을 적절히 판정할 수 있다.
또, 제 2 실시형태와 관련되는 학습 완료 모델은, 재생성된 화상을 출력하지만, 이것으로 한정되지 않는다. 예컨대, 다른 실시형태에 있어서는, 학습 완료 모델이 재생성한 화상 데이터와 입력한 화상 데이터의 차이를 출력하더라도 좋다. 이 경우, 재생성한 화상 데이터와 입력한 화상 데이터의 차이는, "감시 대상의 정상성의 판정에 이용되는 값"의 일례이다.
그런데, 감시 대상(100)의 감시를 계속하고, 모델 기억부(307)가 기억하는 모델을 학습부(306)가 적당히 갱신함으로써, 학습 완료 모델의 학습에 이용되는 화상 데이터와 관련되는 환경 온도의 최대치로부터 최소치까지의 범위는 넓어져 간다. 예컨대, 학습이 반년간 계속되면, 학습 완료 모델은, 하계의 감시 대상(100)을 찍는 화상 데이터로 학습되고, 또한 동계의 감시 대상(100)을 찍는 화상 데이터로도 학습된다. 이 경우, 예컨대 감시 대상(100)이 과열 상태에 있는 열화상 데이터를 입력으로 하여 학습 완료 모델에 화상 데이터를 재생성시키면, 입력한 화상 데이터와 재생성된 화상 데이터의 차이가 임계치 이하가 될 가능성이 있다. 이것은, 학습 완료 모델이 하계의 화상 데이터를 이용하여 학습된 결과, 하계의 정상 때의 온도와 관련되는 화상 데이터로서 재생성되어 버리는 것에 따른다. 그 때문에, 감시 장치(300)는, 항상 소정 기간과 관련되는 화상 데이터에 의해 학습되도록 학습 모델을 갱신하더라도 좋다. 예컨대, 학습부(306)는, 정기적으로, 이력 기억부(303)가 기억하는 화상 데이터 중 최신의 소정 기간에 촬상된 것을 이용하여 모델을 학습시키고, 오래된 모델에 덮어쓰기 하여 모델 기억부(307)에 기록하더라도 좋다.
<제 3 실시형태>
제 3 실시형태와 관련되는 감시 시스템(10)은, 감시 대상(100) 중 이상이 발생하고 있는 개소를 출력한다.
도 5는 제 3 실시형태와 관련되는 감시 장치의 구성을 나타내는 개략 블록도이다.
제 3 실시형태와 관련되는 감시 장치(300)는, 제 1, 제 2 실시형태의 구성에 더하여, 분할부(311)와 이상 특정부(312)를 더 구비한다.
도 6은 제 3 실시형태와 관련되는 화상 데이터의 분할의 예를 나타내는 도면이다.
분할부(311)는, 화상 취득부(301)가 취득한 화상 데이터를 복수의 영역으로 분할하여, 분할 화상 데이터를 생성한다. 예컨대, 분할부(311)는, 화상 데이터를 세로로 4등분, 가로로 4등분한 16개의 분할 화상 데이터를 생성한다. 화상 처리부(305)는, 각 분할 화상 데이터에 대하여 화상 처리를 행하여, 복제 화상 데이터를 생성한다.
학습부(306)는, 분할부(311)에 의해 분할되는 복수의 영역의 각각에 대하여, 분할 화상 데이터 및 복제 화상 데이터를 교사 데이터로 하여, 모델을 학습시킨다. 모델 기억부(307)는, 분할되는 영역마다, 학습 완료 모델을 기억한다.
추론 처리부(308)는, 분할부(311)에 의해 분할된 분할 화상 데이터를, 각각 대응하는 학습 완료 모델에 입력함으로써, 각 영역의 지표치를 산출한다. 판정부(309)는, 각 영역의 지표치와 임계치를 비교하고, 적어도 하나의 영역에 대하여 지표치가 임계치 이상이 되는 경우에, 감시 대상(100)이 이상이라고 판정한다. 이상 특정부(312)는, 지표치가 임계치 이상이 된 영역을 특정함으로써, 감시 대상(100) 중 이상이 발생하고 있는 개소를 특정한다. 출력 제어부(310)는, 이상 특정부(312)에 의해 특정된 개소를 나타내는 정보를 출력 장치에 출력시킨다.
이와 같이, 제 3 실시형태에 의하면, 감시 장치(300)는, 화상 데이터를 분할하여 복수의 분할 화상 데이터를 생성하고, 분할 화상 데이터의 각각에 대하여, 색조의 변경을 수반하는 상이한 화상 처리를 행하는 것에 의해, 복수의 복제 화상 데이터를 생성한다. 이것에 의해, 감시 장치(300)는, 화상 데이터에 근거하여, 이상이 발생하고 있는 개소를 특정할 수 있다.
<변형예>
이상, 도면을 참조하여 일 실시형태에 대하여 자세하게 설명하여 왔지만, 구체적인 구성은 상술한 것으로 한정되는 일은 없고, 다양한 설계 변경 등을 하는 것이 가능하다.
예컨대, 상술한 실시형태에서는, 감시 장치(300)가 모델의 학습 및 모델에 근거하는 추론을 행하지만, 이것에 한하지 않는다. 예컨대, 다른 실시형태에서는, 모델 학습 장치와 감시 장치(300)가 별개로 마련되고, 모델 학습 장치가 모델의 학습을 행하고, 감시 장치(300)가 모델에 근거하는 추론을 행하더라도 좋다.
도 7은 적어도 하나의 실시형태와 관련되는 컴퓨터의 구성을 나타내는 개략 블록도이다.
컴퓨터(900)는, CPU(901), 주 기억 장치(902), 보조 기억 장치(903), 인터페이스(904)를 구비한다.
상술한 감시 장치(300)는, 컴퓨터(900)에 실장된다. 그리고, 상술한 각 처리부의 동작은, 프로그램의 형식으로 보조 기억 장치(903)에 기억되어 있다. CPU(901)는, 프로그램을 보조 기억 장치(903)로부터 읽어내어 주 기억 장치(902)에 전개하고, 그 프로그램에 따라 상기 처리를 실행한다. 또한, CPU(901)는, 프로그램에 따라, 상술한 각 기억부에 대응하는 기억 영역을 주 기억 장치(902) 또는 보조 기억 장치(903)에 확보한다.
보조 기억 장치(903)의 예로서는, HDD(Hard Disk Drive), SSD(Solid State Drive), 자기 디스크, 광자기 디스크, CD-ROM(Compact Disc Read Only Memory), DVD-ROM(Digital Versatile Disc Read Only Memory), 반도체 메모리 등을 들 수 있다. 보조 기억 장치(903)는, 컴퓨터(900)의 버스에 직접 접속된 내부 미디어이더라도 좋고, 인터페이스(904) 또는 통신 회선을 통해서 컴퓨터(900)에 접속되는 외부 미디어이더라도 좋다. 또한, 이 프로그램이 통신 회선에 의해 컴퓨터(900)에 전달되는 경우, 전달을 받은 컴퓨터(900)가 그 프로그램을 주 기억 장치(902)에 전개하고, 상기 처리를 실행하더라도 좋다. 적어도 하나의 실시형태에 있어서, 보조 기억 장치(903)는, 일시적이 아닌 유형의 기억 매체이다.
또한, 그 프로그램은, 전술한 기능의 일부를 실현하기 위한 것이더라도 좋다. 또한, 그 프로그램은, 전술한 기능을 보조 기억 장치(903)에 이미 기억되어 있는 다른 프로그램과의 조합으로 실현하는 것, 이른바 차분 파일(차분 프로그램)이더라도 좋다.
(산업상 이용가능성)
본원 발명과 관련되는 모델 학습 장치는, 교사 데이터가 적은 상태에 있어서도, 학습 완료 모델에 의해 감시 대상의 정상성을 적절히 판정시킬 수 있다.
10 : 감시 시스템
100 : 감시 대상
200 : 촬상 장치
300 : 감시 장치
301 : 화상 취득부
302 : 온도 취득부
303 : 이력 기억부
304 : 보정치 특정부
305 : 화상 처리부
306 : 학습부
307 : 모델 기억부
308 : 추론 처리부
309 : 판정부
310 : 출력 제어부
311 : 분할부
312 : 이상 특정부

Claims (10)

  1. 정상의 감시 대상이 촬상된 화상 데이터를 취득하는 화상 취득부와,
    상기 화상 데이터에 대하여, 상기 감시 대상의 정상의 범위를 넘지 않는 범위에서, 색조의 변경을 수반하는 상이한 화상 처리를 행하는 것에 의해, 복수의 복제 화상 데이터를 생성하는 화상 처리부와,
    상기 복수의 복제 화상 데이터를 교사 데이터로 하여, 상기 감시 대상을 촬상한 화상 데이터로부터, 상기 감시 대상의 정상성의 판정에 이용되는 값을 출력하도록 모델을 학습시키는 학습부
    를 구비하는 모델 학습 장치.
  2. 제 1 항에 있어서,
    상기 화상 데이터는, 상기 감시 대상의 온도에 따라 색조가 상이한 열화상을 포함하고,
    상기 화상 처리부는, 상기 화상 데이터의 색조를, 상기 감시 대상의 환경 온도의 변화 범위 내의 상이한 온도에 상당하는 색조로 보정하는 화상 처리를 행하는 것에 의해, 상기 복수의 복제 화상 데이터를 생성하는
    모델 학습 장치.
  3. 제 2 항에 있어서,
    상기 화상 데이터가 촬상되었을 때의 상기 감시 대상의 환경 온도를 나타내는 온도 데이터를 취득하는 온도 취득부와,
    상기 화상 데이터와 상기 온도 데이터에 근거하여, 온도 변화와 색조의 보정치의 관계를 특정하는 보정치 특정부
    를 더 구비하고,
    상기 화상 처리부는, 상기 화상 데이터에 대하여, 상기 보정치 특정부가 특정한 상기 관계에 근거하여 특정되는 상기 보정치를 이용한 화상 처리를 행하는
    모델 학습 장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 화상 처리부는, 상기 화상 데이터의 색조를, 상기 감시 대상의 환경의 조도의 변화 범위 내의 상이한 조도에 상당하는 색조로 보정하는 화상 처리를 행하는 것에 의해, 상기 복수의 복제 화상 데이터를 생성하는 모델 학습 장치.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 화상 데이터를 분할하여 복수의 분할 화상 데이터를 생성하는 분할부를 더 구비하고,
    상기 화상 처리부는, 상기 복수의 분할 화상 데이터의 각각에 대하여, 색조의 변경을 수반하는 상이한 화상 처리를 행하는 것에 의해, 복수의 복제 화상 데이터를 생성하는
    모델 학습 장치.
  6. 정상의 감시 대상이 촬상된 화상 데이터를 취득하는 스텝과,
    상기 화상 데이터에 대하여, 상기 감시 대상의 정상의 범위를 넘지 않는 범위에서, 색조의 변경을 수반하는 상이한 화상 처리를 행하는 것에 의해, 복수의 복제 화상 데이터를 생성하는 스텝과,
    상기 복수의 복제 화상 데이터를 교사 데이터로 하여, 상기 감시 대상을 촬상한 화상 데이터로부터, 상기 감시 대상의 정상성의 판정에 이용되는 값을 출력하도록 모델을 학습시킴으로써 학습 완료 모델을 생성하는 스텝
    을 갖는 학습 완료 모델의 생성 방법.
  7. 컴퓨터에,
    정상의 감시 대상이 촬상된 화상 데이터를 취득하는 스텝과,
    상기 화상 데이터에 대하여, 상기 감시 대상의 정상의 범위를 넘지 않는 범위에서, 색조의 변경을 수반하는 상이한 화상 처리를 행하는 것에 의해, 복수의 복제 화상 데이터를 생성하는 스텝과,
    상기 복수의 복제 화상 데이터를 교사 데이터로 하여, 상기 감시 대상을 촬상한 화상 데이터로부터, 상기 감시 대상의 정상성의 판정에 이용되는 값을 출력하도록 모델을 학습시키는 스텝
    을 실행시키기 위한 프로그램.
  8. 정상 때에 있어서의 감시 대상이 촬상된 화상 데이터에 대하여, 정상의 범위를 넘지 않고서 색조의 변경을 수반하는 상이한 화상 처리를 행하는 것에 의해 생성된 복수의 복제 화상 데이터를 교사 데이터로 하여, 상기 감시 대상을 촬상한 화상 데이터로부터, 상기 감시 대상의 정상성의 판정에 이용되는 값을 출력하도록 학습된 학습 완료 모델로서,
    컴퓨터에, 취득된 상기 화상 데이터로부터, 상기 감시 대상의 정상성의 판정에 이용되는 값을 출력하는 스텝을 실행시키기 위한 학습 완료 모델.
  9. 촬상된 화상 데이터를 취득하는 화상 취득부와,
    청구항 8에 기재된 학습 완료 모델을 이용하여, 상기 화상 데이터로부터 상기 감시 대상의 정상성의 판정에 이용되는 값을 산출하는 추론 처리부와,
    산출된 상기 값을 이용하여, 상기 감시 대상의 정상성을 판정하는 판정부
    를 구비하는 감시 장치.
  10. 감시 대상이 촬상된 화상 데이터를 취득하는 스텝과,
    청구항 8에 기재된 학습 완료 모델을 이용하여, 상기 화상 데이터로부터 상기 감시 대상의 정상성의 판정에 이용되는 값을 산출하는 스텝과,
    산출된 상기 값을 이용하여, 상기 감시 대상의 정상성을 판정하는 스텝
    을 갖는 감시 방법.
KR1020207001770A 2017-07-27 2018-07-13 모델 학습 장치, 학습 완료 모델의 생성 방법, 프로그램, 학습 완료 모델, 감시 장치, 및 감시 방법 KR102395357B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2017-145268 2017-07-27
JP2017145268A JP6936650B2 (ja) 2017-07-27 2017-07-27 モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法
PCT/JP2018/026457 WO2019021855A1 (ja) 2017-07-27 2018-07-13 モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法

Publications (2)

Publication Number Publication Date
KR20200017521A true KR20200017521A (ko) 2020-02-18
KR102395357B1 KR102395357B1 (ko) 2022-05-06

Family

ID=65040658

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207001770A KR102395357B1 (ko) 2017-07-27 2018-07-13 모델 학습 장치, 학습 완료 모델의 생성 방법, 프로그램, 학습 완료 모델, 감시 장치, 및 감시 방법

Country Status (6)

Country Link
US (1) US11416705B2 (ko)
JP (1) JP6936650B2 (ko)
KR (1) KR102395357B1 (ko)
CN (1) CN110998654B (ko)
DE (1) DE112018003815T5 (ko)
WO (1) WO2019021855A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020050973A2 (en) * 2018-08-22 2020-03-12 Florent Technologies, Llc Neural network-based systems and computer-implemented methods for identifying and/or evaluating one or more food items present in a visual input
WO2021234782A1 (ja) * 2020-05-18 2021-11-25 日本電信電話株式会社 画像処理装置、方法およびプログラム
KR102452394B1 (ko) * 2020-06-11 2022-10-11 한국생산기술연구원 딥러닝 기반 열전대 온도센서 실측을 통한 측정대상의 전체 온도 분포 예측 장치 및 방법
JP7400982B2 (ja) 2020-07-27 2023-12-19 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム
CN112985263B (zh) * 2021-02-09 2022-09-23 中国科学院上海微系统与信息技术研究所 一种弓网几何参数检测方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778239A (ja) 1993-09-08 1995-03-20 Mitsubishi Heavy Ind Ltd プラントの異常監視装置
JP2008287378A (ja) * 2007-05-16 2008-11-27 Hitachi Omron Terminal Solutions Corp 画像識別学習装置及びそれを用いた印刷物識別装置
JP2016062524A (ja) 2014-09-22 2016-04-25 日本電気株式会社 データ処理システム、データ処理方法およびデータ処理プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060284895A1 (en) * 2005-06-15 2006-12-21 Marcu Gabriel G Dynamic gamma correction
JP4828459B2 (ja) * 2007-03-22 2011-11-30 公益財団法人鉄道総合技術研究所 パッシブ赤外線法によるコンクリート構造物の剥離検知方法及びそのための赤外線カメラ
JP4369961B2 (ja) * 2007-03-23 2009-11-25 株式会社日立製作所 異常検知装置及び異常検知プログラム
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
JP5834850B2 (ja) * 2011-12-02 2015-12-24 ソニー株式会社 撮像装置、色補正方法および色補正プログラム
JP5821590B2 (ja) * 2011-12-06 2015-11-24 富士ゼロックス株式会社 画像識別情報付与プログラム及び画像識別情報付与装置
CN102609962B (zh) * 2012-01-18 2014-05-07 中国人民解放军61517部队 热红外图像模拟方法
WO2015137019A1 (ja) * 2014-03-13 2015-09-17 コニカミノルタ株式会社 温度監視装置、及び、温度監視方法
CN105748046B (zh) * 2016-02-05 2018-10-12 福建农林大学 基于红外热像图的温度信息监测方法及其系统
SE539630C2 (en) * 2016-02-24 2017-10-24 Fingerprint Cards Ab Method and system for controlling an electronic device
CN106874926A (zh) * 2016-08-04 2017-06-20 阿里巴巴集团控股有限公司 基于图像特征的业务异常检测方法及装置
JP6629455B2 (ja) * 2017-02-20 2020-01-15 Ｓｅｒｅｎｄｉｐｉｔｙ株式会社 外観検査装置、照明装置、撮影照明装置
KR101947782B1 (ko) * 2017-02-22 2019-02-13 한국과학기술원 열화상 영상 기반의 거리 추정 장치 및 방법. 그리고 이를 위한 신경망 학습 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778239A (ja) 1993-09-08 1995-03-20 Mitsubishi Heavy Ind Ltd プラントの異常監視装置
JP2008287378A (ja) * 2007-05-16 2008-11-27 Hitachi Omron Terminal Solutions Corp 画像識別学習装置及びそれを用いた印刷物識別装置
JP2016062524A (ja) 2014-09-22 2016-04-25 日本電気株式会社 データ処理システム、データ処理方法およびデータ処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Social problem solving solution by video analysis technology utilizing machine learning, FUJITSU, 2016.11.* *

Also Published As

Publication number Publication date
US11416705B2 (en) 2022-08-16
JP6936650B2 (ja) 2021-09-22
CN110998654A (zh) 2020-04-10
CN110998654B (zh) 2024-03-26
US20200184265A1 (en) 2020-06-11
DE112018003815T5 (de) 2020-04-09
JP2019028591A (ja) 2019-02-21
KR102395357B1 (ko) 2022-05-06
WO2019021855A1 (ja) 2019-01-31

Similar Documents

Publication Publication Date Title
KR20200017521A (ko) 모델 학습 장치, 학습 완료 모델의 생성 방법, 프로그램, 학습 완료 모델, 감시 장치, 및 감시 방법
JP6708385B2 (ja) 識別器作成装置、識別器作成方法、およびプログラム
JP6277818B2 (ja) 機械学習装置、機械学習方法、及びプログラム
JP6565600B2 (ja) アテンション検出装置及びアテンション検出方法
JPWO2015186341A1 (ja) 画像処理システム、画像処理方法及びプログラム
JP2010009275A (ja) 移動目標検出装置及びコンピュータプログラム及び移動目標検出方法
JP2018026115A (ja) 火炎検出方法、火炎検出装置及び電子機器
KR20210057518A (ko) 불량 이미지 생성 장치 및 방법
CN116386081A (zh) 一种基于多模态图像的行人检测方法及系统
JP7446060B2 (ja) 情報処理装置、プログラム及び情報処理方法
JP7059889B2 (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
JP6988995B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
KR102208688B1 (ko) 데이터 증강 기반 사물 분석 모델 학습 장치 및 방법
JP5505936B2 (ja) 画像処理ユニット、および画像処理プログラム
CN115496291A (zh) 基于高精度残缺值的聚类型数据增广气象温度预测方法
JP7206892B2 (ja) 画像検査装置、画像検査のための学習方法および画像検査プログラム
CN107203755B (zh) 一种用于遥感图像时间序列标记样本自动增新的方法、装置和系统
JP7115546B2 (ja) モデル作成装置、モデル作成方法、及び、モデル作成プログラム
JP5743147B2 (ja) 画像処理ユニット、および画像処理プログラム
JP2021051601A (ja) 画像認識装置、画像認識システム、画像認識方法及びプログラム
CN110298223A (zh) 图像处理装置和方法及存储指令的存储介质
JP7087971B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP7500472B2 (ja) 図面データ処理装置、図面データ処理方法、及びプログラム
JP2020107098A (ja) 画像判定装置、画像判定方法及び画像判定プログラム
KR20240036975A (ko) 레이블된 데이터의 검수 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant