KR102158181B1 - 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치 및 방법 - Google Patents

이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치 및 방법 Download PDF

Info

Publication number
KR102158181B1
KR102158181B1 KR1020200023166A KR20200023166A KR102158181B1 KR 102158181 B1 KR102158181 B1 KR 102158181B1 KR 1020200023166 A KR1020200023166 A KR 1020200023166A KR 20200023166 A KR20200023166 A KR 20200023166A KR 102158181 B1 KR102158181 B1 KR 102158181B1
Authority
KR
South Korea
Prior art keywords
automatic detection
artificial intelligence
image analysis
evaluation
iou
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200023166A
Other languages
English (en)
Inventor
김용수
김기연
정진형
윤연아
Original Assignee
경기대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경기대학교 산학협력단 filed Critical 경기대학교 산학협력단
Priority to KR1020200023166A priority Critical patent/KR102158181B1/ko
Application granted granted Critical
Publication of KR102158181B1 publication Critical patent/KR102158181B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/008—Reliability or availability analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치 및 방법에 관한 것으로, 간단한 오분류 알고리즘(Confusion Algorithm)을 사용해 다양한 산업 분야에서 사용되는 이미지 분석 기반 인공 지능 자동탐지기기에 대한 자동탐지 성능인증을 효율적으로 평가할 수 있도록 한 것이다.

Description

이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치 및 방법{Automatic detection performance certification test apparatus and method for image analyzing based Artificial Intelligence automatic detection apparatus}
본 발명은 인공 지능 기반 자동탐지기기의 자동탐지 성능을 인증하기 위한 시험 평가 기술에 관련한 것으로, 특히 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치 및 방법에 관한 것이다.
4차 산업혁명의 도래에 따라 데이터의 가치와 지능적 분석에 대한 관심이 높아지면서, 현업에서 겪고 있는 한계 극복을 위해 인공지능과 빅데이터 기술이 적극적으로 도입되고 있다.
또한, 수집 이미지 및 영상 데이터로부터 추출 대상의 특징을 학습하고 객체의 영역 인식 및 그에 대한 범주 분류가 가능한 R-CNN(region based on convolution neural network) 기반의 분석 기술이 계속해서 개발되고 있어, 이에 인공지능을 활용하여 자동으로 객체를 탐지 및 검출할 수 있는 기술 개발이 요구되고 있다.
이러한 기술의 활용을 통해, 차량 전후방 근거리 이내의 보행자 및 시설물 유무를 탐지하여 사고를 예방하거나, 화재 현장 및 재난 시 인력을 대체하여 인명을 구조하기 위해 사람을 검출할 수 있다. 뿐만 아니라, 적외선 열화상 카메라로 발열 객체의 발열 부위를 검출하거나, 환자의 병력, 신체 및 신경 생물학 검사를 위한 의학적 진단 탐지기에도 적용되고 있다.
이처럼 자동탐지기기는 산업의 효율 및 생산성과 안정화 향상 기여를 위해 다양한 환경에서 다목적 분석에 사용되고 있으며, 자동탐지 및 분류의 예측 정확도 성능은 이러한 장비들의 가장 핵심적 평가 요인임을 알 수 있다.
사람이 접근하기 힘든 지역 혹은 안전에 직접적인 영향을 줄 수 있는 환경에서의 인력을 대체하거나, 보안 관련 환경에서 영상 감시를 통해 외부인 침입을 대비하고, 반입이 불가한 물품에 대해 탐색하여 사고를 예방하는 등 사용 환경 특성상 안전 및 보안과 관련하여 중요한 임무를 수행하여야 하는 장비들의 경우에는 특히나 그러하다.
정확한 탐지 및 검출 성능을 정량적으로 평가하거나 성능 향상을 위해 새로운 모델링을 개발하고 그에 대한 성능을 비교 분석하는 연구는 다양하게 수행되어 오고 있으나, 우수 성능인증 시험법 또는 인증체계 활성화 방안에 관한 연구는 비교적 부족하다.
이로 인해, 자동탐지 성능인증 수여가 필요한 현장에서 사용되는 대부분의 기술 및 장비는 보다 체계적인 해외인증에 의존하고 있으며, 장비 해외 운송, 시스템 구조도 파악 및 평가 방법을 논의하기 위한 대기 등 시간 및 비용적 측면의 문제점을 안고 있다.
이는 기술 및 장비의 외산의존으로 이어지기도 하며, 고장 발생 시 신속한 대응 및 교체 부품 확보가 어렵다. 따라서, 근본적 문제 해결을 위해서는 국내 기술 개발 및 인증체계의 활성화 연구가 시급하다.
대한민국 공개특허 제10-2019-0094317호(2019.08.13)에서 사용자 환경에서의 음성 인식 모델의 성능을 예측하는 인공 지능 장치 및 그 방법을 제안하고 있다. 이 기술은 특정 음성 인식 모델에 대한 통제된 음성 인식 환경에 상응하는 통제된 환경 데이터가 입력되면, 사용자 환경 인자에 상응하는 사용자 음성 인식 성능을 추정하는 성능 예측 모델을 이용하여 사용자 환경 인자에 따른 사용자 음성 인식 성능을 예측한다.
그러나, 이 기술은 성능 예측 모델을 이용하여 사용자 환경 인자에 따른 사용자 음성 인식 성능을 예측하는 기술로, 음성 인식과 이미지 분석은 기술 자체가 상이하므로, 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증을 평가하는데 적용할 수 없는 한계가 있다. 따라서, 본 발명자는 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증을 평가할 수 있는 새로운 기술에 대한 연구를 하였다.
대한민국 공개특허 제10-2019-0094317호(2019.08.13)
본 발명은 간단한 오분류 알고리즘(Confusion Algorithm)을 사용해 다양한 산업 분야에서 사용되는 이미지 분석 기반 인공 지능 자동탐지기기에 대한 자동탐지 성능인증을 효율적으로 평가할 수 있는 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치 및 방법을 제공함을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일 양상에 따르면, 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치가 정밀도(Precision)에 대한 재현율(Recall)의 가중치 비(β)와, 0 이상 1 이하의 재정의 분류 기준값(IoU : Intersection over Unit) 및 검출 정확도 평가 반복시행 횟수를 저장하는 메모리와; 정밀도에 대한 재현율의 가중치 비(β)에 따라 상이하게 산출되는 정밀도와 재현율의 조화평균(Fβ-Score)을 이용해 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능을 평가하는 제어부를 포함하되, 제어부가 FP(False Positive) 보다 FN(False Negative) 발생 위험에 더 큰 비중을 두는 1보다 큰 정밀도에 대한 재현율의 가중치 비(β)를 사용한 정밀도와 재현율의 조화평균(Fβ-Score)을 이용해 반복 시행 횟수 만큼 이미지 분석 기반 인공 지능 자동탐지기기가 탐지하는 시료 객체들의 검출 정확도를 정량적으로 평가하고, 재정의 분류 기준값(IoU)를 이용하여 시료 객체들의 검출 정/오답을 정성적으로 분류하여 재정의 하고, 재정의 된 시료 객체들의 검출 정확도 평가 결과에 대해 허용 오답수 이하의 오답이 발생했는지 여부를 판별하여 성능인증을 평가하는 성능 인증 평가부를 포함한다.
본 발명의 부가적인 양상에 따르면, 성능 인증 평가부가 이미지 분석 기반 인공 지능 자동탐지기기가 탐지하는 시료 객체들의 검출 결과를 오분류 행렬(Confusion Matrix)을 사용하여 검출 정확도를 평가하고, 재정의 분류 기준값(IoU)을 만족하는지 판정하여 재정의(Redefinition) 한다.
본 발명의 부가적인 양상에 따르면, 제어부가 정밀도에 대한 재현율의 가중치 비(β)를 설정하는 가중치비 설정부를 더 포함한다.
본 발명의 부가적인 양상에 따르면, 가중치비 설정부가 정밀도에 대한 재현율의 가중치 비(β)를 2 이상으로 설정할 수 있다.
본 발명의 부가적인 양상에 따르면, 제어부가 재정의 분류 기준값(IoU)을 설정하는 기준값 설정부를 더 포함한다.
본 발명의 부가적인 양상에 따르면, 기준값 설정부가 재정의 분류 기준값(IoU)을 0.5 이상으로 설정할 수 있다.
본 발명의 부가적인 양상에 따르면, 제어부가 정밀도와 재현율의 조화평균(Fβ-Score)의 최소 발생확률을 보증하는 검출 정확도 평가 반복시행 횟수를 산출하는 반복시행 횟수 산출부를 더 포함한다.
본 발명의 부가적인 양상에 따르면, 반복시행 횟수 산출부가 임의의 신뢰수준에서 오답이 특정 수 이하로 발생할 때, 몇번 반복 시행해야만 평가 결과가 재정의 분류 기준값(IoU)을 만족하는지 계산함으로써 반복시행 횟수를 산출하도록 구현될 수 있다.
본 발명의 또 다른 양상에 따르면, 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 방법이 FP(False Positive) 보다 FN(False Negative) 발생 위험에 더 큰 비중을 두는 1보다 큰 정밀도(Precision)에 대한 재현율(Recall)의 가중치 비(β)와, 0 이상 1 이하의 재정의 분류 기준값(IoU : Intersection over Unit)을 설정하는 조건 설정 단계와; 정밀도와 재현율의 조화평균(Fβ-Score)의 최소 발생확률을 보증하는 검출 정확도 평가 반복시행 횟수를 산출하는 반복시행 횟수 산출 단계와; FP(False Positive) 보다 FN(False Negative) 발생 위험에 더 큰 비중을 두는 1보다 큰 정밀도에 대한 재현율의 가중치 비(β)를 사용한 정밀도와 재현율의 조화평균(Fβ-Score)을 이용해 반복 시행 횟수 만큼 이미지 분석 기반 인공 지능 자동탐지기기가 탐지하는 시료 객체들의 검출 정확도를 정량적으로 평가하고, 재정의 분류 기준값(IoU)를 이용하여 시료 객체들의 검출 정/오답을 정성적으로 분류하여 재정의 하고, 재정의 된 시료 객체들의 검출 정확도 평가 결과에 대해 허용 오답수 이하의 오답이 발생했는지 여부를 판별하여 성능인증을 평가하는 성능인증 평가 단계를 포함한다.
본 발명의 부가적인 양상에 따르면, 성능인증 평가 단계에서 이미지 분석 기반 인공 지능 자동탐지기기가 탐지하는 시료 객체들의 검출 결과를 오분류 행렬(Confusion Matrix)을 사용하여 검출 정확도를 평가하고, 재정의 분류 기준값(IoU)을 만족하는지 판정하여 재정의(Redefinition) 한다.
본 발명의 부가적인 양상에 따르면, 조건 설정 단계에서 정밀도에 대한 재현율의 가중치 비(β)를 2 이상으로 설정할 수 있다.
본 발명의 부가적인 양상에 따르면, 조건 설정 단계에서 재정의 분류 기준값(IoU)을 0.5 이상으로 설정할 수 있다.
본 발명의 부가적인 양상에 따르면, 반복시행 횟수 산출 단계에서 임의의 신뢰수준에서 오답이 특정 수 이하로 발생할 때, 몇번 반복 시행해야만 평가 결과가 재정의 분류 기준값(IoU)을 만족하는지 계산함으로써 반복시행 횟수를 산출하도록 구현될 수 있다.
본 발명은 간단한 오분류 알고리즘(Confusion Algorithm)을 사용해 다양한 산업 분야에서 사용되는 이미지 분석 기반 인공 지능 자동탐지기기에 대한 자동탐지 성능인증을 효율적으로 평가함으로써 이미지 분석 기반 인공 지능 자동탐지기기의 신뢰성을 향상할 수 있는 효과가 있다.
도 1 은 본 발명에 따른 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치의 일 실시예의 구성을 도시한 블럭도이다.
도 2 는 본 발명에 따른 자동탐지 성능인증 평가 장치의 제어부의 일 실시예의 구성을 도시한 블럭도이다.
도 3 은 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 방법의 일 실시예의 구성을 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다. 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 이는 본 발명의 다양한 실시예들을 특정한 형태로 한정하려는 것은 아니다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
도 1 은 본 발명에 따른 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치의 일 실시예의 구성을 도시한 블럭도이다. 본 발명에 따른 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치(100)는 이미지를 분석하여 객체를 자동으로 탐지하는 이미지 분석 기반 인공 지능 자동탐지기기(200)와 연동된다.
이 때, 본 발명에 따른 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치(100)가 이미지 분석 기반 인공 지능 자동탐지기기(200)의 소프트웨어적인 일부 기능으로 구현될 수도 있고, 이미지 분석 기반 인공 지능 자동탐지기기(200)와는 별도의 하드웨어적인 휴대용 단말기 형태로 구현될 수도 있다.
이미지 분석 기반 인공 지능 자동탐지기기(200)는 탐지하고자 하는 객체들을 인공지능 기술을 이용해 학습하면서 카메라(도면 도시 생략) 등에 의해 촬영되는 이미지로부터 학습된 객체들을 자동으로 탐지한다. 이미지 분석 기반 인공 지능 자동탐지기기(200)는 침입자를 탐지하는 보안 분야나 제품을 판별하는 생산 분야 등 산업 전반에서 이용될 수 있다.
본 발명에 따른 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치(100)는 이러한 이미지 분석 기반 인공 지능 자동탐지기기(200)가 탐지하는 객체들에 대한 검출 정확도를 평가하여 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증을 평가한다.
도 1 에 도시한 바와 같이, 이 실시예에 따른 자동탐지 성능인증 평가 장치(100)는 메모리(110)와, 제어부(120)를 포함한다. 추가적으로, 통신부(130)와, 조작부(140) 및 표시부(150)를 더 포함할 수 있다.
메모리(110)는 정밀도(Precision)에 대한 재현율(Recall)의 가중치 비(β)와, 0 이상 1 이하의 재정의 분류 기준값(IoU : Intersection over Unit) 및 검출 정확도 평가 반복시행 횟수를 저장한다. 예컨대, 메모리(110)가 EEPROM, 플래시 메모리(Flash Memory) 등일 수 있다.
제어부(120)는 정밀도에 대한 재현율의 가중치 비(β)에 따라 상이하게 산출되는 정밀도와 재현율의 조화평균(Fβ-Score)을 이용해 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능을 평가한다. 예컨대, 제어부(120)가 단일 코어 또는 멀티 코어 방식의 CPU일 수 있다.
통신부(130)는 이미지 분석 기반 인공 지능 자동탐지기기(200)와 통신 연결되어, 이미지 분석 기반 인공 지능 자동탐지기기(200)가 탐지하는 시료 객체들에 대한 검출 결과를 수신한다. 이 때, 시료 객체들은 이미지 분석 기반 인공 지능 자동탐지기기(200)에 의해 학습되어 탐지되는 객체들이다.
예컨대, 통신부(130)가 이더넷(Ethernet) 기반 유선 통신 또는 WiFi, 블루투스 등과 같은 무선 통신 방식으로 이미지 분석 기반 인공 지능 자동탐지기기(200)와 통신하도록 구현될 수 있다.
조작부(140)는 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증을 평가하기 위한 각종 사용자 조작을 입력받는다. 예컨대, 조작부(140)가 하드웨어 또는 소프트웨어적인 키패드 또는 키버튼일 수 있다.
표시부(150)는 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 결과를 포함하는 각종 표기 화면을 출력한다. 예컨대, 표시부(150)가 LED, OLED, LCD 등의 디스플레이일 수 있다.
이 실시예에 따른 자동탐지 성능인증 평가 장치(100)는 정밀도(Precision)와 재현율(Recall)을 통합한 정확도 측정 알고리즘인 F-measure와, 객체 탐지 알고리즘이 얼마나 잘 동작하는지 판단하는 평가 기준인 IoU(Intersection over Union)를 사용하여 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가를 수행한다.
도 2 는 본 발명에 따른 자동탐지 성능인증 평가 장치의 제어부의 일 실시예의 구성을 도시한 블럭도이다. 도 2 에 도시한 바와 같이, 제어부(120)가 성능 인증 평가부(121)를 포함한다
성능 인증 평가부(121)는 FP(False Positive) 보다 FN(False Negative) 발생 위험에 더 큰 비중을 두는 1보다 큰 정밀도에 대한 재현율의 가중치 비(β)를 사용한 정밀도와 재현율의 조화평균(Fβ-Score)을 이용해 반복 시행 횟수 만큼 이미지 분석 기반 인공 지능 자동탐지기기가 탐지하는 시료 객체들의 검출 정확도를 정량적으로 평가하고, 재정의 분류 기준값(IoU)를 이용하여 시료 객체들의 검출 정/오답을 정성적으로 분류하여 재정의 하고, 재정의 된 시료 객체들의 검출 정확도 평가 결과에 대해 허용 오답수 이하의 오답이 발생했는지 여부를 판별하여 성능인증을 평가한다.
이 때, 성능 인증 평가부(121)가 이미지 분석 기반 인공 지능 자동탐지기기가 탐지하는 시료 객체들의 검출 결과를 오분류 행렬(Confusion Matrix)을 사용하여 검출 정확도를 평가하고, 재정의 분류 기준값(IoU)을 만족하는지 판정하여 재정의(Redefinition) 하도록 구현될 수 있다.
이미지 분석 기반 인공 지능 자동탐지기기의 검출 성능의 정량적 측정을 위해 본 발명에서 사용되는 F-measure는 Fβ-Score 라고도 불리며, 오분류 행렬(Confusion Matrix)의 정밀도(precision)와 재현율(recall)에 각각 α, 1-α의 가중치를 두어 둘의 조화평균(Harmonic Mean)으로 계산된다.
오분류 행렬(Confusion Matrix)은 어떤 분류(Class)의 시료 객체가 올바른 분류로 분류되는지 아니면 다른 분류로 분류되는지에 대한 경우의 수를 다음과 같은 행렬 형태로 표현한 것이다.
결과 사실 결과 거짓
사실 TP FN
거짓 FP TN
행렬 요소 TP(True Positive)는 맞는 것을 맞다고 분류한 것을 의미하고, FN(False Negative)은 맞는 것을 틀리다고 분류한 것을 의미하고, FP(False Positive)는 틀린 것을 맞다고 분류한 것을 의미하고, TN(True Negative)은 틀린 것을 틀리다고 분류한 것을 의미한다.
한편, 정밀도(precision)에 대한 재현율(recall)의 가중치 비를 β라 하며, 다음의 식 1 내지 식 3으로 정리할 수 있다.
(식 1)
Figure 112020019965422-pat00001
(식 2)
Figure 112020019965422-pat00002
(식 3)
Figure 112020019965422-pat00003
위의 수식에서 알 수 있듯이, Fβ-Score는 정밀도와 재현율의 가중치 비율에 따라 다르게 산출되며 즉, FP(false positive)와 FN(false negative) 중 어떠한 오답에 더 비중을 두어 성능을 측정할 것인지에 따라 그 값이 다르게 측정됨을 알 수 있다.
이러한 특성에 따라 Fβ-Score의 대표적인 형태는 크게 3가지로 나뉘는데, 정밀도에 대한 재현율의 가중치 비 또는 FP에 대한 FN의 가중치의 비를 1:1로 동일하게 두는 경우(β=1)와 재현율 또는 FN의 비중을 2배로 두는 경우(β=2), 그리고 정밀도 또는 FP의 비중을 2배로 두는 경우(β=0.5)이다. 이를 식 4 내지 식 6과 같이 정리할 수 있다.
(식 4)
Figure 112020019965422-pat00004
(식 5)
Figure 112020019965422-pat00005
(식 6)
Figure 112020019965422-pat00006
본 발명에서는 검출 객체 범주가 3개 이상인 다중 분류(multi-class) 시스템에서 적용되는 이미지 분석 기반 인공 지능 자동탐지기기의 성능 인증 평가를 위해 FP(False Positive) 보다 FN(False Negative) 발생 위험에 더 큰 비중을 두는 1보다 큰 정밀도에 대한 재현율의 가중치 비(β)를 사용한다.
오분류 행렬의 positive와 negative의 이분법적 기준은 분류(Class) A의 특정 객체를 A라고 분류할 수 있는가이다. 이 때, 분류 A가 아닌 다른 분류의 객체들을 A라고 판별하는 것보다 분류 A의 특정 객체를 다른 분류라고 판별하는 것이 검출 성능평가 결과에 더 부정적 영향을 미친다. 따라서, 본 발명에서는 검출 정확도 평가를 위한 지표로써 FP보다 FN에 더 큰 가중치를 두는 β를 사용한다.
한편, 신뢰성 있는 이미지 분석 기반 인공 지능 자동탐지기기의 성능 인증 평가를 위해 본 발명에서는 재정의 분류 기준값(IoU)을 만족하는지 판정하여 재정의(Redefinition) 한다.
IoU(intersection over union)는 이미지/영상 처리 분석 수행 시 객체 검출 및 분할(segmentation) 기술에서 사용되는 평가지표 중 하나로, 아래의 식 7과 같이 이미지 내의 검출하고자 하는 특정 객체에 대한 실제 영역과 그 객체라고 예측되는 영역의 비율을 말하며, 0 이상 1 이하의 값을 가진다.
(식 7)
Figure 112020019965422-pat00007
즉, IoU는 검출하고자 하는 특정 객체로 분류될 가능성 또는 확률을 뜻하게 되며, 그 값의 크기에 따라 정답 또는 오답으로 분류되므로, 분류 기준값(cut-off value) 즉 재정의 분류 기준값의 역할을 기대할 수 있다.
예를 들어, IoU가 0.5 이상 설정되었다면, IoU가 0.5 이상으로 측정되는 객체만이 분류(Class)를 옳게 검출하였을 때 정답으로 분류되며, IoU가 0.5 이하로 측정되는 분류는 분류를 옳게 검출하였음에도 불구하고 오답으로 간주한다.
재정의 분류 기준값(IoU)을 사용해 시료 객체들에 대한 검출 정확도 평가 결과가 재정의 분류 기준값(IoU)을 만족하는지에 따라 다음의 표와 같이 재정의(Redefinition)될 수 있다.
분류(Class) 재정의(Redefinition)
TP(correct) 분류 A 객체가 높은 확률로 분류 A 객체로 올바르게 검출
FP(incorrect) 1) 분류 A 객체가 낮은 확률로 분류 A 객체로 올바르게 검출
2) 분류 A 객체가 검출 가능한 다른 분류 B 객체로 검출
FN(incorrect) 1) 분류 A 객체가 검출 가능하지 않은 다른 분류 C 객체로 검출
2) 분류 A 객체 미검출
TN(unconcerned) 1) 검출 가능하지 않은 C 객체가 A 객체로 검출
2) 검출 가능하지 않은 C 객체가 미검출
검출 대상 분류(Class)가 A와 B인 이미지 분석 기반 인공 지능 자동탐지기기의 성능인증을 위한 평가 수행 시, 각각의 시료 객체들에 대한 평가결과는 위의 표와 같이 네 가지(TP, FP, FN, TN)로 분류될 수 있다.
분류 A의 객체 또는 분류 B의 객체가 각각 높은 IoU 값, 즉 높은 확률로 A, B 객체로 검출될 경우 이는 TP(true positive) 즉, 정답(correct)으로 재분류(재정의)할 수 있다.
그러나, 옳은 분류로 검출되었음에도 불구하고 낮은 IoU 값, 즉 낮은 확률로 검출된 것이라면, 이는 FP(False Positive) 즉, 오답(incorrect)으로 재분류(재정의)한다. A 분류의 객체를 B 분류의 객체로 검출하거나, 그 반대의 경우라면 그 또한 FP 즉, 오답이 된다.
분류(Class) A와 B는 모두 검출되어야 하는 대상이고, 이미지 분석 기반 인공 지능 자동탐지기기는 이의 검출시 경고 표시 또는 경보음 등의 알림을 하는데, 높은 확률로 A, B 객체가 검출될 경우 TP로 재정의(재분류)하고, 즉 낮은 확률로 A, B 객체가 검출되거나, 분류의 객체를 B 분류의 객체로 검출하거나, 그 반대의 경우 FP로 재정의(재분류)한다.
한편, 검출해야 하는 대상임에도 불구하고 어떠한 알림을 하지 않고 지나치게 되는 경우는 이미지 분석 기반 인공 지능 자동탐지기기의 성능에 보다 부정적인 영향을 미치게 되며, 특정 사용 환경에서는 매우 위험한 결과를 초래하기도 한다.
따라서, 이러한 경우를 대표하는 A 분류 또는 B 분류 객체를 검출 대상이 아닌 C 분류로 검출하거나, 학습되어 있지 않아 아예 A 분류 또는 B 분류 객체 인식하지 못하는 경우 FN으로 재정의(재분류)한다.
한편, 검출 대상이 아닌 C 분류 객체에 대하여 A 또는 B 분류로 검출한 경우 또는 분류 C에 대한 학습이 부족하여 인식하지 못하는 경우는 이미지 분석 기반 인공 지능 자동탐지기기의 성능측정에서 고려하는 경우가 아니므로, F-measure에서 고려하지 않는 TN(true negative) 즉, 비고려 대상(Unconcerned)으로 재정의(분류) 한다.
이러한 IoU를 사용한 검출 결과의 재정의(재분류)는 같은 시료 객체를 대상으로 평가하더라도 IoU 설정값과, 이미지 분석 기반 인공 지능 자동탐지기기에 얼마나 많은 양의 객체 데이터가 학습되어 있는가에 따라 다른 결과를 도출할 수 있다.
따라서, 시료 객체 항목 선택과, IoU 설정은 이미지 분석 기반 인공 지능 자동탐지기기의 사용 환경 특성이나 용도를 고려해야 하고, 시료 객체 수 및 반복 시행 횟수는 시간 및 비용적 한계를 고려하여 결정되는 것이 바람직하다.
이와 같이 구현함에 의해, 본 발명은 간단한 오분류 알고리즘(Confusion Algorithm)을 사용해 다양한 산업 분야에서 사용되는 이미지 분석 기반 인공 지능 자동탐지기기에 대한 자동탐지 성능인증을 효율적으로 평가할 수 있으므로, 이미지 분석 기반 인공 지능 자동탐지기기의 신뢰성을 향상할 수 있다.
한편, 발명의 부가적인 양상에 따르면, 제어부(120)가 가중치비 설정부(122)를 더 포함할 수 있다. 가중치비 설정부(122)는 정밀도에 대한 재현율의 가중치 비(β)를 설정한다. 이 때, 가중치비 설정부(122)가 정밀도에 대한 재현율의 가중치 비(β)를 2 이상으로 설정하도록 구현될 수 있다.
예컨대, 가중치비 설정부(122)를 통해 정밀도에 대한 재현율의 가중치 비(β) 설정을 위한 사용자 인터페이스(도면 도시 생략)를 제공하고, 이를 통해 정밀도에 대한 재현율의 가중치 비(β) 설정값을 사용자로부터 입력받아 메모리(110)에 저장하도록 구현될 수 있다.
한편, 발명의 부가적인 양상에 따르면, 제어부(120)가 기준값 설정부(123)를 더 포함할 수 있다. 기준값 설정부(123)는 재정의 분류 기준값(IoU)을 설정한다. 이 때, 기준값 설정부(123)가 재정의 분류 기준값(IoU)을 0.5 이상으로 설정하도록 구현될 수 있다.
예컨대, 기준값 설정부(123)를 통해 재정의 분류 기준값(IoU) 설정을 위한 사용자 인터페이스(도면 도시 생략)를 제공하고, 이를 통해 재정의 분류 기준값(IoU)을 사용자로부터 입력받아 메모리(110)에 저장하도록 구현될 수 있다.
이미지 분석 기반 인공 지능 자동탐지기기의 성능인증 평가 수행 시, 매 반복시행 마다 정답(TP) 또는 오답(FP 또는 FN)이 발생한다. 정답(TP)에 대한 발생 확률을 R이라고 정의할 때, 오답(FP 또는 FN)의 발생 확률은 1-R로 정의된다.
앞서 정의한 식 5에 의해 재정의 분류 기준값(IoU)을 만족시킬 수 있는 정답(TP)의 발생 최소비율을 구할 수 있다. 검출 결과 경우의 수 중 TP가 최소, FP는 0, FN이 최대일 때가 IoU를 만족시킬 수 있는 F2-Score의 가장 작은 값이 되며, FP와 FN이 다른 발생비율을 가지게 되거나 TP가 그 이상의 비율을 가지더라도 재정의 분류 기준값(IoU)을 만족시킬 수 있다는 것을 의미한다.
예를 들어, F2-Score가 0.9 이상임을 만족하고자 한다면, FN이 최대로 발생하여 FP가 발생하지 않는 가장 가혹한 경우의 수를 따져보았을 때, TP가 87.8% 이상, FN이 12.2% 이하의 비율로 발생 되어야 한다. 이때, 비율은 전체를 100으로 두었을 때의 그 확률값과 같다.
한편, 발명의 부가적인 양상에 따르면, 제어부(120)가 반복시행 횟수 산출부(124)를 더 포함할 수 있다. 반복시행 횟수 산출부(124)는 정밀도와 재현율의 조화평균(Fβ-Score)의 최소 발생확률을 보증하는 검출 정확도 평가 반복시행 횟수를 산출한다.
예컨대, 반복시행 횟수 산출부(124)가 임의의 신뢰수준에서 오답이 특정 수 이하로 발생할 때, 몇번 반복 시행해야만 평가 결과가 재정의 분류 기준값(IoU)을 만족하는지 계산함으로써 반복시행 횟수를 산출하고, 이를 메모리(110)에 저장하도록 구현될 수 있다.
이항분포를 따르는 이미지 분석 기반 인공 지능 자동탐지기기의 성능인증 평가에서는 임의의 신뢰성을 보증하기 위해 요구되는 표본크기를 계산할 수 있다. 이를 활용하여, 만족하고자 하는 정확도 값 즉, 정답(TP)의 최소 발생 확률을 보증하기 위한 반복시행 횟수를 식 8 과 같이 산출할 수 있다.
(식 8)
Figure 112020019965422-pat00008
식 8에서, C는 신뢰 수준(Confidence Level), R은 신뢰성(reliability to be demonstrated), f는 허용 가능한 오답 수, n은 반복시행 횟수이다. 식 8을 통해 임의의 신뢰 수준 C 하에서, 오답이 f번 이하로 발생할 때, 몇 번(n)의 반복시행을 수행하여야 재정의 분류 기준값(IoU)을 만족시킬 수 있는 F2-Score 즉, 정답(TP)의 최소 발생 확률을 보증할 수 있는가에 대한 답을 구할 수 있다.
따라서, n번의 반복시행 중 허용된 f번 이하의 오답이 발생하였을 경우, 신뢰수준 C 하에서 재정의 분류 기준값(IoU)을 만족시킬 수 있는 F2-Score의 최소 발생 확률을 보증할 수 있으면, 이미지 분석 기반 인공 지능 자동탐지기기의 성능인증에 대한 합격 판정을 한다.
이상에서 설명한 바와 같은 본 발명에 따른 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치를 이용해 항공보안 엑스선 검색장비의 자동탐지 성능인증 평가 시험을 수행한 결과를 설명한다.
항공보안 엑스선 검색장비는 휴대 및 위탁수하물, 항공화물 등에 위해물질 및 폭발물의 포함 여부를 탐색하기 위해 사용된다. 인공지능 기술을 활용한 항공보안 엑스선 검색장비는 판독 요원을 대신하여 엑스선 촬영 이미지로부터 반입금지 물품을 자동으로 탐지 및 검출한다.
판독 결과는 항공기 테러나 공항 이용객들의 위협에 대한 위험 노출에 직접적인 영향을 주는 요인이므로, 검출의 정확도는 성능평가의 가장 핵심적인 요인이라고 할 수 있다.
성능인증 평가 시험시, 위해물품으로 규정되는 검출 대상 분류 객체 A와 B, 그리고 비위해 물품으로 규정되는 분류 객체 C가 항공보안 엑스선 검색장비에 학습되어 있다고 가정할 때 도출될 수 있는 검출 대상 분류 객체 A의 검출 결과분류는 다음의 표와 같다.
분류(Class) 재정의(Redefinition)
TP(correct) 위험 분류 A 객체가 높은 확률로 분류 A 객체로 올바르게 검출
FP(incorrect) 1) 위험 분류 A 객체가 낮은 확률로 분류 A 객체로 올바르게 검출
2) 위험 분류 A 객체가 검출 가능한 다른 위험 분류 B 객체로 검출
FN(incorrect) 1) 위험 분류 A 객체가 비위험 분류 C 객체로 검출
2) 위험 분류 A 객체 미검출
TN(unconcerned) 1) 비위험 분류 C 객체가 A 객체로 검출
2) 비위험 분류 C 객체가 미검출
위험 분류 객체 A 또는 B가 각각 높은 IoU 값 하에 객체 A, B로 검출되었을 경우 이는 TP(정답)으로 분류할 수 있다. 그러나, 옳은 분류로 검출되었음에도 불구하고 낮은 IoU 값, 즉 낮은 확률값에 의해 검출되었다면, 이는 FP(오답)로 분류된다.
위험 분류 객체 A를 위험 분류 객체 B로 검출하거나, 반대의 경우 또한, FP(오답)가 된다. 이에 비해 보다 위험한 오류를 뜻하는 FN(오답)은 위험 분류 객체 A를 비위험 분류 객체 C로 검출하거나, 위험 분류 객체 A를 아예 검출하지 못하는 경우를 말한다.
만약, 비위험 분류 객체 C를 위험 분류 객체 A 또는 B라고 검출하였을 경우 또는, 비위험 분류 객체 C를 아예 검출하지 못하는 경우는 성능인증 평가시 고려하지 않는 대상이므로 TN(비고려)로 분류할 수 있다.
그러나, 항공보안 엑스선 검색장비의 경우 국토부 고시 법안에서 위해물품으로 규정하는 물품에 대해서만 학습해오는 장비와, 규정이 되어 있지는 않으나 보안 측면에서 승객 또는 승무원 등 항공기 내 불특정 다수에게 불쾌감 또는 위협을 충분히 가할 수 있는 물품(예를 들어, 벽돌의 경우)에 대하여 추가로 학습해오는 장비는 학습 범위 및 정도가 각기 다르다.
이때, 시료 객체에 대한 위해물품 인정 여부에 따라 검출 결과 및 성능측정 값이 달라지므로, 위해물품 인정 여부 및 위험 분류 객체 선택은 사용 환경 특성이나 용도를 고려해 장비 제조 업체와 인증기관 간의 충분한 사전 협의가 이루어져야 할 것이다.
다음은 재정의 분류 기준값(IoU)은 0.5로 하고, 위해물품인 총만 시료 객체로 하였을 때 나타날 수 있는 검출 결과의 경우를 나타낸 표이다.
Figure 112020019965422-pat00009
다음은 재정의 분류 기준값(IoU)은 0.5로 하고, 위해물품인 총과 비위해 물품인 연필을 시료 객체로 하였을 때 나타날 수 있는 검출 결과의 경우를 나타낸 표이다.
Figure 112020019965422-pat00010
다음은 정밀도와 재현율의 조화평균 F2-Score의 최소 발생확률을 보증하는 검출 정확도 평가 반복시행 횟수를 신뢰 수준을 임의로 90%로 하여 식 8을 통해 산출한 것을 나타낸 표로, 허용 오답 개수에 따른 반복 시행 횟수를 도시한 것이다.
Figure 112020019965422-pat00011
위의 표에서 반복 시행 횟수가 42일 경우, 42번의 전체 반복시행 중 허용된 2번 이하의 오답이 발생하였을 경우에 신뢰수준 90% 하에서 F2-Score의 최소 발생확률을 보증하는 검출 정확도를 만족하므로, 이 경우에만 성능인증 합격 판정한다.
이상에서 설명한 바와 같은 본 발명에 따른 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치를 이용해 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증을 평가하는 동작을 도 3 을 통해 알아본다. 도 3 은 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 방법의 일 실시예의 구성을 도시한 흐름도이다.
먼저, 조건 설정 단계(310)에서 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치가 FP(False Positive) 보다 FN(False Negative) 발생 위험에 더 큰 비중을 두는 1보다 큰 정밀도(Precision)에 대한 재현율(Recall)의 가중치 비(β)와, 0 이상 1 이하의 재정의 분류 기준값(IoU : Intersection over Unit)을 설정한다.
예컨대, 조건 설정 단계(310)에서 정밀도에 대한 재현율의 가중치 비(β)를 2 이상으로 설정하고, 재정의 분류 기준값(IoU)을 0.5 이상으로 설정하도록 구현될 수 있다. 정밀도에 대한 재현율의 가중치 비(β)와, 재정의 분류 기준값(IoU) 설정과 관련해서는 기 설명하였으므로, 이에 대한 중복 설명은 생략한다.
그 다음, 반복시행 횟수 산출 단계(320)에서 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치가 정밀도와 재현율의 조화평균(Fβ-Score)의 최소 발생확률을 보증하는 검출 정확도 평가 반복시행 횟수를 산출한다.
예컨대, 반복시행 횟수 산출 단계(320)에서 임의의 신뢰수준에서 오답이 특정 수 이하로 발생할 때, 몇번 반복 시행해야만 평가 결과가 재정의 분류 기준값(IoU)을 만족하는지 계산함으로써 반복시행 횟수를 산출하도록 구현될 수 있다. 반복시행 횟수 산출과 관련해서는 기 설명하였으므로, 이에 대한 중복 설명은 생략한다.
이 상태에서 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치가 성능인증 평가 단계(330)를 통해 FP(False Positive) 보다 FN(False Negative) 발생 위험에 더 큰 비중을 두는 1보다 큰 정밀도에 대한 재현율의 가중치 비(β)를 사용한 정밀도와 재현율의 조화평균(Fβ-Score)을 이용해 반복 시행 횟수 만큼 이미지 분석 기반 인공 지능 자동탐지기기가 탐지하는 시료 객체들의 검출 정확도를 정량적으로 평가하고, 재정의 분류 기준값(IoU)를 이용하여 시료 객체들의 검출 정/오답을 정성적으로 분류하여 재정의 하고, 재정의 된 시료 객체들의 검출 정확도 평가 결과에 대해 허용 오답수 이하의 오답이 발생했는지 여부를 판별하여 성능인증을 평가한다.
예컨대, 성능인증 평가 단계(330)에서 이미지 분석 기반 인공 지능 자동탐지기기가 탐지하는 시료 객체들의 검출 결과를 오분류 행렬(Confusion Matrix)을 사용하여 검출 정확도를 평가하고, 재정의 분류 기준값(IoU)을 만족하는지 판정하여 재정의(Redefinition) 하도록 구현될 수 있다. 이와 관련해서는 기 설명하였으므로, 이에 대한 중복 설명은 생략한다.
이상에서 설명한 바와 같이 본 발명은 간단한 오분류 알고리즘(Confusion Algorithm)을 사용해 다양한 산업 분야에서 사용되는 이미지 분석 기반 인공 지능 자동탐지기기에 대한 자동탐지 성능인증을 효율적으로 평가함으로써 이미지 분석 기반 인공 지능 자동탐지기기의 신뢰성을 향상할 수 있다.
본 발명에서 제안하는 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치를 사용하여 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가를 수행할 경우, 이미지 분석 기반 인공 지능 자동탐지기기의 사용 적합성 평가 및 예측 정확 성능에 대한 제품 요구사항 충족 여부를 판단할 수 있어, 보다 체계적인 품질관리가 가능하다.
이를 통해 품질이 우수한 이미지 분석 기반 인공 지능 자동탐지기기 사용으로 인한 인력 대체에 따른 비용감축은 물론, 이미지 분석 기반 인공 지능 자동탐지기기 성능 및 신뢰성 향상에도 기여할 수 있다. 또한, 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 기술 기반을 구축하여 인공지능을 활용하는 스마트 체제의 안정화 및 성능 보증을 위한 인증체계의 원활한 시행을 기대할 수 있다.
본 명세서 및 도면에 개시된 다양한 실시예들은 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 다양한 실시예들의 범위를 한정하고자 하는 것은 아니다.
따라서, 본 발명의 다양한 실시예들의 범위는 여기에서 설명된 실시예들 이외에도 본 발명의 다양한 실시예들의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 다양한 실시예들의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 인공 지능 기반 자동탐지기기의 자동탐지 성능을 인증하기 위한 시험 평가 기술분야 및 이의 응용 기술분야에서 산업상으로 이용 가능하다.
100 : 자동탐지 성능인증 평가 장치
110 : 메모리
120 : 제어부
121 : 성능 인증 평가부
122 : 가중치비 설정부
123 : 기준값 설정부
124 : 반복시행 횟수 산출부
130 : 통신부
140 : 조작부
150 : 표시부
200 : 이미지 분석 기반 인공 지능 자동탐지기기

Claims (13)

  1. 정밀도(Precision)에 대한 재현율(Recall)의 가중치 비(β)와, 0 이상 1 이하의 재정의 분류 기준값(IoU : Intersection over Unit) 및 검출 정확도 평가 반복시행 횟수를 저장하는 메모리와;
    정밀도에 대한 재현율의 가중치 비(β)에 따라 상이하게 산출되는 정밀도와 재현율의 조화평균(Fβ-Score)을 이용해 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능을 평가하는 제어부를;
    포함하되, 제어부가:
    FP(False Positive) 보다 FN(False Negative) 발생 위험에 더 큰 비중을 두는 1보다 큰 정밀도에 대한 재현율의 가중치 비(β)를 사용한 정밀도와 재현율의 조화평균(Fβ-Score)을 이용해 반복 시행 횟수 만큼 이미지 분석 기반 인공 지능 자동탐지기기가 탐지하는 시료 객체들의 검출 정확도를 정량적으로 평가하고, 이미지 내의 검출하고자 하는 특정 객체에 대한 실제 영역과 그 객체라고 예측되는 영역의 비율로 정의되는 재정의 분류 기준값(IoU)를 이용하여 시료 객체들의 검출 정/오답을 정성적으로 분류하여 재정의 하고, 재정의 된 시료 객체들의 검출 정확도 평가 결과에 대해 허용 오답수 이하의 오답이 발생했는지 여부를 판별하여 성능인증을 평가하는 성능 인증 평가부와;
    정밀도와 재현율의 조화평균(Fβ-Score)의 최소 발생확률을 보증하는 검출 정확도 평가 반복시행 횟수를 산출하는 반복시행 횟수 산출부
    를 포함하는 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치.
  2. 제 1 항에 있어서,
    성능 인증 평가부가:
    이미지 분석 기반 인공 지능 자동탐지기기가 탐지하는 시료 객체들의 검출 결과를 오분류 행렬(Confusion Matrix)을 사용하여 검출 정확도를 평가하고, 재정의 분류 기준값(IoU)을 만족하는지 판정하여 재정의(Redefinition)하는 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    제어부가:
    정밀도에 대한 재현율의 가중치 비(β)를 설정하는 가중치비 설정부를;
    더 포함하는 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치.
  4. 제 3 항에 있어서,
    가중치비 설정부가:
    정밀도에 대한 재현율의 가중치 비(β)를 2 이상으로 설정하는 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치.
  5. 제 1 항 또는 제 2 항에 있어서,
    제어부가:
    재정의 분류 기준값(IoU)을 설정하는 기준값 설정부를;
    더 포함하는 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치.
  6. 제 5 항에 있어서,
    기준값 설정부가:
    재정의 분류 기준값(IoU)을 0.5 이상으로 설정하는 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치.
  7. 삭제
  8. 제 1 항에 있어서,
    반복시행 횟수 산출부가:
    임의의 신뢰수준에서 오답이 특정 수 이하로 발생할 때, 몇번 반복 시행해야만 평가 결과가 재정의 분류 기준값(IoU)을 만족하는지 계산함으로써 반복시행 횟수를 산출하는 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치.
  9. FP(False Positive) 보다 FN(False Negative) 발생 위험에 더 큰 비중을 두는 1보다 큰 정밀도(Precision)에 대한 재현율(Recall)의 가중치 비(β)와, 0 이상 1 이하의 재정의 분류 기준값(IoU : Intersection over Unit)을 설정하는 조건 설정 단계와;
    정밀도와 재현율의 조화평균(Fβ-Score)의 최소 발생확률을 보증하는 검출 정확도 평가 반복시행 횟수를 산출하는 반복시행 횟수 산출 단계와;
    FP(False Positive) 보다 FN(False Negative) 발생 위험에 더 큰 비중을 두는 1보다 큰 정밀도에 대한 재현율의 가중치 비(β)를 사용한 정밀도와 재현율의 조화평균(Fβ-Score)을 이용해 반복 시행 횟수 만큼 이미지 분석 기반 인공 지능 자동탐지기기가 탐지하는 시료 객체들의 검출 정확도를 정량적으로 평가하고, 재정의 분류 기준값(IoU)를 이용하여 시료 객체들의 검출 정/오답을 정성적으로 분류하여 재정의 하고, 재정의 된 시료 객체들의 검출 정확도 평가 결과에 대해 허용 오답수 이하의 오답이 발생했는지 여부를 판별하여 성능인증을 평가하는 성능인증 평가 단계를;
    포함하는 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 방법.
  10. 제 9 항에 있어서,
    성능인증 평가 단계에서:
    이미지 분석 기반 인공 지능 자동탐지기기가 탐지하는 시료 객체들의 검출 결과를 오분류 행렬(Confusion Matrix)을 사용하여 검출 정확도를 평가하고, 재정의 분류 기준값(IoU)을 만족하는지 판정하여 재정의(Redefinition)하는 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 방법.
  11. 제 9 항 또는 제 10 항에 있어서,
    조건 설정 단계에서:
    정밀도에 대한 재현율의 가중치 비(β)를 2 이상으로 설정하는 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 방법.
  12. 제 9 항 또는 제 10 항에 있어서,
    조건 설정 단계에서:
    재정의 분류 기준값(IoU)을 0.5 이상으로 설정하는 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 방법.
  13. 제 9 항 또는 제 10 항에 있어서,
    반복시행 횟수 산출 단계에서:
    임의의 신뢰수준에서 오답이 특정 수 이하로 발생할 때, 몇번 반복 시행해야만 평가 결과가 재정의 분류 기준값(IoU)을 만족하는지 계산함으로써 반복시행 횟수를 산출하는 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 방법.
KR1020200023166A 2020-02-25 2020-02-25 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치 및 방법 Active KR102158181B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200023166A KR102158181B1 (ko) 2020-02-25 2020-02-25 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200023166A KR102158181B1 (ko) 2020-02-25 2020-02-25 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102158181B1 true KR102158181B1 (ko) 2020-09-22

Family

ID=72706681

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200023166A Active KR102158181B1 (ko) 2020-02-25 2020-02-25 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102158181B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102341599B1 (ko) 2021-06-09 2021-12-22 주식회사 쓰리빌리언 화합물 생성 인공지능 모델에 대한 성능 평가 시스템
CN120743724A (zh) * 2025-08-29 2025-10-03 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 云原生智能体的质量确定方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014147659A (ja) * 2013-01-09 2014-08-21 Canon Inc 医療診断支援装置及び医療診断支援方法
KR20190092869A (ko) * 2018-01-31 2019-08-08 한양대학교 에리카산학협력단 영상정보 기반 위험체 탐지 시스템, 방법, 및 컴퓨터프로그램
KR20190094317A (ko) 2019-05-29 2019-08-13 엘지전자 주식회사 사용자 환경에서의 음성 인식 모델의 성능을 예측하는 인공 지능 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014147659A (ja) * 2013-01-09 2014-08-21 Canon Inc 医療診断支援装置及び医療診断支援方法
KR20190092869A (ko) * 2018-01-31 2019-08-08 한양대학교 에리카산학협력단 영상정보 기반 위험체 탐지 시스템, 방법, 및 컴퓨터프로그램
KR20190094317A (ko) 2019-05-29 2019-08-13 엘지전자 주식회사 사용자 환경에서의 음성 인식 모델의 성능을 예측하는 인공 지능 장치 및 그 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
논문(2015.04.30) *
논문(2020.03.31) *
블로그(2020.02.10) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102341599B1 (ko) 2021-06-09 2021-12-22 주식회사 쓰리빌리언 화합물 생성 인공지능 모델에 대한 성능 평가 시스템
CN120743724A (zh) * 2025-08-29 2025-10-03 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 云原生智能体的质量确定方法、装置、设备及介质
CN120743724B (zh) * 2025-08-29 2025-11-25 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 云原生智能体的质量确定方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
Fang et al. A deep learning-based method for detecting non-certified work on construction sites
Arshad et al. Computer vision and IoT research landscape for health and safety management on construction sites
CN111598040A (zh) 一种建筑工人身份识别及安全帽佩戴检测方法及系统
Lim et al. iSurveillance: Intelligent framework for multiple events detection in surveillance videos
Chowdhury et al. Computer vision and smoke sensor based fire detection system
Zhang et al. Research on fire smoke detection algorithm based on improved YOLOv8
US20140379301A1 (en) Systems and methods for data-driven anomaly detection
CN117455745B (zh) 基于多维融合数据分析的公共安全事件感知方法及系统
US20100002142A1 (en) System and method for video-processing algorithm improvement
KR102158181B1 (ko) 이미지 분석 기반 인공 지능 자동탐지기기의 자동탐지 성능인증 평가 장치 및 방법
Sultan Mahmud et al. Smart fire detection system with early notifications using machine learning
Wang et al. Explainable deep learning for image-driven fire calorimetry
CN112396023A (zh) 基于机器学习的火灾检测方法
Nakıp et al. Multi-sensor fire detector based on trend predictive neural network
Hassan et al. Traditional sensor-based and computer vision-based fire detection systems: A review
US20210049396A1 (en) Optical quality control
CN116862244A (zh) 一种工业现场视觉ai分析与安全预警系统和方法
CN115759451A (zh) 一种仓库火灾监测预测方法及装置
Filist et al. Automated system for classifying images of video streams for timely detection of fires
Blejcharova et al. Framework for selecting screening technologies for checked baggage inspection systems at airports
KR102788045B1 (ko) 위험도에 따라 영상 순서를 결정하는 자동 선별 관제 방법 및 장치
Choudhary et al. A Robust Machine Learning Model for Forest Fire Detection Using Drone Images
Concho et al. A mathematical framework for passenger screening optimization via a multi-objective evolutionary approach
Saji et al. Deep Learning Based Fire Detection System
Hussain et al. Vision-language model-based intelligent assistant for onsite construction safety inspection

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20200225

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20200403

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20200225

Patent event code: PA03021R01I

Comment text: Patent Application

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200615

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200915

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200915

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230613

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240919

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20250319

Start annual number: 6

End annual number: 6