KR102179598B1 - 동영상 파일을 이용한 설비 학습 장치 및 방법 - Google Patents
동영상 파일을 이용한 설비 학습 장치 및 방법 Download PDFInfo
- Publication number
- KR102179598B1 KR102179598B1 KR1020180073872A KR20180073872A KR102179598B1 KR 102179598 B1 KR102179598 B1 KR 102179598B1 KR 1020180073872 A KR1020180073872 A KR 1020180073872A KR 20180073872 A KR20180073872 A KR 20180073872A KR 102179598 B1 KR102179598 B1 KR 102179598B1
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- image
- still image
- unit
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 27
- 238000012795 verification Methods 0.000 claims abstract description 80
- 238000001514 detection method Methods 0.000 claims abstract description 67
- 238000004088 simulation Methods 0.000 claims abstract description 65
- 230000006870 function Effects 0.000 claims abstract description 29
- 230000007613 environmental effect Effects 0.000 claims abstract description 20
- 238000007726 management method Methods 0.000 claims description 52
- 238000010801 machine learning Methods 0.000 claims description 27
- 238000013500 data storage Methods 0.000 claims description 20
- 239000000284 extract Substances 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 2
- 230000007786 learning performance Effects 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 61
- 238000003745 diagnosis Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
- G01R31/08—Locating faults in cables, transmission lines, or networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Tourism & Hospitality (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 동영상 파일을 이용한 설비 학습 장치에 관한 것으로, 설비가 포함되게 촬영된 동영상으로부터 설비가 포함된 정지영상을 추출하고, 이 정지영상에 포함된 설비를 학습하고 이 학습을 수행하는 학습 알고리즘의 성능 검증에 활용할 수 있도록, 상기 정지영상을 태깅하여 관리하는 학습데이터 생성부; 상기 태깅하여 관리하는 정지영상이 촬영된 환경정보를 반영하여, 복수의 학습 알고리즘 중 관리자에 의해 선택된 어느 하나의 학습 알고리즘을 이용해 상기 정지영상에 포함된 설비의 학습을 수행하는 학습 수행부; 및 상기 관리자에 의해 선택된 어느 하나의 학습 알고리즘을 이용해 학습된 결과정보 및 상기 학습 알고리즘에 적용된 설비 검출 기능의 검출율 및 검출 정확도를 시뮬레이션을 통해 검증하는 학습 알고리즘 검증부;를 포함한다.
Description
본 발명은 동영상 파일을 이용한 설비 학습 장치 및 방법에 관한 것으로, 보다 상세하게는 동영상 파일로부터 송전시설의 고장이나 상태를 신속하고 정확하게 자동 분석할 수 있도록 하기 위하여, 송전시설을 촬영한 동영상을 이용하여 송전시설을 학습할 수 있도록 하는, 동영상 파일을 이용한 설비 학습 장치 및 방법에 관한 것이다.
최근 드론을 활용하여 송전선로를 진단하는 방법이 실시되고 있다.
이러한 드론을 활용한 송전선로의 진단 방법은, 먼저 고정밀 GPS 측정기를 활용하여 진단하고자 하는 철탑 및 경간의 정확한 위치를 측정한 후, 그 위치를 드론에 입력하여 이 드론이 철탑과 경간 사이를 자동으로 비행하면서 이 드론에 부착된 광학 카메라와 열화상 카메라로 송전선로를 촬영하여, 그 송전선로를 촬영한 영상을 진단 전문가가 다운받아 설비(예 : 송전설비, 송전시설)의 이상여부를 육안으로 직접 확인하는 방식으로 진단하는 방법이다.
상기와 같이 드론에 부착된 카메라를 이용하여 촬영한 영상 파일을 재생하면서 진단 전문가의 육안으로 직접 관찰하여 설비(예 : 송전설비, 송전시설)의 상태를 점검하고 진단하는 방법은, 영상이 촬영된 촬영시간 만큼의 진단시간이 필요하기 때문에 사실상 경제성과 효율성이 떨어지는 문제점이 있다.
이에 따라 드론(무인항공기) 등을 이용하여 공중에서 송전시설을 촬영한 동영상을, 지상에 있는 운영 서버와 제어시스템(GCS, Ground Control System)으로 전송하여, 상기 운영 서버와 제어시스템(GCS)이 상기 동영상을 이용해 송전설비의 이상 유무를 신속하게 자동으로 판단할 수 있도록 함으로써, 이상이 감지되거나 의심되는 설비(예 : 송전설비, 송전시설)를 추가로 촬영하게 하거나, 설비(예 : 송전시설, 송전설비)에서 자체적으로 이상 여부를 진단하게 하는 방법으로의 개선이 요구되고 있다.
상기와 같이 송전설비의 상태를 신속하고 정확하게 자동 진단하기 위한 장치를 개발하기 위해서는, 동영상을 통해 설비(예 : 송전시설, 송전설비)를 인식할 수 있도록 학습하는 장치가 먼저 필요한 상황이다.
본 발명의 배경기술은 대한민국 공개특허 10-2017-0124410(2017.11.10. 공개, 무인비행점검장치를 이용한 전력설비 점검시스템)에 개시되어 있다.
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 동영상 파일로부터 송전시설의 고장이나 상태를 신속하고 정확하게 자동 분석할 수 있도록 하기 위하여, 송전시설을 촬영한 동영상을 이용하여 송전시설을 학습할 수 있도록 하는, 동영상 파일을 이용한 설비 학습 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 일 측면에 따른 동영상 파일을 이용한 설비 학습 장치는, 설비가 포함되게 촬영된 동영상으로부터 설비가 포함된 정지영상을 추출하고, 이 정지영상에 포함된 설비를 학습하고 이 학습을 수행하는 학습 알고리즘의 성능 검증에 활용할 수 있도록, 상기 정지영상을 태깅하여 관리하는 학습데이터 생성부; 상기 태깅하여 관리하는 정지영상이 촬영된 환경정보를 반영하여, 복수의 학습 알고리즘 중 관리자에 의해 선택된 어느 하나의 학습 알고리즘을 이용해 상기 정지영상에 포함된 설비의 학습을 수행하는 학습 수행부; 및 상기 관리자에 의해 선택된 어느 하나의 학습 알고리즘을 이용해 학습된 결과정보 및 상기 학습 알고리즘에 적용된 설비 검출 기능의 검출율 및 검출 정확도를 시뮬레이션을 통해 검증하는 학습 알고리즘 검증부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 학습데이터 생성부는, 설비가 포함되게 촬영된 동영상으로부터 정지영상을 추출하여 학습 자료로 준비하는 정지영상 추출부; 상기 추출된 정지영상에 포함된 설비의 크기, 위치, 및 종류 정보를 태깅하여 학습 및 알고리즘의 성능 검증에 활용할 수 있도록 관리하는 정지영상 관리부; 및 상기 태깅된 정지영상을 데이터베이스 형태로 저장하여 관리하는 영상데이터 저장부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 학습 수행부는, 학습에 사용된 정지영상인 학습영상의 환경정보를 반영한 영상 정보를 관리하는 학습영상 관리부; 복수의 학습 알고리즘 중 관리자가 선택한 어느 하나의 학습 알고리즘을 이용하여, 상기 정지영상의 기계 학습을 진행하는 기계학습 수행부; 및 상기 학습영상에 포함된 설비수량, 환경정보, 학습영상, 설비의 태그 정보, 및 학습결과 정보를 데이터베이스 형태로 저장하여 관리하는 학습데이터 저장부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 학습 알고리즘 검증부는, 상기 태깅된 정지영상을 활용하여 표준화된 검증대상 영상군을 생성 및 관리하는 검증영상 관리부; 학습 알고리즘을 이용한 학습 결과 파일, 설비 객체를 검출하는 검출 알고리즘, 및 상기 검출 알고리즘에 적용하는 검출 파라메터 정보를 포함하는 학습 알고리즘을 등록하고 관리하는 알고리즘 관리부; 관리자가 선택한 검증영상 및 학습 알고리즘을 시뮬레이션 대상 목록으로 선정하고, 검증영상에서 태깅된 영상 정보를 바탕으로 시뮬레이션 하여 상기 관리자가 선택한 학습 알고리즘의 성능을 검증하는 시뮬레이션 수행부; 및 복수의 학습 알고리즘에 대한 시뮬레이션 결과를 바탕으로, 시뮬레이션 결과가 가장 좋은 최적의 학습 알고리즘을 선정하는 최적 알고리즘 선정부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 정지영상 추출부는, 설비가 포함되게 촬영된 동영상을 호출하여 재생하고, 원하는 부분의 정지영상을 확보하기 위하여, 동영상의 재생, 일시정지, 프레임 단위 영상 전후 점프, 및 동영상 자르기 기능을 포함하는 동영상 조작 기능을 수행하는 동영상 관리부; 및 관리자가 설정한 동영상 구간에서 정지영상을 적어도 1 프레임 단위로 추출하고, 지정된 프레임 간격 내 정지영상을 비교하여 흔들리거나 흐림이 없이 선명한 최적의 정지영상을 선정하는 최적영상 선정부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 최적영상 선정부는, 상기 최적의 정지영상을 선정하기 위하여, 대상 프레임 그룹의 정지영상들 중 각각의 영상 선명도를 추출하여, 그 중 선명도가 가장 높은 영상을 추출하는 것을 특징으로 한다.
본 발명에 있어서, 상기 정지영상 추출부는, 동영상에서 추출한 정지영상에, 환경정보, 생성일자, 설비분류, 및 태깅 여부 정보를 추가로 부가하여, 추후 해당 정지영상을 조회하거나 호출하여 재분류를 수행할 수 있게 하고, 또한 태깅 대상이 되는 정지영상을 학습영상으로 선택할 수 있도록 관리하는 추출 정지영상 관리부; 및 상기 추출 정지영상 관리부에서 선택한 대상 정지영상을 표시하며, 태그 정보가 등록되어 있을 경우 이 태그 정보를 동시에 표시하고, 관리자에 의한 태그모드 운용 기능을 수행하며, 설비 객체를 인식하여 이 인식된 객체가 기 학습된 객체인 경우 화면을 통해 표시하고, 상기 인식된 객체가 새로운 객체인 경우 관리자가 객체의 종류를 분류하거나 확인하여 저장할 수 있게 하는 정지영상 설정부;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 학습데이터 생성부는, 기 수행된 학습을 통해 정지영상에서 자동으로 설비를 검출하는 동작을 수행하며, 상기 학습데이터 생성부가 정지영상에서 인지하지 못한 설비를 관리자가 선별하여 추가로 추출하는 작업을 지원할 수 있도록 구현된 것을 특징으로 한다.
본 발명에 있어서, 상기 학습데이터 생성부는, 관리자와 연계하기 위한 인터페이스 화면을 출력하도록 구현되며, 상기 인터페이스 화면은, 동영상을 호출하는 기능을 수행하는 버튼 영역; 호출된 동영상이 표시되는 영역; 동영상 제어 인터페이스를 통하여, 동영상의 재생, 일시정지, 프레임단위 영상 전후 점프, 지정된 프레임 단위로 동영상 자르기 기능을 수행 후 최적 영상을 설정된 간격 기준으로 선정하는 기능을 수행하는 동영상 제어버튼 영역; 및 동영상 상태 정보 인터페이스를 활용하여, 촬영 환경정보 표시, 영상 자체의 밝기분석 정보 표시, 영상 재생 상태를 프레임단위, 및 시간단위로 가시화시키는 표시 영역;을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 정지영상 추출부는, 관리자와 연계하기 위한 인터페이스 화면을 출력하도록 구현되며, 상기 인터페이스 화면은, 날짜, 환경정보, 태깅 정보, 및 정지영상 정보를 검색하거나 선택하기 위한 정보 검색 및 선택 영역; 및 상기 정보 검색 및 선택 영역에서 선택한 정지영상의 상세 정보를 표시하는 상세 정보 표시 영역;을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 학습 수행부는, 관리자와 연계하기 위한 인터페이스 화면을 출력하도록 구현되며, 상기 인터페이스 화면은, 학습 수행 결과를 등록하기 위한 수행결과등록 영역; 기 등록된 기계 학습 결과를 조회하기 위한 수행결과조회 영역; 및 상기 기계 학습 결과를 조회하여 표시된 리스트에서 선택된 기계 학습 결과에 대한 상세한 정보를 표시하는 상세 정보 표시 영역;을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 시뮬레이션 수행부는, 관리자와 연계하기 위한 인터페이스 화면을 출력하도록 구현되며, 상기 인터페이스 화면은, 학습 알고리즘이나 복수의 학습 알고리즘 목록을 조회하기 위한 인터페이스 영역; 검증이 완료된 정지영상의 목록을 조회하기 위한 인터페이스 영역; 및 상기 학습 알고리즘이나 학습 알고리즘 목록에서 관리자에 의해 선택된 어느 하나의 학습 알고리즘의 시뮬레이션 수행 진행 사항을 표시하는 영역;을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 시뮬레이션 수행부는, 관리자가 선정한 검증영상 모델의 목록과 검증을 원하는 학습 알고리즘이나 학습 알고리즘 목록을 자동으로 조합하여 시뮬레이션 수행 횟수(시뮬레이션 수행 횟수 = 검증영상 모델 목록 ㅧ 알고리즘 목록)를 결정하고, 상기 학습 알고리즘에 포함된 학습 파일, 설비 객체를 검출하는 검출 알고리즘, 및 상기 검출 알고리즘에 적용하는 검출 파라메터 정보를 설정한 후 개별 검증영상 내에서 설비의 위치와 종류를 검출하여 그 결과를 집계하며, 개별 검증영상에서 설비를 검출한 검출율(%) 및 검증영상에 저장된 정보와 관자가 선정한 학습 알고리즘에서 검출한 정보의 일치여부를 비교한 검출 정확도(%)가 결과로 표시하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 동영상 파일을 이용한 설비 학습 방법은, 학습데이터 생성부가 설비가 포함되게 촬영된 동영상으로부터 설비가 포함된 정지영상을 추출하고, 이 정지영상에 포함된 설비를 학습하고 이 학습을 수행하는 학습 알고리즘의 성능 검증에 활용할 수 있도록, 상기 정지영상을 태깅하여 관리하는 단계; 학습 수행부가 상기 태깅하여 관리하는 정지영상이 촬영된 환경정보를 반영하여, 복수의 학습 알고리즘 중 관리자에 의해 선택된 어느 하나의 학습 알고리즘을 이용해 상기 정지영상에 포함된 설비의 학습을 수행하는 단계; 및 학습 알고리즘 검증부가 상기 관리자에 의해 선택된 어느 하나의 학습 알고리즘을 이용해 학습된 결과정보 및 상기 학습 알고리즘에 적용된 설비 검출 기능의 검출율 및 검출 정확도를 시뮬레이션을 통해 검증하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 정지영상을 태깅하여 관리하는 단계에서, 상기 학습데이터 생성부는, 정지영상 추출부를 통해 설비가 포함되게 촬영된 동영상으로부터 정지영상을 추출하여 학습 자료로 준비하는 단계; 정지영상 관리부를 통해 상기 추출된 정지영상에 포함된 설비의 크기, 위치, 및 종류 정보를 태깅하여 학습 및 알고리즘의 성능 검증에 활용할 수 있도록 관리하는 단계; 및 영상데이터 저장부를 통해 상기 태깅된 정지영상을 데이터베이스 형태로 저장하여 관리하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 정지영상에 포함된 설비의 학습을 수행하는 단계에서, 상기 학습 수행부는, 학습영상 관리부를 통해 학습에 사용된 정지영상인 학습영상의 환경정보를 반영한 영상 정보를 관리하는 단계; 기계학습 수행부를 통해 복수의 학습 알고리즘 중 관리자가 선택한 어느 하나의 학습 알고리즘을 이용하여, 상기 정지영상의 기계 학습을 진행하는 단계; 및 학습데이터 저장부를 통해 상기 학습영상에 포함된 설비수량, 환경정보, 학습영상, 설비의 태그 정보, 및 학습결과 정보를 데이터베이스 형태로 저장하여 관리하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 학습 알고리즘에 적용된 설비 검출 기능의 검출율 및 검출 정확도를 시뮬레이션을 통해 검증하는 단계에서, 상기 학습 알고리즘 검증부는, 검증영상 관리부를 통해 상기 태깅된 정지영상을 활용하여 표준화된 검증대상 영상군을 생성 및 관리하는 단계; 알고리즘 관리부를 통해 학습 알고리즘을 이용한 학습 결과 파일, 설비 객체를 검출하는 검출 알고리즘, 및 상기 검출 알고리즘에 적용하는 검출 파라메터 정보를 포함하는 학습 알고리즘을 등록하고 관리하는 단계; 시뮬레이션 수행부를 통해 관리자가 선택한 검증영상 및 학습 알고리즘을 시뮬레이션 대상 목록으로 선정하고, 검증영상에서 태깅된 영상 정보를 바탕으로 시뮬레이션 하여 상기 관리자가 선택한 학습 알고리즘의 성능을 검증하는 단계; 및 최적 알고리즘 선정부를 통해 복수의 학습 알고리즘에 대한 시뮬레이션 결과를 바탕으로, 시뮬레이션 결과가 가장 좋은 최적의 학습 알고리즘을 선정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 본 발명은 동영상 파일로부터 송전시설의 고장이나 상태를 신속하고 정확하게 자동 분석할 수 있도록 하기 위하여, 송전시설을 촬영한 동영상을 이용하여 송전시설을 학습할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 동영상 파일을 이용한 설비 학습 장치의 개략적인 구성을 보인 예시도.
도 2는 상기 도 1에 있어서, 정지영상 추출부의 보다 구체적인 구성을 보인 예시도.
도 3은 상기 도 1에 있어서, 학습 데이터 생성부의 동작을 설명하기 위한 인터페이스 화면을 보인 예시도.
도 4는 상기 도 1에 있어서, 정지영상 추출부의 동작을 설명하기 위한 인터페이스 화면을 보인 예시도.
도 5는 상기 도 1에 있어서, 학습 수행부의 동작과 기능을 설명하기 위한 인터페이스 화면을 보인 예시도.
도 6은 상기 도 1에 있어서, 학습데이터 저장부에 저장되는 데이터베이스 형태를 설명하기 위한 예시도.
도 7은 상기 도 1에 있어서, 학습 수행부를 통한 개별 설비 학습 및 전체 설비 학습을 위한 인터페이스 화면을 보인 예시도.
도 8은 상기 도 1에 있어서, 시뮬레이션 수행부의 동작을 설명하기 위한 인터페이스 화면을 보인 예시도.
도 9는 상기 도 8에 있어서, 시뮬레이션 수행부에서 시뮬레이션 수행 결과를 검색하기 위한 인터페이스 화면을 보인 예시도.
도 2는 상기 도 1에 있어서, 정지영상 추출부의 보다 구체적인 구성을 보인 예시도.
도 3은 상기 도 1에 있어서, 학습 데이터 생성부의 동작을 설명하기 위한 인터페이스 화면을 보인 예시도.
도 4는 상기 도 1에 있어서, 정지영상 추출부의 동작을 설명하기 위한 인터페이스 화면을 보인 예시도.
도 5는 상기 도 1에 있어서, 학습 수행부의 동작과 기능을 설명하기 위한 인터페이스 화면을 보인 예시도.
도 6은 상기 도 1에 있어서, 학습데이터 저장부에 저장되는 데이터베이스 형태를 설명하기 위한 예시도.
도 7은 상기 도 1에 있어서, 학습 수행부를 통한 개별 설비 학습 및 전체 설비 학습을 위한 인터페이스 화면을 보인 예시도.
도 8은 상기 도 1에 있어서, 시뮬레이션 수행부의 동작을 설명하기 위한 인터페이스 화면을 보인 예시도.
도 9는 상기 도 8에 있어서, 시뮬레이션 수행부에서 시뮬레이션 수행 결과를 검색하기 위한 인터페이스 화면을 보인 예시도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 동영상 파일을 이용한 설비 학습 장치 및 방법의 일 실시예를 설명한다.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 동영상 파일을 이용한 설비 학습 장치의 개략적인 구성을 보인 예시도이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 동영상 파일을 이용한 설비 학습 장치는, 학습데이터 생성부(100), 학습 수행부(200), 및 학습 알고리즘 검증부(300)를 포함한다.
상기 학습데이터 생성부(100)는 드론(또는 무인항공기) 등을 이용하여 촬영한 동영상(예 : 설비가 포함되게 촬영한 동영상)으로부터 설비(예 : 송전선로, 송전설비)가 포함된 정지영상을 추출하고, 이 정지영상에 포함된 설비(예 : 송전선로, 송전설비) 객체를 학습 및 검증(예 : 알고리즘의 성능 검증)에 활용할 수 있도록 태깅하여 관리한다.
상기 학습데이터 생성부(100)는 드론(또는 무인항공기)에 부착된 광학 카메라를 활용하여 촬영한 설비(예 : 송전선로, 송전설비) 동영상으로부터 정지영상을 추출하여 학습 자료로 준비하는 정지영상 추출부(110)와; 상기 추출된 정지영상에 포함된 설비(예 : 송전선로, 송전설비)의 크기, 위치, 및 종류 등의 정보를 태그(태깅)하여 학습 및 검증(예 : 알고리즘의 성능 검증)에 활용할 수 있도록 관리하는 정지영상 관리부(120); 및 상기 태깅된 정지영상을 데이터베이스 형태로 저장하여 관리하는 영상데이터 저장부(130)를 포함한다.
상기 학습 수행부(200)는 상기 영상데이터 저장부(130)로부터 태그(태깅)된 정지영상을 호출하여, 이 정지영상이 촬영된 환경정보(예 : 밝기, 시간, 및 태양의 위치 등)를 반영하여 학습(즉, 기계 학습)을 수행한다.
상기 학습 수행부(200)는, 학습영상(즉, 학습에 사용된 정지영상)의 환경정보(예 : 밝기, 시간, 및 태양의 위치 등)을 반영하여 영상 정보를 관리하는 학습영상 관리부(210); 복수의 학습 알고리즘(즉, 정지영상에서 설비 객체를 검출하여 학습하는 알고리즘) 중, 관리자(또는 사용자)가 선택한 어느 하나의 학습 알고리즘을 이용하여, 상기 정지영상의 학습(즉, 정지영상에서 설비 객체를 검출하는 학습)을 진행하는 기계학습 수행부(220); 및 상기 학습영상(즉, 학습에 사용된 정지영상)에 포함된 설비수량(또는 시설수량), 환경정보(예 : 밝기, 시간, 및 태양의 위치 등), 학습영상(즉, 학습에 사용된 정지영상), 태그 정보(즉, 설비의 태그 정보), 및 학습결과 정보를 데이터베이스 형태로 저장하여 관리하는 학습데이터 저장부(230)를 포함한다.
상기 학습 알고리즘 검증부(300)는 상기 학습된 결과정보 및 상기 학습 알고리즘에 적용된 검출 기능의 정확도를 검증한다.
상기 학습 알고리즘 검증부(300)는 상기 태깅된 정지영상을 활용하여 표준화된 검증대상 영상군(예 : 다양환 환경조건에서 촬영된 동일한 설비들의 표준화된 영상으로서 검증을 위한 일종의 기준 영상)을 생성, 및 관리하는 검증영상 관리부(310); 학습 결과 파일, 검출 알고리즘, 및 검출 파라메터(예 : 기준값, 해상도크기 등)에 대응하는 학습 알고리즘을 등록하고 관리하는 알고리즘 관리부(320); 관리자가 선택한 검증영상(즉, 학습영상을 검증하기 위하여 표준화된 검증영상) 및 학습 알고리즘을 시뮬레이션 대상 목록으로 선정하고, 검증영상에서 태그(태깅)된 영상 정보(즉, 설비 정보)를 바탕으로 시뮬레이션 하여 상기 학습 알고리즘(즉, 관리자가 선택한 알고리즘)의 성능을 검증하는 시뮬레이션 수행부(330); 및 상기 시뮬레이션 결과를 바탕으로, 미리 준비된 복수의 학습 알고리즘 중 본 실시예에 따른 설비 학습 장치에서 시뮬레이션 결과가 가장 좋은 최적 학습 알고리즘을 선정하는 최적 알고리즘 선정부(340);를 포함한다.
도 2는 상기 도 1에 있어서, 정지영상 추출부의 보다 구체적인 구성을 보인 예시도이다.
도 2에 도시된 바와 같이, 상기 정지영상 추출부(110)는, 동영상 관리부(111), 최적영상 선정부(112), 정지영상 설정부(113), 추출 정지영상 관리부(114), 및 태그정보 관리부(115)를 포함한다.
상기 동영상 관리부(111)는 동영상(즉, 설비가 포함되게 촬영된 동영상)을 호출하여 재생하고, 원하는 부분의 정지영상(즉, 설비가 촬영된 정지영상)을 확보하기 위하여, 동영상의 재생, 일시정지, 프레임 단위 영상 전후 점프, 및 동영상 자르기 등의 동영상 조작 기능을 수행한다.
또한 상기 동영상 관리부(111)는 동영상 촬영장치(예 : 드론 플랫폼, 카메라 등)(미도시)에 기록된 영상의 환경정보(예 : 밝기, 시간, 및 태양의 위치 등)를 표시하고, 이 영상의 환경정보를 포함하는 영상 데이터를 저장 할 수 있다.
상기 최적영상 선정부(112)는 관리자가 설정한 동영상 구간에서 정지영상을 적어도 1 프레임 단위로 추출하고, 지정된 프레임 간격 내 정지영상을 비교하여 최적의 정지영상(예 : 흔들리거나 흐리지 않고 선명한 정지영상)을 선정한다.
상기 최적의 정지영상을 선정하기 위한 정지영상의 비교 방식은, 대상 프레임 그룹의 정지영상 중 각각의 영상 선명도를 추출하여, 그 중 선명도가 가장 높은 영상을 추출해 내는 방식을 포함한다.
상기 정지영상 설정부(113)는 추출 정지영상 관리부(114)에서 선택한 대상 영상을 표시하며, 태그 정보가 등록되어 있을 경우 이 태그 정보를 동시에 표시하고, 사용자에 의한 태그모드 운용(예 : 생성, 수정, 삭제) 기능을 수행하며, 객체(예 : 설비)를 인식하여 이 인식된 객체가 기 학습된 객체인 경우 화면을 통해 표시하고, 상기 인식된 객체가 새로운 객체인 경우 관리자가 객체의 종류를 분류하거나 확인하여 저장할 수 있게 한다.
상기 추출 정지영상 관리부(114)는 동영상에서 추출한 정지영상에, 환경정보, 생성일자, 설비분류(또는 시설 분류), 및 태깅 여부 등의 정보를 추가로 부가하여, 추후 해당 정지영상을 조회하거나 호출하여 재분류를 수행할 수 있고, 또한 태깅 대상이 되는 정지영상을 학습영상으로 선택할 수 있다.
상기 태그정보 관리부(115)는 정지영상 설정부(113)를 통해 설정(또는 등록)한 태그 정보를 관리하기 위하여 자동으로 영상데이터 저장부(130)에 저장한다. 이때 상기 정지영상에 태그 정보가 표시될 수 있다.
상기 학습데이터 생성부(100)(특히 정지영상 추출부(110))는, 드론(또는 무인항공기)에 부착된 광학 카메라를 이용하여 촬영한 설비(예 : 송전선로, 송전설비) 동영상으로부터 학습에 적합한 정지영상을 추출하여 학습 자료로 준비하는 동작을 수행한다.
이때 상기 학습데이터 생성부(100)는 기 수행된 학습을 통해 자동으로 설비(예 : 송전선로, 송전설비)를 검출하는 동작을 수행하며, 사용자(또는 관리자)는 상기 학습데이터 생성부(100)가 인지하지 못한 설비(예 : 송전선로, 송전설비)를 육안으로 모니터링 후 해당 설비(예 : 송전선로, 송전설비)의 영상만 선별하여 추가로 추출하는 작업(또는 프로세스)을 수행할 수 있다.
이때 상기 관리자(사용자)에 의해 영상을 선별하여 추가로 추출하는 작업(또는 프로세스)은 불필요한 학습영상 데이터의 유입을 제한하여 설비(예 : 송전선로, 송전설비)의 검출 성능 향상에 도움이 된다.
또한 상기 학습데이터 생성부(100)는 드론(또는 무인항공기) 등을 이용한 영상 촬영 시, 비행 중 발생할 수 있는 흔들린 영상을 학습에서 배제하기 위하여, 동영상의 지정된 구간에서 관리자가 설정한 프레임 추출 기준에 따라 흔들림이 없는 최적 영상을 선별한다. 이때 상기 최적 영상의 선별 기능은 상기 학습데이터 생성부(100)가 모든 영상을 적어도 1 프레임 단위로 추출한 후, 관리자에 의해 설정된 프레임 추출 기준에 따라, 프레임 추출 간격 내 영상의 선명도를 비교하고, 그 중 선명도가 가장 높은 영상을 최적 영상(즉, 학습영상)으로 선정하여 정지영상 관리 대상으로 추가한다.
또한 상기 학습데이터 생성부(100)는 상기 추출한 정지영상에서 자동으로 인지 가능한 설비(예 : 송전선로, 송전설비)의 위치나 영역 정보를 화면상에 표시하고, 이 설비의 위치나 영역 정보를 확인한 사용자(관리자)는 해당 정보를 보정하거나 자동으로 인지하지 못한 설비(즉, 미인지 설비)의 정보(위치나 영역 정보)를 등록하여 학습을 위한 설비(예 : 송전선로, 송전설비)의 태그 시간을 단축할 수 있도록 하는 효과가 있다.
상기와 같이 본 실시예는 상기 학습데이터 생성부(100)가 동영상에서 추출한 정지영상에서 설비(예 : 송전선로, 송전설비)의 위치나 영역 정보를 표시하고, 관리자(또는 사용자가)가 확인하여 이를 보정하거나 추가할 수 있도록 함으로써, 학습 수행부(200) 및 학습 알고리즘 검증부(300)의 효율을 향상시킨다.
도 3은 상기 도 1에 있어서, 학습 데이터 생성부의 동작을 설명하기 위한 인터페이스 화면을 보인 예시도로서, 학습 데이터 생성부가 동영상으로부터 정지영상을 관리자가 지정한 프레임 단위로 추출하기 위하여 기 촬영된 동영상을 호출하는 화면을 보인 예시도이다.
도 3을 참조하면, 본 실시예에 따른 동영상 파일을 이용한 설비 학습 장치의 학습데이터 생성부(100)는, 동영상 정보를 호출(불러오기)하는 기능을 수행하는 버튼 영역(①), 호출된 동영상이 표시되는 영역(②), 동영상 제어 인터페이스를 통하여, 동영상의 재생, 일시정지, 프레임단위 영상 전후 점프, 지정된 프레임 단위로 동영상 자르기 기능을 수행 후 최적 영상을 설정된 간격 기준으로 선정하는 기능 등을 수행하는 동영상 제어버튼 영역(③), 및 동영상 상태 정보 인터페이스를 활용하여, 촬영 환경정보 표시, 영상 자체의 밝기분석 정보 표시, 영상 재생 상태를 프레임단위, 시간단위로 가시화시키는 표시 영역(④)을 포함한다.
도 4는 상기 도 1에 있어서, 정지영상 추출부의 동작을 설명하기 위한 인터페이스 화면을 보인 예시도로서, 동영상에서 추출된 정지영상에서 설비 객체를 인식하여 상기 설비 객체에 태그 정보(태깅 정보)를 부여하는 정지영상 관리 화면을 보인 예시도이다.
도 4를 참조하면, 날짜, 환경정보, 태깅 정보, 및 정지영상(이미지) 정보를 검색하거나 선택하기 위한 정보 검색 및 선택 영역(①), 상기 정보 검색 및 선택 영역(①)에서 선택한 정지영상(이미지)의 상세 정보를 표시하는 상세 정보 표시 영역(②,③)을 포함한다. 이때 상기 상세 정보 표시 영역(②,③)은 이미지를 표시하는 영역(②)과 구체적인 스펙 정보를 표시하는 영역(③)을 포함한다. 상기 스펙 정보를 표시하기 위한 객체(즉, 대상 설비)는 이미지 표시 영역(②)에서 사용자에 의해 선택할 수 있다.
도 5는 상기 도 1에 있어서, 학습 수행부의 동작과 기능을 설명하기 위한 인터페이스 화면을 보인 예시도이다.
도 5를 참조하면, 상기 학습 수행부(200)는 상기 영상데이터 저장부(130)로부터 태그(태깅)된 정지영상을 호출하여, 이 정지영상이 촬영된 환경정보(실실적으로는 이 정지영상이 추출된 동영상이 촬영된 환경정보)를 반영하여 학습(즉, 기계 학습)을 수행한다.
도 5에 도시된 바와 같이, 상기 학습 수행부(200)가 학습을 수행하고 그 학습 결과 데이터를 관리하기 위한 인터페이스 화면은, 학습(기계 학습) 수행 결과(즉, 기계 학습 완료 데이터)를 등록하기 위한 수행결과등록 영역(①), 기 등록된 기계 학습 결과를 조회하기 위한 수행결과조회 영역(②), 및 상기 기계 학습 결과를 조회하여 표시된 리스트에서 선택된 기계 학습 결과에 대한 상세한 정보를 표시하는 상세 정보 표시 영역(③)을 포함한다.
여기서 상기 기계 학습 완료 데이터는 학습데이터 저장부(230)에 저장되며 모델번호(버전번호)로 관리된다.
한편 상기 수행결과조회 영역(②)의 인터페이스 화면을 통해서 기 등록된 학습 모델을 버전 순으로 자동 조회할 수 있다.
이때 모델 선택 시 학습 모델의 세부 내역을 상세 조회가능하며 조회된 상세 내용은 상세 정보 표시 영역(③)의 인터페이스 화면을 통해 표시된다.
예컨대 상기 상세 정보 표시 영역(③)에서는 상기 선택된 학습 모델의 애자류, 금구류, 항공장애 표시구, 및 이를 포함한 총 설비수량 정보가 표시되며, 또한 학습 모델 등록 시 특징을 작성한 버전 설명 정보와 학습에 사용된 이미지 정보 전체가 표시되며, 설비 분류(즉, 대상설비)별 선택 조회와 선택된 학습 영상의 원본 영상을 볼 수 있다.
도 6은 상기 도 1에 있어서, 학습데이터 저장부에 저장되는 데이터베이스 형태를 설명하기 위한 예시도로서, 상기 학습데이터 저장부(230)에는 동영상 촬영에 관련된 데이터를 가공하여 학습에 필요한 데이터 정보로 변환하여 저장한다.
예컨대 드론(또는 무인 항공기)을 이용하여 동영상을 촬영한다고 가정할 경우, 드론의 촬영시간, 비행위치, 비행방향, 짐벌의 각도를 활용하여 촬영 영상에 대한 태양 방향(예 : 동서남북 방위), 태양 위치(예 : 오전, 정오, 오후), 및 영상 방향(즉, 촬영된 영상의 방위) 데이터를 추출하여 관리한다.
상기 학습데이터 저장부(230)는 동영상 촬영에 관련된 데이터를 활용해서 외부 환경에 적합한 영상을 관리 및 조회할 수 있도록 하며, 학습 수행 시 환경정보에 따라 학습데이터 군(예 : 학습데이터 모델, 학습영상정보 모델, 학습설비정보 모델)을 생성한다.
참고로, 만약 하나의 이미지에 복수의 설비가 존재할 경우, 개별 OBJECT_ID를 부여하여 설비(즉, 송전설비, 송전시설)의 종류를 지정하고, 전체설비 학습 또는 개별 설비 학습이 가능하도록 정보를 구성할 수 있다.
도 7은 상기 도 1에 있어서, 학습 수행부를 통한 개별 설비 학습 및 전체 설비 학습을 위한 인터페이스 화면을 보인 예시도로서, 관리자에 의해 개별 설비 학습 수행 시 선택되지 않은 설비(즉, 송전설비, 송전시설)는 타 학습에 방해되지 않도록 하기 위하여, 선택되지 않은 설비(즉, 송전설비, 송전시설)에 해당하는 영역을 블라인드 처리하여 학습에 포함되지 않도록 처리한다.
상기와 같은 처리는, 학습 대상 객체가 아닌 배경 객체는 추후 실제 검출 시 미검출 대상으로 포함될 수 있기 때문에 검출 대상 설비가 미검출 대상에 포함되어 탐지 상 논리 오류로 인한 검출율 하락을 방지하기 위한 것이다.
상기 학습 알고리즘 검증부(300)는, 학습 및 알고리즘의 결과를 검증하기 위하여, 검증영상 관리부(310)를 통해 현장에 최적화된 검증영상을 생성 및 관리하고, 알고리즘 관리부(320)를 통해 검출 알고리즘 및 기계학습 결과 데이터에 대응하는 알고리즘을 등록 및 관리하며, 시뮬레이션 수행부(330)는 검증 데이터(예 : 검증영상)에서 태깅된 설비 정보를 바탕으로 시뮬레이션 하여 학습 알고리즘(기계학습 알고리즘)을 평가하며, 최적 알고리즘 선정부(340)는 상기 시뮬레이션 결과를 바탕으로 복수의 학습 알고리즘 중 시뮬레이션 결과가 가장 좋은 최적 알고리즘(즉, 학습 알고리즘)을 선정한다.
좀 더 구체적으로, 상기 검증영상 관리부(310)는 학습 및 알고리즘의 결과를 검증하기 위해, 관리자가 영상을 다양한 조건(예 : 태양 방향, 태양 위치, 영상의 밝기, 설비 종류)의 그룹으로 구분하여, 드론(무인항공기)을 통해 취득할 수 있는 적합한 검증 영상 모델을 생성하고 관리하는 기능을 수행한다.
가령, 검증영상의 구성에 따라 태양광이 측광인 경우, 역광인 경우, 영상 밝기가 밝은 경우, 어두운 경우 등, 선택한 환경정보를 포함한 다양한 검증영상 모델(즉, 일종의 기준이 되는 검증영상)을 만들 수 있으며, 특정 환경에서 우수한 학습 알고리즘 또는 평균적으로 모든 환경에 적합한 알고리즘(예 : 학습 알고리즘, 검출 알고리즘) 등 송전시설 학습 장치의 성능 평가 지표를 만드는 기준이 된다.
상기 알고리즘 관리부(320)는 특정 영상그룹을 학습한 학습 결과 파일과 해당 학습 알고리즘의 객체(예 : 설비)를 추출하기 위해 개발된 학습 알고리즘에서 객체를 검출하는데 필요한 기준값, 및 해상도 크기 등의 검출 파라메터를 포함한다. 상기 학습 알고리즘 및 학습 결과 파일은 생성 날짜 및 버전으로 관리되며, 해당 버전들의 조합에 파라메터 값이 가변으로 적용되고, 관리자에 의해 구성된 상기와 같은 조합을 알고리즘으로 정의 및 생성하여 관리한다.
상기 시뮬레이션 수행부(330)는 기 등록된 학습 알고리즘의 버전을 시뮬레이션 하여 학습 알고리즘의 성능을 검증하는 기능을 수행한다. 이때 단일 학습 알고리즘을 사용할지, 아니면 다중 학습 알고리즘을 사용할지는 선택이 가능하다.
도 8은 상기 도 1에 있어서, 시뮬레이션 수행부의 동작을 위한 인터페이스 화면을 보인 예시도로서, 이에 도시된 바와 같이, 학습 알고리즘이나 복수의 학습 알고리즘 목록을 조회하기 위한 인터페이스 영역(①), 검증이 완료된 영상의 목록을 조회하기 위한 인터페이스 영역(②), 및 상기 학습 알고리즘이나 학습 알고리즘 목록에서 선택된 학습 알고리즘의 시뮬레이션 수행 진행 사항을 표시하는 영역(③)을 포함한다.
상기 시뮬레이션 수행부(330)는, 관리자가 선정한 검증영상(또는 검증영상 모델)의 목록과 검증을 원하는 학습 알고리즘이나 학습 알고리즘 목록을 자동으로 조합하여 시뮬레이션 수행 횟수(시뮬레이션 수행 횟수 = 검증영상 모델 목록 * 알고리즘 목록)를 결정하고, 이 학습 알고리즘에 포함된 학습 파일, 검출 알고리즘, 및 검출 파라메터(예 : 기준값, 해상도 크기 등)를 설정한 후 개별 검증영상 내에서 설비(예 : 송전시설, 송전설비)의 위치와 종류를 검출하고 그 결과를 집계한다.
이때 상기 개별 검증영상에서 설비(예 : 송전시설, 송전설비)를 검출한 검출율(%) 및 검증영상에 저장된 정보와 본 실시예에 따른 설비 학습 장치가 검출한 정보의 일치여부를 비교한 검출 정확도(%)가 결과로 표시되며, 전체 및 설비별로 결과를 도출한다.
상기 최적 알고리즘 선정부(340)는 상기 시뮬레이션 결과를 조회하고 미인식, 및 오인식 대상 설비를 확인하며, 이를 통해 복수의 학습 알고리즘 중 시뮬레이션 결과가 가장 좋은 최적의 학습 알고리즘을 선택하여 적용한다.
도 9는 상기 도 8에 있어서, 시뮬레이션 수행부에서 시뮬레이션 수행 결과를 검색하기 위한 인터페이스 화면을 보인 예시도로서, 이에 도시된 바와 같이, 시뮬레이션에 활용된 검증영상 목록 조회, 검증 영상 기준 시뮬레이션 결과 조회, 검출율, 및 검출 정확도를 고려한 시뮬레이션 결과를 자동 정렬하여 표시하는 시뮬레이션 결과 조회 영역(①), 시뮬레이션 결과 검색에 선택된 알고리즘에서 영상별 인식, 미인식 및 오인식 등을 구분하여 표시하는 인식 정보 표시 영역(②), 및 검증영상에 포함된 설비의 종류, 위치, 크기의 정보와 알고리즘이 인식한 정보를 비교하여 육안으로 확인할 수 있도록 표시하는 시설 영상 표시 영역(③)을 포함한다.
상기와 같이 본 실시예는 동영상 파일을 이용해 송선시설에 대한 학습(기계학습)을 수행할 수 있도록 함으로써, 지상에 있는 운영 서버와 제어시스템(GCS)이 드론(무인항공기) 등을 이용해 촬영한 동영상 파일로부터 설비의 고장이나 상태를 신속하고 정확하게 분석할 수 있도록 하는 효과가 있다.
또한 본 실시예는 송전시설에 한정하지 않고 도로, 교량, 철도, 건물 등의 시설 자동진단에도 적용할 수 있다.
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
100 : 학습데이터 생성부 110 : 정지영상 추출부
111 : 동영상 관리부 112 : 최적영상 선정부
113 : 정지영상 설정부 114 : 추출 정지영상 관리부
115 : 태그정보 관리부 120 : 정지영상 관리부
130 : 영상데이터 저장부 200 : 학습 수행부
210 : 학습영상 관리부 220 : 기계학습 수행부
230 : 학습데이터 저장부 300 : 학습 알고리즘 검증부
310 : 검증영상 관리부 320 : 알고리즘 관리부
330 : 시뮬레이션 수행부 340 : 최적 알고리즘 선정부
111 : 동영상 관리부 112 : 최적영상 선정부
113 : 정지영상 설정부 114 : 추출 정지영상 관리부
115 : 태그정보 관리부 120 : 정지영상 관리부
130 : 영상데이터 저장부 200 : 학습 수행부
210 : 학습영상 관리부 220 : 기계학습 수행부
230 : 학습데이터 저장부 300 : 학습 알고리즘 검증부
310 : 검증영상 관리부 320 : 알고리즘 관리부
330 : 시뮬레이션 수행부 340 : 최적 알고리즘 선정부
Claims (17)
- 설비가 포함되게 촬영된 동영상으로부터 설비가 포함된 정지영상을 추출하고, 이 정지영상에 포함된 설비를 학습하고 이 학습을 수행하는 학습 알고리즘의 성능 검증에 활용할 수 있도록, 상기 정지영상을 태깅하여 관리하는 학습데이터 생성부;
상기 태깅하여 관리하는 정지영상이 촬영된 환경정보를 반영하여, 복수의 학습 알고리즘 중 관리자에 의해 선택된 어느 하나의 학습 알고리즘을 이용해 상기 정지영상에 포함된 설비의 학습을 수행하는 학습 수행부; 및
상기 관리자에 의해 선택된 어느 하나의 학습 알고리즘을 이용해 학습된 결과정보 및 상기 학습 알고리즘에 적용된 설비 검출 기능의 검출율 및 검출 정확도를 시뮬레이션을 통해 검증하는 학습 알고리즘 검증부;를 포함하되,
상기 학습데이터 생성부는,
설비가 포함되게 촬영된 동영상으로부터 정지영상을 추출하여 학습 자료로 준비하는 정지영상 추출부; 상기 추출된 정지영상에 포함된 설비의 크기, 위치, 및 종류 정보를 태깅하여 학습 및 알고리즘의 성능 검증에 활용할 수 있도록 관리하는 정지영상 관리부; 및 상기 태깅된 정지영상을 데이터베이스 형태로 저장하여 관리하는 영상데이터 저장부;를 포함하고,
상기 정지영상 추출부는,
설비가 포함되게 촬영된 동영상을 호출하여 재생하고, 원하는 부분의 정지영상을 확보하기 위하여, 동영상의 재생, 일시정지, 프레임 단위 영상 전후 점프, 및 동영상 자르기 기능을 포함하는 동영상 조작 기능을 수행하는 동영상 관리부; 관리자가 설정한 동영상 구간에서 정지영상을 적어도 1 프레임 단위로 추출하고, 지정된 프레임 간격 내 정지영상을 비교하여 흔들리거나 흐림이 없이 선명한 최적의 정지영상을 선정하는 최적영상 선정부; 동영상에서 추출한 정지영상에, 환경정보, 생성일자, 설비분류, 및 태깅 여부 정보를 추가로 부가하여, 추후 해당 정지영상을 조회하거나 호출하여 재분류를 수행할 수 있게 하고, 또한 태깅 대상이 되는 정지영상을 학습영상으로 선택할 수 있도록 관리하는 추출 정지영상 관리부; 및 상기 추출 정지영상 관리부에서 선택한 대상 정지영상을 표시하며, 태그 정보가 등록되어 있을 경우 이 태그 정보를 동시에 표시하고, 관리자에 의한 태그모드 운용 기능을 수행하며, 설비 객체를 인식하여 이 인식된 객체가 기 학습된 객체인 경우 화면을 통해 표시하고, 상기 인식된 객체가 새로운 객체인 경우 관리자가 객체의 종류를 분류하거나 확인하여 저장할 수 있게 하는 정지영상 설정부;를 포함하되,
상기 동영상은 드론이나 무인 항공기로 촬영된 영상이며,
상기 환경정보는 드론의 촬영시간, 비행위치, 비행방향, 짐벌의 각도를 활용하여 산출한 촬영 영상에 대한 태양 방향, 태양 위치, 및 영상 방향 데이터를 포함하며,
상기 학습 알고리즘 검증부는,
상기 태깅된 정지영상을 활용하여 표준화된 검증대상 영상군을 생성 및 관리하는 검증영상 관리부;
학습 알고리즘을 이용한 학습 결과 파일, 설비 객체를 검출하는 검출 알고리즘, 및 상기 검출 알고리즘에 적용하는 검출 파라메터 정보를 포함하는 학습 알고리즘을 등록하고 관리하는 알고리즘 관리부;
관리자가 선택한 검증영상 및 학습 알고리즘을 시뮬레이션 대상 목록으로 선정하고, 검증영상에서 태깅된 영상 정보를 바탕으로 시뮬레이션 하여 상기 관리자가 선택한 학습 알고리즘의 성능을 검증하는 시뮬레이션 수행부; 및
복수의 학습 알고리즘에 대한 시뮬레이션 결과를 바탕으로, 시뮬레이션 결과가 가장 좋은 최적의 학습 알고리즘을 선정하는 최적 알고리즘 선정부;를 포함하고,
상기 시뮬레이션 수행부는,
관리자와 연계하기 위한 인터페이스 화면을 출력하도록 구현되며,
상기 인터페이스 화면은,
학습 알고리즘이나 복수의 학습 알고리즘 목록을 조회하기 위한 인터페이스 영역;
검증이 완료된 정지영상의 목록을 조회하기 위한 인터페이스 영역; 및
상기 학습 알고리즘이나 학습 알고리즘 목록에서 관리자에 의해 선택된 어느 하나의 학습 알고리즘의 시뮬레이션 수행 진행 사항을 표시하는 영역;을 포함하며, 또한
상기 시뮬레이션 수행부는,
관리자가 선정한 검증영상 모델의 목록과 검증을 원하는 학습 알고리즘이나 학습 알고리즘 목록을 자동으로 조합하여 시뮬레이션 수행 횟수(시뮬레이션 수행 횟수 = 검증영상 모델 목록 * 알고리즘 목록)를 결정하고,
상기 학습 알고리즘에 포함된 학습 파일, 설비 객체를 검출하는 검출 알고리즘, 및 상기 검출 알고리즘에 적용하는 검출 파라메터 정보를 설정한 후 개별 검증영상 내에서 설비의 위치와 종류를 검출하여 그 결과를 집계하며,
개별 검증영상에서 설비를 검출한 검출율(%) 및 검증영상에 저장된 정보와 관리자가 선정한 학습 알고리즘에서 검출한 정보의 일치여부를 비교한 검출 정확도(%)가 결과로 표시하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 장치.
- 삭제
- 제 1항에 있어서, 상기 학습 수행부는,
학습에 사용된 정지영상인 학습영상의 환경정보를 반영한 영상 정보를 관리하는 학습영상 관리부;
복수의 학습 알고리즘 중 관리자가 선택한 어느 하나의 학습 알고리즘을 이용하여, 상기 정지영상의 기계 학습을 진행하는 기계학습 수행부; 및
상기 학습영상에 포함된 설비수량, 환경정보, 학습영상, 설비의 태그 정보, 및 학습결과 정보를 데이터베이스 형태로 저장하여 관리하는 학습데이터 저장부;를 포함하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 장치.
- 삭제
- 삭제
- 제 1항에 있어서, 상기 최적영상 선정부는,
상기 최적의 정지영상을 선정하기 위하여, 대상 프레임 그룹의 정지영상들 중 각각의 영상 선명도를 추출하여, 그 중 선명도가 가장 높은 영상을 추출하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 장치.
- 삭제
- 제 1항에 있어서, 상기 학습데이터 생성부는,
기 수행된 학습을 통해 정지영상에서 자동으로 설비를 검출하는 동작을 수행하며, 상기 학습데이터 생성부가 정지영상에서 인지하지 못한 설비를 관리자가 선별하여 추가로 추출하는 작업을 지원할 수 있도록 구현된 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 장치.
- 제 1항에 있어서, 상기 학습데이터 생성부는,
관리자와 연계하기 위한 인터페이스 화면을 출력하도록 구현되며,
상기 인터페이스 화면은,
동영상을 호출하는 기능을 수행하는 버튼 영역; 호출된 동영상이 표시되는 영역; 동영상 제어 인터페이스를 통하여, 동영상의 재생, 일시정지, 프레임단위 영상 전후 점프, 지정된 프레임 단위로 동영상 자르기 기능을 수행 후 최적 영상을 설정된 간격 기준으로 선정하는 기능을 수행하는 동영상 제어버튼 영역; 및 동영상 상태 정보 인터페이스를 활용하여, 촬영 환경정보 표시, 영상 자체의 밝기분석 정보 표시, 영상 재생 상태를 프레임단위, 및 시간단위로 가시화시키는 표시 영역;을 포함하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 장치.
- 제 1항에 있어서, 상기 정지영상 추출부는,
관리자와 연계하기 위한 인터페이스 화면을 출력하도록 구현되며,
상기 인터페이스 화면은,
날짜, 환경정보, 태깅 정보, 및 정지영상 정보를 검색하거나 선택하기 위한 정보 검색 및 선택 영역; 및
상기 정보 검색 및 선택 영역에서 선택한 정지영상의 상세 정보를 표시하는 상세 정보 표시 영역;을 포함하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 장치.
- 제 1항에 있어서, 상기 학습 수행부는,
관리자와 연계하기 위한 인터페이스 화면을 출력하도록 구현되며,
상기 인터페이스 화면은,
학습 수행 결과를 등록하기 위한 수행결과등록 영역;
기 등록된 기계 학습 결과를 조회하기 위한 수행결과조회 영역; 및
상기 기계 학습 결과를 조회하여 표시된 리스트에서 선택된 기계 학습 결과에 대한 상세한 정보를 표시하는 상세 정보 표시 영역;을 포함하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 장치.
- 삭제
- 삭제
- 동영상 파일을 이용한 설비 학습 장치의 학습데이터 생성부가 설비가 포함되게 촬영된 동영상으로부터 설비가 포함된 정지영상을 추출하고, 이 정지영상에 포함된 설비를 학습하고 이 학습을 수행하는 학습 알고리즘의 성능 검증에 활용할 수 있도록, 상기 정지영상을 태깅하여 관리하는 단계;
상기 동영상 파일을 이용한 설비 학습 장치의 학습 수행부가 상기 태깅하여 관리하는 정지영상이 촬영된 환경정보를 반영하여, 복수의 학습 알고리즘 중 관리자에 의해 선택된 어느 하나의 학습 알고리즘을 이용해 상기 정지영상에 포함된 설비의 학습을 수행하는 단계; 및
상기 동영상 파일을 이용한 설비 학습 장치의 학습 알고리즘 검증부가 상기 관리자에 의해 선택된 어느 하나의 학습 알고리즘을 이용해 학습된 결과정보 및 상기 학습 알고리즘에 적용된 설비 검출 기능의 검출율 및 검출 정확도를 시뮬레이션을 통해 검증하는 단계;를 포함하되,
상기 정지영상을 태깅하여 관리하는 단계에서,
상기 학습데이터 생성부는,
정지영상 추출부를 통해 설비가 포함되게 촬영된 동영상으로부터 정지영상을 추출하여 학습 자료로 준비하는 단계; 정지영상 관리부를 통해 상기 추출된 정지영상에 포함된 설비의 크기, 위치, 및 종류 정보를 태깅하여 학습 및 알고리즘의 성능 검증에 활용할 수 있도록 관리하는 단계; 및 영상데이터 저장부를 통해 상기 태깅된 정지영상을 데이터베이스 형태로 저장하여 관리하는 단계;를 포함하며,
상기 정지영상 추출부는,
설비가 포함되게 촬영된 동영상을 호출하여 재생하고, 원하는 부분의 정지영상을 확보하기 위하여, 동영상의 재생, 일시정지, 프레임 단위 영상 전후 점프, 및 동영상 자르기 기능을 포함하는 동영상 조작 기능을 수행하는 동영상 관리부; 관리자가 설정한 동영상 구간에서 정지영상을 적어도 1 프레임 단위로 추출하고, 지정된 프레임 간격 내 정지영상을 비교하여 흔들리거나 흐림이 없이 선명한 최적의 정지영상을 선정하는 최적영상 선정부; 동영상에서 추출한 정지영상에, 환경정보, 생성일자, 설비분류, 및 태깅 여부 정보를 추가로 부가하여, 추후 해당 정지영상을 조회하거나 호출하여 재분류를 수행할 수 있게 하고, 또한 태깅 대상이 되는 정지영상을 학습영상으로 선택할 수 있도록 관리하는 추출 정지영상 관리부; 및 상기 추출 정지영상 관리부에서 선택한 대상 정지영상을 표시하며, 태그 정보가 등록되어 있을 경우 이 태그 정보를 동시에 표시하고, 관리자에 의한 태그모드 운용 기능을 수행하며, 설비 객체를 인식하여 이 인식된 객체가 기 학습된 객체인 경우 화면을 통해 표시하고, 상기 인식된 객체가 새로운 객체인 경우 관리자가 객체의 종류를 분류하거나 확인하여 저장할 수 있게 하는 정지영상 설정부;를 포함하며,
상기 동영상은 드론이나 무인 항공기로 촬영된 영상이며,
상기 환경정보는 드론의 촬영시간, 비행위치, 비행방향, 짐벌의 각도를 활용하여 산출한 촬영 영상에 대한 태양 방향, 태양 위치, 및 영상 방향 데이터를 포함하며,
상기 학습 알고리즘에 적용된 설비 검출 기능의 검출율 및 검출 정확도를 시뮬레이션을 통해 검증하는 단계에서,
상기 학습 알고리즘 검증부는,
검증영상 관리부를 통해 상기 태깅된 정지영상을 활용하여 표준화된 검증대상 영상군을 생성 및 관리하는 단계;
알고리즘 관리부를 통해 학습 알고리즘을 이용한 학습 결과 파일, 설비 객체를 검출하는 검출 알고리즘, 및 상기 검출 알고리즘에 적용하는 검출 파라메터 정보를 포함하는 학습 알고리즘을 등록하고 관리하는 단계;
시뮬레이션 수행부를 통해 관리자가 선택한 검증영상 및 학습 알고리즘을 시뮬레이션 대상 목록으로 선정하고, 검증영상에서 태깅된 영상 정보를 바탕으로 시뮬레이션 하여 상기 관리자가 선택한 학습 알고리즘의 성능을 검증하는 단계; 및
최적 알고리즘 선정부를 통해 복수의 학습 알고리즘에 대한 시뮬레이션 결과를 바탕으로, 시뮬레이션 결과가 가장 좋은 최적의 학습 알고리즘을 선정하는 단계;를 포함하고,
상기 시뮬레이션 수행부는,
관리자와 연계하기 위한 인터페이스 화면을 출력하도록 구현되며,
상기 인터페이스 화면은,
학습 알고리즘이나 복수의 학습 알고리즘 목록을 조회하기 위한 인터페이스 영역;
검증이 완료된 정지영상의 목록을 조회하기 위한 인터페이스 영역; 및
상기 학습 알고리즘이나 학습 알고리즘 목록에서 관리자에 의해 선택된 어느 하나의 학습 알고리즘의 시뮬레이션 수행 진행 사항을 표시하는 영역;을 포함하며, 또한
상기 시뮬레이션 수행부는,
관리자가 선정한 검증영상 모델의 목록과 검증을 원하는 학습 알고리즘이나 학습 알고리즘 목록을 자동으로 조합하여 시뮬레이션 수행 횟수(시뮬레이션 수행 횟수 = 검증영상 모델 목록 * 알고리즘 목록)를 결정하고,
상기 학습 알고리즘에 포함된 학습 파일, 설비 객체를 검출하는 검출 알고리즘, 및 상기 검출 알고리즘에 적용하는 검출 파라메터 정보를 설정한 후 개별 검증영상 내에서 설비의 위치와 종류를 검출하여 그 결과를 집계하며,
개별 검증영상에서 설비를 검출한 검출율(%) 및 검증영상에 저장된 정보와 관리자가 선정한 학습 알고리즘에서 검출한 정보의 일치여부를 비교한 검출 정확도(%)가 결과로 표시하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 방법.
- 삭제
- 제 14항에 있어서,
상기 정지영상에 포함된 설비의 학습을 수행하는 단계에서,
상기 학습 수행부는,
학습영상 관리부를 통해 학습에 사용된 정지영상인 학습영상의 환경정보를 반영한 영상 정보를 관리하는 단계;
기계학습 수행부를 통해 복수의 학습 알고리즘 중 관리자가 선택한 어느 하나의 학습 알고리즘을 이용하여, 상기 정지영상의 기계 학습을 진행하는 단계; 및
학습데이터 저장부를 통해 상기 학습영상에 포함된 설비수량, 환경정보, 학습영상, 설비의 태그 정보, 및 학습결과 정보를 데이터베이스 형태로 저장하여 관리하는 단계;를 포함하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 방법.
- 삭제
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180073872A KR102179598B1 (ko) | 2018-06-27 | 2018-06-27 | 동영상 파일을 이용한 설비 학습 장치 및 방법 |
| PCT/KR2018/016783 WO2020004749A1 (ko) | 2018-06-27 | 2018-12-27 | 동영상 파일을 이용한 설비 학습 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180073872A KR102179598B1 (ko) | 2018-06-27 | 2018-06-27 | 동영상 파일을 이용한 설비 학습 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200001206A KR20200001206A (ko) | 2020-01-06 |
| KR102179598B1 true KR102179598B1 (ko) | 2020-11-18 |
Family
ID=68985069
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180073872A KR102179598B1 (ko) | 2018-06-27 | 2018-06-27 | 동영상 파일을 이용한 설비 학습 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102179598B1 (ko) |
| WO (1) | WO2020004749A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102402949B1 (ko) * | 2021-07-28 | 2022-05-30 | 주식회사 네스앤텍 | 정밀도가 향상된 영상 정보의 획득 방법 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102415572B1 (ko) * | 2020-04-23 | 2022-07-04 | 한국전력공사 | 오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법 |
| KR102485033B1 (ko) * | 2020-11-26 | 2023-01-06 | 한국전력공사 | 전력설비의 기계학습을 위한 학습 데이터 구축장치 및 그 방법 |
| KR102274081B1 (ko) * | 2021-04-12 | 2021-07-07 | 사단법인 한국선급 | 딥러닝을 이용한 선박 도면 내 객체 인식 시스템 |
| KR102613781B1 (ko) * | 2023-07-27 | 2023-12-13 | 국방과학연구소 | 딥러닝 모델 학습을 위한 학습 데이터 생성 방법 및장치 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017204753A (ja) * | 2016-05-11 | 2017-11-16 | 富士通株式会社 | フレーム抽出方法、動画再生制御方法、プログラム、フレーム抽出装置及び動画再生制御装置 |
| JP2018033050A (ja) * | 2016-08-25 | 2018-03-01 | 株式会社知能フレームワーク研究所 | 状態監視システム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100962615B1 (ko) * | 2008-01-17 | 2010-06-10 | 대한민국(관리부서:국립수산과학원) | 해양환경 관측 시스템 및 무인비행체 및 그 운용방법 |
| KR20100070952A (ko) * | 2008-12-18 | 2010-06-28 | 조선대학교산학협력단 | 멀티미디어 콘텐츠 관리 시스템 |
| KR101719278B1 (ko) * | 2015-04-14 | 2017-04-04 | (주)한국플랫폼서비스기술 | 비주얼 콘텐츠기반 영상 인식을 위한 딥러닝 프레임워크 및 영상 인식 방법 |
| JP6604832B2 (ja) * | 2015-12-02 | 2019-11-13 | 池上通信機株式会社 | 機械学習支援装置 |
-
2018
- 2018-06-27 KR KR1020180073872A patent/KR102179598B1/ko active IP Right Grant
- 2018-12-27 WO PCT/KR2018/016783 patent/WO2020004749A1/ko active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017204753A (ja) * | 2016-05-11 | 2017-11-16 | 富士通株式会社 | フレーム抽出方法、動画再生制御方法、プログラム、フレーム抽出装置及び動画再生制御装置 |
| JP2018033050A (ja) * | 2016-08-25 | 2018-03-01 | 株式会社知能フレームワーク研究所 | 状態監視システム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102402949B1 (ko) * | 2021-07-28 | 2022-05-30 | 주식회사 네스앤텍 | 정밀도가 향상된 영상 정보의 획득 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200001206A (ko) | 2020-01-06 |
| WO2020004749A1 (ko) | 2020-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102179598B1 (ko) | 동영상 파일을 이용한 설비 학습 장치 및 방법 | |
| JP6203208B2 (ja) | 道路構造物管理システム、及び道路構造物管理方法 | |
| CN105808416B (zh) | 一种人机图形交互界面的自动化测试方法和系统 | |
| US20170161961A1 (en) | Parking space control method and system with unmanned paired aerial vehicle (uav) | |
| CA3099638A1 (en) | System and method for construction 3d modeling and analysis | |
| CN110910341B (zh) | 一种输电线路锈蚀区缺陷检测方法及装置 | |
| CN109685131A (zh) | 汽车车机系统异常识别方法及装置 | |
| CN111044149A (zh) | 电压互感器的温度异常点检测方法、装置及可读存储介质 | |
| CN109616106A (zh) | 车载控制屏语音识别过程测试方法、电子设备、系统 | |
| CN105592301A (zh) | 摄像设备及其控制方法和监视照相机系统 | |
| CN113903098A (zh) | 一种电力设备的巡检方法、系统和红外巡检终端 | |
| CN114035606A (zh) | 杆塔巡检系统、杆塔巡检方法、控制装置和存储介质 | |
| CN115169602A (zh) | 电力设备的维护方法、装置、存储介质及计算机设备 | |
| CN114724140A (zh) | 一种基于yolo v3的草莓成熟度检测方法、装置 | |
| CN111738312B (zh) | 基于gis和虚拟现实融合的输电线状态监控方法、装置及计算机可读存储介质 | |
| KR20210020520A (ko) | 가공배전선로의 진단보고서 자동작성 시스템 및 방법 | |
| CN111047731A (zh) | 一种基于ar技术的电信机房巡检方法及系统 | |
| CN116126740A (zh) | 模型在环测试方法、装置、计算机设备及存储介质 | |
| CN115797612A (zh) | 覆盖目标物的图像获取方法、系统、设备和存储介质 | |
| CN112036441A (zh) | 机器学习物体检测结果的反馈标注方法和装置、存储介质 | |
| CN111831845A (zh) | 轨迹回放方法及装置 | |
| CN111325735A (zh) | 基于深度学习的航空发动机保险状态检测方法 | |
| CN117809066B (zh) | 一种卷烟交付目的地一致性检验系统、方法、设备及介质 | |
| CN107438166A (zh) | 一种用于实验室阳光检测的分段式视频处理及提取方法 | |
| CN117675642B (zh) | 一种智能网关机中ai性能量化检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |