KR20210009462A

KR20210009462A - Method for Recognizing Object Information Based on Thermal Imaging Recognition and Marker

Info

Publication number: KR20210009462A
Application number: KR1020190085643A
Authority: KR
Inventors: 영 오; 이수안; 김재형; 권봉기
Original assignee: 주식회사 비즈모델라인
Priority date: 2019-07-16
Filing date: 2019-07-16
Publication date: 2021-01-27

Abstract

The present invention relates to a method for thermal image recognition and marker-based object information recognition. According to the present invention, the method for thermal image recognition and marker-based object information recognition comprises the steps of: linking N pieces of marker information with N object recognition models and storing the same in a designated storage medium; recognizing n objects; storing n pieces of object recognition information in a designated management DB; and generating a normal-range temperature distribution recognition model. According to the present invention, the state of an object can be automatically identified.

Description

Method for Recognizing Object Information Based on Thermal Imaging Recognition and Marker}

본 발명은 열화상 인식 및 마커 기반 객체 정보 인식 방법에 관한 것으로, 지정된 공간에 구비된 지정된 N(N≥1)개의 객체에 부착된 마커를 식별하는 N개의 마커정보와 상기 N개의 객체를 인식하기 위한 N개의 객체인식모델을 연계하여 지정된 저장매체에 하고, 상기 카메라를 통해 획득되는 영상정보를 판독하여 인공지능 학습을 통해 상기 객체에 대한 정상 범위 온도 분포를 인식하기 위한 온도분포인식모델을 생성하여, 상기 생성된 온도분포인식모델을 통해 상기 공간에서 존재하는 하나 이상의 객체가 정상 범위 온도분포를 일정 비율 벗어난 온도분포를 갖는지 인식하는 것이다.The present invention relates to a thermal image recognition and marker-based object information recognition method, wherein N marker information identifying markers attached to designated N (N≥1) objects provided in a designated space and the N objects are recognized. The N object recognition models are linked to the designated storage medium, and the image information acquired through the camera is read, and a temperature distribution recognition model is generated to recognize the normal range temperature distribution of the object through artificial intelligence learning. , Through the generated temperature distribution recognition model, it is to recognize whether one or more objects existing in the space have a temperature distribution outside the normal range temperature distribution by a certain ratio.

최근 IoT 등 인터넷 및 무선 통신 기술의 발달을 통해 기업 자산을 대상으로 하는 이상 징후를 예측하는 방법에 대해 많은 관심이 집중되고 있다. Recently, a lot of attention has been focused on a method of predicting anomalies targeting corporate assets through the development of Internet and wireless communication technologies such as IoT.

그러나, 동산담보물 부재나 이탈, 은행 ATM기 등 원격지 기업자산 가동, 산업 시설물 가동 등 이상징후 탐지가 IoT단말기가 없이는 어려웠다.However, it was difficult to detect abnormal signs such as the absence or departure of movable property collateral, operation of remote corporate assets such as bank ATMs, and operation of industrial facilities without an IoT terminal.

또한, 도난 탐지 등 일상 경계정보 예측 탐지, 생활기기 이동 등 각종 부재나 이동 탐지가 어려웠고, 도시 시설물 부재, 이탈 등 이상징후 예측 탐지, 안전 시설물 부재, 이탈 등 안전사고 발생 예측 탐지, 방범 취약지역 등에서의 도난 사고 추적 탐지 등이 어려웠다. In addition, it was difficult to detect various absences or movements such as daily boundary information such as theft detection, movement of household equipment, etc. It was difficult to detect and track theft accidents.

대한민국 등록특허공보 제10-1949525호(2019년02월12일 등록)는 무인탐지장치를 이용한 현장 안전관리 시스템에 관한 것으로, 설비, 센서, 카메라가 설치되고 작업자가 소지한 모바일 단말기가 위치하며 관리대상 관심객체가 존재하는 관리현장과, 이 관리현장과 통신네트워크를 통해 연결되어 관리현장에서 전송된 데이터를 수신하고 처리하여 관리현장으로 처리데이터를 전송하는 서버를 포함하는 관리현장 안전관리 시스템에 관한 것이다.Republic of Korea Patent Publication No. 10-1949525 (registered on February 12, 2019) relates to a field safety management system using an unmanned detection device, where facilities, sensors, and cameras are installed, and mobile terminals held by workers are located and managed. A management site safety management system including a management site in which the target object of interest exists and a server connected to the management site through a communication network to receive and process data transmitted from the management site and transmit the processed data to the management site. will be.

그러나, 관리현장에 대한 정보(영상 등)를 작업자가 일일이 확인하여 안전 여부나 도난 여부 등을 판단해야 하는 번거로움이 존재하였다.However, there was a hassle of having to check the information (videos, etc.) on the management site by the operator to determine whether it is safe or stolen.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 지정된 공간에 구비된 지정된 N(N≥1)개의 객체에 부착된 마커를 식별하는 N개의 마커정보와 상기 N개의 객체를 인식하기 위한 N개의 객체인식모델을 연계하여 지정된 저장매체에 하고, 상기 카메라를 통해 획득되는 영상정보를 판독하여 인공지능 학습을 통해 상기 객체에 대한 정상 범위 온도 분포를 인식하기 위한 온도분포인식모델을 생성하여, 상기 생성된 온도분포인식모델을 통해 상기 공간에서 존재하는 하나 이상의 객체가 정상 범위 온도분포를 일정 비율 벗어난 온도분포를 갖는지 인식하는 열화상 인식 및 마커 기반 객체 정보 인식 방법을 제공함에 있다.An object of the present invention for solving the above problems is to provide N marker information for identifying markers attached to designated N (N≥1) objects provided in a designated space, and N marker information for recognizing the N objects. The object recognition model is connected to a designated storage medium, and the image information acquired through the camera is read, and a temperature distribution recognition model is generated to recognize the normal range temperature distribution of the object through artificial intelligence learning, and the generated The objective is to provide a thermal image recognition and marker-based object information recognition method for recognizing whether one or more objects existing in the space have a temperature distribution that deviates from the normal range temperature distribution by a certain ratio through the configured temperature distribution recognition model.

본 발명에 따른 열화상 인식 및 마커 기반 객체 정보 인식 방법은, 지정된 공간에 구비된 M(M≥1)개의 카메라와 연동하는 시스템을 통해 실행되는 방법에 있어서, 지정된 N(N≥1)개의 객체에 부착된 마커를 식별하는 N개의 마커정보와 상기 N개의 객체를 인식하기 위한 N개의 객체인식모델을 연계하여 지정된 저장매체에 저장하는 제1 단계와 상기 M개의 카메라를 통해 획득되는 M개의 영상정보를 판독하여 상기 마커정보와 객체인식모델을 근거로 상기 공간에 존재하는 n(1≤n≤N)개의 객체를 인식하는 제2 단계와 상기 인식된 n개의 객체에 대응하는 n개의 객체인식정보를 지정된 관리DB에 저장하는 제3 단계와 지정된 열화상 카메라를 통해 획득되는 영상정보를 판독하여 지정된 인공지능모듈을 통해 상기 공간에 존재하는 n개의 객체 중 지정된 온도 범위 내의 온도분포를 지닌 n'(1≤n'≤n)개의 객체에 대한 정상 범위 온도분포 인식을 학습시키는 제4 단계와 상기 인공지능모듈을 통해 학습된 n'개의 객체의 정상 범위 온도분포를 인식하기 위한 n'개의 객체 별 정상 범위 온도분포인식모델을 생성하여 지정된 저장매체에 저장하는 제5 단계와 상기 n'개의 객체 별 정상 범위 온도분포인식모델을 근거로 상기 M개의 카메라 중 열화상 촬영 기능을 구비한 T(1≤T≤M)개의 열화상 카메라를 통해 획득되는 T개의 영상정보를 판독하여 상기 공간 내에 존재하는 n'개의 객체 중 정상 범위 온도분포를 일정 비율 이상 벗어난 온도분포를 인식한 객체를 포함하는 n"(1≤n"≤n)개의 객체를 인식하는 제6 단계 및 상기 n"개의 객체를 인식한 경우 상기 인식된 n"개의 객체에 대한 n"개의 객체식별정보를 포함하는 비정상 온도분포 알림정보를 지정된 단말로 제공하는 절차를 수행하는 제7 단계를 포함하는 것을 특징으로 한다.In the method of recognizing thermal image and marker-based object information according to the present invention, in a method executed through a system interlocking with M (M≥1) cameras provided in a designated space, designated N (N≥1) objects The first step of storing in a designated storage medium by linking N marker information identifying markers attached to the N objects and N object recognition models for recognizing the N objects, and M image information obtained through the M cameras A second step of recognizing n (1≤n≤N) objects existing in the space based on the marker information and the object recognition model by reading and n object recognition information corresponding to the recognized n objects The third step of storing in the designated management DB and reading the image information acquired through the designated thermal imaging camera, and through the designated artificial intelligence module, n'(1) having a temperature distribution within the designated temperature range among the n objects in the space. The fourth step of learning to recognize the normal range temperature distribution for ≤n'≤n) objects and the normal range for each n'object to recognize the normal range temperature distribution of n'objects learned through the artificial intelligence module Based on the fifth step of creating a temperature distribution recognition model and storing it in a designated storage medium and the normal range temperature distribution recognition model for each n'objects, T (1≤T≤) with a thermal imaging function among the M cameras. N"(1≤) including an object that recognizes a temperature distribution that deviates from the normal range temperature distribution by more than a certain ratio among n'objects existing in the space by reading T image information acquired through M) thermal imaging cameras The sixth step of recognizing n"≤n) objects and when the n" objects are recognized, abnormal temperature distribution notification information including n" object identification information for the recognized n" objects is sent to a designated terminal. It characterized in that it comprises a seventh step of performing the provided procedure.

본 발명에 따른 열화상 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 지정된 단말을 통해 상기 N개의 객체에 부착된 마커를 식별하는 N개의 마커정보와 상기 N개의 객체를 인식하기 위한 N개의 객체인식모델을 수신하는 단계를 더 포함하며, 상기 제1 단계는, 상기 수신된 마커정보와 N개의 객체인식모델을 연계하여 지정된 저장매체에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the thermal image recognition and marker-based object information recognition method according to the present invention, N marker information for identifying markers attached to the N objects through a designated terminal and N object recognition model for recognizing the N objects Receiving a step, wherein the first step is characterized in that it comprises a step of storing in a designated storage medium by linking the received marker information and the N object recognition models.

본 발명에 따른 열화상 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 지정된 단말을 통해 상기 N개의 객체에 부착된 마커를 식별하는 N개의 마커정보를 수신하는 수신단계와 지정된 카메라를 통해 획득되는 영상정보를 판독하여 지정된 인공지능모듈을 통해 지정된 마커를 부착한 N개의 객체 인식을 학습시키는 학습단계와 상기 인공지능모듈을 통해 학습된 N개의 객체를 인식하기 위한 N개의 객체인식모델을 생성하는 생성단계를 더 포함하며, 상기 제1 단계는, 상기 마커정보와 상기 생성된 N개의 객체인식모델을 연계하여 지정된 저장매체에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the thermal image recognition and marker-based object information recognition method according to the present invention, a receiving step of receiving N marker information identifying markers attached to the N objects through a designated terminal, and image information obtained through a designated camera The learning step of learning the recognition of N objects with designated markers attached to the designated artificial intelligence module by reading the data and the generation step of generating N object recognition models for recognizing the N objects learned through the artificial intelligence module. The first step may further include storing the marker information in a designated storage medium by linking the generated N object recognition models with the marker information.

본 발명에 따른 열화상 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 학습단계는, 지정된 카메라를 통해 획득되는 영상정보를 판독하여 상기 공간에 존재하는 각 객체 별 관측된 특징에 대응하는 각 객체 별 i(i≥2)개의 입력 정보를 인식하고 각 객체 별 관측된 결과에 대응하는 각 객체 별 j(j≥1)개의 출력 정보를 설정하는 단계와 각 객체 별로 인식된 i개의 입력 정보 별 변수값과 j개의 출력 정보 별 변수값을 포함하는 각 객체 별 학습 정보를 지정된 인공지능모듈의 변수값으로 대입하여 상기 공간에 존재하는 각 객체 중 고유 식별하여 인식 가능한 N개의 객체 인식을 학습시키는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the thermal image recognition and marker-based object information recognition method according to the present invention, in the learning step, each object corresponding to the observed characteristic of each object existing in the space by reading image information acquired through a designated camera Recognizing i(i≥2) pieces of input information and setting j(j≥1) pieces of output information for each object corresponding to the observed result for each object, and variable values for each of i pieces of input information recognized for each object And learning the recognition of N recognizable objects by uniquely identifying each object existing in the space by substituting the learning information for each object including the variable values for each of the j output information and as the variable value of the designated artificial intelligence module. It characterized in that it is made by doing.

본 발명에 따른 열화상 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 지정된 카메라는, 상기 공간에 구비된 M개의 카메라, 상기 공간에 구비된 M개의 카메라 중 객체 인식의 인공지능 학습을 위한 m(1≤m≤M)개의 카메라, 상기 객체 인식의 인공지능 학습을 위해 지정된 별도의 카메라 중 적어도 하나 또는 둘 이상의 조합을 포함하여 이루어지는 것을 특징으로 한다.In the thermal image recognition and marker-based object information recognition method according to the present invention, the designated camera includes M cameras provided in the space and m (m) for artificial intelligence learning of object recognition among M cameras provided in the space. It is characterized in that it comprises at least one or a combination of two or more of 1≤m≤M) cameras and separate cameras designated for artificial intelligence learning of the object recognition.

본 발명에 따른 열화상 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 i개의 입력 정보는, 상기 영상정보를 판독하여 인식되는 각 객체 별 패턴정보와, 상기 영상정보를 판독하여 인식되는 각 마커 별 패턴정보 중 적어도 하나 또는 둘 이상의 조합을 포함하여 이루어지는 것을 특징으로 한다.In the thermal image recognition and marker-based object information recognition method according to the present invention, the i input information includes pattern information for each object recognized by reading the image information, and for each marker recognized by reading the image information. It is characterized by including at least one or a combination of two or more of the pattern information.

본 발명에 따른 열화상 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 j개의 출력 정보는, 상기 영상정보를 판독하여 인식되는 각 객체 별 패턴(또는 패턴의 집합)에 대응하는 객체식별자를 포함하여 이루어지는 것을 특징으로 한다.In the thermal image recognition and marker-based object information recognition method according to the present invention, the j output information includes an object identifier corresponding to a pattern (or set of patterns) for each object recognized by reading the image information. It characterized in that it is made.

본 발명에 따른 열화상 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 제1 단계는, 지정된 단말을 통해 수신된 객체정보 또는 지정된 데이터베이스로부터 추출된 객체정보를 상기 마커정보 또는 객체인식모델과 매핑하여 지정된 저장매체에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the thermal image recognition and marker-based object information recognition method according to the present invention, the first step is, by mapping object information received through a designated terminal or object information extracted from a designated database with the marker information or an object recognition model. And storing in a designated storage medium.

본 발명에 따른 열화상 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 객체인식모델은, 상기 공간에 구비된 N개의 객체를 인식하기 위한 패턴 인식 모델을 포함하여 이루어지는 것을 특징으로 한다.In the thermal image recognition and marker-based object information recognition method according to the present invention, the object recognition model includes a pattern recognition model for recognizing N objects provided in the space.

본 발명에 따른 열화상 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 제2 단계는, 상기 M개의 영상정보를 판독하여 상기 마커정보를 통해 n개의 마커를 인식하고, 상기 인식된 마커에 대응하는 n개의 마커정보와 연계된 객체인식모델을 통해 상기 공간에 존재하는 n개의 객체를 인식하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the thermal image recognition and marker-based object information recognition method according to the present invention, in the second step, n markers are recognized through the marker information by reading the M image information, and corresponding to the recognized markers. and recognizing n objects existing in the space through an object recognition model linked to n marker information.

본 발명에 따른 열화상 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 객체인식정보는, 상기 공간에 존재하는 n개의 객체를 고유 식별하는 객체식별정보를 포함하여 이루어지는 것을 특징으로 한다.In the thermal image recognition and marker-based object information recognition method according to the present invention, the object recognition information includes object identification information uniquely identifying n objects existing in the space.

본 발명에 따른 열화상 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 객체식별정보는, 상기 객체에 지정된 인식코드를 부호화한 코드이미지가 부착된 경우, 상기 객체에 부착된 코드이미지를 판독하여 인식된 인식코드를 포함하거나 또는 상기 인식된 인식코드와 매핑된 식별코드를 포함하여 이루어지는 것을 특징으로 한다.In the thermal image recognition and marker-based object information recognition method according to the present invention, the object identification information is recognized by reading the code image attached to the object when a code image encoding a designated recognition code is attached to the object. It characterized in that it comprises a recognized identification code or comprises an identification code mapped to the recognized identification code.

본 발명에 따른 열화상 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 제4 단계는, 지정된 열화상 카메라를 통해 획득되는 영상정보를 판독하여 상기 공간에 존재하는 n개의 객체 중 지정된 정상 범위 내의 온도분포를 지닌 n'개의 객체 별 온도분포의 관측된 특징에 대응하는 n'개의 객체 별 p(p≥2)개의 입력 정보를 인식하고 n'개의 객체 별 온도분포의 관측된 결과에 대응하는 n'개의 객체 별 q(q≥1)개의 출력 정보를 설정하는 단계와 n'개의 객체 별로 인식된 p개의 입력 정보 별 변수값과 q개의 출력 정보 별 변수값을 포함하는 n'개의 객체 별 학습 정보를 지정된 인공지능모듈의 변수값으로 대입하여 상기 공간 내에 존재하는 n'개의 객체에 대한 정상 범위 온도분포 인식을 학습시키는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the thermal image recognition and marker-based object information recognition method according to the present invention, in the fourth step, a temperature within a specified normal range among n objects existing in the space by reading image information acquired through a designated thermal image camera. Recognizes p (p≥2) input information for each n'object corresponding to the observed characteristic of the temperature distribution for each n'object with a distribution, and n'corresponds to the observed result of the temperature distribution for each n'object The step of setting q(q≥1) output information for each object and learning information for each n'object including variable values for each p input information recognized for each n'object and variable values for each output information And learning a normal range temperature distribution recognition for n'objects existing in the space by substituting them with the variable values of the designated artificial intelligence module.

본 발명에 따른 열화상 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 지정된 열화상 카메라는, 상기 공간에 구비된 M개의 카메라 중 열화상 촬영 기능을 구비한 T개의 열화상 카메라, 상기 공간에 구비된 T개의 열화상 카메라 중 정상 범위 온도분포 인식의 인공지능 학습을 위한 t(1≤t≤T)개의 열화상 카메라, 상기 정상 범위 온도분포 인식의 인공지능 학습을 위해 지정된 별도의 열화상 카메라 중 적어도 하나 또는 둘 이상의 조합을 포함하여 이루어지는 것을 특징으로 한다.In the thermal image recognition and marker-based object information recognition method according to the present invention, the designated thermal imaging camera includes T thermal imaging cameras having a thermal imaging function among M cameras provided in the space, and provided in the space. Among the T thermal imaging cameras, t(1≤t≤T) thermal imaging cameras for artificial intelligence learning of normal range temperature distribution recognition, and a separate thermal imaging camera designated for artificial intelligence learning of the normal range temperature distribution recognition It characterized in that it comprises at least one or a combination of two or more.

본 발명에 따른 열화상 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 p개의 입력 정보는, 상기 영상정보를 판독하여 인식되는 n'개의 객체 별 정상 범위 온도분포의 패턴정보를 포함하여 이루어지는 것을 특징으로 한다.In the thermal image recognition and marker-based object information recognition method according to the present invention, the p pieces of input information include pattern information of a normal range temperature distribution for each n'objects recognized by reading the image information. To do.

본 발명에 따른 열화상 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 패턴정보는, 각 객체의 영역 중 정상 범위 온도분포 경계의 기하학 구조 패턴정보, 각 객체의 영역 중 온도분포 영역의 온도 별 색상 패턴정보 중 적어도 하나 또는 둘의 조합을 포함하여 이루어지는 것을 특징으로 한다.In the thermal image recognition and marker-based object information recognition method according to the present invention, the pattern information includes geometrical structure pattern information of a boundary of a normal range temperature distribution among areas of each object, and a color for each temperature in a temperature distribution area of each object area. It characterized in that it comprises at least one or a combination of two of the pattern information.

본 발명에 따른 열화상 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 q개의 출력 정보는, 상기 영상정보를 판독하여 인식되는 n'개의 객체 별 정상 범위 온도분포의 패턴(또는 패턴의 집합)에 대응하는 고유식별자를 포함하여 이루어지는 것을 특징으로 한다.In the thermal image recognition and marker-based object information recognition method according to the present invention, the q pieces of output information are in a pattern (or set of patterns) of a normal range temperature distribution for each n'objects recognized by reading the image information. It characterized in that it comprises a corresponding unique identifier.

본 발명에 따른 열화상 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 n"개의 객체는, 상기 공간 내에서 상온 상태를 유지하는 (n-n')개의 객체 중 상온 상태를 벗어난 온도분포를 인식한 객체를 더 포함하여 이루어지는 것을 특징으로 한다.In the thermal image recognition and marker-based object information recognition method according to the present invention, the n" objects recognize a temperature distribution out of the room temperature state among (n-n') objects maintaining the room temperature state in the space. It characterized in that it comprises one more object.

본 발명에 따른 열화상 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 시스템은, 상기 카메라에 탑재되는 프로그램, M개와 카메라와 지정된 인터페이스를 통해 연동하는 단말의 프로그램, M개와 카메라와 통신망을 통해 연동하는 서버 중 적어도 하나 또는 둘 이상의 조합을 포함하여 이루어지는 것을 특징으로 한다.In the thermal image recognition and marker-based object information recognition method according to the present invention, the system includes: programs mounted on the camera, M programs, and terminal programs that link with the camera through a designated interface, and M and cameras, through a communication network. It characterized in that it comprises at least one or a combination of two or more of the servers.

본 발명에 따르면, 딥러닝 기반 사물 이상 진후 예측 탐지 인공지능을 통해 사물에 정상적인 상태(동작, 이동, 변형, 온도상태 등)를 학습하도록 하여, 이후 영상 인식/추적을 통해 학습된 사물에 대한 상태를 자동으로 파악할 수 있도록 하는 이점이 있다.According to the present invention, the state of the object learned through image recognition/tracking is made to learn the normal state (motion, movement, transformation, temperature state, etc.) of the object through deep learning-based object abnormality prediction detection and artificial intelligence. There is an advantage in that it can be automatically identified.

또한, 각 사물에 별도의 IoT장비를 설치하지 않아도 사물에 대한 상태 추적 및 확인이 용이한 이점이 있다.In addition, there is an advantage in that it is easy to track and check the status of objects without installing separate IoT equipment for each object.

도 1은 본 발명의 실시 방법에 따른 객체 정보 인식 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따른 온도분포인식모델을 생성하여 저장하는 과정을 도시한 도면이다.
도 3은 본 발명의 실시 방법에 따른 비정상 범위 온도분포의 객체를 인식하여 알림정보를 제공하는 과정을 도시한 도면이다.1 is a diagram illustrating a configuration of an object information recognition system according to an exemplary method of the present invention.
2 is a diagram showing a process of generating and storing a temperature distribution recognition model according to an exemplary method of the present invention.
3 is a diagram illustrating a process of providing notification information by recognizing an object having an abnormal temperature distribution according to an exemplary method of the present invention.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 온도분포 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다.Hereinafter, a temperature distribution principle for a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings and description. However, the drawings and the description to be described below are for a preferred implementation method among various methods for effectively describing the features of the present invention, and the present invention is not limited to the following drawings and description.

즉, 하기의 실시예는 본 발명의 수 많은 실시예 중에 바람직한 합집합 형태의 실시예에 해당하며, 하기의 실시예에서 특정 구성(또는 단계)을 생략하는 실시예, 또는 특정 구성(또는 단계)에 구현된 기능을 특정 구성(또는 단계)으로 분할하는 실시예, 또는 둘 이상의 구성(또는 단계)에 구현된 기능을 어느 하나의 구성(또는 단계)에 통합하는 실시예, 특정 구성(또는 단계)의 온도분포 순서를 교체하는 실시예 등은, 하기의 실시예에서 별도로 언급하지 않더라도 모두 본 발명의 권리범위에 속함을 명백하게 밝혀두는 바이다. 따라서 하기의 실시예를 기준으로 부분집합 또는 여집합에 해당하는 다양한 실시예들이 본 발명의 출원일을 소급받아 분할될 수 있음을 분명하게 명기하는 바이다.That is, the following examples correspond to preferred union-type examples among the numerous examples of the present invention, and examples in which specific configurations (or steps) are omitted in the following examples, or specific configurations (or steps). An embodiment of dividing the implemented function into a specific configuration (or step), or an embodiment of integrating a function implemented in two or more configurations (or steps) into any one configuration (or step), of a specific configuration (or step) The examples of changing the order of temperature distribution are clearly stated that all of them belong to the scope of the present invention, even if not mentioned separately in the following examples. Accordingly, it is clearly stated that various examples corresponding to a subset or a complementary set may be divided by retrospectively receiving the filing date of the present invention based on the following examples.

또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다. In addition, in the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout the present invention.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.As a result, the technical idea of the present invention is determined by the claims, and the following examples are a means for efficiently explaining the technical idea of the present invention to those of ordinary skill in the art to which the present invention belongs. Only.

도면1은 본 발명의 실시 방법에 따른 객체 정보 인식 시스템의 구성을 도시한 도면이다. 1 is a diagram showing the configuration of an object information recognition system according to an exemplary method of the present invention.

보다 상세하게 본 도면1은 지정된 공간에 구비된 지정된 N(N≥1)개의 객체에 부착된 마커를 식별하는 N개의 마커정보와 상기 N개의 객체를 인식하기 위한 N개의 객체인식모델을 연계하여 지정된 저장매체에 하고, 상기 카메라를 통해 획득되는 영상정보를 판독하여 인공지능 학습을 통해 상기 객체에 대한 정상 범위 온도 분포를 인식하기 위한 온도분포인식모델을 생성하여, 상기 생성된 온도분포인식모델을 통해 상기 공간에서 존재하는 하나 이상의 객체가 정상 범위 온도분포를 일정 비율 벗어난 온도분포를 갖는지 인식하는 시스템의 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 시스템의 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다. In more detail, this drawing 1 is designated by linking N marker information identifying markers attached to designated N (N≥1) objects provided in a designated space and N object recognition models for recognizing the N objects. A temperature distribution recognition model for recognizing the normal range temperature distribution of the object through artificial intelligence learning by reading the image information acquired through the camera in a storage medium, and using the generated temperature distribution recognition model It shows the configuration of a system for recognizing whether one or more objects existing in the space has a temperature distribution that deviates from the normal range temperature distribution by a certain percentage.If a person of ordinary skill in the art to which the present invention belongs, this drawing 1 Various implementation methods for the configuration of the system may be inferred by reference and/or modification (e.g., implementation methods in which some components are omitted, subdivided, or combined), but the present invention describes all of the inferred implementation methods It includes, and the technical features are not limited only by the implementation method shown in FIG. 1.

본 도면1을 참조하면, 상기 시스템이 서버(100)에 구성되는 것으로 도시하였으나, 이에 한정하지 않고, 상기 시스템은 지정된 공간에 구비된 하나 이상의 카메라(150)와 통신하는 서버이거나, 또는 상기 카메라(150)에 탑재되는 프로그램이거나, 또는 상기 카메라(150)와 지정된 인터페이스를 통해 연동하는 단말(155)의 프로그램이거나, 또는 상기 서버(100), 카메라(150), 단말(155) 중 적어도 둘 이상의 조합으로 구성될 수 있다.Referring to FIG. 1, the system is illustrated as being configured in the server 100, but the present invention is not limited thereto, and the system is a server that communicates with one or more cameras 150 provided in a designated space, or the camera ( 150), or a program of the terminal 155 interlocking with the camera 150 through a designated interface, or a combination of at least two of the server 100, the camera 150, and the terminal 155 It can be composed of.

도면1을 참조하면, 상기 시스템은 지정된 공간에 구비된 M(M≥1)개의 카메라(150)와, 지정된 공간에 구비된 M(M≥1)개의 카메라(150)와 통신하는 단말(155)과, 지정된 공간에 구비된 M(M≥1)개의 카메라(150)와 통신하는 서버(100)를 포함하여 구성될 수 있다.Referring to Figure 1, the system is a terminal 155 that communicates with M (M≥1) cameras 150 provided in a designated space and M (M≥1) cameras 150 provided in a designated space. And, it may be configured to include a server 100 that communicates with M (M≥1) cameras 150 provided in a designated space.

상기 카메라(150)는 지정된 공간에 구비되어 상기 서버(100) 또는 단말(155)과 연동하며, 지정된 공간의 영상정보를 획득하여 상기 서버(100) 또는 단말(155)로 제공할 수 있다.The camera 150 may be provided in a designated space and interlocked with the server 100 or the terminal 155, and image information of the designated space may be acquired and provided to the server 100 or the terminal 155.

본 발명의 실시 방법에 따르면, 상기 지정된 카메라(150)는 상기 공간에 구비된 M개의 카메라, 상기 공간에 구비된 M개의 카메라 중 객체 인식의 인공지능 학습을 위한 m(1≤m≤M)개의 카메라, 상기 객체 인식의 인공지능 학습을 위해 지정된 별도의 카메라 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다. 예컨대, 상기 별도의 카메라는 지정된 공간에 구비된 카메라 외에 운영자 또는 사용자가 소지한 스마트폰의 카메라를 포함할 수 있다.According to the implementation method of the present invention, the designated camera 150 includes M cameras provided in the space and m (1≦m≦M) for artificial intelligence learning of object recognition among the M cameras provided in the space. It may include at least one or a combination of two or more of a camera and a separate camera designated for artificial intelligence learning of the object recognition. For example, the separate camera may include a camera of a smartphone possessed by an operator or user in addition to a camera provided in a designated space.

상기 단말(155)은 상기 서버(100)로부터 비정상 온도분포의 객체에 대한 비정상 온도분포 알림정보를 제공받는 상기 운영자 또는 사용자가 운영하는 스마트폰, 핸드폰, 태블릿PC, 무선랜에 연결된 노트북 등을 포함하는 무선단말을 포함할 수 있다. 한편, 본 도면1에서는 상기 온도분포 인식 기반 객체 정보 인식을 상기 서버(100)에서 수행하는 것으로 도시하여 설명하기로 하나, 본 발명의 다른 실시 방법에 따라 상기 단말(155)도 지정된 공간에 구비된 M(M≥1)개의 카메라(150)와 통신하여 본 발명에 따른 온도분포 인식 기반 객체 정보 인식을 수행할 수 있다. The terminal 155 includes a smartphone, a mobile phone, a tablet PC, a laptop connected to a wireless LAN, etc. operated by the operator or user who is provided with abnormal temperature distribution notification information for an object of abnormal temperature distribution from the server 100 It may include a wireless terminal. Meanwhile, in FIG. 1, the temperature distribution recognition-based object information recognition is illustrated and described as being performed by the server 100, but the terminal 155 is also provided in a designated space according to another implementation method of the present invention. By communicating with M (M≥1) cameras 150, object information recognition based on temperature distribution recognition according to the present invention may be performed.

보다 상세하게, 도면1을 참조하면, 상기 서버(100) N개의 마커정보와 N개의 객체인식모델을 연계하여 저장하는 정보 저장부(105)와, 지정된 공간에 구비된 M개의 카메라(150)로부터 획득한 영상정보를 이용하여 상기 공간에 구비된 N(N≥1)개의 객체 인식을 학습시키는 객체인식 학습부(110)와, 상기 마커정보와 객체인식모델을 근거로 상기 공간에 존재하는 n(1≤n≤N)개의 객체를 인식하는 객체 인식부(115)와, 상기 인식된 n개의 객체인식정보를 저장하는 객체인식정보 저장부(120)와, 지정된 카메라를 통해 획득되는 영상정보를 이용하여 상기 공간에 존재하는 n개의 객체 중 정상 범위 온도분포를 하는 n'(1≤n'≤n)개의 객체에 대한 온도분포 인식을 학습하는 온도분포인식 학습부(125)와, 상기 n'개의 객체 별 정상 범위 온도분포인식모델을 생성하여 저장하는 온도분포인식모델 저장부(130)와, 상기 n'개의 객체 별 정상 범위 온도분포인식모델을 이용하여 비정상 온도분포를 인식한 객체를 포함하는 n"(1≤n"≤n)개의 객체를 인식하는 온도분포객체 인식부(135)와, 상기 비정상 온도분포로 인식된 n"개의 객체에 대한 비정상 온도분포 알림정보를 지정된 단말(155)로 제공하는 비정상온도분포 알림부(140)를 포함하여 구성될 수 있다.In more detail, referring to Figure 1, from the server 100, an information storage unit 105 that stores N marker information in association with N object recognition models, and M cameras 150 provided in a designated space. An object recognition learning unit 110 that learns to recognize N (N≥1) objects provided in the space using the acquired image information, and n() existing in the space based on the marker information and the object recognition model. Using an object recognition unit 115 that recognizes 1≤n≤N) objects, an object recognition information storage unit 120 that stores the recognized n object recognition information, and image information acquired through a designated camera. Thus, a temperature distribution recognition learning unit 125 for learning temperature distribution recognition for n'(1 ≤ n'≤ n) objects having a normal range temperature distribution among n objects in the space, and the n' A temperature distribution recognition model storage unit 130 that creates and stores a normal range temperature distribution recognition model for each object, and n, including an object that recognizes an abnormal temperature distribution using the normal range temperature distribution recognition model for each n' Provides a temperature distribution object recognition unit 135 that recognizes "(1≤n"≤n) objects and abnormal temperature distribution notification information for n" objects recognized as the abnormal temperature distribution to the designated terminal 155 It may be configured to include an abnormal temperature distribution notification unit 140.

상기 정보 저장부(105)는 지정된 N(N≥1)개의 객체에 부착된 마커를 식별하는 N개의 마커정보와 상기 N개의 객체를 인식하기 위한 N개의 객체인식모델을 연계하여 지정된 저장매체(145)에 저장할 수 있다.The information storage unit 105 is a designated storage medium 145 by linking N marker information identifying markers attached to designated N (N≥1) objects and N object recognition models for recognizing the N objects. ).

본 발명의 실시 방법에 따르면, 상기 정보 저장부(105)는 지정된 단말(155)을 통해 상기 N개의 객체에 부착된 마커를 식별하는 N개의 마커정보와 상기 N개의 객체를 인식하기 위한 N개의 객체인식모델을 수신할 수 있으며, 상기 수신된 마커정보와 N개의 객체인식모델을 연계하여 지정된 저장매체(145)에 저장할 수 있다.According to an exemplary method of the present invention, the information storage unit 105 includes N marker information for identifying markers attached to the N objects and N objects for recognizing the N objects through the designated terminal 155 A recognition model may be received, and the received marker information and N object recognition models may be linked and stored in a designated storage medium 145.

여기서, 상기 마커는 기호, 문양, 그림, 패턴 등 다양한 형태를 포함할 수 있으며, QR 등의 코드이미지도 포함할 수 있으며, 상기 마커정보는 객체에 부착된 마커를 인식하기 위한 마커 패턴정보와 해당 마커에 고유하게 부여된 마커 식별자 등을 포함할 수 있다.Here, the marker may include various forms such as symbols, patterns, drawings, and patterns, and may also include code images such as QR, and the marker information includes marker pattern information for recognizing a marker attached to an object and corresponding A marker identifier uniquely assigned to the marker may be included.

본 발명의 실시 방법에 따르면, 상기 정보 저장부(105)는 상기 객체인식모델에 대하여 지정된 단말(155)을 통해 입력된 객체정보 또는 상기 객체인식모델을 근거로 지정된 데이터베이스로부터 추출된 객체정보를 상기 객체인식모델과 매핑하여 지정된 저장매체(145)에 저장할 수 있다. 여기서, 상기 객체정보는 객체명칭이나 용도, 제조사 등등과 같이 객체에 대한 모든 정보를 포함할 수 있다.According to an embodiment of the present invention, the information storage unit 105 stores object information input through the terminal 155 designated for the object recognition model or object information extracted from a database designated based on the object recognition model. The object recognition model may be mapped and stored in a designated storage medium 145. Here, the object information may include all information on the object such as the object name, purpose, manufacturer, and the like.

본 발명의 실시 방법에 따르면, 상기 객체인식모델은 상기 공간에 구비된 N개의 객체를 인식하기 위한 패턴 인식 모델을 포함할 수 있다.According to an embodiment of the present invention, the object recognition model may include a pattern recognition model for recognizing N objects provided in the space.

상기 객체인식 학습부(110)는 지정된 카메라를 통해 획득되는 영상정보를 판독하여 지정된 인공지능모듈을 통해 상기 공간에 구비된 N(N≥1)개의 객체 인식을 학습시킬 수 있다.The object recognition learning unit 110 may learn to recognize N (N≥1) objects provided in the space through a designated artificial intelligence module by reading image information acquired through a designated camera.

본 발명의 실시 방법에 따르면, 상기 객체인식 학습부(110)는 지정된 단말(155)을 통해 상기 N개의 객체에 부착된 마커를 식별하는 N개의 마커정보를 수신하고, 지정된 카메라를 통해 획득되는 영상정보를 판독하여 지정된 인공지능모듈을 통해 지정된 마커를 부착한 N개의 객체 인식을 학습시킨 후, 상기 인공지능모듈을 통해 학습된 N개의 객체를 인식하기 위한 N개의 객체인식모델을 생성할 수 있다. 여기서 상기 정보 저장부(105)는 상기 마커정보와 상기 생성된 N개의 객체인식모델을 연계하여 지정된 저장매체(145)에 저장할 수 있다.According to the implementation method of the present invention, the object recognition learning unit 110 receives N marker information identifying markers attached to the N objects through a designated terminal 155, and an image acquired through a designated camera. After reading the information and learning to recognize N objects with designated markers attached through the designated artificial intelligence module, N object recognition models for recognizing the N objects learned through the artificial intelligence module may be generated. Here, the information storage unit 105 may link the marker information and the generated N object recognition models and store them in the designated storage medium 145.

본 발명의 실시 방법에 따르면, 상기 객체인식 학습부(110)는 지정된 카메라를 통해 획득되는 영상정보를 판독하여 상기 공간에 존재하는 각 객체 별 관측된 특징에 대응하는 각 객체 별 i(i≥2)개의 입력 정보를 인식하고 각 객체 별 관측된 결과에 대응하는 각 객체 별 j(j≥1)개의 출력 정보를 설정한 후, 각 객체 별로 인식된 i개의 입력 정보 별 변수값과 j개의 출력 정보 별 변수값을 포함하는 각 객체 별 학습 정보를 지정된 인공지능모듈의 변수값으로 대입하여 상기 공간에 존재하는 각 객체 중 고유 식별하여 인식 가능한 N개의 객체 인식을 학습시킬 수 있다. According to an exemplary method of the present invention, the object recognition learning unit 110 reads image information acquired through a designated camera and determines i (i≥2) for each object corresponding to the observed characteristic of each object existing in the space. After recognizing) input information and setting j (j≥1) output information for each object corresponding to the observed result for each object, variable values for each i input information recognized for each object and j output information Learning information for each object, including the star variable value, is substituted with the variable value of the designated artificial intelligence module to uniquely identify and recognize N recognizable objects among the objects existing in the space.

한편, 상기 N개의 객체는 상기 공간에 구비된 사물이거나, 상기 공간에 존재하는 사람(예컨대, 작업자, 노동자 등)일 수 있다.Meanwhile, the N objects may be objects provided in the space or a person (eg, a worker, a worker, etc.) existing in the space.

본 발명의 실시 방법에 따르면, 상기 각 객체 별로 인식되는 i개의 입력 정보는 상기 영상정보를 판독하여 인식되는 각 객체 별 패턴정보와, 상기 영상정보를 판독하여 인식되는 각 마커 별 패턴정보 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다. 예컨대, 상기 i개의 입력정보는 영상정보에 포함된 직육면체 구조의 객체를 인식하여 획득되는 정면 방향의 '□' 패턴, 비스듬한 방향의 '?' 패턴, 좌측 상단 모서리 부분의 '┌' 패턴, 좌측 하단 모서리 부분의 '└' 패턴, 우측 상단 모서리 부분의 '┐' 패턴, 우측 하단 모서리 부분의 '┘' 등을 포함할 수 있다.According to an embodiment of the present invention, the i input information recognized for each object is at least one of pattern information for each object recognized by reading the image information and pattern information for each marker recognized by reading the image information. Or a combination of two or more. For example, the i pieces of input information are a'□' pattern in the front direction and a'?' in an oblique direction obtained by recognizing an object of a rectangular parallelepiped structure included in the image information. It may include a pattern, a'┌' pattern at the upper left corner, a'└' pattern at the lower left corner, a'┐' pattern at the upper right corner, and a'┘' at the lower right corner.

본 발명의 실시 방법에 따르면, 상기 각 객체 별로 설정되는 j개의 출력 정보는 상기 영상정보를 판독하여 인식되는 각 객체 별 패턴(또는 패턴의 집합)에 대응하는 객체식별자를 포함할 수 있다. 여기서, 상기 객체식별자는 i개의 입력정보에 해당하는 패턴(또는 패턴의 집합)이 '□', '?', '┌', '└', '┐', '┘'일 경우, 이러한 패턴(또는 패턴의 집합)에 설정한 고유한 식별자(예컨대, 고유번호, 고유코드 등)를 의미하며, 이는 객체명칭을 포함하는 객체정보와 매핑될 수 있다.According to an exemplary embodiment of the present invention, the j output information set for each object may include an object identifier corresponding to a pattern (or set of patterns) for each object recognized by reading the image information. Here, the object identifier is when the pattern (or set of patterns) corresponding to i input information is'□','?','┌','└','┐', or'┘', such a pattern ( Or a set of patterns), which is a unique identifier (eg, a unique number, a unique code, etc.), which may be mapped with object information including an object name.

상기 객체 인식부(115)는 상기 N개의 마커정보와 N개의 객체인식모델이 지정된 저장매체(145)에 저장되면, 상기 M개의 카메라를 통해 획득되는 M개의 영상정보를 판독하여 상기 마커정보와 객체인식모델을 근거로 상기 공간에 존재하는 n(1≤n≤N)개의 객체를 인식할 수 있다.When the N marker information and the N object recognition models are stored in the designated storage medium 145, the object recognition unit 115 reads the M pieces of image information acquired through the M cameras to determine the marker information and the object. Based on the recognition model, n (1≦n≦N) objects existing in the space may be recognized.

본 발명의 실시 방법에 따르면, 상기 객체 인식부(115)는 상기 M개의 영상정보를 판독하여 상기 마커정보를 통해 n개의 마커를 인식하고, 상기 인식된 마커에 대응하는 n개의 마커정보와 연계된 객체인식모델을 통해 상기 공간에 존재하는 n개의 객체를 인식할 수 있다.According to an exemplary method of the present invention, the object recognition unit 115 reads the M pieces of image information, recognizes n markers through the marker information, and is linked with n pieces of marker information corresponding to the recognized markers. Through the object recognition model, n objects existing in the space can be recognized.

상기 객체인식정보 저장부(120)는 상기 객체 인식부(115)를 통해 상기 공간에 존재하는 n개의 객체가 인식되면, 상기 인식된 n개의 객체에 대응하는 n개의 객체인식정보를 지정된 저장매체(또는 관리DB)에 저장할 수 있다.When the object recognition information storage unit 120 recognizes n objects existing in the space through the object recognition unit 115, the object recognition information storage unit 120 stores n object recognition information corresponding to the recognized n objects to a designated storage medium ( Or it can be stored in the management DB).

본 발명의 실시 방법에 따르면, 상기 객체인식정보는 상기 공간에 존재하는 n개의 객체를 고유 식별하는 객체식별정보를 포함할 수 있다. According to an exemplary method of the present invention, the object recognition information may include object identification information for uniquely identifying n objects existing in the space.

여기서, 상기 객체인식정보는 각 객체에 대한 객체정보(또는 객체정보 중 일부정보)를 기본적으로 포함할 수 있으며, 추가로 각 객체를 고유 식별하는 객체식별정보를 포함할 수 있다. 예컨대, 공간 내에 똑 같은 기계가 3개 있을 경우, 객체식별정보는 3개의 기계를 각각 고유 식별하기 위해 각각의 기계에 중복되지 않게 부여된 식별번호나 식별코드를 포함할 수 있다. 또한 상기 객체식별정보는 공간 내에서 특정한 객체가 처음 인식될 때 중복되지 않게 고유하게 부여될 수 있으며, 적어도 상기 공간에서 해당 객체가 더 이상 인식되지 않을 때까지(또는 해당 객체가 더 이상 인식되지 않은 이후에도 지속적으로) 유지 되어야만, 어떤 객체가 공간에서 사라졌는지 또는 다시 복귀되었는지 확인할 수 있다.Here, the object recognition information may basically include object information (or some of the object information) for each object, and may additionally include object identification information uniquely identifying each object. For example, when there are three identical machines in the space, the object identification information may include an identification number or identification code that is not duplicated to each machine in order to uniquely identify each of the three machines. In addition, the object identification information may be uniquely assigned so as not to overlap when a specific object is first recognized in the space, at least until the object is no longer recognized in the space (or the object is no longer recognized). It must be maintained afterwards) so that you can see which objects have disappeared from space or have returned again.

본 발명의 실시 방법에 따르면, 상기 객체식별정보는 상기 마커가 지정된 인식코드를 부호화한 코드이미지를 포함하는 경우, 상기 코드이미지를 판독하여 인식된 인식코드를 포함하거나 또는 상기 코드이미지로부터 인식된 인식코드와 매핑된 식별코드를 포함할 수 있다. According to an embodiment of the present invention, when the object identification information includes a code image in which the recognition code designated by the marker is encoded, the code image is read and recognized, or the recognition code recognized from the code image. It may include an identification code mapped with a code.

상기 온도분포인식 학습부(125)는 상기 객체인식정보 저장부(120)를 통해 n개의 객체인식정보가 저장된 후, 지정된 카메라(150)를 통해 획득되는 영상정보를 판독하여 지정된 인공지능모듈을 통해 상기 공간에 존재하는 n개의 객체 중 지정된 온도 범위 내의 온도분포를 지닌 n'(1≤n'≤n)개의 객체에 대한 정상 범위 온도분포 인식을 학습시킬 수 있다.The temperature distribution recognition learning unit 125 stores n pieces of object recognition information through the object recognition information storage unit 120, and then reads the image information acquired through the designated camera 150 and uses the designated artificial intelligence module. It is possible to learn to recognize a normal range temperature distribution for n'(1 ≤ n'≤ n) objects having a temperature distribution within a specified temperature range among n objects existing in the space.

본 발명의 실시 방법에 따르면, 상기 온도분포인식 학습부(125)는 지정된 열화상 카메라(150)를 통해 획득되는 영상정보를 판독하여 상기 공간에 존재하는 n개의 객체 중 지정된 정상 범위 내의 온도분포를 지닌 n'개의 객체 별 온도분포의 관측된 특징에 대응하는 n'개의 객체 별 p(p≥2)개의 입력 정보를 인식하고 n'개의 객체 별 온도분포의 관측된 결과에 대응하는 n'개의 객체 별 q(q≥1)개의 출력 정보를 설정하고, n'개의 객체 별로 인식된 p개의 입력 정보 별 변수값과 q개의 출력 정보 별 변수값을 포함하는 n'개의 객체 별 학습 정보를 지정된 인공지능모듈의 변수값으로 대입하여 상기 공간 내에 존재하는 n'개의 객체에 대한 정상 범위 온도분포 인식을 학습시킬 수 있다.According to the implementation method of the present invention, the temperature distribution recognition learning unit 125 reads the image information acquired through the designated thermal imaging camera 150 to determine the temperature distribution within the designated normal range among n objects existing in the space. Recognizes p (p≥2) input information for each n'object corresponding to the observed characteristics of the temperature distribution for each n'object and n'objects corresponding to the observed result of the temperature distribution for each n'object Artificial intelligence that sets q(q≥1) pieces of output information and assigns learning information for each n'objects, including variable values for each p input information recognized for each n'objects and variable values for each output information, q By substituting as a variable value of the module, it is possible to learn the recognition of the normal range temperature distribution for n'objects existing in the space.

본 발명의 실시 방법에 따르면, 상기 지정된 열화상 카메라(150)는 상기 공간에 구비된 M개의 카메라 중 열화상 촬영 기능을 구비한 T개의 열화상 카메라, 상기 공간에 구비된 T개의 열화상 카메라 중 정상 범위 온도분포 인식의 인공지능 학습을 위한 t(1≤t≤T)개의 열화상 카메라, 상기 정상 범위 온도분포 인식의 인공지능 학습을 위해 지정된 별도의 열화상 카메라 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다. 여기서, 상기 별도의 열화상 카메라는 상기 공간에 구비된 열화상 카메라 이외에 운영자가 소지한 스마트폰에 열화상 카메라가 구비된 경우 스마트폰의 열화상 카메라 등을 포함할 수 있다.According to the implementation method of the present invention, the designated thermal imaging camera 150 includes T thermal imaging cameras equipped with a thermal imaging function among M cameras provided in the space, and T thermal imaging cameras provided in the space. At least one or a combination of two or more of t (1 ≤ t ≤ T) thermal imaging cameras for artificial intelligence learning of normal range temperature distribution recognition, and separate thermal imaging cameras designated for artificial intelligence learning of normal range temperature distribution recognition. Can include. Here, the separate thermal imaging camera may include a thermal imaging camera of a smart phone, etc. when a thermal imaging camera is provided in a smart phone possessed by an operator in addition to a thermal imaging camera provided in the space.

본 발명의 실시 방법에 따르면, 상기 n'개의 객체 별 인식되는 p개의 입력 정보는 상기 영상정보를 판독하여 인식되는 n'개의 객체 별 정상 범위 온도분포의 패턴정보를 포함할 수 있다. According to an exemplary embodiment of the present invention, the p pieces of input information recognized for each n'objects may include pattern information of a normal range temperature distribution for each n'objects recognized by reading the image information.

본 발명의 실시 방법에 따르면, 상기 n'개의 객체 별 설정되는 q개의 출력 정보는 상기 영상정보를 판독하여 인식되는 n'개의 객체 별 정상 범위 온도분포의 패턴(또는 패턴의 집합)에 대응하는 고유식별자를 포함할 수 있다. 여기서, 상기 고유식별자는 p개의 입력정보에 해당하는 정상 범위 온도분포의 패턴(또는 패턴의 집합)에 설정한 고유한 식별자(예컨대, 고유번호, 고유코드 등)를 의미할 수 있다.According to an embodiment of the present invention, the q output information set for each n'objects is unique corresponding to a pattern (or set of patterns) of the normal range temperature distribution for each n'object recognized by reading the image information. May contain an identifier. Here, the unique identifier may mean a unique identifier (eg, a unique number, a unique code, etc.) set in a pattern (or a set of patterns) of a normal range temperature distribution corresponding to the p pieces of input information.

상기 온도분포인식모델 저장부(130)는 상기 온도분포인식 학습부(125)를 통해 지정된 범위 내의 온도분포를 지닌 n'개의 객체에 대한 정상 범위 온도분포 인식이 학습되면, 상기 인공지능모듈을 통해 학습된 n'개의 객체의 정상 범위 온도분포를 인식하기 위한 n'개의 객체 별 정상 범위 온도분포인식모델을 생성하여 지정된 저장매체(145)에 저장할 수 있다. When the temperature distribution recognition model storage unit 130 learns the normal range temperature distribution recognition for n'objects having a temperature distribution within a specified range through the temperature distribution recognition learning unit 125, through the artificial intelligence module A normal range temperature distribution recognition model for each n'object for recognizing the normal range temperature distribution of the learned n'objects may be generated and stored in the designated storage medium 145.

상기 온도분포객체 인식부(135)는 상기 온도분포인식모델 저장부(130)를 통해 n'개의 객체 별 정상 범위 온도분포인식모델이 생성되어 저장되면, 상기 n'개의 객체 별 정상 범위 온도분포인식모델을 근거로 상기 M개의 카메라(150) 중 열화상 촬영 기능을 구비한 T(1≤T≤M)개의 열화상 카메라를 통해 획득되는 T개의 영상정보를 판독하여 상기 공간 내에 존재하는 n'개의 객체 중 정상 범위 온도분포를 일정 비율 이상 벗어난 온도분포를 인식한 객체를 포함하는 n"(1≤n"≤n)개의 객체를 인식할 수 있다. When the temperature distribution object recognition unit 135 generates and stores a normal range temperature distribution recognition model for each n'objects through the temperature distribution recognition model storage unit 130, it recognizes the normal range temperature distribution for each n'object. Based on the model, T image information acquired through T (1 ≤ T ≤ M) thermal imaging cameras among the M cameras 150 are read, and n'number of images existing in the space are read. Among the objects, n"(1≤n"≤n) objects including objects recognizing the temperature distribution out of the normal range temperature distribution by a certain ratio or more can be recognized.

본 발명의 실시 방법에 따르면, 상기 n"개의 객체는 상기 공간 내에서 상온 상태를 유지하는 (n-n')개의 객체 중 상온 상태를 벗어난 온도분포를 인식한 객체를 더 포함할 수 있다.According to an exemplary embodiment of the present invention, the n" objects may further include an object recognizing a temperature distribution out of the room temperature state among (n-n') objects maintaining the room temperature state in the space.

상기 비정상온도분포 알림부(140)는 상기 온도분포객체 인식부(135)를 통해 정상 범위 온도분포를 일정 비율 이상 벗어난 온도분포를 인식한 객체를 포함하는 n"개의 객체를 인식한 경우 상기 인식된 n"개의 객체에 대한 n"개의 객체식별정보를 포함하는 비정상 온도분포 알림정보를 지정된 단말(155)로 제공하는 절차를 수행할 수 있다.When the abnormal temperature distribution notification unit 140 recognizes n" objects including objects that have recognized a temperature distribution that deviates from the normal range temperature distribution by a predetermined ratio or more through the temperature distribution object recognition unit 135, the recognized A procedure of providing abnormal temperature distribution notification information including n" object identification information for n" objects to the designated terminal 155 may be performed.

도면2는 본 발명의 실시 방법에 따른 온도분포인식모델을 생성하여 저장하는 과정을 도시한 도면이다.2 is a diagram showing a process of creating and storing a temperature distribution recognition model according to an exemplary method of the present invention.

보다 상세하게 본 도면2는 상기 도면1에 도시된 서버(100)를 포함하는 객체 정보 인식 시스템 상에서 지정된 공간에 구비된 지정된 N(N≥1)개의 객체에 부착된 마커를 식별하는 N개의 마커정보와 상기 N개의 객체를 인식하기 위한 N개의 객체인식모델을 연계하여 지정된 저장매체에 하고, 상기 카메라를 통해 획득되는 영상정보를 판독하여 인공지능 학습을 통해 상기 객체에 대한 정상 범위 온도 분포를 인식하기 위한 온도분포인식모델을 생성하여 지정된 저장매체에 저장하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 온도분포인식모델을 생성하여 저장하는 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 2 shows N marker information for identifying markers attached to N (N≥1) objects provided in a designated space on the object information recognition system including the server 100 shown in FIG. 1 And N object recognition models for recognizing the N objects to a designated storage medium, reading the image information acquired through the camera, and recognizing the normal temperature distribution of the objects through artificial intelligence learning. It shows a process of generating a temperature distribution recognition model for and storing it in a designated storage medium.If a person of ordinary skill in the art to which the present invention belongs, the temperature distribution recognition model is referred to and/or modified with reference to FIG. 2 Various implementation methods for the process of generating and storing (for example, some steps are omitted or the order is changed) may be inferred, but the present invention includes all of the inferred implementation methods. The technical features are not limited only by the implementation method shown in FIG. 2.

도면2에 도시된 실시 과정은 상기 객체 정보 인식 시스템 상의 서버(100)에서 지정된 단말(155)을 통해 상기 N개의 객체에 부착된 마커를 식별하는 N개의 마커정보와 상기 N개의 객체를 인식하기 위한 N개의 객체인식모델을 수신하는 과정으로부터 개시될 수 있다(200). The implementation process shown in FIG. 2 is for recognizing N marker information and the N objects for identifying markers attached to the N objects through a terminal 155 designated by the server 100 on the object information recognition system. It may be started from the process of receiving the N object recognition models (200).

그리고, 상기 서버(100)는 상기 수신된 마커정보와 N개의 객체인식모델을 연계하여 지정된 저장매체(145)에 저장한다(205). In addition, the server 100 stores the received marker information in a designated storage medium 145 by linking the received marker information with N object recognition models (205).

본 발명의 실시 방법에 따르면, 상기 서버(100)는 상기 객체인식모델에 대하여 지정된 단말(155)을 통해 입력된 객체정보 또는 상기 객체인식모델을 근거로 지정된 데이터베이스로부터 추출된 객체정보를 상기 객체인식모델과 매핑하여 지정된 저장매체(145)에 저장할 수 있다. 여기서, 상기 객체정보는 객체명칭이나 용도, 제조사 등등과 같이 객체에 대한 모든 정보를 포함할 수 있다.According to an implementation method of the present invention, the server 100 recognizes the object information input through the terminal 155 designated for the object recognition model or object information extracted from a database designated based on the object recognition model. The model may be mapped and stored in a designated storage medium 145. Here, the object information may include all information on the object such as the object name, purpose, manufacturer, and the like.

본 발명의 실시 방법에 따르면, 상기 서버(100)는 지정된 카메라를 통해 획득되는 영상정보를 판독하여 지정된 인공지능모듈을 통해 상기 공간에 구비된 N(N≥1)개의 객체 인식을 학습시킬 수 있다.According to the implementation method of the present invention, the server 100 may learn to recognize N (N≥1) objects provided in the space through a designated artificial intelligence module by reading image information acquired through a designated camera. .

본 발명의 실시 방법에 따르면, 상기 서버(100)는 지정된 단말(155)을 통해 상기 N개의 객체에 부착된 마커를 식별하는 N개의 마커정보를 수신하고, 지정된 카메라를 통해 획득되는 영상정보를 판독하여 지정된 인공지능모듈을 통해 지정된 마커를 부착한 N개의 객체 인식을 학습시킨 후, 상기 인공지능모듈을 통해 학습된 N개의 객체를 인식하기 위한 N개의 객체인식모델을 생성할 수 있다. 여기서 상기 서버(100)는 상기 마커정보와 상기 생성된 N개의 객체인식모델을 연계하여 지정된 저장매체(145)에 저장할 수 있다.According to the implementation method of the present invention, the server 100 receives N marker information identifying markers attached to the N objects through the designated terminal 155, and reads the image information acquired through the designated camera. Thus, after learning to recognize N objects with designated markers attached through the designated artificial intelligence module, N object recognition models for recognizing the N objects learned through the artificial intelligence module may be generated. Here, the server 100 may link the marker information and the generated N object recognition models and store them in a designated storage medium 145.

본 발명의 실시 방법에 따르면, 상기 서버(100)는 지정된 카메라를 통해 획득되는 영상정보를 판독하여 상기 공간에 존재하는 각 객체 별 관측된 특징에 대응하는 각 객체 별 i(i≥2)개의 입력 정보를 인식하고 각 객체 별 관측된 결과에 대응하는 각 객체 별 j(j≥1)개의 출력 정보를 설정한 후, 각 객체 별로 인식된 i개의 입력 정보 별 변수값과 j개의 출력 정보 별 변수값을 포함하는 각 객체 별 학습 정보를 지정된 인공지능모듈의 변수값으로 대입하여 상기 공간에 존재하는 각 객체 중 고유 식별하여 인식 가능한 N개의 객체 인식을 학습시킬 수 있다. According to the implementation method of the present invention, the server 100 reads image information acquired through a designated camera and inputs i (i≥2) for each object corresponding to the observed characteristic for each object existing in the space. After recognizing the information and setting j (j≥1) output information for each object corresponding to the observed result for each object, i variable values for each input information recognized for each object and j variable values for each output information By substituting the learning information for each object including a variable value of the designated artificial intelligence module, it is possible to learn recognition of N recognizable objects by uniquely identifying each object existing in the space.

이후, 상기 서버(100)는 상기 지정된 공간에 구비된 M개의 카메라(150)를 통해 상기 공간에 대한 M개의 영상정보를 획득하고(210), 상기 M개의 카메라를 통해 획득되는 M개의 영상정보를 판독하여 상기 마커정보와 객체인식모델을 근거로 상기 공간에 존재하는 n(1≤n≤N)개의 객체를 인식한다(215).Thereafter, the server 100 acquires M pieces of image information for the space through the M cameras 150 provided in the designated space (210), and receives M pieces of image information acquired through the M cameras. By reading, n (1≦n≦N) objects existing in the space are recognized based on the marker information and the object recognition model (215).

본 발명의 실시 방법에 따르면, 상기 서버(100)는 상기 M개의 영상정보를 판독하여 상기 마커정보를 통해 n개의 마커를 인식하고, 상기 인식된 마커에 대응하는 n개의 마커정보와 연계된 객체인식모델을 통해 상기 공간에 존재하는 n개의 객체를 인식할 수 있다.According to the implementation method of the present invention, the server 100 reads the M pieces of image information, recognizes n markers through the marker information, and recognizes objects associated with n pieces of marker information corresponding to the recognized markers. Through the model, n objects existing in the space can be recognized.

상기 공간에 존재하는 n개의 객체가 인식되면, 상기 서버(100)는 상기 인식된 n개의 객체에 대응하는 n개의 객체인식정보를 지정된 저장매체(또는 관리DB)에 저장한다(220).When n objects existing in the space are recognized, the server 100 stores n object recognition information corresponding to the recognized n objects in a designated storage medium (or management DB) (220).

본 발명의 실시 방법에 따르면, 상기 객체식별정보는 상기 마커가 지정된 인식코드를 부호화한 코드이미지를 포함하는 경우, 상기 코드이미지를 판독하여 인식된 인식코드를 포함하거나 또는 상기 코드이미지로부터 인식된 인식코드와 매핑된 식별코드를 포함할 수 있다.According to an embodiment of the present invention, when the object identification information includes a code image in which the recognition code designated by the marker is encoded, the code image is read and recognized, or the recognition code recognized from the code image. It may include an identification code mapped with a code.

상기 n개의 객체인식정보가 저장된 후, 상기 서버(100)는 지정된 열화상 카메라(150)를 통해 획득되는 영상정보를 판독하고(225), 상기 공간에 존재하는 n개의 객체 중 지정된 정상 범위 내의 온도분포를 지닌 n'(1≤n'≤n)개의 객체 별 온도분포의 특징을 관측한다(230).After the n pieces of object recognition information are stored, the server 100 reads the image information obtained through the designated thermal imaging camera 150 (225), and the temperature within the designated normal range among n objects in the space The characteristics of the temperature distribution for each n'(1 ≤ n'≤ n) objects having a distribution are observed (230).

여기서, 상기 지정된 열화상 카메라(150)는 상기 공간에 구비된 M개의 카메라 중 열화상 촬영 기능을 구비한 T개의 열화상 카메라, 상기 공간에 구비된 T개의 열화상 카메라 중 정상 범위 온도분포 인식의 인공지능 학습을 위한 t(1≤t≤T)개의 열화상 카메라, 상기 정상 범위 온도분포 인식의 인공지능 학습을 위해 지정된 별도의 열화상 카메라 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다.Here, the designated thermal imaging camera 150 is of the recognition of a normal range temperature distribution among T thermal imaging cameras equipped with a thermal imaging function among M cameras provided in the space, and T thermal imaging cameras provided in the space. It may include at least one or a combination of two or more of t (1≦t≦T) thermal imaging cameras for artificial intelligence learning, and separate thermal imaging cameras designated for artificial intelligence learning of the normal range temperature distribution recognition.

그리고, 상기 서버(100)는 상기 관측된 특징에 대응하는 n'개의 객체 별 p(p≥2)개의 입력 정보를 인식하고(235), n'개의 객체 별 온도분포의 관측된 결과에 대응하는 n'개의 객체 별 q(q≥1)개의 출력 정보를 설정한다(240).In addition, the server 100 recognizes p (p≥2) input information for each n'object corresponding to the observed characteristic (235), and corresponds to the observed result of the temperature distribution for each n'object. q(q≥1) output information for each n'object is set (240).

여기서, 상기 n'개의 객체 별 인식되는 p개의 입력 정보는 상기 영상정보를 판독하여 인식되는 n'개의 객체 별 정상 범위 온도분포의 패턴정보를 포함할 수 있다. 예컨대, 상기 p개의 입력정보는, 영상정보에 포함된 객체의 일부분이 주기적/반복적으로 움직이는 온도분포의 패턴정보를 포함할 수 있다. Here, the p pieces of input information recognized for each n'objects may include pattern information of a normal range temperature distribution for each n'objects recognized by reading the image information. For example, the p pieces of input information may include pattern information of a temperature distribution in which a part of an object included in the image information moves periodically/repetitively.

여기서, 상기 n'개의 객체 별 설정되는 q개의 출력 정보는 상기 영상정보를 판독하여 인식되는 n'개의 객체 별 정상 범위 온도분포의 패턴(또는 패턴의 집합)에 대응하는 고유식별자를 포함할 수 있다. 여기서, 상기 고유식별자는 p개의 입력정보에 해당하는 정상 범위 온도분포의 패턴(또는 패턴의 집합)에 설정한 고유한 식별자(예컨대, 고유번호, 고유코드 등)를 의미할 수 있다.Here, the q output information set for each n'objects may include a unique identifier corresponding to a pattern (or set of patterns) of a normal range temperature distribution for each n'object recognized by reading the image information. . Here, the unique identifier may mean a unique identifier (eg, a unique number, a unique code, etc.) set in a pattern (or a set of patterns) of a normal range temperature distribution corresponding to the p pieces of input information.

이후, 상기 서버(100)는 n'개의 객체 별로 인식된 p개의 입력 정보 별 변수값과 q개의 출력 정보 별 변수값을 포함하는 n'개의 객체 별 학습 정보를 지정된 인공지능모듈의 변수값으로 대입하여(245), 상기 공간 내에 존재하는 n'개의 객체에 대한 정상 범위 온도분포 인식을 학습시킨다(250).Thereafter, the server 100 substitutes the learning information for each n'objects, including the variable values for each p input information and the variable values for q output information recognized for each n'objects, as the variable values of the designated artificial intelligence module. Then (245), the normal range temperature distribution recognition for n'objects existing in the space is learned (250).

상기 공간 내에 존재하는 n'개의 객체에 대한 정상 범위 온도분포 인식이 학습되면, 상기 서버(100)는 상기 인공지능모듈을 통해 학습된 n'개의 객체의 정상 범위 온도분포를 인식하기 위한 n'개의 객체 별 정상 범위 온도분포인식모델을 생성하고(255), 상기 생성된 n'개의 객체 별 정상 범위 온도분포인식모델을 지정된 저장매체(145)에 저장한다(260). When recognition of the normal range temperature distribution for n'objects existing in the space is learned, the server 100 performs n'number of temperature distributions to recognize the normal range temperature distribution of n'objects learned through the artificial intelligence module. A normal range temperature distribution recognition model for each object is generated (255), and the generated normal range temperature distribution recognition model for each n'object is stored in a designated storage medium 145 (260).

도면3은 본 발명의 실시 방법에 따른 비정상 범위 온도분포의 객체를 인식하여 알림정보를 제공하는 과정을 도시한 도면이다.3 is a diagram showing a process of providing notification information by recognizing an object of an abnormal temperature distribution according to an exemplary method of the present invention.

보다 상세하게 본 도면3은 상기 도면2의 과정 이후, 상기 도면1에 도시된 서버(100)를 포함하는 객체 정보 인식 시스템 상에서 하나 이상의 객체가 존재하는 지정된 공간에 구비된 M개의 카메라 중 열화상 촬영 기능을 구비한 열화상 카메라를 통해 획득되는 영상정보를 판독하여 상기 공간에 존재하는 하나 이상의 객체가 정상 범위 온도분포를 일정 비율 벗어난 온도분포를 하는지 인식하여, 비정상 온도분포에 대한 알림정보를 제공하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면3을 참조 및/또는 변형하여 상기 비정상 범위 온도분포의 객체를 인식하여 알림정보를 제공하는 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면3에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, Figure 3 shows a thermal image of M cameras provided in a designated space in which one or more objects exist on the object information recognition system including the server 100 shown in Figure 1 after the process of Figure 2 above. By reading image information acquired through a thermal imaging camera equipped with a function, it recognizes whether one or more objects in the space have a temperature distribution outside the normal range temperature distribution by a certain ratio, and provides notification information on abnormal temperature distribution. As an illustration of the process, if a person of ordinary skill in the art to which the present invention belongs, various processes for providing notification information by recognizing the object of the abnormal range temperature distribution by referring and/or modifying this Figure 3 The implementation method (e.g., the implementation method in which some steps are omitted or the order is changed) may be inferred, but the present invention includes all the inferred implementation methods, and only the implementation method shown in FIG. The technical features are not limited.

도면3에 도시된 실시 과정은, 상기 도면2의 과정을 통해 n'개의 객체 별 정상 범위 온도분포인식모델이 생성되어 저장된 이후, 서버(100)에서 상기 M개의 카메라(150)를 통해 M개의 영상정보를 획득하는 과정으로부터 개시될 수 있다(300).In the implementation process shown in FIG. 3, after the normal range temperature distribution recognition model for each n'object is created and stored through the process of FIG. 2, the server 100 uses M images through the M cameras 150. It may be initiated from the process of obtaining information (300).

상기 M개의 영상정보가 획득되면, 상기 서버(100)는 상기 n'개의 객체 별 정상 범위 온도분포인식모델을 근거로 상기 M개의 카메라(150) 중 열화상 촬영 기능을 구비한 T(1≤T≤M)개의 열화상 카메라를 통해 획득되는 M개의 영상정보를 판독하여(305), 상기 공간 내에 존재하는 n'개의 객체 중 정상 범위 온도분포를 일정 비율 이상 벗어난 온도분포를 인식한 객체를 포함하는 n"(1≤n"≤n)개의 객체를 인식한다(310). When the M pieces of image information are acquired, the server 100 includes a T (1≦T) of the M cameras 150 having a thermal imaging function based on the normal range temperature distribution recognition model for each n′ object. Including an object that reads M image information acquired through ≤M) thermal imaging cameras (305), and recognizes a temperature distribution that deviates from the normal range temperature distribution by more than a certain ratio among n'objects existing in the space. n"(1≤n"≤n) objects are recognized (310).

여기서, 상기 n"개의 객체는 상기 공간 내에서 고정된 상태를 유지하는 (n-n')개의 객체 중 고정된 상태를 벗어난 온도분포를 인식한 객체를 더 포함할 수 있다.Here, the n" number of objects may further include an object recognizing a temperature distribution out of the fixed state among (n-n') objects maintaining a fixed state in the space.

상기 정상 범위 온도분포를 일정 비율 이상 벗어난 온도분포를 인식한 객체를 포함하는 n"개의 객체를 인식한 경우, 상기 서버(100)는 상기 인식된 n"개의 객체에 대한 n"개의 객체식별정보를 포함하는 비정상 온도분포 알림정보를 지정된 단말(155)로 제공하는 절차를 수행한다(315).In the case of recognizing n" objects including objects recognizing a temperature distribution out of the normal range temperature distribution by a certain ratio or more, the server 100 retrieves n" object identification information for the recognized n" objects. A procedure of providing the included abnormal temperature distribution notification information to the designated terminal 155 is performed (315).

100 : 서버 105 : 객체인식 학습부
110 : 객체인식모델 저장부 115 : 객체 인식부
120 : 객체인식정보 저장부 125 : 온도분포인식 학습부
130 : 온도분포인식모델 저장부 135 : 온도분포객체 인식부
140 : 비정상온도분포 알림부 145 : 저장매체
150 : 카메라 155 : 단말100: server 105: object recognition learning unit
110: object recognition model storage unit 115: object recognition unit
120: object recognition information storage unit 125: temperature distribution recognition learning unit
130: temperature distribution recognition model storage unit 135: temperature distribution object recognition unit
140: abnormal temperature distribution notification unit 145: storage medium
150: camera 155: terminal

Claims

In the method executed through a system interlocking with M (M≥1) cameras provided in a designated space,
A first step of linking N marker information identifying markers attached to designated N (N≥1) objects and N object recognition models for recognizing the N objects and storing them in a designated storage medium;
A second step of recognizing n (1≦n≦N) objects existing in the space based on the marker information and the object recognition model by reading M pieces of image information acquired through the M cameras;
A third step of storing n object recognition information corresponding to the recognized n objects in a designated management DB;
The image information acquired through the designated thermal imaging camera is read, and through the designated artificial intelligence module, n'(1 ≤ n'≤ n) objects with a temperature distribution within the specified temperature range among the n objects in the space. A fourth step of learning to recognize a normal range temperature distribution;
A fifth step of generating a normal range temperature distribution recognition model for each n'objects for recognizing a normal range temperature distribution of n'objects learned through the artificial intelligence module and storing them in a designated storage medium;
Based on the n'object-specific normal range temperature distribution recognition model, T image information acquired through T (1 ≤ T ≤ M) thermal imaging cameras equipped with a thermal imaging function among the M cameras is read, A sixth step of recognizing n"(1≤n"≤n) objects including objects recognizing a temperature distribution that deviates from a normal temperature distribution by a predetermined ratio or more among n'objects existing in the space; And
A seventh step of performing a procedure of providing abnormal temperature distribution notification information including n" object identification information on the recognized n" objects to a designated terminal when the n" objects are recognized; Image recognition and marker-based object information recognition method.

The method of claim 1,
Receiving N marker information for identifying markers attached to the N objects and N object recognition models for recognizing the N objects through the designated terminal,
The first step comprises the step of linking the received marker information and N object recognition models and storing them in a designated storage medium.

The method of claim 1,
A receiving step of receiving N marker information identifying markers attached to the N objects through a designated terminal;
A learning step of reading image information acquired through a designated camera to learn recognition of N objects attached with designated markers through a designated artificial intelligence module;
A generation step of generating N object recognition models for recognizing the N objects learned through the artificial intelligence module; further comprising,
The first step comprises the step of linking the marker information and the generated N object recognition models and storing them in a designated storage medium.

The method of claim 3, wherein the learning step,
By reading the image information acquired through the designated camera, i (i≥2) input information for each object corresponding to the observed characteristic of each object existing in the space is recognized, and each corresponding to the observed result for each object Setting j (j≥1) pieces of output information for each object;
By substituting the learning information for each object, including the variable values for each i input information recognized for each object and the variable values for j output information, as the variable value of the designated artificial intelligence module, it is uniquely identified among the objects existing in the space. Learning the recognition of N recognizable objects; thermal image recognition and marker-based object information recognition method comprising: a.

The method of claim 3 or 4, wherein the designated camera,
M cameras provided in the space,
M (1≤m≤M) cameras for artificial intelligence learning of object recognition among the M cameras provided in the space,
A thermal image recognition and marker-based object information recognition method comprising at least one or a combination of two or more of separate cameras designated for artificial intelligence learning of object recognition.

The method of claim 3, wherein the i pieces of input information,
Pattern information for each object recognized by reading the image information,
Thermal image recognition and marker-based object information recognition method comprising at least one or a combination of two or more of pattern information for each marker recognized by reading the image information.

The method of claim 3, wherein the j pieces of output information,
And an object identifier corresponding to a pattern (or a set of patterns) for each object recognized by reading the image information.

The method of claim 1, wherein the first step,
Thermal image recognition and marker-based object information, comprising the step of mapping object information received through a designated terminal or object information extracted from a designated database with the marker information or object recognition model and storing in a designated storage medium. Recognition method.

The method of claim 1, wherein the object recognition model,
Thermal image recognition and marker-based object information recognition method comprising a pattern recognition model for recognizing N objects provided in the space.

The method of claim 1, wherein the second step,
Recognizing n markers through the marker information by reading the M pieces of image information, and recognizing n objects existing in the space through an object recognition model linked to n pieces of marker information corresponding to the recognized markers. Thermal image recognition and marker-based object information recognition method comprising a step.

The method of claim 1, wherein the object recognition information,
A thermal image recognition and marker-based object information recognition method comprising object identification information uniquely identifying n objects existing in the space.

The method of claim 11, wherein the object identification information,
When a code image encoding the identification code specified in the object is attached,
Includes a recognition code recognized by reading the code image attached to the object, or
Thermal image recognition and marker-based object information recognition method, comprising the recognition code and the mapped identification code.

The method of claim 1, wherein the fourth step,
By reading the image information acquired through the designated thermal imaging camera, p for each n'object corresponding to the observed characteristic of the temperature distribution for each n'object having a temperature distribution within the specified normal range among n objects existing in the space recognizing (p≥2) pieces of input information and setting q(q≥1) pieces of output information for each n'objects corresponding to the observed results of the temperature distribution for each n'objects;
n'learning information for each object, including the variable values for each of the p input information recognized for each n'object and the variable values for each output information, is substituted for the variable value of the designated artificial intelligence module, and exists in the space. Learning to recognize the normal range temperature distribution for the two objects; thermal image recognition and marker-based object information recognition method comprising a.

The method of claim 1 or 13, wherein the designated thermal imaging camera,
Among the M cameras provided in the space, T thermal imaging cameras having a thermal imaging function,
T (1≤t≤T) thermal imaging cameras for artificial intelligence learning of recognition of a normal range temperature distribution among T thermal imaging cameras provided in the space,
A thermal image recognition and marker-based object information recognition method comprising at least one or a combination of two or more separate thermal image cameras designated for artificial intelligence learning of the normal range temperature distribution recognition.

The method of claim 13, wherein the p pieces of input information,
A thermal image recognition and marker-based object information recognition method comprising pattern information of a normal range temperature distribution for each n'objects recognized by reading the image information.

The method of claim 12, wherein the pattern information,
Geometric structure pattern information of the boundary of the normal range temperature distribution among the area of each object
A thermal image recognition and marker-based object information recognition method comprising at least one or a combination of color pattern information for each temperature of a temperature distribution area among each object area.

The method of claim 13, wherein the q pieces of output information,
A thermal image recognition and marker-based object information recognition method, comprising a unique identifier corresponding to a pattern (or set of patterns) of a normal range temperature distribution for each n'objects recognized by reading the image information.

The method of claim 1, wherein the n" objects,
The thermal image recognition and marker-based object information recognition method, further comprising an object recognizing a temperature distribution out of the room temperature state among (n-n') objects maintaining the room temperature state in the space.

The method of claim 1, wherein the system,
A program mounted on the camera,
Terminal programs that interlock with M and cameras through a designated interface,
Thermal image recognition and marker-based object information recognition method comprising at least one or a combination of two or more of M and a server interlocking through a communication network with the camera.