KR20210009463A

KR20210009463A - Method for Recognizing Object Information Based on Structure Transformation Recognition and Marker

Info

Publication number: KR20210009463A
Application number: KR1020190085646A
Authority: KR
Inventors: 영 오; 이수안; 김재형; 권봉기
Original assignee: 주식회사 비즈모델라인
Priority date: 2019-07-16
Filing date: 2019-07-16
Publication date: 2021-01-27

Abstract

The present invention relates to a method for structure transformation recognition and marker-based object information recognition. According to the present invention, the method for structure transformation recognition and marker-based object information recognition comprises the steps of: linking N pieces of marker information with N object recognition models and storing the same in a designated storage medium; recognizing n objects; storing n pieces of object recognition information in a designated management DB; and generating a normal structure recognition model. According to the present invention, the state of an object can be automatically identified.

Description

Structure transformation recognition and marker-based object information recognition method {Method for Recognizing Object Information Based on Structure Transformation Recognition and Marker}

본 발명은 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 관한 것으로, 지정된 공간에 구비된 지정된 N(N≥1)개의 객체에 부착된 마커를 식별하는 N개의 마커정보와 상기 N개의 객체를 인식하기 위한 N개의 객체인식모델을 연계하여 지정된 저장매체에 하고, 상기 카메라를 통해 획득되는 영상정보를 판독하여 인공지능 학습을 통해 상기 객체의 물리적 구조 변형을 인식하기 위한 구조인식모델을 생성하여, 상기 생성된 구조인식모델을 통해 상기 공간에서 하나 이상의 객체가 정상 구조 상태를 일정 비율 벗어난 물리적 구조 변형 상태인지 인식하는 것이다.The present invention relates to a method for recognizing structure deformation and recognizing marker-based object information, wherein N marker information identifying markers attached to designated N (N≥1) objects provided in a designated space and the N objects are recognized. The N object recognition models are linked to the designated storage medium for the purpose of creating a structure recognition model for recognizing the physical structure deformation of the object through artificial intelligence learning by reading the image information acquired through the camera, and generating the It is to recognize whether one or more objects in the space are in a physical structure deformed state that deviates from the normal structure state by a certain ratio through the structure recognition model.

최근 IoT 등 인터넷 및 무선 통신 기술의 발달을 통해 기업 자산을 대상으로 하는 이상 징후를 예측하는 방법에 대해 많은 관심이 집중되고 있다. Recently, a lot of attention has been focused on a method of predicting anomalies targeting corporate assets through the development of Internet and wireless communication technologies such as IoT.

그러나, 동산담보물 부재나 이탈, 은행 ATM기 등 원격지 기업자산 가동, 산업 시설물 가동 등 이상징후 탐지가 IoT단말기가 없이는 어려웠다.However, it was difficult to detect abnormal signs such as the absence or departure of movable property collateral, operation of remote corporate assets such as bank ATMs, and operation of industrial facilities without an IoT terminal.

또한, 도난 탐지 등 일상 경계정보 예측 탐지, 생활기기 이동 등 각종 부재나 이동 탐지가 어려웠고, 도시 시설물 부재, 이탈 등 이상징후 예측 탐지, 안전 시설물 부재, 이탈 등 안전사고 발생 예측 탐지, 방범 취약지역 등에서의 도난 사고 추적 탐지 등이 어려웠다. In addition, it was difficult to detect various absences or movements such as daily boundary information such as theft detection, movement of household equipment, etc. It was difficult to detect and track theft accidents.

대한민국 등록특허공보 제10-1949525호(2019년02월12일 등록)는 무인탐지장치를 이용한 현장 안전관리 시스템에 관한 것으로, 설비, 센서, 카메라가 설치되고 작업자가 소지한 모바일 단말기가 위치하며 관리대상 관심객체가 존재하는 관리현장과, 이 관리현장과 통신네트워크를 통해 연결되어 관리현장에서 전송된 데이터를 수신하고 처리하여 관리현장으로 처리데이터를 전송하는 서버를 포함하는 관리현장 안전관리 시스템에 관한 것이다.Republic of Korea Patent Publication No. 10-1949525 (registered on February 12, 2019) relates to a field safety management system using an unmanned detection device, where facilities, sensors, and cameras are installed, and mobile terminals held by workers are located and managed. A management site safety management system including a management site in which the target object of interest exists and a server connected to the management site through a communication network to receive and process data transmitted from the management site and transmit the processed data to the management site. will be.

그러나, 관리현장에 대한 정보(영상 등)를 작업자가 일일이 확인하여 안전 여부나 도난 여부 등을 판단해야 하는 번거로움이 존재하였다.However, there was a hassle of having to check the information (videos, etc.) on the management site by the operator to determine whether it is safe or stolen.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 지정된 공간에 구비된 지정된 N(N≥1)개의 객체에 부착된 마커를 식별하는 N개의 마커정보와 상기 N개의 객체를 인식하기 위한 N개의 객체인식모델을 연계하여 지정된 저장매체에 하고, 상기 카메라를 통해 획득되는 영상정보를 판독하여 인공지능 학습을 통해 상기 객체의 물리적 구조 변형을 인식하기 위한 구조인식모델을 생성하여, 상기 생성된 구조인식모델을 통해 상기 공간에서 하나 이상의 객체가 정상 구조 상태를 일정 비율 벗어난 물리적 구조 변형 상태인지 인식하는 구조 변형 인식 및 마커 기반 객체 정보 인식 방법을 제공함에 있다.An object of the present invention for solving the above problems is to provide N marker information for identifying markers attached to designated N (N≥1) objects provided in a designated space, and N marker information for recognizing the N objects. By linking the object recognition model to a designated storage medium, by reading the image information acquired through the camera to create a structure recognition model for recognizing the physical structure deformation of the object through artificial intelligence learning, the generated structure recognition It is to provide a method for recognizing structural deformation and recognizing marker-based object information for recognizing whether one or more objects in the space are in a physical structural deformation state that deviates from a normal structural state by a certain percentage through a model.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법은, 지정된 공간에 구비된 M(M≥1)개의 카메라와 연동하는 시스템을 통해 실행되는 방법에 있어서, 지정된 N(N≥1)개의 객체에 부착된 마커를 식별하는 N개의 마커정보와 상기 N개의 객체를 인식하기 위한 N개의 객체인식모델을 연계하여 지정된 저장매체에 저장하는 제1 단계와 상기 M개의 카메라를 통해 획득되는 M개의 영상정보를 판독하여 상기 마커정보와 객체인식모델을 근거로 상기 공간에 존재하는 n(1≤n≤N)개의 객체를 인식하는 제2 단계와 상기 인식된 n개의 객체에 대응하는 n개의 객체인식정보를 지정된 관리DB에 저장하는 제3 단계와 지정된 카메라를 통해 획득되는 영상정보를 판독하여 지정된 인공지능모듈을 통해 상기 공간에 존재하는 n개의 객체 중 물리적 구조 변형을 인식할 n'(1≤n'≤n)개의 객체에 대한 변형 전 정상 구조 상태 인식을 학습시키는 제4 단계와 상기 인공지능모듈을 통해 학습된 n'개의 객체의 변형 전 정상 구조 상태를 인식하기 위한 n'개의 객체 별 정상 구조인식모델을 생성하여 지정된 저장매체에 저장하는 제5 단계와 상기 n'개의 객체 별 정상 구조인식모델을 근거로 상기 M개의 카메라를 통해 획득되는 M개의 영상정보를 판독하여 상기 n'개의 객체 중 변형 전 정상 구조 상태를 일정 비율 이상 벗어난 물리적 구조 변형 상태를 인식한 객체를 포함하는 n"(1≤n"≤n)개의 객체를 인식하는 제6 단계 및 상기 n"개의 객체를 인식한 경우 상기 인식된 n"개의 객체에 대한 n"개의 객체식별정보를 포함하는 구조 변형 알림정보를 지정된 단말로 제공하는 절차를 수행하는 제7 단계를 포함하는 것을 특징으로 한다.In the method of recognizing structural deformation and recognizing marker-based object information according to the present invention, in a method executed through a system interlocking with M (M≥1) cameras provided in a designated space, designated N (N≥1) objects The first step of storing in a designated storage medium by linking N marker information identifying markers attached to the N objects and N object recognition models for recognizing the N objects, and M image information obtained through the M cameras A second step of recognizing n (1≤n≤N) objects existing in the space based on the marker information and the object recognition model by reading and n object recognition information corresponding to the recognized n objects The third step of storing in the designated management DB and n'(1≤n'≤) to recognize the physical structure deformation among n objects existing in the space through the designated artificial intelligence module by reading the image information acquired through the designated camera. The fourth step of learning to recognize the normal structure state before transformation for n) objects and a normal structure recognition model for each n'objects to recognize the normal structure state before transformation of n'objects learned through the artificial intelligence module The fifth step of creating and storing in a designated storage medium and reading M pieces of image information acquired through the M cameras based on the normal structure recognition model for each n'objects are normal before transformation among the n'objects. The sixth step of recognizing n"(1≤n"≤n) objects including objects recognizing the physical structural deformation state deviating from the structural state by a certain percentage, and when the n" objects are recognized, the recognized n And a seventh step of performing a procedure of providing structure modification notification information including "n" object identification information for "number of objects" to a designated terminal.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 지정된 단말을 통해 상기 N개의 객체에 부착된 마커를 식별하는 N개의 마커정보와 상기 N개의 객체를 인식하기 위한 N개의 객체인식모델을 수신하는 단계를 더 포함하며, 상기 제1 단계는, 상기 수신된 마커정보와 N개의 객체인식모델을 연계하여 지정된 저장매체에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing structural deformation and recognizing marker-based object information according to the present invention, N marker information for identifying markers attached to the N objects and N object recognition models for recognizing the N objects through a designated terminal Receiving a step, wherein the first step is characterized in that it comprises a step of storing in a designated storage medium by linking the received marker information and the N object recognition models.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 지정된 단말을 통해 상기 N개의 객체에 부착된 마커를 식별하는 N개의 마커정보를 수신하는 수신단계와 지정된 카메라를 통해 획득되는 영상정보를 판독하여 지정된 인공지능모듈을 통해 지정된 마커를 부착한 N개의 객체 인식을 학습시키는 학습단계와 상기 인공지능모듈을 통해 학습된 N개의 객체를 인식하기 위한 N개의 객체인식모델을 생성하는 생성단계를 더 포함하며, 상기 제1 단계는, 상기 마커정보와 상기 생성된 N개의 객체인식모델을 연계하여 지정된 저장매체에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing structural deformation and recognizing marker-based object information according to the present invention, a receiving step of receiving N marker information identifying markers attached to the N objects through a designated terminal and image information obtained through a designated camera The learning step of learning the recognition of N objects with designated markers attached to the designated artificial intelligence module by reading the data and the generation step of generating N object recognition models for recognizing the N objects learned through the artificial intelligence module. The first step may further include storing the marker information in a designated storage medium by linking the generated N object recognition models with the marker information.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 학습단계는, 지정된 카메라를 통해 획득되는 영상정보를 판독하여 상기 공간에 존재하는 각 객체 별 관측된 특징에 대응하는 각 객체 별 i(i≥2)개의 입력 정보를 인식하고 각 객체 별 관측된 결과에 대응하는 각 객체 별 j(j≥1)개의 출력 정보를 설정하는 단계와 각 객체 별로 인식된 i개의 입력 정보 별 변수값과 j개의 출력 정보 별 변수값을 포함하는 각 객체 별 학습 정보를 지정된 인공지능모듈의 변수값으로 대입하여 상기 공간에 존재하는 각 객체 중 고유 식별하여 인식 가능한 N개의 객체 인식을 학습시키는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing structural deformation and recognizing marker-based object information according to the present invention, the learning step includes reading image information obtained through a designated camera and performing each object corresponding to an observed characteristic of each object existing in the space. Recognizing i(i≥2) pieces of input information and setting j(j≥1) pieces of output information for each object corresponding to the observed result for each object, and variable values for each of i pieces of input information recognized for each object And learning the recognition of N recognizable objects by uniquely identifying each object existing in the space by substituting the learning information for each object including the variable values for each of the j output information and as the variable value of the designated artificial intelligence module. It characterized in that it is made by doing.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 지정된 카메라는, 상기 공간에 구비된 M개의 카메라, 상기 공간에 구비된 M개의 카메라 중 객체 인식의 인공지능 학습을 위한 m(1≤m≤M)개의 카메라, 상기 객체 인식의 인공지능 학습을 위해 지정된 별도의 카메라 중 적어도 하나 또는 둘 이상의 조합을 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing structural deformation and recognizing marker-based object information according to the present invention, the designated camera includes M cameras provided in the space, and m for artificial intelligence learning of object recognition among M cameras provided in the space. It is characterized in that it comprises at least one or a combination of two or more of 1≤m≤M) cameras and separate cameras designated for artificial intelligence learning of the object recognition.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 i개의 입력 정보는, 상기 영상정보를 판독하여 인식되는 각 객체 별 패턴정보와, 상기 영상정보를 판독하여 인식되는 각 마커 별 패턴정보 중 적어도 하나 또는 둘 이상의 조합을 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing structural deformation and recognizing marker-based object information according to the present invention, the i input information includes pattern information for each object recognized by reading the image information, and for each marker recognized by reading the image information. It is characterized by including at least one or a combination of two or more of the pattern information.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 j개의 출력 정보는, 상기 영상정보를 판독하여 인식되는 각 객체 별 패턴(또는 패턴의 집합)에 대응하는 객체식별자를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing structural deformation and recognizing marker-based object information according to the present invention, the j output information includes an object identifier corresponding to a pattern (or a set of patterns) for each object recognized by reading the image information. It characterized in that it is made.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 제1 단계는, 지정된 단말을 통해 수신된 객체정보 또는 지정된 데이터베이스로부터 추출된 객체정보를 상기 마커정보 또는 객체인식모델과 매핑하여 지정된 저장매체에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing structural deformation and recognizing marker-based object information according to the present invention, the first step is to map object information received through a designated terminal or object information extracted from a designated database with the marker information or an object recognition model. And storing in a designated storage medium.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 객체인식모델은, 상기 공간에 구비된 N개의 객체를 인식하기 위한 패턴 인식 모델을 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing structural deformation and recognizing marker-based object information according to the present invention, the object recognition model includes a pattern recognition model for recognizing N objects provided in the space.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 제2 단계는, 상기 M개의 영상정보를 판독하여 상기 마커정보를 통해 n개의 마커를 인식하고, 상기 인식된 마커에 대응하는 n개의 마커정보와 연계된 객체인식모델을 통해 상기 공간에 존재하는 n개의 객체를 인식하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing structural deformation and recognizing marker-based object information according to the present invention, the second step is to recognize n markers through the marker information by reading the M pieces of image information, and corresponding to the recognized markers. and recognizing n objects existing in the space through an object recognition model linked to n marker information.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 객체인식정보는,상기 공간에 존재하는 n개의 객체를 고유 식별하는 객체식별정보를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing structural deformation and recognizing marker-based object information according to the present invention, the object recognition information includes object identification information uniquely identifying n objects existing in the space.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 객체식별정보는,상기 객체에 지정된 인식코드를 부호화한 코드이미지가 부착된 경우, 상기 객체에 부착된 코드이미지를 판독하여 인식된 인식코드를 포함하거나 또는 상기 인식된 인식코드와 매핑된 식별코드를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing structural deformation and recognizing marker-based object information according to the present invention, the object identification information is recognized by reading the code image attached to the object when a code image encoding a recognition code designated to the object is attached. It characterized in that it comprises a recognized identification code or comprises an identification code mapped to the recognized identification code.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 제4 단계는, 지정된 카메라를 통해 획득되는 영상정보를 판독하여 상기 공간에 존재하는 n개의 객체 중 물리적 구조 변형을 인식할 n'개의 객체 별 구조 상태의 관측된 특징에 대응하는 n'개의 객체 별 p(p≥2)개의 입력 정보를 인식하고 n'개의 객체 별 구조 상태의 관측된 결과에 대응하는 n'개의 객체 별 q(q≥1)개의 출력 정보를 설정하는 단계와 n'개의 객체 별로 인식된 p개의 입력 정보 별 변수값과 q개의 출력 정보 별 변수값을 포함하는 n'개의 객체 별 학습 정보를 지정된 인공지능모듈의 변수값으로 대입하여 상기 n'개의 객체에 대한 변형 전 정상 구조 상태 인식을 학습시키는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing structural deformation and recognizing marker-based object information according to the present invention, the fourth step is to recognize physical structural deformation among n objects existing in the space by reading image information acquired through a designated camera. Recognizes p (p≥2) input information for each n'object corresponding to the observed characteristics of the structural state of each object, and q for each n'object corresponding to the observed result of the structural state of n'objects An artificial intelligence module that specifies the step of setting (q≥1) output information and learning information for each n'objects, including variable values for each p input information recognized for each n'objects and variable values for each output information, q And learning to recognize the state of a normal structure before transformation for the n'objects by substituting it with a variable value of.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 n'개의 객체는, 상기 n개의 객체 중 적어도 일부의 부위에 외부의 물리적 힘이 가해지는 객체, 상기 n개의 객체 중 적어도 일부의 부위에 물리적 스트레스가 가해지는 객체, 상기 n개의 객체 중 적어도 일부의 부위에 화학적 스트레스가 가해지는 객체, 상기 n개의 객체 중 적어도 일부의 부위에 전기적 스트레스가 가해지는 객체, 상기 n개의 객체 중 적어도 일부의 부위의 물리적 특성이 변경되는 객체, 상기 n개의 객체 중 내부의 압력이 가해지는 객체, 상기 n개의 객체 중 적어도 일부의 부위에 내부로부터 물리적 힘이 가해지는 객체 중 적어도 하나의 객체를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing structural deformation and recognizing marker-based object information according to the present invention, the n'objects are objects to which an external physical force is applied to at least some of the n objects, and at least some of the n objects An object to which physical stress is applied to a portion of, an object to which chemical stress is applied to at least some of the n objects, an object to which electrical stress is applied to at least some of the n objects, and at least one of the n objects Including at least one of an object whose physical properties of some parts are changed, an object to which internal pressure is applied among the n objects, and an object to which a physical force is applied from the inside to at least some of the n objects It characterized in that it is made.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 n'개의 객체는, 영상정보를 판독하여 인식되는 객체의 각 부위 중 지정된 적어도 일부 부위가 지정된 움직임 범위 내로 움직임 동작하고 나머지 부위가 고정된 상태를 유지하는 객체를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing structural deformation and recognizing marker-based object information according to the present invention, in the n'objects, at least some designated parts of each part of the object recognized by reading image information move within a designated motion range, and the remaining parts It characterized in that it comprises an object that maintains a fixed state.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 n'개의 객체는, 영상정보를 판독하여 인식되는 객체의 각 부위가 고정된 상태를 유지하는 객체 중 적어도 하나의 객체를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing structural deformation and recognizing marker-based object information according to the present invention, the n'objects include at least one object among objects in which each portion of the object recognized by reading image information is maintained in a fixed state. It characterized in that it is made by doing.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 구조 변형은, 객체를 구성하는 각 부위 중 일부 부위의 구조 변형, 객체를 구성하는 각 부위 중 연접한 둘 이상 부위의 연계된 구조 변형, 객체를 구성하는 각 부위 중 상호 이격된 둘 이상 부위의 구조 변형 중 적어도 하나 또는 둘 이상 조합의 변형을 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing structural transformation and recognizing marker-based object information according to the present invention, the structural transformation includes structural transformation of some parts of each part constituting the object, and linking of two or more contiguous parts among the parts constituting the object. It characterized in that it comprises at least one or a combination of two or more of structural transformation and structural transformation of two or more parts spaced apart from each other among the parts constituting the object.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 구조 변형은, 객체를 구성하는 적어도 일부 부위의 휨, 비틀어짐, 늘어남, 꺾임, 부풀어오름, 쪼그라듬, 떨어져나감 중 적어도 하나 또는 둘 이상 조합의 변형을 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing structural deformation and recognizing marker-based object information according to the present invention, the structural deformation is at least one of bending, twisting, stretching, bending, swelling, crushing, and falling off of at least some parts of the object. Or a combination of two or more.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 지정된 카메라는, 상기 공간에 구비된 M개의 카메라, 상기 공간에 구비된 M개의 카메라 중 변형 전 정상 구조 상태 인식의 인공지능 학습을 위한 m(1≤m≤M)개의 카메라, 상기 변형 전 정상 구조 상태 인식의 인공지능 학습을 위해 지정된 별도의 카메라 중 적어도 하나 또는 둘 이상의 조합을 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing structural deformation and recognizing marker-based object information according to the present invention, the designated camera is an artificial intelligence learning of recognition of the normal structure state before deformation among M cameras provided in the space and M cameras provided in the space. It characterized in that it comprises at least one or a combination of two or more of m (1≤m≤M) cameras for, and a separate camera designated for artificial intelligence learning of the state recognition of the normal structure before deformation.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 p개의 입력 정보는, 상기 영상정보를 판독하여 인식되는 n'개의 객체 별 변형 전 정상 구조 상태의 패턴정보를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing structural deformation and recognizing marker-based object information according to the present invention, the p pieces of input information include pattern information of a normal structure state before transformation for each n'objects recognized by reading the image information. It is characterized.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 있어서, 상기 q개의 출력 정보는, 상기 영상정보를 판독하여 인식되는 n'개의 객체 별 변형 전 정상 구조 상태의 패턴(또는 패턴의 집합)에 대응하는 고유식별자를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing structural deformation and recognizing marker-based object information according to the present invention, the q output information is a pattern (or set of patterns) of a normal structure state before transformation for each n'objects recognized by reading the image information It characterized in that it comprises a unique identifier corresponding to.

본 발명에 따른 구조 변형 인식 및 마커 기반 객체 정보 인식 방법에 있어서,상기 시스템은, 상기 카메라에 탑재되는 프로그램, M개와 카메라와 지정된 인터페이스를 통해 연동하는 단말의 프로그램, M개와 카메라와 통신망을 통해 연동하는 서버 중 적어도 하나 또는 둘 이상의 조합을 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing structural deformation and recognizing marker-based object information according to the present invention, the system includes: programs mounted on the camera, M programs and terminal programs that are linked through a specified interface with the camera, and M programs and cameras are linked through a communication network It characterized in that it comprises at least one or a combination of two or more of the servers.

본 발명에 따르면, 딥러닝 기반 사물 이상 진후 예측 탐지 인공지능을 통해 사물에 정상적인 상태(동작, 변형, 이동, 온도상태 등)를 학습하도록 하여, 이후 영상 인식/추적을 통해 학습된 사물에 대한 상태를 자동으로 파악할 수 있도록 하는 이점이 있다.According to the present invention, the state of the object learned through image recognition/tracking afterwards by learning the normal state (motion, transformation, movement, temperature state, etc.) of the object through deep learning-based object abnormality prediction detection and detection artificial intelligence. There is an advantage in that it can be automatically identified.

또한, 각 사물에 별도의 IoT장비를 설치하지 않아도 사물에 대한 상태 추적 및 확인이 용이한 이점이 있다.In addition, there is an advantage in that it is easy to track and check the status of objects without installing separate IoT equipment for each object.

도 1은 본 발명의 실시 방법에 따른 구조 변형 인식 기반 객체 정보 인식 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따른 구조인식모델을 생성하여 저장하는 과정을 도시한 도면이다.
도 3은 본 발명의 실시 방법에 따른 구조 변형 상태의 객체를 인식하여 알림정보를 제공하는 과정을 도시한 도면이다.1 is a diagram showing the configuration of an object information recognition system based on structural modification recognition according to an exemplary method of the present invention.
2 is a diagram showing a process of generating and storing a structure recognition model according to an exemplary method of the present invention.
3 is a diagram illustrating a process of providing notification information by recognizing an object in a structurally deformed state according to an exemplary method of the present invention.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다.Hereinafter, the operating principle of a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings and description. However, the drawings and the description to be described below are for a preferred implementation method among various methods for effectively describing the features of the present invention, and the present invention is not limited to the following drawings and description.

즉, 하기의 실시예는 본 발명의 수 많은 실시예 중에 바람직한 합집합 형태의 실시예에 해당하며, 하기의 실시예에서 특정 구성(또는 단계)을 생략하는 실시예, 또는 특정 구성(또는 단계)에 구현된 기능을 특정 구성(또는 단계)으로 분할하는 실시예, 또는 둘 이상의 구성(또는 단계)에 구현된 기능을 어느 하나의 구성(또는 단계)에 통합하는 실시예, 특정 구성(또는 단계)의 동작 순서를 교체하는 실시예 등은, 하기의 실시예에서 별도로 언급하지 않더라도 모두 본 발명의 권리범위에 속함을 명백하게 밝혀두는 바이다. 따라서 하기의 실시예를 기준으로 부분집합 또는 여집합에 해당하는 다양한 실시예들이 본 발명의 출원일을 소급받아 분할될 수 있음을 분명하게 명기하는 바이다.That is, the following examples correspond to preferred union-type examples among the numerous examples of the present invention, and examples in which specific configurations (or steps) are omitted in the following examples, or specific configurations (or steps). An embodiment of dividing the implemented function into a specific configuration (or step), or an embodiment of integrating a function implemented in two or more configurations (or steps) into any one configuration (or step), of a specific configuration (or step) It is to be clear that the examples of replacing the operation sequence and the like all belong to the scope of the present invention, even if not mentioned separately in the following examples. Accordingly, it is clearly stated that various examples corresponding to a subset or a complementary set may be divided by retrospectively receiving the filing date of the present invention based on the following examples.

또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다. In addition, in the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout the present invention.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.As a result, the technical idea of the present invention is determined by the claims, and the following examples are a means for efficiently explaining the technical idea of the present invention to those of ordinary skill in the art to which the present invention belongs. Only.

도면1은 본 발명의 실시 방법에 따른 구조 변형 인식 기반 객체 정보 인식 시스템의 구성을 도시한 도면이다. 1 is a diagram showing the configuration of an object information recognition system based on structural modification recognition according to an exemplary method of the present invention.

보다 상세하게 본 도면1은 지정된 공간에 구비된 지정된 N(N≥1)개의 객체에 부착된 마커를 식별하는 N개의 마커정보와 상기 N개의 객체를 인식하기 위한 N개의 객체인식모델을 연계하여 지정된 저장매체에 하고, 상기 카메라를 통해 획득되는 영상정보를 판독하여 인공지능 학습을 통해 상기 객체의 물리적 구조 변형을 인식하기 위한 구조인식모델을 생성하여, 상기 생성된 구조인식모델을 통해 상기 공간에서 하나 이상의 객체가 정상 구조 상태를 일정 비율 벗어난 물리적 구조 변형 상태인지 인식하는 시스템의 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 시스템의 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다. In more detail, this drawing 1 is designated by linking N marker information identifying markers attached to designated N (N≥1) objects provided in a designated space and N object recognition models for recognizing the N objects. A structure recognition model for recognizing the physical structure deformation of the object through artificial intelligence learning is generated by reading the image information acquired through the camera in a storage medium, and one in the space through the generated structure recognition model. It shows the configuration of a system for recognizing whether the above object is in a physical structure deformed state out of a certain proportion of the normal structure state, and those of ordinary skill in the art, refer to and/or modify this Figure 1 Various implementation methods for the configuration of the system (e.g., some components are omitted, or subdivided, or combined implementation methods) may be inferred, but the present invention includes all the inferred implementation methods, and The technical features are not limited only to the implementation method illustrated in FIG. 1.

본 도면1을 참조하면, 상기 시스템이 서버(100)에 구성되는 것으로 도시하였으나, 이에 한정하지 않고, 상기 시스템은 지정된 공간에 구비된 하나 이상의 카메라(150)와 통신하는 서버이거나, 또는 상기 카메라(150)에 탑재되는 프로그램이거나, 또는 상기 카메라(150)와 지정된 인터페이스를 통해 연동하는 단말(155)의 프로그램이거나, 또는 상기 서버(100), 카메라(150), 단말(155) 중 적어도 둘 이상의 조합으로 구성될 수 있다.Referring to FIG. 1, the system is illustrated as being configured in the server 100, but the present invention is not limited thereto, and the system is a server that communicates with one or more cameras 150 provided in a designated space, or the camera ( 150), or a program of the terminal 155 interlocking with the camera 150 through a designated interface, or a combination of at least two of the server 100, the camera 150, and the terminal 155 It can be composed of.

도면1을 참조하면, 상기 시스템은 지정된 공간에 구비된 M(M≥1)개의 카메라(150)와, 지정된 공간에 구비된 M(M≥1)개의 카메라(150)와 통신하는 단말(155)과, 지정된 공간에 구비된 M(M≥1)개의 카메라(150)와 통신하는 서버(100)를 포함하여 구성될 수 있다.Referring to Figure 1, the system is a terminal 155 that communicates with M (M≥1) cameras 150 provided in a designated space and M (M≥1) cameras 150 provided in a designated space. And, it may be configured to include a server 100 that communicates with M (M≥1) cameras 150 provided in a designated space.

상기 카메라(150)는 지정된 공간에 구비되어 상기 서버(100) 또는 단말(155)과 연동하며, 지정된 공간의 영상정보를 획득하여 상기 서버(100) 또는 단말(155)로 제공할 수 있다.The camera 150 may be provided in a designated space and interlocked with the server 100 or the terminal 155, and image information of the designated space may be acquired and provided to the server 100 or the terminal 155.

본 발명의 실시 방법에 따르면, 상기 지정된 카메라(150)는 상기 공간에 구비된 M개의 카메라, 상기 공간에 구비된 M개의 카메라 중 객체 인식의 인공지능 학습을 위한 m(1≤m≤M)개의 카메라, 상기 객체 인식의 인공지능 학습을 위해 지정된 별도의 카메라 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다. 예컨대, 상기 별도의 카메라는 지정된 공간에 구비된 카메라 외에 운영자 또는 사용자가 소지한 스마트폰의 카메라를 포함할 수 있다.According to the implementation method of the present invention, the designated camera 150 includes M cameras provided in the space and m (1≦m≦M) for artificial intelligence learning of object recognition among the M cameras provided in the space. It may include at least one or a combination of two or more of a camera and a separate camera designated for artificial intelligence learning of the object recognition. For example, the separate camera may include a camera of a smartphone possessed by an operator or user in addition to a camera provided in a designated space.

상기 단말(155)은 상기 서버(100)로부터 변형 전 정상 구조 상태를 일정 비율 이상 벗어난 물리적 구조 변형 상태를 인식한 객체에 대한 구조 변형 알림정보를 제공받는 상기 운영자 또는 사용자가 운영하는 스마트폰, 핸드폰, 태블릿PC, 무선랜에 연결된 노트북 등을 포함하는 무선단말을 포함할 수 있다. 한편, 본 도면1에서는 상기 구조 변형 인식 기반 객체 정보 인식을 상기 서버(100)에서 수행하는 것으로 도시하여 설명하기로 하나, 본 발명의 다른 실시 방법에 따라 상기 단말(155)도 지정된 공간에 구비된 M(M≥1)개의 카메라(150)와 통신하여 본 발명에 따른 구조 변형 인식 기반 객체 정보 인식을 수행할 수 있다. The terminal 155 is a smartphone or mobile phone operated by the operator or user who receives structural deformation notification information for an object that has recognized a physical structural deformation state deviating from the normal structural state before deformation by a certain ratio or more from the server 100 , A tablet PC, and a wireless terminal including a laptop connected to a wireless LAN. Meanwhile, in FIG. 1, the structure modification recognition-based object information recognition is illustrated and described as being performed by the server 100, but the terminal 155 is also provided in a designated space according to another implementation method of the present invention. By communicating with M (M≥1) cameras 150, object information recognition based on structural deformation recognition according to the present invention may be performed.

보다 상세하게, 도면1을 참조하면, 상기 서버(100) N개의 마커정보와 N개의 객체인식모델을 연계하여 저장하는 정보 저장부(105)와, 지정된 공간에 구비된 M개의 카메라(150)로부터 획득한 영상정보를 이용하여 상기 공간에 구비된 N(N≥1)개의 객체 인식을 학습시키는 객체인식 학습부(110)와, 상기 마커정보와 객체인식모델을 근거로 상기 공간에 존재하는 n(1≤n≤N)개의 객체를 인식하는 객체 인식부(115)와, 상기 인식된 n개의 객체인식정보를 저장하는 객체인식정보 저장부(120)와, 지정된 카메라를 통해 획득되는 영상정보를 이용하여 상기 공간에 존재하는 n개의 객체 중 물리적 구조 변형을 인식할 n'(1≤n'≤n)개의 객체에 대한 변형 전 정상 구조 상태 인식을 학습시키는 구조상태인식 학습부(125)와, 상기 n'개의 객체 별 정상 구조인식모델을 생성하여 저장하는 구조인식모델 저장부(130)와, 상기 n'개의 객체 별 정상 구조인식모델을 이용하여 물리적 구조 변형 상태를 인식한 객체를 포함하는 n"(1≤n"≤n)개의 객체를 인식하는 구조변형객체 인식부(135)와, 상기 구조변형 상태로 인식된 n"개의 객체에 대한 구조 변형 알림정보를 지정된 단말(155)로 제공하는 구조변형 알림부(140)를 포함하여 구성될 수 있다.In more detail, referring to Figure 1, from the server 100, an information storage unit 105 that stores N marker information in association with N object recognition models, and M cameras 150 provided in a designated space. An object recognition learning unit 110 that learns to recognize N (N≥1) objects provided in the space using the acquired image information, and n() existing in the space based on the marker information and the object recognition model. Using an object recognition unit 115 that recognizes 1≤n≤N) objects, an object recognition information storage unit 120 that stores the recognized n object recognition information, and image information acquired through a designated camera. A structural state recognition learning unit 125 for learning to recognize normal structural states before transformation for n'(1 ≤ n'≤ n) objects that will recognize physical structural transformation among the n objects in the space; and n" including a structure recognition model storage unit 130 that creates and stores a normal structure recognition model for each n'objects, and an object that recognizes a state of physical structure deformation using the normal structure recognition model for each n'objects A structured object recognition unit 135 that recognizes (1≤n"≤n) objects, and a structure that provides structural deformation notification information for n" objects recognized as the structural deformation state to a designated terminal 155 It may be configured to include a deformation notification unit 140.

상기 정보 저장부(105)는 지정된 N(N≥1)개의 객체에 부착된 마커를 식별하는 N개의 마커정보와 상기 N개의 객체를 인식하기 위한 N개의 객체인식모델을 연계하여 지정된 저장매체(145)에 저장할 수 있다.The information storage unit 105 is a designated storage medium 145 by linking N marker information identifying markers attached to designated N (N≥1) objects and N object recognition models for recognizing the N objects. ).

본 발명의 실시 방법에 따르면, 상기 정보 저장부(105)는 지정된 단말(155)을 통해 상기 N개의 객체에 부착된 마커를 식별하는 N개의 마커정보와 상기 N개의 객체를 인식하기 위한 N개의 객체인식모델을 수신할 수 있으며, 상기 수신된 마커정보와 N개의 객체인식모델을 연계하여 지정된 저장매체(145)에 저장할 수 있다.According to an exemplary method of the present invention, the information storage unit 105 includes N marker information for identifying markers attached to the N objects and N objects for recognizing the N objects through the designated terminal 155 A recognition model may be received, and the received marker information and N object recognition models may be linked and stored in a designated storage medium 145.

여기서, 상기 마커는 기호, 문양, 그림, 패턴 등 다양한 형태를 포함할 수 있으며, QR 등의 코드이미지도 포함할 수 있으며, 상기 마커정보는 객체에 부착된 마커를 인식하기 위한 마커 패턴정보와 해당 마커에 고유하게 부여된 마커 식별자 등을 포함할 수 있다.Here, the marker may include various forms such as symbols, patterns, drawings, and patterns, and may also include code images such as QR, and the marker information includes marker pattern information for recognizing a marker attached to an object and corresponding A marker identifier uniquely assigned to the marker may be included.

본 발명의 실시 방법에 따르면, 상기 정보 저장부(105)는 상기 객체인식모델에 대하여 지정된 단말(155)을 통해 입력된 객체정보 또는 상기 객체인식모델을 근거로 지정된 데이터베이스로부터 추출된 객체정보를 상기 객체인식모델과 매핑하여 지정된 저장매체(145)에 저장할 수 있다. 여기서, 상기 객체정보는 객체명칭이나 용도, 제조사 등등과 같이 객체에 대한 모든 정보를 포함할 수 있다.According to an embodiment of the present invention, the information storage unit 105 stores object information input through the terminal 155 designated for the object recognition model or object information extracted from a database designated based on the object recognition model. The object recognition model may be mapped and stored in a designated storage medium 145. Here, the object information may include all information on the object such as the object name, purpose, manufacturer, and the like.

본 발명의 실시 방법에 따르면, 상기 객체인식모델은 상기 공간에 구비된 N개의 객체를 인식하기 위한 패턴 인식 모델을 포함할 수 있다.According to an embodiment of the present invention, the object recognition model may include a pattern recognition model for recognizing N objects provided in the space.

상기 객체인식 학습부(110)는 지정된 카메라를 통해 획득되는 영상정보를 판독하여 지정된 인공지능모듈을 통해 상기 공간에 구비된 N(N≥1)개의 객체 인식을 학습시킬 수 있다.The object recognition learning unit 110 may learn to recognize N (N≥1) objects provided in the space through a designated artificial intelligence module by reading image information acquired through a designated camera.

본 발명의 실시 방법에 따르면, 상기 객체인식 학습부(110)는 지정된 단말(155)을 통해 상기 N개의 객체에 부착된 마커를 식별하는 N개의 마커정보를 수신하고, 지정된 카메라를 통해 획득되는 영상정보를 판독하여 지정된 인공지능모듈을 통해 지정된 마커를 부착한 N개의 객체 인식을 학습시킨 후, 상기 인공지능모듈을 통해 학습된 N개의 객체를 인식하기 위한 N개의 객체인식모델을 생성할 수 있다. 여기서 상기 정보 저장부(105)는 상기 마커정보와 상기 생성된 N개의 객체인식모델을 연계하여 지정된 저장매체(145)에 저장할 수 있다.According to the implementation method of the present invention, the object recognition learning unit 110 receives N marker information identifying markers attached to the N objects through a designated terminal 155, and an image acquired through a designated camera. After reading the information and learning to recognize N objects with designated markers attached through the designated artificial intelligence module, N object recognition models for recognizing the N objects learned through the artificial intelligence module may be generated. Here, the information storage unit 105 may link the marker information and the generated N object recognition models and store them in the designated storage medium 145.

본 발명의 실시 방법에 따르면, 상기 객체인식 학습부(110)는 지정된 카메라를 통해 획득되는 영상정보를 판독하여 상기 공간에 존재하는 각 객체 별 관측된 특징에 대응하는 각 객체 별 i(i≥2)개의 입력 정보를 인식하고 각 객체 별 관측된 결과에 대응하는 각 객체 별 j(j≥1)개의 출력 정보를 설정한 후, 각 객체 별로 인식된 i개의 입력 정보 별 변수값과 j개의 출력 정보 별 변수값을 포함하는 각 객체 별 학습 정보를 지정된 인공지능모듈의 변수값으로 대입하여 상기 공간에 존재하는 각 객체 중 고유 식별하여 인식 가능한 N개의 객체 인식을 학습시킬 수 있다. According to an exemplary method of the present invention, the object recognition learning unit 110 reads image information acquired through a designated camera and determines i (i≥2) for each object corresponding to the observed characteristic of each object existing in the space. After recognizing) input information and setting j (j≥1) output information for each object corresponding to the observed result for each object, variable values for each i input information recognized for each object and j output information Learning information for each object, including the star variable value, is substituted with the variable value of the designated artificial intelligence module to uniquely identify and recognize N recognizable objects among the objects existing in the space.

한편, 상기 N개의 객체는 상기 공간에 구비된 사물이거나, 상기 공간에 존재하는 사람(예컨대, 작업자, 노동자 등)일 수 있다.Meanwhile, the N objects may be objects provided in the space or a person (eg, a worker, a worker, etc.) existing in the space.

본 발명의 실시 방법에 따르면, 상기 각 객체 별로 인식되는 i개의 입력 정보는 상기 영상정보를 판독하여 인식되는 각 객체 별 패턴정보와, 상기 영상정보를 판독하여 인식되는 각 마커 별 패턴정보 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다. 예컨대, 상기 i개의 입력정보는 영상정보에 포함된 직육면체 구조의 객체를 인식하여 획득되는 정면 방향의 '□' 패턴, 비스듬한 방향의 '?' 패턴, 좌측 상단 모서리 부분의 '┌' 패턴, 좌측 하단 모서리 부분의 '└' 패턴, 우측 상단 모서리 부분의 '┐' 패턴, 우측 하단 모서리 부분의 '┘' 등을 포함할 수 있다.According to an embodiment of the present invention, the i input information recognized for each object is at least one of pattern information for each object recognized by reading the image information and pattern information for each marker recognized by reading the image information. Or a combination of two or more. For example, the i pieces of input information are a'□' pattern in the front direction and a'?' in an oblique direction obtained by recognizing an object of a rectangular parallelepiped structure included in the image information. It may include a pattern, a'┌' pattern at the upper left corner, a'└' pattern at the lower left corner, a'┐' pattern at the upper right corner, and a'┘' at the lower right corner.

본 발명의 실시 방법에 따르면, 상기 각 객체 별로 설정되는 j개의 출력 정보는 상기 영상정보를 판독하여 인식되는 각 객체 별 패턴(또는 패턴의 집합)에 대응하는 객체식별자를 포함할 수 있다. 여기서, 상기 객체식별자는 i개의 입력정보에 해당하는 패턴(또는 패턴의 집합)이 '□', '?', '┌', '└', '┐', '┘'일 경우, 이러한 패턴(또는 패턴의 집합)에 설정한 고유한 식별자(예컨대, 고유번호, 고유코드 등)를 의미하며, 이는 객체명칭을 포함하는 객체정보와 매핑될 수 있다.According to an exemplary embodiment of the present invention, the j output information set for each object may include an object identifier corresponding to a pattern (or set of patterns) for each object recognized by reading the image information. Here, the object identifier is when the pattern (or set of patterns) corresponding to i input information is'□','?','┌','└','┐', or'┘', such a pattern ( Or a set of patterns), which is a unique identifier (eg, a unique number, a unique code, etc.), which may be mapped with object information including an object name.

상기 객체 인식부(115)는 상기 N개의 마커정보와 N개의 객체인식모델이 지정된 저장매체(145)에 저장되면, 상기 M개의 카메라를 통해 획득되는 M개의 영상정보를 판독하여 상기 마커정보와 객체인식모델을 근거로 상기 공간에 존재하는 n(1≤n≤N)개의 객체를 인식할 수 있다.When the N marker information and the N object recognition models are stored in the designated storage medium 145, the object recognition unit 115 reads the M pieces of image information acquired through the M cameras to determine the marker information and the object. Based on the recognition model, n (1≦n≦N) objects existing in the space may be recognized.

본 발명의 실시 방법에 따르면, 상기 객체 인식부(115)는 상기 M개의 영상정보를 판독하여 상기 마커정보를 통해 n개의 마커를 인식하고, 상기 인식된 마커에 대응하는 n개의 마커정보와 연계된 객체인식모델을 통해 상기 공간에 존재하는 n개의 객체를 인식할 수 있다.According to an exemplary method of the present invention, the object recognition unit 115 reads the M pieces of image information, recognizes n markers through the marker information, and is linked with n pieces of marker information corresponding to the recognized markers. Through the object recognition model, n objects existing in the space can be recognized.

상기 객체인식정보 저장부(120)는 상기 객체 인식부(115)를 통해 상기 공간에 존재하는 n개의 객체가 인식되면, 상기 인식된 n개의 객체에 대응하는 n개의 객체인식정보를 지정된 저장매체(또는 관리DB)에 저장할 수 있다.When the object recognition information storage unit 120 recognizes n objects existing in the space through the object recognition unit 115, the object recognition information storage unit 120 stores n object recognition information corresponding to the recognized n objects to a designated storage medium ( Or it can be stored in the management DB).

본 발명의 실시 방법에 따르면, 상기 객체인식정보는 상기 공간에 존재하는 n개의 객체를 고유 식별하는 객체식별정보를 포함할 수 있다. According to an exemplary method of the present invention, the object recognition information may include object identification information for uniquely identifying n objects existing in the space.

여기서, 상기 객체인식정보는 각 객체에 대한 객체정보(또는 객체정보 중 일부정보)를 기본적으로 포함할 수 있으며, 추가로 각 객체를 고유 식별하는 객체식별정보를 포함할 수 있다. 예컨대, 공간 내에 똑 같은 기계가 3개 있을 경우, 객체식별정보는 3개의 기계를 각각 고유 식별하기 위해 각각의 기계에 중복되지 않게 부여된 식별번호나 식별코드를 포함할 수 있다. 또한 상기 객체식별정보는 공간 내에서 특정한 객체가 처음 인식될 때 중복되지 않게 고유하게 부여될 수 있으며, 적어도 상기 공간에서 해당 객체가 더 이상 인식되지 않을 때까지(또는 해당 객체가 더 이상 인식되지 않은 이후에도 지속적으로) 유지 되어야만, 어떤 객체가 공간에서 사라졌는지 또는 다시 복귀되었는지 확인할 수 있다.Here, the object recognition information may basically include object information (or some of the object information) for each object, and may additionally include object identification information uniquely identifying each object. For example, when there are three identical machines in the space, the object identification information may include an identification number or identification code that is not duplicated to each machine in order to uniquely identify each of the three machines. In addition, the object identification information may be uniquely assigned so as not to overlap when a specific object is first recognized in the space, at least until the object is no longer recognized in the space (or the object is no longer recognized). It must be maintained afterwards) so that you can see which objects have disappeared from space or have returned again.

본 발명의 실시 방법에 따르면, 상기 객체식별정보는 상기 마커가 지정된 인식코드를 부호화한 코드이미지를 포함하는 경우, 상기 코드이미지를 판독하여 인식된 인식코드를 포함하거나 또는 상기 코드이미지로부터 인식된 인식코드와 매핑된 식별코드를 포함할 수 있다. According to an embodiment of the present invention, when the object identification information includes a code image in which the recognition code designated by the marker is encoded, the code image is read and recognized, or the recognition code recognized from the code image. It may include an identification code mapped with a code.

상기 구조상태인식 학습부(125)는 상기 객체인식정보 저장부(120)를 통해 n개의 객체인식정보가 저장된 후, 지정된 카메라(150)를 통해 획득되는 영상정보를 판독하여 지정된 인공지능모듈을 통해 상기 공간에 존재하는 n개의 객체 중 물리적 구조 변형을 인식할 n'(1≤n'≤n)개의 객체에 대한 변형 전 정상 구조 상태 인식을 학습시킬 수 있다.The structural state recognition learning unit 125 stores n pieces of object recognition information through the object recognition information storage unit 120, and then reads the image information acquired through the designated camera 150 and uses the designated artificial intelligence module. Among the n objects existing in the space, n'(1 ≤ n'≤ n) objects for recognizing physical structure transformation may be trained to recognize a normal structure state before transformation.

본 발명의 실시 방법에 따르면, 상기 구조상태인식 학습부(125)는 지정된 카메라(150)를 통해 획득되는 영상정보를 판독하여 상기 공간에 존재하는 n개의 객체 중 물리적 구조 변형을 인식할 n'개의 객체 별 구조 상태의 관측된 특징에 대응하는 n'개의 객체 별 p(p≥2)개의 입력 정보를 인식하고 n'개의 객체 별 구조 상태의 관측된 결과에 대응하는 n'개의 객체 별 q(q≥1)개의 출력 정보를 설정하고, n'개의 객체 별로 인식된 p개의 입력 정보 별 변수값과 q개의 출력 정보 별 변수값을 포함하는 n'개의 객체 별 학습 정보를 지정된 인공지능모듈의 변수값으로 대입하여 상기 n'개의 객체에 대한 변형 전 정상 구조 상태 인식을 학습시킬 수 있다.According to an exemplary method of the present invention, the structural state recognition learning unit 125 reads the image information acquired through the designated camera 150 to recognize the physical structure deformation among n objects existing in the space. Recognizes p(p≥2) input information for each n'object corresponding to the observed characteristics of the structural state of each object, and q(q) for each n'object corresponding to the observed result of the structural state for each n' The variable value of the artificial intelligence module that sets ≥1) output information and specifies learning information for each n'object, including variable values for p input information and variable values for q output information recognized for each n'object. By substituting with, it is possible to learn the recognition of the state of the normal structure before transformation for the n'objects.

본 발명의 실시 방법에 따르면, 상기 지정된 카메라(150)는 상기 공간에 구비된 M개의 카메라, 상기 공간에 구비된 M개의 카메라 중 변형 전 정상 구조 상태 인식의 인공지능 학습을 위한 m(1≤m≤M)개의 카메라, 상기 변형 전 정상 구조 상태 인식의 인공지능 학습을 위해 지정된 별도의 카메라 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다.According to the implementation method of the present invention, the designated camera 150 includes M cameras provided in the space and m (1 ≤ m) for artificial intelligence learning of the recognition of the normal structure state before deformation among the M cameras provided in the space. ?M) cameras, and at least one or a combination of two or more of the separate cameras designated for artificial intelligence learning of the state recognition of the normal structure before transformation.

본 발명의 실시 방법에 따르면, 상기 n'개의 객체 별 인식되는 p개의 입력 정보는 상기 영상정보를 판독하여 인식되는 n'개의 객체 별 변형 전 정상 구조 상태의 패턴정보를 포함할 수 있다. 예컨대, 상기 p개의 입력정보는, 영상정보에 포함된 객체가 이동하는 패턴정보를 포함할 수 있다. According to an exemplary embodiment of the present invention, the p pieces of input information recognized for each n'objects may include pattern information of a normal structure state before transformation for each n'objects recognized by reading the image information. For example, the p pieces of input information may include pattern information on which an object included in the image information moves.

본 발명의 실시 방법에 따르면, 상기 n'개의 객체 별 설정되는 q개의 출력 정보는 상기 영상정보를 판독하여 인식되는 n'개의 객체 별 변형 전 정상 구조 상태의 패턴(또는 패턴의 집합)에 대응하는 고유식별자를 포함할 수 있다. 여기서, 상기 고유식별자는 p개의 입력정보에 해당하는 변형 전 정상 구조 상태의 패턴(또는 패턴의 집합)에 설정한 고유한 식별자(예컨대, 고유번호, 고유코드 등)를 의미할 수 있다.According to an embodiment of the present invention, the q output information set for each n'objects corresponds to a pattern (or set of patterns) in a normal structure state before transformation for each n'object recognized by reading the image information. May include a unique identifier. Here, the unique identifier may mean a unique identifier (eg, a unique number, a unique code, etc.) set in a pattern (or set of patterns) in a normal structure state before transformation corresponding to the p pieces of input information.

본 발명에 따르면, 상기 n'개의 객체는 상기 n개의 객체 중 적어도 일부의 부위에 외부의 물리적 힘이 가해지는 객체, 상기 n개의 객체 중 적어도 일부의 부위에 물리적 스트레스가 가해지는 객체, 상기 n개의 객체 중 적어도 일부의 부위에 화학적 스트레스가 가해지는 객체, 상기 n개의 객체 중 적어도 일부의 부위에 전기적 스트레스가 가해지는 객체, 상기 n개의 객체 중 적어도 일부의 부위의 물리적 특성이 변경되는 객체, 상기 n개의 객체 중 내부의 압력이 가해지는 객체, 상기 n개의 객체 중 적어도 일부의 부위에 내부로부터 물리적 힘이 가해지는 객체 중 적어도 하나의 객체를 포함할 수 있다. According to the present invention, the n'objects are objects to which an external physical force is applied to at least some of the n objects, objects to which physical stress is applied to at least some of the n objects, and the n objects An object to which chemical stress is applied to at least some of the objects, an object to which electrical stress is applied to at least some of the n objects, an object whose physical properties of at least some of the n objects are changed, the n An object to which internal pressure is applied among the n objects, and at least one object to which a physical force is applied from the inside to at least some of the n objects may be included.

본 발명에 따르면, 상기 n'개의 객체는 영상정보를 판독하여 인식되는 객체의 각 부위 중 지정된 적어도 일부 부위가 지정된 움직임 범위 내로 움직임 동작하고 나머지 부위가 고정된 상태를 유지하는 객체를 포함할 수 있다. According to the present invention, the n'objects may include objects in which at least some designated parts of each part of the object recognized by reading image information move within a designated motion range and the remaining parts remain fixed. .

본 발명에 따르면, 상기 n'개의 객체는 영상정보를 판독하여 인식되는 객체의 각 부위가 고정된 상태를 유지하는 객체 중 적어도 하나의 객체를 포함할 수 있다. According to the present invention, the n'objects may include at least one object among objects in which each portion of an object recognized by reading image information is maintained in a fixed state.

본 발명에 따르면, 상기 구조 변형은 객체를 구성하는 각 부위 중 일부 부위의 구조 변형, 객체를 구성하는 각 부위 중 연접한 둘 이상 부위의 연계된 구조 변형, 객체를 구성하는 각 부위 중 상호 이격된 둘 이상 부위의 구조 변형 중 적어도 하나 또는 둘 이상 조합의 변형을 포함할 수 있다.According to the present invention, the structural modification is a structural modification of some parts of each part constituting an object, a linked structural modification of two or more contiguous parts of each part constituting an object, and spaced apart from each other among the parts constituting the object. It may include a modification of at least one or a combination of two or more of the structural modifications of two or more sites.

본 발명에 따르면, 상기 구조 변형은 객체를 구성하는 적어도 일부 부위의 휨, 비틀어짐, 늘어남, 꺾임, 부풀어오름, 쪼그라듬, 떨어져나감 중 적어도 하나 또는 둘 이상 조합의 변형을 포함할 수 있다.According to the present invention, the structural deformation may include a deformation of at least one or a combination of two or more of bending, twisting, stretching, bending, swelling, crushing, and falling off of at least some portions of the object.

상기 구조인식모델 저장부(130)는 상기 구조상태인식 학습부(125)를 통해 공간에 존재하는 n개의 객체 중 물리적 구조 변형을 인식할 n'(1≤n'≤n)개의 객체에 대한 변형 전 정상 구조 상태 인식이 학습되면, 상기 인공지능모듈을 통해 학습된 n'개의 객체의 변형 전 정상 구조 상태를 인식하기 위한 n'개의 객체 별 정상 구조인식모델을 생성하여 지정된 저장매체(145)에 저장할 수 있다. The structural recognition model storage unit 130 transforms n'(1 ≤ n'≤ n) objects to recognize physical structural transformation among n objects existing in the space through the structural state recognition learning unit 125 When the full normal structure state recognition is learned, a normal structure recognition model for each n'object to recognize the normal structure state before transformation of the n'objects learned through the artificial intelligence module is generated and stored in the designated storage medium 145. Can be saved.

상기 구조변형객체 인식부(135)는 상기 구조인식모델 저장부(130)를 통해 n'개의 객체 별 정상 구조인식모델이 생성되어 저장되면, 상기 n'개의 객체 별 정상 구조인식모델을 근거로 상기 M개의 카메라를 통해 획득되는 M개의 영상정보를 판독하여 상기 n'개의 객체 중 변형 전 정상 구조 상태를 일정 비율 이상 벗어난 물리적 구조 변형 상태를 인식한 객체를 포함하는 n"(1≤n"≤n)개의 객체를 인식할 수 있다. When the structurally modified object recognition unit 135 generates and stores a normal structure recognition model for each n'objects through the structure recognition model storage unit 130, the normal structure recognition model for each n'object N" (1≤n"≤n, including objects that have recognized a physical structural deformation state that deviates from the normal structural state before transformation by a certain ratio or more among the n'objects by reading M image information acquired through M cameras. ) Objects can be recognized.

상기 구조변형 알림부(140)는 상기 구조변형객체 인식부(135)를 통해 상기 n'개의 객체 중 변형 전 정상 구조 상태를 일정 비율 이상 벗어난 물리적 구조 변형 상태를 인식한 객체를 포함하는 n"(1≤n"≤n)개의 객체가 인식되면, 상기 인식된 n"개의 객체에 대한 n"개의 객체식별정보를 포함하는 구조 변형 알림정보를 지정된 단말(155)로 제공하는 절차를 수행할 수 있다.The structural deformation notification unit 140 includes an object that recognizes a physical structural deformation state that deviates from the normal structural state before deformation by a predetermined ratio or more among the n'objects through the structural deformation object recognition unit 135 When 1≤n"≤n) objects are recognized, a procedure of providing structure modification notification information including n" object identification information for the recognized n" objects to the designated terminal 155 may be performed. .

도면2는 본 발명의 실시 방법에 따른 구조인식모델을 생성하여 저장하는 과정을 도시한 도면이다.2 is a diagram showing a process of creating and storing a structure recognition model according to an exemplary method of the present invention.

보다 상세하게 본 도면2는 상기 도면1에 도시된 서버(100)를 포함하는 객체 정보 인식 시스템 상에서 지정된 공간에 구비된 지정된 N(N≥1)개의 객체에 부착된 마커를 식별하는 N개의 마커정보와 상기 N개의 객체를 인식하기 위한 N개의 객체인식모델을 연계하여 지정된 저장매체에 하고, 상기 카메라를 통해 획득되는 영상정보를 판독하여 인공지능 학습을 통해 상기 객체의 물리적 구조 변형을 인식하기 위한 구조인식모델을 생성하여 지정된 저장매체에 저장하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 구조인식모델을 생성하여 저장하는 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 2 shows N marker information for identifying markers attached to N (N≥1) objects provided in a designated space on the object information recognition system including the server 100 shown in FIG. 1 And N object recognition models for recognizing the N objects in a designated storage medium, reading the image information acquired through the camera, and recognizing the deformation of the physical structure of the object through artificial intelligence learning It shows a process of creating a recognition model and storing it in a designated storage medium.If a person of ordinary skill in the art to which the present invention belongs, the structure recognition model is created and stored by referring to and/or modifying this Figure 2 Various implementation methods (eg, some steps are omitted or the order is changed) may be inferred, but the present invention includes all the inferred implementation methods, and is shown in FIG. The technical features are not limited only by the method of implementation.

도면2에 도시된 실시 과정은 상기 객체 정보 인식 시스템 상의 서버(100)에서 지정된 단말(155)을 통해 상기 N개의 객체에 부착된 마커를 식별하는 N개의 마커정보와 상기 N개의 객체를 인식하기 위한 N개의 객체인식모델을 수신하는 과정으로부터 개시될 수 있다(200). The implementation process shown in FIG. 2 is for recognizing N marker information and the N objects for identifying markers attached to the N objects through a terminal 155 designated by the server 100 on the object information recognition system. It may be started from the process of receiving the N object recognition models (200).

그리고, 상기 서버(100)는 상기 수신된 마커정보와 N개의 객체인식모델을 연계하여 지정된 저장매체(145)에 저장한다(205). In addition, the server 100 stores the received marker information in a designated storage medium 145 by linking the received marker information with N object recognition models (205).

본 발명의 실시 방법에 따르면, 상기 서버(100)는 상기 객체인식모델에 대하여 지정된 단말(155)을 통해 입력된 객체정보 또는 상기 객체인식모델을 근거로 지정된 데이터베이스로부터 추출된 객체정보를 상기 객체인식모델과 매핑하여 지정된 저장매체(145)에 저장할 수 있다. 여기서, 상기 객체정보는 객체명칭이나 용도, 제조사 등등과 같이 객체에 대한 모든 정보를 포함할 수 있다.According to an implementation method of the present invention, the server 100 recognizes the object information input through the terminal 155 designated for the object recognition model or object information extracted from a database designated based on the object recognition model. The model may be mapped and stored in a designated storage medium 145. Here, the object information may include all information on the object such as the object name, purpose, manufacturer, and the like.

본 발명의 실시 방법에 따르면, 상기 서버(100)는 지정된 카메라를 통해 획득되는 영상정보를 판독하여 지정된 인공지능모듈을 통해 상기 공간에 구비된 N(N≥1)개의 객체 인식을 학습시킬 수 있다.According to the implementation method of the present invention, the server 100 may learn to recognize N (N≥1) objects provided in the space through a designated artificial intelligence module by reading image information acquired through a designated camera. .

본 발명의 실시 방법에 따르면, 상기 서버(100)는 지정된 단말(155)을 통해 상기 N개의 객체에 부착된 마커를 식별하는 N개의 마커정보를 수신하고, 지정된 카메라를 통해 획득되는 영상정보를 판독하여 지정된 인공지능모듈을 통해 지정된 마커를 부착한 N개의 객체 인식을 학습시킨 후, 상기 인공지능모듈을 통해 학습된 N개의 객체를 인식하기 위한 N개의 객체인식모델을 생성할 수 있다. 여기서 상기 서버(100)는 상기 마커정보와 상기 생성된 N개의 객체인식모델을 연계하여 지정된 저장매체(145)에 저장할 수 있다.According to the implementation method of the present invention, the server 100 receives N marker information identifying markers attached to the N objects through the designated terminal 155, and reads the image information acquired through the designated camera. Thus, after learning to recognize N objects with designated markers attached through the designated artificial intelligence module, N object recognition models for recognizing the N objects learned through the artificial intelligence module may be generated. Here, the server 100 may link the marker information and the generated N object recognition models and store them in a designated storage medium 145.

본 발명의 실시 방법에 따르면, 상기 서버(100)는 지정된 카메라를 통해 획득되는 영상정보를 판독하여 상기 공간에 존재하는 각 객체 별 관측된 특징에 대응하는 각 객체 별 i(i≥2)개의 입력 정보를 인식하고 각 객체 별 관측된 결과에 대응하는 각 객체 별 j(j≥1)개의 출력 정보를 설정한 후, 각 객체 별로 인식된 i개의 입력 정보 별 변수값과 j개의 출력 정보 별 변수값을 포함하는 각 객체 별 학습 정보를 지정된 인공지능모듈의 변수값으로 대입하여 상기 공간에 존재하는 각 객체 중 고유 식별하여 인식 가능한 N개의 객체 인식을 학습시킬 수 있다. According to the implementation method of the present invention, the server 100 reads image information acquired through a designated camera and inputs i (i≥2) for each object corresponding to the observed characteristic for each object existing in the space. After recognizing the information and setting j (j≥1) output information for each object corresponding to the observed result for each object, i variable values for each input information recognized for each object and j variable values for each output information By substituting the learning information for each object including a variable value of the designated artificial intelligence module, it is possible to learn recognition of N recognizable objects by uniquely identifying each object existing in the space.

이후, 상기 서버(100)는 상기 지정된 공간에 구비된 M개의 카메라(150)를 통해 상기 공간에 대한 M개의 영상정보를 획득하고(210), 상기 M개의 카메라를 통해 획득되는 M개의 영상정보를 판독하여 상기 마커정보와 객체인식모델을 근거로 상기 공간에 존재하는 n(1≤n≤N)개의 객체를 인식한다(215).Thereafter, the server 100 acquires M pieces of image information for the space through the M cameras 150 provided in the designated space (210), and receives M pieces of image information acquired through the M cameras. By reading, n (1≦n≦N) objects existing in the space are recognized based on the marker information and the object recognition model (215).

본 발명의 실시 방법에 따르면, 상기 서버(100)는 상기 M개의 영상정보를 판독하여 상기 마커정보를 통해 n개의 마커를 인식하고, 상기 인식된 마커에 대응하는 n개의 마커정보와 연계된 객체인식모델을 통해 상기 공간에 존재하는 n개의 객체를 인식할 수 있다.According to the implementation method of the present invention, the server 100 reads the M pieces of image information, recognizes n markers through the marker information, and recognizes objects associated with n pieces of marker information corresponding to the recognized markers. Through the model, n objects existing in the space can be recognized.

상기 공간에 존재하는 n개의 객체가 인식되면, 상기 서버(100)는 상기 인식된 n개의 객체에 대응하는 n개의 객체인식정보를 지정된 저장매체(또는 관리DB)에 저장한다(220).When n objects existing in the space are recognized, the server 100 stores n object recognition information corresponding to the recognized n objects in a designated storage medium (or management DB) (220).

본 발명의 실시 방법에 따르면, 상기 객체식별정보는 상기 마커가 지정된 인식코드를 부호화한 코드이미지를 포함하는 경우, 상기 코드이미지를 판독하여 인식된 인식코드를 포함하거나 또는 상기 코드이미지로부터 인식된 인식코드와 매핑된 식별코드를 포함할 수 있다.According to an embodiment of the present invention, when the object identification information includes a code image in which the recognition code designated by the marker is encoded, the code image is read and recognized, or the recognition code recognized from the code image. It may include an identification code mapped with a code.

상기 n개의 객체인식정보가 저장된 후, 상기 서버(100)는 지정된 카메라(150)를 통해 획득되는 영상정보를 판독하고(225), 상기 공간에 존재하는 n개의 객체 중 물리적 구조 변형을 인식할 n'(1≤n'≤n)개의 객체 별 구조 상태의 특징을 관측한다(230).After the n pieces of object recognition information are stored, the server 100 reads the image information obtained through the designated camera 150 (225), and the n objects to recognize physical structure deformation among n objects in the space. Features of the structural state of each'(1≤n'≤n) objects are observed (230).

여기서, 상기 지정된 카메라(150)는 상기 공간에 구비된 M개의 카메라, 상기 공간에 구비된 M개의 카메라 중 변형 전 정상 구조 상태 인식의 인공지능 학습을 위한 m(1≤m≤M)개의 카메라, 상기 변형 전 정상 구조 상태 인식의 인공지능 학습을 위해 지정된 별도의 카메라 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다.Here, the designated camera 150 includes M cameras provided in the space, and m (1≦m≦M) cameras for artificial intelligence learning to recognize the state of a normal structure before deformation among the M cameras provided in the space, It may include at least one or a combination of two or more of separate cameras designated for artificial intelligence learning of the state recognition of the normal structure before transformation.

그리고, 상기 서버(100)는 상기 관측된 특징에 대응하는 n'개의 객체 별 p(p≥2)개의 입력 정보를 인식하고(235), n'개의 객체 별 동작의 관측된 결과에 대응하는 n'개의 객체 별 q(q≥1)개의 출력 정보를 설정한다(240).In addition, the server 100 recognizes p (p≥2) input information for each n'objects corresponding to the observed feature (235), and n corresponding to the observed result of the motions for each n'object. 'Q (q≥1) output information for each object is set (240).

여기서, 상기 n'개의 객체 별 인식되는 p개의 입력 정보는 상기 영상정보를 판독하여 인식되는 n'개의 객체 별 변형 전 정상 구조 상태의 패턴정보를 포함할 수 있다. 예컨대, 상기 p개의 입력정보는, 영상정보에 포함된 객체가 이동하는 패턴정보를 포함할 수 있다. Here, the p pieces of input information recognized for each n'objects may include pattern information of a normal structure state before transformation for each n'objects recognized by reading the image information. For example, the p pieces of input information may include pattern information on which an object included in the image information moves.

여기서, 상기 n'개의 객체 별 설정되는 q개의 출력 정보는 상기 영상정보를 판독하여 인식되는 n'개의 객체 별 변형 전 정상 구조 상태의 패턴(또는 패턴의 집합)에 대응하는 고유식별자를 포함할 수 있다. 여기서, 상기 고유식별자는 p개의 입력정보에 해당하는 변형 전 정상 구조 상태의 패턴(또는 패턴의 집합)에 설정한 고유한 식별자(예컨대, 고유번호, 고유코드 등)를 의미할 수 있다.Here, the q output information set for each n'objects may include a unique identifier corresponding to a pattern (or set of patterns) in a normal structure state before transformation for each n'object recognized by reading the image information. have. Here, the unique identifier may mean a unique identifier (eg, a unique number, a unique code, etc.) set in a pattern (or set of patterns) in a normal structure state before transformation corresponding to the p pieces of input information.

이후, 상기 서버(100)는 n'개의 객체 별로 인식된 p개의 입력 정보 별 변수값과 q개의 출력 정보 별 변수값을 포함하는 n'개의 객체 별 학습 정보를 지정된 인공지능모듈의 변수값으로 대입하여(245), 상기 공간에서 상기 n'개의 객체에 대한 변형 전 정상 구조 상태 인식을 학습시킨다(250).Thereafter, the server 100 substitutes the learning information for each n'objects, including the variable values for each p input information and the variable values for q output information recognized for each n'objects, as the variable values of the designated artificial intelligence module. In operation (245), recognition of the state of a normal structure before transformation of the n'objects in the space is learned (250).

상기 지정된 범위 내에서 동작하는 n'개의 객체에 대한 변형 전 정상 구조 상태 인식이 학습되면, 상기 서버(100)는 상기 인공지능모듈을 통해 학습된 n'개의 변형 전 정상 구조 상태를 인식하기 위한 n'개의 객체 별 정상 구조인식모델을 생성하고(255), 상기 생성된 n'개의 객체 별 정상 구조인식모델을 지정된 저장매체(145)에 저장한다(260). When the recognition of the normal structure states before transformation for n'objects operating within the specified range is learned, the server 100 is configured to recognize n'normal structure states before transformation learned through the artificial intelligence module. The'normal structure recognition model for each object' is created (255), and the generated normal structure recognition model for each object n'is stored in the designated storage medium 145 (260).

도면3은 본 발명의 실시 방법에 따른 구조 변형 상태의 객체를 인식하여 알림정보를 제공하는 과정을 도시한 도면이다.3 is a diagram illustrating a process of providing notification information by recognizing an object in a structurally deformed state according to an embodiment of the present invention.

보다 상세하게 본 도면3은 상기 도면2의 과정 이후, 상기 도면1에 도시된 서버(100)를 포함하는 객체 정보 인식 시스템 상에서 하나 이상의 객체가 존재하는 지정된 공간에 구비된 M개의 카메라를 통해 획득되는 영상정보를 판독하여 상기 공간에서 하나 이상의 객체가 변형 전 정상 구조 상태를 일정 비율 이상 벗어난 물리적 구조 변형 상태인지 인식하여, 구조 변형 상태에 대한 알림정보를 제공하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면3을 참조 및/또는 변형하여 상기 구조 변형 상태의 객체를 인식하여 알림정보를 제공하는 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면3에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 3 shows, after the process of FIG. 2, obtained through M cameras provided in a designated space in which one or more objects exist on the object information recognition system including the server 100 shown in FIG. It shows a process of reading image information and recognizing whether one or more objects in the space are in a physical structure deformation state that deviates from the normal structural state before deformation by a certain percentage, and provides notification information on the structural deformation state. For those of ordinary skill in the art, various implementation methods for the process of providing notification information by recognizing the object in the structurally deformed state by referring and/or modifying this Figure 3 (e.g., some steps are omitted, Alternatively, the implementation method in which the order has been changed) may be inferred, but the present invention includes all the inferred implementation methods, and the technical features are not limited only by the implementation method shown in FIG. 3.

도면3에 도시된 실시 과정은, 상기 도면2의 과정을 통해 n'개의 객체 별 정상 구조인식모델이 생성되어 저장된 이후, 서버(100)에서 상기 M개의 카메라(150)를 통해 M개의 영상정보를 획득하는 과정으로부터 개시될 수 있다(300).In the implementation process shown in Fig. 3, after the normal structure recognition model for each n'object is generated and stored through the process of Fig. 2, the server 100 transmits M pieces of image information through the M cameras 150. It may be initiated from the process of obtaining (300).

상기 M개의 영상정보가 획득되면, 상기 서버(100)는 상기 n'개의 객체 별 정상 구조인식모델을 근거로 상기 M개의 카메라(150)를 통해 획득되는 M개의 영상정보를 판독하여(305), 상기 공간 내에서 n'개의 객체 중 변형 전 정상 구조 상태를 일정 비율 이상 벗어난 물리적 구조 변형 상태를 인식한 객체를 포함하는 n"(1≤n"≤n)개의 객체를 인식한다(310). When the M pieces of image information are obtained, the server 100 reads the M pieces of image information acquired through the M cameras 150 based on the n'object-specific normal structure recognition model (305), Among the n'objects in the space, n" (1≤n"≤n) objects including objects that have recognized the physical structural deformation state deviating from the normal structural state before transformation by a predetermined ratio or more are recognized (310).

여기서, 상기 n"개의 객체는 상기 공간 내에서 고정된 상태를 유지하는 (n-n')개의 객체 중 고정된 상태를 벗어난 동작을 인식한 객체를 더 포함할 수 있다.Here, the n" number of objects may further include an object that recognizes a motion out of the fixed state among (n-n') objects that maintain a fixed state in the space.

상기 변형 전 정상 구조 상태를 일정 비율 이상 벗어난 물리적 구조 변형 상태의 n"개의 객체를 인식한 경우, 상기 서버(100)는 상기 인식된 n"개의 객체에 대한 n"개의 객체식별정보를 포함하는 구조 변형 알림정보를 지정된 단말(155)로 제공하는 절차를 수행한다(315).When n" objects in the physical structure deformed state deviating from the normal structural state before transformation by a certain percentage or more are recognized, the server 100 includes n" object identification information for the recognized n" objects A procedure of providing the modified notification information to the designated terminal 155 is performed (315).

100 : 서버 105 : 정보 저장부
110 : 객체인식 학습부 115 : 객체 인식부
120 : 객체인식정보 저장부 125 : 구조상태인식 학습부
130 : 구조인식모델 저장부 135 : 구조변형객체 인식부
140 : 구조변형 알림부 145 : 저장매체
150 : 카메라 155 : 단말100: server 105: information storage unit
110: object recognition learning unit 115: object recognition unit
120: object recognition information storage unit 125: structure state recognition learning unit
130: structure recognition model storage unit 135: structure transformed object recognition unit
140: structural transformation notification unit 145: storage medium
150: camera 155: terminal

Claims

In the method executed through a system interlocking with M (M≥1) cameras provided in a designated space,
A first step of linking N marker information identifying markers attached to designated N (N≥1) objects and N object recognition models for recognizing the N objects and storing them in a designated storage medium;
A second step of recognizing n (1≦n≦N) objects existing in the space based on the marker information and the object recognition model by reading M pieces of image information acquired through the M cameras;
A third step of storing n object recognition information corresponding to the recognized n objects in a designated management DB;
Normal structure before transformation for n'(1 ≤ n'≤ n) objects that will recognize physical structural transformation among n objects existing in the space through the specified artificial intelligence module by reading image information acquired through a specified camera A fourth step of learning state awareness;
A fifth step of generating a normal structure recognition model for each n'objects for recognizing a normal structure state before deformation of the n'objects learned through the artificial intelligence module and storing them in a designated storage medium;
Based on the n'object-specific normal structure recognition model, by reading M image information acquired through the M cameras, a physical structure deformation state that deviates from the normal structure state before deformation by a certain ratio among the n'objects A sixth step of recognizing n"(1≤n"≤n) objects including one object; And
A seventh step of performing a procedure of providing structure modification notification information including n" object identification information on the recognized n" objects to a designated terminal when the n" objects are recognized; structural modification including: Recognition and marker-based object information recognition method.

The method of claim 1,
Receiving N marker information for identifying markers attached to the N objects and N object recognition models for recognizing the N objects through the designated terminal,
The first step comprises the step of linking the received marker information and N object recognition models and storing them in a designated storage medium.

The method of claim 1,
A receiving step of receiving N marker information identifying markers attached to the N objects through a designated terminal;
A learning step of reading image information acquired through a designated camera to learn recognition of N objects attached with designated markers through a designated artificial intelligence module;
A generation step of generating N object recognition models for recognizing the N objects learned through the artificial intelligence module; further comprising,
The first step comprises the step of linking the marker information and the generated N object recognition models and storing them in a designated storage medium.

The method of claim 3, wherein the learning step,
By reading the image information acquired through the designated camera, i (i≥2) input information for each object corresponding to the observed characteristic of each object existing in the space is recognized, and each corresponding to the observed result for each object Setting j (j≥1) pieces of output information for each object;
By substituting the learning information for each object, including the variable values for each i input information recognized for each object and the variable values for j output information, as the variable value of the designated artificial intelligence module, it is uniquely identified among the objects existing in the space. Learning the recognition of N recognizable objects; structure deformation recognition and marker-based object information recognition method comprising:

The method of claim 3 or 4, wherein the designated camera,
M cameras provided in the space,
M (1≤m≤M) cameras for artificial intelligence learning of object recognition among the M cameras provided in the space,
Structure deformation recognition and marker-based object information recognition method comprising at least one or a combination of two or more of separate cameras designated for artificial intelligence learning of object recognition.

The method of claim 3, wherein the i pieces of input information,
Pattern information for each object recognized by reading the image information,
A method for recognizing structural deformation and recognizing marker-based object information, comprising at least one or a combination of two or more of pattern information for each marker recognized by reading the image information.

The method of claim 3, wherein the j pieces of output information,
And an object identifier corresponding to a pattern (or a set of patterns) for each object recognized by reading the image information.

The method of claim 1, wherein the first step,
Structural transformation recognition and marker-based object information, comprising the step of mapping object information received through a designated terminal or object information extracted from a designated database with the marker information or object recognition model and storing it in a designated storage medium. Recognition method.

The method of claim 1, wherein the object recognition model,
Structure deformation recognition and marker-based object information recognition method comprising a pattern recognition model for recognizing N objects provided in the space.

The method of claim 1, wherein the second step,
Recognizing n markers through the marker information by reading the M pieces of image information, and recognizing n objects existing in the space through an object recognition model linked to n pieces of marker information corresponding to the recognized markers. Structure deformation recognition and marker-based object information recognition method comprising the steps of.

The method of claim 1, wherein the object recognition information,
Structure deformation recognition and marker-based object information recognition method, characterized in that comprising object identification information uniquely identifying n objects existing in the space.

The method of claim 11, wherein the object identification information,
When a code image encoding the identification code specified in the object is attached,
Includes a recognition code recognized by reading the code image attached to the object, or
Structure deformation recognition and marker-based object information recognition method comprising the recognized recognition code and the mapped identification code.

The method of claim 1, wherein the fourth step,
By reading the image information acquired through the designated camera, p (p≥2) for each n'object corresponding to the observed characteristic of the structure state of each n'object to recognize physical structural deformation among n objects existing in the space Recognizing) input information and setting q(q≥1) output information for each n'object corresponding to the observed result of the structure state for each n'object;
Learning information for each n'object, including variable values for each p input information recognized for each n'objects and variable values for each output information, is substituted for the n'objects by substituting them as the variable values of the designated artificial intelligence module. A method of recognizing structural deformation and recognizing marker-based object information, comprising: learning to recognize a normal structure state before deformation.

The method of claim 1 or 13, wherein the n'objects,
An object to which an external physical force is applied to at least some of the n objects,
An object to which physical stress is applied to at least some of the n objects,
An object to which chemical stress is applied to at least some of the n objects,
An object to which electrical stress is applied to at least some of the n objects,
An object whose physical properties of at least some of the n objects are changed,
An object to which internal pressure is applied among the n objects,
A method for recognizing structure deformation and recognizing marker-based object information, comprising at least one object among objects to which a physical force is applied from the inside to at least some of the n objects.

The method of claim 1 or 13, wherein the n'objects,
Structural deformation recognition and marker-based object information, characterized in that it comprises an object in which at least some designated parts of each part of the object recognized by reading image information moves within a designated motion range and the remaining parts remain fixed. Recognition method.

The method of claim 1 or 13, wherein the n'objects,
A method for recognizing structural deformation and marker-based object information, comprising: at least one object among objects in which each portion of an object recognized by reading image information is maintained in a fixed state.

The method of claim 1 or 13, wherein the structural modification,
Structural modification of some of the parts constituting the object,
Modification of the linked structure of two or more contiguous parts of each part of the object,
A method for recognizing structural deformation and recognizing marker-based object information, comprising a transformation of at least one or a combination of structural transformations of two or more regions spaced apart from each other among regions constituting an object.

The method of claim 1 or 13, wherein the structural modification,
Structural deformation recognition and marker-based object information, characterized by including deformation of at least one or a combination of two or more of bending, twisting, stretching, bending, swelling, squeezing, and falling off of at least some parts of an object Recognition method.

The method of claim 1 or 13, wherein the designated camera,
M cameras provided in the space,
Among the M cameras provided in the space, m (1 ≤ m ≤ M) cameras for artificial intelligence learning to recognize the state of a normal structure before deformation,
A method for recognizing structural deformation and marker-based object information, comprising at least one or a combination of two or more separate cameras designated for artificial intelligence learning of the normal structural state recognition before transformation.

The method of claim 13, wherein the p pieces of input information,
Structure deformation recognition and marker-based object information recognition method, characterized in that comprising pattern information of a normal structure state before deformation for each n'objects recognized by reading the image information.

The method of claim 13, wherein the q pieces of output information,
And a unique identifier corresponding to a pattern (or a set of patterns) in a normal structure state before transformation for each n'objects recognized by reading the image information.

The method of claim 1, wherein the system,
A program mounted on the camera,
Terminal programs that interlock with M and cameras through a designated interface,
Structure deformation recognition and marker-based object information recognition method comprising at least one or a combination of two or more of M and a server linked through a communication network with a camera.