KR20210009459A

KR20210009459A - Method for Recognizing Object Information Based on Structure Transformation Recognition

Info

Publication number: KR20210009459A
Application number: KR1020190085633A
Authority: KR
Inventors: 영 오; 이수안; 김재형; 권봉기
Original assignee: 주식회사 비즈모델라인
Priority date: 2019-07-16
Filing date: 2019-07-16
Publication date: 2021-01-27

Abstract

The present invention relates to a structural deformation recognition-based object information recognition method. The method comprises: a first step of training object recognition; a second step of generating an object recognition model and storing the same in a designated storage medium; a third step of recognizing an object; a fourth step of storing object recognition information in a designated management DB; a fifth step of training normal structure state recognition; and a sixth step of generating a normal structure recognition model and storing the same in the designated storage medium. According to the present invention, a state of a trained object can be automatically identified through image recognition/tracking.

Description

Object information recognition method based on structural transformation recognition {Method for Recognizing Object Information Based on Structure Transformation Recognition}

본 발명은 구조 변형 인식 기반 객체 정보 인식 방법에 관한 것으로, 하나 이상의 객체가 존재하는 지정된 공간에 구비된 카메라를 통해 획득되는 영상정보를 판독하여 인공지능 학습을 통해 상기 객체를 인식하기 위한 정보를 저장한 이후, 상기 카메라를 통해 획득되는 영상정보를 판독하여 인공지능 학습을 통해 상기 객체의 물리적 구조 변형을 인식하기 위한 구조인식모델을 생성하여, 상기 생성된 구조인식모델을 통해 상기 공간에서 하나 이상의 객체가 정상 구조 상태를 일정 비율 벗어난 물리적 구조 변형 상태인지 인식하는 방법에 관한 것이다.The present invention relates to a method for recognizing object information based on structural deformation recognition, and storing information for recognizing the object through artificial intelligence learning by reading image information acquired through a camera provided in a designated space in which one or more objects exist. After that, by reading the image information acquired through the camera and generating a structure recognition model for recognizing the physical structure deformation of the object through artificial intelligence learning, one or more objects in the space through the generated structure recognition model It relates to a method of recognizing whether is a physical structure deformed state that deviates from the normal structural state by a certain percentage.

최근 IoT 등 인터넷 및 무선 통신 기술의 발달을 통해 기업 자산을 대상으로 하는 이상 징후를 예측하는 방법에 대해 많은 관심이 집중되고 있다. Recently, a lot of attention has been focused on a method of predicting anomalies targeting corporate assets through the development of Internet and wireless communication technologies such as IoT.

그러나, 동산담보물 부재나 이탈, 은행 ATM기 등 원격지 기업자산 가동, 산업 시설물 가동 등 이상징후 탐지가 IoT단말기가 없이는 어려웠다.However, it was difficult to detect abnormal signs such as the absence or departure of movable property collateral, operation of remote corporate assets such as bank ATMs, and operation of industrial facilities without an IoT terminal.

또한, 도난 탐지 등 일상 경계정보 예측 탐지, 생활기기 이동 등 각종 부재나 이동 탐지가 어려웠고, 도시 시설물 부재, 이탈 등 이상징후 예측 탐지, 안전 시설물 부재, 이탈 등 안전사고 발생 예측 탐지, 방범 취약지역 등에서의 도난 사고 추적 탐지 등이 어려웠다. In addition, it was difficult to detect various absences or movements such as daily boundary information such as theft detection, movement of household equipment, etc. It was difficult to detect and track theft accidents.

대한민국 등록특허공보 제10-1949525호(2019년02월12일 등록)는 무인탐지장치를 이용한 현장 안전관리 시스템에 관한 것으로, 설비, 센서, 카메라가 설치되고 작업자가 소지한 모바일 단말기가 위치하며 관리대상 관심객체가 존재하는 관리현장과, 이 관리현장과 통신네트워크를 통해 연결되어 관리현장에서 전송된 데이터를 수신하고 처리하여 관리현장으로 처리데이터를 전송하는 서버를 포함하는 관리현장 안전관리 시스템에 관한 것이다.Republic of Korea Patent Publication No. 10-1949525 (registered on February 12, 2019) relates to a field safety management system using an unmanned detection device, where facilities, sensors, and cameras are installed, and mobile terminals held by workers are located and managed. A management site safety management system including a management site in which the target object of interest exists and a server connected to the management site through a communication network to receive and process data transmitted from the management site and transmit the processed data to the management site. will be.

그러나, 관리현장에 대한 정보(영상 등)를 작업자가 일일이 확인하여 안전 여부나 도난 여부 등을 판단해야 하는 번거로움이 존재하였다.However, there was a hassle of having to check the information (videos, etc.) on the management site by the operator to determine whether it is safe or stolen.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 하나 이상의 객체가 존재하는 지정된 공간에 구비된 카메라를 통해 획득되는 영상정보를 판독하여 인공지능 학습을 통해 상기 객체를 인식하기 위한 정보를 저장한 이후, 상기 카메라를 통해 획득되는 영상정보를 판독하여 인공지능 학습을 통해 상기 객체의 물리적 구조 변형을 인식하기 위한 구조인식모델을 생성하여, 상기 생성된 구조인식모델을 통해 상기 공간에서 하나 이상의 객체가 정상 구조 상태를 일정 비율 벗어난 물리적 구조 변형 상태인지 인식하는 구조 변형 인식 기반 객체 정보 인식 방법을 제공함에 있다.An object of the present invention for solving the above problems is to store information for recognizing the object through artificial intelligence learning by reading image information acquired through a camera provided in a designated space in which one or more objects exist. Thereafter, by reading the image information acquired through the camera, a structure recognition model for recognizing the physical structure deformation of the object is generated through artificial intelligence learning, and at least one object in the space is generated through the generated structure recognition model. To provide a method of recognizing object information based on structural deformation recognition that recognizes whether a physical structure is deformed out of a certain ratio from the normal structural state.

본 발명에 따른 구조 변형 인식 기반 객체 정보 인식 방법은, 지정된 공간에 구비된 M(M≥1)개의 카메라와 연동하는 시스템을 통해 실행되는 방법에 있어서, 지정된 카메라를 통해 획득되는 영상정보를 판독하여 지정된 인공지능모듈을 통해 상기 공간에 구비된 N(N≥1)개의 객체 인식을 학습시키는 제1 단계와 상기 인공지능모듈을 통해 학습된 N개의 객체를 인식하기 위한 N개의 객체인식모델을 생성하여 지정된 저장매체에 저장하는 제2 단계와 상기 객체인식모델을 근거로 상기 M개의 카메라를 통해 획득되는 M개의 영상정보를 판독하여 상기 공간에 존재하는 n(1≤n≤N)개의 객체를 인식하는 제3 단계와 상기 인식된 n개의 객체에 대응하는 n개의 객체인식정보를 지정된 관리DB에 저장하는 제4 단계와 지정된 카메라를 통해 획득되는 영상정보를 판독하여 지정된 인공지능모듈을 통해 상기 공간에 존재하는 n개의 객체 중 물리적 구조 변형을 인식할 n'(1≤n'≤n)개의 객체에 대한 변형 전 정상 구조 상태 인식을 학습시키는 제5 단계와 상기 인공지능모듈을 통해 학습된 n'개의 객체의 변형 전 정상 구조 상태를 인식하기 위한 n'개의 객체 별 정상 구조인식모델을 생성하여 지정된 저장매체에 저장하는 제6 단계와 상기 n'개의 객체 별 정상 구조인식모델을 근거로 상기 M개의 카메라를 통해 획득되는 M개의 영상정보를 판독하여 상기 n'개의 객체 중 변형 전 정상 구조 상태를 일정 비율 이상 벗어난 물리적 구조 변형 상태를 인식한 객체를 포함하는 n"(1≤n"≤n)개의 객체를 인식하는 제7 단계 및 상기 n"개의 객체를 인식한 경우 상기 인식된 n"개의 객체에 대한 n"개의 객체식별정보를 포함하는 구조 변형 알림정보를 지정된 단말로 제공하는 절차를 수행하는 제8 단계를 포함하는 것을 특징으로 한다.The method for recognizing object information based on structural deformation recognition according to the present invention is a method executed through a system interlocking with M (M≥1) cameras provided in a designated space, by reading image information acquired through a designated camera. The first step of learning to recognize N (N≥1) objects provided in the space through a designated artificial intelligence module, and generating N object recognition models for recognizing the N objects learned through the artificial intelligence module The second step of storing in a designated storage medium and reading M pieces of image information acquired through the M cameras based on the object recognition model to recognize n (1≦n≦N) objects existing in the space The third step and the fourth step of storing n object recognition information corresponding to the recognized n objects in a designated management DB, and the presence in the space through a designated artificial intelligence module by reading image information acquired through a designated camera The fifth step of learning to recognize the normal structure state before transformation for n'(1 ≤ n'≤ n) objects to recognize physical structural transformation among the n objects and n'objects learned through the artificial intelligence module The sixth step of generating a normal structure recognition model for each n'object to recognize the normal structure state before deformation of the object and storing it in a designated storage medium, and the M cameras based on the normal structure recognition model for each n'object. By reading the M pieces of image information acquired through, among the n'objects, n" (1 ≤ n" ≤ n) objects including an object recognizing a physical structural deformation state that deviates from the normal structural state before transformation by a certain ratio or more. The seventh step of recognizing and the eighth step of performing a procedure for providing structure modification notification information including n" object identification information for the n" recognized objects to a designated terminal when the n" objects are recognized It characterized in that it comprises a.

본 발명에 따른 구조 변형 인식 기반 객체 정보 인식 방법에 있어서, 상기 제1 단계는, 지정된 카메라를 통해 획득되는 영상정보를 판독하여 상기 공간에 존재하는 각 객체 별 관측된 특징에 대응하는 각 객체 별 i(i≥2)개의 입력 정보를 인식하고 각 객체 별 관측된 결과에 대응하는 각 객체 별 j(j≥1)개의 출력 정보를 설정하는 단계와 각 객체 별로 인식된 i개의 입력 정보 별 변수값과 j개의 출력 정보 별 변수값을 포함하는 각 객체 별 학습 정보를 지정된 인공지능모듈의 변수값으로 대입하여 상기 공간에 존재하는 각 객체 중 고유 식별하여 인식 가능한 N개의 객체 인식을 학습시키는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing object information based on structural deformation recognition according to the present invention, the first step is to read the image information acquired through a designated camera to determine i for each object corresponding to the observed characteristic of each object existing in the space. Recognizing (i≥2) pieces of input information and setting j (j≥1) pieces of output information for each object corresponding to the observed result for each object, and variable values for each of i recognized input information for each object Including the step of learning recognition of N recognizable objects by uniquely identifying each object existing in the space by substituting learning information for each object including variable values for each j output information as a variable value of a designated artificial intelligence module. It characterized in that it is made.

본 발명에 따른 구조 변형 인식 기반 객체 정보 인식 방법에 있어서, 상기 지정된 카메라는, 상기 공간에 구비된 M개의 카메라, 상기 공간에 구비된 M개의 카메라 중 객체 인식의 인공지능 학습을 위한 m(1≤m≤M)개의 카메라, 상기 객체 인식의 인공지능 학습을 위해 지정된 별도의 카메라 중 적어도 하나 또는 둘 이상의 조합을 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing object information based on structural deformation recognition according to the present invention, the designated camera includes m (1≤) for artificial intelligence learning of object recognition among M cameras provided in the space and M cameras provided in the space. It is characterized by including at least one or a combination of two or more of m≤M) cameras and separate cameras designated for artificial intelligence learning of the object recognition.

본 발명에 따른 구조 변형 인식 기반 객체 정보 인식 방법에 있어서, 상기 i개의 입력 정보는, 상기 영상정보를 판독하여 인식되는 각 객체 별 패턴정보를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing object information based on structural transformation recognition according to the present invention, the i input information includes pattern information for each object recognized by reading the image information.

본 발명에 따른 구조 변형 인식 기반 객체 정보 인식 방법에 있어서, 상기 j개의 출력 정보는, 상기 영상정보를 판독하여 인식되는 각 객체 별 패턴(또는 패턴의 집합)에 대응하는 객체식별자를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing object information based on structural transformation recognition according to the present invention, the j output information includes an object identifier corresponding to a pattern (or set of patterns) for each object recognized by reading the image information. It is characterized.

본 발명에 따른 구조 변형 인식 기반 객체 정보 인식 방법에 있어서, 상기 제2 단계는, 상기 객체인식모델에 대하여 지정된 단말을 통해 입력된 객체정보 또는 상기 객체인식모델을 근거로 지정된 데이터베이스로부터 추출된 객체정보를 상기 객체인식모델과 매핑하여 지정된 저장매체에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the object information recognition method based on structural transformation recognition according to the present invention, the second step comprises object information input through a terminal designated for the object recognition model or object information extracted from a database designated based on the object recognition model. And mapping the object recognition model and storing it in a designated storage medium.

본 발명에 따른 구조 변형 인식 기반 객체 정보 인식 방법에 있어서, 상기 객체인식모델은, 상기 공간에 구비된 N개의 객체를 인식하기 위한 패턴 인식 모델을 포함하여 이루어지는 것을 특징으로 한다.In the object information recognition method based on structural transformation recognition according to the present invention, the object recognition model includes a pattern recognition model for recognizing N objects provided in the space.

본 발명에 따른 구조 변형 인식 기반 객체 정보 인식 방법에 있어서, 상기 객체인식정보는,상기 공간에 존재하는 n개의 객체를 고유 식별하는 객체식별정보를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing object information based on structural modification recognition according to the present invention, the object recognition information is characterized in that it comprises object identification information uniquely identifying n objects existing in the space.

본 발명에 따른 구조 변형 인식 기반 객체 정보 인식 방법에 있어서, 상기 객체식별정보는, 상기 객체에 지정된 인식코드를 부호화한 코드이미지가 부착된 경우, 상기 객체에 부착된 코드이미지를 판독하여 인식된 인식코드를 포함하거나 또는 상기 인식된 인식코드와 매핑된 식별코드를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing object information based on structural transformation recognition according to the present invention, the object identification information is recognized by reading the code image attached to the object when a code image encoding a recognition code designated to the object is attached. It characterized in that it comprises a code or comprises an identification code mapped to the recognized identification code.

본 발명에 따른 구조 변형 인식 기반 객체 정보 인식 방법에 있어서, 상기 제5 단계는, 지정된 카메라를 통해 획득되는 영상정보를 판독하여 상기 공간에 존재하는 n개의 객체 중 물리적 구조 변형을 인식할 n'개의 객체 별 구조 상태의 관측된 특징에 대응하는 n'개의 객체 별 p(p≥2)개의 입력 정보를 인식하고 n'개의 객체 별 구조 상태의 관측된 결과에 대응하는 n'개의 객체 별 q(q≥1)개의 출력 정보를 설정하는 단계와 n'개의 객체 별로 인식된 p개의 입력 정보 별 변수값과 q개의 출력 정보 별 변수값을 포함하는 n'개의 객체 별 학습 정보를 지정된 인공지능모듈의 변수값으로 대입하여 상기 n'개의 객체에 대한 변형 전 정상 구조 상태 인식을 학습시키는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the object information recognition method based on structural deformation recognition according to the present invention, in the fifth step, n'pieces of which physical structure deformation is to be recognized among n objects existing in the space by reading image information obtained through a designated camera Recognizes p(p≥2) input information for each n'object corresponding to the observed characteristics of the structural state of each object, and q(q) for each n'object corresponding to the observed result of the structural state for each n' The step of setting ≥1) output information and the variable of the designated artificial intelligence module with learning information for each n'object, including variable values for each of p input information recognized for each n'objects and variable values for each of q output information And learning to recognize the state of a normal structure before transformation for the n'objects by substituting them with values.

본 발명에 따른 구조 변형 인식 기반 객체 정보 인식 방법에 있어서, 상기 n'개의 객체는, 상기 n개의 객체 중 적어도 일부의 부위에 외부의 물리적 힘이 가해지는 객체, 상기 n개의 객체 중 적어도 일부의 부위에 물리적 스트레스가 가해지는 객체, 상기 n개의 객체 중 적어도 일부의 부위에 화학적 스트레스가 가해지는 객체, 상기 n개의 객체 중 적어도 일부의 부위에 전기적 스트레스가 가해지는 객체, 상기 n개의 객체 중 적어도 일부의 부위의 물리적 특성이 변경되는 객체, 상기 n개의 객체 중 내부의 압력이 가해지는 객체, 상기 n개의 객체 중 적어도 일부의 부위에 내부로부터 물리적 힘이 가해지는 객체 중 적어도 하나의 객체를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing object information based on structural deformation recognition according to the present invention, the n'objects are objects to which an external physical force is applied to at least some of the n objects, and at least some of the n objects An object to which physical stress is applied to, an object to which chemical stress is applied to at least some of the n objects, an object to which electrical stress is applied to at least some of the n objects, and at least some of the n objects An object whose physical properties are changed, an object to which internal pressure is applied among the n objects, and an object to which a physical force is applied from the inside to at least some of the n objects is included. It is characterized.

본 발명에 따른 구조 변형 인식 기반 객체 정보 인식 방법에 있어서, 상기 n'개의 객체는, 영상정보를 판독하여 인식되는 객체의 각 부위 중 지정된 적어도 일부 부위가 지정된 움직임 범위 내로 움직임 동작하고 나머지 부위가 고정된 상태를 유지하는 객체를 포함하여 이루어지는 것을 특징으로 한다.In the object information recognition method based on structural deformation recognition according to the present invention, in the n'objects, at least some designated parts of each part of the object recognized by reading image information move within a designated motion range, and the remaining parts are fixed. It characterized in that it comprises an object that maintains the state.

본 발명에 따른 구조 변형 인식 기반 객체 정보 인식 방법에 있어서, 상기 n'개의 객체는, 영상정보를 판독하여 인식되는 객체의 각 부위가 고정된 상태를 유지하는 객체 중 적어도 하나의 객체를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing object information based on structural deformation recognition according to the present invention, the n'objects include at least one object among objects in which each portion of the object recognized by reading image information is maintained in a fixed state. It features.

본 발명에 따른 구조 변형 인식 기반 객체 정보 인식 방법에 있어서, 상기 구조 변형은, 객체를 구성하는 각 부위 중 일부 부위의 구조 변형, 객체를 구성하는 각 부위 중 연접한 둘 이상 부위의 연계된 구조 변형, 객체를 구성하는 각 부위 중 상호 이격된 둘 이상 부위의 구조 변형 중 적어도 하나 또는 둘 이상 조합의 변형을 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing object information based on structural transformation recognition according to the present invention, the structural transformation includes structural transformation of some parts of each part constituting the object, and linked structural transformation of two or more contiguous parts of each part constituting the object , It characterized in that it comprises a modification of at least one or a combination of two or more of the structural modifications of two or more portions spaced apart from each other among the respective portions constituting the object.

본 발명에 따른 구조 변형 인식 기반 객체 정보 인식 방법에 있어서, 상기 구조 변형은, 객체를 구성하는 적어도 일부 부위의 휨, 비틀어짐, 늘어남, 꺾임, 부풀어오름, 쪼그라듬, 떨어져나감 중 적어도 하나 또는 둘 이상 조합의 변형을 포함하여 이루어지는 것을 특징으로 한다.In the method of recognizing object information based on structural deformation recognition according to the present invention, the structural deformation is at least one or two of bending, twisting, stretching, bending, swelling, crushing, and falling off of at least some parts of the object. It is characterized in that it comprises a modification of the above combination.

본 발명에 따른 구조 변형 인식 기반 객체 정보 인식 방법에 있어서, 상기 지정된 카메라는, 상기 공간에 구비된 M개의 카메라, 상기 공간에 구비된 M개의 카메라 중 변형 전 정상 구조 상태 인식의 인공지능 학습을 위한 m(1≤m≤M)개의 카메라, 상기 변형 전 정상 구조 상태 인식의 인공지능 학습을 위해 지정된 별도의 카메라 중 적어도 하나 또는 둘 이상의 조합을 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing object information based on structural deformation recognition according to the present invention, the designated camera is for artificial intelligence learning of recognition of a normal structure state before deformation among M cameras provided in the space and M cameras provided in the space. It is characterized in that it comprises at least one or a combination of two or more of m (1≤m≤M) cameras and separate cameras designated for artificial intelligence learning of the state recognition of the normal structure before transformation.

본 발명에 따른 구조 변형 인식 기반 객체 정보 인식 방법에 있어서, 상기 p개의 입력 정보는, 상기 영상정보를 판독하여 인식되는 n'개의 객체 별 변형 전 정상 구조 상태의 패턴정보를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing object information based on structural deformation recognition according to the present invention, the p pieces of input information include pattern information of a normal structure state before transformation for each n'objects recognized by reading the image information. do.

본 발명에 따른 구조 변형 인식 기반 객체 정보 인식 방법에 있어서, 상기 q개의 출력 정보는, 상기 영상정보를 판독하여 인식되는 n'개의 객체 별 변형 전 정상 구조 상태의 패턴(또는 패턴의 집합)에 대응하는 고유식별자를 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing object information based on structural deformation recognition according to the present invention, the q output information corresponds to a pattern (or set of patterns) in a normal structure state before transformation for each n'objects recognized by reading the image information. It characterized in that it comprises a unique identifier.

본 발명에 따른 구조 변형 인식 기반 객체 정보 인식 방법에 있어서, 상기 시스템은, 상기 카메라에 탑재되는 프로그램, M개와 카메라와 지정된 인터페이스를 통해 연동하는 단말의 프로그램, M개와 카메라와 통신망을 통해 연동하는 서버 중 적어도 하나 또는 둘 이상의 조합을 포함하여 이루어지는 것을 특징으로 한다.In the method for recognizing object information based on structural deformation recognition according to the present invention, the system comprises: programs mounted on the camera, M programs and a terminal program linked to the camera through a designated interface, and a server linked to the camera and M via a communication network It characterized in that it comprises at least one or a combination of two or more of.

본 발명에 따르면, 딥러닝 기반 사물 이상 진후 예측 탐지 인공지능을 통해 사물에 정상적인 상태(동작, 변형, 이동, 온도상태 등)를 학습하도록 하여, 이후 영상 인식/추적을 통해 학습된 사물에 대한 상태를 자동으로 파악할 수 있도록 하는 이점이 있다.According to the present invention, the state of the object learned through image recognition/tracking afterwards by learning the normal state (motion, transformation, movement, temperature state, etc.) of the object through deep learning-based object abnormality prediction detection and detection artificial intelligence. There is an advantage in that it can be automatically identified.

또한, 각 사물에 별도의 IoT장비를 설치하지 않아도 사물에 대한 상태 추적 및 확인이 용이한 이점이 있다.In addition, there is an advantage in that it is easy to track and check the status of objects without installing separate IoT equipment for each object.

도 1은 본 발명의 실시 방법에 따른 구조 변형 인식 기반 객체 정보 인식 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따른 객체인식모델을 생성하여 저장하는 과정을 도시한 도면이다.
도 3은 본 발명의 실시 방법에 따른 구조인식모델을 생성하여 저장하는 과정을 도시한 도면이다.
도 4는 본 발명의 실시 방법에 따른 구조 변형 상태의 객체를 인식하여 알림정보를 제공하는 과정을 도시한 도면이다.1 is a diagram showing the configuration of an object information recognition system based on structural modification recognition according to an exemplary method of the present invention.
2 is a diagram showing a process of generating and storing an object recognition model according to an exemplary method of the present invention.
3 is a diagram illustrating a process of generating and storing a structure recognition model according to an exemplary method of the present invention.
4 is a diagram illustrating a process of providing notification information by recognizing an object in a structurally deformed state according to an exemplary embodiment of the present invention.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다.Hereinafter, the operating principle of a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings and description. However, the drawings and the description to be described below are for a preferred implementation method among various methods for effectively describing the features of the present invention, and the present invention is not limited to the following drawings and description.

즉, 하기의 실시예는 본 발명의 수 많은 실시예 중에 바람직한 합집합 형태의 실시예에 해당하며, 하기의 실시예에서 특정 구성(또는 단계)을 생략하는 실시예, 또는 특정 구성(또는 단계)에 구현된 기능을 특정 구성(또는 단계)으로 분할하는 실시예, 또는 둘 이상의 구성(또는 단계)에 구현된 기능을 어느 하나의 구성(또는 단계)에 통합하는 실시예, 특정 구성(또는 단계)의 동작 순서를 교체하는 실시예 등은, 하기의 실시예에서 별도로 언급하지 않더라도 모두 본 발명의 권리범위에 속함을 명백하게 밝혀두는 바이다. 따라서 하기의 실시예를 기준으로 부분집합 또는 여집합에 해당하는 다양한 실시예들이 본 발명의 출원일을 소급받아 분할될 수 있음을 분명하게 명기하는 바이다.That is, the following examples correspond to preferred union-type examples among the numerous examples of the present invention, and examples in which specific configurations (or steps) are omitted in the following examples, or specific configurations (or steps). An embodiment of dividing the implemented function into a specific configuration (or step), or an embodiment of integrating a function implemented in two or more configurations (or steps) into any one configuration (or step), of a specific configuration (or step) It is to be clear that the examples of replacing the operation sequence and the like all belong to the scope of the present invention, even if not mentioned separately in the following examples. Accordingly, it is clearly stated that various examples corresponding to a subset or a complementary set may be divided by retrospectively receiving the filing date of the present invention based on the following examples.

또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다. In addition, in the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout the present invention.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.As a result, the technical idea of the present invention is determined by the claims, and the following examples are a means for efficiently explaining the technical idea of the present invention to those of ordinary skill in the art to which the present invention belongs. Only.

도면1은 본 발명의 실시 방법에 따른 구조 변형 인식 기반 객체 정보 인식 시스템의 구성을 도시한 도면이다. 1 is a diagram showing the configuration of an object information recognition system based on structural modification recognition according to an exemplary method of the present invention.

보다 상세하게 본 도면1은 하나 이상의 객체가 존재하는 지정된 공간에 구비된 카메라를 통해 획득되는 영상정보를 판독하여 인공지능 학습을 통해 상기 객체를 인식하기 위한 정보를 저장한 이후, 상기 카메라를 통해 획득되는 영상정보를 판독하여 인공지능 학습을 통해 상기 객체의 물리적 구조 변형을 인식하기 위한 구조인식모델을 생성하여, 상기 생성된 구조인식모델을 통해 상기 공간에서 하나 이상의 객체가 정상 구조 상태를 일정 비율 벗어난 물리적 구조 변형 상태인지 인식하는 시스템의 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 시스템의 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다. In more detail, this drawing 1 reads image information acquired through a camera provided in a designated space in which one or more objects exist, stores information for recognizing the object through artificial intelligence learning, and then acquires it through the camera. A structure recognition model for recognizing the physical structure deformation of the object through artificial intelligence learning is generated by reading the image information, and one or more objects in the space deviate from the normal structure state by a certain percentage through the generated structure recognition model. It shows the configuration of a system that recognizes whether the physical structure is in a deformed state, and for those of ordinary skill in the art to which the present invention belongs, various implementation methods for the configuration of the system ( For example, some components may be omitted, subdivided, or combined implementation method), but the present invention includes all the inferred implementation methods, and the technical Features are not limited.

본 도면1을 참조하면, 상기 시스템이 서버(100)에 구성되는 것으로 도시하였으나, 이에 한정하지 않고, 상기 시스템은 지정된 공간에 구비된 하나 이상의 카메라(150)와 통신하는 서버이거나, 또는 상기 카메라(150)에 탑재되는 프로그램이거나, 또는 상기 카메라(150)와 지정된 인터페이스를 통해 연동하는 단말(155)의 프로그램이거나, 또는 상기 서버(100), 카메라(150), 단말(155) 중 적어도 둘 이상의 조합으로 구성될 수 있다.Referring to FIG. 1, the system is illustrated as being configured in the server 100, but the present invention is not limited thereto, and the system is a server that communicates with one or more cameras 150 provided in a designated space, or the camera ( 150), or a program of the terminal 155 interlocking with the camera 150 through a designated interface, or a combination of at least two of the server 100, the camera 150, and the terminal 155 It can be composed of.

도면1을 참조하면, 상기 시스템은 지정된 공간에 구비된 M(M≥1)개의 카메라(150)와, 지정된 공간에 구비된 M(M≥1)개의 카메라(150)와 통신하는 단말(155)과, 지정된 공간에 구비된 M(M≥1)개의 카메라(150)와 통신하는 서버(100)를 포함하여 구성될 수 있다.Referring to Figure 1, the system is a terminal 155 that communicates with M (M≥1) cameras 150 provided in a designated space and M (M≥1) cameras 150 provided in a designated space. And, it may be configured to include a server 100 that communicates with M (M≥1) cameras 150 provided in a designated space.

상기 카메라(150)는 지정된 공간에 구비되어 상기 서버(100) 또는 단말(155)과 연동하며, 지정된 공간의 영상정보를 획득하여 상기 서버(100) 또는 단말(155)로 제공할 수 있다.The camera 150 may be provided in a designated space and interlocked with the server 100 or the terminal 155, and image information of the designated space may be acquired and provided to the server 100 or the terminal 155.

본 발명의 실시 방법에 따르면, 상기 지정된 카메라(150)는 상기 공간에 구비된 M개의 카메라, 상기 공간에 구비된 M개의 카메라 중 객체 인식의 인공지능 학습을 위한 m(1≤m≤M)개의 카메라, 상기 객체 인식의 인공지능 학습을 위해 지정된 별도의 카메라 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다. 예컨대, 상기 별도의 카메라는 지정된 공간에 구비된 카메라 외에 운영자 또는 사용자가 소지한 스마트폰의 카메라를 포함할 수 있다.According to the implementation method of the present invention, the designated camera 150 includes M cameras provided in the space and m (1≦m≦M) for artificial intelligence learning of object recognition among the M cameras provided in the space. It may include at least one or a combination of two or more of a camera and a separate camera designated for artificial intelligence learning of the object recognition. For example, the separate camera may include a camera of a smartphone possessed by an operator or user in addition to a camera provided in a designated space.

상기 단말(155)은 상기 서버(100)로부터 변형 전 정상 구조 상태를 일정 비율 이상 벗어난 물리적 구조 변형 상태를 인식한 객체에 대한 구조 변형 알림정보를 제공받는 상기 운영자 또는 사용자가 운영하는 스마트폰, 핸드폰, 태블릿PC, 무선랜에 연결된 노트북 등을 포함하는 무선단말을 포함할 수 있다. 한편, 본 도면1에서는 상기 구조 변형 인식 기반 객체 정보 인식을 상기 서버(100)에서 수행하는 것으로 도시하여 설명하기로 하나, 본 발명의 다른 실시 방법에 따라 상기 단말(155)도 지정된 공간에 구비된 M(M≥1)개의 카메라(150)와 통신하여 본 발명에 따른 구조 변형 인식 기반 객체 정보 인식을 수행할 수 있다. The terminal 155 is a smartphone or mobile phone operated by the operator or user who receives structural deformation notification information for an object that has recognized a physical structural deformation state deviating from the normal structural state before deformation by a certain ratio or more from the server 100 , A tablet PC, and a wireless terminal including a laptop connected to a wireless LAN. Meanwhile, in FIG. 1, the structure modification recognition-based object information recognition is illustrated and described as being performed by the server 100, but the terminal 155 is also provided in a designated space according to another implementation method of the present invention. By communicating with M (M≥1) cameras 150, object information recognition based on structural deformation recognition according to the present invention may be performed.

보다 상세하게, 도면1을 참조하면, 상기 서버(100) 지정된 공간에 구비된 M개의 카메라(150)로부터 획득한 영상정보를 이용하여 상기 공간에 구비된 N(N≥1)개의 객체 인식을 학습시키는 객체인식 학습부(105)와, 상기 N개의 객체를 인식하기 위한 N개의 객체인식모델을 생성하여 저장하는 객체인식모델 저장부(110)와, 상기 객체인식모델을 근거로 상기 공간에 존재하는 n(1≤n≤N)개의 객체를 인식하는 객체 인식부(115)와, 상기 인식된 n개의 객체인식정보를 저장하는 객체인식정보 저장부(120)와, 지정된 카메라를 통해 획득되는 영상정보를 이용하여 상기 공간에 존재하는 n개의 객체 중 물리적 구조 변형을 인식할 n'(1≤n'≤n)개의 객체에 대한 변형 전 정상 구조 상태 인식을 학습시키는 구조상태인식 학습부(125)와, 상기 n'개의 객체 별 정상 구조인식모델을 생성하여 저장하는 구조인식모델 저장부(130)와, 상기 n'개의 객체 별 정상 구조인식모델을 이용하여 물리적 구조 변형 상태를 인식한 객체를 포함하는 n"(1≤n"≤n)개의 객체를 인식하는 구조변형객체 인식부(135)와, 상기 구조변형 상태로 인식된 n"개의 객체에 대한 구조 변형 알림정보를 지정된 단말(155)로 제공하는 구조변형 알림부(140)를 포함하여 구성될 수 있다.In more detail, referring to Figure 1, the server 100 learns to recognize N (N≥1) objects provided in the space using image information obtained from M cameras 150 provided in a designated space. An object recognition learning unit 105 to recognize the N objects, an object recognition model storage unit 110 that generates and stores N object recognition models for recognizing the N objects, and exists in the space based on the object recognition model. An object recognition unit 115 that recognizes n (1≤n≤N) objects, an object recognition information storage unit 120 that stores the recognized n object recognition information, and image information acquired through a designated camera A structural state recognition learning unit 125 for learning to recognize normal structural states before transformation for n'(1 ≤ n'≤ n) objects that will recognize physical structural transformation among the n objects in the space using , A structure recognition model storage unit 130 that generates and stores the n'normal structure recognition models for each object, and an object that recognizes a physical structure deformation state using the n'normal structure recognition models for each object. Structural deformation object recognition unit 135 for recognizing n"(1≤n"≤n) objects, and structural deformation notification information for n" objects recognized as the structural deformation state to the designated terminal 155 It may be configured to include a structural transformation notification unit 140.

상기 객체인식 학습부(105)는 지정된 카메라를 통해 획득되는 영상정보를 판독하여 지정된 인공지능모듈을 통해 상기 공간에 구비된 N(N≥1)개의 객체 인식을 학습시킬 수 있다.The object recognition learning unit 105 may learn to recognize N (N≥1) objects provided in the space through a designated artificial intelligence module by reading image information acquired through a designated camera.

본 발명의 실시 방법에 따르면, 상기 지정된 카메라(150)는 상기 공간에 구비된 M개의 카메라, 상기 공간에 구비된 M개의 카메라 중 객체 인식의 인공지능 학습을 위한 m(1≤m≤M)개의 카메라, 상기 객체 인식의 인공지능 학습을 위해 지정된 별도의 카메라 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다.According to the implementation method of the present invention, the designated camera 150 includes M cameras provided in the space and m (1≦m≦M) for artificial intelligence learning of object recognition among the M cameras provided in the space. It may include at least one or a combination of two or more of a camera and a separate camera designated for artificial intelligence learning of the object recognition.

본 발명의 실시 방법에 따르면, 상기 객체인식 학습부(105)는 지정된 카메라를 통해 획득되는 영상정보를 판독하여 상기 공간에 존재하는 각 객체 별 관측된 특징에 대응하는 각 객체 별 i(i≥2)개의 입력 정보를 인식하고 각 객체 별 관측된 결과에 대응하는 각 객체 별 j(j≥1)개의 출력 정보를 설정한 후, 각 객체 별로 인식된 i개의 입력 정보 별 변수값과 j개의 출력 정보 별 변수값을 포함하는 각 객체 별 학습 정보를 지정된 인공지능모듈의 변수값으로 대입하여 상기 공간에 존재하는 각 객체 중 고유 식별하여 인식 가능한 N개의 객체 인식을 학습시킬 수 있다. According to an exemplary method of the present invention, the object recognition learning unit 105 reads image information acquired through a designated camera and determines i (i≥2) for each object corresponding to the observed characteristic of each object existing in the space. After recognizing) input information and setting j (j≥1) output information for each object corresponding to the observed result for each object, variable values for each i input information recognized for each object and j output information Learning information for each object, including the star variable value, is substituted with the variable value of the designated artificial intelligence module to uniquely identify and recognize N recognizable objects among the objects existing in the space.

한편, 상기 N개의 객체는 상기 공간에 구비된 사물이거나, 상기 공간에 존재하는 사람(예컨대, 작업자, 노동자 등)일 수 있다.Meanwhile, the N objects may be objects provided in the space or a person (eg, a worker, a worker, etc.) existing in the space.

본 발명의 실시 방법에 따르면, 상기 각 객체 별로 인식되는 i개의 입력 정보는 상기 영상정보를 판독하여 인식되는 각 객체 별 패턴정보를 포함할 수 있다. 예컨대, 상기 i개의 입력정보는 영상정보에 포함된 직육면체 구조의 객체를 인식하여 획득되는 정면 방향의 '□' 패턴, 비스듬한 방향의 '?' 패턴, 좌측 상단 모서리 부분의 '┌' 패턴, 좌측 하단 모서리 부분의 '└' 패턴, 우측 상단 모서리 부분의 '┐' 패턴, 우측 하단 모서리 부분의 '┘' 등을 포함할 수 있다.According to an exemplary embodiment of the present invention, the i pieces of input information recognized for each object may include pattern information for each object recognized by reading the image information. For example, the i pieces of input information are a'□' pattern in the front direction and a'?' in an oblique direction obtained by recognizing an object of a rectangular parallelepiped structure included in the image information. It may include a pattern, a'┌' pattern at the upper left corner, a'└' pattern at the lower left corner, a'┐' pattern at the upper right corner, and a'┘' at the lower right corner.

본 발명의 실시 방법에 따르면, 상기 각 객체 별로 설정되는 j개의 출력 정보는 상기 영상정보를 판독하여 인식되는 각 객체 별 패턴(또는 패턴의 집합)에 대응하는 객체식별자를 포함할 수 있다. 여기서, 상기 객체식별자는 i개의 입력정보에 해당하는 패턴(또는 패턴의 집합)이 '□', '?', '┌', '└', '┐', '┘'일 경우, 이러한 패턴(또는 패턴의 집합)에 설정한 고유한 식별자(예컨대, 고유번호, 고유코드 등)를 의미하며, 이는 객체명칭을 포함하는 객체정보와 매핑될 수 있다.According to an exemplary embodiment of the present invention, the j output information set for each object may include an object identifier corresponding to a pattern (or set of patterns) for each object recognized by reading the image information. Here, the object identifier is when the pattern (or set of patterns) corresponding to i input information is'□','?','┌','└','┐', or'┘', such a pattern ( Or a set of patterns), which is a unique identifier (eg, a unique number, a unique code, etc.), which may be mapped with object information including an object name.

상기 객체인식모델 저장부(110)는 상기 객체인식 학습부(105)를 통해 상기 공간에 구비된 N개의 객체 인식이 학습되면, 상기 인공지능모듈을 통해 학습된 N개의 객체를 인식하기 위한 N개의 객체인식모델을 생성하여 지정된 저장매체(145)에 저장할 수 있다.When the object recognition model storage unit 110 learns the recognition of N objects provided in the space through the object recognition learning unit 105, the N number of objects for recognizing the N objects learned through the artificial intelligence module An object recognition model may be created and stored in a designated storage medium 145.

본 발명의 실시 방법에 따르면, 상기 객체인식모델 저장부(110)는 상기 객체인식모델에 대하여 지정된 단말(155)을 통해 입력된 객체정보 또는 상기 객체인식모델을 근거로 지정된 데이터베이스로부터 추출된 객체정보를 상기 객체인식모델과 매핑하여 지정된 저장매체(145)에 저장할 수 있다. 여기서, 상기 객체정보는 객체명칭이나 용도, 제조사 등등과 같이 객체에 대한 모든 정보를 포함할 수 있다.According to an embodiment of the present invention, the object recognition model storage unit 110 includes object information input through a terminal 155 designated for the object recognition model or object information extracted from a database designated based on the object recognition model. May be mapped with the object recognition model and stored in a designated storage medium 145. Here, the object information may include all information on the object such as the object name, purpose, manufacturer, and the like.

본 발명의 실시 방법에 따르면, 상기 객체인식모델은 상기 공간에 구비된 N개의 객체를 인식하기 위한 패턴 인식 모델을 포함할 수 있다.According to an embodiment of the present invention, the object recognition model may include a pattern recognition model for recognizing N objects provided in the space.

상기 객체 인식부(115)는 상기 객체인식모델 저장부(110)를 통해 N개의 객체인식모델이 생성되어 지정된 저장매체(145)에 저장되면, 상기 객체인식모델을 근거로 상기 M개의 카메라(150)를 통해 획득되는 M개의 영상정보를 판독하여 상기 공간에 존재하는 n(1≤n≤N)개의 객체를 인식할 수 있다.When the object recognition unit 115 generates N object recognition models through the object recognition model storage unit 110 and stores them in a designated storage medium 145, the M cameras 150 are generated based on the object recognition model. By reading M pieces of image information acquired through ), n (1≦n≦N) objects existing in the space may be recognized.

상기 객체인식정보 저장부(120)는 상기 객체 인식부(115)를 통해 상기 공간에 존재하는 n개의 객체가 인식되면, 상기 인식된 n개의 객체에 대응하는 n개의 객체인식정보를 지정된 저장매체(또는 관리DB)에 저장할 수 있다.When the object recognition information storage unit 120 recognizes n objects existing in the space through the object recognition unit 115, the object recognition information storage unit 120 stores n object recognition information corresponding to the recognized n objects to a designated storage medium ( Or it can be stored in the management DB).

본 발명의 실시 방법에 따르면, 상기 객체인식정보는 상기 공간에 존재하는 n개의 객체를 고유 식별하는 객체식별정보를 포함할 수 있다. According to an exemplary method of the present invention, the object recognition information may include object identification information for uniquely identifying n objects existing in the space.

여기서, 상기 객체인식정보는 각 객체에 대한 객체정보(또는 객체정보 중 일부정보)를 기본적으로 포함할 수 있으며, 추가로 각 객체를 고유 식별하는 객체식별정보를 포함할 수 있다. 예컨대, 공간 내에 똑 같은 기계가 3개 있을 경우, 객체식별정보는 3개의 기계를 각각 고유 식별하기 위해 각각의 기계에 중복되지 않게 부여된 식별번호나 식별코드를 포함할 수 있다. 또한 상기 객체식별정보는 공간 내에서 특정한 객체가 처음 인식될 때 중복되지 않게 고유하게 부여될 수 있으며, 적어도 상기 공간에서 해당 객체가 더 이상 인식되지 않을 때까지(또는 해당 객체가 더 이상 인식되지 않은 이후에도 지속적으로) 유지 되어야만, 어떤 객체가 공간에서 사라졌는지 또는 다시 복귀되었는지 확인할 수 있다.Here, the object recognition information may basically include object information (or some of the object information) for each object, and may additionally include object identification information uniquely identifying each object. For example, when there are three identical machines in the space, the object identification information may include an identification number or identification code that is not duplicated to each machine in order to uniquely identify each of the three machines. In addition, the object identification information may be uniquely assigned so as not to overlap when a specific object is first recognized in the space, at least until the object is no longer recognized in the space (or the object is no longer recognized). It must be maintained afterwards) so that you can see which objects have disappeared from space or have returned again.

본 발명의 실시 방법에 따르면, 상기 객체식별정보는 상기 객체에 지정된 인식코드를 부호화한 코드이미지가 부착된 경우, 상기 객체에 부착된 코드이미지를 판독하여 인식된 인식코드를 포함하거나 또는 상기 인식된 인식코드와 매핑된 식별코드를 포함할 수 있다. According to an embodiment of the present invention, the object identification information includes an identification code recognized by reading a code image attached to the object when a code image encoding a specified identification code is attached to the object, or It may include an identification code mapped with an identification code.

상기 구조상태인식 학습부(125)는 상기 객체인식정보 저장부(120)를 통해 n개의 객체인식정보가 저장된 후, 지정된 카메라(150)를 통해 획득되는 영상정보를 판독하여 지정된 인공지능모듈을 통해 상기 공간에 존재하는 n개의 객체 중 물리적 구조 변형을 인식할 n'(1≤n'≤n)개의 객체에 대한 변형 전 정상 구조 상태 인식을 학습시킬 수 있다.The structural state recognition learning unit 125 stores n pieces of object recognition information through the object recognition information storage unit 120, and then reads the image information acquired through the designated camera 150 and uses the designated artificial intelligence module. Among the n objects existing in the space, n'(1 ≤ n'≤ n) objects for recognizing physical structure transformation may be trained to recognize a normal structure state before transformation.

본 발명의 실시 방법에 따르면, 상기 구조상태인식 학습부(125)는 지정된 카메라(150)를 통해 획득되는 영상정보를 판독하여 상기 공간에 존재하는 n개의 객체 중 물리적 구조 변형을 인식할 n'개의 객체 별 구조 상태의 관측된 특징에 대응하는 n'개의 객체 별 p(p≥2)개의 입력 정보를 인식하고 n'개의 객체 별 구조 상태의 관측된 결과에 대응하는 n'개의 객체 별 q(q≥1)개의 출력 정보를 설정하고, n'개의 객체 별로 인식된 p개의 입력 정보 별 변수값과 q개의 출력 정보 별 변수값을 포함하는 n'개의 객체 별 학습 정보를 지정된 인공지능모듈의 변수값으로 대입하여 상기 n'개의 객체에 대한 변형 전 정상 구조 상태 인식을 학습시킬 수 있다.According to an exemplary method of the present invention, the structural state recognition learning unit 125 reads the image information acquired through the designated camera 150 to recognize the physical structure deformation among n objects existing in the space. Recognizes p(p≥2) input information for each n'object corresponding to the observed characteristics of the structural state of each object, and q(q) for each n'object corresponding to the observed result of the structural state for each n' The variable value of the artificial intelligence module that sets ≥1) output information and specifies learning information for each n'object, including variable values for p input information and variable values for q output information recognized for each n'object. By substituting with, it is possible to learn the recognition of the state of the normal structure before transformation for the n'objects.

본 발명의 실시 방법에 따르면, 상기 지정된 카메라(150)는 상기 공간에 구비된 M개의 카메라, 상기 공간에 구비된 M개의 카메라 중 변형 전 정상 구조 상태 인식의 인공지능 학습을 위한 m(1≤m≤M)개의 카메라, 상기 변형 전 정상 구조 상태 인식의 인공지능 학습을 위해 지정된 별도의 카메라 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다.According to the implementation method of the present invention, the designated camera 150 includes M cameras provided in the space and m (1 ≤ m) for artificial intelligence learning of the recognition of the normal structure state before deformation among the M cameras provided in the space. ?M) cameras, and at least one or a combination of two or more of the separate cameras designated for artificial intelligence learning of the state recognition of the normal structure before transformation.

본 발명의 실시 방법에 따르면, 상기 n'개의 객체 별 인식되는 p개의 입력 정보는 상기 영상정보를 판독하여 인식되는 n'개의 객체 별 변형 전 정상 구조 상태의 패턴정보를 포함할 수 있다. 예컨대, 상기 p개의 입력정보는, 영상정보에 포함된 객체가 이동하는 패턴정보를 포함할 수 있다. According to an exemplary embodiment of the present invention, the p pieces of input information recognized for each n'objects may include pattern information of a normal structure state before transformation for each n'objects recognized by reading the image information. For example, the p pieces of input information may include pattern information on which an object included in the image information moves.

본 발명의 실시 방법에 따르면, 상기 n'개의 객체 별 설정되는 q개의 출력 정보는 상기 영상정보를 판독하여 인식되는 n'개의 객체 별 변형 전 정상 구조 상태의 패턴(또는 패턴의 집합)에 대응하는 고유식별자를 포함할 수 있다. 여기서, 상기 고유식별자는 p개의 입력정보에 해당하는 변형 전 정상 구조 상태의 패턴(또는 패턴의 집합)에 설정한 고유한 식별자(예컨대, 고유번호, 고유코드 등)를 의미할 수 있다.According to an embodiment of the present invention, the q output information set for each n'objects corresponds to a pattern (or set of patterns) in a normal structure state before transformation for each n'object recognized by reading the image information. May include a unique identifier. Here, the unique identifier may mean a unique identifier (eg, a unique number, a unique code, etc.) set in a pattern (or set of patterns) in a normal structure state before transformation corresponding to the p pieces of input information.

본 발명에 따르면, 상기 n'개의 객체는 상기 n개의 객체 중 적어도 일부의 부위에 외부의 물리적 힘이 가해지는 객체, 상기 n개의 객체 중 적어도 일부의 부위에 물리적 스트레스가 가해지는 객체, 상기 n개의 객체 중 적어도 일부의 부위에 화학적 스트레스가 가해지는 객체, 상기 n개의 객체 중 적어도 일부의 부위에 전기적 스트레스가 가해지는 객체, 상기 n개의 객체 중 적어도 일부의 부위의 물리적 특성이 변경되는 객체, 상기 n개의 객체 중 내부의 압력이 가해지는 객체, 상기 n개의 객체 중 적어도 일부의 부위에 내부로부터 물리적 힘이 가해지는 객체 중 적어도 하나의 객체를 포함할 수 있다. According to the present invention, the n'objects are objects to which an external physical force is applied to at least some of the n objects, objects to which physical stress is applied to at least some of the n objects, and the n objects An object to which chemical stress is applied to at least some of the objects, an object to which electrical stress is applied to at least some of the n objects, an object whose physical properties of at least some of the n objects are changed, the n An object to which internal pressure is applied among the n objects, and at least one object to which a physical force is applied from the inside to at least some of the n objects may be included.

본 발명에 따르면, 상기 n'개의 객체는 영상정보를 판독하여 인식되는 객체의 각 부위 중 지정된 적어도 일부 부위가 지정된 움직임 범위 내로 움직임 동작하고 나머지 부위가 고정된 상태를 유지하는 객체를 포함할 수 있다. According to the present invention, the n'objects may include objects in which at least some designated parts of each part of the object recognized by reading image information move within a designated motion range and the remaining parts remain fixed. .

본 발명에 따르면, 상기 n'개의 객체는 영상정보를 판독하여 인식되는 객체의 각 부위가 고정된 상태를 유지하는 객체 중 적어도 하나의 객체를 포함할 수 있다. According to the present invention, the n'objects may include at least one object among objects in which each portion of an object recognized by reading image information is maintained in a fixed state.

본 발명에 따르면, 상기 구조 변형은 객체를 구성하는 각 부위 중 일부 부위의 구조 변형, 객체를 구성하는 각 부위 중 연접한 둘 이상 부위의 연계된 구조 변형, 객체를 구성하는 각 부위 중 상호 이격된 둘 이상 부위의 구조 변형 중 적어도 하나 또는 둘 이상 조합의 변형을 포함할 수 있다.According to the present invention, the structural modification is a structural modification of some parts of each part constituting an object, a linked structural modification of two or more contiguous parts of each part constituting an object, and spaced apart from each other among the parts constituting the object. It may include a modification of at least one or a combination of two or more of the structural modifications of two or more sites.

본 발명에 따르면, 상기 구조 변형은 객체를 구성하는 적어도 일부 부위의 휨, 비틀어짐, 늘어남, 꺾임, 부풀어오름, 쪼그라듬, 떨어져나감 중 적어도 하나 또는 둘 이상 조합의 변형을 포함할 수 있다.According to the present invention, the structural deformation may include a deformation of at least one or a combination of two or more of bending, twisting, stretching, bending, swelling, crushing, and falling off of at least some portions of the object.

상기 구조인식모델 저장부(130)는 상기 구조상태인식 학습부(125)를 통해 공간에 존재하는 n개의 객체 중 물리적 구조 변형을 인식할 n'(1≤n'≤n)개의 객체에 대한 변형 전 정상 구조 상태 인식이 학습되면, 상기 인공지능모듈을 통해 학습된 n'개의 객체의 변형 전 정상 구조 상태를 인식하기 위한 n'개의 객체 별 정상 구조인식모델을 생성하여 지정된 저장매체(145)에 저장할 수 있다. The structural recognition model storage unit 130 transforms n'(1 ≤ n'≤ n) objects to recognize physical structural transformation among n objects existing in the space through the structural state recognition learning unit 125 When the full normal structure state recognition is learned, a normal structure recognition model for each n'object to recognize the normal structure state before transformation of the n'objects learned through the artificial intelligence module is generated and stored in the designated storage medium 145. Can be saved.

상기 구조변형객체 인식부(135)는 상기 구조인식모델 저장부(130)를 통해 n'개의 객체 별 정상 구조인식모델이 생성되어 저장되면, 상기 n'개의 객체 별 정상 구조인식모델을 근거로 상기 M개의 카메라를 통해 획득되는 M개의 영상정보를 판독하여 상기 n'개의 객체 중 변형 전 정상 구조 상태를 일정 비율 이상 벗어난 물리적 구조 변형 상태를 인식한 객체를 포함하는 n"(1≤n"≤n)개의 객체를 인식할 수 있다. When the structurally modified object recognition unit 135 generates and stores a normal structure recognition model for each n'objects through the structure recognition model storage unit 130, the normal structure recognition model for each n'object N" (1≤n"≤n, including objects that have recognized a physical structural deformation state that deviates from the normal structural state before transformation by a certain ratio or more among the n'objects by reading M image information acquired through M cameras. ) Objects can be recognized.

상기 구조변형 알림부(140)는 상기 구조변형객체 인식부(135)를 통해 상기 n'개의 객체 중 변형 전 정상 구조 상태를 일정 비율 이상 벗어난 물리적 구조 변형 상태를 인식한 객체를 포함하는 n"(1≤n"≤n)개의 객체가 인식되면, 상기 인식된 n"개의 객체에 대한 n"개의 객체식별정보를 포함하는 구조 변형 알림정보를 지정된 단말(155)로 제공하는 절차를 수행할 수 있다.The structural deformation notification unit 140 includes an object that recognizes a physical structural deformation state that deviates from the normal structural state before deformation by a predetermined ratio or more among the n'objects through the structural deformation object recognition unit 135 When 1≤n"≤n) objects are recognized, a procedure of providing structure modification notification information including n" object identification information for the recognized n" objects to the designated terminal 155 may be performed. .

도면2는 본 발명의 실시 방법에 따른 객체인식모델을 생성하여 저장하는 과정을 도시한 도면이다.2 is a diagram showing a process of generating and storing an object recognition model according to an exemplary method of the present invention.

보다 상세하게 본 도면2는 상기 도면1에 도시된 서버(100)를 포함하는 객체 정보 인식 시스템 상에서 하나 이상의 객체가 존재하는 지정된 공간에 구비된 M개의 카메라를 통해 획득되는 영상정보를 판독하여 인공지능 학습을 통해 상기 객체를 인식하기 위한 객체인식모델을 생성하여 지정된 저장매체에 저장하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 객체인식모델을 생성하여 저장하는 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 2 is an artificial intelligence by reading image information acquired through M cameras provided in a designated space in which one or more objects exist on the object information recognition system including the server 100 shown in FIG. 1. It shows a process of generating an object recognition model for recognizing the object through learning and storing it in a designated storage medium.If a person of ordinary skill in the art to which the present invention belongs, refer to this drawing 2 and/or Various implementation methods for the process of generating and storing the object recognition model by modification (e.g., an implementation method in which some steps are omitted or the order has been changed) can be inferred, but the present invention describes all the inferred implementation methods. It includes, and the technical features are not limited only by the implementation method shown in FIG. 2.

도면2에 도시된 실시 과정은 상기 객체 정보 인식 시스템 상의 서버(100)에서 하나 이상의 객체가 존재하는 지정된 공간에 구비된 M개의 카메라를 통해 상기 공간에 대한 영상정보를 획득하는 과정으로부터 개시될 수 있다(200).The implementation process shown in FIG. 2 may be started from a process of obtaining image information on the space through M cameras provided in a designated space in which one or more objects exist in the server 100 on the object information recognition system. (200).

상기 공간에 대한 영상정보가 획득되면, 상기 서버(100)는 상기 획득되는 영상정보를 판독하여 상기 공간에 존재하는 각 객체 별 특징을 관측하고(205), 상기 각 객체 별 관측된 특징에 대응하는 각 객체 별 i(i≥2)개의 입력 정보를 인식한다(210).When the image information for the space is obtained, the server 100 reads the acquired image information to observe the characteristics of each object existing in the space (205), and corresponds to the observed characteristics of each object. I (i≥2) pieces of input information for each object are recognized (210).

여기서, 상기 각 객체 별로 인식되는 i개의 입력 정보는 상기 영상정보를 판독하여 인식되는 각 객체 별 패턴정보를 포함할 수 있다. 예컨대, 상기 i개의 입력정보는 영상정보에 포함된 직육면체 구조의 객체를 인식하여 획득되는 정면 방향의 '□' 패턴, 비스듬한 방향의 '?' 패턴, 좌측 상단 모서리 부분의 '┌' 패턴, 좌측 하단 모서리 부분의 '└' 패턴, 우측 상단 모서리 부분의 '┐' 패턴, 우측 하단 모서리 부분의 '┘' 등을 포함할 수 있다.Here, the i pieces of input information recognized for each object may include pattern information for each object recognized by reading the image information. For example, the i pieces of input information are a'□' pattern in the front direction and a'?' in an oblique direction obtained by recognizing an object of a rectangular parallelepiped structure included in the image information. It may include a pattern, a'┌' pattern at the upper left corner, a'└' pattern at the lower left corner, a'┐' pattern at the upper right corner, and a'┘' at the lower right corner.

상기 입력 정보가 인식되면, 상기 서버(100)는 각 객체 별 관측된 결과에 대응하는 각 객체 별 j(j≥1)개의 출력 정보를 설정한다(215).When the input information is recognized, the server 100 sets j (j≥1) pieces of output information for each object corresponding to the observed result for each object (215).

여기서, 상기 각 객체 별로 설정되는 j개의 출력 정보는 상기 영상정보를 판독하여 인식되는 각 객체 별 패턴(또는 패턴의 집합)에 대응하는 객체식별자를 포함할 수 있다. 여기서, 상기 객체식별자는 i개의 입력정보에 해당하는 패턴(또는 패턴의 집합)이 '□', '?', '┌', '└', '┐', '┘'일 경우, 이러한 패턴(또는 패턴의 집합)에 설정한 고유한 식별자(예컨대, 고유번호, 고유코드 등)를 의미하며, 이는 객체명칭을 포함하는 객체정보와 매핑될 수 있다.Here, the j output information set for each object may include an object identifier corresponding to a pattern (or set of patterns) for each object recognized by reading the image information. Here, the object identifier is when the pattern (or set of patterns) corresponding to i input information is'□','?','┌','└','┐', or'┘', such a pattern ( Or a set of patterns), which is a unique identifier (eg, a unique number, a unique code, etc.), which may be mapped with object information including an object name.

이후, 상기 서버(100)는 각 객체 별로 인식된 i개의 입력 정보 별 변수값과 j개의 출력 정보 별 변수값을 포함하는 각 객체 별 학습 정보를 지정된 인공지능모듈의 변수값으로 대입하고(220), 상기 공간에 존재하는 각 객체 중 고유 식별하여 인식 가능한 N(N≥1)개의 객체 인식을 학습시킨다(225). Thereafter, the server 100 substitutes the learning information for each object, including i variable values for each input information recognized for each object and j variable values for each output information, as the variable value of the designated artificial intelligence module (220). , Recognition of N (N≥1) objects that can be uniquely identified and recognized among each object existing in the space is learned (225).

여기서, 상기 N개의 객체는 상기 공간에 구비된 사물이거나, 상기 공간에 존재하는 사람(예컨대, 작업자, 노동자 등)일 수 있다.Here, the N objects may be objects provided in the space or a person (eg, a worker, a worker, etc.) existing in the space.

상기 공간에 구비된 N개의 객체 인식이 학습되면, 상기 서버(100)는 상기 인공지능모듈을 통해 학습된 N개의 객체를 인식하기 위한 N개의 객체인식모델을 생성하고(230), 상기 생성된 N개의 객체인식모델을 지정된 저장매체(145)에 저장한다(235).When the recognition of N objects provided in the space is learned, the server 100 generates N object recognition models for recognizing the N objects learned through the artificial intelligence module (230), and the generated N Two object recognition models are stored in the designated storage medium 145 (235).

본 발명의 실시 방법에 따르면, 상기 서버(100)는 상기 객체인식모델에 대하여 지정된 단말(155)을 통해 입력된 객체정보 또는 상기 객체인식모델을 근거로 지정된 데이터베이스로부터 추출된 객체정보를 상기 객체인식모델과 매핑하여 지정된 저장매체(145)에 저장할 수 있으며, 여기서, 상기 객체정보는 객체명칭이나 용도, 제조사 등등과 같이 객체에 대한 모든 정보를 포함할 수 있다.According to an implementation method of the present invention, the server 100 recognizes the object information input through the terminal 155 designated for the object recognition model or object information extracted from a database designated based on the object recognition model. It may be mapped to a model and stored in a designated storage medium 145, where the object information may include all information on an object such as an object name, purpose, manufacturer, and the like.

또한, 상기 객체인식모델은 상기 공간에 구비된 N개의 객체를 인식하기 위한 패턴 인식 모델을 포함할 수 있다.In addition, the object recognition model may include a pattern recognition model for recognizing N objects provided in the space.

도면3은 본 발명의 실시 방법에 따른 구조인식모델을 생성하여 저장하는 과정을 도시한 도면이다.3 is a diagram illustrating a process of generating and storing a structure recognition model according to an exemplary method of the present invention.

보다 상세하게 본 도면3은 상기 도면2의 과정 이후, 상기 도면1에 도시된 서버(100)를 포함하는 객체 정보 인식 시스템 상에서 하나 이상의 객체가 존재하는 지정된 공간에 구비된 M개의 카메라를 통해 획득되는 영상정보를 판독하여 인공지능 학습을 통해 상기 객체 중 지정된 물리적 구조 변형을 인식할 객체에 대한 변형 전 정상 구조 상태 인식을 학습시키고, 객체의 변형 전 정상 구조 상태를 인식하기 위한 객체 별 정상 구조인식모델을 생성하여 지정된 저장매체에 저장하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면3을 참조 및/또는 변형하여 상기 구조인식모델을 생성하여 저장하는 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면3에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 3 shows, after the process of FIG. 2, obtained through M cameras provided in a designated space in which one or more objects exist on the object information recognition system including the server 100 shown in FIG. A normal structure recognition model for each object to recognize the normal structure state before deformation for the object to recognize the deformation of the specified physical structure among the objects through artificial intelligence learning by reading image information, and to recognize the normal structure state before deformation of the object It shows a process of generating and storing in a designated storage medium, and for those of ordinary skill in the art to which the present invention belongs, the process of generating and storing the structure recognition model by referring and/or modifying this Figure 3 Various implementation methods for (e.g., some steps are omitted or the order is changed) may be inferred, but the present invention includes all the inferred implementation methods, and the implementation shown in FIG. The technical characteristics are not limited only by the method.

도면3에 도시된 실시 과정은, 상기 도면2의 과정을 통해 N개의 객체인식모델이 생성되어 지정된 저장매체(145)에 저장된 후, 상기 객체 정보 인식 시스템 상의 서버(100)에서 상기 지정된 공간에 구비된 M개의 카메라(150)를 통해 상기 공간에 대한 M개의 영상정보를 획득하는 과정으로부터 개시될 수 있다(300).In the implementation process shown in Fig. 3, N object recognition models are created through the process of Fig. 2 and stored in a designated storage medium 145, and then provided in the designated space by the server 100 on the object information recognition system. It may be started from the process of obtaining M pieces of image information for the space through the M number of cameras 150 (300).

상기 공간에 대한 영상정보가 획득되면, 상기 서버(100)는 상기 객체인식모델을 근거로 상기 M개의 카메라(150)를 통해 획득되는 M개의 영상정보를 판독하여 상기 공간에 존재하는 n(1≤n≤N)개의 객체를 인식한다(305).When the image information on the space is obtained, the server 100 reads the M image information acquired through the M cameras 150 based on the object recognition model, and n (1 ≤ n≤N) objects are recognized (305).

상기 공간에 존재하는 n개의 객체가 인식되면, 상기 서버(100)는 상기 인식된 n개의 객체에 대응하는 n개의 객체인식정보를 지정된 저장매체(또는 관리DB)에 저장한다(310).When n objects existing in the space are recognized, the server 100 stores n object recognition information corresponding to the recognized n objects in a designated storage medium (or management DB) (310).

상기 n개의 객체인식정보가 저장된 후, 상기 서버(100)는 지정된 카메라(150)를 통해 획득되는 영상정보를 판독하고(315), 상기 공간에 존재하는 n개의 객체 중 물리적 구조 변형을 인식할 n'(1≤n'≤n)개의 객체 별 구조 상태의 특징을 관측한다(320).After the n pieces of object recognition information are stored, the server 100 reads the image information obtained through the designated camera 150 (315) and recognizes the physical structure deformation among n objects existing in the space. The characteristics of the structural state of each'(1≤n'≤n) objects are observed (320).

여기서, 상기 지정된 카메라(150)는 상기 공간에 구비된 M개의 카메라, 상기 공간에 구비된 M개의 카메라 중 변형 전 정상 구조 상태 인식의 인공지능 학습을 위한 m(1≤m≤M)개의 카메라, 상기 변형 전 정상 구조 상태 인식의 인공지능 학습을 위해 지정된 별도의 카메라 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다.Here, the designated camera 150 includes M cameras provided in the space, and m (1≦m≦M) cameras for artificial intelligence learning to recognize the state of a normal structure before deformation among the M cameras provided in the space, It may include at least one or a combination of two or more of separate cameras designated for artificial intelligence learning of the state recognition of the normal structure before transformation.

그리고, 상기 서버(100)는 상기 관측된 특징에 대응하는 n'개의 객체 별 p(p≥2)개의 입력 정보를 인식하고(325), n'개의 객체 별 동작의 관측된 결과에 대응하는 n'개의 객체 별 q(q≥1)개의 출력 정보를 설정한다(330).In addition, the server 100 recognizes p (p≥2) pieces of input information for each n'objects corresponding to the observed characteristics (325), and n'corresponding to the observed results of the actions for each n'objects. 'Q (q≥1) output information for each object is set (330).

여기서, 상기 n'개의 객체 별 인식되는 p개의 입력 정보는 상기 영상정보를 판독하여 인식되는 n'개의 객체 별 변형 전 정상 구조 상태의 패턴정보를 포함할 수 있다. 예컨대, 상기 p개의 입력정보는, 영상정보에 포함된 객체가 이동하는 패턴정보를 포함할 수 있다. Here, the p pieces of input information recognized for each n'objects may include pattern information of a normal structure state before transformation for each n'objects recognized by reading the image information. For example, the p pieces of input information may include pattern information on which an object included in the image information moves.

여기서, 상기 n'개의 객체 별 설정되는 q개의 출력 정보는 상기 영상정보를 판독하여 인식되는 n'개의 객체 별 변형 전 정상 구조 상태의 패턴(또는 패턴의 집합)에 대응하는 고유식별자를 포함할 수 있다. 여기서, 상기 고유식별자는 p개의 입력정보에 해당하는 변형 전 정상 구조 상태의 패턴(또는 패턴의 집합)에 설정한 고유한 식별자(예컨대, 고유번호, 고유코드 등)를 의미할 수 있다.Here, the q output information set for each n'objects may include a unique identifier corresponding to a pattern (or set of patterns) in a normal structure state before transformation for each n'object recognized by reading the image information. have. Here, the unique identifier may mean a unique identifier (eg, a unique number, a unique code, etc.) set in a pattern (or set of patterns) in a normal structure state before transformation corresponding to the p pieces of input information.

이후, 상기 서버(100)는 n'개의 객체 별로 인식된 p개의 입력 정보 별 변수값과 q개의 출력 정보 별 변수값을 포함하는 n'개의 객체 별 학습 정보를 지정된 인공지능모듈의 변수값으로 대입하여(335), 상기 공간에서 상기 n'개의 객체에 대한 변형 전 정상 구조 상태 인식을 학습시킨다(340).Thereafter, the server 100 substitutes the learning information for each n'objects, including the variable values for each p input information and the variable values for q output information recognized for each n'objects, as the variable values of the designated artificial intelligence module. In operation (335), the recognition of the state of the normal structure before deformation of the n'objects in the space is learned (340).

상기 지정된 범위 내에서 동작하는 n'개의 객체에 대한 변형 전 정상 구조 상태 인식이 학습되면, 상기 서버(100)는 상기 인공지능모듈을 통해 학습된 n'개의 변형 전 정상 구조 상태를 인식하기 위한 n'개의 객체 별 정상 구조인식모델을 생성하고(345), 상기 생성된 n'개의 객체 별 정상 구조인식모델을 지정된 저장매체(145)에 저장한다(350). When the recognition of the normal structure states before transformation for n'objects operating within the specified range is learned, the server 100 is configured to recognize n'normal structure states before transformation learned through the artificial intelligence module. The'normal structure recognition model for each object' is created (345), and the generated normal structure recognition model for each object n'is stored in the designated storage medium 145 (350).

도면4는 본 발명의 실시 방법에 따른 구조 변형 상태의 객체를 인식하여 알림정보를 제공하는 과정을 도시한 도면이다.4 is a diagram illustrating a process of providing notification information by recognizing an object in a structurally deformed state according to an exemplary embodiment of the present invention.

보다 상세하게 본 도면4는 상기 도면3의 과정 이후, 상기 도면1에 도시된 서버(100)를 포함하는 객체 정보 인식 시스템 상에서 하나 이상의 객체가 존재하는 지정된 공간에 구비된 M개의 카메라를 통해 획득되는 영상정보를 판독하여 상기 공간에서 하나 이상의 객체가 변형 전 정상 구조 상태를 일정 비율 이상 벗어난 물리적 구조 변형 상태인지 인식하여, 구조 변형 상태에 대한 알림정보를 제공하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4를 참조 및/또는 변형하여 상기 구조 변형 상태의 객체를 인식하여 알림정보를 제공하는 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면4에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 4 shows, after the process of FIG. 3, obtained through M cameras provided in a designated space in which one or more objects exist on the object information recognition system including the server 100 shown in FIG. It shows a process of reading image information and recognizing whether one or more objects in the space are in a physical structure deformation state that deviates from the normal structural state before deformation by a certain percentage, and provides notification information on the structural deformation state For those of ordinary skill in the art, various implementation methods for the process of providing notification information by recognizing the object in the structurally deformed state by referring and/or modifying this Figure 4 (e.g., some steps are omitted, Alternatively, the implementation method in which the order has been changed) may be inferred, but the present invention includes all the inferred implementation methods, and the technical features are not limited only by the implementation method shown in FIG. 4.

도면4에 도시된 실시 과정은, 상기 도면3의 과정을 통해 n'개의 객체 별 정상 구조인식모델이 생성되어 저장된 이후, 서버(100)에서 상기 M개의 카메라(150)를 통해 M개의 영상정보를 획득하는 과정으로부터 개시될 수 있다(400).In the implementation process shown in Fig. 4, after the normal structure recognition model for each n'object is generated and stored through the process of Fig. 3, the server 100 transmits M pieces of image information through the M cameras 150. It may be initiated from the process of obtaining (400).

상기 M개의 영상정보가 획득되면, 상기 서버(100)는 상기 n'개의 객체 별 정상 구조인식모델을 근거로 상기 M개의 카메라(150)를 통해 획득되는 M개의 영상정보를 판독하여(405), 상기 공간 내에서 n'개의 객체 중 변형 전 정상 구조 상태를 일정 비율 이상 벗어난 물리적 구조 변형 상태를 인식한 객체를 포함하는 n"(1≤n"≤n)개의 객체를 인식한다(410). When the M pieces of image information are acquired, the server 100 reads the M pieces of image information acquired through the M cameras 150 based on the n'object-specific normal structure recognition model (405), Among the n'objects in the space, n" (1≤n"≤n) objects including objects that have recognized the physical structural deformation state deviating from the normal structural state before transformation by a predetermined ratio or more are recognized (410).

여기서, 상기 n"개의 객체는 상기 공간 내에서 고정된 상태를 유지하는 (n-n')개의 객체 중 고정된 상태를 벗어난 동작을 인식한 객체를 더 포함할 수 있다.Here, the n" number of objects may further include an object that recognizes a motion out of the fixed state among (n-n') objects that maintain a fixed state in the space.

상기 변형 전 정상 구조 상태를 일정 비율 이상 벗어난 물리적 구조 변형 상태의 n"개의 객체를 인식한 경우, 상기 서버(100)는 상기 인식된 n"개의 객체에 대한 n"개의 객체식별정보를 포함하는 구조 변형 알림정보를 지정된 단말(155)로 제공하는 절차를 수행한다(415).When n" objects in the physical structure deformed state deviating from the normal structural state before transformation by a certain percentage or more are recognized, the server 100 includes n" object identification information for the recognized n" objects A procedure of providing the modified notification information to the designated terminal 155 is performed (415).

100 : 서버 105 : 객체인식 학습부
110 : 객체인식모델 저장부 115 : 객체 인식부
120 : 객체인식정보 저장부 125 : 구조상태인식 학습부
130 : 구조인식모델 저장부 135 : 구조변형객체 인식부
140 : 구조변형 알림부 145 : 저장매체
150 : 카메라 155 : 단말100: server 105: object recognition learning unit
110: object recognition model storage unit 115: object recognition unit
120: object recognition information storage unit 125: structure state recognition learning unit
130: structure recognition model storage unit 135: structure transformed object recognition unit
140: structural transformation notification unit 145: storage medium
150: camera 155: terminal

Claims

In the method executed through a system interlocking with M (M≥1) cameras provided in a designated space,
A first step of learning to recognize N (N≥1) objects provided in the space through a designated artificial intelligence module by reading image information acquired through a designated camera;
A second step of generating N object recognition models for recognizing N objects learned through the artificial intelligence module and storing them in a designated storage medium;
A third step of recognizing n (1≦n≦N) objects existing in the space by reading M pieces of image information acquired through the M cameras based on the object recognition model;
A fourth step of storing n object recognition information corresponding to the recognized n objects in a designated management DB;
Normal structure before transformation for n'(1 ≤ n'≤ n) objects that will recognize physical structural transformation among n objects existing in the space through the specified artificial intelligence module by reading image information acquired through a specified camera A fifth step of learning state awareness;
A sixth step of generating a normal structure recognition model for each n'objects for recognizing a normal structure state before transformation of the n'objects learned through the artificial intelligence module and storing them in a designated storage medium;
Based on the n'object-specific normal structure recognition model, by reading M image information acquired through the M cameras, a physical structure deformation state that deviates from the normal structure state before deformation by a certain ratio among the n'objects is recognized. A seventh step of recognizing n"(1≤n"≤n) objects including one object; And
The eighth step of performing a procedure for providing structure modification notification information including n" object identification information on the recognized n" objects to a designated terminal when the n" objects are recognized; structural modification including: Recognition-based object information recognition method.

The method of claim 1, wherein the first step,
By reading the image information acquired through the designated camera, i (i≥2) input information for each object corresponding to the observed characteristic of each object existing in the space is recognized, and each corresponding to the observed result for each object Setting j (j≥1) pieces of output information for each object;
By substituting the learning information for each object, including the variable values for each i input information recognized for each object and the variable values for j output information, as the variable value of the designated artificial intelligence module, it is uniquely identified among the objects existing in the space. Learning to recognize N recognizable objects; A method for recognizing object information based on structural transformation recognition, comprising: a.

The method of claim 1 or 2, wherein the designated camera,
M cameras provided in the space,
M (1≤m≤M) cameras for artificial intelligence learning of object recognition among the M cameras provided in the space,
A method for recognizing object information based on structural deformation recognition, comprising at least one or a combination of two or more of separate cameras designated for artificial intelligence learning of object recognition.

The method of claim 2, wherein the i pieces of input information,
A method for recognizing object information based on structure deformation recognition, comprising pattern information for each object recognized by reading the image information.

The method of claim 2, wherein the j pieces of output information,
And an object identifier corresponding to a pattern (or a set of patterns) for each object recognized by reading the image information.

The method of claim 1, wherein the second step,
And mapping object information input through a terminal designated for the object recognition model or object information extracted from a database designated based on the object recognition model with the object recognition model and storing it in a designated storage medium. Object information recognition method based on structural transformation recognition.

The method of claim 1, wherein the object recognition model,
A method for recognizing object information based on structural deformation recognition, comprising a pattern recognition model for recognizing N objects provided in the space.

The method of claim 1, wherein the object recognition information,
A method for recognizing object information based on structural transformation recognition, comprising object identification information uniquely identifying n objects existing in the space.

The method of claim 8, wherein the object identification information,
When a code image encoding the identification code specified in the object is attached,
Includes a recognition code recognized by reading the code image attached to the object, or
A method for recognizing object information based on structural transformation recognition, comprising: an identification code mapped with the recognized identification code.

The method of claim 1, wherein the fifth step,
By reading the image information acquired through the designated camera, p (p≥2) for each n'object corresponding to the observed characteristic of the structure state of each n'object to recognize physical structural deformation among n objects existing in the space Recognizing) input information and setting q(q≥1) output information for each n'object corresponding to the observed result of the structure state for each n'object;
Learning information for each n'object, including variable values for each p input information recognized for each n'objects and variable values for each output information, is substituted for the n'objects by substituting them as the variable values of the designated artificial intelligence module. A method of recognizing object information based on structural transformation recognition, comprising: learning to recognize a normal structure state before transformation.

The method of claim 1 or 10, wherein the n'objects,
An object to which an external physical force is applied to at least some of the n objects,
An object to which physical stress is applied to at least some of the n objects,
An object to which chemical stress is applied to at least some of the n objects,
An object to which electrical stress is applied to at least some of the n objects,
An object whose physical properties of at least some of the n objects are changed,
An object to which internal pressure is applied among the n objects,
A method for recognizing object information based on structural deformation recognition, comprising at least one object among objects to which a physical force is applied from the inside to at least some of the n objects.

The method of claim 1 or 10, wherein the n'objects,
A method for recognizing object information based on structural deformation recognition, comprising an object in which at least a part of a designated part of each part of an object recognized by reading image information moves within a designated motion range and the remaining parts remain fixed .

The method of claim 1 or 10, wherein the n'objects,
A method for recognizing object information based on structural deformation recognition, comprising at least one object among objects in which each portion of an object recognized by reading image information is maintained in a fixed state.

The method of claim 1 or 10, wherein the structural modification,
Structural modification of some of the parts constituting the object,
Modification of the linked structure of two or more contiguous parts of each part of the object,
A method for recognizing object information based on structural transformation recognition, comprising a transformation of at least one or a combination of structural transformations of two or more regions spaced apart from each other among regions constituting an object.

The method of claim 1 or 10, wherein the structural modification,
A method for recognizing object information based on structural deformation recognition, comprising deformation of at least one or a combination of two or more of bending, twisting, stretching, bending, swelling, squeezing, and falling off of at least some parts of an object .

The method of claim 1 or 10, wherein the designated camera,
M cameras provided in the space,
Among the M cameras provided in the space, m (1 ≤ m ≤ M) cameras for artificial intelligence learning to recognize the state of a normal structure before deformation,
A method for recognizing object information based on structural deformation recognition, comprising at least one or a combination of two or more separate cameras designated for artificial intelligence learning of the normal structural state recognition before deformation.

The method of claim 10, wherein the p pieces of input information,
A method for recognizing object information based on structure deformation recognition, comprising: pattern information of a normal structure state before deformation for each n'objects recognized by reading the image information.

The method of claim 10, wherein the q pieces of output information,
A method for recognizing object information based on structure deformation recognition, comprising: a unique identifier corresponding to a pattern (or set of patterns) in a normal structure state before deformation for each n'objects recognized by reading the image information.

The method of claim 1, wherein the system,
A program mounted on the camera,
Terminal programs that interlock with M and cameras through a designated interface,
A method for recognizing object information based on structural deformation recognition, comprising: a combination of at least one or a combination of two or more of M cameras and servers interworking through a communication network.