KR20240011512A - System for detecting action of object by using infrared thermography image - Google Patents
System for detecting action of object by using infrared thermography image Download PDFInfo
- Publication number
- KR20240011512A KR20240011512A KR1020220089028A KR20220089028A KR20240011512A KR 20240011512 A KR20240011512 A KR 20240011512A KR 1020220089028 A KR1020220089028 A KR 1020220089028A KR 20220089028 A KR20220089028 A KR 20220089028A KR 20240011512 A KR20240011512 A KR 20240011512A
- Authority
- KR
- South Korea
- Prior art keywords
- interest
- thermal imaging
- brightness value
- region
- detection system
- Prior art date
Links
- 238000001931 thermography Methods 0.000 title claims abstract description 132
- 230000009471 action Effects 0.000 title description 4
- 238000004891 communication Methods 0.000 claims abstract description 66
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 230000008859 change Effects 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 2
- 230000006399 behavior Effects 0.000 description 35
- 238000013528 artificial neural network Methods 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 239000003086 colorant Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/0423—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0469—Presence detectors to detect unsafe condition, e.g. infrared sensor, microphone
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Alarm Systems (AREA)
Abstract
본 발명은 객체의 열화상 영상을 분석하여 객체의 행동을 감지하는 객체 행동 감지 시스템에 관한 것이다. 본 발명의 객체 행동 감지 시스템은, 통신모듈을 포함하고 복수의 공간마다 설치되며 상기 설치된 공간의 객체에 대한 열화상 영상을 획득하는 열화상 카메라와, 상기 열화상 카메라로부터 열화상 영상을 수신하고 상기 수신된 열화상 영상을 분석하여 객체의 위험상황을 판단하는 서버를 포함할 수 있다.The present invention relates to an object behavior detection system that detects the behavior of an object by analyzing the thermal image of the object. The object behavior detection system of the present invention includes a thermal imaging camera that includes a communication module, is installed in each of a plurality of spaces, and acquires thermal imaging images of objects in the installed spaces, receives thermal imaging images from the thermal imaging camera, and receives thermal imaging images from the thermal imaging camera. It may include a server that analyzes the received thermal image and determines the danger situation of the object.
Description
본 발명은 열화상 영상을 이용한 객체의 행동 감지 시스템에 관한 것으로서, 특히 객체에 대한 열화상 영상을 분석하여 객체의 위험상황 여부를 감지하도록 하는 행동 감지 시스템에 관한 것이다.The present invention relates to a system for detecting the behavior of an object using thermal imaging, and in particular, to a system for detecting the behavior of an object by analyzing thermal imaging of the object to detect whether the object is in danger.
최근 인간의 수명이 늘어나면서 오래 건강하게 살고자 하는 욕구와 더불어서 개개인의 건강관리에 대한 관심이 증가하고 있다.Recently, as human lifespan has increased, interest in individual health management is increasing along with the desire to live a long and healthy life.
핵가족화로 인해 가정에 혼자 있는 시간이 많아지고 있지만 비상상황이나 응급상황 발생시 적극적으로 대처하기가 어렵다.Due to the nuclear family, people are spending more time alone at home, but it is difficult to respond proactively in the event of an emergency or medical emergency.
가정 내에 노약자나 환자가 혼자 있는 경우 낙상 등 위험상황이 발생하는 경우 빨리 발견하여 조치를 취하는 것이 중요하다.If an elderly or sick person is alone at home and a dangerous situation such as a fall occurs, it is important to quickly detect and take action.
최근 아파트나 기타 주거공간에 일반 카메라나 CCTV를 설치하여 위험상황 등의 이벤트가 발생할 경우 보호자나 응급센터에 비상연락을 보내도록 하는 시스템이 사용되고 있다.Recently, a system is being used to install general cameras or CCTV in apartments or other residential spaces to send emergency calls to guardians or emergency centers when an event such as a dangerous situation occurs.
하지만, 이 경우 사생활 침해의 우려가 있다는 문제점이 있어 보호자 외에는 위험상황을 모니터링 할 수 없어 응급조치에 한계가 있다.However, in this case, there is a problem that there is a risk of invasion of privacy, and emergency measures are limited because no one except the guardian can monitor the dangerous situation.
이러한 문제점을 해결하기 위해 열화상 카메라를 이용하는 감지시스템이 소개되고 있다.To solve these problems, a detection system using a thermal imaging camera is being introduced.
등록특허공보 제10-2052883호(선행문헌 1)에는 촬영된 열화상 이미지의 x-y축 히스토그램 데이터에 기초하여 낙상위험을 판단하여 알림을 발생하는 열화상 카메라를 이용한 낙상 예측 시스템 제어 방법이 개시된다.Registered Patent Publication No. 10-2052883 (Prior Document 1) discloses a fall prediction system control method using a thermal imaging camera that determines the risk of falling based on the x-y axis histogram data of the captured thermal image and generates a notification.
등록특허공보 제10-1916631호(선행문헌 2)에는 열화상 카메라에 의해 촬영된 촬영데이터를 통해 환자의 낙상 여부를 판단하는 열화상카메라를 포함하는 낙상 감지장치가 개시된다.Registered Patent Publication No. 10-1916631 (Prior Document 2) discloses a fall detection device including a thermal imaging camera that determines whether a patient has fallen through imaging data captured by the thermal imaging camera.
등록특허공보 제10-1927220호(선행문헌 3)에는 열화상 영상을 이용하여 대상영역 내에 위치한 관심대상에 대한 온도를 감지하고, 감지된 온도를 이용하여 관심대상의 상태 및 상황을 판단하는 관심대상 감지 방법 및 장치가 개시된다.Registered Patent Publication No. 10-1927220 (Prior Document 3) describes an object of interest that detects the temperature of an object of interest located within the target area using thermal imaging images and determines the state and situation of the object of interest using the detected temperature. A sensing method and device are disclosed.
하지만, 선행문헌 1-3을 비롯하여 종래에 열화상 화상을 이용한 감지시스템에서는 미세한 동작을 감지하는데 한계가 있어 위험상황 판단의 정확성이 떨어지는 문제가 있다.However, conventional detection systems using thermal imaging, including those in prior literature 1-3, have limitations in detecting minute movements, which reduces the accuracy of determining dangerous situations.
또한, 종래기술에서는 가정 내 여러 공간에서 복수의 열화상 카메라를 설치하는 경우 각 열화상 카메라가 각각의 공간에 분산되어 설치되므로 각 카메라에서의 통신을 통해 감지정보를 모으는데는 시간 지연이 발생하게 되어 열화상 영상의 분석이 느려지는 문제가 있고, 이는 빠른 응급조치가 필요한 사람에는 나쁜 결과를 가져올 수도 있다.In addition, in the prior art, when multiple thermal imaging cameras are installed in various spaces within a home, each thermal imaging camera is distributed and installed in each space, so a time delay occurs in collecting detection information through communication from each camera. There is a problem with the analysis of thermal imaging images being slow, which can have bad results for people who need quick emergency treatment.
이에, 해당 기술분야에서는 열화상 영상을 이용하여 행동을 감지하는 경우 정확한 감지성능이 필요하고 복수개의 공간에 열화상 카메라가 분산되어 설치된 경우에도 감지정보의 빠른 처리가 가능하도록 하는 기술의 개발이 요구되고 있다.Accordingly, in this technology field, accurate detection performance is required when detecting behavior using thermal imaging images, and the development of technology that enables rapid processing of detection information even when thermal imaging cameras are distributed and installed in multiple spaces is required. It is becoming.
본 발명은 상기한 종래기술의 문제점을 해결하기 위해 제안된 것으로, 열화상 영상으로부터 객체의 행동을 정확하게 감지할 수 있도록 하는 열화상 영상을 이용한 객체 행동 감지 시스템을 제공하는데 목적이 있다.The present invention was proposed to solve the problems of the prior art described above, and its purpose is to provide an object behavior detection system using thermal imaging images that can accurately detect object behavior from thermal imaging images.
본 발명은 여러 공간에 분산되어 설치된 복수의 열화상 카메라의 상호 간 통신이 가능하도록 하여 열화상 카메라 간의 통신을 통해 열화상 카메라에서의 감지정보를 빠르게 모을 수 있도록 하는 열화상 영상을 이용한 객체 행동 감지 시스템을 제공하는데 목적이 있다.The present invention is an object behavior detection method using thermal imaging that enables communication between a plurality of thermal imaging cameras distributed and installed in various spaces, allowing rapid collection of detection information from thermal imaging cameras through communication between thermal imaging cameras. The purpose is to provide a system.
본 발명은 열화상 카메라를 통해 객체에 대한 열화상 영상을 획득하여 분석함으로써 개인의 사생활을 침해하지 않으면서도 객체의 위험상황을 빠르고 정확하게 감지할 수 있도록 하는 열화상 영상을 이용한 객체 행동 감지 시스템을 제공하는데 목적이 있다.The present invention provides an object behavior detection system using thermal imaging that enables quick and accurate detection of a dangerous situation of an object without infringing on individual privacy by acquiring and analyzing thermal imaging of the object through a thermal imaging camera. There is a purpose to doing this.
본 발명의 실시예에 따른 열화상 영상을 이용한 객체 행동 감지 시스템은, 통신모듈을 포함하고 복수의 공간마다 설치되며 상기 설치된 공간의 객체에 대한 열화상 영상을 획득하는 열화상 카메라; 상기 열화상 카메라로부터 열화상 영상을 수신하고 상기 수신된 열화상 영상을 분석하여 객체의 위험상황을 판단하는 서버를 포함하고, 상기 서버는, 상기 열화상 영상에서 관심영역을 추출하고, 상기 열화상 영상을 구성하는 복수의 셀에서의 객체의 온도에 따른 색상에 대응하는 밝기값을 설정하여 상기 관심영역에서의 대표밝기값을 산출하고, (ⅰ)상기 관심영역의 이동속도, (ⅱ)상기 관심영역의 이동거리, (ⅲ)직전 관심영역의 대표밝기값의 변화속도, (ⅳ)현재 이동된 관심영역의 대표밝기값의 지속시간을 이용하여 상기 객체의 위험상황 여부를 인지할 수 있다.An object behavior detection system using thermal imaging according to an embodiment of the present invention includes a thermal imaging camera that includes a communication module and is installed in a plurality of spaces and acquires thermal imaging images of objects in the installed spaces; It includes a server that receives a thermal image from the thermal image camera and analyzes the received thermal image to determine a risk situation of the object, wherein the server extracts a region of interest from the thermal image and collects the thermal image. The representative brightness value in the region of interest is calculated by setting the brightness value corresponding to the color according to the temperature of the object in the plurality of cells constituting the image, (i) the moving speed of the region of interest, (ii) the It is possible to recognize whether the object is in danger using the moving distance of the area, (iii) the change rate of the representative brightness value of the immediately previous area of interest, and (iv) the duration of the representative brightness value of the currently moved area of interest.
본 실시예에서, 상기 관심영역은 상기 객체의 얼굴 부위를 포함할 수 있다.In this embodiment, the region of interest may include a facial area of the object.
본 실시예에서, 상기 관심영역이 하나의 셀에 대응하는 경우 상기 하나의 셀의 밝기값을 상기 대표밝기값으로 산출할 수 있다.In this embodiment, when the region of interest corresponds to one cell, the brightness value of the one cell can be calculated as the representative brightness value.
본 실시예에서, 상기 관심영역이 둘 이상의 셀에 대응하는 경우 상기 둘 이상의 셀의 밝기값의 평균을 상기 대표밝기값으로 산출할 수 있다.In this embodiment, when the region of interest corresponds to two or more cells, the average of the brightness values of the two or more cells can be calculated as the representative brightness value.
본 실시예에서, 상기 관심영역이 둘 이상의 셀에 대응하는 경우 상기 둘 이상의 셀의 밝기값 중 가장 큰 밝기값을 상기 대표밝기값으로 산출할 수 있다.In this embodiment, when the region of interest corresponds to two or more cells, the largest brightness value among the brightness values of the two or more cells can be calculated as the representative brightness value.
본 실시예에서, 상기 복수의 열화상 카메라의 통신모듈은 상호 간에 메시 와이파이 통신을 통해 상기 열화상 열상을 송수신할 수 있다.In this embodiment, the communication modules of the plurality of thermal imaging cameras can transmit and receive the thermal images to each other through mesh Wi-Fi communication.
본 실시예에서, 상기 복수의 열화상 카메라 중 적어도 하나는 게이트웨이와 연결되며 상기 게이트웨이를 통해 상기 서버로 열화상 영상을 전송할 수 있다.In this embodiment, at least one of the plurality of thermal imaging cameras is connected to a gateway and can transmit thermal imaging images to the server through the gateway.
본 실시예에서, 상기 서버는 상기 관심영역의 이동속도가 기설정된 제1기준치 이상이면(제1조건), 상기 객체에 위험상황이 발생한 것으로 인지할 수 있다.In this embodiment, if the moving speed of the area of interest is greater than or equal to a preset first standard value (first condition), the server may recognize that a dangerous situation has occurred in the object.
본 실시예에서, 상기 서버는 상기 관심영역 간의 이동거리가 기설정된 제2기준치 이상이면(제2조건), 상기 객체에 위험상황이 발생한 것으로 인지할 수 있다.In this embodiment, the server may recognize that a dangerous situation has occurred in the object if the moving distance between the areas of interest is greater than a preset second standard value (second condition).
본 실시예에서, 상기 서버는 상기 직전의 관심영역에서의 대표밝기값의 변화속도가 기설정된 제3기준치 이상이면(제3조건), 상기 객체에 위험상황이 발생한 것으로 인지할 수 있다.In this embodiment, the server may recognize that a dangerous situation has occurred in the object if the rate of change of the representative brightness value in the immediately preceding region of interest is greater than or equal to a preset third standard value (third condition).
본 실시예에서, 상기 서버는 상기 이동된 관심영역에서의 대표밝기값의 지속시간이 기설정된 제4기준치 이상이면(제4조건), 상기 객체에 위험상황이 발생한 것으로 인지할 수 있다.In this embodiment, if the duration of the representative brightness value in the moved region of interest is greater than or equal to a preset fourth standard value (fourth condition), the server may recognize that a dangerous situation has occurred in the object.
본 실시예에서, 상기 서버는 상기 관심영역이 이동하는 속도가 기설정된 제1기준치 이상(제1조건), 상기 관심영역 간의 이동거리가 기설정된 제2기준치 이상(제2조건), 상기 직전의 관심영역에서의 대표밝기값의 변화속도가 기설정된 제3기준치 이상(제3조건) 중 적어도 하나의 조건을 만족하면서 상기 이동된 관심영역에서의 대표밝기값의 지속시간이 기설정된 제4기준치 이상이면(제4조건), 상기 객체에 위험상황이 발생한 것으로 인지할 수 있다.In this embodiment, the server determines that the moving speed of the area of interest is greater than or equal to a preset first reference value (first condition), the moving distance between the areas of interest is greater than or equal to a preset second reference value (second condition), and The rate of change of the representative brightness value in the area of interest satisfies at least one of the preset third reference values or more (third condition), and the duration of the representative brightness value in the moved area of interest is more than the preset fourth reference value. If this is the case (condition 4), it can be recognized that a dangerous situation has occurred in the object.
본 발명의 실시예에 따른 열화상 영상을 이용한 객체 행동 감지 시스템에 의하면 다음과 같은 하나 이상의 효과를 갖는다.The object behavior detection system using thermal imaging according to an embodiment of the present invention has one or more of the following effects.
본 발명에 의하면 열화상 영상에서 온도를 수치로 세분화하여 수치의 변화에 따라 객체의 행동을 감지하므로 열화상 영상에서 행동을 정확히 감지할 수 있다.According to the present invention, the temperature in a thermal image is subdivided into numerical values and the behavior of an object is detected according to changes in the numerical values, so that the behavior can be accurately detected in the thermal image.
본 발명에 의하면 복수의 열화상 카메라를 여러 공간에 분산하여 배치할 수 있어 여러 공간에서 일어나는 객체의 행동을 감지할 수 있다.According to the present invention, a plurality of thermal imaging cameras can be distributed and placed in multiple spaces, making it possible to detect object behavior occurring in multiple spaces.
본 발명에 의하면 열화상 카메라가 여러 공간에 분산되어 배치되어도 각 열화상 카메라들 상호 간에 통신이 이루어지게 하여 복수의 열화상 카메라로부터 감지정보를 빠르게 모아서 처리할 수 있어 빠른 감지가 가능할 수 있다.According to the present invention, even if thermal imaging cameras are distributed and deployed in various spaces, communication between each thermal imaging camera can be performed, and detection information from a plurality of thermal imaging cameras can be quickly collected and processed, enabling rapid detection.
본 발명에 의하면 열화상 카메라를 통해 객체에 대한 열화상 영상을 획득하여 분석함으로써 사생활을 침해하지 않으면서도 객체의 위험상황을 빠르고 정확하게 감지할 수 있다.According to the present invention, by acquiring and analyzing a thermal image of an object through a thermal imaging camera, it is possible to quickly and accurately detect a dangerous situation of an object without infringing on privacy.
도 1은 본 발명의 실시예에 따른 열화상 영상을 이용한 객체 행동 감지 시스템의 구성도.
도 2는 본 발명의 일 실시예에 따른 열화상 카메라의 메시 와이파이 연결을 설명하기 위한 도면.
도 3은 본 발명의 실시예에 따른 열화상 영상을 이용한 객체 행동 감지 시스템을 구성하는 열화상 카메라의 상세 구성도.
도 4는 본 발명의 실시예에 따른 열화상 영상을 이용한 객체 행동 감지 시스템을 구성하는 서버의 상세 구성도.
도 5는 본 발명의 실시예에 따른 열화상 카메라에서 획득된 열화상 영상의 예시도.
도 6a 및 도 6b는 본 발명의 실시예에 따른 열화상 영상에서 객체의 부위별 온도를 색상값으로 변환하는 예시도.
도 7은 본 발명의 실시예에 따른 열화상 영상을 이용하여 객체의 행동을 감지하는 과정을 보여주는 흐름도.1 is a block diagram of an object behavior detection system using thermal imaging according to an embodiment of the present invention.
Figure 2 is a diagram illustrating a mesh Wi-Fi connection of a thermal imaging camera according to an embodiment of the present invention.
Figure 3 is a detailed configuration diagram of a thermal imaging camera constituting an object behavior detection system using thermal imaging images according to an embodiment of the present invention.
Figure 4 is a detailed configuration diagram of a server constituting an object behavior detection system using thermal imaging images according to an embodiment of the present invention.
Figure 5 is an example diagram of a thermal image acquired by a thermal imaging camera according to an embodiment of the present invention.
Figures 6a and 6b are examples of converting the temperature of each part of an object into a color value in a thermal image image according to an embodiment of the present invention.
Figure 7 is a flow chart showing the process of detecting the behavior of an object using a thermal image according to an embodiment of the present invention.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시례를 설명함에 있어, 관련된 공지구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시례에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail through illustrative drawings. When adding reference numerals to components in each drawing, it should be noted that identical components are given the same reference numerals as much as possible even if they are shown in different drawings. Additionally, when describing embodiments of the present invention, if detailed descriptions of related known configurations or functions are judged to impede understanding of the embodiments of the present invention, the detailed descriptions will be omitted.
본 발명은 객체에 대한 열화상 영상을 분석하여 객체의 행동을 감지하도록 하는 시스템 및 방법을 제공한다. 열화상 카메라를 여러 공간에 분산하여 각각 배치하여 각각 열화상 열상을 획득하도록 하고, 열화상 카메라 간에는 메시 와이파이 통신을 통해 열화상 영상을 송수신함으로써 각 열화상 카메라의 열화상 영상을 모두 빠르게 수집할 수 있도록 한다. 또한 열화상 영상을 구성하는 셀의 온도에 따른 색상의 밝기값 변화를 이용하여 객체의 행동을 감지하고 객체의 위험상황을 인지하도록 한다. 본 발명에서는 빠르고 정확한 객체의 행동감지가 가능하도록 한다.The present invention provides a system and method for detecting the behavior of an object by analyzing a thermal image of the object. Thermal imaging cameras are distributed and placed in various spaces to acquire thermal images from each thermal imaging camera. By transmitting and receiving thermal imaging images between thermal imaging cameras through mesh Wi-Fi communication, thermal imaging images from each thermal imaging camera can be quickly collected. Let it happen. In addition, the change in color brightness value according to the temperature of the cells that make up the thermal image is used to detect the behavior of the object and recognize the dangerous situation of the object. The present invention enables fast and accurate object behavior detection.
이하에서, 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 열화상 영상을 이용한 객체 행동 감지 시스템을 상세하게 설명한다.Hereinafter, an object behavior detection system using thermal imaging according to an embodiment of the present invention will be described in detail with reference to the attached drawings.
도 1은 본 발명의 실시예에 따른 열화상 영상을 이용한 객체 행동 감지 시스템의 개략적인 전체 구성도이다.Figure 1 is a schematic overall configuration diagram of an object behavior detection system using thermal imaging images according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 실시예에 따른 열화상 영상을 이용한 객체 행동 감지 시스템은 적어도 하나의 열화상 카메라(100)를 포함할 수 있다.Referring to FIG. 1, an object behavior detection system using thermal imaging according to an embodiment of the present invention may include at least one
열화상 카메라(100)는 복수의 분리된 공간에 분산되어 설치될 수 있고, 각각 해당 공간의 열화상 영상, 특히 객체에 대한 열화상 영상을 획득할 수 있다.The
열화상 카메라(100)는 객체의 온도를 측정할 수 있는 적외선(IR)센서를 포함할 수 있으며, IR센서는 객체에서 방출되는 복사열(주로 적외선)을 감지하여 객체의 온도를 측정할 수 있다. The
이와 같이 측정된 객체의 온도는 열화상 카메라(100)에 연결된 디스플레이를 통해 온도에 대응하는 색상으로 표시될 수 있다.The temperature of the object measured in this way may be displayed in a color corresponding to the temperature through a display connected to the
열화상 카메라(100)는 통신모듈을 구비하며 다른 열화상 카메라와 통신할 수 있고, 또는 AP장치(10) 및/또는 네트워크(20)에 접속할 수 있다.The
열화상 카메라(100)는 다른 종류의 통신모듈을 구비하거나 복수의 통신모듈을 구비할 수 있다. 예컨대, 열화상 카메라(100)는 와이파이(wi-fi) 통신모듈, NFC 통신모듈, 지그비(zigbee) 통신모듈, 블루투스(Bluetooth™) 통신모듈 등을 포함할 수 있다.The
본 실시예에서, 일례로 열화상 카메라(100)는 메시 와이파이(mesh Wi-Fi)로 서로 연결되어 상호 간에 메시 와이파이 통신이 가능하여 열화상 카메라(100) 상호 간에 데이터를 송수신할 수 있다.In this embodiment, for example, the
열화상 카메라(100)는 통신모듈을 통해 게이트웨이(200)와 연결될 수 있다. The
게이트웨이(200)는 네트워크(300)와 댁내망(홈네트워크)(1)를 연결하는 장비로서, 열화상 카메라(100)로부터 전달되는 열화상 영상을 네트워크(300)를 통해 후술하는 서버(400)로 전송할 수 있다.The
네트워크(300)는 LTE, 5G 등과 같은 셀룰러 통신망이나 통상적인 인터넷망이 될 수 있다.The
서버(400)는 열화상 카메라(100)에서 전달되는 객체의 열화상 영상을 수신하여 내부의 저장부에 저장할 수 있다.The
서버(400)는 열화상 영상으로부터 객체의 행동을 분석할 수 있다.The
서버(400)는 열화상 영상과 객체의 행동의 분석결과를 사용자단말(500)로 전송할 수 있다.The
사용자단말(500)은 서버(400)로부터 전송받은 열화상 영상과 분석결과를 화면에 표시할 수 있다. 이로써 사용자는 사용자단말(500)에서 이를 확인할 수 있다.The
사용자단말(200)은 예컨대 스마트폰(smart phone), 태블릿 PC 등 휴대가능한 이동단말기가 될 수 있다.The
서버(400)는 상기 분석결과에 따라 유관기관 서버(미도시)로 알람을 전송할 수도 있다. 즉, 열화상 영상의 분석결과에서 위험상황 또는 응급상황임이 확인되면 의료기관, 경철서, 보건소 등 유관기관 서버로 알림을 보낼 수 있다.The
도 2는 본 발명의 일 실시예에 따른 복수의 열화상 카메라의 메시 와이파이 연결을 설명하기 위한 도면이다.Figure 2 is a diagram for explaining mesh Wi-Fi connection of a plurality of thermal imaging cameras according to an embodiment of the present invention.
도 2를 참조하면, 각 열화상 카메라(100)는 메시 와이파이(mesh wi-fi) 통신을 위한 통신모듈(110)을 포함한다.Referring to FIG. 2, each
열화상 카메라(100)는 복수의 공간(10,20,30)에 각각 설치될 수 있으며, 각 열화상 카메라(100)는 메시 와이파이 통신모듈(110)을 이용하여 상호 간에 무선통신을 수행할 수 있다.
복수의 열화상 카메라(100) 중에서 적어도 하나는 게이트웨이(200)에 연결될 수 있다. 도면에는 일례로 제2공간에 있는 열화상 카메라(100)의 통신모듈(110)이 게이트웨이(200)와 연결된다.At least one of the plurality of
제1,2,3공간의 열화상 카메라(100)는 각 공간의 열화상 영상을 획득할 수 있다. 해당 공간에 객체가 존재한다면 당연히 객체의 열화상 영상을 획득할 수 있다.The
제1,3공간에 있는 열화상 카메라(100)는 해당 공간에 대한 열화상 영상을 획득하여 통신모듈(110)을 통해 제2공간의 열화상 카메라(100)의 통신모듈(110)로 전송할 수 있다.The
제2공간에 있는 열화상 카메라(100)는 자신의 공간의 열화상 영상과 제1,3공간의 열화상 영상을 통신모듈(110)을 통해 게이트웨이(200)로 전송할 수 있다.The
게이트웨이(200)는 네트워크(300)를 통해 서버(400)로 제1,2,3공간의 열화상 영상을 모두 전송할 수 있다.The
본 실시예에 따른 메시 와이파이 통신방식에서는 열화상 카메라(100)의 통신모듈(110) 간에 양방향 통신이 가능하다. 이는 기존의 확장형 와이파이 통신방식에 비해 통신모듈의 개수가 증가할수록 데이터의 전송속도가 빠르다.In the mesh Wi-Fi communication method according to this embodiment, two-way communication is possible between the
즉, 복수의 통신모듈(110)을 하나의 통신망으로 구축하여 각 통신모듈(110) 간에 양방향 통신이 이루어지기 때문에 통신속도가 빨라지는 것이다.In other words, by constructing a plurality of
통신모듈(110)은 실생활에서 이동통신 단말기와도 통신할 수 있다. 이 경우라도 통신모듈(110) 간에는 별도의 통신 루트를 통해 메시 와이파이 통신이 이루어지기 때문에 이동통신 단말기의 통신에는 영향을 주지 않는다. The
즉, 본 실시예의 메시 와이파이 통신은 이동통신 단말기와는 다른 통신 루트로 통신이 되므로 이동통신 단말기와 통신하는 경우에도 통신속도를 최적화할 수 있는 것이다.In other words, mesh Wi-Fi communication in this embodiment communicates through a communication route different from that of a mobile communication terminal, so communication speed can be optimized even when communicating with a mobile communication terminal.
메시 와이파이 통신에서는 복수의 통신모듈(110)이 하나의 SSID(service set identifier)로 설정되므로 열화상 카메라(100)의 이동시에도 끊김 없는 와이파이 통신이 가능하다.In mesh Wi-Fi communication, a plurality of
도 3은 본 발명의 실시예에 따른 행동 감시 시스템을 구성하는 열화상 카메라의 상세 구성도이다.Figure 3 is a detailed configuration diagram of a thermal imaging camera constituting a behavior monitoring system according to an embodiment of the present invention.
도 3을 참조하면, 열화상 카메라(100)는 외부장치와 통신을 수행하는 통신모듈(110), 객체의 열화상 영상을 획득하는 열화상센서(120), 전원을 공급하는 전원공급부(130), 데이터와 프로그램을 저장하는 저장부(140), 열화상 카메라(100)의 전반적인 동작을 제어하는 카메라제어부(150)를 포함할 수 있다.Referring to FIG. 3, the
통신모듈(110)은 다른 열화상 카메라(100)의 통신모듈(110)과 통신할 수 있다. 상술한 바와 같이 통신모듈(110)은 메시 와이파이 통신을 수행할 수 있다. The
통신모듈(110)은 열화상 영상을 송수신할 수 있다. The
열화상 영상에 어느 열화상 카메라(100)에서 언제 획득한 영상인지를 확인할 수 있는 메타데이터 정보가 포함될 수 있다.The thermal imaging image may include metadata information that can be used to determine which
메타데이터에는 열화상 영상을 촬영한 열화상 카메라(100)의 식별정보, 열화상 영상을 촬영한 시간, 열화상 영상이 촬영된 위치 등의 정보가 포함될 수 있다.Metadata may include information such as identification information of the
통신모듈(110)은 게이트웨이(200)와 통신할 수도 있다. 게이트웨이(200)는 통신모듈(110)로부터 전달된 열화상 영상을 서버(400)로 전송할 수 있다.The
열화상센서(120)는 예컨대 적외선(IR)센서로 구성될 수 있다.The
열화상센서(120)는 주변에 대한 열화상 영상을 획득할 수 있다. 특히 본 실시예에서는 열화상 카메라(100)가 배치된 공간 및 그 공간에 있는 객체(예:사람)에 대한 열화상 영상을 획득할 수 있다.The
전원공급부(130)는 배터리를 포함할 수 있으며, 열화상 카메라(100)로 전원을 공급할 수 있다. 전원공급부(130)는 배터리를 충전할 수 있는 충전장치(미도시)를 포함할 수 있다. The
또는, 전원공급부(130)는 상용전원을 공급받아 열화상 카메라(100)에 적합한 전압으로 전환하여 전원을 공급할 수도 있다.Alternatively, the
저장부(140)에는 열화상 카메라(100)의 동작에 필요한 각종 데이터 및 프로그램이 저장될 수 있다. 특히, 저장부(140)에 열화상센서(120)에서 획득된 열화상 영상이 저장될 수 있다.Various data and programs necessary for the operation of the
카메라제어부(150)는 통신모듈(110), 열화상센서(120), 전원공급부(130)의 동작을 제어할 수 있다. The
카메라제어부(150)는 열화상 센서(120)가 주변에 대한 열화상 영상을 획득하여 저장부(140)에 저장하도록 제어할 수 있고, 통신모듈(110)를 통해 다른 열화상 카메라(100) 및/또는 게이트웨이(200)로 열화상 영상을 전송하도록 제어할 수 있으며, 전원공급부(130)로부터 전원이 공급되도록 제어할 수 있다.The
도 4는 본 발명의 실시예에 따른 행동 감지 시스템을 구성하는 서버의 상세 구성도이다.Figure 4 is a detailed configuration diagram of a server constituting a behavior detection system according to an embodiment of the present invention.
도 4를 참조하면, 본 발명의 실시예에 따른 서버(400)는 서버통신부(410), 데이터베이스(DB)(420) 및 서버제어부(430)를 포함하여 구성될 수 있다.Referring to FIG. 4, the
서버통신부(410)는 네트워크(300)에 접속할 수 있고 열화상 카메라(100) 및/또는 사용자단말(500)과 통신할 수 있다. 선택적으로 서버통신부(410)는 의료기관, 경찰서, 응급실, 행정기관 등 유관기관들의 서버(미도시)와 통신할 수도 있다.The
데이터베이스(DB)(420)는 서버(400)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 특히 DB(420)는 복수의 열화상 카메라(100)로부터 전송된 열화상 영상을 저장할 수 있다.The database (DB) 420 can store various programs and data necessary for the operation of the
도면에는 일례로 DB(420)가 서버(400)의 내부에 설치된 것으로 도시되어 있으나, 다르게는 DB(420)가 서버(400)의 외부에 별도로 구축되어 서버(400)와 연동되도록 동작할 수도 있다.In the drawing, for example, the
서버제어부(430)는 서버(400)의 전반적인 동작을 제어할 수 있다.The
서버제어부(430)는 열화상 영상을 이용하여 객체의 행동을 분석할 수 있다.The
본 실시예에서 서버제어부(430)는 열화상 영상을 구성하는 복수의 셀마다 객체의 온도에 따른 색상의 밝기값을 설정하고 특정 셀에서의 밝기값 변화를 이용하여 객체의 행동을 분석할 수 있다.In this embodiment, the
예컨대, 열화상 영상을 구성하는 복수의 셀에서 밝기값의 변화를 통해 객체가 앉아 있는지, 서 있는지, 누워 있는지, 객체가 앉아 있다가 일어서는지, 서 있다가 눕는지 등에 대한 행동을 분석할 수 있다.For example, through changes in brightness values in a plurality of cells that make up a thermal image, it is possible to analyze behavior such as whether an object is sitting, standing, or lying down, whether the object is sitting and then standing up, or standing and lying down, etc. .
또한, 서버제어부(430)는 열화상 영상을 분석하여 객체의 위험상황 여부를 인지할 수 있다.Additionally, the
본 실시예에서 서버제어부(430)는 열화상 영상을 구성하는 복수의 셀마다 객체의 온도에 따른 색상의 밝기값을 설정하고 특정 셀에서의 밝기값 변화를 이용하여 객체가 일상적인 행동을 하는지, 위험한 동작을 하는지, 위험상황에 처해 있는지 등을 인지할 수 있다.In this embodiment, the
예컨대, 서버제어부(430)는 복수의 셀에서 밝기값 변화, 밝기값 변화의 속도 등을 확인함으로써 객체가 위험상황에 있는지를 확인할 수 있다.For example, the
본 실시예에서 서버제어부(430)는 머신러닝(machine learning)으로 기학습된 인공신경망(Artificial Neural Networks:ANN)이 탑재되어 열화상 기반 객체의 행동 감지 및 위험상황 인지 등을 수행할 수 있다.In this embodiment, the
인공신경망(ANN)은 소프트웨어 형태로 구현되거나 칩(chip) 등 하드웨어 형태로 구현될 수 있다. 예컨대, 서버제어부(430)는 딥러닝(Deep Learning)으로 학습된 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(Deep Neural Network: DNN)을 포함할 수 있다.Artificial neural networks (ANNs) can be implemented in software form or in hardware form such as chips. For example, the
딥러닝(Deep learning)은 히든 레이어들을 차례로 거치면서 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신러닝(Machine Learning) 알고리즘의 집합을 나타낼 수 있다.Deep learning can represent a set of machine learning algorithms that extract key data from a plurality of data by sequentially going through hidden layers.
딥러닝 구조는, CNN, RNN, DBN 등 심층신경망(DNN)으로 구성될 수 있다.The deep learning structure can be composed of deep neural networks (DNN) such as CNN, RNN, and DBN.
심층신경망(DNN)은 입력 레이어(Input Layer), 히든 레이어(Hiddent Layer) 및 출력 레이어(Output Layer)를 포함할 수 있다.A deep neural network (DNN) may include an input layer, a hidden layer, and an output layer.
다중 히든 레이어(hidden layer)를 갖는 것을 DNN(Deep Neural Network)이라 할 수 있다. 각 레이어는 복수의 노드들을 포함하고, 각 레이어는 다음 레이어와 연관되어 있다. 노드들은 웨이트(weight)를 가지고 서로 연결될 수 있다.One with multiple hidden layers can be called a Deep Neural Network (DNN). Each layer contains multiple nodes, and each layer is related to the next layer. Nodes can be connected to each other with weights.
제1 히든 레이어(Hidden Layer 1)에 속한 임의의 노드로부터의 출력은, 제2 히든 레이어(Hidden Layer 2)에 속하는 적어도 하나의 노드의 입력이 된다. 이때 각 노드의 입력은 이전 레이어의 노드의 출력에 웨이트(weight)가 적용된 값일 수 있다. The output from any node belonging to the first hidden layer (Hidden Layer 1) becomes the input to at least one node belonging to the second hidden layer (Hidden Layer 2). At this time, the input of each node may be a weight applied to the output of the node of the previous layer.
웨이트(weight)는 노드간의 연결 강도를 의미할 수 있다. 딥러닝 과정은 적절한 웨이트(weight)를 찾아내는 과정으로도 볼 수 있다.Weight may refer to the strength of the connection between nodes. The deep learning process can also be seen as a process of finding appropriate weights.
한편, 인공신경망의 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정함으로써 이루어질 수 있다. 또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트시킬 수 있다.Meanwhile, learning of an artificial neural network can be accomplished by adjusting the weight of the connection lines between nodes to produce a desired output for a given input. Additionally, artificial neural networks can continuously update weight values through learning.
서버제어부(430)는 객체의 위험상황인 것으로 인지하면 서버통신부(410)를 통해 사용자단말(500) 및/또는 유관기관 서버(미도시)로 알림을 전송할 수도 있다.If the
도 5는 본 발명의 실시예에 따른 열화상 카메라에서 획득된 열화상 영상이 표시된 예시도이다.Figure 5 is an example diagram showing a thermal image obtained from a thermal imaging camera according to an embodiment of the present invention.
도 5를 참조하면, 열화상 카메라(100)에 의해 획득된 객체의 열화상 영상은 열화상 카메라(100)에 유무선으로 연결된 디스플레이에 표시될 수 있다.Referring to FIG. 5 , a thermal image of an object acquired by the
열화상 영상이 디스플레이에 표시될 때 객체의 부위별 온도에 따른 색상이 표시될 수 있다. 온도가 높은 부위와 낮은 부위는 다른 색상으로 표시될 수 있다.When a thermal image is displayed on a display, colors depending on the temperature of each part of the object may be displayed. Areas with high and low temperatures may be displayed in different colors.
도 5에 예시된 열화상 영상 중 (a)는 사람이 손을 드는 행동, (b)는 사람이 의자에 앉아 있는 행동, (c)는 사람이 바닥에 앉아 있는 행동을 나타낸다. Among the thermal image images illustrated in Figure 5, (a) represents a person raising a hand, (b) represents a person sitting on a chair, and (c) represents a person sitting on the floor.
서버제어부(430)는 열화상 영상에서 객체의 부위별 온도에 따른 색상에 대응하는 수치를 이용하여 객체의 행동을 감지할 수 있다.The
도 6a 및 도 6b는 본 발명의 실시예에 따른 열화상 영상에서 객체의 부위별 온도를 색상값으로 변환하는 예시도이다.Figures 6a and 6b are examples of converting the temperature of each part of an object into a color value in a thermal image according to an embodiment of the present invention.
도 6a는 일례로 도 5의 (b)에 도시된 객체의 열화상 영상에 대해 열화상 영상을 구성하는 복수의 셀별 온도를 색상값으로 변환하는 예이다.FIG. 6A is an example of converting the temperature of a plurality of cells constituting the thermal image of the object shown in (b) of FIG. 5 into color values.
도 6b는 일례로 도 5의 (c)에 도시된 객체의 열화상 영상에 대해 열화상 영상을 구성하는 복수의 셀별 온도를 색상값으로 변환하는 예이다.FIG. 6B is an example of converting the temperature of a plurality of cells constituting the thermal image of the object shown in (c) of FIG. 5 into color values.
열화상 영상은 복수개의 셀로 구성될 수 있다. 그리고 각각의 셀마다 객체의 온도에 대응하는 색상이 표시될 수 있다. 온도가 다르면 다른 색상으로 표시되는 것이다. 셀에서 온도가 높을수록 상대적으로 더 밝은 색상으로 표시될 수 있다.A thermal image may consist of a plurality of cells. Additionally, a color corresponding to the temperature of the object may be displayed in each cell. Different temperatures are displayed in different colors. The higher the temperature in the cell, the relatively brighter the color may be displayed.
도면에 변환된 색상값은 객체의 온도에 대응하는 색상의 상대적인 밝기값이 될 수 있다. 즉, 온도가 높을수록 더 밝은 색상이 되고, 색상이 밝을수록 더 높은 밝기값이 설정될 수 있다.The color value converted to the drawing may be the relative brightness value of the color corresponding to the temperature of the object. That is, the higher the temperature, the brighter the color, and the brighter the color, the higher the brightness value can be set.
셀의 색상은 레드(R), 그린(G), 블루(B)의 조합으로 표시될 수 있다. R,G,B는 예컨대 각각 0~254 사이의 색상값을 가질 수 있으며, 이러한 색상값은 각 셀의 밝기값이 될 수 있다. 밝을수록 254에 가깝고, 어두울수록 0에 가깝다.The color of the cell can be displayed as a combination of red (R), green (G), and blue (B). For example, R, G, and B can each have color values between 0 and 254, and these color values can be the brightness value of each cell. The brighter it is, the closer it is to 254, and the darker it is, the closer it is to 0.
색상의 밝기값은 임의의 범위로 설정할 수 있다. 본 실시예에서는 각 셀별로 색상의 밝기값을 0~100 레벨로 구분한다. The brightness value of the color can be set to an arbitrary range. In this embodiment, the color brightness value for each cell is classified into levels 0 to 100.
객체의 온도가 상대적으로 높은 부위에 대응하는 셀에서의 색상은 상대적으로 큰 밝기값이 설정되며, 반대로 객체의 온도가 상대적으로 낮은 부위에 대응하는 셀에서의 색상은 상대적으로 작은 밝기값이 설정되는 것이다.The color in the cell corresponding to the area where the temperature of the object is relatively high is set to a relatively large brightness value, and conversely, the color in the cell corresponding to the area where the temperature of the object is relatively low is set to a relatively small brightness value. will be.
도 6a 및 도 6b의 일례를 보면, 열화상 영상은 10×15개의 셀로 구성된다.Looking at the example of FIGS. 6A and 6B, the thermal image consists of 10×15 cells.
물론, 이는 일례에 불과하며, 열화상 카메라(100)의 성능, 열화상 영상의 해상도에 따라 M×N(M,N≥2인 정수)개의 셀로 구성될 수 있다.Of course, this is only an example, and may be composed of M×N (M, N ≥ 2 integer) cells depending on the performance of the
좌측에는 열화상 영상에 객체의 온도에 따라 밝기가 다른 색상이 표시되고, 우측에는 좌측의 열화상 영상에 대응하는 10×15개의 셀에서 객체의 부위에 대응하는 셀마다 온도를 색상의 밝기에 대응하는 밝기값으로 전환한 예가 도시된다.On the left, the thermal image displays colors with different brightness depending on the temperature of the object, and on the right, in the 10×15 cells corresponding to the thermal image on the left, the temperature corresponds to the brightness of the color for each cell corresponding to the object part. An example of conversion to a brightness value is shown.
도 6a에서는 가장 어두운 부위의 밝기값은 0이고 가장 밝은 부위의 밝기값은 81이다. 도 6b에서는 가장 어두운 부위의 밝기값은 0이고 가장 밝은 부위의 밝기값은 79이다.In Figure 6a, the brightness value of the darkest part is 0 and the brightness value of the brightest part is 81. In Figure 6b, the brightness value of the darkest part is 0 and the brightness value of the brightest part is 79.
이하에서, 도 6a 및 도 6b를 참조하여 본 발명에 따른 서버에서 객체의 행동 및 위험상황을 인지하는 동작을 설명한다. Below, the operation of recognizing object behavior and dangerous situations in the server according to the present invention will be described with reference to FIGS. 6A and 6B.
서버(400)에서 서버제어부(430)가 열화상 영상에서 관심영역을 추출할 수 있다. 관심영역은 객체의 특정 부위를 판단하기 위해 설정되는 영역이 될 수 있다. In the
본 실시예에서 관심영역이 객체의 상체가 될 수 있다, 바람직하게는 얼굴이 될 수 있다. 다른 실시예에서는 열화상 영상에서 가장 밝은 부위나 가장 밝은 부위와 그 주변 부위까지 포함된 영역이 될 수 있다.In this embodiment, the region of interest may be the upper body of the object, preferably the face. In another embodiment, it may be the brightest part of the thermal image, or an area including the brightest part and surrounding areas.
서버제어부(430)는 관심영역에서의 대표밝기값을 산출할 수 있다. 일 실시예에서, 관심영역이 하나의 셀에 대응되는 경우 그 셀의 밝기값을 대표밝기값으로 산출할 수 있다. 다른 실시예에서, 관심영역이 둘 이상의 셀에 해당되는 경우는 각 셀의 밝기값의 평균치를 대표밝기값으로 산출하거나, 또는 가장 높은 밝기값을 대표밝기값으로 산출할 수 있다.The
도 6a에서 열화상 영상에서 관심영역은 가장 밝은 M 영역이 될 수 있고, 이에 대응하는 셀에서의 관심영역은 M 영역에 대응되는 N 영역이 될 수 있다.In FIG. 6A, the region of interest in the thermal image may be the brightest M region, and the region of interest in the cell corresponding to this may be the N region corresponding to the M region.
N 영역에는 4개의 셀이 있으므로 N 영역의 대표밝기값은 4개의 셀의 밝기값의 평균값인 70.5(=(55+79+67+81)/4)이 될 수 있고, 또는 다르게는 4개의 셀 중 가장 큰 밝기값인 81이 대표밝기값이 될 수도 있다.Since there are 4 cells in the N area, the representative brightness value of the N area can be 70.5 (=(55+79+67+81)/4), which is the average value of the brightness values of the 4 cells, or alternatively, the 4 cells The largest brightness value, 81, may be a representative brightness value.
만약, 객체가 움직이지 않는다면 N 영역에서의 밝기값은 변하지 않을 것이고, 혹여 변하더라도 변화량은 작을 것이다.If the object does not move, the brightness value in area N will not change, and even if it changes, the amount of change will be small.
도 6a에서의 자세에서 도 6b의 자세로 객체가 움직이게 되면 관심영역은 N 영역에서 N' 영역으로 변경될 수 있다. 도 6b에서는 열화상 영상의 관심영역은 가장 밝은 M' 영역이 될 수 있고, 이에 대응하는 셀에서의 관심영역은 M' 영역에 대응되는 N' 영역이 되는 것이다.When the object moves from the posture in FIG. 6A to the posture in FIG. 6B, the region of interest may change from area N to area N'. In FIG. 6B, the region of interest in the thermal image may be the brightest M' region, and the region of interest in the cell corresponding to this may be the N' region corresponding to the M' region.
대표밝기값을 평균값으로 할 경우 N' 영역에서의 대표밝기값은 46이고, 대표밝기값을 가장 큰 밝기값으로 할 경우는 N' 영역에서의 대표밝기값은 71이 된다.When the representative brightness value is set as the average value, the representative brightness value in the N' area is 46, and when the representative brightness value is set as the largest brightness value, the representative brightness value in the N' area is 71.
서버제어부(430)는 관심영역이 N 영역에서 N' 영역으로 변하는 것을 감지하여 객체의 행동을 감지할 수 있으며, 객체의 위험상황도 감지할 수 있다.The
관심영역이 이동하게 되면 객체가 행동하게 됨을 감지할 수 있다. 즉, 객체의 얼굴이 N 영역에서 N' 영역으로 이동하게 되면 객체의 움직임이 발생한 것으로 감지할 수 있는 것이다.When the area of interest moves, the object's action can be detected. In other words, when the object's face moves from area N to area N', it can be detected that movement of the object has occurred.
한편, 서버제어부(430)는 관심영역의 이동에 따른 특징을 이용하여 객체의 위험상황 여부를 판단할 수 있다. Meanwhile, the
본 실시예에서, 서버제어부(430)는, (ⅰ)관심영역의 이동속도, (ⅱ)관심영역의 이동거리, (ⅲ)이전 관심영역의 대표밝기값의 변화속도, (ⅳ)이동된 관심영역의 대표밝기값의 지속시간을 이용하여 객체의 위험상황을 판단할 수 있다.In this embodiment, the
(ⅰ)관심영역의 이동속도(i) Movement speed of area of interest
객체에 위험상황이 발생하는 경우 일상적인 보통의 움직임에 비해 관심영역이 이동하는 속도는 상대적으로 빠를 수 있다. 예컨대, 객체가 갑자기 쓰러지거나 갑자기 주저앉는 경우 관심영역은 빠르게 이동할 것이다.When a dangerous situation occurs in an object, the speed at which the area of interest moves can be relatively fast compared to normal, everyday movement. For example, if an object suddenly falls or suddenly sits down, the region of interest will move quickly.
서버제어부(430)는 관심영역이 일정속도 이상으로 빠르게 이동하는 경우에는 위험상황으로 인지할 수 있다. 즉, 관심영역이 N 영역에서 N' 영역으로 이동하는 속도가 기설정된 제1기준치 이상이면(제1조건), 객체에 위험상황이 발생한 것으로 인지할 수 있다.The
(ⅱ)관심영역의 이동거리(ii) Movement distance of area of interest
또한, 객체에 위험상황이 발생하는 경우 일상적인 보통의 움직임에 비해 관심영역의 이동거리가 상대적으로 길 수 있다. 예컨대, 객체가 서 있다가 갑자기 쓰러지는 경우 처음의 관심영역(예:N영역)에서 이동한 관심영역(예:N'영역) 간의 거리는 커진다.Additionally, when a dangerous situation occurs in an object, the moving distance of the area of interest may be relatively long compared to normal, everyday movement. For example, when an object suddenly falls while standing, the distance between the initial area of interest (e.g. area N) and the moved area of interest (e.g. area N') increases.
서버제어부(430)는 관심영역 간의 이동거리가 일정거리 이상일 경우에는 위험상황으로 인지할 수 있다. 즉, 관심영역이 N 영역에서 N' 영역으로 이동한 거리가 기설정된 제2기준치 이상이면(제2조건), 객체에 위험상황이 발생한 것으로 인지할 수 있다.The
(ⅲ)이전 관심영역의 대표밝기값의 변화속도(iii) Speed of change of representative brightness value of previous area of interest
또한, 객체에 위험상황이 발생하면 관심영역은 빠르게 이동할 수 있다. 도 6a 및 도 6b의 예시와 같이, 객체가 서 있다가 주저 앉는 경우 관심영역은 N 영역에서 N' 영역으로 이동한다. Additionally, if a dangerous situation occurs in an object, the area of interest can move quickly. As in the example of FIGS. 6A and 6B, when an object stands and then falls down, the region of interest moves from area N to area N'.
대표밝기값을 밝기값이 가장 큰 값으로 하는 경우, 객체가 서 있는 도 6a에서는 관심영역인 N 영역의 대표밝기값은 81이다. 객체가 주저 앉은 도 6b에서는 관심영역이 N' 영역으로 이동함으로써, 직전에 관심영역이었던 N 영역의 대표밝기값은 8이 된다. When the representative brightness value is set as the value with the largest brightness value, the representative brightness value of area N, which is the area of interest, in Figure 6a where the object is standing is 81. In Figure 6b, where the object is sitting down, the area of interest moves to area N', and the representative brightness value of area N, which was the area of interest just before, becomes 8.
N 영역은 관심영역일 때는 대표밝기값이 81이었다가 갑자기 8로 변하게 된 것이다. 이는 객체의 움직임이 있었다는 것이며, 객체에 위험상황이 발생하면 그 움직임은 빨라진다. When area N was an area of interest, the representative brightness value was 81, but suddenly changed to 8. This means that there was movement of the object, and when a dangerous situation occurs in the object, the movement becomes faster.
서버제어부(430)는 관심영역에서의 대표밝기값이 일정속도 이상으로 빨라짐을 감지하여 객체의 위험상황을 인지할 수 있다. 즉, 관심영역이었던 N 영역에서 대표밝기값의 변화속도가 기설정된 제3기준치 이상이면(제3조건), 객체에 위험상황이 발생한 것으로 인지할 수 있다. The
바람직하게는, 관심영역에서 대표밝기값의 감속속도가 제3기준치 이상이면 객체에 위험상황이 발생한 것으로 인지할 수 있다. Preferably, if the deceleration speed of the representative brightness value in the area of interest is greater than or equal to the third standard value, it can be recognized that a dangerous situation has occurred in the object.
(ⅳ)이동된 관심영역의 대표밝기값의 지속시간(iv) Duration of representative brightness value of the moved region of interest
한편, 제1,2,3조건은 객체에 위험상황이 발생한 경우뿐만 아니라 객체가 다른 목적에 의해 빠르게 움직이는 경우에도 발생될 수 있다. 예컨대, 객체가 앉았다 일어나는 운동을 빠르게 하는 경우에도 제1,2,3조건 중 어느 하나가 만족할 수도 있다. 이 경우에는 객체의 위험상황 인지에 대한 신뢰성이 저하될 우려가 있다.Meanwhile,
이에, 본 발명에서는 변경된 관심영역에서 대표밝기값의 지속시간을 이용함으로써 객체에 위험상황이 발생하였는지를 판단하는데 신뢰성을 높일 수 있다.Accordingly, in the present invention, reliability can be increased in determining whether a dangerous situation has occurred in an object by using the duration of the representative brightness value in the changed area of interest.
즉, 이동된 관심영역의 대표밝기값이 일정시간 이상 지속된다는 것은 객체의 움직임이 있은 후 일정시간 이상 움직임이 없다는 것을 의미할 수 있다. In other words, the fact that the representative brightness value of the moved region of interest persists for more than a certain period of time may mean that there is no movement for more than a certain period of time after the object moves.
예컨대, 사람이 서 있다가 쓰러지게 되면 관심영역이 위에 있다가 아래로 이동할 수 있다. 관심영역이 아래로 이동한 이후에, 이동된 관심영역에서 대표밝기값의 변화가 없거나 또는 일정시간 이상 대표밝기값이 지속된다면 객체에 움직임이 없다는 것을 의미할 수 있다. 이는 객체에 위험상황이 될 수 있다.For example, if a person falls from standing, the area of interest may move from above to below. After the region of interest moves downward, if there is no change in the representative brightness value in the moved region of interest or if the representative brightness value persists for more than a certain period of time, it may mean that there is no movement in the object. This can be a dangerous situation for the object.
따라서, 서버제어부(430)는 이동된 관심영역에서의 대표밝기값이 일정시간 이상 지속되는지 판단하여 객체의 위험상황을 인지할 수 있다. 즉, 이동된 관심영역인 N' 영역에서 대표밝기값이 지속되는 시간이 기설정된 제4기준치 이상이면(제4조건), 객체에 위험상황이 발생한 것으로 인지할 수 있다. Accordingly, the
한편, 본 발명에서 서버(400)는 제1,2,3,4조건 중 적어도 하나의 조건을 만족하면 객체에 위험상황이 발생한 것으로 인지할 수 있다.Meanwhile, in the present invention, the
또는 다르게는, 서버(400)는 제1,2,3조건 중 적어도 하나의 조건과 제4조건을 동시에 만족하는 경우에 객체에 위험상황이 발생한 것으로 인지할 수 있다.Alternatively, the
예컨대 객체가 쓰러져서 움직이지 못하는 경우는 제4조건을 만족하게 되므로 이 경우에 객체에 위험상황이 발생한 것으로 판단한다면 정확성이 향상될 것이다.For example, if an object falls and cannot move, the fourth condition is satisfied, so if it is determined that a dangerous situation has occurred in the object in this case, accuracy will be improved.
하지만, 제1,2,3조건 중 적어도 어느 한 조건만 만족하더라도 객체의 위험상황을 판단한다면 빠른 판단이 일어날 수 있을 것이다.However, if at least one of the first, second, and third conditions is satisfied, a quick decision can be made if the dangerous situation of the object is determined.
따라서, 열화상 카메라(100)가 설치되는 장소와 객체의 행동 특성에 맞게 제1-4조건을 적절하게 조합하여 객체의 위험상황 여부를 판단할 수 있다.Therefore, it is possible to determine whether the object is in a dangerous situation by appropriately combining the first to fourth conditions according to the location where the
도 7은 본 발명의 실시예에 따른 열화상 영상을 이용하여 객체의 행동을 감지하는 과정을 보여주는 흐름도이다.Figure 7 is a flowchart showing the process of detecting the behavior of an object using a thermal image according to an embodiment of the present invention.
도 7을 참조하면, 본 발명에 따른 객체 행동 감지 방법은, 복수의 공간에 각각 설치된 열화상 카메라(100)에 의해 객체의 열화상 영상을 획득한다(S101). 열화상 영상의 획득은 실시간 또는 설정주기로 이루어질 수 있다.Referring to FIG. 7, the object behavior detection method according to the present invention acquires a thermal image of the object by
열화상 카메라(100)는 각각 획득된 열화상 영상을 메시 와이파이 통신을 통해 게이트웨이(200)와 연결된 특정 열화상 카메라(100)로 전송한다(S102).The
특정 열화상 카메라(100)는 자신이 획득한 열화상 영상과 다른 열화상 카메라(100)로부터 전송받은 열화상 영상을 게이트웨이(200) 및 네트워크(300)를 통해 서버(400)로 전송한다(S103).A specific
서버(400)는 수신된 열화상 영상을 분석하여(S104), 상기 제1,2,3,4조건 중 적어도 한 조건이 발생하는지를 판단한다(S105).The
서버(400)는 제1-4조건 중 적어도 한 조건이 발생하면 객체에 위험상황이 발생한 것으로 인지하고(S106), 상기 조건이 발생하지 않으면 다시 S101 단계로 진행하여 이후 과정을 반복할 수 있다. If at least one of the first to fourth conditions occurs, the
서버(400)는 객체의 위험상황 발생을 사용자단말(500) 및/또는 유관기관 서버로 전송할 수 있다(S107).The
이상에서 설명한 바와 같이, 본 발명에서는 열화상 카메라에서 객체에 대한 열화상 영상을 촬영하고, 서버에서 열화상 영상을 수신하여 분석함으로써 객체의 위험상황 여부를 판단할 수 있다. 또한, 본 발명에서는 복수의 열화상 카메라가 메시 와이파이 통신으로 상호간에 통신이 가능하므로 모든 열화상 영상을 빠르게 모아서 서버로 전송할 수 있게 되어 처리속도가 빨라지는 장점이 있다. As described above, in the present invention, it is possible to determine whether an object is in danger by capturing a thermal image of an object with a thermal imaging camera and receiving and analyzing the thermal image from a server. In addition, in the present invention, since a plurality of thermal imaging cameras can communicate with each other through mesh Wi-Fi communication, all thermal imaging images can be quickly collected and transmitted to the server, which has the advantage of faster processing speed.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.Although embodiments of the present invention have been described above with reference to the attached drawings, the present invention is not limited to the above embodiments and can be manufactured in various different forms, and can be manufactured in various different forms by those skilled in the art. It will be understood by those who understand that the present invention can be implemented in other specific forms without changing its technical spirit or essential features. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive.
100 : 열화상 카메라 200 : 게이트웨이
300 : 네트워크 400 : 서버
500 : 사용자단말100: thermal imaging camera 200: gateway
300: Network 400: Server
500: User terminal
Claims (12)
상기 열화상 카메라로부터 열화상 영상을 수신하고 상기 수신된 열화상 영상을 분석하여 객체의 위험상황을 판단하는 서버를 포함하고,
상기 서버는,
상기 열화상 영상에서 관심영역을 추출하고, 상기 열화상 영상을 구성하는 복수의 셀에서의 객체의 온도에 따른 색상에 대응하는 밝기값을 설정하여 상기 관심영역에서의 대표밝기값을 산출하고, (ⅰ)상기 관심영역의 이동속도, (ⅱ)상기 관심영역의 이동거리, (ⅲ)직전 관심영역의 대표밝기값의 변화속도, (ⅳ)현재 이동된 관심영역의 대표밝기값의 지속시간 중 적어도 하나를 이용하여 상기 객체의 위험상황 여부를 판단하는 객체 행동 감지 시스템.A thermal imaging camera that includes a communication module and is installed in each of a plurality of spaces and acquires thermal imaging images of objects in the installed spaces;
It includes a server that receives a thermal image from the thermal image camera and analyzes the received thermal image to determine a dangerous situation of the object,
The server is,
Extract a region of interest from the thermal image, set a brightness value corresponding to the color according to the temperature of the object in a plurality of cells constituting the thermal image, and calculate a representative brightness value in the region of interest, ( At least one of i) the moving speed of the region of interest, (ii) the moving distance of the region of interest, (iii) the change rate of the representative brightness value of the immediately previous region of interest, and (iv) the duration of the representative brightness value of the currently moved region of interest. An object behavior detection system that determines whether the object is in danger or not.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220089028A KR102636116B1 (en) | 2022-07-19 | 2022-07-19 | System for detecting action of object by using infrared thermography image |
PCT/KR2022/013087 WO2024019220A1 (en) | 2022-07-19 | 2022-09-01 | Object behavior detection system using thermal imaging |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220089028A KR102636116B1 (en) | 2022-07-19 | 2022-07-19 | System for detecting action of object by using infrared thermography image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20240011512A true KR20240011512A (en) | 2024-01-26 |
KR102636116B1 KR102636116B1 (en) | 2024-02-13 |
Family
ID=89617994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220089028A KR102636116B1 (en) | 2022-07-19 | 2022-07-19 | System for detecting action of object by using infrared thermography image |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102636116B1 (en) |
WO (1) | WO2024019220A1 (en) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101837027B1 (en) * | 2017-09-25 | 2018-03-09 | 건국대학교 산학협력단 | Device and method for tracking object using superpixel based on thermal image |
KR101852057B1 (en) * | 2017-11-23 | 2018-04-25 | 주식회사 아이티아이비전 | unexpected accident detecting system using images and thermo-graphic image |
KR101916631B1 (en) | 2018-05-30 | 2018-11-08 | 이운명 | Fall Sensing Device Having Thermal Camera |
KR101927220B1 (en) | 2016-09-30 | 2018-12-11 | (주)혜진시스 | Method and Apparatus for Detecting Object of Interest By Using Infrared Thermography Image |
KR102052883B1 (en) | 2017-05-19 | 2019-12-10 | 한국과학기술원 | Prediction system using a thermal imagery camera and fall prediction method using a thermal imagery camera |
KR102054213B1 (en) * | 2017-11-24 | 2019-12-10 | 연세대학교산학협력단 | Respiratory measurement system using thermovision camera |
KR102199020B1 (en) * | 2020-05-08 | 2021-01-06 | 성균관대학교산학협력단 | Ceiling aihealth monitoring apparatusand remote medical-diagnosis method using the same |
KR102295045B1 (en) * | 2021-03-03 | 2021-08-31 | 주식회사 누리온 | Gateway-based situation monitoring system |
-
2022
- 2022-07-19 KR KR1020220089028A patent/KR102636116B1/en active IP Right Grant
- 2022-09-01 WO PCT/KR2022/013087 patent/WO2024019220A1/en unknown
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101927220B1 (en) | 2016-09-30 | 2018-12-11 | (주)혜진시스 | Method and Apparatus for Detecting Object of Interest By Using Infrared Thermography Image |
KR102052883B1 (en) | 2017-05-19 | 2019-12-10 | 한국과학기술원 | Prediction system using a thermal imagery camera and fall prediction method using a thermal imagery camera |
KR101837027B1 (en) * | 2017-09-25 | 2018-03-09 | 건국대학교 산학협력단 | Device and method for tracking object using superpixel based on thermal image |
KR101852057B1 (en) * | 2017-11-23 | 2018-04-25 | 주식회사 아이티아이비전 | unexpected accident detecting system using images and thermo-graphic image |
KR102054213B1 (en) * | 2017-11-24 | 2019-12-10 | 연세대학교산학협력단 | Respiratory measurement system using thermovision camera |
KR101916631B1 (en) | 2018-05-30 | 2018-11-08 | 이운명 | Fall Sensing Device Having Thermal Camera |
KR102199020B1 (en) * | 2020-05-08 | 2021-01-06 | 성균관대학교산학협력단 | Ceiling aihealth monitoring apparatusand remote medical-diagnosis method using the same |
KR102295045B1 (en) * | 2021-03-03 | 2021-08-31 | 주식회사 누리온 | Gateway-based situation monitoring system |
Also Published As
Publication number | Publication date |
---|---|
KR102636116B1 (en) | 2024-02-13 |
WO2024019220A1 (en) | 2024-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10909355B2 (en) | Systems and methods for efficient face recognition | |
JP7460798B2 (en) | Smart livestock management system and method | |
CN103493112A (en) | Infrared sensor systems and methods | |
CN103815912A (en) | Real-time monitoring method for falling behaviors of old people living alone on basis of thermal infrared sensor array | |
KR101709715B1 (en) | Control and monitoring apparatus based internet of things using a camera | |
CN110197732B (en) | Remote health monitoring system, method and equipment based on multiple sensors | |
CN111707375B (en) | Electronic class card with intelligent temperature measurement attendance and abnormal behavior detection functions | |
KR102212773B1 (en) | Apparatus for video surveillance integrated with body temperature measurement and method thereof | |
KR102241254B1 (en) | Slope real-time unmanned monitoring system with power condition management function | |
US20210383664A1 (en) | Intrusion detection methods and devices | |
CN109074721A (en) | System and method for multiple-sensor system | |
EP4226659A1 (en) | Sleep monitoring based on wireless signals received by a wireless communication device | |
CN108737785A (en) | Indoor tumble automatic checkout system based on TOF 3D video cameras | |
KR102636116B1 (en) | System for detecting action of object by using infrared thermography image | |
CN212061390U (en) | Electronic fence monitoring system based on infrared temperature measurement information extraction | |
CN115803792A (en) | Control device, network, method and computer program for controlling presence detection using radio frequency sensing in a network | |
KR20150083614A (en) | Visitor supervisory apparatus and system for notification service of visitor information having the same, and method thereof | |
KR102564300B1 (en) | System for Preventing Violence School Using Body Temperature and Behavior Pattern | |
KR102395440B1 (en) | Cloud-based building management system and method thereof | |
Khedkar | Wireless Intruder Detection System for Remote Locations | |
KR102412270B1 (en) | Systen for preventing indoor human casualties | |
Feller et al. | Tracking and imaging humans on heterogeneous infrared sensor array for tactical applications | |
KR102213859B1 (en) | Monitoring system using mobile monitoring device | |
CN114594692A (en) | Intelligent household control system based on mobile phone terminal and Internet of things | |
KR20100044970A (en) | Behavior monitoring system and method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |