KR102249123B1 - Eyelid detection device, Display device auto-off system for silver generation, and control method thereof - Google Patents

Eyelid detection device, Display device auto-off system for silver generation, and control method thereof Download PDF

Info

Publication number
KR102249123B1
KR102249123B1 KR1020180070120A KR20180070120A KR102249123B1 KR 102249123 B1 KR102249123 B1 KR 102249123B1 KR 1020180070120 A KR1020180070120 A KR 1020180070120A KR 20180070120 A KR20180070120 A KR 20180070120A KR 102249123 B1 KR102249123 B1 KR 102249123B1
Authority
KR
South Korea
Prior art keywords
iot
eyelid
display device
face
module
Prior art date
Application number
KR1020180070120A
Other languages
Korean (ko)
Other versions
KR20190142886A (en
Inventor
김종남
Original Assignee
김종남
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김종남 filed Critical 김종남
Priority to KR1020180070120A priority Critical patent/KR102249123B1/en
Publication of KR20190142886A publication Critical patent/KR20190142886A/en
Application granted granted Critical
Publication of KR102249123B1 publication Critical patent/KR102249123B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G06K9/00885—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 실버 세대를 위한 눈꺼풀 감지 장치, 디스플레이장치 자동 꺼짐 시스템, 그리고 이의 제어 방법에 관한 것이다. 본 발명은, IoT 디스플레이 장치(100)의 전원 입력에 따라 IoT 디스플레이 장치(100)가 IoT AP(300)의 요청에 따라 눈꺼풀 감지 장치(200)와의 IoT AP(300)의 중계 설정에 따른 IoT 자동 꺼짐 데이터 채널 설정을 완료하는 제 1 단계; 눈꺼풀 감지 장치(200)가 감지용 카메라 렌즈(210)의 화각 범위에 신체의 얼굴에 대한 인식을 수행하는 제 2 단계; 및 눈꺼풀 감지 장치(200)가 신체의 얼굴 중 눈꺼풀에 대한 분석을 통해 수면 상태인 경우, IoT AP(300)를 통해 IoT 디스플레이 장치(100)에 대한 외부 전원 입력 차단을 제어하는 제 3 단계; 를 포함하는 것을 특징으로 한다.
이에 의해, 디스플레이 장치를 향해서 눈꺼풀 감지 장치의 전원을 작동시켜 놓으면 영상 인식과 같은 센싱을 통해 디스플레이 장치를 보는 고령자의 눈꺼풀을 감지해서 5분과 같이 미리 설정된 시간 눈꺼풀이 움직이지 않으면 자동으로 디스플레이 장치의 전원을 차단할 수 있는 효과를 제공한다.
또한, 본 발명은, 실버 세대가 있는 가정에서는 많이 겪는 일로, 디스플레이 장치를 보다가 잠이 드는 고령자만을 위한 자동 전원 차단을 통한 전력 낭비와 숙면을 위해 도움을 줄 수 있는 효과를 제공한다.
뿐만 아니라, 본 발명은, 취침등과 공기 정화기 등을 IoT를 기반을 연계하여 취침을 위한 디스플레이 장치의 전원 오프(OFF)의 경우 함께 수면에 최적화된 기능 동작이 가능한 효과를 제공한다. The present invention relates to an eyelid detection device, a display device auto-off system, and a control method thereof for the silver generation. In the present invention, the IoT display device 100 according to the power input of the IoT display device 100 is automatically IoT according to the relay setting of the IoT AP 300 with the eyelid detection device 200 at the request of the IoT AP 300 A first step of completing setting of an off data channel; A second step of performing, by the eyelid detection apparatus 200, recognizing a face of a body in a field of view of the camera lens 210 for detection; And a third step of controlling an external power input to the IoT display device 100 through the IoT AP 300 when the eyelid detection device 200 is in a sleep state through analysis of an eyelid among the body's faces. It characterized in that it comprises a.
Accordingly, when the power of the eyelid detection device is turned on toward the display device, the eyelid of the elderly who sees the display device is sensed through sensing such as image recognition, and if the eyelid does not move for a preset time such as 5 minutes, the display device is automatically powered. It provides an effect that can block.
In addition, the present invention provides an effect that can help to waste power and sleep a good night through automatic power off only for elderly people who fall asleep while watching a display device, which is a common occurrence in homes with a silver generation.
In addition, the present invention provides an effect of enabling a sleep-optimized function operation in the case of power-off of a display device for sleeping by linking a sleeping lamp and an air purifier based on IoT.

Description

실버 세대를 위한 눈꺼풀 감지 장치, 디스플레이장치 자동 꺼짐 시스템, 그리고 이의 제어 방법{Eyelid detection device, Display device auto-off system for silver generation, and control method thereof} Eyelid detection device, display device auto-off system for silver generation, and control method thereof

본 발명은 실버 세대를 위한 눈꺼풀 감지 장치, 디스플레이장치 자동 꺼짐 시스템, 그리고 이의 제어 방법에 관한 것으로, 보다 구체적으로는, 디스플레이 장치 앞에 스마트폰 충전기 크기 정도의 눈꺼풀 감지 장치를 설치해 놓고, 눈꺼풀이 미리 설정된 시간으로 약 5분 정도까지 움직이지 않으면 눈꺼풀 감지 감지기가 작동하여 디스플레이 장치의 전원을 자동 차단하도록 하기 위한 실버 세대를 위한 눈꺼풀 감지 장치, 디스플레이장치 자동 꺼짐 시스템, 그리고 이의 제어 방법에 관한 것이다. The present invention relates to an eyelid detection device, a display device auto-off system, and a control method thereof for the silver generation, and more specifically, an eyelid detection device about the size of a smartphone charger is installed in front of the display device, and the eyelid is preset. It relates to an eyelid detection device for the silver generation, a display device auto-off system, and a control method for the silver generation in order to automatically turn off the power of the display device by operating the eyelid detection detector if it does not move for about 5 minutes.

고령자는 쇼파, 의자 등에 앉아 TV 등의 모니터 장치 등을 보거나, 방에서 누워서 TV를 보다가 조는 경우가 심심치 않게 발생한다.Elderly people sit on a sofa or a chair and watch monitor devices such as a TV, or lie down in a room and sleep while watching TV.

이와 같이 디스플레이 장치를 켜놓고 졸거나 잠이 드는 경우 전력 낭비와, 수면중에 전자파로 인해 건강에 좋지 않은 영향이 발생할 수 있다. In this way, when the display device is turned on and sleeps or falls asleep, power wasted and electromagnetic waves during sleep may adversely affect health.

이에 따라 해당 기술분야에 있어서는 디스플레이 장치 앞에 스마트폰 충전기 크기 정도의 눈꺼풀 감지 장치를 설치해 놓고, 눈꺼풀이 미리 설정된 시간으로 약 5분 정도까지 움직이지 않으면 눈꺼풀 감지 감지기가 작동하여 디스플레이 장치의 전원을 자동 차단함으로써, 전원 낭비를 막을 뿐만 아니라, 노령자의 숙면에 도움을 주도록 하기 위한 기술개발이 요구되고 있다.Accordingly, in the relevant technical field, an eyelid detection device about the size of a smartphone charger is installed in front of the display device, and if the eyelid does not move for about 5 minutes at a preset time, the eyelid detection detector operates and automatically shuts off the power of the display device. By doing so, there is a demand for technology development to not only prevent waste of power, but also help the elderly to sleep well.

대한민국 특허출원 출원번호 제10-2008-0040670호 "TV 전원차단 및 PC 원격제어가 가능한 인터넷기반의 시큐리티 공유기(TV Power cut-off & PC remote control for internet foundation of security joint device)"Korean Patent Application No. 10-2008-0040670 "TV Power cut-off & PC remote control for internet foundation of security joint device" 대한민국 특허출원 출원번호 제10-1997-0006494호 "대화형 TV단말기의 전원자동 차단 방법(AUTOMATIC MAIN POWER OFF METHOD OF MULTI TELEVISION)"Korean Patent Application No. 10-1997-0006494 "Automatic MAIN POWER OFF METHOD OF MULTI TELEVISION"

본 발명은 상기의 문제점을 해결하기 위한 것으로, 디스플레이 장치를 향해서 눈꺼풀 감지 장치의 전원을 작동시켜 놓으면 영상 인식과 같은 센싱을 통해 디스플레이 장치를 보는 고령자의 눈꺼풀을 감지해서 5분과 같이 미리 설정된 시간 눈꺼풀이 움직이지 않으면 자동으로 디스플레이 장치의 전원을 차단하도록 하기 위한 실버 세대를 위한 눈꺼풀 감지 장치, 디스플레이장치 자동 꺼짐 시스템, 그리고 이의 제어 방법을 제공하기 위한 것이다.The present invention is to solve the above problem, and when the power of the eyelid detection device is turned on toward the display device, the eyelid of the elderly who sees the display device is sensed through sensing such as image recognition, It is to provide an eyelid detection device for the silver generation, an automatic turn-off system for the display device, and a control method thereof for automatically shutting off the power of the display device if it does not move.

또한, 본 발명은 실버 세대가 있는 가정에서는 많이 겪는 일로, 디스플레이 장치를 보다가 잠이 드는 고령자만을 위한 자동 전원 차단을 통한 전력 낭비와 숙면을 위해 도움을 주도록 하기 위한 실버 세대를 위한 눈꺼풀 감지 장치, 디스플레이장치 자동 꺼짐 시스템, 그리고 이의 제어 방법을 제공하기 위한 것이다.In addition, the present invention is an eyelid detection device for the silver generation to help for a good night's sleep and power waste through automatic power off only for the elderly who fall asleep while watching the display device, which is a common occurrence in homes with the silver generation, It is to provide a display device auto-off system, and a control method thereof.

또한, 본 발명은 취침등과 공기 정화기 등을 IoT를 기반을 연계하여 취침을 위한 디스플레이 장치의 전원 오프(OFF)의 경우 함께 수면에 최적화된 기능 동작이 가능하도록 하기 위한 실버 세대를 위한 눈꺼풀 감지 장치, 디스플레이장치 자동 꺼짐 시스템, 그리고 이의 제어 방법을 제공하기 위한 것이다.In addition, the present invention is an eyelid detection device for the silver generation to enable a sleep-optimized function operation in case of power-off of a display device for sleeping by linking a sleeping light and an air purifier based on IoT. It is to provide a display device auto-off system, and a control method thereof.

그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 디스플레이장치 자동 꺼짐 제어 방법은, IoT 디스플레이 장치(100)의 전원 입력에 따라 IoT 디스플레이 장치(100)가 IoT AP(300)의 요청에 따라 눈꺼풀 감지 장치(200)와의 IoT AP(300)의 중계 설정에 따른 IoT 자동 꺼짐 데이터 채널 설정을 완료하는 제 1 단계; 눈꺼풀 감지 장치(200)가 감지용 카메라 렌즈(210)의 화각 범위에 신체의 얼굴에 대한 인식을 수행하는 제 2 단계; 및 눈꺼풀 감지 장치(200)가 신체의 얼굴 중 눈꺼풀에 대한 분석을 통해 수면 상태인 경우, IoT AP(300)를 통해 IoT 디스플레이 장치(100)에 대한 외부 전원 입력 차단을 제어하는 제 3 단계; 를 포함하는 것을 특징으로 한다.In order to achieve the above object, in the method for controlling automatic turn-off of the display device according to an embodiment of the present invention, according to the power input of the IoT display device 100, the IoT display device 100 A first step of completing setting of an IoT auto-off data channel according to a relay setting of the IoT AP 300 with the sensing device 200; A second step of performing, by the eyelid detection device 200, recognizing a face of a body in a field of view of the camera lens 210 for detection; And a third step of controlling an external power input to the IoT display device 100 through the IoT AP 300 when the eyelid detection device 200 is in a sleep state through analysis of an eyelid among the body's faces. It characterized in that it comprises a.

이때, 상기 제 3 단계 이후, IoT AP(300)가 IoT 디스플레이 장치(100)에 대한 외부 전원 입력 차단을 확인한 뒤, 안테나겸 무드등(310)의 전원을 자동으로 온(ON) 상태로 설정하는 제 4 단계; 를 더 포함하는 것을 특징으로 한다.At this time, after the third step, after the IoT AP 300 confirms that the external power input to the IoT display device 100 is cut off, the power of the antenna and mood lamp 310 is automatically set to the ON state. The fourth step; It characterized in that it further comprises.

또한, 상기 제 4 단계 이후, IoT AP(400)가 IoT 공기청정기(400)에 대한 수면 모드 제어 명령을 전송하는 제 5 단계; 를 더 포함하는 것을 특징으로 한다.In addition, after the fourth step, the IoT AP 400 transmits a sleep mode control command to the IoT air purifier 400; It characterized in that it further comprises.

또한, 상기 제 2 단계는, 눈꺼풀 감지 장치(200)가 화각 범위 내에 얼굴에 대한 인식되는지를 판단하기 위해 화각 범위 내에 얼굴이 인식되지 않은 경우 IoT 디스플레이 장치(100)로 IoT AP(300)를 통해 조절 명령 출력을 요청한 뒤, 화각 범위 내 인식 수행 과정을 반복적으로 수행하는 것을 특징으로 한다.In addition, in the second step, in order to determine whether the eyelid detection device 200 recognizes a face within the field of view, when a face is not recognized within the field of view, the IoT display device 100 is sent to the IoT AP 300 through the IoT AP 300. After requesting the output of the adjustment command, it is characterized in that a process of performing recognition within a field of view is repeatedly performed.

또한, 상기 제 3 단계는, 화각 범위 내에 얼굴이 인식된 경우, 눈꺼풀 감지 장치(200)가 연령대 분석을 통해 미리 설정된 연령대에 해당하는지를 분석한 뒤 미리 설정된 연령대인 경우 미리 설정된 시간 동안 눈꺼풀의 움직임 없음을 인식하는 것을 특징으로 한다.In addition, in the third step, when a face is recognized within the angle of view, the eyelid detection device 200 analyzes whether it corresponds to a preset age group through age group analysis, and then, in the case of a preset age group, there is no movement of the eyelid for a preset time. Characterized in that it recognizes.

상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 실버 세대를 위한 눈꺼풀 감지 장치는, IoT 디스플레이 장치(100)의 전원 입력에 따라 IoT 디스플레이 장치(100)가 IoT AP(300)의 요청에 따라 눈꺼풀 감지 장치(200)와의 IoT AP(300)의 중계 설정에 따른 IoT 자동 꺼짐 데이터 채널 설정을 완료하는 데이터 채널 설정 모듈(251); 감지용 카메라 렌즈(210)의 화각 범위에 신체의 얼굴에 대한 인식을 수행하는 얼굴 인식 및 분석 모듈(252); 신체의 얼굴 중 눈꺼풀에 대한 분석을 통해 수면 상태인지 분석하는 눈꺼풀 모니터링 모듈(254); 및 수면 상태인 경우 IoT AP(300)를 통해 IoT 디스플레이 장치(100)에 대한 외부 전원 입력 차단을 제어하는 수면 프로세스 제어 모듈(256); 을 포함하는 것을 특징으로 한다.In order to achieve the above object, the eyelid detection device for the silver generation according to an embodiment of the present invention, according to the power input of the IoT display device 100, the IoT display device 100 according to the request of the IoT AP (300). A data channel setting module 251 that completes setting of an IoT auto-off data channel according to a relay setting of the IoT AP 300 with the eyelid detection device 200; A face recognition and analysis module 252 that recognizes a face of a body in a field of view of the sensing camera lens 210; An eyelid monitoring module 254 that analyzes whether the body is in a sleeping state through analysis of the eyelids among the faces of the body; And a sleep process control module 256 for controlling external power input to the IoT display device 100 through the IoT AP 300 in the sleep state. It characterized in that it comprises a.

이때, 수면 프로세스 제어 모듈(256)은,IoT AP(300)을 통해 IoT 디스플레이 장치(100)에 대한 외부 전원 입력 차단을 확인한 뒤, 안테나겸 무드등(310)의 전원을 자동으로 온(ON) 상태로 설정하도록 제어하는 것을 특징으로 한다.At this time, the sleep process control module 256, after confirming that the external power input to the IoT display device 100 through the IoT AP 300 is cut off, automatically turns on the power of the antenna and mood lamp 310 It characterized in that the control to set the state.

또한, 수면 프로세스 제어 모듈(256)은, IoT AP(400)을 통해 IoT 공기청정기(400)에 대한 수면 모드 제어 명령을 전송하는 것을 특징으로 한다.In addition, the sleep process control module 256 is characterized by transmitting a sleep mode control command for the IoT air purifier 400 through the IoT AP 400.

또한, 본 발명은, 눈꺼풀 감지 장치(200)가 화각 범위 내에 얼굴에 대한 인식되는지를 판단하기 위해 화각 범위 내에 얼굴이 인식되지 않은 경우 IoT 디스플레이 장치(100)로 IoT AP(300)를 통해 조절 명령 출력을 요청한 뒤, 화각 범위 내 인식 수행이 완료되도록 하는 화각 설정 모듈(253); 을 더 포함하는 것을 특징으로 한다. In addition, in order to determine whether the eyelid detection device 200 recognizes a face within the field of view, the present invention commands the IoT display device 100 to control the face through the IoT AP 300 when a face is not recognized within the field of view. A field of view setting module 253 configured to request output and then complete recognition within the field of view; It characterized in that it further comprises.

또한, 눈꺼풀 모니터링 모듈(254)은, 화각 범위 내에 얼굴이 인식된 경우, 연령대 분석을 통해 미리 설정된 연령대에 해당하는지를 분석한 뒤 미리 설정된 연령대인 경우 미리 설정된 시간 동안 눈꺼풀의 움직임 없음을 인식하는 것을 특징으로 한다.In addition, the eyelid monitoring module 254, when a face is recognized within the angle of view, analyzes whether it corresponds to a preset age group through age group analysis, and then recognizes that there is no movement of the eyelid for a preset time in the case of a preset age group. It is done.

본 발명의 실시예에 따른 실버 세대를 위한 눈꺼풀 감지 장치, 디스플레이장치 자동 꺼짐 시스템, 그리고 이의 제어 방법은, 디스플레이 장치를 향해서 눈꺼풀 감지 장치의 전원을 작동시켜 놓으면 영상 인식과 같은 센싱을 통해 디스플레이 장치를 보는 고령자의 눈꺼풀을 감지해서 5분과 같이 미리 설정된 시간 눈꺼풀이 움직이지 않으면 자동으로 디스플레이 장치의 전원을 차단할 수 있는 효과를 제공한다. According to an embodiment of the present invention, the eyelid detection device, the display device automatic turn-off system, and the control method thereof for the silver generation according to an embodiment of the present invention are, when the power of the eyelid detection device is turned on toward the display device, the display device is operated through sensing such as image recognition. It detects the eyelids of the elderly to see and automatically turns off the power of the display device if the eyelids do not move for a preset time such as 5 minutes.

또한, 본 발명의 다른 실시예에 따른 실버 세대를 위한 눈꺼풀 감지 장치, 디스플레이장치 자동 꺼짐 시스템, 그리고 이의 제어 방법은, 실버 세대가 있는 가정에서는 많이 겪는 일로, 디스플레이 장치를 보다가 잠이 드는 고령자만을 위한 자동 전원 차단을 통한 전력 낭비와 숙면을 위해 도움을 줄 수 있는 효과를 제공한다. In addition, the eyelid detection device, the display device auto-off system, and the control method thereof for the silver generation according to another embodiment of the present invention are common in households with the silver generation, and only the elderly who fall asleep while watching the display device. It provides an effect that can help for a good night's sleep and power wasted through automatic power off.

뿐만 아니라, 본 발명의 다른 실시예에 따른 실버 세대를 위한 눈꺼풀 감지 장치, 디스플레이장치 자동 꺼짐 시스템, 그리고 이의 제어 방법은, 취침등과 공기 정화기 등을 IoT를 기반을 연계하여 취침을 위한 디스플레이 장치의 전원 오프(OFF)의 경우 함께 수면에 최적화된 기능 동작이 가능한 효과를 제공한다. In addition, the eyelid detection device, the display device auto-off system, and the control method thereof for the silver generation according to another embodiment of the present invention include a sleep lamp and an air purifier, etc. In the case of power off (OFF), it provides the effect of enabling a function that is optimized for sleep.

도 1은 본 발명의 실시예에 따른 실버 세대를 위한 디스플레이장치 자동 꺼짐 시스템(1)을 나타내는 도면이다.
도 2는 도 1의 실버 세대를 위한 디스플레이장치 자동 꺼짐 시스템(1) 중 눈꺼풀 감지 장치(200)의 외관을 나타내는 도면이다.
도 3은 도 1의 실버 세대를 위한 디스플레이장치 자동 꺼짐 시스템(1) 중 눈꺼풀 감지 장치(200)의 내·외부 구성요소를 나타내는 블록도이다.
도 4는 본 발명의 실시예에 따른 실버 세대를 위한 디스플레이장치 자동 꺼짐 제어 방법을 나타내는 흐름도이다. 1 is a diagram illustrating a system 1 for automatically turning off a display device for a silver generation according to an embodiment of the present invention.
FIG. 2 is a diagram showing the appearance of the eyelid detection device 200 of the display device automatic turn-off system 1 for the silver generation of FIG. 1.
FIG. 3 is a block diagram illustrating internal and external components of the eyelid detection device 200 of the display device automatic turn-off system 1 for the silver generation of FIG. 1.
4 is a flowchart illustrating a method of controlling automatic turn-off of a display device for a silver generation according to an embodiment of the present invention.

이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.Hereinafter, a detailed description of a preferred embodiment of the present invention will be described with reference to the accompanying drawings. In the following description of the present invention, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted.

본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.In the present specification, when one component'transmits' data or a signal to another component, the component can directly transmit the data or signal to the other component, and through at least one other component It means that data or signals can be transmitted to other components.

도 1은 본 발명의 실시예에 따른 실버 세대를 위한 디스플레이장치 자동 꺼짐 시스템(1)을 나타내는 도면이다. 도 2는 도 1의 실버 세대를 위한 디스플레이장치 자동 꺼짐 시스템(1) 중 눈꺼풀 감지 장치(200)의 외관을 나타내는 도면이다. 도 3은 도 1의 실버 세대를 위한 디스플레이장치 자동 꺼짐 시스템(1) 중 눈꺼풀 감지 장치(200)의 내·외부 구성요소를 나타내는 블록도이다. 1 is a diagram illustrating a system 1 for automatically turning off a display device for a silver generation according to an embodiment of the present invention. FIG. 2 is a diagram showing the appearance of the eyelid detection device 200 of the display device automatic turn-off system 1 for the silver generation of FIG. 1. FIG. 3 is a block diagram showing internal and external components of the eyelid detection device 200 of the display device automatic turn-off system 1 for the silver generation of FIG. 1.

도 1을 참조하면, 실버 세대를 위한 디스플레이장치 자동 꺼짐 시스템(1)은 IoT(Internet of Things, 사물인터넷) 디스플레이 장치(100), 눈꺼풀 감지 장치(200), IoT AP(300), IoT 공기청정기(400), IoT 생체 감지 장치(500)를 포함할 수 있다. Referring to FIG. 1, the display device auto-off system 1 for the silver generation includes an Internet of Things (IoT) display device 100, an eyelid detection device 200, an IoT AP 300, and an IoT air purifier. 400, may include an IoT biometric sensing device 500.

그리고, 도 2를 참조하면, 눈꺼풀 감지 장치(200)는 눈꺼풀 감지용 카메라 렌즈(210), 전원 장치 모듈(220), 스탠드(230), IoT 송수신부(240), 제어부(250), 저장부(260) 및 전원 어댑터(270)를 포함할 수 있다.And, referring to FIG. 2, the eyelid detection device 200 includes a camera lens 210 for eyelid detection, a power supply module 220, a stand 230, an IoT transmission/reception unit 240, a control unit 250, and a storage unit. 260 and a power adapter 270 may be included.

제어부(250)는 데이터 채널 설정 모듈(251), 얼굴 인식 및 분석 모듈(252), 화각 설정 모듈(253), 눈꺼풀 모니터링 모듈(254), 생체 인식 보완 모듈(255) 및 수면 프로세스 제어 모듈(256)을 포함할 수 있다. The controller 250 includes a data channel setting module 251, a face recognition and analysis module 252, a view angle setting module 253, an eyelid monitoring module 254, a biometrics supplement module 255, and a sleep process control module 256. ) Can be included.

데이터 채널 설정 모듈(251)은 IoT 디스플레이 장치(100)의 전원 입력에 따라 IoT 디스플레이 장치(100)에 의한 IoT AP(300)을 통한 요청에 따라 IoT AP(300) 중계 설정으로 IoT 디스플레이 장치(100)와 IoT 자동 꺼짐 데이터 채널 설정을 완료하도록 IoT 송수신부(240)를 제어할 수 있다. The data channel setting module 251 is configured to relay the IoT AP 300 according to a request through the IoT AP 300 by the IoT display device 100 according to the power input of the IoT display device 100. ) And the IoT auto-off data channel can be controlled to complete the setting of the IoT transceiver 240.

얼굴 인식 및 분석 모듈(252)은 감지용 카메라 렌즈(210)에 대한 제어를 통해 감지용 카메라 렌즈(210)가 향하고 있는 화각 범위에 신체의 얼굴에 대한 인식을 수행할 수 있다. The face recognition and analysis module 252 may recognize the face of the body in a field of view that the detection camera lens 210 is facing through control of the detection camera lens 210.

얼굴 인식 및 분석 모듈(252)은 감지용 카메라 렌즈(210)에 의해 촬영되는 영상정보에서 신체 중 얼굴을 판별할 수 있다. 이를 위해 저장부(260)에는 다양한 얼굴 패턴 또는 감지용 카메라 렌즈(210)에 의해 촬영된 영상 정보에서 얼굴 영역 추출을 통한 미리 설정된 얼굴 패턴이 얼굴 인식 및 분석 모듈(252)에 의해 저장되어 있는데, 얼굴 인식 및 분석 모듈(252)은 이러한 다양한 얼굴 패턴 자체 정보 또는 상기 다양한 얼굴 패턴의 기울어진 것, 역으로 된 것, 약간 각도가 기울어진 것, 얼굴의 일부 영역 등과 영상 정보에 포함된 얼굴의 패턴을 비교하여 영상정보 속의 얼굴을 판별할 수 있다. The face recognition and analysis module 252 may determine a face among the body from image information photographed by the sensing camera lens 210. To this end, in the storage unit 260, various face patterns or preset face patterns through facial region extraction from image information captured by the detection camera lens 210 are stored by the face recognition and analysis module 252. The face recognition and analysis module 252 includes information on the various face patterns or the inclined, inverted, slightly inclined, partial regions of the face, etc. of the various face patterns, and the facial patterns included in the image information. It is possible to determine a face in the image information by comparing.

한편, 동일한 방식으로, 얼굴 인식 및 분석 모듈(252)은 인식된 얼굴에서의 눈꺼풀을 분석할 수 있다. Meanwhile, in the same manner, the face recognition and analysis module 252 may analyze the eyelid of the recognized face.

화각 설정 모듈(253)은 화각 범위 내에 얼굴에 대한 전체 또는 일부가 인식되는지를 판단함으로써, 화각 범위 내에 얼굴이 인식되지 않은 경우 IoT 디스플레이 장치(100)로 IoT AP(300)를 통해 조절 명령 출력을 요청함으로써, IoT 디스플레이 장치(100)에 화각 조절 메시지를 출력하도록 할 수 있다.The angle of view setting module 253 determines whether all or part of the face is recognized within the field of view, and outputs an adjustment command to the IoT display device 100 through the IoT AP 300 when a face is not recognized within the field of view. By requesting, a message for adjusting the angle of view may be output to the IoT display device 100.

한편, 얼굴 인식 및 분석 모듈(252)은 화각 범위 내에서 얼굴 패턴 중 일부 영역만 추출되는 경우, 추출된 일부 영역이 화각 범위에서 좌측으로 심하게 편중되어 우측 얼굴만을 인식하되 우측 얼굴 상에서도 눈꺼풀 인식할 수 없게 촬영되는 경우, 우측 이동 명령과 함께 인식된 영상 정보에서 가운데 화소점을 중심으로 편중된 화소수 또는 우측 얼굴을 기준으로 눈꺼풀을 인식할 수 있도록 이동해야되는 화수소의 개수를 연산하고, 연산하고 연산된 화소수에 해당하는 이동 거리 정보를 함께 IoT 디스플레이 장치(100)로 IoT AP(300)를 통해 전송하도록 IoT 송수신부(240)를 제어할 수 있다. On the other hand, the face recognition and analysis module 252 recognizes only the right face but can recognize the eyelid even on the right face as the extracted partial area is heavily biased to the left in the field of view when only a partial area of the face pattern is extracted within the field of view. In the case of shooting without a right movement command, calculates, calculates, and calculates the number of pixels that need to be moved so that the eyelid can be recognized based on the center pixel point or the right face in the image information recognized with the right movement command. The IoT transceiving unit 240 may be controlled to transmit movement distance information corresponding to the number of pixels to the IoT display device 100 through the IoT AP 300.

다른 실시 예로, 얼굴 인식 및 분석 모듈(252)은 화각 범위 내에서 얼굴 패턴 중 일부 영역만 추출되는 경우, 추출된 일부 영역이 화각 범위에서 좌측으로 심하게 편중되어 각각 좌측, 상측, 하측 얼굴만을 인식하되 좌측, 상측, 하측 얼굴 상에서도 눈꺼풀 인식할 수 없게 촬영되는 경우, 좌측 이동 명령, 상측 이동 명령, 하측 이동 명령 각각과 함께 인식된 영상 정보에서 가운데 화소점을 중심으로 편중된 화소수 또는 좌측, 상측, 하측 얼굴을 기준으로 눈꺼풀을 인식할 수 있도록 이동해야되는 화수소의 개수를 연산하고, 연산하고 연산된 화소수에 해당하는 이동 거리 정보를 함께 IoT 디스플레이 장치(100)로 IoT AP(300)를 통해 전송하도록 IoT 송수신부(240)를 제어할 수 있다. In another embodiment, the face recognition and analysis module 252 recognizes only the left, upper, and lower faces, as the extracted partial regions are heavily skewed to the left in the field of view when only some of the face patterns are extracted within the field of view. If the eyelid is not recognizable even on the left, upper, or lower face, the number of pixels biased around the center pixel point in the image information recognized with the left movement command, the upward movement command, and the downward movement command, or the number of pixels on the left, upper, and lower sides, Calculates the number of pixels that need to be moved so that the eyelid can be recognized based on the lower face, calculates, and transmits movement distance information corresponding to the calculated number of pixels to the IoT display device 100 through the IoT AP 300 The IoT transceiving unit 240 may be controlled to be performed.

눈꺼풀 모니터링 모듈(254)은 화각 범위 내에 얼굴의 부분 또는 전체에서 눈꺼풀을 인식할 수 있는 상태로 화각이 설정된 경우, 영상 정보에서 인식된 얼굴 및 눈꺼풀의 주름 정보를 추출하고, 저장부(260)에 저장된 연령대에 따라 제 1 내지 제 n(n은 2 이상의 자연수) 얼굴 주름 정보와의 비교 분석을 통해 미리 설정된 연령대인 노령층에 해당하는지를 분석한 뒤, 미리 설정된 연령대인 경우 미리 설정된 시간 동안 눈꺼풀의 움직임 없음을 실시간으로 감지용 카메라 렌즈(210)로부터 수신되는 영상 정보에 대해서 모니터링할 수 있다.The eyelid monitoring module 254 extracts the face and eyelid wrinkle information recognized from the image information when the angle of view is set to recognize the eyelid from a part or the whole of the face within the field of view range, and stores it in the storage unit 260. According to the stored age group, the first to nth (n is a natural number greater than or equal to 2) facial wrinkles are compared and analyzed to determine whether they correspond to the pre-set age group, and there is no eyelid movement for a pre-set period of time. The image information received from the camera lens 210 for detection may be monitored in real time.

생체 인식 보완 모듈(255)은 눈꺼풀 모니터링 모듈(254)에 의한 미리 설정된 시간 동안 눈꺼풀의 움직임 없음에 따라 IoT AP(300)를 통해 IoT 생체 감지 장치(500)에 해당하는 손목 장치형 IoT 생체 감지 장치(500a) 또는 리모컨형 IoT 생체 감지 장치(500b)에 대한 요청을 통해 생체 인식 정보를 수신하도록 IoT 송수신부(240)를 제어함으로써, 수신된 생체 인식 정보를 통해 수면 분석을 수행할 수 있다. The biometrics supplement module 255 is a wrist device type IoT biometric detection device corresponding to the IoT biometric detection device 500 through the IoT AP 300 according to no movement of the eyelid for a preset time by the eyelid monitoring module 254 By controlling the IoT transceiving unit 240 to receive biometric information through a request to 500a or the remote-control-type IoT biometric detection device 500b, sleep analysis may be performed through the received biometric information.

여기서 손목 장치형 IoT 생체 감지 장치(500a)는 맥박 감지 센서를 구비함으로써, 생체 인식 정보로 맥박 정보를 제공할 수 있으며, 이에 따라 생체 인식 보완 모듈(255)은 저장부(260)에 저장된 손목 장치형 IoT 생체 감지 장치(500a)의 식별 ID에 해당하는 사용자의 평상시와 수면시의 맥박 정보를 추출한 뒤, 추출된 맥박 정보와 생체 인식 정보로 제공받은 맥박 정보를 비교하여 수면 분석을 수행할 수 있다.Here, the wrist device-type IoT biometric device 500a includes a pulse detection sensor to provide pulse information as biometric information, and accordingly, the biometric recognition supplement module 255 is a wrist device stored in the storage unit 260. After extracting the normal and sleeping pulse information of the user corresponding to the identification ID of the IoT-type IoT biometric device 500a, sleep analysis may be performed by comparing the extracted pulse information with the pulse information provided as biometric information. .

본 발명의 다른 실시예로, 리모컨형 IoT 생체 감지 장치(500b)는 손목 장치형 IoT 생체 감지 장치(500a)는 맥박 감지 센서를 구비함으로써, 맥박 정보를 제공할 수 있을 뿐만 아니라, 생체 인식 정보로 미리 설정된 시간 동안(예, 1 시간)의 리모컨 입력이 있지 않은 경우, 수면으로 인식하여 체 인식 보완 모듈(255)로 수면 분석 정보 자체를 제공할 수 있다. In another embodiment of the present invention, the remote control type IoT biometric detection device 500b includes a wrist device type IoT biometric detection device 500a having a pulse detection sensor, so that pulse information can be provided as well as biometric information. When there is no remote control input for a preset period of time (eg, 1 hour), it is recognized as sleep and the sleep analysis information itself may be provided to the body recognition supplement module 255.

수면 프로세스 제어 모듈(256)은 생체 인식 보완 모듈(255)의 판단 결과 생체 인식 정보도 수면 상태로 분석된 경우, IoT AP(300)를 통해 IoT 디스플레이 장치(100)에 대한 외부 전원 입력 차단을 제어하도록 IoT 송수신부(240)를 제어함으로써, 외부 전원 입력 차단 제어 명령을 수신한 IoT AP(300)에 의해 IoT 디스플레이 장치(100)에 대한 외부 전원 입력 차단을 확인한 뒤, 안테나겸 무드등(310)의 전원을 자동으로 온(ON) 상태로 설정하고, IoT 공기청정기(400)에 대한 수면 모드 제어 명령을 전송하도록 할 수 있다. The sleep process control module 256 controls external power input to the IoT display device 100 through the IoT AP 300 when the biometric information is also analyzed as a sleep state as a result of the determination by the biometrics supplement module 255. By controlling the IoT transceiving unit 240 so that it is confirmed that the external power input to the IoT display device 100 is cut off by the IoT AP 300 that has received the external power input cut off control command, the antenna and mood light 310 The power of the device may be automatically set to an ON state, and a sleep mode control command for the IoT air purifier 400 may be transmitted.

도 4는 본 발명의 실시예에 따른 실버 세대를 위한 디스플레이장치 자동 꺼짐 제어 방법을 나타내는 흐름도이다. 도 4를 참조하면, IoT 디스플레이 장치(100)의 전원 입력에 따라 IoT 디스플레이 장치(100)는 IoT AP(300)의 요청에 따라 눈꺼풀 감지 장치(200)와의 IoT AP(300)의 중계 설정에 따른 IoT 자동 꺼짐 데이터 채널 설정을 완료한다(S11).4 is a flowchart illustrating a method of controlling automatic turn-off of a display device for a silver generation according to an embodiment of the present invention. Referring to FIG. 4, according to the power input of the IoT display device 100, the IoT display device 100 is configured to relay the eyelid detection device 200 and the IoT AP 300 according to the request of the IoT AP 300. IoT auto-off data channel setting is completed (S11).

단계(S11) 이후, 눈꺼풀 감지 장치(200)는 감지용 카메라 렌즈(210)의 화각 범위에 신체의 얼굴에 대한 인식을 수행한다(S12).After the step (S11), the eyelid detection device 200 performs recognition of the face of the body in the field of view of the camera lens 210 for detection (S12).

단계(S12) 이후, 눈꺼풀 감지 장치(200)는 화각 범위 내에 얼굴에 대한 인식되는지를 판단함으로써(S13), 화각 범위 내에 얼굴이 인식되지 않은 경우 IoT 디스플레이 장치(100)로 IoT AP(300)를 통해 조절 명령 출력을 요청한 뒤(S14), 단계(S12)의 화각 범위 내 인식 수행 과정으로 회귀한다.After step S12, the eyelid detection device 200 determines whether a face is recognized within the field of view (S13), and when a face is not recognized within the field of view, the IoT AP 300 is referred to the IoT display device 100. After requesting the output of the adjustment command through (S14), it returns to the process of performing recognition within the field of view in step (S12).

반대로, 단계(S13)의 판단 결과 화각 범위 내에 얼굴이 인식된 경우, 눈꺼풀 감지 장치(200)는 연령대 분석을 통해 미리 설정된 연령대에 해당하는지를 분석한 뒤 미리 설정된 연령대인 경우 미리 설정된 시간 동안 눈꺼풀의 움직임 없음을 인식한다(S15).Conversely, when a face is recognized within the field of view as a result of the determination in step S13, the eyelid detection device 200 analyzes whether it corresponds to a preset age group through age group analysis, and then, if the eyelid movement is in a preset age range It recognizes that there is no (S15).

단계(S15) 이후, 눈꺼풀 감지 장치(200)는 IoT AP(300)를 통해 IoT 생체 감지 장치(500)에 대한 요청을 통해 생체 인식 정보 수신하여 수면 분석을 수행한다(S16).After step S15, the eyelid detection device 200 receives biometric information through a request for the IoT biometric detection device 500 through the IoT AP 300 and performs sleep analysis (S16).

단계(S16)에 따른 분석 결과 생체 인식 정보도 수면 상태인지를 판단하여(S17), 수면 상태가 아닌 경우 눈꺼풀 감지 장치(200)는 단계(S12)의 화각 범위 내 인식 수행 과정으로 회귀하여 다시 단계(S12) 내지 단계(S16)의 과정을 생체 인식 정보도 수면 상태가 될 때까지 반복적으로 수행한다.As a result of the analysis according to step S16, it is determined whether the biometric information is also in a sleep state (S17), and if it is not in a sleep state, the eyelid detection device 200 returns to the process of performing recognition within the field of view of step S12, and the step is performed again. The processes of (S12) to (S16) are repeatedly performed until the biometric information is also in a sleep state.

한편, 단계(S17)의 판단 결과 생체 인식 정보도 수면 상태인 경우, 눈꺼풀 감지 장치(200)는 IoT AP(300)를 통해 IoT 디스플레이 장치(100)에 대한 외부 전원 입력 차단을 제어한다(S18).On the other hand, if the biometric information is also in a sleeping state as a result of the determination in step S17, the eyelid detection device 200 controls the external power input to the IoT display device 100 to be cut off through the IoT AP 300 (S18). .

단계(S18) 이후, IoT AP(300)는 IoT 디스플레이 장치(100)에 대한 외부 전원 입력 차단을 확인한 뒤, 안테나겸 무드등(310)의 전원을 자동으로 온(ON) 상태로 설정한다(S19).After step (S18), after confirming that the external power input to the IoT display device 100 is cut off, the IoT AP 300 automatically sets the power of the antenna and mood lamp 310 to the ON state (S19). ).

단계(S19) 이후, IoT AP(400)는 IoT 공기청정기(400)에 대한 수면 모드 제어 명령을 전송한다(S20). After step S19, the IoT AP 400 transmits a sleep mode control command for the IoT air purifier 400 (S20).

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.The present invention can also be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices, and are implemented in the form of carrier waves (for example, transmission through the Internet). Includes things.

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.In addition, the computer-readable recording medium is distributed over a computer system connected through a network, and computer-readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the technical field to which the present invention belongs.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.As described above, in the present specification and drawings, a preferred embodiment of the present invention has been disclosed, and although specific terms are used, this is only used in a general meaning to easily explain the technical content of the present invention and to aid understanding of the invention. , It is not intended to limit the scope of the present invention. In addition to the embodiments disclosed herein, it is obvious to those of ordinary skill in the art that other modified examples based on the technical idea of the present invention can be implemented.

1 : 디스플레이장치 자동 꺼짐 시스템
100 : IoT 디스플레이 장치
200 : 눈꺼풀 감지 장치
210 : 눈꺼풀 감지용 카메라 렌즈
220 : 전원 장치 모듈
230 : 스탠드
240 : IoT 송수신부
250 : 제어부
251 : 데이터 채널 설정 모듈
252 : 얼굴 인식 및 분석 모듈
253 : 화각 설정 모듈
254 : 눈꺼풀 모니터링 모듈
255 : 생체 인식 보완 모듈
256 : 수면 프로세스 제어 모듈
260 : 저장부
270 : 전원 어댑터
300 : IoT AP
400 : IoT 공기청정기
500 : IoT 생체 감지 장치1: Display device auto-off system
100: IoT display device
200: eyelid detection device
210: camera lens for eyelid detection
220: power supply module
230: stand
240: IoT transceiver
250: control unit
251: data channel setting module
252: face recognition and analysis module
253: View angle setting module
254: eyelid monitoring module
255: biometrics supplement module
256: sleep process control module
260: storage unit
270: power adapter
300: IoT AP
400: IoT air purifier
500: IoT biometric detection device

Claims (10)

IoT 디스플레이 장치(100)의 전원 입력에 따라 IoT 디스플레이 장치(100)가 IoT AP(300)의 요청에 따라 눈꺼풀 감지 장치(200)와의 IoT AP(300)의 중계 설정에 따른 IoT 자동 꺼짐 데이터 채널 설정을 완료하는 제 1 단계;와, 눈꺼풀 감지 장치(200)가 감지용 카메라 렌즈(210)의 화각 범위에 신체의 얼굴에 대한 인식을 수행하는 제 2 단계;와, 눈꺼풀 감지 장치(200)가 신체의 얼굴 중 눈꺼풀에 대한 분석을 통해 수면 상태인 경우, IoT AP(300)를 통해 IoT 디스플레이 장치(100)에 대한 외부 전원 입력 차단을 제어하는 제 3 단계;와, IoT AP(300)가 IoT 디스플레이 장치(100)에 대한 외부 전원 입력 차단을 확인한 뒤, 안테나겸 무드등(310)의 전원을 자동으로 온(ON) 상태로 설정하는 제 4 단계; 및 IoT AP(400)가 IoT 공기청정기(400)에 대한 수면 모드 제어 명령을 전송하는 제 5 단계; 를 포함하는 실버 세대를 위한 디스플레이장치 자동 꺼짐 제어 방법에 있어서,

상기 제 2 단계는 눈꺼풀 감지 장치(200)가 화각 범위 내에 얼굴에 대한 인식되는지를 판단하기 위해 화각 범위 내에 얼굴이 인식되지 않은 경우 IoT 디스플레이 장치(100)로 IoT AP(300)를 통해 조절 명령 출력을 요청한 뒤, 화각 범위 내 인식 수행 과정을 반복적으로 수행하는 것이고; 상기 제 3 단계는, 화각 범위 내에 얼굴이 인식된 경우, 눈꺼풀 감지 장치(200)가 연령대 분석을 통해 미리 설정된 연령대에 해당하는지를 분석한 뒤 미리 설정된 연령대인 경우 미리 설정된 시간 동안 눈꺼풀의 움직임 없음을 인식하는 것으로,
상기 제2단계의 상기 눈꺼풀 감지 장치(200)는 눈꺼풀 감지용 카메라 렌즈(210), 전원 장치 모듈(220), 스탠드(230), IoT 송수신부(240), 제어부(250), 저장부(260) 및 전원 어댑터(270)를 포함하며; 상기 제어부(250)는 데이터 채널 설정 모듈(251), 얼굴 인식 및 분석 모듈(252), 화각 설정 모듈(253), 눈꺼풀 모니터링 모듈(254), 생체 인식 보완 모듈(255) 및 수면 프로세스 제어 모듈(256)을 포함하며,
상기 데이터 채널 설정 모듈(251)은 IoT 디스플레이 장치(100)의 전원 입력에 따라, IoT 디스플레이 장치(100)에 의한 IoT AP(300)을 통한 요청에 따라 IoT AP(300) 중계 설정으로 IoT 디스플레이 장치(100)와 IoT 자동 꺼짐 데이터 채널 설정을 완료하도록 IoT 송수신부(240)를 제어하며,
상기 얼굴 인식 및 분석 모듈(252)은 감지용 카메라 렌즈(210)에 대한 제어를 통해 감지용 카메라 렌즈(210)가 향하고 있는 화각 범위에 신체의 얼굴에 대한 인식을 수행하며, 상기 감지용 카메라 렌즈(210)에 의해 촬영되는 영상정보에서 신체 중 얼굴을 판별하고, 판별된 얼굴인식 영상 정보에 따라 가운데 화소점을 중심으로 편중된 화소수 또는 판별된 얼굴을 기준으로 눈꺼풀을 인식할 수 있도록 이동해야되는 화수소의 개수를 연산하고, 연산하고 연산된 화소수에 해당하는 이동 거리 정보를 함께 IoT 디스플레이 장치(100)로 IoT AP(300)를 통해 전송하도록 IoT 송수신부(240)를 제어하며,
상기 눈꺼풀 모니터링 모듈(254)은 영상 정보에서 인식된 얼굴 및 눈꺼풀의 주름 정보를 추출하고, 저장부(260)에 저장된 연령대에 따라 제 1 내지 제 n(n은 2 이상의 자연수) 얼굴 주름 정보와의 비교 분석을 통해 미리 설정된 연령대인 노령층에 해당하는지를 분석한 뒤, 미리 설정된 연령대인 경우 미리 설정된 시간 동안 눈꺼풀의 움직임 없음을 실시간으로 감지용 카메라 렌즈(210)로부터 수신되는 영상 정보에 대해서 모니터링하며,
상기 생체 인식 보완 모듈(255)은 눈꺼풀 모니터링 모듈(254)에 의한 미리 설정된 시간 동안 눈꺼풀의 움직임 없음에 따라 IoT AP(300)를 통해 IoT 생체 감지 장치(500)에 해당하는 손목 장치형 IoT 생체 감지 장치(500a) 또는 리모컨형 IoT 생체 감지 장치(500b)에 대한 요청을 통해 생체 인식 정보를 수신하도록 IoT 송수신부(240)를 제어함으로써, 수신된 생체 인식 정보를 통해 수면 분석을 수행하며,
상기 수면 프로세스 제어 모듈(256)은 생체 인식 보완 모듈(255)의 판단 결과 생체 인식 정보도 수면 상태로 분석된 경우, IoT AP(300)를 통해 IoT 디스플레이 장치(100)에 대한 외부 전원 입력 차단을 제어하도록 IoT 송수신부(240)를 제어함으로써, 외부 전원 입력 차단 제어 명령을 수신한 IoT AP(300)에 의해 IoT 디스플레이 장치(100)에 대한 외부 전원 입력 차단을 확인한 뒤, 안테나겸 무드등(310)의 전원을 자동으로 온(ON) 상태로 설정하고, IoT 공기청정기(400)에 대한 수면 모드 제어 명령을 전송하도록 하는 것을 특징으로 하는 실버 세대를 위한 디스플레이장치 자동 꺼짐 제어 방법.
According to the power input of the IoT display device 100, the IoT display device 100 sets the IoT auto-off data channel according to the relay setting of the IoT AP 300 with the eyelid detection device 200 at the request of the IoT AP 300 A first step of completing; And, a second step of performing, by the eyelid detection device 200, recognition of the face of the body in the field of view of the camera lens 210 for detection; And, the eyelid detection device 200 The third step of controlling the external power input to the IoT display device 100 through the IoT AP 300 in the sleep state through analysis of the eyelids of the faces; and, the IoT AP 300 is an IoT display A fourth step of automatically setting the power of the antenna and mood lamp 310 to an ON state after confirming that the external power input to the device 100 is cut off; And a fifth step of the IoT AP 400 transmitting a sleep mode control command for the IoT air purifier 400. In the display device automatic shutdown control method for the silver generation comprising a,

In the second step, in order to determine whether the eyelid detection device 200 recognizes a face within the field of view, when a face is not recognized within the field of view, an adjustment command is output to the IoT display device 100 through the IoT AP 300 After requesting for, the process of performing recognition within the field of view is repeatedly performed; In the third step, when a face is recognized within the angle of view, the eyelid detection device 200 analyzes whether it corresponds to a preset age group through age group analysis, and then recognizes that there is no movement of the eyelid for a preset time in the case of a preset age group. By doing,
The eyelid detection device 200 of the second step includes a camera lens 210 for eyelid detection, a power supply module 220, a stand 230, an IoT transceiver unit 240, a control unit 250, and a storage unit 260. ) And a power adapter 270; The control unit 250 includes a data channel setting module 251, a face recognition and analysis module 252, a view angle setting module 253, an eyelid monitoring module 254, a biometrics supplement module 255, and a sleep process control module ( 256),
The data channel setting module 251 is an IoT display device with relay setting of the IoT AP 300 according to a request from the IoT AP 300 by the IoT display device 100 according to a power input of the IoT display device 100. Controls the IoT transceiving unit 240 to complete the setting of 100 and the IoT auto-off data channel,
The face recognition and analysis module 252 performs recognition of the body's face in the field of view that the detection camera lens 210 is facing through the control of the detection camera lens 210, and the detection camera lens From the image information photographed by 210, the face of the body must be identified, and the number of pixels biased around the center pixel point according to the determined face recognition image information or the eyelid must be moved to recognize the identified face. Controls the IoT transceiving unit 240 to calculate the number of pixels and transmit movement distance information corresponding to the calculated number of pixels to the IoT display device 100 through the IoT AP 300,
The eyelid monitoring module 254 extracts face and eyelid wrinkle information recognized from the image information, and matches the first to nth (n is a natural number of 2 or more) facial wrinkle information according to the age group stored in the storage unit 260. After analyzing whether it corresponds to the elderly, which is a preset age group through comparative analysis, in the case of a preset age group, the image information received from the camera lens 210 for detection is monitored in real time for no movement of the eyelid for a preset time,
The biometric recognition supplement module 255 detects a wrist device-type IoT biometrics corresponding to the IoT biometric detection device 500 through the IoT AP 300 according to no movement of the eyelid for a preset time by the eyelid monitoring module 254 By controlling the IoT transceiving unit 240 to receive biometric information through a request to the device 500a or the remote-control-type IoT biometric detection device 500b, sleep analysis is performed through the received biometric information,
The sleep process control module 256 blocks external power input to the IoT display device 100 through the IoT AP 300 when the biometric information is also analyzed as a sleep state as a result of the determination by the biometrics supplement module 255. By controlling the IoT transceiving unit 240 to control, after confirming that the external power input to the IoT display device 100 is cut off by the IoT AP 300 that has received the external power input cut off control command, the antenna and mood light 310 ) To automatically set the power to the ON state and transmit a sleep mode control command to the IoT air purifier (400).
 삭제delete 삭제delete 삭제delete 삭제delete IoT 디스플레이 장치(100)의 전원 입력에 따라 IoT 디스플레이 장치(100)가 IoT AP(300)의 요청에 따라 눈꺼풀 감지 장치(200)와의 IoT AP(300)의 중계 설정에 따른 IoT 자동 꺼짐 데이터 채널 설정을 완료하는 데이터 채널 설정 모듈(251);과, 감지용 카메라 렌즈(210)의 화각 범위에 신체의 얼굴에 대한 인식을 수행하는 얼굴 인식 및 분석 모듈(252);과, 눈꺼풀 감지 장치(200)가 화각 범위 내에 얼굴에 대한 인식되는지를 판단하기 위해 화각 범위 내에 얼굴이 인식되지 않은 경우 IoT 디스플레이 장치(100)로 IoT AP(300)를 통해 조절 명령 출력을 요청한 뒤, 화각 범위 내 인식 수행이 완료되도록 하는 화각 설정 모듈(253);과, 신체의 얼굴 중 눈꺼풀에 대한 분석을 통해 수면 상태인지 분석하는 눈꺼풀 모니터링 모듈(254); 및 수면 상태인 경우 IoT AP(300)를 통해 IoT 디스플레이 장치(100)에 대한 외부 전원 입력 차단을 제어하는 수면 프로세스 제어 모듈(256); 을 포함하는 실버 세대를 위한 눈꺼풀 감지 장치에 있어서,

상기 눈꺼풀 감지 장치(200)가 화각 범위 내에 얼굴에 대한 인식되는지를 판단하기 위해 화각 범위 내에 얼굴이 인식되지 않은 경우 IoT 디스플레이 장치(100)로 IoT AP(300)를 통해 조절 명령 출력을 요청한 뒤, 화각 범위 내 인식 수행 과정을 반복적으로 수행하고, 화각 범위 내에 얼굴이 인식된 경우, 눈꺼풀 감지 장치(200)가 연령대 분석을 통해 미리 설정된 연령대에 해당하는지를 분석한 뒤 미리 설정된 연령대인 경우 미리 설정된 시간 동안 눈꺼풀의 움직임 없음을 인식하는 것으로,
상기 눈꺼풀 감지 장치(200)는 눈꺼풀 감지용 카메라 렌즈(210), 전원 장치 모듈(220), 스탠드(230), IoT 송수신부(240), 제어부(250), 저장부(260) 및 전원 어댑터(270)를 포함하며; 상기 제어부(250)는 데이터 채널 설정 모듈(251), 얼굴 인식 및 분석 모듈(252), 화각 설정 모듈(253), 눈꺼풀 모니터링 모듈(254), 생체 인식 보완 모듈(255) 및 수면 프로세스 제어 모듈(256)을 포함하며,
상기 데이터 채널 설정 모듈(251)은 IoT 디스플레이 장치(100)의 전원 입력에 따라, IoT 디스플레이 장치(100)에 의한 IoT AP(300)을 통한 요청에 따라 IoT AP(300) 중계 설정으로 IoT 디스플레이 장치(100)와 IoT 자동 꺼짐 데이터 채널 설정을 완료하도록 IoT 송수신부(240)를 제어하며,
상기 얼굴 인식 및 분석 모듈(252)은 감지용 카메라 렌즈(210)에 대한 제어를 통해 감지용 카메라 렌즈(210)가 향하고 있는 화각 범위에 신체의 얼굴에 대한 인식을 수행하며, 상기 감지용 카메라 렌즈(210)에 의해 촬영되는 영상정보에서 신체 중 얼굴을 판별하고, 판별된 얼굴인식 영상 정보에 따라 가운데 화소점을 중심으로 편중된 화소수 또는 판별된 얼굴을 기준으로 눈꺼풀을 인식할 수 있도록 이동해야되는 화수소의 개수를 연산하고, 연산하고 연산된 화소수에 해당하는 이동 거리 정보를 함께 IoT 디스플레이 장치(100)로 IoT AP(300)를 통해 전송하도록 IoT 송수신부(240)를 제어하며,
상기 눈꺼풀 모니터링 모듈(254)은 영상 정보에서 인식된 얼굴 및 눈꺼풀의 주름 정보를 추출하고, 저장부(260)에 저장된 연령대에 따라 제 1 내지 제 n(n은 2 이상의 자연수) 얼굴 주름 정보와의 비교 분석을 통해 미리 설정된 연령대인 노령층에 해당하는지를 분석한 뒤, 미리 설정된 연령대인 경우 미리 설정된 시간 동안 눈꺼풀의 움직임 없음을 실시간으로 감지용 카메라 렌즈(210)로부터 수신되는 영상 정보에 대해서 모니터링하며,
상기 생체 인식 보완 모듈(255)은 눈꺼풀 모니터링 모듈(254)에 의한 미리 설정된 시간 동안 눈꺼풀의 움직임 없음에 따라 IoT AP(300)를 통해 IoT 생체 감지 장치(500)에 해당하는 손목 장치형 IoT 생체 감지 장치(500a) 또는 리모컨형 IoT 생체 감지 장치(500b)에 대한 요청을 통해 생체 인식 정보를 수신하도록 IoT 송수신부(240)를 제어함으로써, 수신된 생체 인식 정보를 통해 수면 분석을 수행하며,
상기 수면 프로세스 제어 모듈(256)은 생체 인식 보완 모듈(255)의 판단 결과 생체 인식 정보도 수면 상태로 분석된 경우, IoT AP(300)를 통해 IoT 디스플레이 장치(100)에 대한 외부 전원 입력 차단을 제어하도록 IoT 송수신부(240)를 제어함으로써, 외부 전원 입력 차단 제어 명령을 수신한 IoT AP(300)에 의해 IoT 디스플레이 장치(100)에 대한 외부 전원 입력 차단을 확인한 뒤, 안테나겸 무드등(310)의 전원을 자동으로 온(ON) 상태로 설정하고, IoT 공기청정기(400)에 대한 수면 모드 제어 명령을 전송하도록 하는 것을 특징으로 하는 실버 세대를 위한 눈꺼풀 감지 장치.According to the power input of the IoT display device 100, the IoT display device 100 sets the IoT auto-off data channel according to the relay setting of the IoT AP 300 with the eyelid detection device 200 at the request of the IoT AP 300 A data channel setting module 251 for completing the process; And, a face recognition and analysis module 252 that recognizes a face of a body in the field of view of the detection camera lens 210; And, the eyelid detection device 200 In order to determine whether a face is recognized within the field of view, if a face is not recognized within the field of view, the IoT display device 100 requests the output of an adjustment command through the IoT AP 300, and then the recognition within the field of view is completed. A view angle setting module 253 to be configured; and an eyelid monitoring module 254 that analyzes whether the body is in a sleeping state through analysis of the eyelids of the body's face; And a sleep process control module 256 for controlling an external power input to the IoT display device 100 to be cut off through the IoT AP 300 when in a sleep state. In the eyelid detection device for the silver generation comprising a,

In order to determine whether the eyelid detection device 200 recognizes a face within the field of view, when a face is not recognized within the field of view, the IoT display device 100 requests the output of an adjustment command through the IoT AP 300, When the process of performing the recognition within the field of view is repeatedly performed, and a face is recognized within the field of view, the eyelid detection device 200 analyzes whether it corresponds to a preset age group through age group analysis, and then, if it is a preset age range, for a preset time. By recognizing that there is no movement of the eyelids,
The eyelid detection device 200 includes a camera lens 210 for eyelid detection, a power supply module 220, a stand 230, an IoT transmission/reception unit 240, a control unit 250, a storage unit 260, and a power adapter ( 270); The control unit 250 includes a data channel setting module 251, a face recognition and analysis module 252, a view angle setting module 253, an eyelid monitoring module 254, a biometrics supplement module 255, and a sleep process control module ( 256),
The data channel setting module 251 is an IoT display device with relay setting of the IoT AP 300 according to a request from the IoT AP 300 by the IoT display device 100 according to a power input of the IoT display device 100. Controls the IoT transceiving unit 240 to complete the setting of 100 and the IoT auto-off data channel,
The face recognition and analysis module 252 performs recognition of the body's face in the field of view that the detection camera lens 210 is facing through the control of the detection camera lens 210, and the detection camera lens From the image information photographed by 210, the face of the body must be identified, and the number of pixels biased around the center pixel point according to the determined face recognition image information or the eyelid must be moved to recognize the identified face. Controls the IoT transceiving unit 240 to calculate the number of pixels and transmit movement distance information corresponding to the calculated number of pixels to the IoT display device 100 through the IoT AP 300,
The eyelid monitoring module 254 extracts face and eyelid wrinkle information recognized from the image information, and matches the first to nth (n is a natural number of 2 or more) facial wrinkle information according to the age group stored in the storage unit 260. After analyzing whether it corresponds to the elderly, which is a preset age group through comparative analysis, in the case of a preset age group, the image information received from the camera lens 210 for detection is monitored in real time for no movement of the eyelid for a preset time,
The biometric recognition supplement module 255 detects a wrist device-type IoT biometrics corresponding to the IoT biometric detection device 500 through the IoT AP 300 according to no movement of the eyelid for a preset time by the eyelid monitoring module 254 By controlling the IoT transceiving unit 240 to receive biometric information through a request to the device 500a or the remote-control-type IoT biometric detection device 500b, sleep analysis is performed through the received biometric information,
The sleep process control module 256 blocks external power input to the IoT display device 100 through the IoT AP 300 when the biometric information is also analyzed as a sleep state as a result of the determination by the biometrics supplement module 255. By controlling the IoT transceiving unit 240 to control, after confirming that the external power input to the IoT display device 100 is cut off by the IoT AP 300 that has received the external power input cut off control command, the antenna and mood light 310 ) To automatically set the power to the ON state, and to transmit a sleep mode control command to the IoT air purifier (400). 삭제delete 삭제delete 삭제delete 삭제delete
KR1020180070120A 2018-06-19 2018-06-19 Eyelid detection device, Display device auto-off system for silver generation, and control method thereof KR102249123B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180070120A KR102249123B1 (en) 2018-06-19 2018-06-19 Eyelid detection device, Display device auto-off system for silver generation, and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180070120A KR102249123B1 (en) 2018-06-19 2018-06-19 Eyelid detection device, Display device auto-off system for silver generation, and control method thereof

Publications (2)

Publication Number Publication Date
KR20190142886A KR20190142886A (en) 2019-12-30
KR102249123B1 true KR102249123B1 (en) 2021-05-06

Family

ID=69103172

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180070120A KR102249123B1 (en) 2018-06-19 2018-06-19 Eyelid detection device, Display device auto-off system for silver generation, and control method thereof

Country Status (1)

Country Link
KR (1) KR102249123B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114296668A (en) * 2021-03-11 2022-04-08 海信视像科技股份有限公司 Display device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005503645A (en) * 2001-09-14 2005-02-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ Automatic shut-off lighting system when user falls asleep

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100326203B1 (en) * 1999-06-11 2002-02-27 김운용 Method and apparatus for face photographing and recognizing by automatic trading a skin color and motion
KR20160071003A (en) * 2014-12-11 2016-06-21 현대자동차주식회사 Method for detecting and controlling driver's sleep using wearable device and vehicle for carrying out the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005503645A (en) * 2001-09-14 2005-02-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ Automatic shut-off lighting system when user falls asleep

Also Published As

Publication number Publication date
KR20190142886A (en) 2019-12-30

Similar Documents

Publication Publication Date Title
US7298871B2 (en) System and method for adapting the ambience of a local environment according to the location and personal preferences of people in the local environment
CN105700363A (en) Method and system for waking up smart home equipment voice control device
KR101920020B1 (en) Status Change Control Method and Electronic Device supporting the same
JP5541487B2 (en) Display control apparatus and display control system
CN101860704B (en) Display device for automatically closing image display and realizing method thereof
US10593174B1 (en) Automatic setup mode after disconnect from a network
US20100107184A1 (en) TV with eye detection
CN103220583A (en) System and method for detecting user fatigue degree based on smart television
US9906836B2 (en) Video playing apparatus, control apparatus, video playing system and control method
WO2016155639A1 (en) Smart control device and system
US10708467B2 (en) Information processing apparatus that performs authentication processing for approaching person, and control method thereof
CN110825220B (en) Eyeball tracking control method, device, intelligent projector and storage medium
CN110491387B (en) Interactive service implementation method and system based on multiple terminals
US20200007252A1 (en) Method, device, system, and storage medium for live broadcast detection and data processing
US11302156B1 (en) User interfaces associated with device applications
CN111447497A (en) Intelligent playing device and energy-saving control method thereof
KR100862352B1 (en) Apparatus for automatic power control of video appliance and the method thereof
KR102249123B1 (en) Eyelid detection device, Display device auto-off system for silver generation, and control method thereof
KR102580837B1 (en) Electronic device and method for controlling external electronic device based on use pattern information corresponding to user
CN112770156A (en) Method for automatically closing display screen of television device and television device
CN111144198B (en) Control method of intelligent bracket and intelligent bracket
CN109168086A (en) A kind of control method of video playback apparatus, system and readable storage medium storing program for executing
CN101132522A (en) Eye detecting system for controlling display equipment
KR20070043388A (en) Image coupler and monitoring system and method using the same
CN109711282A (en) Light adjusting method and device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant