KR102518244B1 - Apparatus for controling lighting using facial expression and method thereof - Google Patents

Apparatus for controling lighting using facial expression and method thereof Download PDF

Info

Publication number
KR102518244B1
KR102518244B1 KR1020160000648A KR20160000648A KR102518244B1 KR 102518244 B1 KR102518244 B1 KR 102518244B1 KR 1020160000648 A KR1020160000648 A KR 1020160000648A KR 20160000648 A KR20160000648 A KR 20160000648A KR 102518244 B1 KR102518244 B1 KR 102518244B1
Authority
KR
South Korea
Prior art keywords
lighting control
lighting
control signal
user
image
Prior art date
Application number
KR1020160000648A
Other languages
Korean (ko)
Other versions
KR20170081519A (en
Inventor
이대하
김재홍
박천수
장민수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160000648A priority Critical patent/KR102518244B1/en
Publication of KR20170081519A publication Critical patent/KR20170081519A/en
Application granted granted Critical
Publication of KR102518244B1 publication Critical patent/KR102518244B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S10/00—Lighting devices or systems producing a varying lighting effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/175—Controlling the light source by remote control
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)

Abstract

얼굴 표정을 이용한 조명 제어 장치 및 그 방법이 개시된다. 본 발명에 따른 얼굴 표정을 이용한 조명 제어 방법은, 카메라가 촬영한 영상으로부터 사용자의 얼굴을 검출하는 단계, 검출된 상기 사용자의 얼굴로부터 각 얼굴 요소별 특징점을 추출하는 단계, 그리고 상기 특징점을 이용하여 조명 제어 신호를 생성하고, 생성된 상기 조명 제어 신호를 조명으로 전송하는 단계를 포함한다.A lighting control device and method using facial expressions are disclosed. A lighting control method using facial expressions according to the present invention includes the steps of detecting a user's face from an image captured by a camera, extracting feature points for each facial element from the detected user's face, and using the feature points Generating a lighting control signal and transmitting the generated lighting control signal to lighting.

Description

얼굴 표정을 이용한 조명 제어 장치 및 그 방법{APPARATUS FOR CONTROLING LIGHTING USING FACIAL EXPRESSION AND METHOD THEREOF}Lighting control device and method using facial expressions {APPARATUS FOR CONTROLING LIGHTING USING FACIAL EXPRESSION AND METHOD THEREOF}

본 발명은 얼굴 표정을 이용한 조명 제어 장치 및 그 방법에 관한 것으로, 특히 사용자의 얼굴로부터 추출한 각 얼굴 요소별 특징점을 이용하여 조명을 제어하는 기술에 관한 것이다.The present invention relates to a lighting control apparatus and method using facial expressions, and more particularly, to a technology for controlling lighting using feature points for each facial element extracted from a user's face.

종래의 조명 장치는 발광하는 빛을 만들어 사용자가 원하는 지점을 비추기 위하여 스위치를 On/Off 하거나 또는 조도의 강약을 조절할 뿐, 사용자의 감성이나 기분을 고려하여 알맞은 조명 환경을 제공하지는 못하였다. Conventional lighting devices only turn on/off a switch or adjust the intensity of illumination to illuminate a point desired by a user by making light that emits light, but cannot provide an appropriate lighting environment in consideration of the user's sensibility or mood.

최근, Full Color LED 등과 같이 색상의 조절이 가능한 조명이 보급되기 시작하고, 디지털 신호를 이용하여 조명 장치를 제어하는 디지털 조명장치 기술이 등장하면서, 조명을 다양하게 제어하는 기술에 대한 관심이 높아지고 있다. Recently, as lighting capable of adjusting color, such as full color LEDs, has begun to spread, and digital lighting device technology that controls lighting devices using digital signals has emerged, interest in various lighting control technologies is increasing. .

또한, 조명을 이용하여 다양한 분위기를 조성하고, 사용자의 감성을 자극하거나, 사용자의 감정을 반영하여 조명 환경을 제어하기 위한 기술의 수요가 많아지고 있으며, 사용자와 기계 장치간 상호작용에 관한 기술도 끊임없이 개발되고 있다. In addition, there is an increasing demand for technologies for creating various atmospheres using lighting, stimulating users' emotions, or controlling lighting environments by reflecting users' emotions, and technologies for interaction between users and mechanical devices. are constantly being developed.

따라서, 사용자의 감정 상태를 감지하고, 사용자의 감정 상태에 대응되도록 조명 장치를 제어하는 기술과 이와 관련된 새로운 서비스 기술 등이 요구되고 있다. Accordingly, there is a demand for a technology for sensing a user's emotional state and controlling a lighting device to correspond to the user's emotional state and a new service technology related thereto.

한국 공개 특허 제10-2014-0025093호, 2014년 03월 04일 공개(명칭: 디지털 조명장치를 위한 감성조명 색상컨텐츠 서비스 제공 시스템)Korean Patent Publication No. 10-2014-0025093, published on March 04, 2014 (Name: Emotional lighting color content service provision system for digital lighting devices)

본 발명의 목적은 사용자의 얼굴 표정에 따라 조명 장치를 다양하게 제어하는 것이다. An object of the present invention is to control a lighting device in various ways according to a user's facial expression.

또한, 사용자의 감정 상태나 주변 분위기가 표현된 사용자의 얼굴 표정 변화를 검출하여 그에 대응되도록 조명을 제어함으로써 사용자의 만족도를 극대화 하는 것이다. In addition, the user's satisfaction is maximized by detecting the change in the user's facial expression expressing the user's emotional state or surrounding atmosphere and controlling lighting to correspond thereto.

또한, 사용자 얼굴의 표정에 변화가 있을 경우 조명의 명암 또는 색상을 변경함으로써 사용자가 조명 장치와 자연스러운 상호작용을 할 수 있도록 하는 것이다. In addition, when there is a change in the expression of the user's face, the contrast or color of lighting is changed so that the user can interact naturally with the lighting device.

상기한 목적을 달성하기 위한 본 발명에 따른 얼굴 표정을 이용한 조명 제어 방법은 카메라가 촬영한 영상으로부터 사용자의 얼굴을 검출하는 단계, 검출된 상기 사용자의 얼굴로부터 각 얼굴 요소별 특징점을 추출하는 단계, 그리고 상기 특징점을 이용하여 조명 제어 신호를 생성하고, 생성된 상기 조명 제어 신호를 조명으로 전송하는 단계를 포함한다.In order to achieve the above object, a lighting control method using facial expressions according to the present invention includes the steps of detecting a user's face from an image captured by a camera, extracting feature points for each facial element from the detected user's face, And generating a lighting control signal using the feature point, and transmitting the generated lighting control signal to lighting.

이때, 상기 조명 제어 신호를 생성하는 단계는, 추출된 상기 특징점과 기준점 간의 변위를 계산하거나, 추출된 상기 각 얼굴 요소별 특징점을 이용하여 사용자의 표정을 인식하고, 계산된 상기 변위 또는 인식된 상기 사용자의 표정 중에서 적어도 하나를 이용하여 조명 제어 신호를 생성할 수 있다. At this time, the step of generating the lighting control signal calculates the displacement between the extracted feature point and the reference point, or recognizes the user's expression using the extracted feature point for each facial element, and the calculated displacement or the recognized A lighting control signal may be generated using at least one of the facial expressions of the user.

이때, 상기 영상으로부터 복수의 사용자들의 얼굴이 검출된 경우, 각각의 상기 사용자별로 상기 변위를 계산하고, 계산된 상기 변위를 하나의 변위로 통합한 통합 변위를 이용하여 상기 조명 제어 신호를 생성하거나, 상기 사용자별로 계산된 상기 변위에 대응되는 복수의 상기 조명 제어 신호를 생성할 수 있다. At this time, when the faces of a plurality of users are detected from the image, the displacement is calculated for each user, and the lighting control signal is generated using an integrated displacement obtained by integrating the calculated displacement into one displacement, A plurality of lighting control signals corresponding to the displacement calculated for each user may be generated.

이때, 상기 조명 제어 신호는, 조명의 동작유형, 명암, 색상 중에서 적어도 하나를 제어할 수 있다. In this case, the lighting control signal may control at least one of an operation type, brightness, and color of lighting.

이때, 상기 조명 제어 신호를 생성하는 단계는, 상기 영상으로부터 상기 사용자의 얼굴이 검출되지 않은 경우, 상기 조명을 기 설정된 색상으로 점등시키거나, 상기 조명을 소등시키는 상기 조명 제어 신호를 생성할 수 있다. In this case, in the generating of the lighting control signal, when the user's face is not detected from the image, the lighting control signal for turning on the lighting in a preset color or turning off the lighting may be generated. .

또한, 본 발명의 일실시예에 따른 얼굴 표정을 이용한 조명 제어 장치는, 카메라가 촬영한 영상으로부터 사용자의 얼굴을 검출하는 영상 처리부, 검출된 상기 사용자의 얼굴로부터 각 얼굴 요소별 특징점을 추출하는 특징점 추출부, 그리고 상기 특징점을 이용하여 조명 제어 신호를 생성하고, 생성된 상기 조명 제어 신호를 조명으로 전송하는 조명 제어 신호 생성부를 포함한다.In addition, the lighting control device using facial expressions according to an embodiment of the present invention includes an image processing unit for detecting a user's face from an image captured by a camera, and feature points for extracting feature points for each facial element from the detected user's face. and an extraction unit, and a lighting control signal generation unit that generates a lighting control signal using the feature points and transmits the generated lighting control signal to lighting.

이때, 상기 조명 제어 신호 생성부는, 추출된 상기 특징점과 기준점 간의 변위를 계산하거나, 추출된 상기 각 얼굴 요소별 특징점을 이용하여 사용자의 표정을 인식하고, 계산된 상기 변위 또는 인식된 상기 사용자의 표정 중에서 적어도 하나를 이용하여 조명 제어 신호를 생성할 수 있다. At this time, the lighting control signal generator calculates the displacement between the extracted feature point and the reference point, or recognizes the user's facial expression using the extracted feature point for each facial element, and the calculated displacement or the recognized user's facial expression. At least one of them may be used to generate a lighting control signal.

이때, 상기 영상으로부터 복수의 사용자들의 얼굴이 검출된 경우, 상기 조명 제어 신호 생성부는, 각각의 상기 사용자별로 상기 변위를 계산하고, 계산된 상기 변위를 하나의 변위로 통합한 통합 변위를 이용하여 상기 조명 제어 신호를 생성하거나, 상기 사용자별로 계산된 상기 변위에 대응되는 복수의 상기 조명 제어 신호를 생성할 수 있다. At this time, when the faces of a plurality of users are detected from the image, the lighting control signal generation unit calculates the displacement for each user, and uses an integrated displacement obtained by integrating the calculated displacements into one displacement. A lighting control signal may be generated, or a plurality of lighting control signals corresponding to the displacement calculated for each user may be generated.

이때, 상기 조명 제어 신호는, 조명의 동작유형, 명암, 색상 중에서 적어도 하나를 제어할 수 있다. In this case, the lighting control signal may control at least one of an operation type, brightness, and color of lighting.

이때, 상기 조명 제어 신호 생성부는, 상기 영상으로부터 상기 사용자의 얼굴이 검출되지 않은 경우, 상기 조명을 기 설정된 색상으로 점등시키거나, 상기 조명을 소등시키는 상기 조명 제어 신호를 생성할 수 있다. In this case, when the user's face is not detected from the image, the lighting control signal generating unit may generate the lighting control signal for turning on the lighting in a preset color or turning off the lighting.

본 발명에 따르면, 사용자의 얼굴 표정에 따라 조명 장치를 다양하게 제어할 수 있다. According to the present invention, the lighting device can be controlled in various ways according to the user's facial expression.

또한, 사용자의 감정 상태나 주변 분위기가 표현된 사용자의 얼굴 표정 변화를 검출하여 그에 대응되도록 조명을 제어함으로써 사용자의 만족도를 극대화할 수 있다. In addition, the user's satisfaction can be maximized by detecting the user's facial expression change expressing the user's emotional state or surrounding atmosphere and controlling lighting to correspond thereto.

또한, 사용자 얼굴의 표정에 변화가 있을 경우 조명의 명암 또는 색상을 변경함으로써 사용자가 조명 장치와 자연스러운 상호작용을 하도록 할 수 있다.In addition, when there is a change in the expression of the user's face, the user can have a natural interaction with the lighting device by changing the brightness or color of the lighting.

도 1은 본 발명의 일실시예에 따른 얼굴 표정을 이용한 조명 제어 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 얼굴 표정을 이용한 조명 제어 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 얼굴 표정을 이용한 조명 제어 방법을 나타낸 동작흐름도이다.
도 4는 본 발명의 일실시예에 따른 카메라 및 조명 장치의 설치 위치를 나타낸 예시도이다.
도 5는 본 발명의 일실시예에 따른 카메라 및 조명 장치의 설치 위치를 나타낸 예시도이다.
도 6은 도 3의 S320 단계를 설명하기 위한 도면이다.
도 7은 도 3의 S330 단계에서 통합모드로 조명 제어 신호를 생성하는 방법을 설명하기 위한 도면이다.
도 8은 도 3의 S330 단계에서 개별모드로 조명 제어 신호를 생성하는 방법을 설명하기 위한 도면이다.1 is a diagram for explaining a lighting control system using facial expressions according to an embodiment of the present invention.
2 is a block diagram showing the configuration of a lighting control device using facial expressions according to an embodiment of the present invention.
3 is an operation flowchart illustrating a lighting control method using facial expressions according to an embodiment of the present invention.
4 is an exemplary view showing installation positions of a camera and a lighting device according to an embodiment of the present invention.
5 is an exemplary view showing installation positions of a camera and a lighting device according to an embodiment of the present invention.
FIG. 6 is a diagram for explaining step S320 of FIG. 3 .
FIG. 7 is a diagram for explaining a method of generating a lighting control signal in an integrated mode in step S330 of FIG. 3 .
FIG. 8 is a diagram for explaining a method of generating a lighting control signal in an individual mode in step S330 of FIG. 3 .

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will be described in detail with reference to the accompanying drawings. Here, repeated descriptions, well-known functions that may unnecessarily obscure the subject matter of the present invention, and detailed descriptions of configurations are omitted. Embodiments of the present invention are provided to more completely explain the present invention to those skilled in the art. Accordingly, the shapes and sizes of elements in the drawings may be exaggerated for clarity.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 얼굴 표정을 이용한 조명 제어 시스템을 설명하기 위한 도면이다. 1 is a diagram for explaining a lighting control system using facial expressions according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 얼굴 표정을 이용한 조명 제어 시스템은 카메라(100), 조명 제어 장치(200) 및 조명 장치(300)를 포함한다. As shown in FIG. 1 , the lighting control system using facial expressions includes a camera 100 , a lighting control device 200 and a lighting device 300 .

먼저, 카메라(100)는 조명 장치(300)가 빛을 비추기 위한 공간을 촬영하고, 촬영된 영상을 조명 제어 장치(200)로 전송한다. 이때, 영상은 사진 또는 동영상일 수 있으며, 카메라(100)는 촬영한 영상을 실시간으로 조명 제어 장치(200)로 전송할 수 있다. First, the camera 100 photographs a space where the lighting device 300 emits light, and transmits the captured image to the lighting control device 200 . In this case, the image may be a photo or a video, and the camera 100 may transmit the captured image to the lighting control device 200 in real time.

그리고 카메라(100)가 촬영한 영상에는 한 명 이상의 사용자가 포함될 수 있으며, 카메라(100)는 촬영한 영상에 사용자가 포함된 경우에만 조명 제어 장치(200)로 영상을 전송할 수도 있다. In addition, one or more users may be included in the image captured by the camera 100, and the camera 100 may transmit the image to the lighting control device 200 only when the user is included in the captured image.

또한, 본 발명의 실시예에 따른 조명 제어 시스템은 복수의 카메라(100)를 구비할 수 있으며, 카메라(100)는 팬 틸트 방식으로 동작하여, 사용자의 위치에 대응되도록 각도를 조절하여 영상을 촬영하거나 각각의 사용자별로 영상을 촬영할 수 있다. In addition, the lighting control system according to an embodiment of the present invention may include a plurality of cameras 100, and the cameras 100 operate in a pan-tilt manner, adjusting the angle to correspond to the user's position to capture images Alternatively, images may be captured for each user.

그리고 조명 제어 장치(200)는 하나 이상의 카메라(100)로부터 촬영된 영상을 수신하고, 수신된 영상으로부터 사용자의 얼굴을 검출하며, 검출된 사용자의 얼굴에서 각 얼굴 요소별 특징점을 추출한다. 그리고 추출된 특징점을 이용하여 조명 제어 신호를 생성하고, 생성된 조명 제어 신호를 하나 이상의 조명 장치(300)로 전송한다. Further, the lighting control device 200 receives an image taken from one or more cameras 100, detects a user's face from the received image, and extracts feature points for each facial element from the detected user's face. Then, a lighting control signal is generated using the extracted feature points, and the generated lighting control signal is transmitted to one or more lighting devices 300 .

조명 제어 장치(200)는 추출된 특징점과 기준점 간의 변위를 계산하거나, 추출된 특징점을 이용하여 사용자의 표정을 인식한다. 그리고 변위 또는 인식된 사용자의 표정에 대응되는 조명 제어 신호를 생성한다. The lighting control device 200 calculates the displacement between the extracted feature point and the reference point, or recognizes the user's facial expression using the extracted feature point. Then, a lighting control signal corresponding to the displacement or the recognized facial expression of the user is generated.

여기서, 조명 제어 신호는 조명 장치(300)의 동작 유형, 명암, 색상 중에서 적어도 하나를 제어하는 신호이다. Here, the lighting control signal is a signal for controlling at least one of an operation type, contrast, and color of the lighting device 300 .

마지막으로 조명 장치(300)는 조명 제어 장치(200)로부터 수신된 조명 제어 신호에 대응되도록 동작하며, 본 발명의 실시예에 따른 조명 제어 시스템은 복수의 조명 장치(300)를 구비할 수 있다. Finally, the lighting device 300 operates to correspond to the lighting control signal received from the lighting control device 200, and the lighting control system according to an embodiment of the present invention may include a plurality of lighting devices 300.

그리고 조명 장치(300)는 명암 또는 색상을 변경하여 다양한 색상의 빛을 발광할 수 있다. Also, the lighting device 300 may emit light of various colors by changing the brightness or color.

도 2는 본 발명의 일실시예에 따른 얼굴 표정을 이용한 조명 제어 장치의 구성을 나타낸 블록도이다.2 is a block diagram showing the configuration of a lighting control device using facial expressions according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 조명 제어 장치(200)는 영상 처리부(210), 특징점 추출부(220) 및 조명 제어 신호 생성부(230)를 포함한다. As shown in FIG. 2 , the lighting control device 200 includes an image processing unit 210 , a feature point extraction unit 220 and a lighting control signal generation unit 230 .

먼저, 영상 처리부(210)는 촬영된 영상으로부터 사용자의 얼굴을 검출한다. 그리고 영상 처리부(210)는 촬영된 영상에 포함된 사용자의 수가 복수인지 여부를 판단할 수 있다. First, the image processing unit 210 detects a user's face from a photographed image. Also, the image processing unit 210 may determine whether the number of users included in the photographed image is plural.

다음으로 특징점 추출부(220)는 검출된 사용자의 얼굴로부터 각 얼굴 요소별 특징점을 추출한다. 여기서 각 얼굴 요소는 눈썹(Eyebrow), 눈(Eye), 코(Nose) 및 입(Mouth) 중에서 적어도 하나일 수 있다. Next, the feature point extraction unit 220 extracts feature points for each facial element from the detected face of the user. Here, each face element may be at least one of an eyebrow, an eye, a nose, and a mouth.

마지막으로, 조명 제어 신호 생성부(230)는 특징점을 이용하여 조명 제어 신호를 생성하고, 생성된 조명 제어 신호를 조명 장치(300)로 전송한다. 이때, 조명 제어 신호는 조명 장치(300)의 동작 유형, 명암, 색상 중에서 적어도 하나를 제어하는 신호를 의미한다. Finally, the lighting control signal generation unit 230 generates a lighting control signal using the characteristic points and transmits the generated lighting control signal to the lighting device 300 . In this case, the lighting control signal refers to a signal for controlling at least one of an operation type, contrast, and color of the lighting device 300 .

그리고 조명 제어 신호 생성부(230)는 추출된 특징점과 기준점 간의 변위를 계산하고, 계산된 변위를 이용하여 조명 제어 신호를 생성하거나, 추출된 특징점을 이용하여 사용자의 표정을 인식하고, 인식된 사용자의 표정을 이용하여 조명 제어 신호를 생성할 수 있다. And the lighting control signal generation unit 230 calculates the displacement between the extracted feature point and the reference point, generates a lighting control signal using the calculated displacement, or recognizes the user's facial expression using the extracted feature point, and recognizes the user. A lighting control signal may be generated using the facial expression of .

또한, 영상 처리부(210)가 영상에 복수의 사용자가 포함된 것으로 판단한 경우, 조명 제어 신호 생성부(230)는 통합 모드(Integrating mode) 또는 개별 모드(Individual mode) 중에서 어느 한 모드를 선택하고, 선택된 모드에 대응되도록 조명 제어 신호를 생성할 수 있다.In addition, when the image processing unit 210 determines that a plurality of users are included in the image, the lighting control signal generating unit 230 selects one of the integrating mode and the individual mode, A lighting control signal may be generated to correspond to the selected mode.

여기서, 통합 모드는 복수의 사용자로부터 검출된 변위를 하나로 통합한 통합 변위를 이용하여 조명 제어 신호를 생성하는 모드를 의미하고, 개별 모드는 각각의 사용자 별로 계산된 변위를 이용하여 조명 제어 신호를 생성하는 모드를 의미한다. Here, the integrated mode means a mode for generating a lighting control signal using an integrated displacement obtained by integrating the displacements detected from a plurality of users into one, and the individual mode generates a lighting control signal using the displacement calculated for each user. means the mode

이하에서는 도 3 내지 도 8을 통하여 본 발명의 실시예에 따른 얼굴 표정을 이용한 조명 제어 방법에 대하여 더욱 상세하게 설명한다. Hereinafter, a lighting control method using facial expressions according to an embodiment of the present invention will be described in more detail with reference to FIGS. 3 to 8 .

도 3은 본 발명의 일실시예에 따른 얼굴 표정을 이용한 조명 제어 방법을 나타낸 동작흐름도이다.3 is an operation flowchart illustrating a lighting control method using facial expressions according to an embodiment of the present invention.

먼저, 조명 제어 장치(200)는 촬영된 영상으로부터 사용자의 얼굴을 검출한다(S310).First, the lighting control device 200 detects the user's face from the photographed image (S310).

조명 제어 장치(200)는 카메라(100)로부터 영상을 수신하거나, 조명 제어 장치(200) 내에 구비된 촬영 장치를 이용하여 영상을 촬영할 수 있다. 이때, 조명 제어 장치(200)는 실시간으로 영상을 촬영하거나, 실시간으로 카메라(100)로부터 영상을 수신할 수 있으며, 촬영 또는 수신된 영상으로부터 사용자의 얼굴을 실시간으로 검출할 수 있다. The lighting control device 200 may receive an image from the camera 100 or take an image using a photographing device provided in the lighting control device 200 . At this time, the lighting control device 200 may take an image in real time or receive an image from the camera 100 in real time, and may detect the user's face from the captured or received image in real time.

도 4는 본 발명의 일실시예에 따른 카메라 및 조명 장치의 설치 위치를 나타낸 예시도이고, 도 5는 본 발명의 일실시예에 따른 카메라 및 조명 장치의 설치 위치를 나타낸 예시도이다.4 is an exemplary view showing installation positions of a camera and a lighting device according to an embodiment of the present invention, and FIG. 5 is an exemplary view showing an installation position of a camera and lighting device according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 카메라(100)와 조명 장치(300)는 입체적으로 설치될 수 있다. 카메라(100)는 조명 장치(300)보다 높은 위치에 설치될 수 있으며, 복수의 카메라(100)가 설치되어 모든 방향에서 영상을 촬영할 수 있다. 그리고 조명 장치(300)는 복수 개 설치될 수 있으며, 조명 변화를 수행하기 위하여 조명 장치(300)가 설치된 영역 별로 광원 센서(350)를 구비할 수 있다. As shown in FIG. 4 , the camera 100 and the lighting device 300 may be three-dimensionally installed. The camera 100 may be installed at a higher position than the lighting device 300, and a plurality of cameras 100 may be installed to capture images in all directions. In addition, a plurality of lighting devices 300 may be installed, and a light source sensor 350 may be provided for each area where the lighting device 300 is installed to change lighting.

또한, 도 5에 나타낸 것처럼, 카메라(100)와 조명 장치(300)는 평면적으로 설치될 수 있으며, 이때, 카메라(100)는 하나 이상 설치될 수 있다. Also, as shown in FIG. 5 , the camera 100 and the lighting device 300 may be installed in a plane, and at this time, one or more cameras 100 may be installed.

설명이 편의상, 얼굴 표정을 이용한 조명 제어 시스템이 카메라(100)와 조명 제어 장치(200) 및 조명 장치(300)를 포함하는 것으로 설명하였으나, 조명 제어 장치(200)가 카메라(100)의 역할을 수행하는 촬영부를 구비하고, 조명 장치(300)의 역할을 수행하는 조명부를 구비할 수도 있다. For convenience of description, the lighting control system using facial expressions has been described as including the camera 100, the lighting control device 200, and the lighting device 300, but the lighting control device 200 serves as the camera 100. A photographing unit may be provided, and a lighting unit may be provided to perform the role of the lighting device 300 .

촬영된 영상에 한 명 이상의 사용자가 포함된 경우, 조명 제어 장치(200)는 영상으로부터 사용자의 얼굴을 검출한다. 그리고 조명 제어 장치(200)는 영상에 포함된 사용자가 한 명인지, 복수 명인지 여부를 판단할 수 있다. When one or more users are included in the captured image, the lighting control device 200 detects the user's face from the image. And the lighting control device 200 may determine whether the user included in the image is one person or a plurality of people.

반면, 조명 제어 장치(200)는 촬영된 영상에 사용자의 얼굴이 포함되지 않은 것으로 판단하면, 조명 장치(300)를 소등시키는 조명 제어 신호를 생성하거나, 조명 장치(300)의 현재 동작 상태를 그대로 유지시키는 조명 제어 신호를 생성하여 조명 장치(300)로 전송할 수 있다. On the other hand, if the lighting control device 200 determines that the user's face is not included in the photographed image, it generates a lighting control signal to turn off the lighting device 300 or the current operating state of the lighting device 300 as it is. A lighting control signal to be maintained may be generated and transmitted to the lighting device 300 .

다음으로, 조명 제어 장치(200)는 각 얼굴 요소별 특징점을 추출한다(S320).Next, the lighting control device 200 extracts feature points for each facial element (S320).

조명 제어 장치(200)는 사용자의 각 얼굴 요소별 특징점(20)을 추출하고, 특징점(20)과 기준점(10) 간의 거리인 변위를 계산할 수 있다. 그리고 계산된 변위를 이용하여 얼굴 요소별 특징점과 기준점 사이의 거리에 대한 함수 관계를 연산하여 관계함수를 생성할 수 있다. The lighting control device 200 may extract the feature point 20 for each facial element of the user and calculate a displacement, which is a distance between the feature point 20 and the reference point 10 . In addition, a relational function may be generated by calculating a functional relation of a distance between a reference point and a feature point for each face element using the calculated displacement.

도 6은 도 3의 S320 단계를 설명하기 위한 도면이다. FIG. 6 is a diagram for explaining step S320 of FIG. 3 .

도 6에 도시된 바와 같이, 조명 제어 장치(200)는 영상으로부터 특징점(20)을 추출하고, 특징점(20)과 기준점(10) 사이의 거리인 변위(30)을 계산한다. 이때, 조명 제어 장치(200)는 각 얼굴 요소별로 특징점(20)을 추출하고, 변위(30)를 계산할 수 있다. As shown in FIG. 6 , the lighting control device 200 extracts a feature point 20 from an image and calculates a displacement 30 that is a distance between the feature point 20 and the reference point 10 . At this time, the lighting control device 200 may extract the feature point 20 for each facial element and calculate the displacement 30 .

그리고 조명 제어 장치(200)는 각 얼굴 요소별로 관계함수를 생성한다. 여기서, 관계함수는 얼굴 요소별 특징 점들과 기준점들 사이의 거리에 대한 함수를 의미한다. 얼굴 요소가 눈썹, 눈, 코, 입인 경우, 조명 제어 장치(200)는 눈썹, 눈, 코, 입에 대응되는 관계함수를 생성할 수 있다. And the lighting control device 200 generates a relational function for each facial element. Here, the relationship function means a function of a distance between feature points for each face element and reference points. When facial elements include eyebrows, eyes, nose, and mouth, the lighting control device 200 may generate relational functions corresponding to the eyebrows, eyes, nose, and mouth.

또한 조명 제어 장치(200)는 추출된 사용자의 각 얼굴 요소별 특징점(20)을 이용하여 사용자의 표정을 인식할 수 있다. In addition, the lighting control device 200 may recognize the user's facial expression using the extracted feature points 20 for each facial element of the user.

마지막으로, 조명 제어 장치(200)는 조명 제어 신호를 생성하고, 생성된 조명 제어 신호를 조명 장치(300)로 전송한다. Finally, the lighting control device 200 generates a lighting control signal and transmits the generated lighting control signal to the lighting device 300 .

조명 제어 장치(200)는 S320 단계에서 생성된 함수 관계에 대응되는 조명 제어 신호를 생성하거나, S320 단계에서 인식된 사용자의 표정에 대응되는 조명 제어 신호를 생성할 수 있다. The lighting control device 200 may generate a lighting control signal corresponding to the functional relationship generated in step S320 or a lighting control signal corresponding to the user's facial expression recognized in step S320.

사용자의 표정에 대응되는 조명 제어 신호를 생성하는 경우, 예를 들어, 조명 제어 장치(200)가 사용자의 표정이 웃는 표정인 것으로 인식하면, 조명 제어 장치(200)는 복수의 조명 장치(300)를 깜박이도록 설정하고, 복수의 조명 장치(300)가 빨강, 노랑, 파랑 색을 발광하도록 하는 제어 신호를 생성하여 복수의 조명 장치(300)로 전송할 수 있다. When generating a lighting control signal corresponding to the user's facial expression, for example, when the lighting control device 200 recognizes that the user's facial expression is a smiling expression, the lighting control device 200 operates a plurality of lighting devices 300 is set to blink, and a control signal for causing the plurality of lighting devices 300 to emit red, yellow, and blue colors may be generated and transmitted to the plurality of lighting devices 300 .

그리고, 조명 제어 장치(200)는 S310 단계에서 영상에 복수의 사용자가 포함된 것으로 판단된 경우, 통합 모드(Integrating mode) 또는 개별 모드(Individual mode) 중에서 어느 한 모드를 선택하고, 선택된 모드에 대응되도록 조명 제어 신호를 생성할 수 있다.And, when the lighting control device 200 determines that a plurality of users are included in the image in step S310, selects any one mode from the integrating mode or the individual mode, and corresponds to the selected mode. A lighting control signal may be generated so as to be.

도 7은 도 3의 S330 단계에서 통합모드로 조명 제어 신호를 생성하는 방법을 설명하기 위한 도면이다. FIG. 7 is a diagram for explaining a method of generating a lighting control signal in an integrated mode in step S330 of FIG. 3 .

도 7과 같이, 영상에 제1 사용자(400a), 제2 사용자(400b) 및 제3 사용자(400c)가 포함된 경우, 조명 제어 장치(200)는 통합모드로 작동하여 조명 제어 신호를 생성할 수 있다. 7, when the first user 400a, the second user 400b, and the third user 400c are included in the image, the lighting control device 200 operates in an integrated mode to generate a lighting control signal. can

이때, 조명 제어 장치(200)는 복수의 사용자(400a, 400b, 400c)로부터 추출된 특징점을 이용하여 각각의 변위를 연산하고, 연산된 변위를 하나의 변위로 통합한다. 그리고 조명 제어 장치(200)는 통합된 변위를 이용하여 얼굴 각 요소별 관계 함수를 생성할 수 있으며, 생성된 관계 함수에 대응되는 조명 제어 신호를 생성하여 조명 장치(300)로 전송할 수 있다. At this time, the lighting control device 200 calculates each displacement using the feature points extracted from the plurality of users 400a, 400b, and 400c, and integrates the calculated displacements into one displacement. Further, the lighting control device 200 may generate a relation function for each face element using the integrated displacement, and may generate a lighting control signal corresponding to the generated relation function and transmit the generated relation function to the lighting apparatus 300 .

도 8은 도 3의 S330 단계에서 개별모드로 조명 제어 신호를 생성하는 방법을 설명하기 위한 도면이다.FIG. 8 is a diagram for explaining a method of generating a lighting control signal in an individual mode in step S330 of FIG. 3 .

도 8에 나타낸 것처럼, 조명 제어 장치(200)는 제1 사용자(400a), 제2 사용자(400b) 및 제3 사용자(400c)별 변위를 연산하고, 연산된 변위를 이용하여 얼굴 요소별 관계함수를 생성한다. 영상에 세 명이 사용자가 포함된 경우, 개별모드에서는 세 사람의 관계함수가 생성될 수 있다. As shown in FIG. 8, the lighting control device 200 calculates displacements for each of the first user 400a, the second user 400b, and the third user 400c, and uses the calculated displacement to obtain a relationship function for each facial element. generate When three users are included in the video, a relationship function of the three people can be generated in the individual mode.

그리고 조명 제어 장치(200)는 생성된 각각의 관계 함수에 대응되도록 조명 제어 신호를 생성하여 조명 장치(300)로 전송한다. Then, the lighting control device 200 generates a lighting control signal to correspond to each generated relationship function and transmits the generated lighting control signal to the lighting device 300 .

이때, 조명 제어 장치(200)는 복수의 조명 장치(300)가 동시에 조명 제어 신호에 대응되는 동작을 할 수 있도록 조명 제어 신호를 전송하거나, 조명 장치(300)가 순차적으로 조명 제어 신호에 대응되도록 동작할 수 있도록 제어할 수 있다. At this time, the lighting control device 200 transmits a lighting control signal so that the plurality of lighting devices 300 can simultaneously perform an operation corresponding to the lighting control signal, or the lighting device 300 sequentially corresponds to the lighting control signal. You can control it to make it work.

이상에서와 같이 본 발명에 따른 얼굴 표정을 이용한 조명 제어 장치 및 그 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the lighting control device and method using facial expressions according to the present invention are not limited to the configuration and method of the embodiments described above, but the embodiments can be modified in various ways. All or part of each embodiment may be configured by selectively combining them.

10 : 기준점
20 : 특징점
30 : 변위
100 : 카메라
200 : 조명 제어 장치
210 : 영상 처리부
220 : 특징점 추출부
230 : 조명 제어 신호 생성부
300 : 조명 장치
350 : 광원센서
400a, 400b, 400c : 사용자10: reference point
20: feature point
30: displacement
100: camera
200: lighting control device
210: image processing unit
220: feature point extraction unit
230: lighting control signal generation unit
300: lighting device
350: light source sensor
400a, 400b, 400c: User

Claims (10)

얼굴 표정을 이용한 조명 제어 장치에 의해 수행되는 조명 제어 방법에 있어서,
카메라가 촬영한 영상으로부터 사용자의 얼굴을 검출하는 단계,
검출된 상기 사용자의 얼굴로부터 각 얼굴 요소별 특징점을 추출하는 단계, 그리고
상기 특징점을 이용하여 조명 제어 신호를 생성하고, 생성된 상기 조명 제어 신호를 조명으로 전송하는 단계
를 포함하고,
상기 조명 제어 신호는
상기 특징점과 기준점 사이에서 계산된 변위 및 상기 특징점을 이용하여 인식된 사용자의 표정 중 적어도 하나를 이용하여 통합 모드 또는 개별 모드 중 어느 한 모드에 대응되도록 생성되고,
상기 통합 모드의 경우,
상기 영상에 포함된 복수의 사용자들 각각의 얼굴에서 계산된 변위를 하나로 통합한 통합 변위를 생성하고, 상기 통합 변위를 기반으로 얼굴 요소별 특징점과 기준점 사이 거리에 대한 함수 관계를 연산하여 관계함수를 생성하고, 상기 관계함수에 대응되도록 상기 조명 제어 신호를 생성하는 것을 특징으로 하는 얼굴 표정을 이용한 조명 제어 방법. A lighting control method performed by a lighting control device using facial expressions,
Detecting a user's face from an image captured by a camera;
extracting feature points for each facial element from the detected face of the user; and
Generating a lighting control signal using the feature point and transmitting the generated lighting control signal to lighting
including,
The lighting control signal is
It is generated to correspond to any one of the integrated mode and the individual mode using at least one of the displacement calculated between the feature point and the reference point and the facial expression of the user recognized using the feature point,
In the case of the integrated mode,
An integrated displacement is created by integrating the displacements calculated on the faces of each of the plurality of users included in the image into one, and based on the integrated displacement, a functional relationship is calculated for the distance between the feature point and the reference point for each facial element to obtain a relational function. and generating the lighting control signal to correspond to the relational function. 삭제delete 청구항 1에 있어서,
상기 전송하는 단계는
상기 개별 모드의 경우, 상기 영상에 포함된 복수의 사용자들 각각의 얼굴에서 계산된 변위에 대응되는 복수의 조명 제어 신호들을 생성하는 것을 특징으로 하는 얼굴 표정을 이용한 조명 제어 방법.The method of claim 1,
The sending step is
In the case of the individual mode, a plurality of lighting control signals corresponding to the displacements calculated on the faces of each of the plurality of users included in the image are generated. 청구항 1에 있어서,
상기 조명 제어 신호는,
상기 조명의 동작유형, 명암, 색상 중에서 적어도 하나를 제어하는 것을 특징으로 하는 얼굴 표정을 이용한 조명 제어 방법.The method of claim 1,
The lighting control signal,
Lighting control method using a facial expression, characterized in that for controlling at least one of the operation type, contrast, color of the lighting. 청구항 1에 있어서,
상기 전송하는 단계는
상기 영상으로부터 사용자의 얼굴이 검출되지 않은 경우, 상기 조명을 기 설정된 색상으로 점등시키거나, 상기 조명을 소등시키는 조명 제어 신호를 생성하는 것을 특징으로 하는 얼굴 표정을 이용한 조명 제어 방법.The method of claim 1,
The sending step is
When the user's face is not detected from the image, the lighting control method using facial expressions, characterized in that for generating a lighting control signal for turning on the lighting in a preset color or turning off the lighting. 카메라가 촬영한 영상으로부터 사용자의 얼굴을 검출하는 영상 처리부,
검출된 상기 사용자의 얼굴로부터 각 얼굴 요소별 특징점을 추출하는 특징점 추출부, 그리고
상기 특징점을 이용하여 조명 제어 신호를 생성하고, 생성된 상기 조명 제어 신호를 조명으로 전송하는 조명 제어 신호 생성부
를 포함하고,
상기 조명 제어 신호는
상기 특징점과 기준점 사이에서 계산된 변위 및 상기 특징점을 이용하여 인식된 사용자의 표정 중 적어도 하나를 이용하여 통합 모드 또는 개별 모드 중 어느 한 모드에 대응되도록 생성되고,
상기 조명 제어 신호 생성부는
상기 통합 모드의 경우,
상기 영상에 포함된 복수의 사용자들 각각의 얼굴에서 계산된 변위를 하나로 통합한 통합 변위를 생성하고, 상기 통합 변위를 기반으로 얼굴 요소별 특징점과 기준점 사이 거리에 대한 함수 관계를 연산하여 관계함수를 생성하고, 상기 관계함수에 대응되도록 상기 조명 제어 신호를 생성하는 것을 특징으로 하는 얼굴 표정을 이용한 조명 제어 장치.An image processing unit for detecting a user's face from an image captured by a camera;
A feature point extraction unit extracting feature points for each facial element from the detected face of the user; and
A lighting control signal generating unit that generates a lighting control signal using the characteristic points and transmits the generated lighting control signal to lighting.
including,
The lighting control signal is
It is generated to correspond to any one of the integrated mode and the individual mode using at least one of the displacement calculated between the feature point and the reference point and the facial expression of the user recognized using the feature point,
The lighting control signal generating unit
In the case of the integrated mode,
An integrated displacement is created by integrating the displacements calculated on the faces of each of the plurality of users included in the image into one, and based on the integrated displacement, a functional relationship is calculated for the distance between the feature point and the reference point for each facial element to obtain a relational function. and generating the lighting control signal to correspond to the relational function. 삭제delete 청구항 6에 있어서,
상기 조명 제어 신호 생성부는,
상기 개별 모드의 경우, 상기 영상에 포함된 복수의 사용자들 각각의 얼굴에서 계산된 변위에 대응되는 복수의 조명 제어 신호들을 생성하는 것을 특징으로 하는 얼굴 표정을 이용한 조명 제어 장치.The method of claim 6,
The lighting control signal generator,
In the case of the individual mode, the lighting control device using facial expressions, characterized in that for generating a plurality of lighting control signals corresponding to the displacement calculated on the face of each of the plurality of users included in the image. 청구항 6에 있어서,
상기 조명 제어 신호는,
조명의 동작유형, 명암, 색상 중에서 적어도 하나를 제어하는 것을 특징으로 하는 얼굴 표정을 이용한 조명 제어 장치.The method of claim 6,
The lighting control signal,
A lighting control device using facial expressions, characterized in that for controlling at least one of the operation type, contrast, and color of lighting. 청구항 6에 있어서,
상기 조명 제어 신호 생성부는,
상기 영상으로부터 사용자의 얼굴이 검출되지 않은 경우, 상기 조명을 기 설정된 색상으로 점등시키거나, 상기 조명을 소등시키는 조명 제어 신호를 생성하는 것을 특징으로 하는 얼굴 표정을 이용한 조명 제어 장치.The method of claim 6,
The lighting control signal generator,
When the user's face is not detected from the image, the lighting control device using facial expressions, characterized in that for generating a lighting control signal for turning on the lighting in a preset color or turning off the lighting.
KR1020160000648A 2016-01-04 2016-01-04 Apparatus for controling lighting using facial expression and method thereof KR102518244B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160000648A KR102518244B1 (en) 2016-01-04 2016-01-04 Apparatus for controling lighting using facial expression and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160000648A KR102518244B1 (en) 2016-01-04 2016-01-04 Apparatus for controling lighting using facial expression and method thereof

Publications (2)

Publication Number Publication Date
KR20170081519A KR20170081519A (en) 2017-07-12
KR102518244B1 true KR102518244B1 (en) 2023-04-06

Family

ID=59353127

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160000648A KR102518244B1 (en) 2016-01-04 2016-01-04 Apparatus for controling lighting using facial expression and method thereof

Country Status (1)

Country Link
KR (1) KR102518244B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102041017B1 (en) * 2017-09-29 2019-11-05 건국대학교 산학협력단 A method and apparatus for controlling a lighting using bluetooth communication between desktop computer and android terminal
WO2024076200A1 (en) * 2022-10-07 2024-04-11 이철우 Electronic device providing user interface for generating responsive image, and method thereof
CN117315745B (en) * 2023-09-19 2024-05-28 中影年年(北京)科技有限公司 Facial expression capturing method and system based on machine learning

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101071752B1 (en) * 2009-07-23 2011-10-11 (주)셈투유 A smart fountain and Controlling Apparatus for being Applied in Parks
KR101379373B1 (en) * 2013-09-05 2014-04-22 (주)유앤아이미디어 Advertising method using device for advertising products with face recognition sensor

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5990858A (en) * 1996-09-04 1999-11-23 Bloomberg L.P. Flat panel display terminal for receiving multi-frequency and multi-protocol video signals
KR101748372B1 (en) * 2011-02-18 2017-06-19 에스케이플래닛 주식회사 Face recognition service system, method and apparatus for face recognition service thereof of
KR101513657B1 (en) 2012-08-21 2015-04-21 국민대학교산학협력단 System for providing emotional light contents service for digital lighting devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101071752B1 (en) * 2009-07-23 2011-10-11 (주)셈투유 A smart fountain and Controlling Apparatus for being Applied in Parks
KR101379373B1 (en) * 2013-09-05 2014-04-22 (주)유앤아이미디어 Advertising method using device for advertising products with face recognition sensor

Also Published As

Publication number Publication date
KR20170081519A (en) 2017-07-12

Similar Documents

Publication Publication Date Title
US20200082160A1 (en) Face recognition module with artificial intelligence models
KR102023611B1 (en) Terminal and method for iris scanning and proximity sensing
TWI623911B (en) Image processing system
CN107710284B (en) Techniques for more efficiently displaying text in a virtual image generation system
KR20210090134A (en) Apparatus and method for extracting depth map
TWI465825B (en) Image capturing device and capturing method with light assistance
US9438813B2 (en) Lighting system and method for image and object enhancement
WO2016147272A1 (en) Living body detection device, living body detection method, and recording medium
KR102307353B1 (en) Electronic device and method for providing an user information
KR102518244B1 (en) Apparatus for controling lighting using facial expression and method thereof
CN105959581A (en) Electronic device having dynamically controlled flashlight for image capturing and related control method
US9696551B2 (en) Information processing method and electronic device
US20180063403A1 (en) Electronic device including light-emitting elements and method of operating electronic device
KR20130033331A (en) Sensibility lighting control apparatus and method
KR101455071B1 (en) Method for enhancing night time image using digital compositing
KR101839456B1 (en) Outdoor-type selfie support Camera System Baseon Internet Of Thing
EP2805583B1 (en) Method for detecting and controlling coded light sources
CN110235442B (en) Projection type image display device
KR100877807B1 (en) Iris Identification System and Method capable of Reduction of Illumination Noise
KR20180000580A (en) cost volume calculation apparatus stereo matching system having a illuminator and method therefor
JP2007058507A (en) Line of sight detecting device
JP2688527B2 (en) Gaze direction detection method
JP2015159460A (en) Projection system, projection device, photographing device, method for generating guide frame, and program
WO2020230445A1 (en) Image processing device, image processing method, and computer program
KR102062982B1 (en) Method for video synthesis

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)