KR101876125B1 - 전자장치와 연동하는 미러 장치 및 그 동작 방법 - Google Patents

전자장치와 연동하는 미러 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR101876125B1
KR101876125B1 KR1020170045979A KR20170045979A KR101876125B1 KR 101876125 B1 KR101876125 B1 KR 101876125B1 KR 1020170045979 A KR1020170045979 A KR 1020170045979A KR 20170045979 A KR20170045979 A KR 20170045979A KR 101876125 B1 KR101876125 B1 KR 101876125B1
Authority
KR
South Korea
Prior art keywords
image
mirror
electronic device
skin
user
Prior art date
Application number
KR1020170045979A
Other languages
English (en)
Inventor
권성근
Original Assignee
경일대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경일대학교산학협력단 filed Critical 경일대학교산학협력단
Priority to KR1020170045979A priority Critical patent/KR101876125B1/ko
Application granted granted Critical
Publication of KR101876125B1 publication Critical patent/KR101876125B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • G08B13/1966—Wireless systems, other than telephone systems, used to communicate with a camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19684—Portable terminal, e.g. mobile phone, used for viewing video remotely
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems

Abstract

본 발명은 전자 장치 및 전자 장치와 근거리 통신을 통해 연결되는 미러 장치를 포함할 수 있다. 미러 장치는, 미러와, 거울의 전면에 장착되는 카메라와, 움직임 감지센서와, 근거리 통신부와, 카메라 및 움직임 감지센서와 기능적으로 연결되는 제어부를 포함할 수 있다. 미러 장치의 제어부는 미러 모드에서 카메라를 통해 사용자의 얼굴 이미지를 획득하고, 근거리 통신부를 통해 획득된 사용자 이미지를 전자 장치에 전송하며, 감시모드에서 움직임 감지센서에 의해 움직임이 검출되면 카메라를 구동하며, 카메라에서 획득되는 이미지를 저장하며, 근거리 통신부를 통해 전자 장치에 전송할 수 있다.

Description

전자장치와 연동하는 미러 장치 및 그 동작 방법{MIRROR APPARATUS INTERWORKING AN ELECTRONIC DEVICE AND THE OPERATION METHOD THEREOF}
본 발명은 전자 장치와 연동하여 미러 및 감시 기능을 수행할 수 있는 미러 장치 및 방법에 관한 것이다.
일반적으로 미러는 전방에 위치한 사람 및/또는 사물의 반사상을 제공할 수 있다. 따라서 사람들은 화장을 하거나 옷을 입을 때 미러에 비치는 반사상을 통해 화장 및 옷 매무새를 확인할 수 있다.
최근 미러에 IoT(internet of things) 기술을 접목한 스마트 미러 제품이 개발되고 있다. 스마트 미러는 일반 미러에 IoT 기능을 부가하여 다양한 기능을 수행할 수 있으며, 또는 디스플레이(예를들면 LCD(liquid crystal display), OLED(organic light emitting device 등)에 미러 필름(mirror film)을 추가하여 스마트 미러(mirror display) 기능을 수행할 수 있다.
본 발명의 다양한 실시예에 따른 미러 장치를 카메라를 포함할 수 있으며, 사용자가 설정되는 동작 모드에 따라 사용자의 얼굴 이미지를 획득하는 미러 모드 및 댁내에 침입하는 미확인 인물의 동작을 감시할 수 있는 감시 모드를 수행할 수 있다.
본 발명의 다양한 실시예들은 전자 장치와 연동되는 미러 장치가 복수의 동작 모드들을 구비하여 미러 및 감시 기능을 수행할 수 있는 장치 및 방법을 제공할 수 있다.
본 발명의 다양한 실시예들은 미러 장치가 사용자의 얼굴 이미지를 획득하고, 전자 장치가 획득된 얼굴 이미지를 분석하여 피부 영역별 정보를 표시할 수 있는 장치 및 방법을 제공할 수 있다.
본 발명이 다양한 실시예들은 미러 장치가 감시모드에서 움직임을 검출하면 카메라(및 마이크)를 구동하여 움직이는 물체의 이미지(및 사운드)를 획득하여 저장 및 전자 장치에 전송하며, 전자 장치가 수신되는 이미지(및 사운드)를 분석하여 알람 상황을 처리할 수 있는 장치 및 방법을 제공할 수 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예는 전자 장치 및 전자 장치와 근거리 통신을 통해 연결되는 미러 장치를 포함할 수 있다. 미러 장치는, 미러와, 거울의 전면에 장착되는 카메라와, 움직임 감지센서와, 근거리 통신부와, 카메라 및 움직임 감지센서와 기능적으로 연결되는 제어부를 포함할 수 있다. 미러 장치의 제어부는 미러 모드에서 카메라를 통해 사용자의 얼굴 이미지를 획득하고, 근거리 통신부를 통해 획득된 사용자 이미지를 전자 장치에 전송하며, 감시모드에서 움직임 감지센서에 의해 움직임이 검출되면 카메라를 구동하며, 카메라에서 획득되는 이미지를 저장하며, 근거리 통신부를 통해 전자 장치에 전송할 수 있다.
본 발명의 다양한 실시예들에 따른 전자 장치와 근거리 통신을 통해 연결되는 미러 장치의 동작 방법은, 미러 모드에서 카메라를 통해 사용자의 얼굴 이미지를 획득하고, 근거리 통신부를 통해 획득된 사용자 이미지를 전자 장치에 전송하는 미러 모드 단계 및 감시모드에서 움직임 감지센서에 의해 움직임이 검출되면 카메라를 구동하며, 카메라에서 획득되는 이미지를 저장하며, 근거리 통신부를 통해 전자 장치에 전송하는 감시 모드 단계를 포함할 수 있다.
본 발명의 다양한 실시예들에 따르면, 미러 장치는 사용자의 근접을 인식하면 사용자의 얼굴 이미지를 획득하여 전자 장치에 전송하고, 전자 장치를 통해 사용자의 피부 상태를 분석할 수 있으며, 피부 상태에 따라 피부 관리 정보를 피드백할 수 있다. 또한 미러 장치는 감시모드시 집안에서 움직이는 물체의 이미지 및 사운드를 획득하여 저장할 수 있으며, 또한 전자 장치에 그 결과를 전송하여 사용자가 적절한 조치를 취할 수 있도록 할 수 있다.
도 1은 본 발명의 다양한 실시예들에 따른 미러 장치와 전자 장치의 구성을 도시하는 도면이다.
도 2는 다양한 실시예들에 따른 미러 장치의 동작을 설명하기 위한 도면이다.
도 3은 다양한 실시예들에 따른 미러 장치의 구성을 도시하는 도면이다.
도 4는 다양한 실시예들에 따른 전자 장치의 구성을 도시하는 도면이다.
도 5는 다양한 실시예들에 따른 미러 장치 및 전자 장치의 동작을 설명하기 위한 흐름도이다
도 6은 다양한 실시예들에 따른 미러 장치의 미러모드 동작 절차를 도시하는 흐름도이다.
도 7은 다양한 실시예들에 따른 전자 장치의 미러 모드 동작 절차를 도시하는 흐름도이다.
도 8은 전자 장치가 미러 모드에서 피부 지수 분석 및 피부 솔루션 피드백 정보들을 설명하기 위한 도면이다
도 9는 다양한 실시예들에 따른 미러 장치가 감시모드에서 수행하는 동작 절차를 도시하는 흐름도이다.
도 10은 다양한 실시예들에 따른 전자 장치가 감시모드에서 수행하는 동작 절차를 도시하는 흐름도이다.
도 11은 다양한 실시예에 따른 미러 장치와 복수 전자 장치들 간의 동작을 설명하기 위한 도면이다.
도 12는 다양한 실시예에 따라 미러 장치와 복수의 전자 장치들 간의 동작 절차를 도시하는 흐름도이다.
본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.
일반적으로 거울은 얼굴이나 옷 착용 상태를 확인하기 위한 용도로 사용될 수 있다. 예를들면, 거울은 화장을 할 때 사용될 수 있다. 다양한 실시예에 따른 미러 장치는 사용자의 피부 상태를 측정하기 위한 스마트 미러 장치가 될 수 있다. 또한 현재 직장인은 원룸에 주거하며, 직장 근무 시간에는 댁내에 사람이 존재하지 않을 수 있다. 또한 원룸과 같은 경우, 1인이 주거할 수 있다. 따라서 독거 생활하는 경우, 사람이 없는 시간(외출 시간) 및 취침 시간에는 방범 및 방재에 취약할 수 있다. 일반적으로 거울은 댁내의 일정한 곳에 위치될 수 있다. 그리고 거울은 실내의 위치를 확인할 수 있는 곳에 위치시킬 수 있다. 다양한 실시예들에 따른 미러 장치는 다양한 종류의 방범 및 방재 센서(예를들면, 움직임 감지 센서, 화재 감지 센서, 사운드 감지 센서 등)을 장착하고, 감시모드에서 센서들의 출력을 모니터링하여 방범 및/또는 방재를 위한 동작을 수행할 수 있다.
본 발명의 다양한 실시예에 따른 미러 장치는 전자 장치와 근거리 무선 통신을 통해 전자 장치와 연결될 수 있다. 미러 장치는 동작 모드에 따라 장치에 장착된 카메라를 통해 접근 또는 움직이는 사람 또는 물체 등의 이미지를 획득하여 전자 장치에 전송할 수 있다. 전자 장치는 미러 모드시 얼굴 이미지가 수신되는 설정된 어플리케이션에 기반하여 수신되는 얼굴 이미지를 분석하여 사용자의 피부 상태 정보 및 관리 방법을 제공할 수 있다. 또한 전자 장치는 감시 모드시 수신되는 이미지에 기반하여 대응되는 감시 기능을 처리할 수 있다.
도 1은 본 발명의 다양한 실시예들에 따른 미러 장치와 전자 장치의 구성을 도시하는 도면이다.
도 1을 참조하면, 미러 장치(100)는 미러를 포함하며, 사용자의 접근 및 확인 인물의 접근 등을 감지할 수 있는 센서 및 인물을 촬영할 수 있는 카메라를 포함할 수 있다. 미러 장치(100)는 전자 장치(110)과 연결될 수 있는 근거리 무선 통신부를 포함할 수 있다. 전자 장치(110)는 동작 모드에 따라 미러 장치(100)에서 전송되는 얼굴 이미지의 피부 상태를 분석할 수 있으며, 또한 미러 장치(100)에서 전송되는 이미지를 무선통신망(130) 또는 인터넷 망(120)을 통해 미리 설정된 다른 전자 장치에 전송할 수 있다.
전자 장치(110)는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), 모바일 의료기기, 카메라(camera), 또는 웨어러블 디바이스(wearable device) 중 적어도 하나를 포함할수 있다. 또한 전자 장치(100)는 가전 제품(home appliance)일 수 있다. 가전 제품은, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에서 미러 장치는 미러 디스플레이를 포함할 수 있으며, 또는 일반 미러를 포함할 수 있다. 본 발명의 다양한 실시예들에서 미러 장치는 일반 미러 장치인 경우로 예로들어 설명될 것이다. 다양한 실시 예에서, 전자 장치(110는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다. 본 발명의 다양한 실시예들에서 전자 장치는 스마트폰이 될 수 있다. 또한 제1 전자 장치 및 제2 전자 장치를 포함하는 경우, 제1 전자 장치는 스마트폰이 될 수 있으며, 제2 전자 장치는 유선 전화 또는 세탑박스를 예로들어 설명될 것이다. 또한 다양한 실시예들에서 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 2는 다양한 실시예들에 따른 미러 장치의 동작을 설명하기 위한 도면이다. 도 2는 미러 장치(100)는 거울(200) 및 지지부(210)가 분리되는 장치로 구성될 수 있다. 그러나 미러 장치(100)는 거울(220) 및 지지부(210)이 연결된 일체형의 장치로 구성할 수도 있다.
도 2를 참조하면, 미러 장치(100)의 거울(200)에는 카메라, 센서 및 표시소자 등이 장착될 수 있다. 미러 장치(100)의 지지부(210)에는 프로세서, 메모리, 스피커, 마이크, 근거리 통신부 등이 장착될 수 있다. 미러 장치(100)는 이동 가능한 장치(portable device)로 구현할 수 있다. 이동 가능한 크기로 구성하는 경우, 미러 장치(100)의 거울(200)는 근접한 거리에서 사용자의 얼굴을 표시할 수 있다.
미러 장치(100)는 미러 모드 및 감시 모드로 동작될 수 있다. 미러모드에서 사용자의 근접을 감지하면, 미러 장치(100)는 220과 같이 카메라를 구동하여 사용자의 얼굴 이미지를 촬영하고, 230과 같이 촬영된 얼굴 이미지를 근거리 무선 통신을 통해 전자 장치에 전송할 수 있다. 그러면 전자 장치는 이미지 분석을 통해 피부 상태를 확인하고, 피부 상태 정보를 표시할 수 있다. 또한 거울(220)이 미러 디스플레이이면, 전자 장치는 근거리 무선 통신부를 통해 분석된 피부 상태 정보를 전송하고, 미러 장치(100)은 수신된 피부 상태 정보를 거울에 표시할 수 있다. 또한 미러 모드에서 미러 장치(100)는 250과 같이 전자 장치에서 전송되는 오디오를 스피커를 통해 재생할 수 있다.
또한 감시모드에서 미러 장치(100)는 센서를 통해 댁내의 움직임 여부를 감지할 수 있다. 이때 움직임이 감지되면, 미러 장치(100)는 카메라를 구동하여 움직이는 피사체를 촬영하고, 촬영되는 이미지를 저장할 수 있으며, 또한 근거리 무선 통신부를 통해 전자 장치에 전송할 수 있다.
도 3은 다양한 실시예들에 따른 미러 장치의 구성을 도시하는 도면이다.
도 3을 참조하면, 미러 장치는 도 1 및 도 2의 미러 장치(100)가 될 수 있다. 미러 장치는 제어부(300), 메모리(310), 카메라(320), 움직임 감지센서(330), 근거리 통신부(340), 표시부(350), 키입력부(360), 마이크(370), 스피커(380) 및/또는 미러(390)을 포함할 수 있다.
제어부(300)는 미러 장치의 미러 모드 및 감시 모드의 동작을 처리할 수 있다. 메모리(310)은 미러 장치의 동작 프로그램들을 저장할 수 있으며, 프로그램 수행 중에 발생되는 데이터들을 저장할 수 있다.
카메라(320)는 제어부(300)에 의해 동작이 제어될 수 있다. 카메라(300)는 제어부(300)의 제어하에 미리 모드시 구동되어 프리뷰 이미지를 획득할 수 있으며, 촬영 요청이 발생되면 피사체를 캡쳐하여 정지 이미지를 생성할 수 있다. 또한 제어부(300)의 제어하에 감시모드시 피사체의 동영상을 촬영할 수 있다.
움직임 감지 센서(motion detecting sensor)(330)는 미러 장치의 거울(예를들면 도 2의 거울(200)에 장착될 수 있다. 움직임 감지센서(330)는 미러모드에서 사용자가 거울에 근접하는 것을 감지할 수 있으며, 감시모드에서 움직이는 물체(인물 포함)를 감지할 수 있다. 움직임 감지 센서(330)는 적외선 센서, 초음파 센서, 열 감지 센서 또는 이들의 조합으로 구성할 수 있다.
근거리 통신부(340)는 제어부(300)의 제어하에 획득된 이미지를 전자 장치에 전송할 수 있다. 근거리 통신부(340)는 제어부(300)의 제어하에 미러 모드시 획득되는 프리뷰 이미지를 전자 장치에 전송할 수 있으며, 전자 장치에서 전송되는 결과 메시지를 수신하여 제어부(300)에 전달할 수 있으며, 캡쳐된 정지 이미지를 전자 장치에 전송할 수 있따. 근거리 통신부(340)는 제어부(300)의 제어하에 감시 모드시 이미지(및 사운드)를 전자 장치에 전송할 수 있다. 근거리 통신부(340)는 근거리 무선 통신을 수행할 수 있다. 근거리 통신부(340)는 WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 예를들면, 근거리 통신부(340)는 미러 장치와 전자 장치의 데이터 통신(예를들면 이미지 및/또는 사운드, 제어 데이터 등)은 와이파이 통신부를 통해 수행하고, 전자 장치에서 전송되는 오디오 데이터는 블루투스 통신부를 통해 수행할 수 있다.
표시부(350)는 제어부(300)의 제어하에 미러 모드에서 사용자의 이미지를 획득하기 위한 표시 기능을 수행할 수 있다. 표시부(350)의 광원(light source)는 LED가 될 수 있다. 표시부(350)는 복수의 LED 소자(예를들면 적색 LED, 녹색 LED, 조명용 LED 등)들을 표시할 수 있다. 예를들면, 제어부(300)의 제어하에 적색 LED는 사용자 접근시 온될 수 있으며, 녹색 LED는 사용자의 얼굴이 인식되면 온될 수 있고 사용자의 얼굴 이미지를 캡쳐하기 위한 준비단계에서 점멸 표시될 수 있다. 또한 얼굴 이미지를 캡쳐할 때 조명용 LED를 온시켜 주변 밝기를 조절할 수 있다.
키입력부(360)는 미러 장치의 동작모드를 설정하기 위한 키(또는 스위치)들을 포함할 수 있다. 키입력부(360)는 미러 모드 또는 감시 모드를 설정하기 위한 모드 스위치를 포함할 수 있다.
마이크(370)는 제어부(300)의 제어하에 구동되어 미러 장치 주변의 사운드를 수신할 수 있다. 스피커(380)는 제어부(300)의 제어하에 구동되어 전자 장치에서 전송되는 사운드를 재생할 수 있다.
미러(390)는 미러 디스플레이 또는 일반 미러일 수 있다. 다양한 실시예들에서 미러 (390)는 일반 미러를 예로들어 설명될 것이다.
또한 미러 장치의 전원(power source)은 옥내 전원 및/또는 배터리를 사용할 수 있다. 예를들면 미러 장치는 옥내 전원을 어댑터(adoptor)를 통해 동작 전원 레벨로 변환하여 사용할 수 있으며, 충전 가능한 배터리(USB rechargeable)를 사용할 수 있다.
도 4는 다양한 실시예들에 따른 전자 장치의 구성을 도시하는 도면이다. 도 4의 전자 장치는 스마트폰 장치의 구성이 될 수 있다.
도 4를 참조하면, 전자 장치는 도 1의 전자 장치(110)이 될 수 있다. 전자 장치는 프로세서(400), 메모리(410), 제1 통신부(420), 제2 통신부(430), 입력부(450), 표시부(460) 또는 이들중의 일부, 또는 추가될 수 있다.
메모리(410)는 본 발명의 다양한 실시예에 따른 어플리케이션을 실행하기 위한 프로그램들을 저장할 수 있다. 또한 메모리(410)는 어플리케이션 프로그램 수행에 필요한 데이터들을 저장할 수 있다. 예를들면, 메모리(410)은 사용자의 피부 상태를 분석하기 위한 기준 데이터들을 저장할 수 있으며, 분석된 사용자의 피부 분석 결과 값들을 누적 저장할 수 있다. 또한 메모리(410)는 감시모드에서 미러 장치에서 전송되는 이미지(및 사운드)를 저장할 수 있으며, 저장된 이미지(및 사운드)를 전송하기 위한 미리 설정된 가입자 정보들을 저장할 수 있다.
프로세서(400)는 운영체제 또는 응용 프로그램을 구동하여 프로세서에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있다. 한 실시예에 따르면, 프로세서(400)는 미러 모드에서 얼굴 이미지가 수신되면 피부 상태를 분석하기 위한 어플리케이션을 실행하여 수신된 이미지를 분석하여 사용자의 피부 상태를 분석하며, 분석된 결과에 기반하는 피부 지수(예를들면, 비부 미백, 주름, 기미 등)들의 수치 정보들을 생성할 수 있다. 또한 프로세서(400)는 피부 지수들의 수치 정보들을 조합하여 피부 관리 팁에 관련된 정보들을 생성할 수 있으며, 피부 영역별 상세 관리 컨텐츠 정보 및 제품 등의 추천 정보들을 생성할 수 있다.
한 실시예에 따르면 프로세서(400)는 감시 모드에서 미러 장치에서 전송되는 이미지(및 사운드)를 수신하여 저장할 수 있으며, 수신되는 이미지의 얼굴을 인식하여 미등록된 얼굴이면 수신된 이미지(및 사운드)를 미리 설정된 가입자에 전송하도록 제어할 수 있다.
제1 통신부(420)는 근거리 통신 모듈이 될 수 있다. 제1 통신부(420)는 미러 장치와 근거리 무선 방식으로 연결되어 미러 장치와 통신 기능을 수행할 수 있다. 한 실시예에서, 제1 통신부(420)는 미러 모드에서 오디오 데이터를 미러 장치에 전송할 수 있으며, 미러 장치에서 전송되는 프리뷰 이미지 및 정지 이미지들을 수신하여 프로세서에 전달할 수 있다. 또한 제1 통신부(420)는 프로세서(400)에서 전달되는 메시지(정보, 데이터)를 미러 장치에 전송할 수 있다. 에서 전송되는 이미지(및 사운드)를 수신할 수 있다. 한 실시예에서, 제1 통신부(420)는 감시모드에서 미러 장치에서 전송되는 이미지(및 사운드)를 수신하여 프로세서(400)에 전달할 수 있다.
제1 통신부(420)는 WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 이하의 설명에서 제1 통신부(420)는 근거리 통신부와 혼용되어 사용될 것이다.
제2 통신부(430)는 셀룰라 통신 모듈이 될 수 있다. 제2 통신부(430)는 무선 통신망(예를들면 도 1의 무선 통신망(130))을 통해 다른 전자 장치에 연결되거나 인터넷 망(예를들면 도 1의 인터넷 망(120))에 연결될 수 있다. 제2 통신부(430)는 LTE(long term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다.
카메라(440)은 피사체 이미지를 획득할 수 있다. 입력부(450)는 전자 장치의 동작 모드를 결정하기 위한 입력 및 순자 및 문자 데이터들을 생성할 수 있다. 표시부(460)는 프로세서(400)의 제어 하에 미러 장치에서 전송되는 이미지를 표시할 수 있다. 한 실시예에서, 카메라(400)는 미러 모드에서 미러 장치에서 전송되는 프리뷰 이미지를 표시할 수 있으며, 캡쳐된 정지 이미지를 표시할 수 있으며, 프로세서(400)에서 분석된 결과에 기반하여 사용자의 피부의 각 지수들에 대한 상태 정보, 피부 관리에 관련된 팁, 각 피부 지수들에 관련된 관리 컨텐츠 및 제품 추전 정보들을 표시할 수 있다.
다양한 실시예들에 따른 전자 장치는 IOS 또는 안드로이드 기반의 스마트 폰 장치가 될 수 있으며, 미러 장치와 전자 장치는 근거리 무선 통신을 통해 무선 통신 기능을 수행할 수 있다. 미러 장치는 미러 모드에서 카메라(320)을 통해 획득되는 사용자의 얼굴 이미지를 전자 장치에 전송할 수 있으며, 전자 장치는 본 발명의 다양한 실시예들에 따른 피부 관련 어플리케이션을 실행하여 수신된 얼굴 이미지를 분석하고, 분석된 결과에 기반하여 피부 상태 정보들 및 관리 정보를 제공하고, 엔터테인먼트 용도의 부가적인 오디오 기능을 수행할 수 있다.
이를 위하여 전자 장치는 수신되는 사용자의 얼굴 이미지를 분석하여 피부 상태를 판단하기 위한 기준 데이터들을 미리 설정할 수 있다. 예를들면, 얼굴 이미지 분석은 open CV(open source computer vision) 방식, LBP(local binary patterns) 알고리듬, 모션 웨이크없 센서(motion wakeup sensor) 등을 응용하여 수행할 수 있다. 다양한 실시예들에 따라 측정할 수 있는 피부 지수들은 피부 미백도, 피부 주름, 피부 기미 등이 될 수 있다. 기준데이터들을 설정하기 위한 피부 지수들의 평가는 하기 <표 1>과 같은 방법으로 수행할 수 있다.
평가항목 평가방법 평가환경
피부 미백도 측정 표준 편차
동일 대상으로 동일 시점에서 설정된 횟수(예를들면 10회) 이상 피부값을 연속 측정하여 측정의 변동폭을 확인
정상 상태(온도, 습도, 대기압 등)에서 측정
피부 주름 지수 측정 표준 편차
피부 기미 지수 측정 표준 편차
도 5는 다양한 실시예들에 따른 미러 장치 및 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 5를 참조하면, 미러 장치(100)는 모드 스위치(예를들면 도 3의 키입력부(360)에 위치되는 스위치)를 조작하여 미러 장치의 동작 모드를 설정할 수 있다. 미러 장치(100)의 동작 모드는 미러 모드 및 감시 모드 등이 될 수 있다.
미러 장치는 스위치의 상태를 인식하여 미러 모드를 설정할 수 있다. 또한 센서(예를들면 도 3의 움직임 감지 센서(330))에 기반하여 동작 모드를 결정할 수 있다. 예를들면, 거울 면에서 설정된 직선 거리(예를들면 20츠) 이내에 사용자의 접근을 감지하면, 센서가 이를 감지하고 미러 모드의 동작을 수행할 수 있다. 미러모드가 설정되면, 미러 장치(100)는 511 단계에서 이를 인식하고, 513 단계에서 사용자의 얼굴을 인식(예를들면 카메라에서 획득되는 프리뷰 이미지가 정상적으로 확인되면)하고, 515단계에서 카메라(도 3의 카메라 (320))를 구동하여 사용자의 얼굴을 촬영할 수 있다. 미러 장치(100)는 517단계에서 캡쳐된 사용자의 얼굴 이미지를 근거리 무선 통신부(도 3의 근거리 무선 통신부(340))를 통해 전자 장치(110)에 전송할 수 있다. 전자 장치(110)은 사용자의 얼굴 이미지를 수신하면, 521단계에서 얼굴 이미지를 분석하여 피부 지수들의 수치를 산출하고, 523단계에서 산출된 피부 지수들에 대응되는 피부 솔루션 정보를 전자 장치(110)의 표시부(도 4의 표시부(460)에 표시할 수 있다. 여기서 피부 지수는 피부의 미백, 주름 및/또는 기미 등이 될 수 있으며, 피부 솔루션 정보는 각 피부 지수들의 산출 수치, 피부 지수들을 종합한 사용자의 피부 상태, 각 피부 지수들의 상세 관리 정보, 사용자의 피부 상태에 따른 추천 제품 정보 등을 포함할 수 있다.
미러 장치(100)은 모드 스위치의 상태를 인식하여 감시 모드를 설정할 수 있다. 또한 미러 장치(100)의 사용자의 시간 설정에 의해 감시 모드를 설정할 수 있다. 예를들면, 직장인 경우, 사용자의 근무 시간(출근에서 귀가 시간 사이) 및/또는 취침 시간 등을 감시 모드로 설정할 수 있다. 감시 모드가 설정되면, 미러 장치(100)는 531 단계에서 이를 인식하고, 움직임 감지 센서를 구동할 수 있다. 이때 움직임 감지센서가 움직이는 물체를 인식하면, 미러 장치(100)는 535단계에서 카메라를 구동하여 동영상 촬영 모드를 수행하고, 537단계에서 카메라에서 촬영되는 동영상을 메모리에 저장할 수 있다. 또한 미러 장치(100)은 539 단계에서 촬영되는 동영상을 근거리 통신부를 통해 전자 장치에 전송할 수 있다. 또한 미러 장치(100)는 감시모드에서 카메라를 구동할 때 마이크(도 3의 마이크(370)를 함께 구동하고, 득되는 동영상 및 사운드를 저장하는 동시에 전자 장치에 전송할 수 있다.
미러 장치(100)는 감시모드가 설정되면, 532단계에서 미러 장치(100)의 감시 모드 설정을 근거리 무선 통신부를 통해 전자 장치에 전송할 수 있다. 그리고 미러 장치로부터 이미지(및 사운드)가 수신되면, 541 단계에서 미러 장치(100)의 동작 모드를 확인하고, 감시모드이면 544단계에서 수신된 이미지(및 사운드)를 저장하고, 또한 미리 설정된 가입자에게 전송할 수 있다.
미러모드에서 미러 장치(100)가 사용자의 얼굴 이미지를 촬영하여 전자 장치에 전송하면, 전자 장치는 얼굴 이미지에서 각 피부 지수(주름, 기미, 미백) 값의 도출을 위해 설정된 관심 영역을 영상 처리 기법으로 분석하여 사용자의 피부 상태를 진단하고, 진단 결과 및 피부 솔루션 정보를 사용자에 피드백시킬 수 있다. 그리고 감시모드에서 미러 장치(100)가 미확인된 물체의 움직임을 감지하면 카메라를 통해 미확인 물체를 동영상으로 촬영하여 저장하는 동시에 전자 장치에 전송하고, 전자 장치(110)는 미러 장치(100)가 감시 모드인 상태에서 동영상 이미지가 수신되면 동영상 이미지를 저장하고 미리 설정된 가입자에서 수신된 동영상을 전송할 수 있다.
다양한 실시예들에 따른 미러 장치(100)는 어댑터 또는 배터리를 통해 전원이 온된 상태를 유지할 수 있다. 전원 온 상태에서 사용자가 거울에 접근하면, 미러 장치는 사용자의 접근을 인식하고 카메라를 통해 사용자의 얼굴 이미지를 촬영할 수 있다. 이후 미러 장치는 촬영된 사용자의 얼굴 이미지를 근거리 통신부를 통해 전자 장치에 전송할 수 있다.
도 6은 다양한 실시예들에 따른 미러 장치의 미러모드 동작 절차를 도시하는 흐름도이다.
한가지 실시예에서 미러 장치 및 전자 장치는 사용자의 얼굴 이미지를 등록하고, 등록된 얼굴 이미지에 대해서만 피부 상태를 분석 및 피부 솔루션을 피드백시키는 동작을 수행할 수 있다. 또한 한가지 실시예에서 미러 장치 및 전자 장치는 사용자의 얼굴 이미지를 등록시키지 않고 거울에 근접하는 모든 얼굴 이미지들에 대하여 피부 상태를 분석 및 피부 솔루션을 피드백시키는 동작을 수행할 수 있다. 도 6은 얼굴 이미지를 등록시켜 피부 상태 분석 및 피부 솔루션을 피드백하는 전자의 방법을 살펴보기로 한다.
도 6을 참조하면, 전자 장치는 피부 분석을 할 수 있는 사용자의 얼굴 이미지를 등록하는 동작을 먼저 수행하여야 한다. 이후 611단계의 미러 모드에서 사용자가 거울에 접근하면, 미러 장치의 움직임 감지센서(도 3의 움직임 감지 센서(330)는 사용자의 접근을 감지할 수 있다. 미러 장치(예를들면 도 3의 제어부(300))는 613 단계에서 움직임 감지센서를 통해 사용자의 접근(예를들면 거울 면에서 20cm - 40cm)을 감지하고, 615단계에서 표시부(예를들면 도 3의 표시부(350))의 적색 LED를 점등시킬 수 있다. 이후 미러 장치는 카메라(도 3의 카메라 320))를 구동하여 사용자의 프리뷰 이미지(preview)를 획득하고, 획득된 이미지를 근거리 통신부를 통해 전자 장치에 전송할 수 있다.
그러면 전자 장치는 수신되는 프리뷰 이미지에서 얼굴 이미지를 획득하고, 획득된 이미지를 등록된 얼굴 이미지와 비교 분석하여 등록된 얼굴 이미지인가를 확인할 수 있다. 이후 전자 장치는 얼굴 이미지의 등록 또는 미등록 결과 메시지를 생성하여 미러 장치에 전송할 수 있다. 또한 전자 장치는 얼굴 이미지를 인식할 수 없으면(예를들면 사용자 이미지가 얼굴 인식할 수 없는 상태(블러 또는 측면/후면 이미지 등) 인식 불가 메시지를 미러 장치에 전송할 수 있다.
미러 장치는 621단계에서 전자 장치로부터 결과 메시지를 수신하면, 623단계에서 등록 또는 미등록 결과를 인식할 수 있다. 이때 미등록 얼굴 이미지 또는 인식 불가 이미지이면, 미러 장치는 623단계에서 이를 인식하고, 651 단계에 피부 분석 및 피부 솔루션을 피드백하는 절차를 생략하고 종료할 수 있다.
등록된 얼굴 이미지의 결과 메시지가 수신되면, 미러 장치는 623단계에서 이를 인식하고, 625단계에서 녹색 LED를 점등하여 촬영 대기 모드를 표시할 수 있다. 대기모드에서 사용자는 얼굴을 카메라에 대면하고 정지할 수 있다. 이후 미러 장치는 627단계에서 녹색 LED를 점멸하면서 얼굴 이미지 캡쳐를 알리고 629단계에서 녹색 LED 점멸을 종료하는 시점에서 카메라를 구동하고, 631 단계에서 사용자의 얼굴 이미지(still image)를 캡쳐할 수 있다. 이후 미러 장치는 캡쳐된 사용자의 얼굴 이미지를 근거리 통신부를 통해 전자 장치에 전송할 수 있다.
도 6에서 적색 LED 및 녹색 LED는 예로들어 설명된 것이며, 다른 색의 LED를 사용할 수도 있다. 또한 도 6에서 얼굴 이미지의 등록 여부를 확인하기 위한 이미지를 프리뷰 이미지로 사용하는 예로 설명되고 있으나, 617단계에서 근접하는 사용자의 이미지를 정지 이미지로 캡쳐하여 전자 장치에 전송할 수도 있다. 또한 도 6에서 피부 분석을 위한 사용자의 얼굴 이미지를 등록하는 경우를 예로들어 설명되고 있지만, 얼굴 이미지를 등록하지 않고 캡쳐되는 사용자의 피부를 분석할 수 있다. 이런 경우 615단계에서 623 단계는 생략될 수 있다.
도 7은 다양한 실시예들에 따른 전자 장치의 미러 모드 동작 절차를 도시하는 흐름도이다. 도 8은 전자 장치가 미러 모드에서 피부 지수 분석 및 피부 솔루션 피드백 정보들을 설명하기 위한 도면이다. 또한 도 7은 미러 장치 및 전자 장치가 사용자의 얼굴 이미지를 등록하고, 등록된 얼굴 이미지에 대해서만 피부 상태를 분석 및 피부 솔루션을 피드백시키는 전자 장치의 동작 절차를 도시하고 있다.
도 7을 참조하면, 미러 장치에서 근거리 통신부(예를들면 도 4의 제1 통신부(420))를 통해 프리뷰 이미지의 수신을 인식하면, 전자 장치(예를들면 도 4의 프로세서(400))는 713단계에 수신된 프리뷰 이미지의 얼굴 영역을 인식하고, 715단계에서 등록된 사용자의 얼굴 이미지와 인식된 얼굴 이미지를 비교 분석하여 등록된 사용자의 얼굴 이미지인가 검사할 수 있다. 이때 미등록 얼굴 이미지 또는 인식할 수 없는 이미지이면, 전자 장치는 715단계에서 이를 인식하고, 751 단계에서 미등록 또는 인식불가 메시지를 생성하여 미러 장치에 전송할 수 있다.
그리고 등록된 얼굴 메시지이면, 전자 장치는 715단계에서 이를 인식하고, 717 단계에서 등록된 얼굴 이미지를 통보하기 위한 결과 메시지를 생성하여 미러 장치에 전송할 수 있다. 이후 미러 장치로부터 사용자의 얼굴 이미지가 수신될 때까지 대기할 수 있다. 얼굴 이미지가 수신되면, 전자 장치는 719단계에서 이를 인식하고, 721단계에서 얼굴 이미지를 분석하여 피부 지수들의 수치를 산출할 수 있다. 여기서 피부 지수는 피부의 미백, 주름 및 기미 등이 될 수 있다. 각 피부 지수들을 산출한 후, 전자 장치는 도 8의 810과 같이 그 결과를 표시부(예를들면 도 4의 표시부(460))에 표시할 수 있다. 예를들면 810에 도시된 바와 같이, 전자 장치는 피부 지수들(피부 미백, 주름, 기미)을 각각 수치화하여 피부 점수 점수를 제공할 수 있다.
또한 전자 장치는 723단계 및 725 단계를 수행하면서, 도 8의 820에 도시된 바와 같이 피부 지수들을 종합 수치로 변환하고 저장된 기준값들과 비교 분석하여 표시부에 종합 점수에 따른 기본적인 피부 관리 팁을 표시할 수 있다. 또한 전자 장치는 727단계에서 830과 같이 피부 지수들의 각각에 대응되는 피부의 상세 관리 콘텐츠를 표시할 수 있다. 또한 전자 장치는 729 단계에서 840과 같이 피부 측정에 대응되는 상품(예를들면 화장품)을 표시부에 표시할 수 있다. 그리고 731단계에서 피부 지수들의 진단 결과 및 피부 솔루션 정보들을 저장할 수 있다.
도 7에서 얼굴 이미지의 등록 여부를 확인하기 위한 이미지를 정지 이미지로 전송하는 경우 711단계 및 713단계에서 수신되는 정지 이미지로 분석하여 등록 여부를 판단할 수 있다. 사용자의 얼굴 이미지를 등록시키지 않고 거울에 근접하는 모든 얼굴 이미지들에 대하여 피부 상태를 분석 및 피부 솔루션을 피드백시키는 경우, 전자 장치는 711단계 - 717 단계를 생략할 수 있다.
도 9는 다양한 실시예들에 따른 미러 장치가 감시모드에서 수행하는 동작 절차를 도시하는 흐름도이다.
도 9를 참조하면, 감시 모드는 사용자의 설정 또는 설정된 시간에서 수행될 수 있다. 예를들면, 사용자는 키입력부(예를들면 도 3의 키입력부(360))의 모드 스위치를 조작하여 감시모드를 설정할 수 있다. 또한 사용자는 사용자의 외출 시간(직장 근무 시간) 또는 취침 시간 등을 감시 모드로 설정할 수 있다. 감시모드가 설정되면, 미러 장치는 911단계에서 이를 인식하고, 센서(예를들면 도 3의 움직임 감지 센서(330)를 통해 실내의 물체 움직임을 감지할 수 있다. 실내의 움직임이 감지되면, 미러 장치는 915단계에서 카메라(예를들면 도 3의 카메라(320))을 구동하고, 917단계 및 919단계에서 에서 카메라에서 촬영되는 동영상을 처리하여 저장할 수 있다. 또한 미러 장치는 921단계에서 촬영된 동영상을 근거리 통신부를 통해 전자 장치에 전송할 수 있다.
미러 장치는 915단계에서 댁내에서 발생되는 사운드를 감지할 수 있는 센서(예를들면 도 3의 마이크(370)를 구동하여 카메라에서 촬영되는 이미지와 함께 저장 및 전자 장치에 전송할 수 있다.
도 10은 다양한 실시예들에 따른 전자 장치가 감시모드에서 수행하는 동작 절차를 도시하는 흐름도이다.
도 10을 참조하면, 미러 장치는 감시모드가 설정되면 감시모드 상태임을 전자 장치에 알려줄 수 있다. 또한 설정된 시간에서 미러 장치가 감시모드를 수행하는 경우, 전자 장치는 해당하는 시간에서 미러 장치가 감시 모드임을 인식할 수 있다. 미러 장치가 감시모드를 수행하면, 전자 장치(예를들면 도 4의 프로세서(400))는 1011 단계에서 이를 인식하고, 이미지가 수신되는가 검사할 수 있다. 이미지가 수신되면, 1013 단계 및 1017 단계에서 수신된 이미지를 분석하여 등록된 이미지인가 검사할 수 있다. 예를들면 수신된 이미지의 얼굴을 인식하고, 인식된 얼굴을 등록된 이미지들과 비교 분석할 수 있다. 이때 수신된 이미지가 등록된 이미지가 아니면, 전자 장치는 1017 단계에서 이를 인식하고, 1019 단계에서 수신된 이미지를 저장하며, 1021 단계에서 수신된 이미지를 미리 설정된 가입자에게 전송할 수 있다. 이때 미러 장치는 이미지와 함께 사운드를 전송할 수 있다. 그러면 전자 장치는 수신되는 이미지 및 사운드를 저장하고, 설정된 가입자에게 전송할 수 있다.
미러 장치는 움직임 및 사운드를 감지하는 센서 이외에 다양한 센서들을 더 구비할 수 있다. 예를들면, 화재 감지 센서를 장착하여 댁내의 화재 발생 여부를 감시할 수 있다. 또한 다양한 실시예들에 따른 미러 장치는 이동 가능한 장치(portable device)가 될 수 있다. 이런 경우, 아웃도어 캠핑시 캠핑장이나 자동차, 텐트, 글램핑장 등과 같은 다양한 아웃도어 상황에서 화재 감지를 효율적으로 수행할 수 있다. 또한 미러 장치 및 전자 장치는 사용자가 휴대하여 이동할 수 있다. 이런 경우, 위험이라고 정할 수 있는 소리의 패턴과 주파수를 구분하여 공포나 위험에 처한 다수의 사운드 패턴을 확보하고, 이동 중에 해당 패턴의 사운드가 인식되면 위험 상황을 외부에 알릴 수 있다.
미러 장치와 근거리 통신부를 통해 무선 통신을 수행하는 전자 장치는 휴대용 전자 장치가 될 수 있다. 이때 사용자가 외출하거나 출근할 때, 전자 장치는 사용자에 의해 휴대되어 이동될 수 있다. 이런 경우, 전자 장치는 미러 장치와 원격 이격되어 근거리 무선 통신을 수행할 수 없을 수 있다. 그리고 미러 장치는 댁내에서 미확인 물체의 이동에 의해 촬영되는 이미지 및/또는 사운드를 저장하는 상태에서 이를 외부의 전자 장치 사용자에게 알릴 수 없을 수 있다. 이런 경우(예를들면 외출, 출근 상태 등), 전자 장치는 다른 전자 장치를 통해 사용자가 휴대하고 있는 전자 장치에 댁내의 상태를 통보할 수 있는 방법이 필요할 수 있다.
도 11은 다양한 실시예에 따른 미러 장치와 복수 전자 장치들 간의 동작을 설명하기 위한 도면이다.
도 11을 참조하면, 미러 장치(1100)는 제1 전자 장치(1110)(예를들면 스마트 폰) 및 외부 전자 장치와 데이터 통신을 할 수 있는 통신할 수 있는 제2 전자 장치(1120)(예를들면, 인터넷 전화, 팩시밀리, 컴퓨터, 세탑 박스 등) 등과 근거리 데이터 통신을 수행할 수 있다. 미러 장치(1100)는 도 3과 같은 구성을 가질 수 있다. 제1 전자 장치(1110)는 도 4와 같은 구성을 가질 수 있다. 제1 전자 장치(1110)는 미러 장치(1100)와 근거리 통신을 수행할 수 있으며, 인터넷 망(1130) 및/또는 무선 통신망(1140)을 통해 외부 전자 장치와 통신할 수 있다. 제2 전자 장치(1120)는 인터넷 망(1130)와 연결될 수 있는 통신부(예를들면 와아파이 통신부)을 구비할 수 있다. 제2 전자 장치(1120)는 AP(access point, 예를들면 댁내의 와이파이 공유기)를 통해 인터넷 망(1140)에 연결될 수 있다. 또한 제2 전자 장치(1120)은 사용자가 외출 또는 출근하는 경우(이하 외출 모드라 칭함), 제 2 전자 장치를 활성화시키고, 미러 장치(1100)에서 데이터가 수신되면, 수신된 데이터를 제1 전자 장치(1110)에 전송할 수 있도록 설정(예를들면 착신 전환)할 수 있다.
도 12는 다양한 실시예에 따라 미러 장치와 복수의 전자 장치들 간의 동작 절차를 도시하는 흐름도이다.
도 12을 참조하면, 미러 장치는 미러 모드 및 감시 모드를 수행할 수 있다. 미러 모드는 도 5 내지 도 8에서 설명된 바와 같이 사용자의 얼굴 이미지를 획득하여 사용자의 피부 상태를 진단 및 솔루션을 제공하는 동작을 수행할 수 있다. 또한 감시모드는 취침모드 및 외출 모드를 포함할 수 있다. 외출 모드는 사용자가 제1 전자 장치(1110)을 휴대하고 댁내를 벗어나 미러 장치(1100)과 원격 이격된 상태에서의 동작 모드가 될 수 있다. 취침 모드는 제1 전자 장치(1110)이 사용자와 함께 댁내에 위치될 때의 동작 모드가 될 수 있다. 미러 장치(1100)는 외출 모드인 경우 제2 전자 장치(1120)과 무선 통신 연결을 시도하며, 취침 모드인 경우 제1 전자 장치(1110)와 무선 통신 연결을 시도하도록 설정할 수 있다. 또한 외출모드에서 제2 전자 장치(1120)는 외출 모드에서 제1 전자 장치(1110에 착신 전환되도록 설정될 수 있다.
미러 장치(1100)의 미러 모드 동작은 상기 도 5 내지 도 8과 같은 절차로 수행될 수 있으며, 도 12에서는 미러 모드의 설명을 생략하기로 한다.
미러 장치는 감시 모드가 설정되면 1211 단계에서 이를 인식하고, 감시 모드의 종류를 분석할 수 있다. 감시모드가 외출 모드이면, 미러 장치는 1213 단계에서 이를 인식할 수 있다. 외출 모드에서 움직임이 감지되면, 미러 장치(1100)는 1215 단계에서 이를 인식하고 1217 단계에서 카메라 및/또는 마이크를 구동하고, 1219 단계에서 카메라 및/또는 마이크에서 획득되는 이미지 및/또는 사운드를 저장할 수 있다. 또한 미러 장치(1100)는 1121 단계에서 근거리 통신부를 통해 제2 전자 장치(1120)와 무선 연결하고 획득되는 이미지 및/또는 사운드를 전송할 수 있다. 그리고 외출 모드에서 제2 전자 장치(1120)는 데이터가 수신되면 제1 전자 장치(1110)에 착신 전환되도록 설정될 수 있다. 미러 장치(1100)로부터 이미지 및/또는 사운드가 수신되면, 제2 전자 장치(1120)는 1123 단계에서 수신된 이미지 및/또는 사운드를 제1 전자 장치(1110)에 전송할 수 있다. 따라서 제1 전자 장치(1110)는 외출 상태에서 댁내의 상태를 원격 확인할 수 있다.
또한 취침 모드가 설정된 경우, 미러 장치(1110)는 1131 단계에서 이를 인식하고, 1133 단계에서 댁내에서 움직임을 감지할 수 있다. 이때 움직임이 인식되면, 미러 장치(1100)는 1135 단계에서 카메라 및/또는 마이크를 구동하고, 1137에서 카메라 및/또는 마이크에서 획득되는 이미지 및/또는 사운드를 저장하며, 1139 단계에서 제1 전자 장치(1110)에 전송할 수 있다. 그리고 제1 전자 장치(1110)는 1141 단계에서 수신된 이미지 및/또는 사운드를 기 설정된 가입자에게 전송할 수 있다.
상기한 바와 같이 미러 장치 및 전자 장치를 이용하여 미러 모드 및 감시 모드를 수행할 수 있다. 미러 모드에서 미러 장치 및 전자 장치는 사용자의 얼굴 이미지를 캡쳐하여 전자 장치로 전송할 수 있으며, 전자 장치는 수신된 사용자의 얼굴 이미지를 진단하여 피부 지수들을 수치로 산출할 수 있다. 전자 장치는 피부 진단 및 솔루션 기능을 수행하는 전용 어플리케이션을 포함할 수 있다. 전자 장치는 얼굴 이미지로부터 피부 진단을 수행할 때, 얼굴 이미지로부터 각 피부 지수들에 대한 진단을 수행하고, 진단 결과를 토대로 각 피부 지수들의 수치들을 산출할 수 있다. 그리고 산출된 피부 지수들의 수치를 표시할 수 있으며, 누적 저장할 수 있다. 또한 획득된 얼굴 이미지로부터 산출된 피부 지수들의 값과 누적 저장된 피부 지수들의 값들을 비교 분석하여 피부 지수들의 변동을 그래프로 표시할 수 있으며, 또는 사용자의 얼굴 이미지의 해당하는 부분에 이미지로 표시할 수 있다. 또한 전자 장치는 나이별로 피부 지수의 상태를 판단하기 위한 기준값들을 구비할 수 있으며, 사용자의 나이에 따른 기준값으로 사용자의 피부 지수들을 진단할 수 있다.
감시모드에서, 미러 장치는 미러 장치가 위치된 실내에서 움직이는 물체의 여부를 감시하며, 움직이는 물체가 감지되면 카메라 및/또는 마이크를 구동하여 이미지 및/사운드를 획득할 수 있다. 그리고 획득된 이미지/및 사운드를 전자 장치에 전송할 수 있다. 이때 전자 장치는 이동가능한 휴대 전자 장치가 될 수 있다. 이때 휴대 전자 장치가 댁내에 위치되어 있는 경우, 미러 장치는 획득되는 이미지 및/사운드를 휴대 전자 장치에 전송할 수 있다. 그러나 휴대 전자 장치가 원력 이격되는 경우, 미러 장치는 획득되는 이미지 및/또는 사운드를 제2 전자 장치에 전송할 수 있다. 이때 제2 전자 장치는 데이터가 수신되면 제1 전자 장치에 연결되도록 착신 전환 기능이 설정될 수 있다. 따라서 제2 전자 장치에서 수신되는 이미지 및/또는 사운드는 제2 전자 장치에서 제1 전송장치로 전송할 수 있다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.

Claims (12)

  1. 전자 장치; 및
    상기 전자 장치와 근거리 통신을 통해 연결되는 휴대 가능한(portable) 미러 장치를 포함하며,
    상기 미러 장치는,
    미러;
    상기 미러의 전면에 장착되는 카메라;
    움직임 감지센서;
    근거리 통신부;
    마이크; 및
    상기 카메라, 상기 마이크, 및 상기 움직임 감지센서와 기능적으로 연결되는 제어부를 포함하며,
    상기 제어부는 미러 모드에서 상기 카메라를 통해 사용자의 얼굴 이미지를 획득하고, 상기 획득된 사용자 이미지를 상기 근거리 통신부를 통해 상기 전자 장치에 전송하며,
    상기 제어부는 기 설정된 시간을 위한 감시 모드에서 상기 움직임 감지센서에 의해 움직임이 검출되면 상기 카메라를 구동하며, 상기 카메라에서 획득되는 이미지를 저장하며, 상기 근거리 통신부를 통해 상기 전자 장치에 전송하고,
    상기 제어부는 상기 감시 모드에서 상기 움직임 감지센서에 의해 움직임이 감지되면, 상기 카메라 및 상기 마이크를 구동하여 이미지 및 사운드를 획득하며, 상기 획득된 이미지 및 사운드를 상기 근거리 통신부를 통해 상기 전자 장치에 전송하고,
    상기 제어부는 상기 미러 장치의 이동 시 감지된 사운드가 위험 상황에 해당하는 사운드 패턴 및 주파수를 가지는 경우에, 위험 상황을 외부에 알리는 것을 특징으로 하는 장치.
  2. 제1항에 있어서,
    상기 미러 장치의 제어부는 상기 미러 모드에서 상기 움직임 감지센서에 의해 사용자의 접근이 감지되면, 상기 카메라를 구동하여 사용자의 얼굴 이미지를 캡쳐하며, 상기 캡쳐된 얼굴 이미지를 상기 근거리 통신부를 통해 상기 전자 장치에 전송하며,
    상기 전자 장치는 피부 관리 어플리케이션을 포함하며, 상기 미러 장치로부터 이미지가 수신되면, 상기 피부 관리 어플리케이션을 구동하여 상기 수신된 이미지에서 얼굴 영역을 인식하고, 상기 인식된 얼굴 이미지에 기반하여 피부를 진단하고, 진단 결과 및 진단 결과에 따른 피부 솔루션을 표시하는 장치.
  3. 제2항에 있어서,
    상기 미러 장치는
    상기 미러 모드에서 사용자 근접을 감지하면 프리뷰 이미지를 획득하여 상기 전자 장치에 전송하고, 상기 전자 장치로부터 등록 이미지임이 통보되면 사용자의 얼굴 이미지를 캡쳐하여 상기 전자 장치에 전송하며,
    상기 전자 장치는
    상기 미러 모드에서 수신되는 프리뷰 이미지의 얼굴 이미지와 등록된 얼굴 이미지를 비교분석하여 등록된 이미지이면 등록 이미지임을 상기 미러 장치에 전송하며, 상기 미러 장치에서 전송되는 캡쳐된 얼굴 이미지를 이용해 피부 지수를 분석하는 것을 특징으로 하는 장치.
  4. 제3항에 있어서,
    상기 피부 지수는 피부 미백, 주름 및 기미들 중에 적어도 하나를 포함하는 장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 전자 장치는
    상기 감시 모드에서 상기 미러 장치로부터 전송되는 이미지를 분석하며,
    상기 분석된 이미지가 기 등록된 이미지가 아니면 미리 설정된 가입자에게 상기 미러 장치로부터 전송되는 이미지 및 사운드를 전송하는 것을 특징으로 하는 장치.
  7. 전자 장치와 근거리 통신을 통해 연결되는 미러 장치의 동작 방법에 있어서,
    미러 모드에서 카메라를 통해 사용자의 얼굴 이미지를 획득하고, 상기 획득된 사용자 이미지를 근거리 통신부를 통해 상기 전자 장치에 전송하는 미러 모드 단계;
    기 설정된 시간을 위한 감시 모드에서 움직임 감지센서에 의해 움직임이 검출되면 상기 카메라를 구동하며, 상기 카메라에서 획득되는 이미지를 저장하며, 상기 근거리 통신부를 통해 상기 전자 장치에 전송하는 감시 모드 단계; 및
    휴대 가능한(portable) 상기 미러 장치의 이동 시 감지된 사운드가 위험 상황에 해당하는 사운드 패턴 및 주파수를 가지는 경우에, 위험 상황을 외부에 알리는 단계를 포함하고,
    상기 감시 모드 단계는
    상기 움직임 감지센서에 의해 움직임이 감지되면, 상기 미러 장치의 카메라 및 마이크를 구동하여 이미지 및 사운드를 획득하며, 상기 획득된 이미지 및 사운드를 상기 근거리 통신부를 통해 상기 전자 장치에 전송하는 단계를 포함하는 방법.
  8. 제7항에 있어서,
    상기 미러 모드 단계는
    상기 미러 장치가 상기 움직임 감지센서에 의해 사용자의 접근이 감지되면, 상기 카메라를 구동하여 사용자의 얼굴 이미지를 캡쳐하는 단계를 포함하며,
    상기 미러 장치로부터 이미지가 상기 전자 장치에 수신되면, 피부 관리 어플리케이션이 상기 전자 장치에 의해 구동되어 상기 수신된 이미지에서 얼굴 영역이 인식되고, 상기 인식된 얼굴 이미지에 기반하여 피부가 진단되고, 진단 결과 및 진단 결과에 따른 피부 솔루션이 표시되는
    방법.
  9. 제7항에 있어서,
    상기 미러 모드 단계는
    상기 미러 장치가 사용자 근접을 감지하면 프리뷰 이미지를 획득하여 상기 전자 장치에 전송하는 단계; 및
    상기 미러 장치가 상기 전자 장치로부터 상기 프리뷰 이미지의 얼굴 이미지가 기 등록된 얼굴 이미지임이 통보되면, 사용자의 얼굴 이미지를 캡쳐하여 상기 전자 장치에 전송하는 단계를 포함하고,
    상기 미러 장치로부터 상기 전자 장치에 전송되는 캡쳐된 얼굴 이미지에 기초해 피부 지수가 상기 전자 장치에 의해 분석되는
    방법.
  10. 제9항에 있어서,
    상기 피부 지수는 피부 미백, 주름 및 기미들 중에 적어도 하나를 포함하는 방법.
  11. 삭제
  12. 제7항에 있어서,
    상기 감시 모드 단계에서 상기 미러 장치로부터 상기 전자 장치에 전송되는 이미지가 상기 전자 장치에 의해 분석되며, 상기 분석된 이미지가 기 등록된 이미지가 아니면 상기 미러 장치로부터 상기 전자 장치에 전송되는 이미지 및 사운드가 미리 설정된 가입자에게 전송되는
    방법.

KR1020170045979A 2017-04-10 2017-04-10 전자장치와 연동하는 미러 장치 및 그 동작 방법 KR101876125B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170045979A KR101876125B1 (ko) 2017-04-10 2017-04-10 전자장치와 연동하는 미러 장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170045979A KR101876125B1 (ko) 2017-04-10 2017-04-10 전자장치와 연동하는 미러 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR101876125B1 true KR101876125B1 (ko) 2018-07-06

Family

ID=62921021

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170045979A KR101876125B1 (ko) 2017-04-10 2017-04-10 전자장치와 연동하는 미러 장치 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR101876125B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110234015A (zh) * 2019-05-15 2019-09-13 广州视源电子科技股份有限公司 直播控制方法、装置、存储介质、终端
CN110246292A (zh) * 2019-04-26 2019-09-17 平安科技（深圳）有限公司 家庭视频监控方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090095337A (ko) * 2008-03-05 2009-09-09 (주)오늘보다내일 사진촬영 기능이 있는 디지털 미러
KR20140127421A (ko) * 2013-04-24 2014-11-04 핑거터치인터내셔널 주식회사 모바일 디바이스와 연동하는 거울 디스플레이 장치
KR101494301B1 (ko) * 2014-07-22 2015-02-24 (주)지란지교소프트 스마트 미러 장치
JP2015070470A (ja) * 2013-09-30 2015-04-13 アイホン株式会社 玄関端末及び玄関端末に接続されるインターホンシステム
KR20160039881A (ko) * 2014-10-02 2016-04-12 주식회사 엘지유플러스 피부 분석 결과 출력 방법, 이를 위한 장치 및 어플리케이션
KR20160116256A (ko) * 2015-03-27 2016-10-07 (주) 플래누리 스마트 미러 및 이를 이용한 비상재난시스템
KR101679417B1 (ko) * 2015-09-21 2016-11-25 국민대학교산학협력단 스마트거울장치 및 그 제어방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090095337A (ko) * 2008-03-05 2009-09-09 (주)오늘보다내일 사진촬영 기능이 있는 디지털 미러
KR20140127421A (ko) * 2013-04-24 2014-11-04 핑거터치인터내셔널 주식회사 모바일 디바이스와 연동하는 거울 디스플레이 장치
JP2015070470A (ja) * 2013-09-30 2015-04-13 アイホン株式会社 玄関端末及び玄関端末に接続されるインターホンシステム
KR101494301B1 (ko) * 2014-07-22 2015-02-24 (주)지란지교소프트 스마트 미러 장치
KR20160039881A (ko) * 2014-10-02 2016-04-12 주식회사 엘지유플러스 피부 분석 결과 출력 방법, 이를 위한 장치 및 어플리케이션
KR20160116256A (ko) * 2015-03-27 2016-10-07 (주) 플래누리 스마트 미러 및 이를 이용한 비상재난시스템
KR101679417B1 (ko) * 2015-09-21 2016-11-25 국민대학교산학협력단 스마트거울장치 및 그 제어방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246292A (zh) * 2019-04-26 2019-09-17 平安科技（深圳）有限公司 家庭视频监控方法、装置及存储介质
CN110234015A (zh) * 2019-05-15 2019-09-13 广州视源电子科技股份有限公司 直播控制方法、装置、存储介质、终端

Similar Documents

Publication Publication Date Title
US10621733B2 (en) Enhanced visualization of breathing or heartbeat of an infant or other monitored subject
US10819958B2 (en) Home monitoring method and apparatus
US20190205655A1 (en) Infant monitoring system with video-based temperature baselining and elevated temperature detection
US10728504B2 (en) Monitoring camera system and monitoring method
KR101654609B1 (ko) 거동이 불편한 자, 장애인 및 독거노인을 위한 원격 스마트 모니터링 시스템 및 그 방법
US10354678B2 (en) Method and device for collecting sounds corresponding to surveillance images
CN105245809A (zh) 视频录制方法及装置
CN104992169A (zh) 人物的识别方法及装置
US20120155773A1 (en) Image processing apparatus, image processing method, and storage medium
CN108986405B (zh) 一种基于Zigbee网关的多参数控制方法
CA3104281A1 (en) Device location network
CN105210919A (zh) 用于确定宠物状态的方法、装置及电子设备、可穿戴设备
CN104332037A (zh) 告警检测的方法及装置
US20150288764A1 (en) Method and apparatus for controlling smart terminal
KR101876125B1 (ko) 전자장치와 연동하는 미러 장치 및 그 동작 방법
CN106535118A (zh) 智能终端定位的方法及用于定位的智能终端
KR20160000437A (ko) 전자 장치와 조명 장치의 페어링 방법 및 장치
US20170011265A1 (en) Monitoring method for region
CN105589345A (zh) 设备控制的方法及装置
US20200053315A1 (en) Method and apparatus for assisting a tv user
KR101558728B1 (ko) 방문자 감시장치 및 이를 포함한 방문자 알림 서비스 시스템 및 그 방법
CN108882212A (zh) 健康数据传输方法及装置
KR20150035108A (ko) 와이파이 다이렉트를 이용한 로봇 청소기 및 방범 시스템
US10965899B1 (en) System and method for integration of a television into a connected-home monitoring system
KR101677144B1 (ko) 기존의 인터폰을 활용한 홈 네트워크 시스템

Legal Events

Date Code Title Description
GRNT Written decision to grant