KR20210078592A - Personalized information providing method using smart mirror system - Google Patents

Personalized information providing method using smart mirror system Download PDF

Info

Publication number
KR20210078592A
KR20210078592A KR1020190169468A KR20190169468A KR20210078592A KR 20210078592 A KR20210078592 A KR 20210078592A KR 1020190169468 A KR1020190169468 A KR 1020190169468A KR 20190169468 A KR20190169468 A KR 20190169468A KR 20210078592 A KR20210078592 A KR 20210078592A
Authority
KR
South Korea
Prior art keywords
user
information
smart mirror
module
face
Prior art date
Application number
KR1020190169468A
Other languages
Korean (ko)
Other versions
KR102346318B1 (en
Inventor
최경주
이민섭
김기훈
권오동
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020190169468A priority Critical patent/KR102346318B1/en
Publication of KR20210078592A publication Critical patent/KR20210078592A/en
Application granted granted Critical
Publication of KR102346318B1 publication Critical patent/KR102346318B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00—Advertising or display means not otherwise provided for
    • G09F19/12—Advertising or display means not otherwise provided for using special optical effects
    • G09F19/18—Advertising or display means not otherwise provided for using special optical effects involving the use of optical projection means, e.g. projection of images on clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Neurology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Computer Hardware Design (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a method of individually providing information by using a smart mirror system, including: photographing and recognizing a face of a user located on a front side of a smart mirror by using a camera (S100); determining whether the user of which the face is recognized is a registered user (S200); outputting a personalized screen configuration for each registered user when the user of which the face is recognized corresponds to the registered user (S300); providing an information module including requested information when a voice command call (hotword) of the registered user is provided (S400); and recording and storing the provided module in a database (S500). Accordingly, when kiosks and smart display devices are used, a series of manual manipulation processes required to obtain information desired by the user are omitted, and the information is automatically provided according to a use pattern learned for each user of which a face is recognized.

Description

스마트미러시스템을 이용한 개인별 정보제공방법{PERSONALIZED INFORMATION PROVIDING METHOD USING SMART MIRROR SYSTEM}Personal information provision method using smart mirror system {PERSONALIZED INFORMATION PROVIDING METHOD USING SMART MIRROR SYSTEM}

본 발명은 스마트미러시스템을 이용한 개인별 정보제공방법에 관한 것이다. 보다 상세하게는, 스마트미러의 전면에 위치하는 사용자의 얼굴을 카메라를 이용하여 촬영하고 인식하는 단계(S100); 상기 얼굴이 인식된 사용자가 등록된 사용자인가를 판별하는 단계(S200); 상기 얼굴이 인식된 사용자가 등록된 사용자에 해당하는 경우, 등록된 사용자별로 개인화된 화면구성을 출력하는 단계(S300); 상기 등록된 사용자의 음성명령호출(hotword)이 있는 경우에 요청된 정보를 담고 있는 정보모듈을 제공하는 단계(S400); 및 상기 제공된 모듈을 데이터베이스에 기록 및 저장하는 단계(S500)를 포함하여 이루어지는 것을 특징으로 하는 스마트미러시스템을 이용한 개인별 정보제공방법에 관한 것이다.The present invention relates to a method for providing personal information using a smart mirror system. More specifically, the step of photographing and recognizing the user's face located in front of the smart mirror using a camera (S100); determining whether the user whose face is recognized is a registered user (S200); outputting a personalized screen configuration for each registered user when the user whose face is recognized corresponds to a registered user (S300); providing an information module containing requested information when there is a voice command call (hotword) of the registered user (S400); And it relates to a method for providing individual information using a smart mirror system, characterized in that it comprises the step (S500) of recording and storing the provided module in a database.

미러 디스플레이 또는 거울 디스플레이를 이용하는 스마트미러시스템은 거울의 외형을 가지면서 거울에 디스플레이장치가 부착되고 통합되어 있어, 거울에 부가 정보가 함께 보이는 디스플레이 장치를 의미한다. 이와 같은 미러 디스플레이는 사용자에게 시각적으로 다양한 정보 및 실감형 디스플레이를 제공할 수 있어 광고, 패션 분야에서 점차 많이 사용되고 있다.A mirror display or a smart mirror system using a mirror display refers to a display device in which a display device is attached to and integrated with a mirror while having the appearance of a mirror, so that additional information is displayed on the mirror. Such a mirror display can provide a user with a variety of information and realistic display, and thus is increasingly used in advertising and fashion fields.

그리고 이와 더불어 기존의 터치스크린 기반 키오스크(Kiosk) 및 디스플레이 장치는 정부기관이나 지방자치단체, 은행, 백화점, 전시장 등 공공장소에 설치된 무인 정보단말기로 동적 교통정보 및 대중교통정보, 경로 안내, 요금 카드 배포, 예약 업무, 각종 전화번호 및 주소 안내 정보제공, 행정절차나 상품정보, 시설물의 이용방법 등을 제공한다. 즉, 터치스크린과 사운드. 그래픽. 통신카드 등 첨단 멀티미디어 기기를 활용하여 음성서비스, 동영상 구현 등 이용자에게 효율적인 정보를 제공한다.In addition, the existing touch screen-based kiosks and display devices are unmanned information terminals installed in public places such as government agencies, local governments, banks, department stores, and exhibition halls, such as dynamic traffic information, public transportation information, route guidance, and fare cards. It provides distribution, reservation work, various phone numbers and address information, administrative procedures and product information, and how to use facilities. Namely, touch screen and sound. graphic. By utilizing advanced multimedia devices such as communication cards, it provides efficient information to users such as voice service and video implementation.

그러나 사용자가 원하는 정보를 얻기까지 여러 번의 조작과정 및 시간이 필요하다. 또한, 장치의 노후화로 인한 터치 인식 불량과 사용자의 조작 미숙은 사용자 경험을 저해하는 요소가 되는 문제점이 있다.However, several manipulations and time are required to obtain the information desired by the user. In addition, there is a problem that poor touch recognition due to the aging of the device and the user's inexperience in operation are factors that hinder the user experience.

또한, 다른 조작법으로 음성인식을 통한 조작법도 주변 소음이나 사용자의 어조에 따라 사용자 경험을 만족시킬만한 인식률을 보장할 수 없는 환경이 존재하고 복잡한 자연어 처리에 대한 기술적 한계가 존재한다.In addition, there is an environment that cannot guarantee a recognition rate that satisfies the user experience depending on the surrounding noise or the user's tone even with other manipulation methods through voice recognition, and there are technical limitations for complex natural language processing.

문헌 1 대한민국특허청, 공개특허 제10-2019-0098778호, “스마트미러를 이용한 IoT 욕실 시스템”Document 1 Korea Intellectual Property Office, Patent Publication No. 10-2019-0098778, “IoT bathroom system using smart mirror” 문헌 2 대한민국특허청, 공개특허 제10-2018-0043620호, "스마트 미러 시스템”Document 2 Korea Intellectual Property Office, Patent Publication No. 10-2018-0043620, "Smart Mirror System"

전술한 문제점을 해결하기 위하여, 본 발명은 키오스크(Kiosk) 및 스마트 디스플레이 장치들을 사용할 때에 사용자가 원하는 정보를 얻기까지 필요한 일련의 수동 조작과정을 생략하고 얼굴이 인식된 사용자별로 학습된 사용 패턴에 따라 자동으로 정보를 제공하는 것을 목적으로 한다.In order to solve the above-mentioned problems, the present invention omits a series of manual manipulation processes necessary until a user obtains desired information when using a kiosk and smart display devices, and according to a usage pattern learned for each user whose face is recognized The purpose is to provide information automatically.

전술한 목적을 달성하기 위하여, 본 발명은 스마트미러의 전면에 위치하는 사용자의 얼굴을 카메라를 이용하여 촬영하고 인식하는 단계(S100); 상기 얼굴이 인식된 사용자가 등록된 사용자인가를 판별하는 단계(S200); 상기 얼굴이 인식된 사용자가 등록된 사용자에 해당하는 경우, 등록된 사용자별로 개인화된 화면구성을 출력하는 단계(S300); 상기 등록된 사용자의 음성명령호출(hotword)이 있는 경우에 요청된 정보를 담고 있는 정보모듈을 제공하는 단계(S400); 및 상기 제공된 모듈을 데이터베이스에 기록 및 저장하는 단계(S500)를 포함하여 이루어지는 것을 특징으로 한다.In order to achieve the above object, the present invention includes the steps of photographing and recognizing a user's face located in front of a smart mirror using a camera (S100); determining whether the user whose face is recognized is a registered user (S200); outputting a personalized screen configuration for each registered user when the user whose face is recognized corresponds to a registered user (S300); providing an information module containing requested information when there is a voice command call (hotword) of the registered user (S400); and recording and storing the provided module in a database (S500).

또한, 본 발명의 상기 등록된 사용자별로 개인화된 화면구성을 출력하는 단계(S300)는 현재와 시간 차이가 30분 이하이고 같은 요일에 해당하는 데이터를 n주전까지 읽는 단계(S320); 상기 n주동안 해당 요일의 각각의 정보를 담고 있는 모듈의 호출카운트의 합을 계산하는 단계(S340); 및 상기 호출카운트의 합이 n/2보다 큰 모듈이 있는 경우에는 해당 모듈을 순차적으로 실행하고 데이터베이스에 모듈 값 0.5로 데이터를 삽입하는 단계(S360)를 포함하여 이루어지는 것을 특징으로 한다.In addition, the step of outputting the personalized screen configuration for each registered user of the present invention (S300) is a step (S320) of reading data corresponding to the same day of the week with a time difference of 30 minutes or less from the present (S320); calculating the sum of call counts of modules containing information on each day of the week during the n weeks (S340); and if there is a module in which the sum of the call counts is greater than n/2, the module is sequentially executed and data is inserted into the database with a module value of 0.5 (S360).

또한, 본 발명의 상기 제공된 모듈을 데이터베이스에 기록 및 저장하는 단계(S500)는 현재 시각 값, 년도-월-일, 요일, 시간 및 분을 추출하는 단계(S520); 및 상기 데이터베이스에 현재 사용자의 ID, 상기 실행된 정보모듈을 추출한 시간, 상기 실행된 정보모듈에 대한 호출카운트 값=1로 하여 기록하는 단계(S540)를 포함하여 이루어지는 것을 특징으로 한다.In addition, the step of recording and storing the provided module in the database (S500) of the present invention includes the steps of extracting the current time value, year-month-day, day, hour and minute (S520); and recording (S540) the ID of the current user, the extraction time of the executed information module, and the call count value for the executed information module = 1 in the database.

또한, 본 발명의 상기 스마트미러시스템은 이용자가 위치하는 전면은 빛을 반사하고 후면은 상기 후면에서 상기 전면을 향하는 빛이 투과할 수 있도록 구비되는 스마트미러; 상기 스마트미러의 후면에 구비되어, 화면의 출력내용을 상기 스마트미러를 통해 사용자가 확인할 수 있도록 제공하는 디스플레이부; 상기 이용자의 개인화된 화면출력 및 상기 정보모듈을 상기 디스플레이부를 통해 영상정보로 출력하고 스피커를 통해 음성정보를 출력하도록 하는 구동OS; 상기 구동OS에서 작동하고 상기 이용자의 음성명령호출을 인식하고 실행하는 음성인식기반 소프트웨어; 상기 카메라를 통해 입력되는 이용자의 얼굴을 인식하고 얼굴학습 모델을 구축하여 등록된 이용자인지의 여부를 판별하는 딥러닝 신경망 가속 컴퓨트 장치; 상기 구동OS로부터 작동명령을 전달받는 아두이노 IoT 스위치; 및 상기 구동OS에 정보를 전달하는 아두이노 IoT 센서(700)를 포함하여 구성되되, 상기 아두이노 IoT 스위치 또는 상기 아두이노 IoT 센서는 와이 파이(Wi-Fi) 또는 블루투스에 의하여 외부네트워크와 통신할 수 있도록 구비되는 것을 특징으로 한다.In addition, the smart mirror system of the present invention is a smart mirror provided so that the front where the user is located reflects light and the rear is provided so that light from the rear to the front can be transmitted; a display unit provided on the rear side of the smart mirror to provide a screen output to the user through the smart mirror; a driving OS for outputting the user's personalized screen output and the information module as image information through the display unit and outputting audio information through a speaker; Voice recognition-based software that operates on the operating OS and recognizes and executes the user's voice command call; a deep learning neural network acceleration computing device that recognizes the user's face input through the camera and determines whether the user is a registered user by building a face learning model; Arduino IoT switch receiving an operation command from the operating OS; and an Arduino IoT sensor 700 that transmits information to the driving OS, wherein the Arduino IoT switch or the Arduino IoT sensor communicates with an external network by Wi-Fi or Bluetooth. It is characterized in that it is provided to be able to.

전술한 구성에 의한 본 발명의 실시로 키오스크(Kiosk) 및 스마트 디스플레이 장치들을 사용할 때에 사용자가 원하는 정보를 얻기까지 필요한 일련의 수동 조작과정을 생략하고 얼굴이 인식된 사용자별로 학습된 사용 패턴에 따라 자동으로 정보를 제공할 수 있는 효과가 있다.With the implementation of the present invention according to the above configuration, when using a kiosk and smart display devices, a series of manual manipulation processes necessary until the user obtains the desired information are omitted, and the face is automatically recognized according to the learned usage pattern for each user. has the effect of providing information.

도 1은 본 발명의 바람직한 제1실시예의 절차도,
도 2는 본 발명의 바람직한 제1실시예에 의한 사용자 인식 및 정보제공의 절차도,
도 3은 본 발명의 바람직한 제1실시예에 의한 정보제공의 절차도,
도 4는 본 발명의 바람직한 제1실시예에 의한 데이터베이스에의 모듈호출기록을 저장하는 것을 나타내는 절차도, 및
도 5는 본 발명의 바람직한 제1실시예에 사용하는 데이터베이스의 구조도, 및
도 6은 본 발명의 일실시예에 사용하는 스마트미러시스템의 구성도이다.1 is a flowchart of a first preferred embodiment of the present invention;
2 is a flowchart of user recognition and information provision according to a first preferred embodiment of the present invention;
3 is a flowchart of information provision according to a first preferred embodiment of the present invention;
4 is a flowchart showing the storage of a module call record in a database according to the first preferred embodiment of the present invention;
5 is a structural diagram of a database used in the first preferred embodiment of the present invention, and
6 is a block diagram of a smart mirror system used in an embodiment of the present invention.

이하에서는 첨부된 도면의 바람직한 실시예를 들어 본 발명을 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to preferred embodiments of the accompanying drawings.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains. It is provided to inform the possessor of the scope of the invention, and the present invention is only defined by the scope of the claims.

또한, 본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 판례 또는 새로운 기술의 출현 등에 의해 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 고려하여 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 상세한 설명에서 상세히 기능 및 구조의 설명을 통하여 의미를 설명할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.In addition, the terms used in the present invention have been selected as currently widely used general terms as possible while considering the functions in the present invention, which may vary depending on the intention of those skilled in the art, precedents, or emergence of new technology. . In addition, in a specific case, there is a term arbitrarily selected by the applicant in consideration, and in this case, the meaning will be explained through the description of the function and structure in detail in the detailed description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.

도 1은 본 발명의 바람직한 제1실시예의 절차도 및 도 2는 본 발명의 바람직한 제1실시예에 의한 사용자 인식 및 정보제공의 절차도이다.1 is a flowchart of a first preferred embodiment of the present invention, and FIG. 2 is a flowchart of user recognition and information provision according to a first preferred embodiment of the present invention.

도 1과 같이 본 발명을 실시함에는 스마트미러(100)의 전면에 위치하는 사용자의 얼굴을 카메라(20)를 이용하여 촬영하고 인식하는 단계(S100); 상기 얼굴이 인식된 사용자가 등록된 사용자인가를 판별하는 단계(S200); 상기 얼굴이 인식된 사용자가 등록된 사용자에 해당하는 경우, 등록된 사용자별로 개인화된 화면구성을 출력하는 단계(S300); 상기 등록된 사용자의 음성명령호출(hotword)이 있는 경우에 요청된 정보를 담고 있는 정보모듈을 제공하는 단계(S400); 및 상기 제공된 모듈을 데이터베이스에 기록 및 저장하는 단계(S500)를 포함하여 실시할 수 있다.In carrying out the present invention as shown in Figure 1, the steps of photographing and recognizing the user's face located in front of the smart mirror 100 using the camera 20 (S100); determining whether the user whose face is recognized is a registered user (S200); outputting a personalized screen configuration for each registered user when the user whose face is recognized corresponds to a registered user (S300); providing an information module containing requested information when there is a voice command call (hotword) of the registered user (S400); and recording and storing the provided module in a database (S500).

먼저, 스마트미러(100)의 전면에 사용자가 위치하면 상기 스마트미러의 전면 또는 후면에 구비되는 카메라(20)가 사용자의 얼굴을 촬영하고 이를 인식한다(S100). 이때 바람직하게는 후술하는 딥러닝 신경망 가속 컴퓨트장치(500)에 의하여 이미 등록된 사용자인지의 여부를 판별하도록 구성하는 것이 바람직하다(S200).First, when the user is located in front of the smart mirror 100, the camera 20 provided on the front or rear of the smart mirror takes a picture of the user's face and recognizes it (S100). At this time, it is preferable to configure to determine whether the user is already registered by the deep learning neural network acceleration computing device 500 to be described later (S200).

그리고 상기 얼굴이 인식된 사용자가 등록된 사용자에 해당하는 경우에는, 등록된 사용자별로 개인화된 화면구성을 디스플레이부(200)를 통해 출력한다(S300).And when the user whose face is recognized corresponds to a registered user, a screen configuration personalized for each registered user is output through the display unit 200 (S300).

그리고 상기 등록된 사용자의 음성명령에 의한 음성명령호출이 있는 경우에는 음성을 인식할 수 있는 음성인식기반 소프트웨어가 이를 인식한다. (도 6의 실시예에서는 구글 어시스턴트를 이용하여 실시하는 예를 나타내었다) 그리고 요청된 정보를 담고 있는 정보모듈을 제공한다. 이후에는 상기 제공된 모듈을 데이터베이스에 기록 및 저장한다.And when there is a voice command call by the registered user's voice command, the voice recognition-based software capable of recognizing the voice recognizes it. (In the embodiment of FIG. 6, an example of using Google Assistant is shown) and an information module containing the requested information is provided. Thereafter, the provided module is recorded and stored in the database.

도 3은 본 발명의 바람직한 제1실시예에 의한 정보제공의 절차도이다.3 is a flowchart of information provision according to the first preferred embodiment of the present invention.

본 발명의 상기 등록된 사용자별로 개인화된 화면구성을 출력하는 단계(S300)는 도 3과 같이, 현재와 시간 차이가 30분 이하이고 같은 요일에 해당하는 데이터를 n주전까지 읽는 단계(S320); 상기 n주동안 해당 요일의 각각의 정보를 담고 있는 모듈의 호출카운트의 합을 계산하는 단계(S340); 및 상기 호출카운트의 합이 n/2보다 큰 모듈이 있는 경우에는 해당 모듈을 순차적으로 실행하고 데이터베이스에 모듈값 0.5로 데이터를 삽입하는 단계(S360)로 구성하여 실시할 수 있다.The step of outputting the personalized screen configuration for each registered user of the present invention (S300) is, as shown in FIG. 3, a step of reading data corresponding to the same day of the week with a difference of 30 minutes or less from the present and n weeks before (S320); calculating the sum of call counts of modules containing information on each day of the week during the n weeks (S340); and if there is a module in which the sum of the call counts is greater than n/2, the module is sequentially executed and data is inserted into the database with a module value of 0.5 (S360).

즉, 등록된 사용자별로 개인화된 화면구성을 출력함에 있어서, 먼저, 현재와 시간차이가 있는 30분 이하이고 같은 요일인 데이터를 n주전까지 읽는다(S320). 그리고 n주 동안 해당 요일의 각 모듈이 호출된 횟수(카운트)의 합을 계산한다.That is, in outputting the personalized screen composition for each registered user, first, data that is less than 30 minutes different from the present and on the same day of the week is read up to n weeks ago ( S320 ). Then, calculate the sum of the number of times (counts) each module is called on the day of the week for n weeks.

그리고 상기 호출된 카운트의 합이 n/2보다 큰 모듈이 있는 경우에는 해당 모듈을 순차적으로 실행하고 데이터베이스에 모듈 값을 0.5로 데이터를 삽입한다. 만일, 상기 호출된 카운트의 합이 n/2보다 작은 경우에는 종료하도록 구성한다.In addition, if there is a module in which the sum of the called counts is greater than n/2, the module is sequentially executed and data is inserted into the database with a module value of 0.5. If the sum of the called counts is less than n/2, it is configured to end.

도 4는 본 발명의 바람직한 제1실시예에 의한 데이터베이스에의 모듈호출기록을 저장하는 것을 나타내는 절차도 및 도 5는 본 발명의 바람직한 제1실시예에 사용하는 데이터베이스의 구조도이다.Fig. 4 is a flowchart showing the storage of the module call record in the database according to the first preferred embodiment of the present invention, and Fig. 5 is a structural diagram of the database used in the first preferred embodiment of the present invention.

본 발명의 상기 제공된 모듈을 데이터베이스에 기록 및 저장하는 단계(S500)는 현재 시각 값, 년도-월-일, 요일, 시간 및 분을 추출하는 단계(S520); 및 상기 데이터베이스에 현재 사용자의 ID, 상기 실행된 정보모듈을 추출한 시간, 상기 실행된 정보모듈에 대한 호출카운트 값=1로 하여 기록하는 단계(S540)로 구성하여 실시할 수 있다. The step of recording and storing the provided module in the database (S500) of the present invention includes the steps of extracting the current time value, year-month-day, day, hour and minute (S520); and recording the ID of the current user in the database, the time at which the executed information module is extracted, and the call count value for the executed information module = 1 (S540).

본 실시예에서는 사용자에게 정보를 제공하는 명령을 모듈단위로 분리하여(예 : 날씨 정보 모듈, 교통정보 모듈 등) 운영한다. 이러한 모듈에 대한 사용자의 요청을 사용자 ID, 요청한 시간(년도-월-일 요일 시간: 분) 타임스탬프와 함께 각 모듈에 대한 호출 횟수에 기반해 도 5와 같이 데이터베이스화하고 등록된 사용자의 얼굴이 인식되면 해당 시간을 기준으로 해당 요일에 대한 이전 n 주간의 학습된 모듈 호출패턴을 기반으로 사용자가 필요로 할 정보를 자동으로 제공하는 것이다. 일르 상황인식기반 정보제공이라 부를 수 있다.In this embodiment, a command for providing information to a user is divided into module units (eg, a weather information module, a traffic information module, etc.) and operated. Based on the number of calls to each module along with the user ID, requested time (year-month-day week day hour: minute) timestamp, the user's request for these modules is converted into a database as shown in Fig. 5, and the registered user's face is When recognized, the information required by the user is automatically provided based on the learned module call pattern of the previous n weeks for the day of the week based on the time. It can be called providing information based on situational awareness.

도 6은 본 발명의 일실시예에 사용하는 스마트미러시스템(10)의 구성도이다.6 is a block diagram of a smart mirror system 10 used in an embodiment of the present invention.

본 발명일실시예에 사용하는 상기 스마트미러시스템(10)은 이용자가 위치하는 전면은 빛을 반사하고 후면은 상기 후면에서 상기 전면을 향하는 빛이 투과할 수 있도록 단방향반사 거울필름으로 구비되고, 상기 전면 또는 상기 후면에 카메라(20)가 구비되는 스마트 미러(100); 상기 스마트미러(100)의 후면에 구비되어, 화면의 출력내용을 상기 스마트미러를 통해 사용자가 확인할 수 있도록 제공하는 디스플레이부(200); 상기 이용자의 개인화된 화면출력 및 상기 정보모듈을 상기 디스플레이부(200)를 통해 영상정보로 출력하고 스피커(30)를 통해 음성정보를 출력하도록 하는 구동OS(300); 상기 구동OS(300)에서 작동하고 상기 이용자의 음성명령호출을 인식하고 실행하는 음성인식기반 소프트웨어(400); 카메라(20)를 통해 입력되는 이용자의 얼굴을 인식하고 얼굴학습 모델을 구축하여 등록된 이용자인지의 여부를 판별하는 딥러닝 신경망 가속 컴퓨트 장치(500); 상기 구동OS(300)로부터 작동명령을 전달받는 아두이노 IoT 스위치(600); 및 상기 구동OS(300)에 정보를 전달하는 아두이노 IoT 센서(700)를 포함하여 구성되되, 상기 아두이노 IoT스위치(600) 또는 상기 아두이노 IoT 센서(700)는 와이 파이(Wi-Fi) 또는 블루투스에 의하여 외부네트워크와 통신할 수 있도록 구성하여 실시할 수 있다.The smart mirror system 10 used in an embodiment of the present invention is provided with a unidirectional reflective mirror film so that the front side where the user is located reflects light and the rear side can transmit light from the rear side toward the front side, and the Smart mirror 100 provided with a camera 20 on the front or the rear; a display unit 200 provided on the rear side of the smart mirror 100 to provide a user with the ability to check the output contents of the screen through the smart mirror; a driving OS 300 for outputting the user's personalized screen output and the information module as image information through the display unit 200 and outputting audio information through the speaker 30; a voice recognition-based software 400 that operates on the driving OS 300 and recognizes and executes the user's voice command call; Deep learning neural network acceleration computing device 500 that recognizes the user's face input through the camera 20 and determines whether the user is a registered user by building a face learning model; Arduino IoT switch 600 receiving an operation command from the driving OS 300; and an Arduino IoT sensor 700 that transmits information to the driving OS 300, wherein the Arduino IoT switch 600 or the Arduino IoT sensor 700 is Wi-Fi. Alternatively, it can be implemented by configuring it to communicate with an external network through Bluetooth.

상기 단방향반사 거울필름을 이용하는 상기 스마트미러시스템(10)에서의 구동OS(300)는 공지된 기술인 라즈베리파이 컴퓨터에 Deviant 기반의 운영체제인 Raspbian Stretch OS 상에서 구동되는 MagicMirror 프로그램상에서 구현되도록 실시할 수 있다. 그리고 상기 라즈베리파이의 USB 입출력 단자를 통하여 연결된 카메라와 마이크로부터 영상/음성 정보를 받아올 수 있도록 구성하는 것이 바람직하다. 그리고 상기 마이크로부터 받아온 음성정보는 음성인식기반 소프트웨어인 구글 어시스턴트 음성비서로 구성하여 실시할 수도 있다.The operating OS 300 in the smart mirror system 10 using the unidirectional reflective mirror film may be implemented on a MagicMirror program running on Raspbian Stretch OS, which is a Deviant-based operating system on a Raspberry Pi computer, which is a known technology. In addition, it is preferable to configure so as to receive video/audio information from a camera and a microphone connected through the USB input/output terminal of the Raspberry Pi. In addition, the voice information received from the microphone may be implemented by configuring the voice recognition-based software, Google Assistant, as a voice assistant.

상기 카메라(20)는 거울 앞에 서있는 사용자의 얼굴을 인식하는데에 쓰이며 이렇게 입력된 영상정보는 딥러닝 신경망 가속 컴퓨트 장치(500)를 통해 얼굴학습 모델을 구축하고 기등록된 사용자의 얼굴정보와 일치 여부를 판별, 현재 사용 중인 이용자를 특정화하는 것이 바람직하다. 그리고 음성인식을 함에는 음성인식기반 소프트웨어(400)로 구글 어시스턴트를 이용하여 실시할 수 있다. 이렇게 식별된 사용자는 최초 등록시 입력된 구글 계정과 동기화되는 구글 클라우드의 개인화 정보들과 연동되어 시스템이 사용자에게 필요한 정보를 전달하기 위한 기반으로 쓰일 수 있는 것이다. 다만, 도 6의 구성은 예시적인 것으로서 다양한 구동OS, 음성인식소프트웨어 및 딥러닝 신경망 가속 컴퓨트 장치 등을 이용하여 본 발명을 실시할 수 있음은 물론이다.The camera 20 is used to recognize the face of the user standing in front of the mirror, and the input image information is matched with the face information of the pre-registered user by building a face learning model through the deep learning neural network acceleration computing device 500 It is desirable to determine whether or not to specify the user currently in use. And the voice recognition can be performed using the Google Assistant as the voice recognition-based software 400 . The user identified in this way can be used as a basis for the system to deliver necessary information to the user by interlocking with the personal information of Google Cloud that is synchronized with the Google account entered at the time of initial registration. However, the configuration of FIG. 6 is exemplary, and it goes without saying that the present invention can be implemented using various operating OSs, voice recognition software, and deep learning neural network acceleration computing devices.

이상을 통해 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다.Although preferred embodiments of the present invention have been described above, the present invention is not limited thereto, and various modifications can be made within the scope of the claims, the detailed description of the invention, and the accompanying drawings, and this It goes without saying that it falls within the scope of the invention.

10; 스마트미러시스템
20; 카메라
30; 스피커
100; 스마트미러
200; 디스플레이부
300; 구동OS
400; 음성인식기반 소프트웨어
500; 딥러닝 신경망가속 컴퓨트장치
600; 아두이노 IoT 스위치
700; 아두이노 IoT 센서10; Smart mirror system
20; camera
30; speaker
100; smart mirror
200; display unit
300; running OS
400; Voice recognition based software
500; Deep Learning Neural Network Acceleration Computing Device
600; Arduino IoT Switch
700; Arduino IoT Sensor

Claims (4)

스마트미러를 이용하여 개인별로 정보를 제공하는 방법에 있어서,
스마트미러의 전면에 위치하는 사용자의 얼굴을 카메라를 이용하여 촬영하고 인식하는 단계(S100);
상기 얼굴이 인식된 사용자가 등록된 사용자인가를 판별하는 단계(S200);
상기 얼굴이 인식된 사용자가 등록된 사용자에 해당하는 경우, 등록된 사용자별로 개인화된 화면구성을 출력하는 단계(S300);
상기 등록된 사용자의 음성명령호출(hotword)이 있는 경우에 요청된 정보를 담고 있는 정보모듈을 제공하는 단계(S400); 및
상기 제공된 모듈을 데이터베이스에 기록 및 저장하는 단계(S500);
를 포함하여 이루어지는 것을 특징으로 하는 스마트미러시스템을 이용한 개인별 정보제공방법.
In the method of providing information for each individual using a smart mirror,
A step of photographing and recognizing a user's face located in front of the smart mirror using a camera (S100);
determining whether the user whose face is recognized is a registered user (S200);
outputting a personalized screen configuration for each registered user when the user whose face is recognized corresponds to a registered user (S300);
providing an information module containing requested information when there is a voice command call (hotword) of the registered user (S400); and
recording and storing the provided module in a database (S500);
A method for providing individual information using a smart mirror system, characterized in that it comprises a.
 제1항에서,
상기 등록된 사용자별로 개인화된 화면구성을 출력하는 단계(S300)는,
현재와 시간 차이가 30분 이하이고 같은 요일에 해당하는 데이터를 n주전까지 읽는 단계(S320);
상기 n주동안 해당 요일의 각각의 정보를 담고 있는 모듈의 호출카운트의 합을 계산하는 단계(S340); 및
상기 호출카운트의 합이 n/2보다 큰 모듈이 있는 경우에는 해당 모듈을 순차적으로 실행하고 데이터베이스에 모듈값 0.5로 데이터를 삽입하는 단계(S360);
를 포함하여 이루어지는 것을 특징으로 하는 스마트미러시스템을 이용한 개인별 정보제공방법.
In claim 1,
The step of outputting the personalized screen configuration for each registered user (S300),
Reading data corresponding to the same day of the week until the current time difference of 30 minutes or less up to n weeks (S320);
calculating the sum of call counts of modules containing information on each day of the week during the n weeks (S340); and
If there is a module in which the sum of the call counts is greater than n/2, sequentially executing the module and inserting data with a module value of 0.5 into the database (S360);
A method for providing individual information using a smart mirror system, characterized in that it comprises a.
 제1항 또는 제2항에서,
상기 제공된 모듈을 데이터베이스에 기록 및 저장하는 단계(S500)는,
현재 시각 값, 년도-월-일, 요일, 시간 및 분을 추출하는 단계(S520); 및
상기 데이터베이스에 현재 사용자의 ID, 상기 실행된 정보모듈을 추출한 시간, 상기 실행된 정보모듈에 대한 호출카운트값=1로 하여 기록하는 단계(S540);
를 포함하여 이루어지는 것을 특징으로 하는 스마트미러시스템을 이용한 개인별 정보제공방법.
In claim 1 or 2,
The step of recording and storing the provided module in the database (S500),
extracting the current time value, year-month-day, day of the week, hour and minute (S520); and
recording the ID of the current user in the database, the time at which the executed information module is extracted, and the call count value for the executed information module = 1 (S540);
A method for providing individual information using a smart mirror system, characterized in that it comprises a.
 제1항 또는 제2항에서
상기 스마트미러시스템은,
이용자가 위치하는 전면은 빛을 반사하고 후면은 상기 후면에서 상기 전면을 향하는 빛이 투과할 수 있도록 구비되고, 상기 전면 또는 후면에 구비되는 카메라를 포함하는 스마트미러;
상기 스마트미러의 후면에 구비되어, 화면의 출력내용을 상기 스마트미러를 통해 사용자가 확인할 수 있도록 제공하는 디스플레이부;
상기 이용자의 개인화된 화면출력 및 상기 정보모듈을 상기 디스플레이부를 통해 영상정보로 출력하고 스피커를 통해 음성정보를 출력하도록 하는 구동OS(operation system);
상기 구동OS에서 작동하고 상기 이용자의 음성명령호출을 인식하고 실행하는 음성인식기반 소프트웨어;
상기 카메라를 통해 입력되는 이용자의 얼굴을 인식하고 얼굴학습 모델을 구축하여 등록된 이용자인지의 여부를 판별하는 딥러닝 신경망가속 컴퓨트장치;
상기 구동OS로부터 작동명령을 전달받는 아두이노 IoT 스위치; 및
상기 구동OS에 정보를 전달하는 아두이노 IoT 센서;
를 포함하여 구성되되,
상기 아두이노 Iot스위치 또는 상기 아두이노 Iot 센서는 와이 파이(Wi-FI) 또는 블루투스에 의하여 외부네트워크와 통신이 가능하도록 구비되는 것을 특징으로 하는 스마트미러시스템을 이용한 개인별 정보제공방법.In claim 1 or 2
The smart mirror system,
a smart mirror including a camera provided on the front or rear side, the front side where the user is located reflects light and the rear side is provided so that light from the rear side toward the front can be transmitted;
a display unit provided on the rear side of the smart mirror to provide a screen output to the user through the smart mirror;
a driving OS (operation system) for outputting the user's personalized screen output and the information module as image information through the display unit and outputting audio information through a speaker;
Voice recognition-based software that operates on the operating OS and recognizes and executes the user's voice command call;
a deep learning neural network acceleration computing device that recognizes the user's face input through the camera and determines whether the user is a registered user by building a face learning model;
Arduino IoT switch receiving an operation command from the operating OS; and
an Arduino IoT sensor that transmits information to the operating OS;
Consists of including,
The method for providing personal information using a smart mirror system, characterized in that the Arduino Iot switch or the Arduino Iot sensor is provided to communicate with an external network by Wi-Fi or Bluetooth.
KR1020190169468A 2019-12-18 2019-12-18 Personalized information providing method using smart mirror system KR102346318B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190169468A KR102346318B1 (en) 2019-12-18 2019-12-18 Personalized information providing method using smart mirror system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190169468A KR102346318B1 (en) 2019-12-18 2019-12-18 Personalized information providing method using smart mirror system

Publications (2)

Publication Number Publication Date
KR20210078592A true KR20210078592A (en) 2021-06-29
KR102346318B1 KR102346318B1 (en) 2022-01-03

Family

ID=76626399

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190169468A KR102346318B1 (en) 2019-12-18 2019-12-18 Personalized information providing method using smart mirror system

Country Status (1)

Country Link
KR (1) KR102346318B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160037074A (en) * 2014-09-26 2016-04-05 삼성전자주식회사 Image display method of a apparatus with a switchable mirror and the apparatus
JP2016048430A (en) * 2014-08-27 2016-04-07 シャープ株式会社 Information processing system, mirror display, information processing method, and program
KR20180043620A (en) 2016-10-20 2018-04-30 비비엠씨 (주) Smart mirror system
KR20190098778A (en) 2018-01-29 2019-08-23 금오공과대학교 산학협력단 IoT BATHROOM SYSTEM USING SMART MIRROR

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016048430A (en) * 2014-08-27 2016-04-07 シャープ株式会社 Information processing system, mirror display, information processing method, and program
KR20160037074A (en) * 2014-09-26 2016-04-05 삼성전자주식회사 Image display method of a apparatus with a switchable mirror and the apparatus
KR20180043620A (en) 2016-10-20 2018-04-30 비비엠씨 (주) Smart mirror system
KR20190098778A (en) 2018-01-29 2019-08-23 금오공과대학교 산학협력단 IoT BATHROOM SYSTEM USING SMART MIRROR

Also Published As

Publication number Publication date
KR102346318B1 (en) 2022-01-03

Similar Documents

Publication Publication Date Title
CN111095892B (en) Electronic device and control method thereof
CN109859298B (en) Image processing method and device, equipment and storage medium thereof
WO2018099000A1 (en) Voice input processing method, terminal and network server
CN108903521B (en) Man-machine interaction method applied to intelligent picture frame and intelligent picture frame
CN113163272A (en) Video editing method, computer device and storage medium
EP2747464A1 (en) Sent message playing method, system and related device
WO2016203805A1 (en) Information processing device, information processing system, information processing method, and program
CN110431524A (en) Information processing system, information processing unit, message handling program and information processing method
CN112233343A (en) Self-service terminal equipment service data processing method and device
CN111835926A (en) Intelligent voice outbound method, device, equipment and medium based on voice interaction
CN113033245A (en) Function adjusting method and device, storage medium and electronic equipment
KR20190068133A (en) Electronic device and method for speech recognition
CN111462742A (en) Text display method and device based on voice, electronic equipment and storage medium
KR102346318B1 (en) Personalized information providing method using smart mirror system
US10529324B1 (en) Geographical based voice transcription
KR20130109777A (en) Apparatus and method for managing attendance based on face recognition
CN112669846A (en) Interactive system, method, device, electronic equipment and storage medium
US20140129228A1 (en) Method, System, and Relevant Devices for Playing Sent Message
US10645274B2 (en) Server apparatus, distribution system, distribution method, and program with a distributor of live content and a viewer terminal for the live content including a photographed image of a viewer taking a designated body pose
US9697851B2 (en) Note-taking assistance system, information delivery device, terminal, note-taking assistance method, and computer-readable recording medium
US20180081352A1 (en) Real-time analysis of events for microphone delivery
CN112542172A (en) Communication auxiliary method, device, equipment and medium based on online conference
CN113505199A (en) Business response information processing method and device based on bank number calling terminal and service end system
CN112308511A (en) Task plan generation method and device, electronic equipment and storage medium
CN113628622A (en) Voice interaction method and device, electronic equipment and storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant