KR102136311B1 - System for interactive information through smart mirror - Google Patents

System for interactive information through smart mirror Download PDF

Info

Publication number
KR102136311B1
KR102136311B1 KR1020200000755A KR20200000755A KR102136311B1 KR 102136311 B1 KR102136311 B1 KR 102136311B1 KR 1020200000755 A KR1020200000755 A KR 1020200000755A KR 20200000755 A KR20200000755 A KR 20200000755A KR 102136311 B1 KR102136311 B1 KR 102136311B1
Authority
KR
South Korea
Prior art keywords
unit
face
information
avatar
manager
Prior art date
Application number
KR1020200000755A
Other languages
Korean (ko)
Inventor
송창환
김태균
Original Assignee
주식회사 젤리펀치
주식회사 코탁스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 젤리펀치, 주식회사 코탁스 filed Critical 주식회사 젤리펀치
Priority to KR1020200000755A priority Critical patent/KR102136311B1/en
Application granted granted Critical
Publication of KR102136311B1 publication Critical patent/KR102136311B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/40—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for devices for accepting orders, advertisements, or the like

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

According to the present invention, disclosed is a two-way interactive information system with a smart mirror. The two-way interactive information system with a smart mirror comprises: a center unit recognizing the face of a manager by networking with an unmanned terminal and generating avatar data matching the face of the manager to transmit the avatar data to the unmanned terminal; and an inquiring unit placed in the unmanned terminal to display the avatar data of the center unit and transmitting information acquired from a user of the unmanned terminal to the center unit.

Description

스마트 미러 양방향 인터랙티브 인포메이션 시스템{System for interactive information through smart mirror}System for interactive information through smart mirror}

본 발명은 무인 단말기를 사용하는 사용자와 관리자의 상호 소통에 관한 것으로서, 보다 자세하게는, 관리자의 안면을 인식하고 안면과 매칭되는 아바타 데이터를 생성하여 무인 단말기에 디스플레이 하며 사용자에게 아바타 영상을 제공하는 것에 대한 스마트 미러 양방향 인터랙티브 인포메이션 시스템에 관한 기술분야이다.The present invention relates to interaction between a user using an unmanned terminal and an administrator, and more specifically, to recognize an administrator's face, generate avatar data matching the face, display it on the unmanned terminal, and provide an avatar image to the user. It is a technical field related to the smart mirror interactive interactive information system.

2016년 12월 전자상거래 업체 아마존은 미국 시애틀에 무인식료품 매장 '아마존 고(Amazon Go)'를 열었다. 이는 세상의 큰 주목을 받았는데, 이유는 인공지능 기술을 이용하여 계산대와 계산원을 없앰으로써, 고객 편의성 증진과 유통기업 수익성 향상을 동시에 실현할 수 있기 때문이다. In December 2016, e-commerce company Amazon opened an unmanned grocery store called Amazon Go in Seattle, USA. This has attracted great attention from the world, because artificial intelligence technology can be used to eliminate cashiers and cashiers, thereby simultaneously improving customer convenience and improving profitability for distribution companies.

이처럼 기술 혁신으로 인해 최근 설치가 확대되는 키오스크는 고객의 편의성과 비용 절감 및 매출 극대화로 인해 대형 푸드 코드나 패스트 푸드 매장등에서 도입이 크게 늘어나고 있다. As such, kiosks that have recently expanded installation due to technological innovation have been greatly introduced in large food codes and fast food stores due to customer convenience, cost reduction, and maximization of sales.

시장조사회사 MarketsandMarkets에 따르면, 세계 대화형 키오스크 시장은 2015년 473억 달러에서 2020년 734억 달러로 연평균 9.2% 성장할 전망이라는 조사결과를 발표했다. According to market research firm MarketsandMarkets, the global interactive kiosk market is expected to grow 9.2% annually from $47.3 billion in 2015 to $73.3 billion in 2020.

또 다른 시장 조사회사 bbc Research도 이와 유사하게 세계 시장이 2015년 492억 달러에서 2021년 835억 달러로 연평균 8.9% 성장할 것으로 전망하고 있다고 발표했다. Another market research firm, bbc Research, similarly announced that it expects the world market to grow at an annual average rate of 8.9% from $4.92 billion in 2015 to $83.2 billion in 2021.

하지만, 아직은 도입 초기 단계로 사용자들의 불만과 개선이 필요하며, IITP(정보통신기획평가원), 2017년 자료에 따르면, 처리 시간이 더 걸려서 불편하다는 이유가 74%, UI와 사용법이 복잡하다는 이유가 70%로 나타났으며 상대적으로 시간이 오래 걸리고 사용법을 이해하기 어렵다는 불만이 많다는 결과에 따라 키오스크 사용자들을 위한 직관적인 인터페이스와 쉬운 사용법에 개선이 필요하다는 결과를 도출해 낼 수 있다.However, it is still in the early stages of introduction, and users' complaints and improvement are necessary. According to IITP (Information Technology Planning and Evaluation Institute), 2017, 74% of the reasons for inconvenience are due to the longer processing time, and the UI and usage are complicated. According to the result of 70%, which is relatively long and has many complaints that it is difficult to understand how to use it, it can lead to an intuitive interface for kiosk users and improvement in easy usage.

이와 같이, 도입 초기 단계의 키오스크에 대한 사용자들의 불만을 해결하려는 시도가 이루어지고 있으며, 대화형 키오스크 시스템에 대한 많은 시도가 이루어지고 있다.As such, attempts have been made to resolve users' complaints about kiosks in the early stages of introduction, and many attempts have been made for interactive kiosk systems.

이와 관련된 선행 특허문헌의 예로서 “대화형 키오스크 시스템 (등록번호 제10-2007436호, 이하 특허문헌1이라 한다.)”이 존재한다.As an example of a related prior patent document, there is an "interactive kiosk system (Registration No. 10-2007436, hereinafter referred to as Patent Document 1)".

특허문헌1의 경우, 대화형 키오스크 시스템에 관한 것으로서, 특히, 상품 및 광고에 대한 정보를 표시하고 사용자가 선택한 정보에 따라 주문하는 무인 키오스크와, 사용자가 선택한 상품의 주문하고, 포인트 또는 광고 정보를 표시하는 스마트폰과, 무인 키오스크 또는 스마트폰에서 주문된 상품을 결제되도록 하는 무인 포스(POS)와, 사용자의 주문정보 및 결제정보를 송수신하는 서버와, 서버에 연결되어 무인 키오스크의 주문정보를 표시하고 상품 출고정보를 전송하는 태블릿 오더와, 태블릿 오더 또는 무인 포스와 연동되어 상품 출고 또는 서비스에 대한 정보를 표시하는 제1터치스크린과, 광고에 대한 정보를 표시하는 제2터치스크린을 포함하며, 제1터치스크링 및/또는 제2터치스크린에는 근접센서가 더 설치되어, 제1터치스크링 및/또는 제2터치스크린 전면에 사용자의 유무를 감지하는 것을 특징으로 하는 대화형 키오스크 시스템에 관한 기술적 사상을 개시한다. Patent Document 1 relates to an interactive kiosk system, in particular, an unmanned kiosk displaying information on products and advertisements and ordering according to information selected by the user, and ordering points or advertisement information of a product selected by the user Displays the smartphone, the unmanned kiosk or unmanned POS (POS) that allows payment of products ordered from the smartphone, a server that transmits and receives the user's order information and payment information, and is connected to a server to display the order information of the unmanned kiosk And a first touch screen displaying information about product shipment or service in connection with a tablet order and a tablet order or unmanned force, and a second touch screen displaying information on advertisement, A proximity kiosk system is further installed on the first touch screen and/or the second touch screen to provide an interactive kiosk system that detects the presence or absence of a user in front of the first touch screen and/or the second touch screen. Disclosing the technical idea.

또 다른 특허문헌의 예로서 “다기능 키오스크 시스템(등록번호 제10-1039131호, 이하 특허문헌2이라 한다.)”이 존재한다.An example of another patent document is a “multi-function kiosk system (registration number 10-1039131, hereinafter referred to as patent document 2)”.

특허문헌2의 경우, 통신망에 접속이 가능한 키오스크 장치; 키오스크 장치와 통신망에 연결된 중앙관리서버; 중앙관리 서버와 통신망에 연결된 각각의 협력사 서버; 중앙관리 서버와 통신망으로 연결된 관리자 PC를 포함하고, 키오스크 장치는 사진인화, 할인쿠폰발매, 광고제공, 티켓발매, 화상통화 및 결제의 서비스를 수행하도록, 키오스크 장치의 본체에 설치되어 사용자가 접촉합으로써, 서비스를 수행하도록 지시하는 터치스크린; 사용자의 영상을 촬영하는 영상입력부; 사용자의 음성을 입력하고 사용자와 통화하는 상대방의 음성을 출력하는 사운드 입/출력부; 사용자가 보유한 이미지파일을 입력하는 멀티메모리카드 리더부; 사진인화, 티켓발매 및 쿠폰발매 서비스에 따른 비용을 결제하도록 본체 상에 설치되는 결제카드 인식유닛; 본체에 설치되어 사진, 쿠폰 및 티켓을 인쇄하는 프린터; 터치스크린, 영상입력부, 사운드 입/출력부, 멀티메모리카드 리더부, 프린터 및 디스플레이 유닛을 제어하도록 전기적으로 연결된 제어부를 포함하며, 중앙관리서버는, 키오스크장치의 이상유무를 판별하여, 키오스크 장치에 이상이 있을 경우, 키오스크 장치의 이상 정보를 관리자 PC에 전송하여 관리자가 키오스크 장치의 이상을 인지하도록 하는 원격지원모듈; 통신망에 의한 키오스크 장치와의 통신상태가 정상상태인지 판변하는 세션모듈; 및 키오스크 장치에서 행해지는 각종 정보들이 통계적인 수치로 산출되는 통계모듈을 구비하는 것을 개시한다.In the case of Patent Document 2, a kiosk device that can be connected to a communication network; A central management server connected to the kiosk device and the communication network; A central management server and each partner server connected to a communication network; It includes an administrator PC connected to the central management server and a communication network, and the kiosk device is installed on the body of the kiosk device so that users can contact them to perform services such as photo printing, discount coupon sale, advertisement provision, ticket sale, video call and payment. By, a touch screen instructing to perform the service; An image input unit for photographing a user's image; A sound input/output unit for inputting the user's voice and outputting the voice of the other party talking to the user; A multi-memory card reader unit for inputting image files owned by the user; A payment card recognition unit installed on the main body to pay for a photo print, ticket sale, and coupon sale service; A printer installed on the body to print photos, coupons, and tickets; It includes a touch screen, a video input unit, a sound input/output unit, a multi-memory card reader unit, a control unit electrically connected to control a printer and a display unit, and the central management server determines whether there is an abnormality in the kiosk device, If there is an abnormality, a remote support module that transmits the abnormality information of the kiosk device to the administrator PC to allow the administrator to recognize the abnormality of the kiosk device; A session module for determining whether the communication state with the kiosk device by the communication network is normal; And a statistical module in which various pieces of information performed by the kiosk device are calculated with statistical values.

그러나 이들 공개문헌의 경우, 무인 단말기의 광고, 결재와 같은 기능적인 면을 부가하여 개시하였으며, 무인 단말기와 사용자 간의 영상 대화가 이루어지는 것에 대한 기술적 사상을 개시하지 못한다는 문제점이 있다. However, in the case of these publications, functional aspects such as advertisement and payment of the unmanned terminal have been added and disclosed, and there is a problem in that it is not possible to disclose the technical idea of video conversation between the unmanned terminal and the user.

등록번호 제10-2007436호Registration No. 10-2007436 등록번호 제10-1039131호Registration No. 10-1039131

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템은 상기한 바와 같은 종래 문제점을 해결하기 위해 안출된 것으로서, 다음과 같은 해결하고자 하는 과제를 제시한다.The smart mirror bidirectional interactive information system according to the present invention has been devised to solve the conventional problems as described above, and presents the following problems to be solved.

첫째, 인물의 아바타를 생성하는 과정에서 인물의 안면과 매칭되는 아바타를 생성할 수 있도록 하고자 한다.First, in the process of creating a person's avatar, it is intended to create an avatar that matches the person's face.

둘째, 인물의 부위별 안면 정보에 기반하여 아바타를 생성할 수 있도록 하고자 한다. Second, it is intended to create an avatar based on facial information for each part of the person.

셋째, 인물의 안면 움직임을 추적하여 인물의 안면 움직임 변화와 같은 움직임이 아바타에서 발생할 수 있도록 하고자 한다.Third, it is intended to track a person's facial movements so that movements such as changes in the facial movements of the characters can occur in the avatar.

넷째, 관리자와 사용자의 상호 소통이 이루어질 수 있도록 하고자 한다.Fourth, it is intended to enable interaction between managers and users.

본 발명의 해결 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problem of the present invention is not limited to those mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템은 상기의 해결하고자 하는 과제를 위하여 다음과 같은 과제 해결 수단을 가진다.The smart mirror bidirectional interactive information system according to the present invention has the following problem solving means for the above-mentioned problems.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템은 무인 단말기와 네트워킹하여 관리자의 안면을 인식하고 상기 관리자의 안면에 매칭되는 아바타 데이터를 생성하여 상기 무인 단말기에 상기 아바타 데이터를 송신하는 센터 유닛(center unit); 및 상기 무인 단말기에 배치되어 상기 센터 유닛의 상기 아바타 데이터를 디스플레이 하며, 상기 무인 단말기의 사용자로부터 획득한 정보를 상기 센터 유닛으로 송신하는 인콰이어링 유닛(inquiring unit)을 포함할 수 있다.The smart mirror bidirectional interactive information system according to the present invention is a center unit that recognizes an administrator's face by networking with an unmanned terminal and generates avatar data matching the administrator's face to transmit the avatar data to the unmanned terminal. ; And an inquiring unit disposed on the unmanned terminal to display the avatar data of the center unit, and transmitting information obtained from a user of the unmanned terminal to the center unit.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템은 상기 관리자의 안면을 인식하여 안면 정보를 획득하는 페이스 인식부; 및 상기 페이스 인식부가 획득한 상기 안면 정보의 각 부위에 해당하는 눈, 눈썹, 코, 귀, 입, 얼굴 윤곽의 패턴 정보에 기초하여, 상기 관리자의 안면을 개별 부위로 분할하는 페이스 세그먼트(segment)부를 포함할 수 있다.A smart mirror interactive interactive information system according to the present invention includes: a face recognition unit that recognizes the face of the manager and obtains face information; And a face segment for dividing the face of the manager into individual parts based on pattern information of eyes, eyebrows, noses, ears, mouths, and faces corresponding to each part of the face information obtained by the face recognition unit. It may contain wealth.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템은 상기 관리자의 안면에 전자기파를 송출하고, 상기 관리자의 안면으로부터 반사된 상기 전자기파를 수신하여 상기 관리자의 안면의 3차원 볼륨 정보를 인식하는 볼륨 인식부; 및 상기 볼륨 인식부로부터 상기 관리자의 안면의 3차원 볼륨 정보를 수신하고, 상기 관리자의 안면 부위별로 컬러와 명도의 광을 조사하는 콘트라스트 인식부를 포함할 수 있다.A smart mirror bidirectional interactive information system according to the present invention includes: a volume recognition unit that transmits electromagnetic waves to the face of the manager and receives the electromagnetic waves reflected from the face of the manager to recognize 3D volume information of the face of the manager; And a contrast recognition unit that receives the 3D volume information of the manager's face from the volume recognition unit and irradiates light of color and brightness for each face portion of the manager.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템은 상기 페이스 세그먼트부의 복수 개의 상기 개별 부위 정보를 상호 조합하여 안면 정보 복원 작업을 통하여 상기 관리자의 안면으로부터 맞춤화되는 아바타를 생성하는 아바타 생성부를 더 포함할 수 있다.The smart mirror bi-directional interactive information system according to the present invention may further include an avatar generator that combines a plurality of pieces of the individual parts of the face segment unit to generate an avatar customized from the administrator's face through a facial information restoration operation. .

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템은 상기 볼륨 인식부와 상기 콘트라스트 인식부로부터 제공된 상기 안면 정보에 복수 개의 근육점을 추가하고 상기 복수 개의 근육점의 변화를 추적하여 상기 관리자의 안면 움직임에 따라 상기 아바타의 움직임이 나타나도록 하는 모션 획득부를 더 포함할 수 있다.The smart mirror bidirectional interactive information system according to the present invention adds a plurality of muscle points to the facial information provided from the volume recognition unit and the contrast recognition unit and tracks changes in the plurality of muscle points according to the facial movement of the manager It may further include a motion acquiring unit to display the movement of the avatar.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템은 상기 관리자의 안면의 정보를 좌우로 이분 분할하여 이분 분할 데이터의 좌우 근육점의 임계점을 설정하는 시메트리(symmetry)부를 포함하되, 상기 시메트리부는, ⅰ)상기 좌우 근육점이 임계점을 넘어서지 않는 경우, 이분 분할 데이터 중 근육점의 변화가 크게 일어난 부분으로 이분 분할 데이터를 통일시키며, ⅱ) 상기 좌우 근육점 중 어느 한 영역에서 임계점을 넘어서는 경우, 이분 분할 데이터의 눈, 눈썹, 코, 귀, 입, 얼굴 윤곽의 상기 좌우 근육점 중 적어도 하나 이상이 임계점을 넘어서면, 비대칭으로 인식하여 이분 분할 데이터를 변형하지 않는 것을 특징으로 할 수 있다.The smart mirror bidirectional interactive information system according to the present invention includes a symmetry unit for dividing the information of the manager's face into left and right sides and setting a threshold point of left and right muscle points of the dividing segment data. If the left and right muscle points do not exceed the critical point, the segmentation data is unified to the part where the change in the muscle point occurs significantly among the divided data, and ii) when the threshold point is exceeded in any one of the left and right muscle points, the eye of the divided data , If at least one of the left and right muscle points of the eyebrow, nose, ear, mouth, and face contour exceeds a threshold point, it may be characterized as not recognizing asymmetrical and not dividing the divided data.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템은 상기 센터 유닛으로부터 상기 아바타 데이터를 수신하는 아바타 정보 수신부; 및 상기 무인 단말기에서 제공되는 리스폰싱 데이터를 획득하여 상기 센터 유닛으로 상기 리스폰싱 데이터를 송출하는 리스폰싱부를 포함할 수 있다.A smart mirror bidirectional interactive information system according to the present invention includes an avatar information receiving unit receiving the avatar data from the center unit; And a responsive unit that acquires responsive data provided by the unmanned terminal and transmits the responsive data to the center unit.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템은 상기 모션 획득부가 제공하는 상기 아바타의 데이터를 수신받아, 상기 인콰이어링 유닛에 제공되는 상기 아바타의 연속적인 움직임이 나타나도록 하는 렌더링(rendering)부를 포함할 수 있다.The smart mirror bi-directional interactive information system according to the present invention includes a rendering unit that receives the data of the avatar provided by the motion acquisition unit and causes continuous movement of the avatar provided to the inquiring unit. Can.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템은 상기 아바타 정보를 상기 무인 단말기에 디스플레이 하며 상기 센터 유닛의 배경에 대한 일부의 이미지를 디스플레이 하되, 상기 센터 유닛은, 상기 배경의 일부 이미지에 대한 디스플레이 여부를 콘트롤 하도록 하는 것을 특징으로 할 수 있다.The smart mirror bidirectional interactive information system according to the present invention displays the avatar information on the unmanned terminal and displays a partial image of the background of the center unit, wherein the center unit displays whether or not a partial image of the background is displayed. It can be characterized as to be controlled.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템은 상기 아바타 생성부가 생성한 상기 아바타 데이터의 상기 안면 정보 중 적어도 하나 이상을 상기 관리자에 의해 임의 콘트롤 될 수 있도록 하는 것을 특징으로 할 수 있다.The smart mirror bidirectional interactive information system according to the present invention may be characterized in that at least one or more of the facial information of the avatar data generated by the avatar generator can be arbitrarily controlled by the administrator.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 상기 센터 유닛은, 상기 무인 단말기 상에 상기 사용자가 요청하는 정보를 제공하는 정보제공부를 포함하되, 상기 인콰이어링 유닛은, 상기 사용자가 상기 무인 단말기를 통해 임의의 정보를 입력하는 정보입력부를 포함할 수 있다.The center unit of the smart mirror two-way interactive information system according to the present invention includes an information providing unit that provides information requested by the user on the unmanned terminal, wherein the inquiring unit comprises: It may include an information input unit for inputting any information through.

이상과 같은 구성의 본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템은 다음과 같은 효과를 제공한다.The smart mirror bi-directional interactive information system according to the present invention having the above configuration provides the following effects.

첫째, 인물의 안면 정보를 부위별로 분할하여 부위별 복원 작업을 통하여 인물의 안면과 매칭되는 아바타를 생성하게 된다.First, the face information of the person is divided into parts, and an avatar matching the face of the person is generated through the restoration work for each part.

둘째, 인물의 안면에 근육점을 추가하고 근육점의 움직임을 통하여 인물의 움직임 변화를 인식하여 아바타의 자연스러운 움직임이 가능하게 된다.Second, by adding muscle points to the face of the person and recognizing the change in the person's motion through the movement of the muscle points, natural movement of the avatar becomes possible.

셋째, 인물의 안면을 이분 분할하여 인물의 안면 움직임의 대칭과 비대칭을 구분하고 이를 아바타 정보에 송신하여 아바타의 움직임을 구현하고자 하게 된다.Third, the face of a person is divided into two parts to distinguish the symmetry and asymmetry of the person's facial motion and transmit it to the avatar information to implement the avatar's motion.

넷째, 관리자는 사용자가 요청하는 정보를 제공하며, 제공되는 정보에 대하여 임의 선택할 수 있게 된다.Fourth, the administrator provides information requested by the user, and can arbitrarily select the provided information.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도1은 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 개념도이다.
도2는 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 페이스 인식부를 도시한 것이다.
도3은 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 페이스 세그먼트부와 아바타 생성부를 도시한 것이다.
도4는 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 모션 획득부가 대상의 안면에 근육점을 추가한 것을 도시한 것이다.
도5는 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 시메트리부를 도시한 것이다.
도6은 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 센터 유닛을 도시한 블록도이다.
도7은 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 인콰이어링 유닛을 도시한 블록도이다.
도8은 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 아바타 데이터를 콘트롤 하는 것을 도시화한 것이다.
도9는 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 무인 단말기에 표시된 정보제공부 및 정보입력부를 도시한 것이다.
도10은 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 무인 단말기에 표시된 정보입력부를 사용자가 조작하는 것을 도시한 것이다.
도11은 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 무인 단말기에 지오메트리부가 사용자가 요청하는 네비게이션 기능을 제공하여 사용자가 지도의 원하는 부위를 확대조작하는 것을 도시한 것이다.
도12는 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 무인 단말기에 지오메트리부가 사용자가 요청하는 정보를 제공하며 사용자가 임의의 정보를 선택하는 것을 도시한 것이다.1 is a conceptual diagram of a smart mirror interactive interactive information system according to an embodiment of the present invention.
2 shows a face recognition unit of a smart mirror interactive interactive information system according to an embodiment of the present invention.
3 illustrates a face segment unit and an avatar generator of a smart mirror interactive information system according to an embodiment of the present invention.
4 illustrates that the motion acquisition unit of the smart mirror bidirectional interactive information system according to an embodiment of the present invention adds a muscle point to the face of a target.
5 shows a symmetry portion of a smart mirror bidirectional interactive information system according to an embodiment of the present invention.
6 is a block diagram showing a center unit of a smart mirror interactive interactive information system according to an embodiment of the present invention.
7 is a block diagram illustrating an inquiring unit of a smart mirror bidirectional interactive information system according to an embodiment of the present invention.
8 illustrates controlling avatar data of a smart mirror interactive information system according to an embodiment of the present invention.
9 illustrates an information providing unit and an information input unit displayed on an unmanned terminal of a smart mirror interactive information system according to an embodiment of the present invention.
10 is a diagram illustrating a user operating an information input unit displayed on an unmanned terminal of a smart mirror interactive information system according to an embodiment of the present invention.
FIG. 11 is a diagram illustrating that a user enlarges a desired part of a map by providing a navigation function requested by a user of a geometry unit to an unmanned terminal of a smart mirror interactive information system according to an embodiment of the present invention.
12 illustrates that the geometry unit provides information requested by a user to an unattended terminal of a smart mirror interactive information system according to an embodiment of the present invention, and the user selects arbitrary information.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. The smart mirror bi-directional interactive information system according to the present invention can apply various changes and can have various embodiments, and specific embodiments are illustrated in the drawings and will be described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the technical spirit and technical scope of the present invention.

도1은 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 개념도이다. 도2는 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 페이스 인식부를 도시한 것이다. 도3은 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 페이스 세그먼트부와 아바타 생성부를 도시한 것이다. 도4는 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 모션 획득부가 대상의 안면에 근육점을 추가한 것을 도시한 것이다. 도5는 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 시메트리부를 도시한 것이다. 도6은 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 센터 유닛을 도시한 블록도이다. 도7은 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 인콰이어링 유닛을 도시한 블록도이다. 도8은 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 아바타 데이터를 콘트롤 하는 것을 도시화한 것이다. 도9는 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 무인 단말기에 표시된 정보제공부 및 정보입력부를 도시한 것이다. 도10은 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 무인 단말기에 표시된 정보입력부를 사용자가 조작하는 것을 도시한 것이다. 도11은 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 무인 단말기에 지오메트리부가 사용자가 요청하는 네비게이션 기능을 제공하여 사용자가 지도의 원하는 부위를 확대조작하는 것을 도시한 것이다. 도12는 본 발명의 일 실시예에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 무인 단말기에 지오메트리부가 사용자가 요청하는 정보를 제공하며 사용자가 임의의 정보를 선택하는 것을 도시한 것이다.1 is a conceptual diagram of a smart mirror interactive interactive information system according to an embodiment of the present invention. 2 shows a face recognition unit of a smart mirror interactive interactive information system according to an embodiment of the present invention. 3 illustrates a face segment portion and an avatar generating portion of a smart mirror interactive information system according to an embodiment of the present invention. 4 illustrates that the motion acquisition unit of the smart mirror bidirectional interactive information system according to an embodiment of the present invention adds a muscle point to the face of a target. 5 shows a symmetry portion of a smart mirror bidirectional interactive information system according to an embodiment of the present invention. 6 is a block diagram showing a center unit of a smart mirror interactive interactive information system according to an embodiment of the present invention. 7 is a block diagram illustrating an inquiring unit of a smart mirror bidirectional interactive information system according to an embodiment of the present invention. 8 illustrates controlling avatar data of a smart mirror interactive information system according to an embodiment of the present invention. 9 shows an information providing unit and an information input unit displayed on an unmanned terminal of a smart mirror interactive interactive information system according to an embodiment of the present invention. 10 is a diagram illustrating a user operating an information input unit displayed on an unmanned terminal of a smart mirror interactive information system according to an embodiment of the present invention. 11 is a diagram illustrating that a user enlarges and manipulates a desired part of a map by providing a navigation function requested by a user of a geometry unit to an unmanned terminal of a smart mirror interactive interactive information system according to an embodiment of the present invention. 12 illustrates that the geometry unit provides information requested by a user to an unattended terminal of a smart mirror interactive information system according to an embodiment of the present invention, and the user selects arbitrary information.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 경우, 도1에 도시된 바와 같이, 센터 유닛(center unit, 100) 및 인콰이어링 유닛(inquiring unit, 200)을 포함하게 된다.In the case of the smart mirror bidirectional interactive information system according to the present invention, as shown in FIG. 1, a center unit (100) and an inquiring unit (200) are included.

센터 유닛(100)의 경우, 도1에 도시된 바와 같이, 무인 단말기(10)와 네트워킹하여 관리자의 안면을 인식하고 상기 관리자의 안면에 매칭되는 아바타 데이터를 생성하여 무인 단말기(10)에 아바타 데이터를 송신하게 된다. In the case of the center unit 100, as shown in FIG. 1, networking with the unmanned terminal 10 recognizes the face of the manager and generates avatar data matching the face of the manager to generate avatar data in the unmanned terminal 10. To send.

센터 유닛(100)은 무인 단말기(10)와 네트워킹으로 연결되는데, 센터 유닛(100)과 무인 단말기(10)의 네트워킹은 통신 네트워크(telecommunications network), 예를 들면, 컴퓨터 네트워크(computer network), 인터넷(Internet), 또는 전화 망(telephone network)등으로 네트워킹를 할 수 있다.The center unit 100 is connected to the unmanned terminal 10 by networking, and the networking of the center unit 100 and the unmanned terminal 10 is a telecommunications network, for example, a computer network, the Internet. Networking can be done through (Internet) or a telephone network.

인콰이어링 유닛(200)의 경우, 무인 단말기(10)에 배치되어 센터 유닛(100)의 아바타 데이터를 디스플레이 하며, 무인 단말기(10)의 사용자로부터 획득한 정보를 센터 유닛(100)으로 송신하게 된다. In the case of the inquiring unit 200, it is arranged on the unmanned terminal 10 to display the avatar data of the center unit 100, and to transmit the information obtained from the user of the unmanned terminal 10 to the center unit 100 do.

도1에 도시된 바와 같이, 인콰이어링 유닛(200)은 무인 단말기(10)에 배치되어 사용자로부터 정보를 획득하는데, 사용자로부터 획득되는 정보를 네트워크를 통하여 센터 유닛(100)에 제공하며 사용자의 요청을 실시간으로 제공받을 수 있으며, 제공받은 요청에 실시간으로 대응이 가능하도록 상호 교신이 이루어지도록 하는 것이 바람직하다.As shown in Figure 1, the inquiring unit 200 is disposed on the unmanned terminal 10 to obtain information from the user, providing the information obtained from the user to the center unit 100 through the network and the user's Requests can be provided in real time, and it is desirable that mutual communication is performed so that requests can be provided in real time.

아울러 무인 단말기(10)는 센터 유닛(100)의 음성 정보를 수신하고 사용자의 음성 정보를 센터 유닛(100)에 송신하기 위하여 마이크와 스피커는 당연히 구비되어 있어야 한다.In addition, the unmanned terminal 10 must be provided with a microphone and a speaker of course in order to receive the voice information of the center unit 100 and to transmit the user's voice information to the center unit 100.

센터 유닛(100)의 음성 정보는 남성 또는 여성의 음성으로 변조되어 센터 유닛(100)에 제공될 수 있다.The voice information of the center unit 100 may be modulated into a male or female voice and provided to the center unit 100.

이를 위하여 센터 유닛(100)과 인콰이어링 유닛(200) 중 적어도 하나에 음성 변조 시스템(미도시)을 포함해야 하며, 음성 변조의 실행여부는 관리자 및 사용자가 임의 조절할 수 있는 것이 바람직하다.To this end, a voice modulation system (not shown) must be included in at least one of the center unit 100 and the inquiring unit 200, and it is preferable that an administrator and a user can arbitrarily control whether voice modulation is performed.

또한, 무인 단말기(10)는 필요에 따라 디스플레이 화면을 구비하고 있으며, 디스플레이 화면을 통해 사용자가 요청하는 데이터 확인 및 사용자가 원하는 정보를 입력할 수 있는 것이 바람직하다.In addition, the unmanned terminal 10 is provided with a display screen, if necessary, it is preferable that the user can enter the desired information and the data requested by the user through the display screen.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 센터 유닛(100)의 경우, 도6에 도시된 바와 같이, 페이스 인식부(110), 페이스 세그먼트부(120)를 포함하게 된다. In the case of the center unit 100 of the smart mirror bidirectional interactive information system according to the present invention, as shown in FIG. 6, the face recognition unit 110 and the face segment unit 120 are included.

페이스 인식부(110)의 경우, 도2에 도시된 바와 같이, 관리자의 안면을 인식하여 안면 정보를 획득하게 된다.In the case of the face recognition unit 110, as shown in FIG. 2, the face of the manager is recognized and face information is obtained.

페이스 인식부(110)는 센터 유닛(100)의 관리자의 안면을 향하여 배치되는 것이 바람직하다.The face recognition unit 110 is preferably disposed toward the face of the manager of the center unit 100.

페이스 세그먼트부(120)의 경우, 도3에 도시된 바와 같이, 페이스 인식부(110)가 획득한 안면 정보의 각 부위에 해당하는 눈, 눈썹, 코, 귀, 입, 얼굴 윤곽의 패턴 정보에 기초하여, 관리자의 안면을 개별 부위로 분할하게 된다.In the case of the face segment unit 120, as shown in FIG. 3, the pattern information of the eyes, eyebrows, nose, ears, mouth, and face contours corresponding to each part of the facial information acquired by the face recognition unit 110 is shown. On the basis of this, the face of the manager is divided into individual parts.

페이스 세그먼트부(120)는 관리자의 안면의 이미지를 부위별로 경계를 부여하는데, 이러한 경계가 설정된 부위 각각을 복수 개의 개별 부위 정보로 설정하게 된다. The face segment unit 120 sets a boundary for each part of the image of the face of the manager, and sets each of the parts where the boundary is set as a plurality of individual part information.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 페이스 인식부(110)의 경우, 볼륨 인식부(111) 및 콘트라스트 인식부(112)를 포함하게 된다.In the case of the face recognition unit 110 of the smart mirror bidirectional interactive information system according to the present invention, the volume recognition unit 111 and the contrast recognition unit 112 are included.

볼륨 인식부(111)의 경우, 관리자의 안면에 전자기파를 송출하고, 관리자의 안면으로부터 반사된 전자기파를 수신하여 관리자의 안면의 3차원 볼륨 정보를 인식하게 된다.In the case of the volume recognition unit 111, electromagnetic waves are transmitted to the manager's face, and electromagnetic waves reflected from the manager's face are received to recognize the 3D volume information of the manager's face.

도2에 도시된 바와 같이, 페이스 인식부(110)는 관리자의 안면을 향하여 배치되며 볼륨 인식부(111)의 경우, 관리자의 안면을 향하여 전자기파를 송출하는데, 안면으로부터 반사되어 돌아온 전자기파의 수신을 통하여 인물의 안면의 입체적 이미지를 획득하게 된다.2, the face recognition unit 110 is disposed toward the manager's face, and in the case of the volume recognition unit 111, it transmits electromagnetic waves toward the manager's face, and receives electromagnetic waves reflected from the face and returned. Through this, a three-dimensional image of the person's face is obtained.

여기서 전자기파는 인물이 시각적으로 인식하는 가시광선, 자외선의 파장대를 피하고, 인물이 인식하지 못하며 유해하지 않는 적외선을 사용하는 것이 바람직하다. Here, it is preferable to use infrared rays that electromagnetic waves do not recognize and are not harmful to humans.

적외선의 파장대로는 붉은 가시광선 영역(630~780nm)보다 파장이 긴 근적외선(700~1200nm), 중적외선(1200~2500nm), 열적외선(8~14 μm)이 있으나, 여기서는 근적외선이나 중 적외선을 활용하여 안면의 입체 이미지를 획득하는 것으로 구현하였다.In the infrared wavelength range, there are near infrared rays (700-1200 nm), mid-infrared rays (1200-2500 nm), and thermal infrared rays (8-14 μm), which have longer wavelengths than the red visible light region (630-780 nm). It was implemented by acquiring a three-dimensional image of the face by utilizing it.

안면의 3차원 정보를 정확하게 얻기 위하여 복수 개의 볼륨 인식부(111)를 인물의 정면, 측면에 배치하여 안면의 3차원 정보를 획득할 수 있지만, 하나의 볼륨 인식부(111)만 제공되면, 관리자의 임의 움직임 예컨대, 정면과 측면 등의 안면의 움직임을 통하여 안면의 3차원 정보를 획득할 수 있다. In order to obtain three-dimensional information on the face accurately, a plurality of volume recognition units 111 may be arranged on the front and side surfaces of a person to obtain three-dimensional information on the face, but if only one volume recognition unit 111 is provided, the administrator 3D information of the face may be obtained through arbitrary movements of the face, for example, face movements such as front and side.

콘트라스트 인식부(112)의 경우, 도2에 도시된 바와 같이, 볼륨 인식부(111)로부터 관리자의 안면의 3차원 볼륨 정보를 수신하고, 관리자의 안면 부위별로 컬러와 명도의 광을 조사하게 된다.In the case of the contrast recognition unit 112, as shown in FIG. 2, the 3D volume information of the manager's face is received from the volume recognition unit 111, and light of color and brightness is irradiated for each manager's face. .

콘트라스트 인식부(112)는 볼륨 인식부(111)와 함께 인물의 안면을 향하여 배치되며 볼륨 인식부(111)가 3차원 볼륨 정보를 콘트라스트 인식부(112)에게 제공하면, 3차원 볼륨 정보를 바탕으로 안면을 인식하여 인물의 안면에 광을 조사하게 되며, 광을 통하여 인물의 피부색, 눈동자, 눈썹, 입술의 색 등을 획득할 수 있다.The contrast recognition unit 112 is disposed toward the face of the person together with the volume recognition unit 111, and when the volume recognition unit 111 provides the 3D volume information to the contrast recognition unit 112, it is based on the 3D volume information. By recognizing the face, light is irradiated on the face of the person, and the skin color, eyes, eyebrows, and lips of the person can be obtained through the light.

콘트라스트 인식부(112)는 하나의 광 조사기로는 안면의 각 부위에 따라 광을 조사하기 어렵기 때문에, 복수 개의 광을 구비하여 조사하되, 인물의 각 부위에 해당하는 정보를 페이스 세그먼트부(120)로부터 제공받아, 필요한 부위에 집중적으로 광을 조사하는 것이 바람직하다. Contrast recognition unit 112, since it is difficult to irradiate light according to each part of the face with one light irradiator, it is provided with a plurality of lights to irradiate, but face segmentation unit 120 provides information corresponding to each part of the person ), it is preferable to intensively irradiate light to a required area.

콘트라스트 인식부(112)는 인물의 피부색뿐만 아니라 인물의 피부에 대한 텍스쳐에 대하여 제공받을 수 있으며, 관리자가 표현하고 싶은 피부의 텍스쳐 및 관리자가 임의 설정한 눈동자의 색, 점 등을 포착하여 아바타에 특징적으로 제공되도록 할 수 있다.The contrast recognition unit 112 may be provided not only for the skin color of the person, but also for the texture of the person's skin, and captures the texture of the skin that the manager wants to express and the color, dot, etc. of the eyes set by the manager at random. It can be provided characteristically.

볼륨 인식부(111)와 콘트라스트 인식부(112)는 안면의 위치와 각도에 따라 결과 값이 상이하게 나올 수 있는 바, 여러 번의 촬영을 통하여 평균적인 결과값을 도출해 내는 것이 바람직하다.The volume recognition unit 111 and the contrast recognition unit 112 may have different result values depending on the position and angle of the face, so it is preferable to derive an average result value through multiple shots.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 센터 유닛(100)의 경우, 페이스 세그먼트부(120)의 복수 개의 개별 부위 정보를 상호 조합하여 안면 정보 복원 작업을 통하여 관리자의 안면으로부터 맞춤화되는 아바타를 생성하는 아바타 생성부(130)를 포함하게 된다.In the case of the center unit 100 of the smart mirror bidirectional interactive information system according to the present invention, a plurality of individual site information of the face segment unit 120 are mutually combined to generate an avatar customized from the administrator's face through a facial information restoration operation. It includes the avatar creation unit 130.

아바타 생성부(130)의 경우, 도3에 도시된 바와 같이, 페이스 세그먼트부(120)가 각각 분할한 부위 정보를 조합하여 하나의 새로운 아바타를 생성하는데, 아바타는 볼륨 인식부(111)와 콘트라스트 인식부(112)로부터 제공받은 3차원 볼륨 정보와 컬러, 명도를 바탕으로 조합하여 아바타를 생성하는 것이 바람직하다.In the case of the avatar generating unit 130, as shown in FIG. 3, the face segment unit 120 combines the segmented region information to generate one new avatar, which is the volume recognition unit 111 and the contrast. It is preferable to create an avatar by combining the 3D volume information, color, and brightness provided from the recognition unit 112.

아바타 생성부(130)는 하나의 아바타를 생성하기 위하여 센터 유닛(100)에 하나의 아바타 부위 저장부(미도시)를 포함할 수 있으며, 아바타 부위 저장부는 인물의 각 부위 즉, 눈, 눈썹, 귀, 입, 코, 얼굴 윤곽 등의 정보를 아바타 부위 저장부에 있는 데이터와 매칭하여 하나의 아바타를 생성할 수 있다.The avatar generating unit 130 may include one avatar unit storage unit (not shown) in the center unit 100 to generate one avatar, and the avatar unit storage unit may include each part of the person, that is, eyes, eyebrows, Information such as ears, mouth, nose, and face outline can be matched with data in the avatar region storage unit to generate a single avatar.

아바타 생성부(130)의 안면의 각 부위 정보는 서로 다른 공간에 각 부위별로 저장되며, 저장된 부위 정보는 각 안면의 위치를 추적하여 인물의 안면의 위치 포지션을 인식하고 있는 것이 바람직하다.It is preferable that information on each part of the face of the avatar generating unit 130 is stored for each part in a different space, and that the stored part information tracks the position of each face to recognize the position position of the face of the person.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 센터 유닛(100)은, 볼륨 인식부(111)와 콘트라스트 인식부(112)로부터 제공된 안면 정보에 복수 개의 근육점을 추가하고 복수 개의 근육점의 변화를 추적하여 관리자의 안면 움직임에 따라 아바타의 움직임이 나타나도록 하는 모션 획득부(140)를 포함하게 된다.The center unit 100 of the smart mirror bi-directional interactive information system according to the present invention adds a plurality of muscle points to the facial information provided from the volume recognition unit 111 and the contrast recognition unit 112 and changes the multiple muscle points. It includes a motion acquiring unit 140 that tracks and moves the avatar according to the facial movement of the manager.

모션 획득부(140)의 경우, 도4에 도시된 바와 같이, 얼굴의 각 근육들의 지점에 근육점을 배치하고 얼굴의 움직임이 나타나면 근육점의 위치 변화를 추적하여 근육의 움직임 즉, 얼굴의 표정 변화를 알아낼 수 있다.In the case of the motion acquiring unit 140, as shown in FIG. 4, muscle points are arranged at points of the muscles of the face, and when the movement of the face appears, the position of the muscle points is tracked to move the muscles, that is, facial expressions. Changes can be noticed.

근육점은 눈, 눈썹, 귀, 입, 코, 미간, 이마, 볼 등의 안면의 근육이 배치된 곳에 점으로 표시되는데 근육의 움직임이 생성되면 근육점의 위치 변화가 오고 근육점의 위치변화를 벡터와 스칼라의 변화로 나타나게 된다.The muscle points are indicated by points where the muscles of the face, such as the eyes, eyebrows, ears, mouth, nose, forehead, forehead, and cheeks, are placed. When muscle movement is generated, the position of the muscle points changes and changes in the position of the muscle points It will appear as a vector and scalar change.

무표정일 경우를 기준으로 근육점의 위치 변화에 대한 값을 벡터와 스칼라 변화 수치로 제공받으며 변화 수치가 클수록 표정의 변화가 크게 일어난 것으로 보아 모션 획득부(140)는 페이스 인식부(110)의 촬영시간을 조정하여 더욱 미세한 표정변화를 포착할 수 있도록 하는 것이 바람직하다.The motion acquisition unit 140 photographs the face recognition unit 110 as the value of the position change of the muscle point is provided as a vector and scalar change value based on the expressionless case, and the larger the change value, the greater the change in facial expression. It is desirable to adjust the time so that more fine expression changes can be captured.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 시메트리부(141)는 관리자의 안면의 정보를 좌우로 이분 분할하여 이분 분할 데이터의 좌우 근육점의 임계점을 설정하게 된다.The symmetry unit 141 of the smart mirror bidirectional interactive information system according to the present invention divides the information of the manager's face into left and right sides and sets thresholds of left and right muscle points of the divided data.

근육점의 임계점은 안면 정보를 좌우로 분할한 안면 좌우 데이터를 비교하여 좌우 근육점의 위치에 대한 데이터가 비교적 동일하면 임계점을 넘어서지 않는 경우로, 좌우 근육점의 위치에 대한 데이터의 차이가 크면 임계점을 넘는 것으로 보는 것이다.The critical point of the muscle point is a case where the data for the position of the left and right muscle points are relatively the same by comparing the left and right face data obtained by dividing the facial information from side to side. It is to see as over.

시메트리부(141)의 경우, 좌우 근육점이 임계점을 넘어서지 않는 경우, 이분 분할 데이터 중 근육점의 변화가 크게 일어난 부분으로 이분 분할 데이터를 통일시키며, 좌우 근육점 중 어느 한 영역에서 임계점을 넘어서는 경우, 이분 분할 데이터의 눈, 눈썹, 코, 귀, 입, 얼굴 윤곽의 상기 좌우 근육점 중 적어도 하나 이상이 임계점을 넘어서면, 비대칭으로 인식하여 이분 분할 데이터를 변형하지 않는 것이다.In the case of the symmetry unit 141, when the left and right muscle points do not exceed the threshold, the segmentation data is unified as the portion where the change of the muscle point occurs significantly among the divided data, and when the left and right muscle points exceed the threshold in one area of the left and right muscle points, If at least one of the left and right muscle points of the eye, eyebrow, nose, ear, mouth, and face contours of the divided data exceeds a critical point, it is recognized as asymmetric and does not transform the divided data.

시메트리부(141)의 경우, 도5에 도시된 바와 같이, 안면을 좌우로 분할하여 좌우의 근육점을 대조하며, 좌우 근육점의 변화가 크게 오지 않은 경우, 좌우 근육점이 임계점을 넘지 않는 것으로 판단하여 좌우 이미지를 통일시킨다.In the case of the symmetry portion 141, as shown in FIG. 5, the left and right muscle points are contrasted by dividing the face from side to side, and when the change in the left and right muscle points is not large, it is determined that the left and right muscle points do not exceed the critical point. To unify the left and right images.

도5(a)에 도시된 바와 같이, 안면의 좌우 이미지 중 좌우 근육점을 대조하여 좌우의 근육점의 변화가 아주 큰 경우, 근육점이 임계점을 넘어서는 경우로 판단하여, 이를 비대칭으로 판단하고 좌우 이미지에 변화를 생성하지 않는다. As shown in Fig. 5(a), when the left and right muscle points in the left and right muscle points of the facial image are very large and the change in the left and right muscle points is very large, the muscle point is judged as the case that exceeds the critical point, and this is judged as asymmetry and the left and right images Does not produce a change.

예컨대, 한쪽 눈만 감아 윙크한 경우, 이분 분할 데이터 중 눈과 눈썹의 근육점이 좌우 대칭을 이루지 않으며, 좌우 데이터의 근육점의 위치 차이가 아주 크기 때문에 이를 비대칭으로 인식하며 이분 분할 데이터를 통일시키지 않는 것이다. For example, when only one eye is closed and winked, the muscle points of the eye and eyebrows are not symmetrical between the eyes and the eyebrows among the divided data, and because the difference in the position of the muscle points of the left and right data is very large, it is recognized as asymmetric and does not unify the divided data. .

아울러 도5(b)에 도시된 바와 같이, 웃을 때 양쪽 입꼬리의 위치가 다르고 한쪽 입꼬리만 미세하게 올라가는 경우, 이분 분할 데이터 중 입의 근육점의 위치가 좌우 동일하지 않지만, 근육점의 위치 차이는 미미하므로 이를 대칭으로 인식하여 이분 분할 데이터 중 한쪽의 데이터로 통일시킨다.In addition, as shown in Fig. 5(b), when the positions of both the tails of the mouth are different when laughing, and only one of the tails rises slightly, the position of the muscle points of the mouth is not the same from side to side, but the difference in the position of the muscle points Since it is insignificant, it is recognized symmetrically and unified into one of the divided data.

아울러 시메트리부(141)가 통일시킨 데이터는 아바타에게 전달되며, 아바타에서는 대칭인 경우 좌우 통일된 관리자의 안면 정보를 기초하여 아바타가 동작하고, 비대칭인 경우 좌우 통일되지 않은 안면 정보를 기초하여 아바타가 동작하게 되는 것이다. In addition, data unified by the symmetry unit 141 is transmitted to the avatar, and if the avatar is symmetric, the avatar operates based on the facial information of the unified left and right manager, and in the case of asymmetric, the avatar is based on the unidentified facial information. It will work.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 인콰이어링 유닛(200)은 도7에 도시된 바와 같이, 아바타 정보 수신부(210) 및 리스폰싱부(220)를 포함할 수 있다.The inquiring unit 200 of the smart mirror bi-directional interactive information system according to the present invention may include an avatar information receiving unit 210 and a responsing unit 220 as shown in FIG. 7.

아바타 정보 수신부(210)의 경우, 센터 유닛(100)으로부터 아바타 데이터를 수신하게 된다.In the case of the avatar information receiving unit 210, avatar data is received from the center unit 100.

리스폰싱부(220)의 경우, 무인 단말기(10)에서 제공되는 리스폰싱 데이터를 획득하여 센터 유닛(100)으로 리스폰싱 데이터를 송출하게 된다.In the case of the responsive unit 220, the responsive data provided by the unmanned terminal 10 is acquired and the responsive data is transmitted to the center unit 100.

아바타 정보 수신부(210)는 네트워크를 통하여 센터 유닛(100)으로부터 아바타 정보를 수신 받으며 수신 받은 아바타 정보를 무인 단말기(10)에 디스플레이하게 되는 것이다.The avatar information receiving unit 210 receives avatar information from the center unit 100 through a network and displays the received avatar information on the unmanned terminal 10.

리스폰싱부(220)의 경우, 무인 단말기(10)에 배치된 마이크, 화면 등을 통하여 무인 단말기에서 사용자가 제공하는 리스폰싱 데이터를 센터 유닛(100)으로 송출하여 센터 유닛(100)과 사용자 간의 교신이 이루어 질 수 있도록 하는 것이 바람직하다.In the case of the responsive unit 220, the responsive data provided by the user from the unmanned terminal to the center unit 100 is transmitted through a microphone, a screen, etc., arranged in the unmanned terminal 10 to communicate between the center unit 100 and the user It is desirable to make this possible.

여기서 무인 단말기(10)는 무인, 자동화를 통해 사용자가 쉽게 접근할 수 있는 단말기이며, 키오스크(kiosk)라 불리는 디지털 단말기 및 인터랙티브 키오스크(interactive kiosk)를 포함할 수 있다.Here, the unmanned terminal 10 is a terminal that can be easily accessed by a user through unattended and automated, and may include a digital terminal called an kiosk and an interactive kiosk.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 렌더링부(211)의 경우, 모션 획득부(140)가 제공하는 아바타의 데이터를 수신받아, 인콰이어링 유닛(200)에 제공되는 아바타의 연속적인 움직임이 나타나게 된다.In the case of the rendering unit 211 of the smart mirror interactive information system according to the present invention, the avatar's data provided by the motion acquiring unit 140 is received, and continuous movement of the avatar provided to the inquiring unit 200 Will appear.

렌더링부(211)는 아바타 정보 수신부(210)에 제공되어 아바타의 움직임이 자연스럽도록 아바타의 연속적인 움직임을 제공하게 되며, 센터 유닛(100)에서 아바타 데이터를 연속적으로 제공받아 아바타의 연속적 움직임이 가능하도록 하는 것이다.The rendering unit 211 is provided to the avatar information receiving unit 210 to provide a continuous movement of the avatar so that the movement of the avatar is natural, and the avatar unit continuously receives avatar data from the center unit 100 to continuously move the avatar. It is possible.

렌더링부(211)는 모션 획득부(140)로부터의 아바타 정보 중 아바타의 연속적 움직임이 발견되지 않는 경우에도 아바타의 움직임이 가능하도록 하며, 예컨대, 관리자의 움직임이 포착되지 않아 아바타 정보에 아바타의 움직임이 제공되지 않을 경우, 렌더링부(211)는 랜덤한 아바타 움직임이 가능하도록 하며, 랜덤한 아바타의 움직임은 이미 제공된 모션 획득부(140)의 이전 움직임 데이터를 기준으로 랜덤하게 움직이도록 한다.The rendering unit 211 allows the avatar to be moved even when a continuous movement of the avatar is not found among the avatar information from the motion acquiring unit 140. For example, the movement of the avatar is not captured because the administrator's movement is not captured. When this is not provided, the rendering unit 211 enables random avatar movement, and the random avatar movement is randomly moved based on the previous motion data of the motion acquisition unit 140 that is already provided.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 아바타 정보 수신부(210)의 경우, 아바타 정보를 무인 단말기(10)에 디스플레이 하며 센터 유닛(100)의 배경에 대한 일부의 이미지를 디스플레이하되, 센터 유닛(100)은, 배경의 일부 이미지에 대한 디스플레이 여부를 콘트롤 하도록 하는 것이다.In the case of the avatar information receiving unit 210 of the smart mirror interactive information system according to the present invention, the avatar information is displayed on the unmanned terminal 10 and a partial image of the background of the center unit 100 is displayed. 100) is to control whether to display some images of the background.

무인 단말기(10)에 제공되는 센터 유닛(100)의 정보 중 아바타 정보 및 배경의 일부에 대한 정보를 제공할 수 있으며, 이는 센터 유닛(100)에서 배경의 정보를 포함하는지의 여부에 대해 콘트롤 하는 것이 바람직하다.Among the information of the center unit 100 provided to the unmanned terminal 10, it is possible to provide information on a part of the avatar information and the background, which controls whether the center unit 100 includes background information. It is preferred.

센터 유닛(100)의 배경의 일부 이미지는 볼륨 인식부(111)와 콘트라스트 인식부(112)를 통하여 인식할 수 있으며, 배경 이미지 중 관리자가 원하는 이미지를 선택적으로 또는 임의로 배치할 수 있도록 하는 것이 바람직하다. Some images of the background of the center unit 100 can be recognized through the volume recognition unit 111 and the contrast recognition unit 112, and it is preferable to allow the administrator to selectively or arbitrarily place desired images among the background images. Do.

본 발명에 따른 스마트 미러 양방향 인터랙티브 인포메이션 시스템의 센터 유닛(100)은, 아바타 생성부(130)가 생성한 아바타 데이터의 안면 정보 중 적어도 하나 이상을 관리자에 의해 임의 콘트롤 되도록 하는 것이다.The center unit 100 of the smart mirror bidirectional interactive information system according to the present invention is to allow at least one or more of facial information of avatar data generated by the avatar generator 130 to be arbitrarily controlled by an administrator.

도8에 도시된 바와 같이, 아바타 생성부(130)가 생성한 아바타 정보를 관리자는 확인할 수 있으며, 인콰이어링 유닛(200)으로 송신하기 전 관리자의 임의에 의하여 아바타 데이터의 일부를 콘트롤 하거나 변화할 수 있도록 하는 것이 바람직하다.As shown in FIG. 8, the administrator can check the avatar information generated by the avatar generator 130, and control or change a part of the avatar data by the administrator before sending it to the inquiring unit 200. It is desirable to be able to.

예컨대, 아바타 생성부(130)가 생성한 아바타 정보 중 관리자의 기호에 맞게 안면의 각 부위를 조정하여 새로운 아바타를 생성할 수 있으며, 각 부위를 조정하여 나오는 새로운 아바타는 관리자가 확인이 가능하도록 아바타 데이터를 저장할 수 있는 것이 바람직하다.For example, among the avatar information generated by the avatar generator 130, a new avatar may be generated by adjusting each part of the face according to the manager's preference. It is desirable to be able to store data.

예컨대, 도8에 도시된 바와 같이, 아바타 생성부(130)가 생성한 아바타의 안면 이미지 중 눈, 눈썹, 코, 귀, 입, 얼굴 윤곽 등 어느 한 부분을 관리자가 임의로 조정할 수 있으며, 조정한 아바타 이미지는 아바타 저장부(미도시)에 저장될 수 있다.For example, as shown in FIG. 8, an administrator can arbitrarily adjust any part of the facial image of the avatar generated by the avatar generator 130, such as the eye, eyebrows, nose, ears, mouth, and face. The avatar image may be stored in an avatar storage unit (not shown).

인콰이어링 유닛(200)으로 송신되기 전 아바타 저장부에 저장된 아바타 정보를 관리자가 불러들여 인콰이어링 유닛(200)으로의 송출에 대한 여부를 판단할 수 있으며, 관리자가 인콰이어링 유닛(200)으로 아바타 정보를 송출하게 되면, 볼륨 인식부(111)와 콘트라스트 인식부(112)는 연속적인 촬영을 통해 관리자의 안면 움직임을 촬영하고 이를 모션 획득부(140)에 제공하여 아바타의 움직임이 연속적으로 이루어지도록 하는 것이다. Before being sent to the inquiring unit 200, the manager may call the avatar information stored in the avatar storage unit to determine whether or not it is transmitted to the inquiring unit 200, and the manager may determine whether the inquiring unit 200 is ), when the avatar information is transmitted, the volume recognizing unit 111 and the contrast recognizing unit 112 photograph the facial movement of the manager through continuous shooting and provide it to the motion acquiring unit 140 to continuously move the avatar. It is to be made.

센터 유닛(100)의 경우, 무인 단말기(10) 상에 사용자가 요청하는 정보를 제공하는 정보제공부(150)를 포함하는 구성이다. In the case of the center unit 100, the configuration includes an information providing unit 150 that provides information requested by the user on the unmanned terminal 10.

정보제공부(150)의 경우, 도9내지 도12에 도시된 바와 같이, 센터 유닛(100)에서 무인 단말기(10)에 디스플레이 되는데, 무인 단말기(10)를 통해 사용자가 원하는 정보를 제공하는 구성이다.In the case of the information providing unit 150, as shown in FIGS. 9 to 12, the center unit 100 is displayed on the unmanned terminal 10, and the configuration for providing information desired by the user through the unmanned terminal 10 to be.

정보제공부(150)는 시간, 날씨, 온도, 미세먼지 정보 등의 기본적인 정보를 포함할 수 있으며, 인콰이어링 유닛(200)에서 사용자가 요청하는 자료 예컨대, 이벤트 정보, 매장정보 등을 센터 유닛(100)에서 제공하는 것이 바람직하다.The information providing unit 150 may include basic information such as time, weather, temperature, and fine dust information, and a center unit may include data requested by the user from the inquiring unit 200, such as event information and store information. It is preferred to provide at (100).

정보제공부(150)는 도11내지 도12에 도시된 바와 같이, 지오메트리부(151)를 포함할 수 있다.The information providing unit 150 may include a geometry unit 151 as shown in FIGS. 11 to 12.

지오메트리부(151)의 경우, 사용자가 요청하는 내비게이션, 지도, 스토어 포지션 등을 제공할 수 있으며, 사용자가 요청하는 자료 중 공간 및 지도의 기능을 제공하는 것이 바람직하다.In the case of the geometry unit 151, it is possible to provide a navigation, a map, a store position, etc. requested by the user, and it is preferable to provide a space and a map function among materials requested by the user.

인콰이어링 유닛(200)은, 사용자가 무인 단말기(10)를 통해 임의의 정보를 입력하는 정보입력부(230)를 포함하는 구성이다.The inquiring unit 200 is configured to include an information input unit 230 through which the user inputs arbitrary information through the unmanned terminal 10.

정보입력부(230)의 경우, 도 7에 도시된 바와 같이 인콰이어링 유닛(200)에 제공되며 무인 단말기(10)에서 미리 제공되는 정보 중 사용자가 원하는 정보를 입력하여 센터 유닛(100)에 제공하는 것이다.In the case of the information input unit 230, as shown in FIG. 7, the information is provided to the inquiring unit 200 and provided to the center unit 100 by inputting information desired by the user among information provided in advance in the unmanned terminal 10 Is to do.

정보입력부(230)의 경우, 사용자가 무인 단말기(10)에 제공되는 정보를 터치하거나 스크롤 할 수 있으며, 필요에 따라 확대하는 기능을 추가적으로 제공하는 것으로 사용자가 정해진 범위 내에서 화면을 조정하는 것이 바람직하다.In the case of the information input unit 230, the user can touch or scroll the information provided to the unmanned terminal 10, and it is desirable for the user to adjust the screen within a predetermined range by additionally providing a function to enlarge as needed. Do.

본 발명의 권리 범위는 특허청구범위에 기재된 사항에 의해 결정되며, 특허 청구범위에 사용된 괄호는 선택적 한정을 위해 기재된 것이 아니라, 명확한 구성요소를 위해 사용되었으며, 괄호 내의 기재도 필수적 구성요소로 해석되어야 한다.The scope of rights of the present invention is determined by the matters described in the claims, and the parentheses used in the claims are not described for selective limitation, but are used for clear components, and the descriptions in parentheses are also interpreted as essential components. Should be.

10: 무인 단말기
100: 센터 유닛
110: 페이스 인식부
111: 볼륨 인식부
112: 콘트라스트 인식부
120: 페이스 세그먼트부
130: 아바타 생성부
140: 모션 획득부
141: 시메트리부
150: 정보제공부
151: 지오메트리부
200: 인콰이어링 유닛
210: 아바타 정보 수신부
211: 렌더링부
220: 리스폰싱부
230: 정보입력부10: unmanned terminal
100: center unit
110: face recognition unit
111: volume recognition unit
112: contrast recognition unit
120: face segment
130: avatar creation unit
140: motion acquisition unit
141: Symmetry Department
150: information providing department
151: geometry
200: inquiring unit
210: avatar information receiving unit
211: rendering unit
220: Responsive
230: information input unit

Claims (10)

무인 단말기와 네트워킹하여 관리자의 안면을 인식하고 상기 관리자의 안면에 매칭되는 아바타 데이터를 생성하여 상기 무인 단말기에 상기 아바타 데이터를 송신하는 센터 유닛(center unit); 및
상기 무인 단말기에 배치되어 상기 센터 유닛의 상기 아바타 데이터를 디스플레이 하며, 상기 무인 단말기의 사용자로부터 획득한 정보를 상기 센터 유닛으로 송신하는 인콰이어링 유닛(inquiring unit)을 포함하되,
상기 센터 유닛은,
상기 관리자의 안면을 인식하여 안면 정보를 획득하는 페이스 인식부; 및
상기 페이스 인식부가 획득한 상기 안면 정보의 각 부위에 해당하는 눈, 눈썹, 코, 귀, 입, 얼굴 윤곽의 패턴 정보에 기초하여, 상기 관리자의 안면을 개별 부위로 분할하는 페이스 세그먼트(segment)부를 포함하며,
상기 페이스 인식부는,
상기 관리자의 안면에 전자기파를 송출하고, 상기 관리자의 안면으로부터 반사된 상기 전자기파를 수신하여 상기 관리자의 안면의 3차원 볼륨 정보를 인식하는 볼륨 인식부; 및
상기 볼륨 인식부로부터 상기 관리자의 안면의 3차원 볼륨 정보를 수신하고, 상기 관리자의 안면 부위별로 컬러와 명도의 광을 조사하는 콘트라스트 인식부를 포함하고,
상기 센터 유닛은,
상기 볼륨 인식부와 상기 콘트라스트 인식부로부터 제공된 상기 안면 정보에 복수 개의 근육점을 추가하고 상기 복수 개의 근육점의 변화를 추적하여 상기 관리자의 안면 움직임에 따라 상기 아바타의 움직임이 나타나도록 하는 모션 획득부를 더 포함하며,
상기 모션 획득부는,
상기 관리자의 안면의 정보를 좌우로 이분 분할하여 이분 분할 데이터의 좌우 근육점의 임계점을 설정하는 시메트리(symmetry)부를 포함하되,
상기 시메트리부는,
ⅰ)상기 좌우 근육점이 임계점을 넘어서지 않는 경우,
이분 분할 데이터 중 근육점의 변화가 크게 일어난 부분으로 이분 분할 데이터를 통일시키며,
ⅱ) 상기 좌우 근육점 중 어느 한 영역에서 임계점을 넘어서는 경우,
이분 분할 데이터의 눈, 눈썹, 코, 귀, 입, 얼굴 윤곽의 상기 좌우 근육점 중 적어도 하나 이상이 임계점을 넘어서면, 비대칭으로 인식하여 이분 분할 데이터를 변형하지 않는 것을 특징으로 하는, 스마트 미러 양방향 인터랙티브 인포메이션 시스템.
A center unit that recognizes the face of an administrator by networking with an unmanned terminal and generates avatar data matching the face of the administrator to transmit the avatar data to the unmanned terminal; And
It is arranged in the unmanned terminal to display the avatar data of the center unit, and includes an inquiring unit (inquiring unit) for transmitting the information obtained from the user of the unmanned terminal to the center unit,
The center unit,
A face recognition unit that recognizes the manager's face and obtains facial information; And
Based on the pattern information of the eye, eyebrow, nose, ear, mouth, and face contours corresponding to each part of the face information obtained by the face recognition unit, a face segment unit for dividing the face of the manager into individual parts Includes,
The face recognition unit,
A volume recognition unit that transmits electromagnetic waves to the face of the manager and receives the electromagnetic waves reflected from the face of the manager to recognize 3D volume information of the face of the manager; And
And a contrast recognition unit receiving the 3D volume information of the manager's face from the volume recognition unit, and irradiating light of color and brightness for each face portion of the manager,
The center unit,
A motion acquiring unit that adds a plurality of muscle points to the facial information provided from the volume recognition unit and the contrast recognition unit and tracks changes in the plurality of muscle points so that the movement of the avatar appears according to the facial movement of the manager More included,
The motion acquisition unit,
It includes a symmetry (symmetry) unit for dividing the information of the face of the manager into two sides to set the critical point of the left and right muscle points of the dividing data,
The symmetry section,
Iv) If the left and right muscle points do not exceed the critical point,
This is the part where the change of muscle point among the dividing data is large, and the dividing data is unified.
Ii) When the threshold point is exceeded in one of the left and right muscle points,
If at least one of the left and right muscle points of the eye, eyebrow, nose, ear, mouth and face contour of the bisection segment data exceeds a threshold point, it is recognized as asymmetric and does not deform the segment segment data. Interactive information system.
삭제delete 삭제delete 제1항에 있어서, 상기 센터 유닛은,
상기 페이스 세그먼트부의 복수 개의 상기 개별 부위 정보를 상호 조합하여 안면 정보 복원 작업을 통하여 상기 관리자의 안면으로부터 맞춤화되는 아바타를 생성하는 아바타 생성부를 더 포함하는 것을 특징으로 하는, 스마트 미러 양방향 인터랙티브 인포메이션 시스템.
The method of claim 1, wherein the center unit,
A smart mirror interactive interactive information system, further comprising an avatar generating unit that combines a plurality of pieces of the individual parts of the face segment to generate an avatar customized from the administrator's face through a facial information restoration operation.
삭제delete 삭제delete 제1항에 있어서, 상기 인콰이어링 유닛은,
상기 센터 유닛으로부터 상기 아바타 데이터를 수신하는 아바타 정보 수신부; 및
상기 무인 단말기에서 제공되는 리스폰싱 데이터를 획득하여 상기 센터 유닛으로 상기 리스폰싱 데이터를 송출하는 리스폰싱부를 포함하는 것을 특징으로 하는, 스마트 미러 양방향 인터랙티브 인포메이션 시스템.
The method of claim 1, wherein the inquiring unit,
An avatar information receiving unit receiving the avatar data from the center unit; And
And a responsive unit for acquiring the responsive data provided by the unmanned terminal and transmitting the responsive data to the center unit, a smart mirror interactive interactive information system.
제7항에 있어서, 상기 아바타 정보 수신부는,
상기 모션 획득부가 제공하는 상기 아바타의 데이터를 수신받아, 상기 인콰이어링 유닛에 제공되는 상기 아바타의 연속적인 움직임이 나타나도록 하는 렌더링(rendering)부를 포함하는 것을 특징으로 하는, 스마트 미러 양방향 인터랙티브 인포메이션 시스템.
According to claim 7, The avatar information receiving unit,
A smart mirror interactive interactive information system comprising a rendering unit that receives the data of the avatar provided by the motion acquisition unit and causes continuous movement of the avatar provided to the inquiring unit. .
삭제delete 제8항에 있어서, 상기 센터 유닛은,
상기 무인 단말기 상에 상기 사용자가 요청하는 정보를 제공하는 정보제공부를 포함하되,
상기 인콰이어링 유닛은,
상기 사용자가 상기 무인 단말기를 통해 임의의 정보를 입력하는 정보입력부를 포함하는 것을 특징으로 하는, 스마트 미러 양방향 인터랙티브 인포메이션 시스템.


The method of claim 8, wherein the center unit,
It includes an information providing unit for providing the information requested by the user on the unmanned terminal,
The inquiring unit,
And a user information input unit for inputting arbitrary information through the unmanned terminal.


KR1020200000755A 2020-01-03 2020-01-03 System for interactive information through smart mirror KR102136311B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200000755A KR102136311B1 (en) 2020-01-03 2020-01-03 System for interactive information through smart mirror

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200000755A KR102136311B1 (en) 2020-01-03 2020-01-03 System for interactive information through smart mirror

Publications (1)

Publication Number Publication Date
KR102136311B1 true KR102136311B1 (en) 2020-07-21

Family

ID=71832830

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200000755A KR102136311B1 (en) 2020-01-03 2020-01-03 System for interactive information through smart mirror

Country Status (1)

Country Link
KR (1) KR102136311B1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100700872B1 (en) * 2006-02-07 2007-03-29 엘지전자 주식회사 Method for displaying 3 dimension private character image of mobile terminal and the mobile terminal thereof
KR20100025862A (en) * 2008-08-28 2010-03-10 동명대학교산학협력단 Facial physiognomic judgment of fortune and face avatar generation system using a face recognition
KR101039131B1 (en) 2008-04-08 2011-06-03 석호상 multi-functional kiosk system
KR101566543B1 (en) * 2014-09-03 2015-11-05 재단법인 실감교류인체감응솔루션연구단 Method and system for mutual interaction using space information argumentation
KR101987922B1 (en) * 2019-01-08 2019-06-11 오은실 Automatic system for capturing image by controlling light cell actively
KR20190101834A (en) * 2018-02-23 2019-09-02 삼성전자주식회사 Electronic device for displaying an avatar performed a motion according to a movement of a feature point of a face and method of operating the same
KR102007436B1 (en) 2018-02-14 2019-10-23 주식회사 뉴턴테크놀러지 Interactive Kiosk System

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100700872B1 (en) * 2006-02-07 2007-03-29 엘지전자 주식회사 Method for displaying 3 dimension private character image of mobile terminal and the mobile terminal thereof
KR101039131B1 (en) 2008-04-08 2011-06-03 석호상 multi-functional kiosk system
KR20100025862A (en) * 2008-08-28 2010-03-10 동명대학교산학협력단 Facial physiognomic judgment of fortune and face avatar generation system using a face recognition
KR101566543B1 (en) * 2014-09-03 2015-11-05 재단법인 실감교류인체감응솔루션연구단 Method and system for mutual interaction using space information argumentation
KR102007436B1 (en) 2018-02-14 2019-10-23 주식회사 뉴턴테크놀러지 Interactive Kiosk System
KR20190101834A (en) * 2018-02-23 2019-09-02 삼성전자주식회사 Electronic device for displaying an avatar performed a motion according to a movement of a feature point of a face and method of operating the same
KR101987922B1 (en) * 2019-01-08 2019-06-11 오은실 Automatic system for capturing image by controlling light cell actively

Similar Documents

Publication Publication Date Title
US11856328B2 (en) Virtual 3D video conference environment generation
US12041389B2 (en) 3D video conferencing
US11805157B2 (en) Sharing content during a virtual 3D video conference
US20190095775A1 (en) Artificial intelligence (ai) character system capable of natural verbal and visual interactions with a human
WO2020203999A1 (en) Communication assistance system, communication assistance method, and image control program
US20160134840A1 (en) Avatar-Mediated Telepresence Systems with Enhanced Filtering
US20180268592A1 (en) Method for sharing emotions through the creation of three-dimensional avatars and their interaction
CN106682632B (en) Method and device for processing face image
KR101866407B1 (en) Avatar creation system and creation method using the same
US11775054B2 (en) Virtual models for communications between autonomous vehicles and external observers
US11790535B2 (en) Foreground and background segmentation related to a virtual three-dimensional (3D) video conference
CN104637035A (en) Method, device and system for generating cartoon face picture
US20230222721A1 (en) Avatar generation in a video communications platform
US10565432B2 (en) Establishing personal identity based on multiple sub-optimal images
US11430158B2 (en) Intelligent real-time multiple-user augmented reality content management and data analytics system
US11870939B2 (en) Audio quality improvement related to a participant of a virtual three dimensional (3D) video conference
US20220270302A1 (en) Content distribution system, content distribution method, and content distribution program
KR102136311B1 (en) System for interactive information through smart mirror
CN112806020A (en) Modifying capture of video data by an image capture device based on identifying an object of interest in the captured video data to the image capture device
US11704885B2 (en) Augmented reality (AR) visual display to save
KR102561198B1 (en) Platform system usiing contents, method for manufacturing image output based on augmented reality
Gaur et al. Introduction to deepfake technologies
WO2002097732A1 (en) Method for producing avatar using image data and agent system with the avatar
US20230140146A1 (en) Vectorized Caricature Avatar Generator
US20150332345A1 (en) Advertisement selection and model augmentation based upon physical characteristics of a viewer

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant