KR101602828B1 - The interactive digital signage - Google Patents
The interactive digital signage Download PDFInfo
- Publication number
- KR101602828B1 KR101602828B1 KR1020140115479A KR20140115479A KR101602828B1 KR 101602828 B1 KR101602828 B1 KR 101602828B1 KR 1020140115479 A KR1020140115479 A KR 1020140115479A KR 20140115479 A KR20140115479 A KR 20140115479A KR 101602828 B1 KR101602828 B1 KR 101602828B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- content
- unit
- signage
- display
- Prior art date
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 48
- 238000013459 approach Methods 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 230000002996 emotional effect Effects 0.000 claims abstract description 13
- 235000019640 taste Nutrition 0.000 claims abstract description 8
- 230000008921 facial expression Effects 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 11
- 230000001815 facial effect Effects 0.000 claims description 10
- 238000000513 principal component analysis Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 5
- 238000001228 spectrum Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims 1
- 230000035945 sensitivity Effects 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 27
- 239000010408 film Substances 0.000 description 16
- 230000006870 function Effects 0.000 description 12
- 238000000034 method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000009826 distribution Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 239000011521 glass Substances 0.000 description 5
- 230000005525 hole transport Effects 0.000 description 4
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 238000007789 sealing Methods 0.000 description 3
- 239000012190 activator Substances 0.000 description 2
- 239000013543 active substance Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000005283 ground state Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000010897 surface acoustic wave method Methods 0.000 description 2
- 238000012731 temporal analysis Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- POILWHVDKZOXJZ-ARJAWSKDSA-M (z)-4-oxopent-2-en-2-olate Chemical compound C\C([O-])=C\C(C)=O POILWHVDKZOXJZ-ARJAWSKDSA-M 0.000 description 1
- AWXGSYPUMWKTBR-UHFFFAOYSA-N 4-carbazol-9-yl-n,n-bis(4-carbazol-9-ylphenyl)aniline Chemical compound C12=CC=CC=C2C2=CC=CC=C2N1C1=CC=C(N(C=2C=CC(=CC=2)N2C3=CC=CC=C3C3=CC=CC=C32)C=2C=CC(=CC=2)N2C3=CC=CC=C3C3=CC=CC=C32)C=C1 AWXGSYPUMWKTBR-UHFFFAOYSA-N 0.000 description 1
- MZYDBGLUVPLRKR-UHFFFAOYSA-N 9-(3-carbazol-9-ylphenyl)carbazole Chemical compound C12=CC=CC=C2C2=CC=CC=C2N1C1=CC(N2C3=CC=CC=C3C3=CC=CC=C32)=CC=C1 MZYDBGLUVPLRKR-UHFFFAOYSA-N 0.000 description 1
- KPCONBLRWSDNBI-UHFFFAOYSA-N C1(=CC=CC=C1)N1CC=CC2=CC=CC=C12.C1(=CC=CC=C1)N1CC=CC2=CC=CC=C12.[Ir+3] Chemical compound C1(=CC=CC=C1)N1CC=CC2=CC=CC=C12.C1(=CC=CC=C1)N1CC=CC2=CC=CC=C12.[Ir+3] KPCONBLRWSDNBI-UHFFFAOYSA-N 0.000 description 1
- 101000837344 Homo sapiens T-cell leukemia translocation-altered gene protein Proteins 0.000 description 1
- -1 N-carbazolyl Chemical group 0.000 description 1
- 102100028692 T-cell leukemia translocation-altered gene protein Human genes 0.000 description 1
- 238000000862 absorption spectrum Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 239000004305 biphenyl Substances 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000002019 doping agent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000013604 expression vector Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- MILUBEOXRNEUHS-UHFFFAOYSA-N iridium(3+) Chemical compound [Ir+3] MILUBEOXRNEUHS-UHFFFAOYSA-N 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000012044 organic layer Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 229920000728 polyester Polymers 0.000 description 1
- 229920006264 polyurethane film Polymers 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0269—Targeted advertisements based on user profile or attribute
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F19/00—Advertising or display means not otherwise provided for
- G09F19/22—Advertising or display means on roads, walls or similar surfaces, e.g. illuminated
- G09F19/228—Ground signs, i.e. display signs fixed on the ground
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
Landscapes
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Marketing (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
본 발명에서는 종래의 디지털 사이니지 장치가 단순히 선택된 콘텐츠를 재생하거나, 미리 정해진 스케줄에 따라서 콘텐츠 제공 서버로부터 수신되는 콘텐츠를 출력하는 등 수동적 역할만 하는 문제점과, 항상 켜져있는 상태에서 특정 컨텐츠만을 반복해서 표출시키므로, 전력소비가 많이 발생되고, 디지털 사이니지 장치를 사용하는 사용자의 기호품, 구매도, 취미에 관한 기본정보가 전혀 없어, 디지털 사이니지 장치를 통한 인터랙티브방식의 구매유도를 제시하지 못해 점차 디지털 사이니지 장치의 수요가 줄어드는 문제점을 개선하고자, 사이니지본체, 영상카메라, 음성입력부, 인체감지센서부, 초음파센서부, 인터랙티브 사이니지제어부, 사이니지디스플레이부로 구성됨으로서, 사용자의 기호품, 구매도, 취미에 관한 기본정보를 유추하고, 유추한 사용자 기본정보에 따라 컨텐츠목록을 재구성하여 사이니지디스플레이부에 1:1 맞춤형컨텐츠를 표출시키도록 제어할 수 있고, 음성입력부로부터 입력된 음성데이터를 기준명령호출음성데이터와 비교분석한 후, 분석한 기준명령호출음성데이터와 매칭된 1:1 호출형컨텐츠를 불러와서 사이니지디스플레이부에 표출시키도록 제어할 수 있어, 고객의 연령별, 성별에 맞는 맞춤형 광고를 제공하여 광고 효율을 극대화시킬 수 있고, 인식 정보를 기반으로 고객의 구매확률이 최상인 제품의 광고를 실시간으로 제공할 수 있어, 제품구매율을 기존에 비해 70% 향상시킬 수 있으며, 사이니지본체 주변에 인체가 감지되지 않으면 광고를 보는 사람이 없는 것으로 판단을 하고, 자동으로 사이니지본체를 휴면(sleep) 모드로 전환시켜서 불필요한 전원의 소모를 차단하여 전력효율을 극대화할 수 있으며, 무엇보다 사용자의 기쁨, 슬픔, 화냄, 혐오, 두려움, 놀람에 대한 감성에 따라 그래픽, 텍스트메세지, 사운드 중 어느 하나 또는 둘 이상을 선택해서 믹싱시킨 감성컨텐츠를 사이니지디스플레이부상에 표출시킬 수 있어, 디지털사이니지장치의 접근을 기계적인 접근이 아닌 감성적인 접근으로 유도시킬 수 있는 얼굴인식형 인터랙티브 디지털 사이니지장치를 제공하는데 그 목적이 있다.In the present invention, the conventional digital signage apparatus only plays a passive role, such as simply reproducing a selected content or outputting a content received from a content providing server according to a predetermined schedule, Therefore, there is a lot of power consumption, and there is no basic information about the taste, purchase, and hobby of the user who uses the digital signage device. Therefore, the digital signage device can not provide an interactive purchase inducement through the digital signage device, An image sensor, a sound input unit, a human body detection sensor unit, an ultrasonic sensor unit, an interactive signage control unit, and a signage display unit in order to solve the problem that the demand of the signage apparatus is reduced, Inferring the basic information about hobby, and analogy The contents list can be reconfigured according to the basic user information to display 1: 1 customized content on the display unit, and the voice data input from the voice input unit can be compared with the reference command call voice data and analyzed The 1: 1 pager content matched with the reference command call voice data can be retrieved and displayed on the signage display unit. Thus, it is possible to maximize the advertisement efficiency by providing the customized advertisement according to the age and sex of the customer, Based on the recognition information, it is possible to provide the advertisement of the product with the highest probability of purchase to the customer in real time, thereby improving the product purchase rate by 70%. If the human body is not detected around the body of the signage, It is judged that there is not, and the sleeping mode is automatically switched to the sleeping mode so that unnecessary power consumption is prevented The power efficiency can be maximized and the emotional contents mixed with one or more of graphic, text message and sound can be selected according to sensitivity of user's joy, sadness, anger, dislike, fear, It is an object of the present invention to provide a face recognition type interactive digital signage device capable of expressing on the display of a nigi display and capable of leading a digital signage device approach to an emotional approach rather than a mechanical approach.
Description
본 발명에서는 사용자의 기호품, 구매도, 취미에 관한 기본정보를 유추하고, 유추한 사용자 기본정보에 따라 컨텐츠목록을 재구성하여 사이니지디스플레이부에 1:1 맞춤형컨텐츠를 표출시킬 수 있고, 음성입력부로부터 입력된 음성데이터를 기준명령호출음성데이터와 비교분석한 후, 분석한 기준명령호출음성데이터와 매칭된 1:1 호출형컨텐츠를 불러와서 사이니지디스플레이부에 표출시킬 수 있는 얼굴인식형 인터랙티브 디지털 사이니지장치에 관한 것이다.
In the present invention, it is possible to infer primary information about the tastes, purchases, and hobbies of the user, reconstruct the contents list according to the inferred user basic information, display 1: 1 customized contents on the display unit, A face recognizing type interactive digital unit which can compare the input voice data with the reference command calling voice data and then call up the 1: 1 paging content matched with the analyzed reference command calling voice data and display it on the signage display unit The present invention relates to a paper finishing apparatus.
네트워크를 사용활용한 디지털 사이니지의 사전적 정의는 공공장소와 상업공간에서 다양한 정보와 광고 등의 메시지를 인터랙티브한 방식으로 제공하는 장치로서, 기존 디지털 정보 디스플레이에 다양한 IT기술이 접목된 정보 매체를 일컫는다.The dictionary definition of digital signage using the network is a device that provides various information and advertisement messages in an interactive manner in public places and commercial spaces. .
디지털사이니지는 기존 옥외광고를 넘어서 네트워크를 통한 원격제어가 가능한 디지털 디스플레이를 공공장소나 상업공간에 설치하여 정보, 엔터테인먼트 프로모션, 광고를 하고 있다.Digital signage is promoting information, entertainment, and advertising by installing a digital display that can be remotely controlled over a network beyond public outdoor advertising, in a public place or commercial space.
특히 디지털 사이니지는 구매 접점에서 노출된다는 점이나 크기 소재등의 제한이 없다는 점에서 옥외광고의 장점을 극대화시킬 수 있으며, 또한 디지털 디스플레이를 활용하여 다양한 콘텐츠와 광고를 표출할 수 있다는 점에서 다양하게 활용할 수가 있다.In particular, digital signage can maximize the advantages of outdoor advertising in that it is exposed at the point of purchase, and there is no restriction on the size of materials, and in addition, it can display various contents and advertisements using digital display. I can use it.
과거에는 한정된 공간에서만 접할 수 있었지만, 최근에는 그 공간이 점점 커지게 되면서 디지털 사이니지가 더 주목을 받고 있다.In the past, only limited space was available, but recently, as the space becomes larger, digital signage is getting more and more attention.
또한, 과거 커버리지 형태의 기능을 수행하는 것으로, 인식되었던 옥외 광고가 인터랙티브 기능을 만남으로서 과거 버스 쉘터, 매장 디스플레이 등 광고가 상In addition, by performing functions in the form of past coverage, the recognized outdoor advertisement meets the interactive function, so that the past bus shelter,
품 구매로 직접적으로 연결되는 고리로 활용할 수 있는 많은 변화를 맞이하고 있다.There are many changes that can be used as a direct link to purchasing goods.
좀도 구체적으로, 디지털 사이니지는 옥외의 일정한 장소 혹은 스트리트 퍼니처(street furniture) 등의 장치에 LCD(Liquid Crystal Display), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diode) 등의 디스플레이 장치를 설치하여 다양한 콘텐츠와 상업 광고 등을 표출하는 매체로서 현재 아파트 엘리베이터, 지하철 역내, 지하철 내, 버스 내, 대학교, 은행, 편의점, 할인점, 쇼핑몰 등 대중이 움직이는 모든 동선 상에 설치되어 있다.More specifically, the digital signage has a display device such as an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), and an OLED (Organic Light Emitting Diode) to a certain place in an outdoor place or a street furniture It is installed on all moving lines such as apartment elevators, subway stations, subway, buses, universities, banks, convenience stores, discount stores, shopping malls and the like, presenting various contents and commercial advertisements.
이러한 디지털 사이니지의 초기 형태는 단순한 대형 전광판, 지하철이나 버스 내의 LCD 동영상, 역사 내 PDP 광고 및 DID(Digital Information Display) 등이 주를 이루었다. The initial form of this digital signage was mainly composed of simple large display panels, LCD videos in subways and buses, PDP advertising in the history, and Digital Information Display (DID).
최근의 디지털 사이니지는 단순한 정보의 제공 및 광고의 노출 기능을 넘어서, 터치패드 기술과 초고속 인터펫 기술 등에 힘입어 일반 대중들의 참여를 유도할 수 있는 양방향 커뮤니케이션(interactive communication)을 가능케 하는 방향으로 진화하였다.In recent years, digital signage has evolved into a way to enable interactive communication that can lead the general public to participate, not only through the provision of information and advertisement but also through the touchpad technology and the high-speed interface technology .
그러나, 종래의 디지털 사이니지 장치는 단순히 선택된 콘텐츠를 재생하거나, 미리 정해진 스케줄에 따라서 콘텐츠 제공 서버로부터 수신되는 콘텐츠를 출력하는 등 수동적 역할만 하는 문제점이 있었다.However, the conventional digital signage apparatus has a problem in that it merely plays a passive role, such as simply reproducing a selected content or outputting a content received from a content providing server according to a predetermined schedule.
또한, 항상 켜져있는 상태에서 특정 컨텐츠만을 반복해서 표출시키므로, 전력소비가 많이 발생되고, 디지털 사이니지 장치를 사용하는 사용자의 기호품, 구매도, 취미에 관한 기본정보가 전혀 없어, 디지털 사이니지 장치를 통한 인터랙티브방식의 구매유도를 제시하지 못해 점차 디지털 사이니지 장치의 수요가 줄어드는 문제점이 있었다.
In addition, since only a specific content is repeatedly displayed in a state in which it is always on, a large amount of power consumption occurs, and there is no basic information about the taste, purchase, and hobby of a user using the digital signage apparatus. , The demand for digital signage devices is gradually reduced.
상기의 문제점을 해결하기 위해 본 발명에서는 사용자의 기호품, 구매도, 취미에 관한 기본정보를 유추하고, 유추한 사용자 기본정보에 따라 컨텐츠목록을 재구성하여 사이니지디스플레이부에 1:1 맞춤형컨텐츠를 표출시킬 수 있고, 음성입력부로부터 입력된 음성데이터를 기준명령호출음성데이터와 비교분석한 후, 분석한 기준명령호출음성데이터와 매칭된 1:1 호출형컨텐츠를 불러와서 사이니지디스플레이부에 표출시킬 수 있으며, 사이니지본체 주변에 인체가 감지되지 않으면 광고를 보는 사람이 없는 것으로 판단을 하고, 자동으로 사이니지본체를 휴면(sleep) 모드로 전환시켜서 불필요한 전원의 소모를 차단시킬 수 있고, 무엇보다 사용자의 기쁨, 슬픔, 화냄, 혐오, 두려움, 놀람에 대한 감성에 따라 그래픽, 텍스트메세지, 사운드 중 어느 하나 또는 둘 이상을 선택해서 믹싱시킨 감성컨텐츠를 사이니지디스플레이부상에 표출시킬 수 있는 얼굴인식형 인터랙티브 디지털 사이니지장치를 제공하는데 그 목적이 있다.
In order to solve the above problems, according to the present invention, basic information about the tastes, purchases, and hobbies of a user is inferred, a content list is reconstructed according to the inferred user basic information, and 1: 1: 1 call type content matched with the analyzed reference command call voice data can be retrieved and displayed on the signage display unit after comparing and analyzing the voice data input from the voice input unit with the reference command call voice data If the human body is not detected in the vicinity of the body of the server, it is determined that there is no one who sees the advertisement and the unnecessary power consumption can be blocked by automatically switching the body of the server to the sleep mode. Depending on the emotion of joy, sadness, anger, dislike, fear, or surprise, one of graphic, text message, sound The present invention provides a face recognition type interactive digital signage apparatus capable of expressing emotional contents mixed by selecting two or more images on a display display.
상기의 목적을 달성하기 위해 본 발명에 따른 얼굴인식형 인터랙티브 디지털 사이니지장치는According to an aspect of the present invention, there is provided a face recognition type interactive digital signage apparatus comprising:
사각판넬형상으로 이루어져 각 기기를 외압으로부터 보호하고 지지하는 사이니지본체(100)와,A signage
사이니지본체의 상단 중앙 일측과 하단 중앙 일측에 위치되어, 사용자의 얼굴을 촬영하는 영상카메라(200)와,An
사이니지본체의 양측면 일측과 하단 일측에 위치되어, 사용자의 음성을 입력받아 저장하는 음성입력부(300)와,An
사이니지본체의 상단 일측 및 하단 일측에 위치되어 사용자의 접근을 감지하는 인체감지센서부(400)와,A human body
사이니지본체의 상단 좌우 일측과 하단 좌우 일측에 위치되어 사용자의 접근거리를 초음파 파장을 통해 최대거리에서 최소거리로 순차적으로 감지하는 초음파센서부(500)와,An
상기 인체감지센서부를 통해 사용자의 접근감지신호가 입력되고, 초음파센서부를 통해 사용자의 접근거리감지신호가 입력되어, 기준설정치 범위내에 들어오면, 영상카메라를 구동시켜 사용자의 얼굴을 촬영시키도록 제어시키고, 영상카메라를 통해 촬영한 사용자의 얼굴데이터를 입력받아, 미리설정된 기준얼굴데이터와 비교 분석한 후, 사용자의 성별, 연령별을 추정하여 사용자의 기호품, 구매도, 취미에 관한 기본정보를 유추하고, 유추한 사용자 기본정보에 따라 컨텐츠목록을 재구성하여 사이니지디스플레이부에 1:1 맞춤형컨텐츠를 표출시키도록 제어하고, 음성입력부로부터 입력된 음성데이터를 기준명령호출음성데이터와 비교분석한 후, 분석한 기준명령호출음성데이터와 매칭된 1:1 호출형컨텐츠를 불러와서 사이니지디스플레이부에 표출시키도록 제어하는 인터랙티브 사이니지제어부(600)와,When the user's approach detection signal is inputted through the human body detection sensor unit and the user's approach distance detection signal is inputted through the ultrasonic sensor unit and the user's face is within the reference set value range, , The face data of the user photographed through the video camera is input and compared with the reference face data set in advance and then the basic information about the enjoyment, taste, and hobby of the user is estimated by estimating the sex and age of the user, The content list is reconstructed according to the inferred user basic information to control to display the 1: 1 customized content on the display unit, and the voice data input from the voice input unit is compared with the reference command call voice data and analyzed 1: 1 callable content matched with the reference command call voice data is fetched and displayed on the signage display unit And
인터랙티브 사이니지제어부의 제어신호에 따라 사용자의 성별,연령별에 맞는 1:1 맞춤형컨텐츠를 표출시키거나, 또는 사용자의 음성데이터에 맞는 1:1 호출형컨텐츠를 표출시키는 사이니지디스플레이부(700)로 구성됨으로서 달성된다.
According to the control signal of the interactive signage control unit, the
이상에서 설명한 바와 같이, 본 발명에서는 사용자의 기호품, 구매도, 취미에 관한 기본정보에 따른 1:1 맞춤형컨텐츠를 표출시키고, 음성입력부로부터 입력된 음성데이터에 따른 1:1 호출형컨텐츠를 불러와서 사이니지디스플레이부에 표출시킬 수 있어, 고객의 연령별, 성별에 맞는 맞춤형 광고를 제공하여 광고 효율을 극대화시킬 수 있고, 인식 정보를 기반으로 고객의 구매확률이 최상인 제품의 광고를 실시간으로 제공할 수 있어, 제품구매율을 기존에 비해 70% 향상시킬 수 있으며, 인체감지여부에 따라 자동으로 사이니지본체를 휴면(sleep) 모드로 전환시켜서 불필요한 전원의 소모를 차단하여 전력효율을 극대화할 수 있으며, 무엇보다 사용자의 감성에 따라 맞춤형 감성컨텐츠를 사이니지디스플레이부상에 표출시킬 수 있어, 디지털사이니지장치의 접근을 기계적인 접근이 아닌 감성적인 접근으로 유도시킬 수 있는 좋은 효과가 있다.
As described above, according to the present invention, one-to-one customized contents according to the basic information about the user's enjoyment, purchase, and hobby are displayed, the 1: 1 pager content according to the voice data input from the voice input unit is called It is possible to maximize the efficiency of advertisement by providing tailored advertisement according to the age and sex of the customer and to provide the advertisement of the product with the highest customer's purchase probability based on the recognition information in real time Thus, the purchase rate of the product can be improved by 70% compared to the conventional case, and the power consumption can be maximized by turning off the unnecessary power source by automatically switching the signage main body to the sleep mode according to whether or not the human body is sensed. It is possible to display the customized emotional contents on the display unit of the display according to the sensitivity of the user, There is good access to effects that can lead to emotional approach rather than a mechanical approach.
도 1은 본 발명에 따른 얼굴인식형 인터랙티브 디지털 사이니지장치(1)의 구성요소를 도시한 사시도,
도 2는 본 발명에 따른 얼굴인식형 인터랙티브 디지털 사이니지장치(1)의 구성요소를 도시한 블럭도,
도 3은 본 발명에 따른 인터랙티브 사이니지제어부의 구성요소를 도시한 블럭도,
도 4는 본 발명에 따른 모델기반얼굴인식알고리즘엔진부의 PCA(Principle Componet Analysis)와 HMM(Hidden Markov Model)을 통해 특징점을 찾아 특징점간의 관계를 이용하여 표정을 인식시키는 과정을 도시한 일실시예도,
도 5는 본 발명에 따른 모델기반얼굴인식알고리즘엔진부를 통해 분석한 사용자의 성별, 연령별을 추정하여 사용자의 기호품, 구매도, 취미에 관한 기본정보를 유추하고, 유추한 사용자 기본정보에 따라 컨텐츠목록을 재구성하여 사이니지디스플레이부에 1:1 맞춤형컨텐츠를 표출시키는 것을 도시한 일실시예도,
도 6은 본 발명에 따른 사이니지디스플레이부(700)의 구성요소를 도시한 사시도,
도 7은 본 발명에 따른 OLED 사이니지용 터치스크린부의 구성요소를 도시한 블럭도,
도 8은 본 발명에 따른 얼굴인식형 인터랙티브 디지털 사이니지장치를 마트의 진열대에 적용시켜, 1:1 맞춤형컨텐츠 및 1:1 호출형컨텐츠를 사이니지디스플레이부에 표출시키는 것을 도시한 일실시예도,
도 9는 본 발명에 따른 얼굴인식형 인터랙티브 디지털 사이니지장치를 지하철스크린상에 적용시켜, 1:1 맞춤형컨텐츠 및 1:1 호출형컨텐츠를 사이니지디스플레이부에 표출시키는 것을 도시한 일실시예도.1 is a perspective view showing the components of the face recognition type interactive
2 is a block diagram showing the components of the face recognition type interactive
FIG. 3 is a block diagram showing the components of the interactive signal control unit according to the present invention.
FIG. 4 is a diagram illustrating a process of recognizing facial expressions by using the relationship between feature points and locating feature points through PCA (Principal Component Analysis) and HMM (Hidden Markov Model) of the model-based facial recognition algorithm engine according to the present invention.
FIG. 5 is a flow chart illustrating a method of estimating a user's preference, purchase degree and hobby by estimating sex and age of a user analyzed through a model-based face recognition algorithm engine unit according to the present invention, Lt; RTI ID = 0.0 > 1: 1 < / RTI > customized content to the signage display unit,
6 is a perspective view illustrating the components of the
FIG. 7 is a block diagram illustrating components of a touch screen unit for OLED display according to the present invention;
FIG. 8 is a diagram illustrating an embodiment in which a face recognition type interactive digital signage apparatus according to the present invention is applied to a shelf of a mart to display 1: 1 customized content and 1: 1 pager content on a display unit,
FIG. 9 illustrates an embodiment in which a face recognition type interactive digital signage apparatus according to the present invention is applied to a subway screen to display 1: 1 customized content and 1: 1 pager content on a display unit.
먼저, 본 발명에서 설명되는 인터랙티브란 미디어와 이용자 간 커뮤니케이션이 가능한 상태를 의미하는 상호 작용성으로, 뉴미디어의 주요 특성으로 뉴미디어 관련 연구시 매체특성이자 이용자 특성을 말한다.First, the interactive language described in the present invention refers to the interactivity which means a state in which communication between the media and the user is possible. As a main characteristic of the new media, it refers to the characteristics of media and the characteristics of users in the study of new media.
그리고, 사용자 미디어를 직접 조작하고 미디어를 통하여 미디어와 자기 자신에 변화를 가져올 수 있으며 타인과 소통할 수 있는 특성을 지닌다.
In addition, it can change the media and itself by directly manipulating user media, and has the characteristic of communicating with other people.
이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
도 1은 본 발명에 따른 얼굴인식형 인터랙티브 디지털 사이니지장치(1)의 구성요소를 도시한 사시도에 관한 것으로, 이는 사이니지본체(100), 영상카메라(200), 음성입력부(300), 인체감지센서부(400), 초음파센서부(500), 인터랙티브 사이니지제어부(600), 사이니지디스플레이부(700)에 관해 설명한다.1 is a perspective view illustrating components of a face recognition type interactive
또한, 본 발명에 따른 얼굴인식형 인터랙티브 디지털 사이니지장치(1)은 상기 초음파센서부를 대신하여, 근접센서, 적외선센서가 구성된다.
Further, in the face recognition type interactive
먼저, 본 발명에 따른 사이니지본체(100)에 관해 설명한다.First, the signage
상기 사이니지본체(100)는 사각판넬형상으로 이루어져 각 기기를 외압으로부터 보호하고 지지하는 역할을 한다.The signage
이는 도 1에 도시한 바와 같이, 상단 중앙일측과 하단 중앙 일측에 영상카메라가 구성되고, 양측면 일측과 하단 일측에 음성입력부가 구성되며, 상단 일측 및 하단 일측에 인체감지센서부가 구성되고, 사이니지본체의 상단 좌우 일측과 하단 좌우 일측에 4개의 초음파센서부가 구성되며, 본체 중앙부위를 중심으로 사이니지디스플레이부가 구성되고, 사이니지디스플레이부 후단에 인터랙티브 사이니지제어부가 구성된다.
As shown in FIG. 1, a video camera is configured on one side of the upper center and one side of the lower center, a voice input unit is formed on one side and the lower side of both sides, a human body sensor unit is formed on the upper side and the lower side, Four ultrasonic sensor sections are formed on one left and right upper and lower sides of the main body and on the lower left and right sides of the main body, and a signage display section is constituted around the central part of the main body, and an interactive signage control section is constituted at the rear end of the display section.
다음으로, 본 발명에 따른 영상카메라(200)에 관해 설명한다.Next, a
상기 영상카메라(200)는 사이니지본체의 상단 중앙 일측과 하단 중앙 일측에 위치되어, 사용자의 얼굴을 촬영하는 역할을 한다.The
이는 PTZ구조의 HD카메라로 구성되어, 상하, 좌우, 그리고, 1°~360°로 회전되도록 구성된다.
It is composed of an HD camera with PTZ structure and is configured to be rotated up and down, right and left, and 1 ° to 360 °.
다음으로, 본 발명에 따른 음성입력부(300)에 관해 설명한다.Next, the
상기 음성입력부(300)는 사이니지본체의 양측면 일측과 하단 일측에 위치되어, 사용자의 음성을 입력받아 저장하는 역할을 한다.The
이는 마이크로 구성된다.
It is micro-structured.
다음으로, 본 발명에 따른 인체감지센서부(400)에 관해 설명한다.Next, the human body
상기 인체감지센서부(400)는 사이니지본체의 상단 일측 및 하단 일측에 위치되어 사용자의 접근을 감지하는 역할을 한다.
The human body
다음으로, 본 발명에 따른 초음파센서부(500)에 관해 설명한다.Next, the
상기 초음파센서부(500)는 사이니지본체의 상단 좌우 일측과 하단 좌우 일측에 위치되어 사용자의 접근거리를 초음파 파장을 통해 최대거리에서 최소거리로 순차적으로 감지하는 역할을 한다.The
상기 초음파센서부를 대신하여, 본 발명에서는 근접센서, 적외선센서가 선택되어 구성된다.Instead of the ultrasonic sensor part, a proximity sensor and an infrared sensor are selected and configured in the present invention.
상기 근접센서는 물체가 접근해 왔을 때의 위치를 검출하기 위한 센서로서, 이는 자기의 영향으로 내부의 전류가 변화하는 홀 소자와 영구 자석을 결합한 센서, 램프나 발광 다이오드와 광센서를 결합시킨 센서, 정전(靜電) 용량의 변화를 검출하는 센서로 구성된다. The proximity sensor is a sensor for detecting the position when an object approaches, and it is a sensor that combines a Hall element and a permanent magnet that change the internal current due to magnetism, a sensor that combines a lamp or a light emitting diode with an optical sensor , And a sensor for detecting a change in static capacitance.
상기 적외선센서는 적외선을 이용해 온도, 압력, 방사선의 세기 등의 물리량이나 화학량을 검지하여 신호처리가 가능한 전기량으로 변환하는 센서로서, 이는 기계가 적외선을 발산하여 차단되는 것을 감지하는 센서, 주변의 적외선을 검출하는 센서로 구성된다.
The infrared sensor is a sensor that detects a physical quantity or a stoichiometric quantity such as a temperature, a pressure and a radiation intensity by using infrared rays and converts it into an electric quantity capable of signal processing. The sensor is a sensor that senses that the machine is shut off by emitting infrared rays, As shown in FIG.
다음으로, 본 발명에 따른 인터랙티브 사이니지제어부(600)에 관해 설명한다.Next, the interactive
상기 인터랙티브 사이니지제어부(600)는 상기 인체감지센서부를 통해 사용자의 접근감지신호가 입력되고, 초음파센서부를 통해 사용자의 접근거리감지신호가 입력되어, 기준설정치 범위내에 들어오면, 영상카메라를 구동시켜 사용자의 얼굴을 촬영시키도록 제어시키고, 영상카메라를 통해 촬영한 사용자의 얼굴데이터를 입력받아, 미리설정된 기준얼굴데이터와 비교 분석한 후, 사용자의 성별, 연령별을 추정하여 사용자의 기호품, 구매도, 취미에 관한 기본정보를 유추하고, 유추한 사용자 기본정보에 따라 컨텐츠목록을 재구성하여 사이니지디스플레이부에 1:1 맞춤형컨텐츠를 표출시키도록 제어하고, 음성입력부로부터 입력된 음성데이터를 기준명령호출음성데이터와 비교분석한 후, 분석한 기준명령호출음성데이터와 매칭된 1:1 호출형컨텐츠를 불러와서 사이니지디스플레이부에 표출시키도록 제어하는 역할을 한다.When the user's proximity sensing signal is inputted through the human body sensing unit and the user's proximity distance sensing signal is inputted through the ultrasonic sensor unit and is within the reference set value range, The face data of the user photographed through the video camera is received and compared with the reference face data set in advance and then the user's sex and age are estimated and the user's taste, The contents list is reconfigured according to the inferred user basic information to display 1: 1 customized content on the display unit, and the voice data input from the voice input unit is referred to as a reference command call voice After comparing and analyzing the data, the 1: 1 paging content matched with the analyzed reference command call voice data Multiple serves to control so as to express the signage display unit to come.
이는 도 3에 도시한 바와 같이, 모델기반얼굴인식알고리즘엔진부(610), 맞춤형컨텐츠표출제어부(620), 사용자위치분석부(630), 기기구동제어부(640), 호출형컨텐츠표출제어부(650), 감성컨텐츠표출제어부(660), 블루투스형 데이터전송부(670)로 구성된다.
3, the model-based face recognition
상기 인터랙티브 사이니지제어부(600)는 블루투스형 데이터전송부를 통해 이웃하는 또 다른 얼굴인식형 인터랙티브 디지털 사이니지장치와 블루투스통신망으로 연결되는 것 이외에도, 내부 시스템의 데이터전송라인 I/O(Input Out Line) 인터페이스를 통해 이웃하는 또 다른 얼굴인식형 인터랙티브 디지털 사이니지장치와 연결되도록 구성된다.
In addition to being connected to another neighboring face recognition type interactive digital signage device through a Bluetooth communication network, the interactive
첫째, 본 발명에 따른 모델기반얼굴인식알고리즘엔진부(610)에 관해 설명한다.First, the model-based face recognition
상기 모델기반얼굴인식알고리즘엔진부(610)는 영상카메라를 통해 촬영한 사용자의 얼굴데이터를 입력받아, 시간에 따라 변하는 표정의 패턴을 표현하기 위해 표정 특성을 공간적으로 분석하는 PCA(Principle Componet Analysis)와 시공간적으로 분석하는 HMM기반의 표정 HMM(Hidden Markov Model)을 통해 특징점을 찾아 특징점간의 관계를 이용하여 표정을 인식시키는 역할을 한다.The model-based face recognition
이는 학습한 표정 패턴을 기반으로 얼굴영상데이터에서 사람의 얼굴을 검출하고 표정을 분석하여 분류한다.Based on the learned facial expression pattern, the facial image data is used to detect human faces and analyze facial expressions.
이때, 얼굴 표정을 인식하는데 있어서 공간적 정보 외에 시간에 따라 변하는 표정의 패턴을 표현하기 위해 표정 특성을 공간적으로 분석하는 PCA(Principle Componet Analysis)와 시공간적으로 분석하는 HMM기반의 표정 HMM을 하이브리드형태로 이용한다.At this time, PCA (Principal Component Analysis) which analyzes the facial expression characteristics spatially and HMM based expressive HMM which analyzes temporally and spatially is used as a hybrid form in order to express a pattern of facial expression changing with time in addition to spatial information in recognition of facial expression .
이는 표정의 공간적 특징추출은 시간적 분석 과정과 밀접하게 연관되어 있기 때문에 다양하게 변화하는 표정을 검출하여 추적하고 분류하는데 HMM의 시공간적 접근방식을 적용하면 효과적이기 때문이다.This is because the spatial feature extraction of facial expressions is closely related to the temporal analysis process, so it is effective to apply the temporal and spatial approach of HMM to detect, track, and classify variously changing facial expressions.
따라서, 현재의 시각적 관측치와 이전 시각적 관측치의 결과 간의 사후 확률을 측정하여 얼굴을 분류하게된다.Therefore, the face is classified by measuring the posterior probability between the current visual observation and the result of the previous visual observation.
또한, 본 발명에 따른 모델기반얼굴인식알고리즘엔진부는 얼굴영역을 검출하기위해 얼굴의 피부색조를 이용한다.In addition, the engine based on the model-based face recognition algorithm according to the present invention uses face skin tone to detect a face region.
먼저, 도 4에 도시한 바와 같이, 빛, 조명 등의 환경적인 영향력에 대해 색상 노출을 정규화하기 위해서 참조 흰색을 이용하여 빛의 조건을 보정하는 구조로 구성으로 얼굴영상데이터를 전처리한다.First, as shown in FIG. 4, in order to normalize color exposure to environmental influences such as light, illumination, etc., facial image data is preprocessed with a structure for correcting light conditions using reference white.
이를 이용하여 RGB 칼라 모델에서 YCbCr 칼라모델로 색상을 변경하여 얼굴 피부색과 유사한 색도와 휘도를 갖는 영역을 먼저 추출하고 입 영역과 눈 영역을 포착하는 최적의 타원을 계산하여 얼굴피부 영역을 검출한다. Using this, the color is changed from the RGB color model to the YCbCr color model to extract the area having the chromaticity and brightness similar to the face skin color, and calculate the optimal ellipse for capturing the mouth area and the eye area to detect the face skin area.
이후 PCA 분석 모듈을 사용하여 얼굴 영상데이터의 고유벡터를 예측하고 얼굴 분포도의 주요 성분을 찾아내거나 얼굴 영상 데이터 집합의 공분산 행렬의 고유벡터를 찾음으로써 얼굴 영상 데이터간의 변화를 특성화하는 특징 집합을 구할 수 있다.Then, by using the PCA analysis module, it is possible to obtain a feature set for predicting the eigenvectors of facial image data and finding the main components of the facial distribution or characterizing the change between facial image data by finding the eigenvectors of the covariance matrix of the facial image data set have.
이때, 얼굴표정을 결정하는 5개의 고유 벡터의 값으로 양 눈의 중심점과 눈썹 시작점간의 거리, 양 눈 중심점과 임의 끝점간의 거리, 입의 양 끝점 간의 거리를 이용한다.In this case, the values of the five eigenvectors for determining the facial expression are used as the distance between the center point of the eyes and the start point of the eyebrows, the distance between the center point of both eyes and the end point, and the distance between the end points of the mouth.
사람의 표정 변화의 움직임 패턴은 시간의 흐름에 따라 초기 상태에서 최고조의 상태로 변화한 뒤 종료의 상태로 변화한다.The movement pattern of the person's facial expression change changes from the initial state to the peak state and then to the end state according to the time.
이러한 표정의 특징을 학습하고 분류하기 위해 HMM을 사용하는데 이는 시간에 따라 변하는 신호를 분석하는데 적당한 통계적 동작모델로써 시스템 내의 상태 변환 과정과 시스템 종속적인 확률분포에 따라 관측치를 발산하는 과정을 생성한다.HMM is used to learn and classify features of these facial expressions. It is a statistical motion model suitable for analyzing time varying signals. It generates a process of diverging observations according to the state transformation process and the system dependent probability distribution in the system.
표정 HMM에서는 기쁨, 슬픔, 화냄, 혐오, 두려움, 놀람 등의 표정을 나타내는 대표 표정 변수를 기준설정치로 설정하고, 표정상태의 사후 확률을 예측하도록 구성된다.In the facial expression HMM, a representative facial expression indicating expressions of joy, sadness, anger, disgust, fear, surprise, etc. is set as a reference set value and the posterior probability of the facial expression state is predicted.
사후 확률에서는 샨논(Shannon)의 엔트로피를 확장하여 불확정 감소치를 구하고 이를 분류하고자 하는 해당 표정 특징벡터에서 빼면 서로 다른 표정 벡터 중 더 큰 값만 남게 되어 표정인식의 신뢰도를 높여 약한 얼굴 표정 분류의 오류를 낮출 수가 있다.In the posterior probability, by expanding the entropy of Shannon to obtain the indeterminate reduction value and subtracting it from the corresponding facial feature vector to be classified, only the larger value among the different expression vectors is left, thereby increasing the reliability of facial expression recognition and lowering the error of weak facial expression classification There is a number.
즉, 사후확률을 이용하여 정도가 약한 얼굴 표정을 대표 표정 중 하나로 분류하도록 구성된다.
That is, the posterior probability is used to classify the facial expressions of weakness into one of the representative facial expressions.
둘째, 본 발명에 따른 맞춤형컨텐츠표출제어부(620)에 관해 설명한다.Second, the customized content
상기 맞춤형컨텐츠표출제어부(620)는 도 5에 도시한 바와 같이, 모델기반얼굴인식알고리즘엔진부를 통해 분석한 사용자의 성별, 연령별을 추정하여 사용자의 기호품, 구매도, 취미에 관한 기본정보를 유추하고, 유추한 사용자 기본정보에 따라 컨텐츠목록을 재구성하여 사이니지디스플레이부에 1:1 맞춤형컨텐츠를 표출시키도록 제어하는 역할을 한다.
As shown in FIG. 5, the customized content
셋째, 본 발명에 따른 사용자위치분석부(630)에 관해 설명한다.Third, the
상기 사용자위치분석부(630)는 초음파센서부를 통해 사용자의 접근거리감지신호를 입력받아, 사용자의 접근거리에 따른 사용자의 위치정보를 분석시키는 역할을 한다.
The
넷째, 본 발명에 따른 기기구동제어부(640)에 관해 설명한다.Fourth, a device driving
상기 기기구동제어부(640)는 사용자위치분석부를 통해 분석된 사용자의 위치정보에 따라 각 기기의 구동을 순차적으로 제어하는 역할을 한다.
The device
다섯째, 본 발명에 따른 호출형컨텐츠표출제어부(650)에 관해 설명한다.Fifth, the pager-type content
상기 호출형컨텐츠표출제어부(650)는 음성입력부를 통해 입력된 음성데이터를 기준명령호출음성데이터와 비교분석한 후, 분석한 기준명령호출음성데이터와 매칭된 1:1 호출형컨텐츠를 불러와서 사이니지디스플레이부에 표출시키도록 제어시키는 역할을 한다.
The call type content
여섯째, 본 발명에 따른 감성컨텐츠표출제어부(660)에 관해 설명한다.Sixth, the emotional contents display
상기 감성컨텐츠표출제어부(660)는 1:1 맞춤형컨텐츠와 1:1 호출형컨텐츠에 그래픽, 텍스트메세지, 사운드 중 어느 하나 또는 둘 이상을 선택해서 믹싱시킨 감성컨텐츠를 사이니지디스플레이부상에 표출시키도록 제어하는 역할을 한다.
The emotional content
일곱째, 본 발명에 따른 블루투스형 데이터전송부(670)에 관해 설명한다.Seventh, the Bluetooth type
상기 블루투스형 데이터전송부(670)는 도 8에 도시한 바와 같이, 이웃하는 또 다른 얼굴인식형 인터랙티브 디지털 사이니지장치와 블루투스통신망으로 연결되어 지나가는 사용자의 이동속도에 맞게 1:1 맞춤형컨텐츠 및 1:1 호출형컨텐츠를 순차적으로 디스플레이시키도록 1:1 맞춤형컨텐츠 및 1:1 호출형컨텐츠를 전송시키는 역할을 한다.
As shown in FIG. 8, the Bluetooth-type
또한, 본 발명에 따른 인터랙티브 사이니지제어부(600)는 호출형컨텐츠표출제어부를 통해 음성데이터를 기준명령호출음성데이터와 비교분석한 후, 분석한 기준명령호출음성데이터와 매칭된 1:1 호출형컨텐츠를 불러와서 사이니지디스플레이부에 표출시키도록 제어시키도록 구성된다.In addition, the interactive
이때, 음성인식 속도를 높이고, 에러 발생율을 낮추도록 하기 위해 히든 마르코프모델알고리즘엔진부(680)가 포함되어 구성된다.
At this time, the Hidden Markov model
상기 히든 마르코프모델알고리즘엔진부(680)는 음성입력부를 통해 입력된 음성데이터의 시간적 변화를 모델링하는 천이확률과 스펙트럼 변화를 출력함수로 나타낸 후, 주어진 모델과의 확률적인 추정값을 이용하여 모델의 유사도를 연산시켜 음성인식 속도를 높이는 역할을 한다.The Hidden Markov model
여기서, 음성인식을 위한 히든마르코프모델은 사용자의 음성 바로 전 상태에 의해서 다음 상태가 결정되는 일차 마르코프 과정이 주로 사용된다.Here, the Hidden Markov model for speech recognition mainly uses a first-order Markov process in which the next state is determined by the state immediately before the user's voice.
즉, 음성의 시간적 제약은 음성을 시간의 함수로 표시할 수 있다는 점이다.That is, the temporal constraint of speech is that speech can be represented as a function of time.
이것은 음성이 시작되고 지속적으로 변화하여 미치게 되는 과정이어서 히든마르코프 모델을 좌향우천이(left to right transiton)만 허용하는 모델로 단순화시킨다. This simplifies the Hidden Markov model to a model that allows only left-to-right transit.
본 발명에 따른 히든 마르코프모델알고리즘엔진부는 사용자의 발성하는 기관의 시간적 상태 또는 생성된 음운은 은닉되고 관측되는 음성을 출력으로 하여 인식시키는 과정을 말한다.The Hidden Markov model algorithm engine according to the present invention refers to a process of recognizing a temporal state or a generated phoneme of a vocal organ of a user as an output of a hidden and observed voice.
상기 히든 마르코프모델은 다음과 같이 표현된다.The Hidden Markov model is expressed as follows.
즉, 서로 다른 한개의 상태 N이 있고, 이 상태는 관측되지 아니하고 은닉(Hidden)되어 있다. 한 상태에서 다른 상태도 도달 가능하다. 여기서는 개별상태를 숫자로만 표시하여 {1,2...,N}으로 표시하고, t시간에서 정해진 상태를 qt로 표시한다.That is, there is a different state N, which is not observed and is hidden. Other states can be reached in one state. In this case, individual states are indicated by numerals only, {1,2, ..., N}, and the state determined at time t is denoted by q t .
그리고, 상태에 따른 출력 심벌의 구별 가능한 총수는 유한 개이고, 그 수는 M이라 한다. 출력의 표시는 V={v1,v2,...,vM}으로 한다.The total number of distinguishable output symbols according to the state is a finite number, and the number is M. The output is expressed as V = {v 1 , v 2 , ..., v M }.
이때, 천이확률분포 A={aij}로 정의한다.At this time, the transition probability distribution A = {a ij } is defined.
이는 수학식 1과 같이 표현된다.This is expressed by Equation (1).
그리고, 관측된 심벌의 확률분포는 B={bj(k)}라 한다.And the probability distribution of the observed symbol is B = {b j (k)}.
이는 수학식 2와 같이 표현된다.This is expressed by Equation (2).
여기서, qt=j는 시간 t에서 상태가 j임을 나타내며, ot=vk는 시간 t에서 관측된 출력 심벌 vk인 것을 나타낸다.Here, q t = j indicates that the state is j at time t, and o t = v k indicates that the output symbol v k is observed at time t.
각 상태 j에 대해서 정의된다.
Is defined for each state j.
그리고, 초기 상태 분포 ∏={πi}가 주어진다.Then, an initial state distribution Π = {π i } is given.
여기서, πi=P[q1 =i],1≤i≤N
Here,? I = P [q1 = i ], 1 ? I ? N
상기 천이확률분포 A, 심벌의 확률분포 B, 초기 상태 분포 ∏를 통해 본 발명에 따른 히든 마르코프모델은 다음의 수학식 3과 같이 표현된다.The hidden Markov model according to the present invention is expressed by the following equation (3) through the transition probability distribution A, the probability distribution B of symbols, and the initial state distribution Π.
본 발명에 따른 히든 마르코프모델을 통해 음성인식 속도를 높이기 위해 다음과 같은 과정을 수행한다.The following procedure is performed to increase speech recognition speed through the Hidden Markov model according to the present invention.
먼저, 관측 시퀀스 O=(o1,o2,...,oT)와 모델 λ=(A,B,∏)가 주어졌을 때, 주어진 모델에서 효과적으로 관측시퀀스의 확률을 구한다.First, we obtain the probability of an observation sequence in a given model, given the observation sequence O = (o 1 , o 2 , ..., o T ) and the model λ = (A, B, Π).
이는 주어진 모델이 주어진 관측 시퀀스와 얼마나 잘 매칭되는지를 평가한다. This evaluates how well a given model matches a given observation sequence.
즉, 여러개의 경합하는 모델이 있을 경우 하나를 선택해야 한다면, 상기 관측시퀀스의 확률을 구해서 관측과 최상의 매칭이 되는 모델을 설정한다.
That is, if there is a plurality of contending models, if one should be selected, the probability of the observation sequence is obtained to set a model that is the best matching with the observation.
이어서, 관측 시퀀스 O=(o1,o2,...,oT)와 모델 λ=(A,B,∏)가 주어지면, 여기에 대응하는 상태 시퀀스 q=(q1,q2,...,qT)를 고려하여 최상의 것을 선택한다.Then, given the observation sequence O = (o 1 , o 2 , ..., o T ) and the model λ = (A, B, Π), the corresponding state sequence q = (q 1 , q 2 , ..., q T ), the best one is selected.
이는 적절한 상태 시퀀스를 발견함으로서 모델의 은닉된 부분을 밝히고, 실제적 상황에서는 가능한 최상의 해를 구하기 위해서 최적평가함수를 도입해서 사용하도록 구성된다.It is configured to identify the hidden parts of the model by finding the appropriate state sequence and introduce and use an optimal evaluation function to obtain the best possible solution in practical situations.
이로 인해 몇가지 합리적인 최적 평가 함수를 적용할 수 있게 되고, 이렇게 선택된 평가함수는 잘 알려진 상태 시퀀스에 대해 의도적으로 적용하여 사용되는 시스템에 강력한 기능을 부여하게 된다.
This allows some reasonable optimization functions to be applied, and the selected evaluation functions are intentionally applied to well-known state sequences to give the system a powerful function.
끝으로, 음성인식을 극대화하기 위해 모델 파라미터 λ=(A,B,∏)에 수정을 가해서 모델 파라미터를 최적화시킨다.Finally, we optimize the model parameters by modifying the model parameter λ = (A, B, Π) to maximize speech recognition.
이는 히든 마르코프모델을 학습시키는 과정이므로, 모델 파라미터를 수정하기 위해서 사용되는 관측된 출력 시퀀스를 학습시켜 학습데이터를 생성시킨다.Since this is a process of learning the Hidden Markov model, learning data is generated by learning the observed output sequence used to modify the model parameters.
이처럼 관측된 학습 데이터에 적용되는 최적의 모델 파라미터를 구하여 실제 음성인식에 가장 부합하는 모델을 선택시킨다.
The optimal model parameter applied to the observed learning data is obtained, and a model that best matches the actual speech recognition is selected.
또한, 본 발명에 따른 인터랙티브 사이니지제어부(600)는 사이니지본체 주변에 인체가 감지되지 않으면 광고를 보는 사람이 없는 것으로 판단을 하고, 자동으로 사이니지본체를 휴면(sleep) 모드로 전환시켜서 불필요한 전원의 소모를 차단시키는 휴먼모드구동제어부가 포함되어 구성된다.
In addition, the interactive
다음으로, 본 발명에 따른 사이니지디스플레이부(700)에 관해 설명한다.Next, the
상기 사이니지디스플레이부(700)는 인터랙티브 사이니지제어부의 제어신호에 따라 사용자의 성별,연령별에 맞는 1:1 맞춤형컨텐츠를 표출시키거나, 또는 사용자의 음성데이터에 맞는 1:1 호출형컨텐츠를 표출시키는 역할을 한다.The
이는 도 6에 도시한 바와 같이, OLED 사이니지용 터치스크린부(710), OLED 사이니지용 애노드전극부(720), OLED 사이니지용 유기체필름부(730), OLED 사이니지용 캐소드전극부(740), OLED 사이니지용 유리 플레이트부(750)로 구성된다.
6, the OLED display includes a
첫째, 본 발명에 따른 OLED 사이니지용 터치스크린부(710)에 관해 설명한다.First, a
상기 OLED 사이니지용 터치스크린부(710)는 디스플레이창의 정면 표면에 형성되어, 사용자가 닿는 표면에 전기적 유도층과 저항층을 입히고, 이를 미세한 도트로 분리시켜 형성시킨 후, 좌우상하로 적외선을 흘러보내, 화면에 복수개의 사각형 격자를 생성시켜 손끝이나 터치펜이 격자에 접촉하면 그 위치를 파악해서 입력시키는 역할을 한다.The OLED sensing
이는 PL(Polyester Laminated)구조로 이루어지고, 애노드전극부 위에 필름이 2겹으로 겹쳐져서 필름과 필름의 접촉에 의해 동작된다.This is made of PL (Polyester Laminated) structure, and the film is overlapped on the anode electrode portion in two layers, and is operated by contact between the film and the film.
그리고, 하단에 OLED 사이니지용 애노드전극부와 OLED 사이니지용 유기체필름부가 형성된다. At the lower end, an anode electrode for OLED display and an organic film for OLED display are formed.
상기 OLED 사이니지용 터치스크린부(710)는 도 7에 도시한 바와 같이, 압력식 저항막 방식(Registive overlay) 터치스크린(711), 적외선감지방식(Infrared Beam) 스크린(712), 표면 초음파 전도 방식(Surface Acoustic Wave) 스크린(713), 적분식 장력측정 방식(Integral Strain Guage) 스크린(714), 피에조 효과 방식(Piezo Electric) 스크린(715) 중 어느 하나가 선택되어 구성된다.
7, the OLED display
상기 압력식 저항막 방식(Registive overlay) 터치스크린(711)은 유리나 투명한 플라스틱 판 위에 저항 성분의 물질을 입히고, 그 위에 폴리에스틸렌 필름을 덮어씌운 형태로 형성되며, 두면이 서로 닿지 않도록 0.1mm~2mm 간격으로 절연봉이 설치되어, 터치되는 손의 압력에 의해 접촉되는 두면의 저항값 변화를 읽어와서 터치된 손의 위치를 파악하는 역할을 한다.The registive overlay touch screen 711 is formed by coating a resistive material on a glass or a transparent plastic plate and covering the surface with a polyestyrene film. Insulating bars are installed at intervals of 2mm, and the change of the resistance value of the two surfaces which are contacted by the pressure of the touched hand is read to grasp the position of the touched hand.
이는 저항막의 양단에서 일정한 전류를 흘려주면 저항막이 저항 성분을 갖는 저항체와 같이 작용하기 때문에 양단에 전압이 걸리게 된다.If a constant current is applied at both ends of the resistive film, the resistive film acts like a resistor having a resistive component, so that a voltage is applied to both ends of the resistive film.
이어서, 손으로 접촉을 하게 되면, 위쪽표면의 폴리에스틸 필름이 휘어 두면이 접속하게 된다.Then, when the hand contact is made, the polyurethane film on the upper surface is bent so that it is connected.
따라서, 두면의 저항 성분 때문에 저항의 병렬접속과 같은 형태가 되고, 저항값의 변화가 일어나게 된다.Therefore, due to the resistance component of the two surfaces, the resistance value becomes the same as that of the parallel connection of the resistors.
이때, 양단에 흐르는 전류에 의하여 전압의 변화도 일어나게 되는데, 바로 이러한 전압의 변화정도로써 접촉된 손의 위치를 알 수 있다.
At this time, the voltage changes by the currents flowing at both ends, and the position of the hand that is touched can be known as the degree of change of the voltage.
상기 적외선감지방식(Infrared Beam) 스크린(712)은 발광소자인 적외선 발광 다이오드(Infrared LED)와 수광소자인 포토 트랜지스터(Photo-Transistor)가 서로 마주보도록 배치하여 손가락에 의해 발광된 빛이 차단되면 반대편의 포토트랜지스터에서 감지가 되지 않으므로, 몇번째의 셀에서 빛이 차단되었는지 위치를 감지하는 역할을 한다.The
이는 Opto-Matrix Frame이 장착된 모니터에서 손가락과 같이 빛을 차단할 수 있는 물체로 화면을 선택하면, 적외선 발광 다이오드에서 발광된 빛이 손가락에 의해서 차단되고, 반대편의 포토 트랜지스터에서 감지가 되지 않으므로 몇 번째의 Cell에서 차단되었는지 위치를 감지하도록 구성된다.
This is because when the screen is selected as an object that can block light like a finger in a monitor equipped with an Opto-Matrix Frame, the light emitted from the infrared light emitting diode is blocked by the finger and is not detected by the opposite photo transistor, Of the cell.
상기 표면 초음파 전도 방식(Surface Acoustic Wave) 스크린(713)은 음파를 발사하는 트랜스미터(Transmitter)를 유리의 한쪽 귀퉁이에 부착하고, 일정한 간격으로 음파를 반사 시키는 리플렉터(Reflector)를 부착하며, 트랜스미터의 반대쪽에는 소리를 수신하는 리시버(Receiver)를 부착해서 손가락 같이 소리를 방해하는 물체가 소리의 진행 경로에 있게 되면 리시버에 수신되지 않으므로, 차단된 시점을 계산하여 접촉된 손의 위치를 감지하는 역할을 한다.The surface
이는 트랜스미터에서 소리를 발사하면 리플렉터는 소리 중 일부를 반사 시키고, 일부는 투과 시키며, 일부 투과된 소리는 다시 다음에 위치한 리플렉터에 의해 일부 반사하고, 일부는 투과시킨다. This is because when the transmitter emits sound, the reflector reflects some of the sound and some of the sound, while some of the sound is partially reflected by the next reflector, and some of it is reflected.
이러한 과정이 반복되며, 이때 반사한 초음파는 리시버에 수신되는데, 리플렉터간의 간격이 일정하기 때문에 소리가 반사되어 리시버에 수신되는 시간간격도 일정하게 된다.This process is repeated. At this time, the reflected ultrasound is received by the receiver. Since the interval between the reflectors is constant, the sound is reflected and the time interval to be received by the receiver becomes constant.
이때, 손가락 같이 소리를 방해하는 물체가 소리의 진행 경로에 있게 되면 리시버에 수신되지 않으므로, 차단된 시점을 계산하여 접촉된 손의 위치를 알 수 있다.
At this time, since an obstructing object such as a finger is not received by the receiver when the sound is in the course of the sound, the position of the touched hand can be calculated by calculating the blocked time.
상기 적분식 장력측정 방식(Integral Strain Guage) 스크린(714)은 네 귀퉁이에 늘어나는 힘을 측정할 수 있는 장력 측정 센서(Strain gauge)를 부착하여 네귀퉁이의 전기적인 신호의 비율을 계산해서 어느 지점에서 터치되었는지를 감지하는 역할을 한다.The Integral
이는 한쪽의 귀퉁이를 손으로 누르면 네 귀퉁이의 장력 측정 장치 중, 눌려진 쪽의 것이 가장 많은 힘을 받게 되며, 늘어나는 힘의 정도에 따라 전기적인 신호로 변경되어 콘트롤러에 전달된다. That is, when one of the corners is manually pressed, one of the tension measuring devices of the four corners is given the most force, and the electric signal is changed to an electric signal according to the degree of the stretching force and is transmitted to the controller.
이때, 콘트롤러는 네 귀퉁이의 전기적인 신호의 비율을 계산하여 어느 지점에서 터치 되었는지감지해내도록 구성된다.
At this time, the controller is configured to calculate the ratio of the electrical signals of the four corners and to detect where the touches are touched.
상기 피에조 효과 방식(Piezo Electric) 스크린(715)은 터치하는 것을 감지하기 위해서 압력에 민감한 수정 발진자(Crystal)를 화면의 네 귀퉁이에 부착한 형태로서, 사용자가 터치하였을 때, 그 압력의 정도와 위치에 따라 네 귀퉁이에서 받는 압력을 정도가 각기 다르게 되어, 이렇게 다른 네 귀퉁이의 압력을 콘트롤러가 비율을 계산하여 좌표값을 연산시켜 위치를 감지하는 역할을 한다.
The
둘째, 본 발명에 따른 OLED 사이니지용 애노드전극부(720)에 관해 설명한다.Second, the
상기 OLED 사이니지용 애노드전극부(720)는 OLED 사이니지용 유기체필름부 상단 표면에 수직방향으로 패턴화되어 데이터라인을 형성시키는 역할을 한다.The
이는 투명하고 일함수가 커서 정공주입을 용이하게 해주는 ITO(Indium Tin Oxide) 금속산화복합물을 사용한다.It uses an indium tin oxide (ITO) metal oxide complex that is transparent and has a large work function to facilitate hole injection.
본 발명에서는 OLED 사이니지용 유기체필름부가 액자형 본체의 상단 방향쪽으로 자체 발광시키도록 하기 위해, OLED 사이니지용 애노드전극부가 OLED 사이니지용 터치스크린부와 OLED 사이니지용 유기체필름부사이에 형성된다.
In the present invention, an anode electrode portion for OLED sealing is formed between a touch screen portion for OLED sealing and an organic film portion for OLED sealing in order to allow the organic film for OLED sensing to self-emit toward the upper direction of the frame-type body.
셋째, 본 발명에 따른 OLED 사이니지용 유기체필름부(730)에 관해 설명한다.Third, an
상기 OLED 사이니지용 유기체필름부(730)는 OLED 사이니지용 애노드전극부를 통해 전자가 주입되고, OLED 사이니지용 캐소드전극부를 통해 정공이 주입되어, 전자와 정공이 만나면 재결합을 통하여 여기자(Exciton)를 형성시키고, 여기자가 기저상태로 전이되면서 액자형본체의 상단 방향쪽으로 자체 발광시키는 역할을 한다.Electrons are injected into the
이는 다층(multi-layer)의 유기물층으로 구성된다.It consists of a multi-layer organic layer.
즉, 정공 주입층(Hole Injection Layer, HIL), 정공수송층(Hole Transport Layer, HTL), 발광층(Emissive Layer, EML), 전자 수송층(Electron Transport Layer, ETL), 완충층(Buffer Layer)의 구조로 이루어진다.That is, the structure is composed of a hole injection layer (HIL), a hole transport layer (HTL), an emissive layer (EML), an electron transport layer (ETL), and a buffer layer .
상기 정공 수송층(Hole Transport Layer :HTL)은 정공의 이동을 좀 더 효율적으로 하기 위한 층으로서, NPB(N,N'-bis-(1-naphyl)-N,N'-diphenyl-1.1'-biphenyl-4.4'-diamine)와 TCTA(4,4'4"-tris-(N-carbazolyl)-triphenlyamine)로 구성된다.The Hole Transport Layer (HTL) is a layer for more efficient transport of holes. The hole transport layer (HTL) is a layer which is made of NPB (N, N'-bis- (1-naphyl) -N, N'-diphenyl-1.1'- -4.4'-diamine) and TCTA (4,4'4 "-tris- (N-carbazolyl) -triphenlyamine).
상기 발광층(Emission Layer : EML)은 전자와 정공이 만나서 여기자(Exciton)를 형성시키고, 여기자가 기저상태로 전이되면서 스위치모듈본체의 상단 방향쪽으로 자체 발광시키는 것으로서, 이는 기능에 따라 형광모체(Host)와 활성제(Dopant)로 구분되고, 발광층은 형광모체만으로 구성하기도 하지만, 좀 더 높은 발광 효율을 얻기 위하여 활성제를 모체에 첨가하여 사용한다.The emissive layer (EML) emits electrons and holes to form an exciton. The excitons transition to a ground state and emit light towards the upper end of the switch module body. And an active agent (Dopant). The light emitting layer may consist of a fluorescent matrix only, but an active agent is added to the matrix to obtain a higher light emitting efficiency.
그리고, 청색발광소자의 형광모체로는 mCP(1,3-bis (9-carbazolyl)benzene)를 활성제로 FIrpic(iridium(III)bis[4.6-di-fluorophenyl)-pyridinato-]picolinate), 적색발광소자의 형광모체로는 CBP(4,4'-N,N-dicarbazol-biphenyl)를 활성제로는 Ir(pq)2acac(iridium(III)bis(1-phenylquinoline) acetylace-tonate)를 첨가하여 구성된다.
As a fluorescent matrix of a blue light emitting device, m-CP (1,3-bis (9-carbazolyl) benzene) is used as an activator and FIrpic (iridium (III) bis [ The fluorescent matrix of the device is composed of CBP (4,4'-N, N-dicarbazol-biphenyl) and iridium (III) bis (1-phenylquinoline) acetylace-tonate as an activator .
상기 전자 수송층(Electron Transport Layer : ETL)은 전자의 이동을 좀 더 효율적으로 하기 위하여 사용되는 것으로서, 이는 BPhen(4.7-diphenyl-1.10-phenanthroline)로 구성된다.
The electron transport layer (ETL) is used to more efficiently transfer electrons, and it is composed of 4.7-diphenyl-1.10-phenanthroline.
상기 완충층(Buffer Layer)은 캐소드전극부와 전자 수송층 상이에 소자의 효율을 개선하기 위한 것으로서, 이는 전자 주입의 에너지 장벽을 낮추어 구동 전압을 감소시키고, 발광효율을 증가시키는 역할을 한다. The buffer layer improves the efficiency of the device on the cathode electrode and the electron transport layer. This function reduces the energy barrier of the electron injection to reduce the driving voltage and increase the luminous efficiency.
이는 LiF로 구성된다.
It consists of LiF.
본 발명에 따른 OLED 사이니지용 유기체필름부는 정공 주입층(Hole Injection Layer, HIL), 정공수송층(Hole Transport Layer, HTL), 발광층(Emissive Layer, EML), 전자 수송층(Electron Transport Layer, ETL), 완충층(Buffer Layer)의 구조로 이루어짐으로서, OLED 사이니지용 캐소드전극부와 OLED 사이니지용 애노드전극부로부터 발광층까지 다층 박막을 통해 전자와 정공이 주입되어 이동하여 발광층에 도달하면 재결합을 통해 여기자(Excition)가 형성되며 여기자가 기저상태로 전이하면서 밴드갭 에언지에 해당하는 파장의 빛을 발산하며, 발광된 빛은 흡수스펙트럼에 대해 스토크 이동(Stoke's Shift)를 보여준다.
The organic film for OLED display according to the present invention may include a hole injection layer (HIL), a hole transport layer (HTL), an emissive layer (EML), an electron transport layer (ETL) Buffer layer, so that electrons and holes are injected through the multilayer thin film from the cathode electrode portion for OLED sensing and the anode electrode portion for OLED sensing to the light emitting layer, and when they reach the light emitting layer, Excitation) is formed. The exciton transitions to the ground state and emits light of a wavelength corresponding to the ridge wave in the band gap. The emitted light shows a Stoke's shift with respect to the absorption spectrum.
넷째, 본 발명에 따른 OLED 사이니지용 캐소드전극부(740)에 관해 설명한다.Fourth, a
상기 OLED 사이니지용 캐소드전극부(740)는 OLED 사이니지용 유기체필름부의 하단 표면에 수평방향으로 패턴화되어 스캔라인을 형성시키는 역할을 한다.The
이는 일함수가 낮은 금속과 일함수는 높지만, 증착이 용이하고 안정성이 우수한 금속으로 이루어지는데, 본 발명에서는 Al으로 구성된다.
This is made of a metal having a low work function and a high work function, but is made of a metal which is easy to deposit and has excellent stability. In the present invention, it is made of Al.
다섯째, 본 발명에 따른 OLED 사이니지용 유리 플레이트부(750)에 관해 설명한다.Fifth, the
상기 OLED 사이니지용 유리 플레이트부(750)는 OLED 사이니지용 캐소드전극부를 하단방향에서 지지해주는 역할을 한다.The
이는 보형물의 바닥면과 접촉되면서 OLED 사이니지용 캐소드전극부와 OLED 사이니지용 터치스크린부를 지지해주도록 사각형상의 판재로 이루어진다.
This is made of a rectangular plate so as to support the cathode electrode portion for OLED sensing and the touch screen portion for OLED display in contact with the bottom surface of the implant.
이하, 본 발명에 따른 얼굴인식형 인터랙티브 디지털 사이니지장치의 구체적인 동작과정에 관해 설명한다.
Hereinafter, a specific operation process of the face recognition type interactive digital signage apparatus according to the present invention will be described.
먼저, 초음파센서부를 통해 사용자의 접근거리를 초음파 파장을 통해 최대거리에서 최소거리로 순차적으로 감지한다.
First, the user's approach distance is detected through the ultrasound sensor unit at a maximum distance and a minimum distance through the ultrasonic wave.
다음으로, 인체감지센서부에서 사용자의 접근을 감지한다.
Next, the human body detection sensor detects the user's approach.
다음으로, 인터랙티브 사이니지제어부의 제어하에, 인체감지센서부를 통해 사용자의 접근감지신호가 입력되고, 초음파센서부를 통해 사용자의 접근거리감지신호가 입력되어, 기준설정치 범위내에 들어오면, 영상카메라와 음성입력부를 구동시킨다.
Next, under the control of the interactive signal control unit, the user's approach detection signal is inputted through the human body detection sensor unit, the user's approach distance detection signal is inputted through the ultrasonic sensor unit, and when it comes within the reference set value range, And drives the input section.
다음으로, 영상카메라에서 사용자의 얼굴을 촬영한다.
Next, the user's face is photographed by the image camera.
다음으로, 음성입력부에서 사용자의 음성을 입력받아 저장한다.
Next, the user's voice is input and stored in the voice input unit.
다음으로, 인터랙티브 사이니지제어부의 제어하에, 영상카메라를 통해 촬영한 사용자의 얼굴데이터를 입력받아, 미리설정된 기준얼굴데이터와 비교 분석한 후, 사용자의 성별, 연령별을 추정하여 사용자의 기호품, 구매도, 취미에 관한 기본정보를 유추하고, 유추한 사용자 기본정보에 따라 컨텐츠목록을 재구성하여 사이니지디스플레이부에 1:1 맞춤형컨텐츠를 표출시킨다.
Next, under the control of the interactive signage control unit, the face data of the user photographed through the video camera is received and compared with the preset reference face data, and then the user's sex and age are estimated, , The basic information on the hobby is inferred, and the contents list is reconstructed according to the inferred user basic information to display 1: 1 customized contents on the display unit.
다음으로, 인터랙티브 사이니지제어부의 제어하에, 음성입력부로부터 입력된 음성데이터를 기준명령호출음성데이터와 비교분석한 후, 분석한 기준명령호출음성데이터와 매칭된 1:1 호출형컨텐츠를 불러와서 사이니지디스플레이부에 표출시킨다.
Next, under the control of the interactive signage control unit, the voice data input from the voice input unit is compared with the reference command call voice data, and the 1: 1 call type content matched with the analyzed reference call voice data is called up And displayed on the display unit.
다음으로, 감성컨텐츠표출제어부에서 1:1 맞춤형컨텐츠와 1:1 호출형컨텐츠에 그래픽, 텍스트메세지, 사운드 중 어느 하나 또는 둘 이상을 선택해서 믹싱시킨 감성컨텐츠를 사이니지디스플레이부상에 표출시킨다.
Next, the emotional content display control unit displays emotional content selected by mixing one or more of graphic, text message, and sound in 1: 1 customized content and 1: 1 callable content on the display unit.
끝으로, 블루투스형 데이터전송부를 통해 이웃하는 또 다른 얼굴인식형 인터랙티브 디지털 사이니지장치와 블루투스통신망으로 연결되어 지나가는 사용자의 이동속도에 맞게 1:1 맞춤형컨텐츠 및 1:1 호출형컨텐츠를 순차적으로 디스플레이시키도록 1:1 맞춤형컨텐츠 및 1:1 호출형컨텐츠를 전송시킨다.Finally, a Bluetooth type data transmission unit is connected to another neighboring face recognition type interactive digital signage device and a Bluetooth communication network, and sequentially displays 1: 1 customized content and 1: 1 callable content according to the moving speed of the passing user 1: 1 customized content and 1: 1 paged content to be broadcasted.
여기서, 블루투스형 데이터전송부를 대신해서 내부 시스템의 데이터전송라인 I/O(Input Out Line) 인터페이스를 통해 이웃하는 또 다른 얼굴인식형 인터랙티브 디지털 사이니지장치와 연결된다.
Here, instead of the Bluetooth type data transfer unit, it is connected to another neighboring face recognition type interactive digital signage device through a data transfer line I / O (Input Out Line) interface of the internal system.
도 8은 본 발명에 따른 얼굴인식형 인터랙티브 디지털 사이니지장치를 마트의 진열대에 적용시켜, 1:1 맞춤형컨텐츠 및 1:1 호출형컨텐츠를 사이니지디스플레이부에 표출시키는 것을 도시한 일실시예도에 관한 것이고, 도 9는 본 발명에 따른 얼굴인식형 인터랙티브 디지털 사이니지장치를 지하철스크린상에 적용시켜, 1:1 맞춤형컨텐츠 및 1:1 호출형컨텐츠를 사이니지디스플레이부에 표출시키는 것을 도시한 일실시예도이다.
FIG. 8 is a view showing an embodiment in which a face recognition type interactive digital signage apparatus according to the present invention is applied to a shelf of a mart to display 1: 1 customized content and 1: 1 pager content on a display unit FIG. 9 is a diagram showing a 1: 1 customized content and 1: 1 pager content displayed on a display unit by applying a face recognition type interactive digital signage apparatus according to the present invention on a subway screen FIG.
1 : 얼굴인식형 인터랙티브 디지털 사이니지장치
100 : 사이니지본체 200 : 영상카메라
300 : 음성입력부 400 : 인체감지센서부
500 : 초음파센서부 600 : 인터랙티브 사이니지제어부
700 : 사이니지디스플레이부1: Face recognition type interactive digital signage device
100: a signage main body 200: a video camera
300: voice input unit 400: human body detection sensor unit
500: ultrasonic sensor unit 600: interactive signal control unit
700:
Claims (5)
사이니지본체의 상단 중앙 일측과 하단 중앙 일측에 위치되어, 사용자의 얼굴을 촬영하는 영상카메라(200)와,
사이니지본체의 양측면 일측과 하단 일측에 위치되어, 사용자의 음성을 입력받아 저장하는 음성입력부(300)와,
사이니지본체의 상단 일측 및 하단 일측에 위치되어 사용자의 접근을 감지하는 인체감지센서부(400)와,
사이니지본체의 상단 좌우 일측과 하단 좌우 일측에 위치되어 사용자의 접근거리를 초음파 파장을 통해 최대거리에서 최소거리로 순차적으로 감지하는 초음파센서부(500)와,
상기 인체감지센서부를 통해 사용자의 접근감지신호가 입력되고, 초음파센서부를 통해 사용자의 접근거리감지신호가 입력되어, 기준설정치 범위내에 들어오면, 영상카메라를 구동시켜 사용자의 얼굴을 촬영시키도록 제어시키고, 영상카메라를 통해 촬영한 사용자의 얼굴데이터를 입력받아, 미리설정된 기준얼굴데이터와 비교 분석한 후, 사용자의 성별, 연령별을 추정하여 사용자의 기호품, 구매도, 취미에 관한 기본정보를 유추하고, 유추한 사용자 기본정보에 따라 컨텐츠목록을 재구성하여 사이니지디스플레이부에 1:1 맞춤형컨텐츠를 표출시키도록 제어하고, 음성입력부로부터 입력된 음성데이터를 기준명령호출음성데이터와 비교분석한 후, 분석한 기준명령호출음성데이터와 매칭된 1:1 호출형컨텐츠를 불러와서 사이니지디스플레이부에 표출시키도록 제어하는 인터랙티브 사이니지제어부(600)와,
인터랙티브 사이니지제어부의 제어신호에 따라 사용자의 성별,연령별에 맞는 1:1 맞춤형컨텐츠를 표출시키거나, 또는 사용자의 음성데이터에 맞는 1:1 호출형컨텐츠를 표출시키는 사이니지디스플레이부(700)로 구성되는 얼굴인식형 인터랙티브 디지털 사이니지장치에 있어서,
상기 인터랙티브 사이니지제어부(600)는
영상카메라를 통해 촬영한 사용자의 얼굴데이터를 입력받아, 시간에 따라 변하는 표정의 패턴을 표현하기 위해 표정 특성을 공간적으로 분석하는 PCA(Principle Componet Analysis)와 시공간적으로 분석하는 HMM기반의 표정 HMM(Hidden Markov Model)을 통해 특징점을 찾아 특징점간의 관계를 이용하여 표정을 인식시키는 모델기반얼굴인식알고리즘엔진부(610)와,
모델기반얼굴인식알고리즘엔진부를 통해 분석한 사용자의 성별, 연령별을 추정하여 사용자의 기호품, 구매도, 취미에 관한 기본정보를 유추하고, 유추한 사용자 기본정보에 따라 컨텐츠목록을 재구성하여 사이니지디스플레이부에 1:1 맞춤형컨텐츠를 표출시키도록 제어하는 맞춤형컨텐츠표출제어부(620)와,
초음파센서부를 통해 사용자의 접근거리감지신호를 입력받아, 사용자의 접근거리에 따른 사용자의 위치정보를 분석시키는 사용자위치분석부(630)와,
사용자위치분석부를 통해 분석된 사용자의 위치정보에 따라 각 기기의 구동을 순차적으로 제어하는 기기구동제어부(640)와,
음성입력부를 통해 입력된 음성데이터를 기준명령호출음성데이터와 비교분석한 후, 분석한 기준명령호출음성데이터와 매칭된 1:1 호출형컨텐츠를 불러와서 사이니지디스플레이부에 표출시키도록 제어시키는 호출형컨텐츠표출제어부(650)와,
1:1 맞춤형컨텐츠와 1:1 호출형컨텐츠에 그래픽, 텍스트메세지, 사운드 중 어느 하나 또는 둘 이상을 선택해서 믹싱시킨 감성컨텐츠를 사이니지디스플레이부상에 표출시키도록 제어하는 감성컨텐츠표출제어부(660)와,
이웃하는 또 다른 얼굴인식형 인터랙티브 디지털 사이니지장치와 블루투스통신망으로 연결되어 지나가는 사용자의 이동속도에 맞게 1:1 맞춤형컨텐츠 및 1:1 호출형컨텐츠를 순차적으로 디스플레이시키도록 1:1 맞춤형컨텐츠 및 1:1 호출형컨텐츠를 전송시키는 블루투스형 데이터전송부(670)로 구성되는 것을 특징으로 하는 얼굴인식형 인터랙티브 디지털 사이니지장치.
A signage main body 100 having a rectangular panel shape for protecting and supporting each device from external pressure,
An image camera 200 positioned at one side of the upper center of the signage main body and one side of the lower center and photographing the user's face,
An audio input unit 300 located on one side and the other side of both side surfaces of the signage main body for receiving and storing user's voice,
A human body detection sensor unit 400 positioned at one side of the upper end and the lower side of the body and sensing the approach of the user,
An ultrasonic sensor part 500 positioned at one side of the top and left and right sides of the upper part of the signage main body and sequentially sensing the user's approach distance at the maximum distance and the minimum distance through the ultrasonic wave,
When the user's approach detection signal is inputted through the human body detection sensor unit and the user's approach distance detection signal is inputted through the ultrasonic sensor unit and the user's face is within the reference set value range, , The face data of the user photographed through the video camera is input and compared with the reference face data set in advance and then the basic information about the enjoyment, taste, and hobby of the user is estimated by estimating the sex and age of the user, The content list is reconstructed according to the inferred user basic information to control to display the 1: 1 customized content on the display unit, and the voice data input from the voice input unit is compared with the reference command call voice data and analyzed 1: 1 callable content matched with the reference command call voice data is fetched and displayed on the signage display unit And interactive signage controller 600 that allows control key,
According to the control signal of the interactive signage control unit, the sign display unit 700 displays the 1: 1 customized content suited to the sex and age of the user, or the 1: 1 callable content suited to the user's voice data A face recognition type interactive digital signage apparatus comprising:
The interactive signage control unit 600
In order to express the pattern of the facial expression which changes with time in response to the user's facial data taken through the video camera, the PCA (Principal Component Analysis) spatially analyzing the facial expression characteristic and the HMM-based facial HMM A model-based face recognition algorithm engine unit 610 for finding feature points through the Markov Model and recognizing facial expressions using the relationship between the feature points,
Model-based face recognition algorithm engine unit, estimates the user's gender and age, estimates basic information about the user's pungent, purchase, and hobby, reconstructs the content list according to the inferred user basic information, A customized content contention control unit 620 that controls to display 1: 1 customized content,
A user position analyzer 630 for receiving a user's approach distance detection signal through the ultrasonic sensor unit and analyzing the user's position information according to the user's access distance,
A device driving control unit 640 for sequentially controlling the driving of each device according to the location information of the user analyzed through the user location analyzing unit,
A call for comparing and analyzing the voice data input through the voice input unit with the reference command call voice data and calling the 1: 1 call type content matched with the analyzed reference command call voice data to be displayed on the signage display unit Type content display control unit 650,
The emotional content display control unit 660 controls the emotional content, which is selected by mixing one or more of graphic, text message, sound, and mixed in 1: 1 customized content and 1: 1 callable content, Wow,
One-to-one custom content and 1-to-1 custom content to sequentially display 1: 1 customized content and 1: 1 paged content in accordance with the speed of the user passing through the Bluetooth communication network and another face recognition type interactive digital signage device : ≪ / RTI > a Bluetooth type data transfer unit (670) for transferring one call content.
음성입력부를 통해 입력된 음성데이터의 시간적 변화를 모델링하는 천이확률과 스펙트럼 변화를 출력함수로 나타낸 후, 주어진 모델과의 확률적인 추정값을 이용하여 모델의 유사도를 연산시켜 음성인식 속도를 높이는 히든 마르코프모델알고리즘엔진부(680)가 포함되어 구성되는 것을 특징으로 하는 얼굴인식형 인터랙티브 디지털 사이니지장치.
The interactive signage control unit (600) according to claim 1, wherein the interactive signage control unit
A Hidden Markov model for increasing the speed of speech recognition by calculating the similarity of a model using a probability estimate of a given model and a transition probability and a spectrum change for modeling a temporal change of voice data input through a voice input unit, And an algorithm engine unit (680) are included in the face recognition-type interactive digital signage apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140115479A KR101602828B1 (en) | 2014-09-01 | 2014-09-01 | The interactive digital signage |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140115479A KR101602828B1 (en) | 2014-09-01 | 2014-09-01 | The interactive digital signage |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160027576A KR20160027576A (en) | 2016-03-10 |
| KR101602828B1 true KR101602828B1 (en) | 2016-03-14 |
Family
ID=55538921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140115479A KR101602828B1 (en) | 2014-09-01 | 2014-09-01 | The interactive digital signage |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101602828B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210111953A (en) | 2020-03-03 | 2021-09-14 | 주식회사 코아소프트 | Customer reaction apparatus using digital signage |
| KR20220150167A (en) | 2021-05-03 | 2022-11-10 | 주식회사 모드랩 | Digital signage apparatus |
| WO2024071552A1 (en) * | 2022-09-26 | 2024-04-04 | 주식회사 네오툰 | Method for providing fandom interactive image exchange service |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017164478A1 (en) * | 2016-03-25 | 2017-09-28 | 한국과학기술원 | Method and apparatus for recognizing micro-expressions through deep learning analysis of micro-facial dynamics |
| KR102036955B1 (en) * | 2016-03-25 | 2019-10-25 | 한국과학기술원 | Method for recognizing subtle facial expression using deep learning based analysis of micro facial dynamics and apparatus therefor |
| KR101672001B1 (en) * | 2016-04-06 | 2016-11-16 | 주식회사 동진컴퍼니 | Advertising Display system using Smart film screen |
| KR101896489B1 (en) * | 2016-09-12 | 2018-09-10 | 주식회사 인포스 | Smart film Advertise set-top box system for Advertising Display control using Smart film screen |
| KR102308871B1 (en) * | 2016-11-02 | 2021-10-05 | 삼성전자주식회사 | Device and method to train and recognize object based on attribute of object |
| KR101957170B1 (en) * | 2017-05-29 | 2019-03-12 | 엘지전자 주식회사 | Home appliance and method for operating the same |
| KR102564855B1 (en) | 2018-01-08 | 2023-08-08 | 삼성전자주식회사 | Device and method to recognize object and face expression, and device and method to train obejct and face expression robust to facial change |
| KR20200004014A (en) | 2018-07-03 | 2020-01-13 | 배솜이 | Digital signage system for clothing fitting and method for displaying items using thereof |
| US10831817B2 (en) | 2018-07-16 | 2020-11-10 | Maris Jacob Ensing | Systems and methods for generating targeted media content |
| US11615134B2 (en) | 2018-07-16 | 2023-03-28 | Maris Jacob Ensing | Systems and methods for generating targeted media content |
| KR102188929B1 (en) * | 2018-09-14 | 2020-12-09 | 나모웹비즈주식회사 | Display device, method and server for providing augmented reality, virtual reality or mixed reality contents |
| CN109345312A (en) * | 2018-10-08 | 2019-02-15 | 四川长虹电器股份有限公司 | The method and system of advertisement are put on by classification based on interactive voice and recognition of face |
| KR102124705B1 (en) * | 2018-11-29 | 2020-06-19 | 장명호 | Display control device |
| CN110415695A (en) * | 2019-07-25 | 2019-11-05 | 华为技术有限公司 | A kind of voice awakening method and electronic equipment |
| CN110413096B (en) * | 2019-08-02 | 2021-12-14 | 深圳市米优文化网络有限公司 | Advertisement intelligent display system based on big data |
| KR102177015B1 (en) | 2019-08-20 | 2020-11-10 | 정봉근 | Digital signage system |
| KR20190107623A (en) * | 2019-09-02 | 2019-09-20 | 엘지전자 주식회사 | Signage apparatus and method for operating thereof |
| KR102234515B1 (en) * | 2019-10-15 | 2021-03-30 | 서울과학기술대학교 산학협력단 | Signage contents display device |
| WO2021221197A1 (en) * | 2020-04-28 | 2021-11-04 | 주식회사 이노스피치 | Face recognition and iot-based ad curation signage system |
| KR102183475B1 (en) * | 2020-09-24 | 2020-11-26 | 주식회사 이노피아테크 | Method and Apparatus for Providing of section divided heterogeneous image recognition service in a single image recognition service operating environment |
| KR102655761B1 (en) * | 2023-08-29 | 2024-04-08 | 주식회사 넥스트페이먼츠 | Electronic device and method for recognizing human characteristics and recommending products |
| CN117037789B (en) * | 2023-10-09 | 2023-12-08 | 深圳市加推科技有限公司 | Customer service voice recognition method and device, computer equipment and storage medium |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101718012B1 (en) * | 2010-01-13 | 2017-03-20 | 엘지전자 주식회사 | Digital signage apparatus and method the same |
| KR101264669B1 (en) * | 2011-02-22 | 2013-05-15 | 핑거터치인터내셔널 주식회사 | Rotary type digital information display having means for sensing user |
| KR101271483B1 (en) | 2011-06-17 | 2013-06-05 | 한국항공대학교산학협력단 | Smart digital signage using customer recognition technologies |
| KR20140089876A (en) * | 2013-01-07 | 2014-07-16 | 삼성전자주식회사 | interactive interface apparatus and method for comtrolling the server |
-
2014
- 2014-09-01 KR KR1020140115479A patent/KR101602828B1/en not_active IP Right Cessation
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210111953A (en) | 2020-03-03 | 2021-09-14 | 주식회사 코아소프트 | Customer reaction apparatus using digital signage |
| KR20220165227A (en) | 2020-03-03 | 2022-12-14 | 주식회사 코아소프트 | Customer reaction apparatus using digital signage |
| KR20220150167A (en) | 2021-05-03 | 2022-11-10 | 주식회사 모드랩 | Digital signage apparatus |
| WO2024071552A1 (en) * | 2022-09-26 | 2024-04-04 | 주식회사 네오툰 | Method for providing fandom interactive image exchange service |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160027576A (en) | 2016-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101602828B1 (en) | The interactive digital signage | |
| JP7431178B2 (en) | function panel | |
| KR101793628B1 (en) | Transparent display apparatus and method thereof | |
| US10509460B2 (en) | Transparent display apparatus and method thereof | |
| CN109716378B (en) | Information collection system, electronic shelf label, electronic POP advertisement device and character information display device | |
| KR102127356B1 (en) | Transparent display apparatus and control method thereof | |
| US20060214892A1 (en) | Display device and display method | |
| CN112997477A (en) | Display device and display control method | |
| JP7318078B2 (en) | Display device | |
| CN109147693A (en) | Light emitting display device with infrared identification | |
| KR101271767B1 (en) | Device for advertising products using transparent liquid crystal display | |
| TW200844809A (en) | Display apparatus | |
| KR20210002009A (en) | Functional panel, semiconductor device, display device, input/output device, data processing device | |
| JP2022033894A (en) | Display panel and data processing device | |
| KR101971521B1 (en) | Transparent display apparatus and method thereof | |
| JPWO2019234555A1 (en) | Display panel, display device, input / output device, information processing device | |
| KR20210045431A (en) | Display panel, display device, input/output device, information processing device | |
| KR101385717B1 (en) | Walk-in cooler door having transmissive display and walk-in cooler including the same | |
| WO2021240291A1 (en) | Optical functional device, functional panel, display device, input/output device, information processing device | |
| KR101896099B1 (en) | Transparent display apparatus and method thereof | |
| WO2020003056A1 (en) | Display panel, display device, input/output device and information processing device | |
| CN113811936A (en) | Data processing apparatus | |
| JP2010118016A (en) | Input device, input method, input program, and computer-readable recording medium | |
| Tsesmelis et al. | Human-centric light sensing and estimation from RGBD images: The invisible light switch | |
| WO2021069999A1 (en) | Function panel, display device, i/o device, and information processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |