KR101926585B1 - Control system having a smart display apparatus based on artificial intelligence and a method thereof - Google Patents
Control system having a smart display apparatus based on artificial intelligence and a method thereof Download PDFInfo
- Publication number
- KR101926585B1 KR101926585B1 KR1020180023691A KR20180023691A KR101926585B1 KR 101926585 B1 KR101926585 B1 KR 101926585B1 KR 1020180023691 A KR1020180023691 A KR 1020180023691A KR 20180023691 A KR20180023691 A KR 20180023691A KR 101926585 B1 KR101926585 B1 KR 101926585B1
- Authority
- KR
- South Korea
- Prior art keywords
- output
- content information
- artificial intelligence
- unit
- display device
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000004458 analytical method Methods 0.000 claims abstract description 27
- 238000013527 convolutional neural network Methods 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 14
- 239000002131 composite material Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 240000007651 Rubus glaucus Species 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0242—Determining effectiveness of advertisements
- G06Q30/0244—Optimization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Marketing (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Finance (AREA)
- Tourism & Hospitality (AREA)
- Primary Health Care (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 인공지능 기반 스마트 디스플레이 장치를 포함하는 제어 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 사용자 단말기의 제어에 따라 노출되는 컨텐츠 정보를 실시간으로 변경하는 것이 가능하며, 각 출력부에 구비된 입력부를 통해 획득한 영상으로부터 주변상황을 인식하여 인식된 정보를 분석 및 학습함으로써 인공지능 기반의 분석 결과에 따른 컨텐츠 정보를 출력하는 것이 가능한 인공지능 기반 스마트 디스플레이 장치를 포함하는 제어 시스템 및 그 방법에 관한 것이다.The present invention relates to a control system including a smart display device based on artificial intelligence and a method thereof, and more particularly, to a control system and a method thereof, which can change content information exposed in accordance with a control of a user terminal in real time, A control system including an artificial intelligence-based smart display device capable of outputting content information according to an artificial intelligence-based analysis result by analyzing and learning recognized information by recognizing a surrounding situation from an image acquired through an input unit; .
과거에는 대형 전광판이나 고급형 텔레비전에서나 볼 수 있었던 대형 디스플레이들이 현대에는 일반 공공장소나 일반 소매점 등에서도 수십 수백 개씩 장착되어 활용될 만큼 디스플레이장치의 기술개발이 빠르게 이루어졌으며, 그 가격대도 충분히 다양하게 활용될 수 있을 만큼 저렴해졌다.In the past, large-sized displays, such as those found in large electronic signboards and high-end televisions, have been rapidly developed and used in a wide variety of applications, such as in public places and general retail stores. It is cheap enough to be able.
종래에는 LED 전광판이 다양한 중소형의 광고 디스플레이어로 되었는데, 예를 들면 상점의 쇼 윈도우(show window) 등에 상점의 상품을 광고하기 위해 이용되고 있다.2. Description of the Related Art [0002] In the past, LED electronic signboards have become various small and medium sized advertisement displays. For example, they have been used to advertise merchandise of stores in show windows of shops.
이뿐만 아니라, 백화점이나 대형 쇼핑몰에서 안내나 매장 정보를 위한 디스플레이로도 이용되며, 엘리베이터 등의 공공 장소에서도 LED 전광판이 다양한 정보를 제공하기 위한 용도로 이용되고 있다.In addition to this, it is used as a display for information and store information in a department store or a large shopping mall, and an LED electric signboard is used for providing various information even in a public place such as an elevator.
그런데, 종래의 LED 전광판은 LED 전광판에 내장된 메모리에 미리 저장된 몇 가지의 문구만을 디스플레이하거나 미리 정해진 영상만을 고정적으로 디스플레이하도록 구성되어 있다.However, the conventional LED display panel is configured to display only a few phrases previously stored in a memory built in the LED display board or to display only a predetermined image fixedly.
메모리에 저장된 내용만을 디스플레이하는 경우에는 전원을 끌 때까지 동일한 내용만을 반복하여 디스플레이하는 단점이 있다.In the case of displaying only the contents stored in the memory, there is a disadvantage that only the same contents are repeatedly displayed until the power is turned off.
이에, LED 전광판을 통해 좀 더 다양한 컨텐츠를 제공하기 위해 유선으로 키패드(key pad)와 연결하여 컨텐츠를 변경하여 디스플레이하거나 무선 방식으로서는 리모트 컨트롤(remote control)을 이용하여 문구를 사용자가 직접 변경하여 송신하는 방식이 이용되었다. 한국등록특허 [10-1029858]에서는 키패드를 이용한 유선 방식을 개시하고 있으며, 한국등록특허 [10-0918083]에서는 적외선 리모트 컨트롤 방식을 개시하고 있다. 그런데, 키패드나 적외선 리모트 컨트롤 방식은 사용자의 문구 입력이 제한된다는 불편함이 있다.Accordingly, in order to provide a variety of contents through the LED electronic signboard, the content is changed by connecting it with a keypad as a wired pad, or the user directly changes a phrase using a remote control . Korean Patent No. 10-109858 discloses a wired method using a keypad, and Korean Patent No. 10-0918083 discloses an infrared remote control method. However, there is an inconvenience that the keypad or the infrared remote control method is limited in user input of a phrase.
예를 들어, 거리의 상점에서 행인들에게 신속하게 할인 정보를 알려야 할 경우 사용자가 손쉽고 편리하게 문구나 컨텐츠를 변경하기가 쉽지 않다는 문제점이 있다. 유선인 경우에는 LED 전광판이 키패드 또는 PC와 거리가 먼 경우 유선 정보 전송이 곤란할 경우도 있다.For example, when a shop in the street needs to quickly inform the shoppers of discount information, there is a problem that it is not easy for the user to easily change the phrase or contents. In case of wired, it may be difficult to transmit wired information when the LED electronic signboard is far from the keypad or PC.
한편, 등록실용공보 20-0332267은 블루투스 무선 어댑터를 이용한 전광판 표시장치 방식도 개시하고 있으나, 여전히 스마트폰 등을 이용한 문구 입력과 수정이 아니므로 문구 입력이나 컨텐츠의 변경에 제한이 있다는 단점이있다.On the other hand, Registration Practice Bulletin 20-0332267 also discloses a method of displaying an electric signboard using a Bluetooth wireless adapter, but still has a disadvantage in that it is not limited to inputting and modifying a phrase using a smart phone or the like, thereby limiting input of a phrase or changing of contents.
또한, 스마트폰이 아닌 주로 PC 등으로부터 블루투스 무선 어댑터를 연결하여 이용하고 있으므로, 근거리 통신의 통신 반경의 제약으로 인해 차량에 부착되는 이동형 LED 전광판에는 적용되기 어렵다는 한계가 있다. 특히, 차량에 이동형 LED 전광판을 통해 광고 컨텐츠를 디스플레이하는 경우에는 지역과 시간의 특성을 반영한 광고 컨텐츠를 디스플레이할 필요가 있는데, 기존에는 신속하게 컨텐츠나 문구를 변경할 수 없고 이미 메모리에 저장된 획일적인 광고 컨텐츠와 문구만 디스플레이 할 수 있을 뿐이었다.In addition, since a Bluetooth wireless adapter is mainly used from a PC or the like rather than a smart phone, it is difficult to apply to a portable LED electronic billboard attached to a vehicle due to restriction of the communication radius of the short distance communication. In particular, when the advertisement contents are displayed on the mobile LED display board in the vehicle, it is necessary to display the advertisement contents reflecting the characteristics of the area and the time. In the past, it is impossible to change contents or phrases quickly, Only content and phrases could be displayed.
즉, LED 전광판과 컨트롤러를 통해서 상황에 맞는 정보를 적절하게 지속적으로 변경하는 것이 기존의 방식으로는 적합하지 않다.In other words, it is not suitable for the conventional method to continuously and appropriately change the information according to the situation through the LED display board and the controller.
이에, 한국등록특허[10-1676908]에서는, 스마트폰을 이용한 실시간 LED 전광판 시스템 및 그 출력 방법을 개시하고 있다.Korean Patent No. 10-1676908 discloses a real-time LED electric signboard system using a smart phone and an output method thereof.
한편, LED 전광판 자체의 용도는 고객들에게 일방적으로 정보나 광고 컨텐츠 등을 제공하는 것이지만, 주변상황에 대하여 고려하거나 주변상황을 분석하여 그 결과에 따른 안내 정보나 필요한 컨텐츠를 제공하는 것은 불가능하다.On the other hand, the use of the LED display board itself provides information and advertisement contents unilaterally to the customers, but it is impossible to consider the surrounding situation or to analyze the surrounding situation and to provide the guide information or necessary contents according to the result.
따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 사용자 단말기의 제어에 따라 노출되는 컨텐츠 정보를 실시간으로 변경하는 것이 가능하며, 각 출력부에 구비된 입력부를 통해 획득한 영상으로부터 주변상황을 인식하여 인식된 정보를 분석 및 학습함으로써 인공지능 기반의 분석 결과에 따른 컨텐츠 정보를 출력하는 것이 가능한 인공지능 기반 스마트 디스플레이 장치를 포함하는 제어 시스템 및 그 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the above-mentioned problems, and it is an object of the present invention to provide an information processing apparatus, which can change content information exposed in accordance with a control of a user terminal in real time, And a smart display device based on artificial intelligence capable of outputting content information according to an artificial intelligence-based analysis result by analyzing and learning the recognized information by recognizing the surrounding situation from the image acquired through the intelligent display device will be.
본 발명의 실 시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The objects of the embodiments of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description .
상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 인공지능 기반 스마트 디스플레이 장치를 포함하는 제어 시스템에 있어서, 사용자의 제어에 따라 노출되는 제1 컨텐츠 정보를 실시간으로 변경하여 출력하고, 주변상황을 인식하여 인식된 주변상황정보를 분석 및 학습한 결과에 따른 제2 컨텐츠 정보를 출력하기 위한 스마트 디스플레이 장치(100); 사용자로부터 상기 스마트 디스플레이 장치를 제어하기 위한 출력 제어 신호를 입력받기 위한 사용자 단말기(110); 및 상기 사용자 단말기를 통해 입력받은 상기 출력 제어 신호를 상기 스마트 디스플레이 장치로 전송하고, 상기 스마트 디스플레이 장치로부터 분석 및 학습한 결과를 전달받고, 상기 제2 컨텐츠 정보의 출력 이력을 수신하여 저장하기 위한 디스플레이관리서버(120)를 포함하고, 상기 스마트 디스플레이 장치(100)는, 주변상황을 감지하기 위한 다수의 입력부(101 내지 104); 상기 제1 컨텐츠 정보 또는 상기 제2 컨텐츠 정보를 출력하는 다수의 출력부(106 내지 109); 및 상기 출력 제어 신호에 따른 상기 제1 컨텐츠 정보를 상기 다수의 출력부로 출력하도록 제어하고, 상기 다수의 입력부를 통해 획득한 영상을 인공지능 기반으로 인식, 분석 및 학습하여, 그 결과에 따른 상기 제2 컨텐츠 정보를 상기 다수의 출력부로 출력하도록 제어하기 위한 상기 디스플레이 제어부(105)를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a control system including an artificial intelligence-based smart display device according to an embodiment of the present invention, A smart display device (100) for outputting second content information according to a result of analyzing and learning the recognized surrounding situation information by recognizing the surrounding situation; A
상기 디스플레이 제어부(105)는, 상기 디스플레이관리서버, 상기 다수의 입력부, 및 상기 다수의 출력부와 데이터를 송수신하기 위한 송수신부(201); 인공지능 기반 알고리즘에 따라 상기 다수의 입력부로부터 전달받은 데이터로부터 주변상황을 인식하기 위한 인식부(204); 상기 인공지능 기반 알고리즘에 따라 주변상황의 인식 결과를 분석하여 출력할 제2 컨텐츠 정보를 결정하기 위한 분석부(205); 상기 인공지능 기반 알고리즘에 따라 분석된 분석 결과 및 출력된 제2 컨텐츠 정보를 학습하기 위한 학습부(206); 출력할 제2 컨텐츠 정보 및 상기 인공지능 기반 알고리즘에 따라 분석된 분석 결과, 및 출력된 제2 컨텐츠 정보의 출력 이력을 저장하고 있는 저장부(203); 및 상기 송수신부(201), 상기 인식부(204), 상기 분석부(205), 상기 학습부(206) 및 상기 저장부(203)를 포함한 각 구성요소를 제어하기 위한 제어부(202)를 포함하는 것을 특징으로 한다.The
상기 인식부(204)는, 객체 탐지(Object Detection) 기술 및 합성곱신경망(CNN: Convolutional Neural Network) 기술을 이용하여 상기 영상에 포함된 사물을 인식하는 것을 특징으로 하고, 상기 분석부(205)는, 상기 인식한 사물의 키워드를 추출하고, 상기 추출된 키워드를 이용하여 상기 다수의 출력부에 출력할 제2 컨텐츠 정보를 검색하는 것을 특징으로 한다.The
상기 학습부(206)는, 출력된 제2 컨텐츠 정보를 학습하여, 상기 출력된 제2 컨텐츠 정보에 대한 새로운 키워드를 분류 및 업데이트하는 것을 특징으로 한다.The
또한, 상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 인공지능 기반 스마트 디스플레이 장치의 제어 방법에 있어서, 디스플레이관리서버를 통해 사용자 단말기로부터 전달받은 출력 제어 신호에 따른 제1 컨텐츠 정보를 다수의 출력부를 통해 출력하는 제1컨텐츠정보출력단계(S520); 다수의 입력부를 통해 주변상황을 감지 및 입력받는 입력단계(S530); 및 인공지능 기반 알고리즘에 따라 상기 주변상황을 인식하고, 인식된 주변상황정보를 분석 및 학습한 결과에 따른 제2 컨텐츠 정보를 상기 다수의 출력부를 통해 출력하는 제2컨텐츠정보출력단계(S540)를 포함하고, 상기 제2컨텐츠정보출력단계(S540)는, 상기 인공지능 기반 알고리즘에 따라 상기 다수의 입력부로부터 전달받은 영상으로부터 주변상황을 인식하는 인식단계(S541); 상기 인공지능 기반 알고리즘에 따라 주변상황의 인식 결과를 분석하여 출력할 제2 컨텐츠 정보와 관련된 키워드를 추출하는 분석단계(S542); 추출된 키워드를 이용하여 출력할 제2 컨텐츠 정보를 검색하는 검색단계(S543); 상기 다수의 출력부를 통해 상기 검색된 제2 컨텐츠 정보를 출력하는 출력단계(S544); 및 상기 인공지능 기반 알고리즘에 따라 분석된 분석 결과, 및 출력된 제2 컨텐츠 정보를 학습하는 학습단계(S545)를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for controlling an intelligent display device based on artificial intelligence, including the steps of: receiving first content information according to an output control signal received from a user terminal through a display management server; (S520) of outputting the first content information through a plurality of output units; An input step (S530) of detecting and inputting a surrounding situation through a plurality of input units; And a second content information output step (S540) of recognizing the surrounding situation according to an artificial intelligence based algorithm and outputting second content information according to a result of analyzing and learning the recognized surrounding situation information through the plurality of output units Wherein the second content information output step (S540) comprises: a recognition step (S541) of recognizing a surrounding situation from the image received from the plurality of input units according to the AI-based algorithm; Analyzing a recognition result of a surrounding situation according to the artificial intelligence-based algorithm and extracting keywords related to second content information to be output (S542); A retrieving step (S543) of retrieving second content information to be output using the extracted keyword; An output step (S544) of outputting the retrieved second content information through the plurality of output units; And a learning step (S545) of learning the analyzed result analyzed according to the artificial intelligence based algorithm and the output second content information.
상기 인공지능 기반 스마트 디스플레이 장치의 제어 방법은, 상기 인공지능 기반 알고리즘에 따라 분석된 분석 결과, 출력된 제2 컨테츠 정보의 출력 이력, 새롭게 분류 및 업데이트된 키워드를 상기 디스플레이관리서버로 전송하는 전송단계(S550)를 더 포함하는 것을 특징으로 한다.The control method of the artificial intelligence-based smart display device may further comprise a transmission step of transmitting an output history of the output second content information, a newly classified and updated keyword to the display management server as a result of analysis analyzed according to the AI algorithm, (S550).
상기 인식단계(S541)는, 객체 탐지(Object Detection) 기술 및 합성곱신경망(CNN: Convolutional Neural Network) 기술을 이용하여 상기 영상에 포함된 사물을 인식하는 것을 특징으로 한다.The recognizing step S541 recognizes an object included in the image using an object detection technique and a CNN (Convolutional Neural Network) technique.
상기 제1 컨텐츠 정보 및 상기 제2 컨텐츠 정보는, 닷넷(.NET) 프로그래밍, 및 마이크로소프트 파운데이션 클래스(MFC : Microsoft Foundation Class) 라이브러리를 사용하여 설계된 디스플레이프로그램에 의해 상기 다수의 출력부로 표시되는 것을 특징으로 한다.The first content information and the second content information are displayed as the plurality of output units by a display program designed using .NET programming and a Microsoft Foundation Class (MFC) library. .
본 발명의 일 실시예에 따르면, 상기 인공지능 기반 스마트 디스플레이 장치의 제어 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체가 제공되는 것을 특징으로 한다.According to an embodiment of the present invention, there is provided a computer-readable recording medium storing a program for implementing the method of controlling the artificial intelligence-based smart display device.
아울러, 본 발명의 일 실시예에 따르면, 상기 인공지능 기반 스마트 디스플레이 장치의 제어 방법을 구현하기 위해, 컴퓨터 판독 가능한 기록매체에 저장된 프로그램이 제공되는 것을 특징으로 한다.According to an embodiment of the present invention, a program stored in a computer-readable recording medium is provided to implement the method of controlling the artificial intelligence-based smart display device.
본 발명의 일 실시예에 따른 인공지능 기반 스마트 디스플레이 장치를 포함하는 제어 시스템 및 그 방법에 의하면, 사용자(스마트 디스플레이 장치 소유자)가사용자 단말기를 통해 스마트 디스플레이 장치에 출력할 정보(문구, 광고 파일, 오디오 광고 파일 등)를 직접 입력하고 송신하여 다수의 출력부(예: 스크린 형태 전광판)에 출력되도록 함으로써, 사용자가 원하는 문구나 광고를 실시간으로 편리하게 편집하여 변경할 수 있는 효과가 있다.According to the control system and the method including the artificial intelligence-based smart display device according to an embodiment of the present invention, information (phrase, advertisement file, etc.) to be output to the smart display device through the user terminal (smart display device owner) Audio advertisement file, etc.) are directly inputted and transmitted to be outputted to a plurality of output units (e.g., screen type electric sign board), so that the user can easily edit and change the desired phrase or advertisement in real time.
또한, 본 발명의 일 실시예에 따른 인공지능 기반 스마트 디스플레이 장치를 포함하는 제어 시스템 및 그 방법에 의하면, 다수의 입력부를 통해 획득한 영상으로부터 주변상황을 인식하여 인식된 정보를 분석 및 학습함으로써 인공지능 기반 알고리즘에 따른 적합한 컨텐츠 정보(예: 광고 컨텐츠)를 다수의 출력부를 통해 적재적소에서 노출하여 광고 효율을 높일 수 있는 효과가 있다.In addition, according to the control system including the artificial intelligence-based smart display device according to the embodiment of the present invention and the method thereof, the surrounding state is recognized from the image acquired through the plurality of input units, It is possible to expose the appropriate content information (e.g., advertisement contents) according to the intelligent-based algorithm in a proper place through a plurality of output units, thereby improving advertisement efficiency.
또한, 본 발명의 일 실시예에 따른 인공지능 기반 스마트 디스플레이 장치를 포함하는 제어 시스템 및 그 방법에 의하면, 기존에는 각 출력부마다 통신모듈이 설치되어 있어 다수의 출력부를 제어하기 위해서는 통신비용이 출력부의 개수만큼 소요되는 단점이 있었으나, 하나의 사용자 단말기로 다수의 출력부(예를 들어, 전광판, 광고 매체)를 한 번에 제어하는 것이 가능하므로, 통신비용이 한 번만 소요되므로 경제적인 효과가 있다.In addition, according to the control system including the artificial intelligence-based smart display device according to an embodiment of the present invention and the method thereof, a communication module is installed in each output unit, and in order to control a plurality of output units, However, since it is possible to control a plurality of output units (for example, an electric sign board and an advertising medium) at a time by a single user terminal, the communication cost is only once, which is economical .
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 스마트 디스플레이 장치를 포함하는 제어 시스템의 구성도.
도 2는 도 1의 디스플레이 제어부의 상세 구성도.
도 3은 본 발명에 적용되는 합성곱신경망에 대하여 설명하기 위한 설명도.
도 4는 도 2의 인식부에 수행되는 인식 결과를 설명하기 위한 설명도.
도 5는 본 발명의 일 실시예에 따른 인공지능 기반 스마트 디스플레이 장치의 제어 방법의 흐름도.1 is a configuration diagram of a control system including an artificial intelligence-based smart display device according to an embodiment of the present invention;
2 is a detailed configuration diagram of the display control unit of FIG.
FIG. 3 is an explanatory diagram for explaining a compound-object neural network applied to the present invention; FIG.
4 is an explanatory diagram for explaining a recognition result performed by the recognition unit of FIG. 2;
5 is a flowchart of a method of controlling an artificial intelligence-based smart display device according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, .
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the term "comprises" or "having ", etc. is intended to specify the presence of stated features, integers, steps, operations, elements, parts, or combinations thereof, And does not preclude the presence or addition of one or more other features, integers, integers, steps, operations, elements, components, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the meaning in the context of the relevant art and are to be construed as ideal or overly formal in meaning unless explicitly defined in the present application Do not.
이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다.Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings. Prior to this, terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms, and the inventor should appropriately interpret the concept of the term appropriately in order to describe its own invention in the best way. The present invention should be construed in accordance with the meaning and concept consistent with the technical idea of the present invention. Further, it is to be understood that, unless otherwise defined, technical terms and scientific terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Descriptions of known functions and configurations that may be unnecessarily blurred are omitted. The following drawings are provided by way of example so that those skilled in the art can fully understand the spirit of the present invention. Therefore, the present invention is not limited to the following drawings, but may be embodied in other forms. In addition, like reference numerals designate like elements throughout the specification. It is to be noted that the same elements among the drawings are denoted by the same reference numerals whenever possible.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 스마트 디스플레이 장치를 포함하는 제어 시스템의 구성도이다.1 is a configuration diagram of a control system including an artificial intelligence-based smart display device according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인공지능 기반 스마트 디스플레이 장치를 포함하는 제어 시스템은, 스마트 디스플레이 장치(100), 사용자 단말기(110), 및 디스플레이관리서버(120)를 포함한다.1, a control system including an artificial intelligence-based smart display device according to an embodiment of the present invention includes a
상기 스마트 디스플레이 장치(100)는 다수의 출력부 및 다수의 입력부를 구비하며 사용자의 제어에 따라 노출되는 제1 컨텐츠 정보를 실시간으로 변경하여 출력하고, 주변상황을 인식하여 인식된 주변상황정보를 분석 및 학습한 결과에 따른 제2 컨텐츠 정보를 출력한다.The
상기 사용자 단말기(110)는 사용자가 상기 스마트 디스플레이 장치(100)에 구비된 다수의 출력부에 디스플레이되는 컨텐츠 정보를 설정 및 제어하기 위한 출력 제어 신호를 입력받는다. 상기 출력 제어 신호는, 사용자 단말기의 식별자, 스마트 디스플레이 장치의 식별자, 각 출력부의 식별자, 출력부에 출력될 내용, 각 출력부에 출력된 내용에 해당하는 식별자, 및 출력되는 시간 등을 포함할 수 있다.The
디스플레이관리서버(120)는 통신 네트워크를 통하여 다수의 사용자 단말기(110)와 통신하며, 상기 사용자 단말기(110)로부터 해당 스마트 디스플레이 장치(100)를 제어하는데 필요한 데이터를 수신받거나, 상기 사용자 단말기(110)로부터 전달받은 데이터를 상기 해당 스마트 디스플레이 장치(100)로 전송할 수 있다.The
상세하게는, 상기 디스플레이관리서버(120)는 상기 사용자 단말기(110)를 통해 입력받은 상기 출력 제어 신호를 상기 스마트 디스플레이 장치(100)로 전송하고, 상기 스마트 디스플레이 장치(100)로부터 분석 및 학습한 결과를 전달받고, 상기 제2 컨텐츠 정보의 출력 이력을 수신하여 저장한다. 또한, 상기 디스플레이관리서버(120)는 상기 스마트 디스플레이 장치(100)로부터 전달받은 인공지능 기반 제2 컨텐츠 정보 출력 이력 및 이와 관련된 분석 결과를 사용자 단말기(110)로 전송할 수 있다.In detail, the
여기서, 통신 네트워크는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN: Local Area Network), 도시권 통신망(MAN: Metropolitan Area Network), 광역 통신망(WAN: Wide Area Network), 저전력광대역무선통신망(LPW: ANLow-Power Wide-Area Network), 및 로라(LoRa, Long Range) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 발명에서 말하는 통신 네트워크는 공지의 월드와이드웹(WWW; World Wide Web)일 수도 있다.Here, the communication network may be configured without regard to its communication mode such as wired and wireless, and may be a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN) , A low power wide area network (LPW), and a long range (LoRa). Preferably, the communication network in the present invention may be a known World Wide Web (WWW).
상기 사용자 단말기(110)는 해당 스마트 디스플레이 장치(100)를 제어하기 위해서 사용자가 통신 네트워크를 통하여 디스플레이관리서버(120)에 접속한 후 통신할 수 있도록 하는 기능을 포함하는 디지털 기기로서, 개인용 컴퓨터(예를 들어, 데스크탑 컴퓨터, 노트북 컴퓨터 등), 워크스테이션, PDA, 웹 패드, 이동 전화기 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 사용자 단말기(110)로서 채택될 수 있다.The
사용자 단말기(110)는 단말기 내에 설치된 어플리케이션(API)을 통해 상기 스마트 디스플레이 장치(100)를 제어할 수 있으며, 통신 네트워크를 통한 웹페이지에 접속하여 상기 스마트 디스플레이 장치(100)를 제어할 수 있다.The
또한, 상기 사용자 단말기(110)는 컨텐츠 제공자(광고주)의 단말기가 될 수 있다. 상기 사용자 단말기(110)는 단말기 내에 설치된 어플리케이션(API) 또는 웹페이지를 통해 상기 디스플레이관리서버(120)에 접속하여 새롭게 제공되는 컨텐츠 정보를 업로드하는 것이 가능하다.Also, the
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인공지능 기반 스마트 디스플레이 장치를 포함하는 제어 시스템은 다수의 스마트 디스플레이 장치를 포함하여 구성될 수 있으며, 사용자 단말기(110)도 다수 구비될 수 있지만, 설명의 편의를 위해 하나의 스마트 디스플레이 장치(100)를 예로 들어 설명하기로 한다.1, a control system including an artificial intelligence-based smart display device according to an exemplary embodiment of the present invention may include a plurality of smart display devices, and may include a plurality of
상기 스마트 디스플레이 장치(100)는 다수의 입력부(101 내지 104), 디스플레이 제어부(105), 및 다수의 출력부(106 내지 109)를 포함한다.The
한편, 여기서는 다수의 입력부는 제1 입력부(101) 내지 제4 입력부(104)를 포함하는 것으로 설명하였으며, 다수의 출력부는 제1 출력부(106) 내지 제4 출력부(109)를 포함하는 것으로 설명하였으나, 다수의 입력부 및 다수의 출력부의 개수는 이에 한정되지 않는다.The plurality of input units include the
상기 다수의 입력부(101 내지 104)는 출력부가 설치된 장소의 주변상황을 감지한다. 제1 입력부(101) 내지 제4 입력부(104) 각각은 주변 상황을 인식하기 위한 카메라 및 다수의 센서들을 포함할 수 있다.The plurality of
상기 다수의 출력부(106 내지 109)는 상기 제1 컨텐츠 정보 또는 상기 제2 컨텐츠 정보를 출력한다. 제1 출력부(106) 내지 제4 출력부(109) 각각은 종래의 일반적인 LED 전광판 형태의 표시부 또는 스크린 형태의 표시부가 될 수 있다.The plurality of
상기 디스플레이 제어부(105)는 일종의 컴퓨터로, 상기 사용자 단말기(110)의 제어에 따른 출력 제어 정보를 수신하면, 상기 출력 제어 신호에 따른 상기 제1 컨텐츠 정보를 상기 다수의 출력부(106 내지 109)로 출력하도록 제어하고, 상기 다수의 입력부(101 내지 104)를 통해 획득한 영상을 인공지능 기반으로 인식, 분석 및 학습하여, 그 결과에 따른 상기 제2 컨텐츠 정보를 상기 다수의 출력부(106 내지 109)로 출력하도록 제어한다.The
일예로, 상기 디스플레이 제어부(105)는 라즈베리파이로 구현될 수 있다.For example, the
라즈베리파이는 영국의 라즈베리파이 재단이 학교에서의 기초 컴퓨터 과학 교육용 프로젝트의 목적으로 개발한 신용카드 크기의 초소형/초저가 PC이다. 2006년에 개념이 형성되고 재단이 만들어져 2012년 처음 제품이 나온 이후 2013년 1월 초에 백만 대가 판매되었다. 라즈베리파이의 특징은 아두이노와 달리 키보드, 마우스, 모니터만 연결하면 PC가 될 수 있다. 즉 일반 데스크톱과 유사하다는 것이 강조되는 제품이다. Linux OS를 기반으로 하고 세부적인 설정을 제공함으로써 초보 프로그래머에 맞춤형 환경을 제공한다.Raspberry Pie is a credit card sized ultra-small / ultra low-cost PC developed by the British Raspberry Pie Foundation for the purpose of a basic computer science education project at school. A concept was formed in 2006, a foundation was created, and after the first product came out in 2012, a million units were sold in early January 2013. Unlike the Arduino, Raspberry Pie is characterized by a keyboard, mouse, and monitor connected to a PC. It is a product emphasized to be similar to normal desktop. It is based on the Linux OS and provides detailed configuration to provide a novice programmer with a customized environment.
디스플레이 제어프로그램은 일 예로 가장 많이 사용되는 닷넷(.NET) 프로그래밍, 및 마이크로소프트 파운데이션 클래스(MFC : Microsoft Foundation Class) 라이브러리를 사용하여 설계될 수 있다. 마이크로소프트 파운데이션 클래스 라이브러리(MFC Library)는 C++용 프로그램 라이브러리로, 윈도용 응용 프로그램의 통합 개발 환경인 마이크로소프트 비주얼 C++에 부속되는 클래스 라이브러리이다.The display control program can be designed using, for example, the most popular .NET programming and Microsoft Foundation Class (MFC) libraries. The Microsoft Foundation Class Library (MFC Library) is a library for C ++, a class library attached to Microsoft Visual C ++, an integrated development environment for Windows applications.
본 발명에 따른 스마트 디스플레이 장치(100)의 디스플레이 제어부(105)는 다수개의 출력부(106 내지 109)와 연결되어 있어, 다수의 출력부(106 내지 109)를 한 번에 제어하는 것이 가능하다.The
기존에는 각 출력부마다 통신모듈이 설치되어 있어 다수의 출력부를 제어하기 위해서는 통신비용이 출력부의 개수만큼 소요되는 단점이 있었으나, 하나의 사용자 단말기(110)로 다수의 출력부(예를 들어, 전광판, 광고 매체)를 한 번에 제어하는 것이 가능하므로, 통신비용이 한 번만 소요된다.In the prior art, a communication module is provided for each output unit, and a communication cost is required for the number of output units to control a plurality of output units. However, a
도 2는 도 1의 디스플레이 제어부의 상세 구성도이다.2 is a detailed configuration diagram of the display control unit of FIG.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인공지능 기반 스마트 디스플레이 장치를 포함하는 제어 시스템의 디스플레이 제어부(105)는 송수신부(201), 제어부(202), 저장부(203), 인식부(204), 분석부(205) 및 학습부(206)를 포함한다.2, a
상기 송수신부(201)는 상기 디스플레이관리서버(120), 상기 다수의 입력부(101 내지 104), 및 상기 다수의 출력부(106 내지 109)와 데이터를 송수신한다.The
예를 들어, 상기 사용자 단말기로부터 출력 제어 신호 및 새로 업데이트 되는 컨텐츠 정보(광고 등)들을 상기 디스플레이관리서버(120)로부터 통신망을 통해 수신하고, 설치된 지역의 주변상황에 따라 인공지능 알고리즘 기반 출력된 컨텐츠 정보에 대한 출력 이력 및 그에 대한 분석 결과를 디스플레이관리서버(120)로 전송할 수 있다.For example, an output control signal and newly updated content information (advertisement, etc.) from the user terminal are received from the
상기 저장부(203)는 상기 송수신부(201)를 통해 수신한 사용자의 출력 제어 신호, 상기 사용자의 출력 제어 신호에 따라 출력할 제1 컨텐츠 정보, 출력할 제2 컨텐츠 정보들(문구, 광고, 영상광고 등), 상기 인공지능 기반 알고리즘에 따른 주변상황 인식 결과, 분석 결과 및 학습 내용을 저장하고 있으며, 출력된 제2 컨텐츠 정보의 출력 이력을 저장한다.The
상기 인식부(204)는 인공지능 기반 알고리즘에 따라 상기 다수의 입력부(101 내지 104)로부터 전달받은 데이터로부터 주변상황을 인식한다.The
상기 분석부(205)는 상기 인공지능 기반 알고리즘에 따라 주변상황의 인식 결과를 분석하여 출력할 제2 컨텐츠 정보를 결정한다.The
상기 학습부(206)는 상기 인공지능 기반 알고리즘에 따라 분석된 분석 결과 및 출력된 제2 컨텐츠 정보를 학습한다.The
상기 제어부(202)는 상기 송수신부(201), 상기 인식부(204), 상기 분석부(205), 상기 학습부(206) 및 상기 저장부(203)를 포함한 각 구성요소를 제어한다.The
상기 송수신부(201), 상기 제어부(202), 상기 저장부(203), 상기 인식부(204), 상기 분석부(205), 및 상기 학습부(206)는 그 중 적어도 일부가 상기 스마트 디스플레이 장치(100)와 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 상기 스마트 디스플레이 장치(100)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 상기 스마트 디스플레이 장치(100)와 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.At least a part of the transmission /
상기 인식부(204)는, 객체 탐지(Object Detection) 기술 및 합성곱신경망(CNN: Convolutional Neural Network) 기술을 이용하여 입력부를 통해 전달받은 영상에 포함된 사물을 인식한다.The
객체 탐지(Object Detection)는, 컴퓨터 비전과 이미지 프로세싱에 연관된 기술로 외부로부터 들여온 영상, 이미지 중 특정 개체를 추적 및 인식하는 기술이다. 객체 탐지 기술을 이용하여 얼굴인식기술이 상용화될 수 있었다.Object Detection is a technology that is related to computer vision and image processing, and it is a technology to track and recognize specific objects among images and images imported from the outside. Face recognition technology could be commercialized using object detection technology.
합성곱신경망(CNN: Convolutional Neural Network)은 심층 신경망(DNN: Deep Neural Network)의 한 종류로, 하나 또는 여러 개의 콘볼루션 계층(convolutional layer)과 통합 계층(pooling layer), 완전하게 연결된 계층(fully connected layer)들로 구성된 신경망이다. 합성곱신경망은 2차원 데이터의 학습에 적합한 구조를 가지고 있으며, 역전달(Backpropagation algorithm)을 통해 훈련될 수 있다. 영상 내 객체 분류, 객체 탐지 등 다양한 응용 분야에 폭넓게 활용되는 DNN의 대표적 모델 중 하나이다. 합성곱신경망(CNN)은 이전기술인 다층신경망(MLNN : Multi-Layer Neural Network)의 단점을 보완한 기술로 3차원데이터를 입력하고 3차원 데이터 형식으로 출력하여 형상유지에 용이하며 입력데이터의 크기, 회전, 변형과 같은 데이터 본질에 영향을 주지 않는 변화가 있을 경우 발생하는 문제점을 보완한 기술이다. 합성곱신경망(CNN)에 대해서는 도 4를 참조하여 자세히 설명하기로 한다.Convolutional Neural Network (CNN) is a kind of Deep Neural Network (DNN), which consists of one or several convolutional and pooling layers, connected layers. The composite neural network has a structure suitable for learning of two-dimensional data and can be trained through a backpropagation algorithm. It is one of the representative models of DNN which is widely used in various application fields such as classification of objects in images, object detection and so on. CNN is a technique that complements the disadvantages of MLNN (Multi-Layer Neural Network), which is a previous technology. It inputs 3D data and outputs it in 3D data format, This is a technique that solves the problems that arise when there are changes that do not affect the nature of data such as rotation and deformation. The composite CNN will be described in detail with reference to FIG.
상기 분석부(205)는, 상기 인식한 사물의 키워드를 추출하고, 상기 추출된 키워드를 이용하여 상기 다수의 출력부에 출력할 제2 컨텐츠 정보를 검색한다.The
상기 학습부(206)는, 출력된 제2 컨텐츠 정보를 학습하여, 상기 출력된 제2 컨텐츠 정보에 대한 새로운 키워드를 분류 및 업데이트한다.The
또한, 학습부(206)에서 새롭게 분류 및 업데이트된 컨텐츠 정보에 대한 키워드는 상기 송수신부(201)를 통해 디스플레이관리서버(120)로 전송되어 저장된다.Also, the keywords for the content information newly classified and updated in the
도 3은 본 발명에 적용되는 합성곱신경망에 대하여 설명하기 위한 설명도이다. 도 3은 1989년 LeCun et al. 의 Convolutional Neural Networks을 참조하였다.FIG. 3 is an explanatory view for explaining a composite-object neural network applied to the present invention. FIG. FIG. Convolutional Neural Networks.
도 3에 도시된 바와 같이, 합성곱신경망(CNN)은 지역 수용 영역(local receptive field) 단계, 합성곱(convolution) 단계 및 풀링(pooling) 단계를 포함하여 구성된다.As shown in FIG. 3, the composite CNN comprises a local receptive field step, a convolution step, and a pooling step.
지역 수용 영역 단계에서, 첫 번째 레이어의 영역에 해당하는 뉴런은 다음 레이어의 하나의 뉴런으로 표현된다. 지역 연관성을 이용하는 이유는 일반적으로 이미지의 특징이 한데 모여있고 연관성이 강하기 때문이다. 예를 들어, 얼굴에서 눈을 찾으려면 눈에 해당하는 픽셀이 비슷한 좌표에 모여 있어서 특성을 추출하기가 쉽다.At the regional coverage area, neurons corresponding to the area of the first layer are represented by one neuron of the next layer. The reason for using the regional association is because the features of the image are generally gathered and related. For example, in order to find an eye on a face, pixels corresponding to the eye are gathered at similar coordinates, so it is easy to extract the characteristics.
합성곱신경망(CNN)의 특징 중 하나는 지역 연결성으로 데이터의 일부분이 다른 부분과 연관성이 있을 수 있다고 가정하는 것이다. 히든 레이어(hidden layer)는 지역 수용 영역에 해당하는 데이터를 받아들여 그 외의 부분은 참조 하지 않는다. 지역적으로 연결된 여러 개의 계층을 추가한 뒤에 입력 데이터를 처리한다면 딥러닝 기본 원리에 따라 추상화 성능이 증가한다. 배열형태의 데이터에서 지역 연관성을 이용하는 이유는 일반적으로 입력 데이터인 이미지는 특징이 한군데 모여 있기 때문이다.One of the characteristics of the composite neural network (CNN) is local connectivity, which assumes that a part of the data can be related to another part. The hidden layer accepts data corresponding to the local acceptance area and does not refer to the other parts. If you process the input data after adding several locally connected layers, then the abstraction performance increases according to the deep running basic principles. The reason for using local associations in array-type data is that the images, which are input data, are generally gathered together.
합성곱Convolution 단계에서는, 픽셀 영역별로 시프트를 해가면서 다음 레이어의 뉴런과 연결하는 작업을 진행한다. 예를 들어, 28x28픽셀의 이미지를 5x5영역으로 나누면 은닉레이어의 크기는 24x24픽셀이 된다. 은닉레이어의 각 뉴런은 편향값bias과 5x5의 가중치값을 가지고 있다. 이 값들은 입력데이터마다 위치가 변경되어도 같은 특징을 인식한다. 서로 공유하는 이유로 각각 공유가중치(shared weights)와 공유편향(shared biases)이라고 부른다. 합성곱 레이어는 여러개의 특징지도(feature map)를 가진다. 즉, 3개의 특징 지도를 가진다면 3x24x24로써 각각 5x5(25개)의 가중치 값*3과 1개 bias값 *3 해서 총 78개의 값만 있으면 된다.In the convolution step, each pixel region is shifted and the neuron of the next layer is connected. For example, if you divide an image of 28x28 pixels into 5x5 areas, the size of the hidden layer is 24x24 pixels. Each neuron in the hidden layer has a bias value of bias and a weight value of 5x5. These values are recognized even if the position is changed for each input data. For shared reasons, they are called shared weights and shared biases, respectively. The composite product layer has several feature maps. In other words, if we have three feature maps, we need 3x24x24, each of 5x5 (25) weight value * 3 and 1 bias value * 3,
풀링 단계에서는, 풀링 레이어는 합성곱 레이어의 특징을 압축한 특징 지도를 형성한다. 일반적으로 합성곱 레이어의 2x2영역을 하나의 뉴런으로 만들어 3x12x12의 정보로 이루어질 수 있다. 마지막 출력 레이어는 최대값 풀링 레이어의 모든 뉴런과 완전 연결되어 출력 값이 어떤 클래스에 해당하는지 파악되는데 사용한다.In the pooling step, the pooling layer forms a feature map that compresses the features of the composite product layer. Generally, the 2x2 region of the composite product layer can be made up of 3x12x12 information by making one neuron. The last output layer is fully connected to all the neurons in the maximum-pooling layer and is used to determine which class the output value corresponds to.
도 4는 도 2의 인식부에 수행되는 인식 결과를 설명하기 위한 일실시예 설명도이다.FIG. 4 is an explanatory diagram for explaining recognition results performed in the recognition unit of FIG. 2. FIG.
본 발명에 따른 인식부는 일예로, 구글의 텐서 플로우(Tensor Flow)를 사용할 수 있다.As an example of the recognition unit according to the present invention, a Google's Tensor Flow can be used.
텐서 플로우는 데이터 플로 그래프를 활용해 수치 계산을 하여, 딥 러닝(Deep Learning)과 머신 러닝(Machine Learning) 등에 활용하기 위해 개발된 오픈소스 소프트웨어이다.Tensor flow is an open source software developed for numerical calculations using data flow graphs and for deep learning and machine learning.
도 4는 텐서 플로우(Tensor flow)를 활용한 객체 탐지(Object Detection) 결과의 일예를 나타낸다. 도 4는 구글의 리서치 블로그(Google Research Blog)에 발표된 내용에서 참조하였다.FIG. 4 shows an example of an object detection result using a tensor flow. Figure 4 is referenced in the Google Research Blog.
사각형 내부가 인식한 물체이며 그 위에 주석으로 인식 결과와 정확도를 나타내고 있다. "인식결과 : 정확도"로 표시되어 있으며, 예를 들어,"person : 99% "로 표시되어 있다.The inside of the rectangle is the recognized object, and the annotation on it shows the recognition result and accuracy. "Recognition Result: Accuracy", for example, "person: 99%".
도 5는 본 발명의 일 실시예에 따른 인공지능 기반 스마트 디스플레이 장치의 제어 방법의 흐름도이다.5 is a flowchart illustrating a method of controlling an artificial intelligence based smart display device according to an embodiment of the present invention.
먼저, 디스플레이관리서버(120)를 통해 사용자 단말기(110)로부터 출력 제어 신호를 입력받았는지 판단한다(S510).First, it is determined whether the output control signal is received from the
상기 판단 단계(S510)의 판단 결과, 사용자 단말기(110)로부터 출력 제어 신호를 입력받았으면, 전달받은 출력 제어 신호에 따라 다수의 출력부(106 내지 109)를 통해 상기 출력 제어 신호에 대응하는 제1 컨텐츠 정보를 출력한다(S520).If the output control signal is received from the
한편, 상기 판단 단계(S510)의 판단 결과, 사용자 단말기(110)로부터 출력 제어 신호를 입력받지 않았으면, 다수의 입력부(101 내지 104)를 통해 주변상황을 감지 및 입력받는다(S530).If it is determined in operation S510 that the output control signal is not received from the
이후, 인공지능 기반 알고리즘에 따라 상기 주변상황을 인식하고, 인식된 주변상황정보를 분석 및 학습한 결과에 따른 제2 컨텐츠 정보를 상기 다수의 출력부를 통해 출력한다(S540).In operation S540, the surrounding information is recognized according to an artificial intelligence-based algorithm, and the second content information according to a result of analyzing and learning the recognized surrounding information is output through the plurality of output units.
상기 "S540"단계(제2컨텐츠정보출력단계)는 하기 상세 단계를 포함한다.The step "S540" (the step of outputting the second content information) includes the following detailed steps.
상기 인공지능 기반 알고리즘에 따라 상기 다수의 입력부(101 내지 104)로부터 전달받은 주변상황을 인식한다(S541).And recognizes the surrounding conditions transmitted from the plurality of
상기 인식단계(S541)에서는, 객체 탐지(Object Detection) 기술 및 합성곱신경망(CNN: Convolutional Neural Network) 기술을 이용하여 상기 영상에 포함된 사물을 인식할 수 있다. 예를 들어, 텐서 플로우를 통해 상기 영상에 포함된 사물을 인식할 수 있다In the recognition step S541, an object included in the image can be recognized using an object detection technique and a CNN (Convolutional Neural Network) technique. For example, an object included in the image can be recognized through a tensor flow
이후, 상기 인공지능 기반 알고리즘에 따라 주변상황의 인식 결과를 분석하여 출력할 제2 컨텐츠 정보와 관련된 키워드를 추출한다(S542).Thereafter, the recognition result of the surrounding situation is analyzed according to the artificial intelligence-based algorithm, and a keyword related to the second content information to be outputted is extracted (S542).
추출된 키워드를 이용하여 출력할 제2 컨텐츠 정보를 검색한다(S543). 여기서, 추출된 키워드를 상기 디스플레이관리서버(120)로 전송하여, 그에 대응하는 제2컨텐츠 정보를 검색할 수도 있고, 저장부(203)에 저장되어 있는 키워드와 그에 해당하는 컨텐츠 정보로부터 검색할 수도 있다.The second content information to be output is retrieved using the extracted keyword (S543). Here, the extracted keyword may be transmitted to the
이후, 상기 다수의 출력부(106 내지 109)를 통해 상기 검색된 제2 컨텐츠 정보를 출력한다(S544).Thereafter, the retrieved second content information is output through the plurality of
상기 인공지능 기반 알고리즘에 따라 분석된 분석 결과 및 출력된 제2 컨텐츠 정보를 학습한다(S545).The analysis result analyzed according to the artificial intelligence-based algorithm and the output second content information are learned (S545).
이후, 상기 인공지능 기반 알고리즘에 따라 분석된 분석 결과, 출력된 제2 컨테츠 정보의 출력 이력, 새롭게 분류 및 업데이트된 키워드를 상기 디스플레이관리서버(120)로 전송한다(S550).Thereafter, in step S550, the output history of the output second content information, newly classified and updated keywords are transmitted to the
상기 디스플레이관리서버(120)로 전달된 데이터는 날짜나 시간과 같은 특정기준에 따라 마련하여 저장될 수 있으며, 일정 기간 데이터를 누적하여 저장한 이후, 누적된 데이터에 대한 분석 결과를 컨텐츠 제공자(사용자, 광고주)에게 제공할 수도 있다.The data transmitted to the
한편, 상기 제1 컨텐츠 정보 및 상기 제2 컨텐츠 정보는, 닷넷(.NET) 프로그래밍, 및 마이크로소프트 파운데이션 클래스(MFC : Microsoft Foundation Class) 라이브러리를 사용하여 설계된 디스플레이프로그램에 의해 상기 다수의 출력부(106 내지 109)로 표시될 수 있다.Meanwhile, the first content information and the second content information may be transmitted to the plurality of output units 106 (FIG. 1) by a display program designed using .NET programming and a Microsoft Foundation Class (MFC) To 109).
이상에서 본 발명의 일 실시예에 따른 인공지능 기반 스마트 디스플레이 장치의 제어 방법에 대하여 설명하였지만, 인공지능 기반 스마트 디스플레이 장치의 제어 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체 및 인공지능 기반 스마트 디스플레이 장치의 제어 방법을 구현하기 위한 컴퓨터 판독 가능한 기록매체에 저장된 프로그램 역시 구현 가능함은 물론이다.Although the control method of the artificial intelligence-based smart display device according to the embodiment of the present invention has been described above, it is also possible to use a computer-readable recording medium storing a program for implementing the control method of the artificial intelligence- It goes without saying that a program stored in a computer-readable recording medium for implementing the control method of the display device may also be implemented.
즉, 상술한 인공지능 기반 스마트 디스플레이 장치의 제어 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음을 당업자들이 쉽게 이해할 수 있을 것이다. 다시 말해, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능한 기록매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 상기 컴퓨터 판독 가능한 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.That is, the control method of the artificial intelligence-based smart display device described above can be easily understood by those skilled in the art that a program of instructions for implementing the smart display device can be implemented by being tangibly embodied in a recording medium readable by a computer will be. In other words, it can be implemented in the form of a program command that can be executed through various computer means, and can be recorded on a computer-readable recording medium. The computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer-readable recording medium may be those specially designed and configured for the present invention or may be those known and available to those skilled in the computer software. Examples of the computer-readable medium include magnetic media such as hard disks, floppy disks and magnetic tape, optical media such as CD-ROMs and DVDs, and optical disks such as floppy disks. Magneto-optical media and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, USB memory, and the like. The computer-readable recording medium may be a transmission medium such as a light or metal line, a wave guide, or the like, including a carrier wave for transmitting a signal designating a program command, a data structure, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.
100: 스마트 디스플레이 장치 110: 사용자 단말기
120: 디스플레이관리서버 101: 제1 입력부
102: 제2 입력부 103: 제3 입력부
104: 제4 입력부 105: 디스플레이 제어부
106: 제1 출력부 107: 제2 출력부
108: 제3 출력부 109: 제4 출력부
201: 송수신부 202: 제어부
203: 저장부 204: 인식부
205: 분석부 206: 학습부100: Smart display device 110: User terminal
120: display management server 101: first input unit
102: second input unit 103: third input unit
104: fourth input unit 105: display control unit
106: first output unit 107: second output unit
108: third output unit 109: fourth output unit
201: Transmitting / receiving unit 202:
203: storage unit 204:
205: Analysis section 206: Learning section
Claims (8)
사용자의 제어에 따라 노출되는 제1 컨텐츠 정보를 실시간으로 변경하여 출력하고, 주변상황을 인식하여 인식된 주변상황정보를 분석 및 학습한 결과에 따른 제2 컨텐츠 정보를 출력하기 위한 스마트 디스플레이 장치(100);
사용자로부터 상기 스마트 디스플레이 장치를 제어하기 위한 출력 제어 신호를 입력받기 위한 사용자 단말기(110); 및
상기 사용자 단말기를 통해 입력받은 상기 출력 제어 신호를 상기 스마트 디스플레이 장치로 전송하고, 상기 스마트 디스플레이 장치로부터 분석 및 학습한 결과를 전달받고, 상기 제2 컨텐츠 정보의 출력 이력을 수신하여 저장하기 위한 디스플레이관리서버(120)
를 포함하고,
상기 스마트 디스플레이 장치(100)는,
주변상황을 감지하기 위한 다수의 입력부(101 내지 104);
상기 제1 컨텐츠 정보 또는 상기 제2 컨텐츠 정보를 출력하는 다수의 출력부(106 내지 109); 및
상기 출력 제어 신호에 따른 상기 제1 컨텐츠 정보를 상기 다수의 출력부로 출력하도록 제어하고, 상기 다수의 입력부를 통해 획득한 영상을 인공지능 기반으로 인식, 분석 및 학습하여, 그 결과에 따른 상기 제2 컨텐츠 정보를 상기 다수의 출력부로 출력하도록 제어하기 위한 상기 디스플레이 제어부(105)
를 포함하고,
상기 디스플레이 제어부(105)는,
상기 디스플레이관리서버, 상기 다수의 입력부, 및 상기 다수의 출력부와 데이터를 송수신하기 위한 송수신부(201);
인공지능 기반 알고리즘에 따라 상기 다수의 입력부로부터 전달받은 데이터로부터 주변상황을 인식하기 위한 인식부(204);
상기 인공지능 기반 알고리즘에 따라 주변상황의 인식 결과를 분석하여 출력할 제2 컨텐츠 정보를 결정하기 위한 분석부(205);
상기 인공지능 기반 알고리즘에 따라 분석된 분석 결과 및 출력된 제2 컨텐츠 정보를 학습하기 위한 학습부(206);
출력할 제2 컨텐츠 정보 및 상기 인공지능 기반 알고리즘에 따라 분석된 분석 결과, 및 출력된 제2 컨텐츠 정보의 출력 이력을 저장하고 있는 저장부(203); 및
상기 송수신부(201), 상기 인식부(204), 상기 분석부(205), 상기 학습부(206) 및 상기 저장부(203)를 포함한 각 구성요소를 제어하기 위한 제어부(202)
를 포함하고,
상기 인식부(204)는,
객체 탐지(Object Detection) 기술 및 합성곱신경망(CNN: Convolutional Neural Network) 기술을 이용하여 상기 영상에 포함된 사물을 인식하는 것을 특징으로 하고,
상기 분석부(205)는,
상기 인식한 사물의 키워드를 추출하고, 상기 추출된 키워드를 이용하여 상기 다수의 출력부에 출력할 제2 컨텐츠 정보를 검색하는 것을 특징으로 하고,
상기 학습부(206)는,
출력된 제2 컨텐츠 정보를 학습하여, 상기 출력된 제2 컨텐츠 정보에 대한 새로운 키워드를 분류 및 업데이트하는 것을 특징으로 하고,
상기 디스플레이 제어부(105)는,
상기 디스플레이관리서버(120)와 구별되어, 상기 스마트 디스플레이 장치에 구비되며, 상기 인공지능 기반 알고리즘에 따라 분석된 분석 결과에 따라 출력할 제2 컨텐츠 정보를 상기 저장부에서 검색하여 상기 다수의 출력부를 통해 출력되도록 하고, 출력된 제2 컨텐츠 정보의 출력 이력, 새롭게 분류 및 업데이트된 키워드를 상기 디스플레이관리서버(120)로 전송하는 것을 특징으로 하는 인공지능 기반 스마트 디스플레이 장치를 포함하는 제어 시스템.
1. A control system including an artificial intelligence based smart display device,
A smart display device 100 for outputting second content information according to the result of analyzing and learning the recognized surrounding information by recognizing the surrounding situation and outputting the changed first content information in real time according to the user's control; );
A user terminal 110 for receiving an output control signal for controlling the smart display device from a user; And
A display control unit for transmitting the output control signal received through the user terminal to the smart display device, receiving a result of analysis and learning from the smart display device, receiving display history of the second content information, Server 120,
Lt; / RTI >
The smart display device (100)
A plurality of input units 101 to 104 for detecting a surrounding situation;
A plurality of output units (106 to 109) for outputting the first content information or the second content information; And
And controlling the output of the first content information according to the output control signal to the plurality of output units, and recognizing, analyzing and learning an image acquired through the plurality of input units based on artificial intelligence, The display control unit (105) for controlling the output of content information to the plurality of output units,
Lt; / RTI >
The display control unit 105,
A transmission / reception unit (201) for transmitting / receiving data to / from the display management server, the plurality of input units, and the plurality of output units;
A recognition unit (204) for recognizing a surrounding situation from data received from the plurality of input units according to an artificial intelligence based algorithm;
An analysis unit (205) for analyzing a recognition result of a surrounding situation according to the artificial intelligence based algorithm and determining second content information to be outputted;
A learning unit 206 for learning the analysis result analyzed according to the artificial intelligence based algorithm and the output second content information;
A storage unit (203) storing an output history of second content information to be output, an analysis result analyzed according to the AI algorithm, and output second content information; And
A control unit 202 for controlling each component including the transmission / reception unit 201, the recognition unit 204, the analysis unit 205, the learning unit 206, and the storage unit 203,
Lt; / RTI >
The recognition unit 204,
An object detection method, and a CNN (Convolutional Neural Network) technology. In this case,
The analyzing unit 205 analyzes,
Extracts a keyword of the recognized object and retrieves second content information to be output to the plurality of output units using the extracted keyword,
The learning unit 206,
The second content information is output, and the new keyword is classified and updated for the output second content information.
The display control unit 105,
The second content information to be output in accordance with the analysis result analyzed in accordance with the artificial intelligence based algorithm is distinguished from the display management server 120 and is retrieved from the storage unit, And transmits the output history of the output second content information, the newly classified and updated keyword to the display management server 120, and the smart display device based on the intelligent display.
상기 제1 컨텐츠 정보 및 상기 제2 컨텐츠 정보는,
닷넷(.NET) 프레임워크에 기반한 프로그래밍 언어, 및 마이크로소프트 파운데이션 클래스(MFC : Microsoft Foundation Class) 라이브러리를 사용하여 설계된 디스플레이프로그램에 의해 상기 다수의 출력부로 표시되는 것을 특징으로 하는 인공지능 기반 스마트 디스플레이 장치를 포함하는 제어 시스템.
The method according to claim 1,
Wherein the first content information and the second content information include at least one of:
A smart programming language based on a .NET framework, and a display program designed using a Microsoft Foundation Class (MFC) library. ≪ / RTI >
디스플레이관리서버를 통해 사용자 단말기로부터 전달받은 출력 제어 신호에 따른 제1 컨텐츠 정보를 다수의 출력부를 통해 출력하는 제1컨텐츠정보출력단계(S520);
다수의 입력부를 통해 주변상황을 감지 및 입력받는 입력단계(S530); 및
인공지능 기반 알고리즘에 따라 상기 주변상황을 인식하고, 인식된 주변상황정보를 분석 및 학습한 결과에 따른 제2 컨텐츠 정보를 상기 다수의 출력부를 통해 출력하는 제2컨텐츠정보출력단계(S540)를 포함하고,
상기 제2컨텐츠정보출력단계(S540)는,
상기 인공지능 기반 알고리즘에 따라 상기 다수의 입력부로부터 전달받은 영상으로부터 주변상황을 인식하는 인식단계(S541);
상기 인공지능 기반 알고리즘에 따라 주변상황의 인식 결과를 분석하여 출력할 제2 컨텐츠 정보와 관련된 키워드를 추출하는 분석단계(S542);
추출된 키워드를 이용하여 출력할 제2 컨텐츠 정보를 검색하는 검색단계(S543);
상기 다수의 출력부를 통해 상기 검색된 제2 컨텐츠 정보를 출력하는 출력단계(S544);
상기 인공지능 기반 알고리즘에 따라 분석된 분석 결과, 및 출력된 제2 컨텐츠 정보를 학습하는 학습단계(S545); 및
상기 인공지능 기반 알고리즘에 따라 분석된 분석 결과, 출력된 제2 컨텐츠 정보의 출력 이력, 새롭게 분류 및 업데이트된 키워드를 상기 디스플레이관리서버로 전송하는 전송단계(S550)
를 포함하고,
상기 인식단계(S541)는,
객체 탐지(Object Detection) 기술 및 합성곱신경망(CNN: Convolutional Neural Network) 기술을 이용하여 상기 영상에 포함된 사물을 인식하는 것을 특징으로 하는 것을 특징으로 하는 인공지능 기반 스마트 디스플레이 장치의 제어 방법.
A control method of a smart display device included in a control system including an artificial intelligence based smart display device of claim 1,
A first content information output step (S520) of outputting first content information according to an output control signal received from a user terminal through a display management server through a plurality of output units;
An input step (S530) of detecting and inputting a surrounding situation through a plurality of input units; And
And a second content information output step (S540) of recognizing the surrounding situation according to an artificial intelligence based algorithm and outputting second content information according to a result of analyzing and learning the recognized surrounding situation information through the plurality of output units and,
The second content information output step (S540)
A recognition step (S541) of recognizing a surrounding situation from an image received from the plurality of input units according to the artificial intelligence based algorithm;
Analyzing a recognition result of a surrounding situation according to the artificial intelligence-based algorithm and extracting keywords related to second content information to be output (S542);
A retrieving step (S543) of retrieving second content information to be output using the extracted keyword;
An output step (S544) of outputting the retrieved second content information through the plurality of output units;
Learning step S545 of learning the analyzed result analyzed according to the artificial intelligence-based algorithm and the output second content information; And
A transmission step S550 of transmitting an output history of the output second content information, a newly classified and updated keyword to the display management server as a result of analysis analyzed according to the artificial intelligence based algorithm,
Lt; / RTI >
The recognition step (S541)
Wherein the control unit recognizes objects included in the image using an object detection technique and a convolutional neural network (CNN) technique.
상기 제1 컨텐츠 정보 및 상기 제2 컨텐츠 정보는,
닷넷(.NET) 프레임워크에 기반한 프로그래밍 언어, 및 마이크로소프트 파운데이션 클래스(MFC : Microsoft Foundation Class) 라이브러리를 사용하여 설계된 디스플레이프로그램에 의해 상기 다수의 출력부로 표시되는 것을 특징으로 하는 인공지능 기반 스마트 디스플레이 장치의 제어 방법.6. The method of claim 5,
Wherein the first content information and the second content information include at least one of:
A smart programming language based on a .NET framework, and a display program designed using a Microsoft Foundation Class (MFC) library. / RTI >
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180023691A KR101926585B1 (en) | 2018-02-27 | 2018-02-27 | Control system having a smart display apparatus based on artificial intelligence and a method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180023691A KR101926585B1 (en) | 2018-02-27 | 2018-02-27 | Control system having a smart display apparatus based on artificial intelligence and a method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101926585B1 true KR101926585B1 (en) | 2018-12-07 |
Family
ID=64669645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180023691A KR101926585B1 (en) | 2018-02-27 | 2018-02-27 | Control system having a smart display apparatus based on artificial intelligence and a method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101926585B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021015307A1 (en) * | 2019-07-19 | 2021-01-28 | 엘지전자 주식회사 | Display device and artificial intelligence server which can control home appliance through user voice |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100330343B1 (en) * | 2001-12-07 | 2002-04-03 | Young Kyun Koo | Intelligent electric bulletin board system using network |
| US20080004953A1 (en) * | 2006-06-30 | 2008-01-03 | Microsoft Corporation | Public Display Network For Online Advertising |
-
2018
- 2018-02-27 KR KR1020180023691A patent/KR101926585B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100330343B1 (en) * | 2001-12-07 | 2002-04-03 | Young Kyun Koo | Intelligent electric bulletin board system using network |
| US20080004953A1 (en) * | 2006-06-30 | 2008-01-03 | Microsoft Corporation | Public Display Network For Online Advertising |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021015307A1 (en) * | 2019-07-19 | 2021-01-28 | 엘지전자 주식회사 | Display device and artificial intelligence server which can control home appliance through user voice |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Law et al. | Street-Frontage-Net: urban image classification using deep convolutional neural networks | |
| US11514672B2 (en) | Sensor based semantic object generation | |
| US11481832B2 (en) | Electronic apparatus and method for summarizing content thereof | |
| US9600499B2 (en) | System for collecting interest graph by relevance search incorporating image recognition system | |
| US20200104645A1 (en) | Reinforcement learning neural networks grounded in learned visual entities | |
| WO2024051609A1 (en) | Advertisement creative data selection method and apparatus, model training method and apparatus, and device and storage medium | |
| CN111656438A (en) | Electronic device and control method thereof | |
| US10956727B1 (en) | Handwritten diagram recognition using deep learning models | |
| Lu et al. | Cross-domain road detection based on global-local adversarial learning framework from very high resolution satellite imagery | |
| CN113821720A (en) | Behavior prediction method and device and related product | |
| CN117132759A (en) | Saliency target detection method based on multiband visual image perception and fusion | |
| KR101926585B1 (en) | Control system having a smart display apparatus based on artificial intelligence and a method thereof | |
| CN114385662A (en) | Road network updating method and device, storage medium and electronic equipment | |
| Li et al. | Lightweight convolutional neural network for aircraft small target real-time detection in Airport videos in complex scenes | |
| Rong et al. | Guided text spotting for assistive blind navigation in unfamiliar indoor environments | |
| US20210110454A1 (en) | Method for providing shopping information for individual products and electronic device performing same | |
| Li et al. | Obstacle detection in a field environment based on a convolutional neural network security | |
| KR102440963B1 (en) | Electronic apparatus, method for controlling thereof, and non-transitory computer readable recording medium | |
| Golcarenarenji et al. | Robust real-time traffic light detector on small-form platform for autonomous vehicles | |
| Choda et al. | A critical survey on real-time traffic sign recognition by using cnn machine learning algorithm | |
| Ding et al. | Design of improved road sign recognition system based on deep learning | |
| KR20190127191A (en) | Electronic appratus and operating method for the same | |
| Jin et al. | A vehicle detection algorithm in complex traffic scenes | |
| Sangwai et al. | Eye (I) Still Know!–An App for the Blind Built using Web and AI | |
| Gurjar et al. | Digital Eye for Visually Impaired—DEVI |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |