WO2020101196A1 - 인공지능 기반의 모듈 식별 및 어시스턴트 시스템 - Google Patents

인공지능 기반의 모듈 식별 및 어시스턴트 시스템 Download PDF

Info

Publication number
WO2020101196A1
WO2020101196A1 PCT/KR2019/013792 KR2019013792W WO2020101196A1 WO 2020101196 A1 WO2020101196 A1 WO 2020101196A1 KR 2019013792 W KR2019013792 W KR 2019013792W WO 2020101196 A1 WO2020101196 A1 WO 2020101196A1
Authority
WO
WIPO (PCT)
Prior art keywords
module
learning
user
edge device
data
Prior art date
Application number
PCT/KR2019/013792
Other languages
English (en)
French (fr)
Inventor
박찬민
구천리
Original Assignee
주식회사 아이코어이앤씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이코어이앤씨 filed Critical 주식회사 아이코어이앤씨
Publication of WO2020101196A1 publication Critical patent/WO2020101196A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition

Definitions

  • the present invention relates to an AI-based module identification and assistant system. More specifically, in the IoT environment, the module is identified based on artificial intelligence, and it is related to an assistant system utilizing the same, and the module recognized by the camera is learned related information using artificial intelligence, and based on this, the actual module is It relates to an AI-based module identification and assistant system capable of identifying, providing data regarding the identified module to a user, and monitoring status information of a module running at the edge device stage in real time.
  • IoT Internet of Things
  • AI Artificial intelligence replaces human thoughts, collects data with the Master Algorithm based on Unsupervised Learning and Reinforcement Learning, discovers patterns by itself, and is a year that humans did not think It means the technology that provides (solution).
  • the artificial intelligence system can find patterns in the accumulated data and adjust the gap between theory and practice.
  • the technical problem to be solved by the present invention is derived to solve the above problems, and to the module presented by the user using artificial intelligence technology that learns information about the module identified through the camera through a self-learning and machine learning method.
  • AI-based module that automatically lists specific data about the user, and the user is familiar with the correct use of the module accordingly, and enables the user to easily recognize it through status monitoring even if the user incorrectly sets the control method of the module. It is to provide an identification and assistant system.
  • the AI-based module identification and assistant system for solving the above problems generates a deep learning-based module learning model based on the module image provided from the camera, and the module learning model
  • a module learning apparatus that learns and generates module data
  • a server unit that stores the module learning model and the module data in a database, identifies the proposed module using the camera, and modifies module data corresponding to the identified module to the server
  • An IoT edge device that receives the information from the unit and displays it to the user, displays the user whether there is an error in the product configuration using the module, and an IoT edge device that controls the module used in the product configuration and monitors the connection relationship between the modules.
  • the host device recognizes a module connected to the IoT edge device and displays status information of a module running on the IoT edge device in real time to a user.
  • the module data may include data regarding specifications, features, usable products, and basic settings for a plurality of sensor modules and actuator modules.
  • the module learning apparatus may generate and train the module learning model using self-adaptive learning technology.
  • the IoT edge device may control a module used for configuring the product through a library called using a user code.
  • the IoT edge device may provide status information of a module running on the IoT edge device to the host device, corresponding to the user code.
  • the present invention it is possible to recognize and control a module that is more flexible and reliable than the existing one through the AI-based module identification and assistant system.
  • an abnormal state that may occur due to an error in a connection relationship of a module in an edge device stage is notified to a user, thereby significantly reducing errors in product development, and time required for product development, Economic costs can be reduced.
  • the present invention it is possible to monitor in real time the contents of the connection relationship and status information of the modules executed in the product at the edge device stage, and also display the monitoring results in real time to promptly detect and correct errors by the user. , It can improve the performance of the product under development.
  • FIG. 1 is a block diagram illustrating an AI-based module identification and assistant system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a single board computer as an example of an IoT edge device according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an example of a sensor module connected to and executed by an IoT edge device according to an embodiment of the present invention.
  • AI Artificial Intelligence
  • Rule-based smart technology the machine learns and judges itself and becomes smart.
  • recognition rate is improved and the user's taste can be understood more accurately, and the existing rule-based smart system is gradually being replaced by deep learning-based artificial intelligence system.
  • Machine learning is an algorithm technology that classifies / learns the characteristics of input data by itself
  • element technology is a technology that simulates functions such as cognition and judgment of the human brain by using machine learning algorithms such as deep learning. It can be composed of technical fields such as understanding, reasoning / prediction, knowledge expression, and motion control.
  • Linguistic understanding is a technology for recognizing and applying / processing human language / characters, and may include natural language processing, machine translation, conversation system, query response, speech recognition / synthesis, and the like.
  • Visual understanding is a technique of recognizing and processing an object as human vision, and may include object identification, object tracking, image search, human recognition, scene understanding, spatial understanding, and image improvement.
  • Inference prediction is a technique for logically inferring and predicting information by determining information, and includes knowledge / probability-based reasoning, optimization prediction, preference-based planning, and recommendation.
  • Knowledge expression is a technology for automatically processing human experience information into knowledge data, and may include knowledge construction (data generation / classification), knowledge management (data utilization), and the like.
  • Motion control is a technique for controlling autonomous driving of a vehicle and movement of a robot, and may include motion control (navigation, collision, driving), operation control (behavior control), and the like.
  • data for a plurality of sensor modules or actuator modules are generated through learning using a neural network based on artificial intelligence, and when the user recognizes a real module in the camera, various information about the module is provided. It can be transmitted from the database of the server unit and displayed to the user.
  • the connected and executable module may be displayed to the user at the IoT edge device stage, and a control method for the connected module may be provided to the user.
  • the user can be informed in real time. Accordingly, the user can significantly reduce errors in product development and time and economic costs required for product development. Can be reduced.
  • 1 is a block diagram illustrating an AI-based module identification and assistant system according to an embodiment of the present invention.
  • 2 is a diagram illustrating a single board computer as an example of an IoT edge device according to an embodiment of the present invention.
  • 3 is a diagram illustrating an example of a sensor module connected to and executed by an IoT edge device according to an embodiment of the present invention.
  • the AI-based module identification and assistant system includes a module learning device 10, a server unit 20, a host device 40, and an IoT edge device 50 ) And the like.
  • the module learning apparatus 10 generates a deep learning based module learning model M based on the module image provided from the camera C, and learns the module learning model M to generate module data D. .
  • the module learning apparatus 10 may generate and learn the module learning model M using self-adaptive learning technology.
  • the module data D may include data regarding specifications, features, available products, and basic settings for a plurality of sensor modules and actuator modules.
  • the module learning device 10 is connected to the network 30 and performs multiple website searches connected to the network 30 through the module learning model (M), so that the module related to the module image recognized by the camera (C) Information can be collected.
  • the module learning apparatus 10 may process both structured data and unstructured data, and derive elements therefrom to perform self-adaptive learning in the module learning model M.
  • the module learning device 10 combines self-adaptation technology and deep learning-based learning technology to self-configure the module learning model M and based on the module image recognized by the camera C
  • self-adaptation technology and deep learning-based learning technology to self-configure the module learning model M and based on the module image recognized by the camera C
  • the self-constructed module learning model (M) is generated according to the image of the module presented by the user or input through the camera (C) because it performs learning by updated information collected over time.
  • the module data D may be a model that can be flexibly updated.
  • the module learning apparatus 10 may learn combinations that are exemplarily connectable to a plurality of sensor modules or actuator modules, and generate example codes regarding functions and structures implemented by the combination of modules. These example codes can be stored in the database DB of the server unit 20 described later.
  • the server unit 20 receives the module learning model M generated through the module learning apparatus 10 and the module data D, which is the learning result of the module learning model M, from the module learning apparatus 10, and then receives the database ( DB).
  • the module learning model M generated by the module learning device 10 is stored and updated, and the example code implemented by a combination of real modules can be stored.
  • the server unit 20 may also be used for purposes of storing layouts for various example configurations implemented by a combination of actual modules as samples and presenting them to a user later. Upon user request, the example code or the layout may be displayed to the user through the host device 40, which will be described later.
  • the server unit 20 is a computing device that processes a large amount of data, and may be configured as a parallel computing system in which several computers are connected in parallel.
  • the server unit 20 may be, for example, a social network server, a cloud server, or a content providing server.
  • the host device 40 identifies the actual module presented by the user using the camera C, receives module data D corresponding to the identified module from the server unit 20, and displays it to the user, and displays the module It displays to the user whether an error exists in the product configuration using.
  • the host device 40 is a computing device used by a user, and may receive data from the server unit 20 by communicating with the network 30.
  • the host device 40 is, for example, a desktop PC, a smart phone, a laptop, a tablet PC, a smart TV, a mobile phone, a personal digital assistant (PDA), a laptop, a media player, a micro server, a global positioning system (GPS) device, electronics Book terminals, digital broadcasting terminals, navigation, kiosks, MP3 players, digital cameras, home appliances, and other mobile or non-mobile computing devices, but are not limited thereto.
  • the host device 40 may be a wearable device such as a watch, glasses, hair band, and ring equipped with a communication function and a data processing function.
  • the host device 40 is not limited to the above, and the device capable of web browsing as described above may be borrowed without limitation.
  • the network 30 includes, for example, a wired network such as a local area network (LAN), a wide area network (WAN), a metropolitan area network (MAN), an integrated service digital network (ISDN), a wireless LAN, CDMA, Bluetooth, Wireless networks such as satellite communication may be covered, but the scope of the present invention is not limited thereto.
  • a wired network such as a local area network (LAN), a wide area network (WAN), a metropolitan area network (MAN), an integrated service digital network (ISDN), a wireless LAN, CDMA, Bluetooth, Wireless networks such as satellite communication may be covered, but the scope of the present invention is not limited thereto.
  • the host device 40 may include an assistant 410 and a display unit 420.
  • the assistant 410 may include a user-friendly software program for user convenience, and may include a module identification unit 4110, a module information unit 4120, and a status monitoring unit 4130.
  • the module identification unit 4110 analyzes an image by photographing a sensor module or an actuator module provided by a user using the camera C, and can identify what kind of module from the collected modules based on deep learning. have.
  • the module identification unit 4110 may identify the types of modules in the image obtained from the camera C based on the learning result using the neural network.
  • the module identification unit 4110 may further include a neural network module.
  • the neural network may be a set of algorithms for identifying and / or determining objects from an image by extracting and using various attributes in the image using a result of statistical machine learning.
  • the neural network can identify objects in the image by abstracting various properties included in the image input to the neural network. In this case, abstracting the attributes in the image may be detecting attributes from the image and determining a core attribute among the detected attributes.
  • the properties of the image may include colors, edges, polygons, saturation, and brightness that make up the image, but are not limited thereto.
  • the module information unit 4120 requests information about the identified module from the server unit 20, and receives module data D regarding the identified module from the server unit 20 through the display unit 420. It can be displayed to the user.
  • the module information unit 4120 may display the module data D within a predetermined frame using a software program pre-installed in the assistant 410.
  • Such a software program can be implemented in the form of a computer program that can be executed through various components on a computer, and the computer program can be recorded in a computer readable medium.
  • the medium is a hard disk, a magnetic medium such as a floppy disk and magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floptical disk, and a ROM , Hardware devices specially configured to store and execute program instructions, such as RAM, flash memory, and the like.
  • the computer program may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software field.
  • Examples of computer programs may include not only machine language codes produced by a compiler, but also high-level language codes executable by a computer using an interpreter or the like.
  • the status monitoring unit 4130 monitors in real time the incorrectly assembled information between the actual modules, and displays errors related thereto through the display unit 420. Accordingly, the user can find out that it is designed incorrectly in the programming stage, and reduce defects in the actual product. In particular, in developing the program source code, the user can design the correct product configuration between actual modules by using the information monitored through the status monitoring unit 4130.
  • the IoT edge device 50 controls a module used for actual product configuration, and monitors the connection relationship of the modules.
  • the IoT edge device 50 means a user-side device in a stage in which a user implements a function as a product through connection of actual modules. This may be implemented based on example codes or layouts stored in the server unit 20, or a new module-to-module connection relationship may be implemented according to user definition.
  • the IoT edge device 50 may include a user code 510 and a library 520 according to the user code 510.
  • the user code 510 is an individual code assigned according to a user designation, and is provided for convenience of data management.
  • the IoT edge device 50 may control the module used for actual product configuration through the library 520 called using the user code 510.
  • the IoT edge device 50 may provide status information of a module running in the IoT edge device 50 corresponding to the user code 510 as a host device, and the host device 40 may use the IoT edge device 50 ), It is possible to recognize a module connected to the IoT edge device 50 and display status information of a module running in real time to a user. In this regard, it may be implemented through the above-described state monitoring unit 4130.
  • the IoT edge device 50 may be a single board computer.
  • the library 520 may include a module service unit 5210 and a status manager unit 5220.
  • the module service unit 5210 may control modules used for actual product configuration, and the status manager unit 5220 may monitor a connection relationship between modules connected to the IoT edge device 50. The monitoring result of the status manager unit 5220 may be provided to the status monitoring unit 4130 of the host device 40.
  • FIG. 2 a single board computer is illustrated as an example of the IoT edge device 50, and in FIG. 3, sensor modules are illustrated as an example of the module 60 connected to and executed by the IoT edge device 50.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

인공지능 기반의 모듈 식별 및 어시스턴트 시스템이 제공된다. 상기 인공지능 기반의 모듈 식별 및 어시스턴트 시스템은, 카메라로부터 제공받은 모듈 이미지를 기초로 딥 러닝 기반의 모듈 학습 모델을 생성하고, 상기 모듈 학습 모델을 학습하여 모듈 데이터를 생성하는 모듈 학습 장치, 상기 모듈 학습 모델 및 상기 모듈 데이터를 데이터베이스에 저장하는 서버부, 제시된 모듈을 상기 카메라를 이용하여 식별하고, 상기 식별된 모듈에 대응하는 모듈 데이터를 상기 서버부로부터 수신받아 사용자에게 디스플레이하고, 모듈을 이용한 제품 구성에 오류가 존재하는지 여부를 사용자에게 디스플레이하는 호스트 장치, 및 상기 제품 구성에 이용되는 모듈을 제어하고, 모듈의 연결관계를 모니터링하는 IoT 엣지 디바이스를 포함하고, 상기 호스트 장치는 상기 IoT 엣지 디바이스에 연결된 모듈을 인식하여 상기 IoT 엣지 디바이스에서 실행 중인 모듈의 상태 정보를 사용자에게 실시간으로 디스플레이한다.

Description

[규칙 제26조에 의한 보정 10.02.2020]　인공지능 기반의 모듈 식별 및 어시스턴트 시스템
본 발명은 인공지능 기반의 모듈 식별 및 어시스턴트 시스템에 관한 것이다. 보다 상세하게는, IoT 환경에서 인공지능 기반으로 모듈을 식별하고, 이를 활용한 어시스턴트 시스템에 관한 것이며, 카메라로 인식된 모듈에 관해 인공지능을 이용하여 관련 정보들을 학습하고, 이를 기초로 실제 모듈을 식별하며, 식별된 모듈에 관한 데이터를 사용자에게 제공하고, 엣지 디바이스 단계에서 실행 중인 모듈의 상태 정보를 실시간으로 모니터링할 수 있는 인공지능 기반의 모듈 식별 및 어시스턴트 시스템에 관한 것이다.
IoT(Internet of Things) 기술이란, 디지털 네트워킹 기술을 사용자 주변의 사물에 도입하여 사용자가 느끼는 공간적, 시간적 한계를 극복할 수 있는 기술로서, 홈오토메이팅 등 자동화에 적극적으로 적용될 수 있다.
인공지능(AI)은 인간의 사유를 대체해주어 자율 학습(Unsupervised Learning)과 강화 학습(Reinforcement Learning)에 입각해 마스터 알고리즘(The Master Algorithm)으로 데이터를 모아 스스로 패턴을 발견하고 인간이 생각하지 못한 해(solution)를 제공해주는 기술을 의미한다. 인공지능 시스템을 통해 쌓은 데이터에서 패턴을 찾아 이론과 실제의 괴리를 조정해줄 수 있다.
현재에는 IoT 환경의 일반화로 모든 사물이 인터넷에 연결되는 초연결사회로 발전 중에 있으며, 인공지능 기술의 발전으로 인해 카메라를 이용한 객체 인식률이 향상되고 있다. 4차 산업혁명으로 인해 다양한 센서 모듈 및 액추에이터 모듈에 대한 요구가 증가하고 있으며, 시장에서는 유사한 모듈 또는 기능이 업그레이된 모듈 또는 새로운 모듈들이 출시되는 양이 기하급수적으로 증가하고 있다.
이에 따라, 사용자 입장에서는 유사한 모듈 간 정확한 인식 및 구별에 어려움이 발생하며, 모듈 공급자 입장에서 모듈 관리의 어려움이 발생하게 된다. 또한, 사용자 입장에서, 잘못된 모듈의 사용으로 인한 제품 오류 문제가 빈번하게 발생한다.
본 발명이 해결하고자 하는 기술적 과제는, 상기 문제점들을 해결하기 위해 도출된 것으로 카메라를 통해 식별된 모듈에 관한 정보들을 자가 학습 및 기계 학습 방법으로 학습하는 인공지능 기술을 이용하여 사용자가 제시하는 모듈에 관한 구체적인 데이터를 자동적으로 리스팅(listing)하고, 사용자는 이에 따라 모듈의 올바른 사용법을 숙지하고, 사용자가 모듈의 제어 방법을 잘못 설정하더라도 상태 모니터링을 통해 이를 쉽게 인지할 수 있도록 하는 인공지능 기반의 모듈 식별 및 어시스턴트 시스템을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 기술적 과제들은 상기 과제로 한정되는 것이 아니며, 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 인공지능 기반의 모듈 식별 및 어시스턴트 시스템은, 카메라로부터 제공받은 모듈 이미지를 기초로 딥 러닝 기반의 모듈 학습 모델을 생성하고, 상기 모듈 학습 모델을 학습하여 모듈 데이터를 생성하는 모듈 학습 장치, 상기 모듈 학습 모델 및 상기 모듈 데이터를 데이터베이스에 저장하는 서버부, 제시된 모듈을 상기 카메라를 이용하여 식별하고, 상기 식별된 모듈에 대응하는 모듈 데이터를 상기 서버부로부터 수신받아 사용자에게 디스플레이하고, 모듈을 이용한 제품 구성에 오류가 존재하는지 여부를 사용자에게 디스플레이하는 호스트 장치, 및 상기 제품 구성에 이용되는 모듈을 제어하고, 모듈의 연결관계를 모니터링하는 IoT 엣지 디바이스를 포함하고, 상기 호스트 장치는 상기 IoT 엣지 디바이스에 연결된 모듈을 인식하여 상기 IoT 엣지 디바이스에서 실행 중인 모듈의 상태 정보를 사용자에게 실시간으로 디스플레이한다.
본 발명의 몇몇 실시예에 따르면, 상기 모듈 데이터는 다수의 센서 모듈 및 액추에이터 모듈에 관한 사양, 특징, 사용가능 제품 및 기본설정에 관한 데이터를 포함할 수 있다.
본 발명의 몇몇 실시예에 따르면, 상기 모듈 학습 장치는 자가 적응 학습 기술을 이용하여 상기 모듈 학습 모델의 생성 및 학습을 수행할 수 있다.
본 발명의 몇몇 실시예에 따르면, 상기 IoT 엣지 디바이스는 사용자 코드를 이용하여 호출되는 라이브러리를 통해 상기 제품 구성에 이용되는 모듈을 제어할 수 있다.
본 발명의 몇몇 실시예에 따르면, 상기 IoT 엣지 디바이스는 상기 사용자 코드에 대응하는, 상기 IoT 엣지 디바이스에서 실행 중인 모듈의 상태 정보를 상기 호스트 장치로 제공할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면, 인공지능 기반의 모듈 식별 및 어시스턴트 시스템을 통해 기존에 비하여 유연성 및 신뢰성 높은 모듈의 인식 및 제어가 가능하다.
또한, 본 발명에 따르면, IoT 환경에서 엣지 디바이스 단계에서 모듈의 연결관계 오류로 인해 발생할 수 있는 비정상 상태를 사용자에게 알려주어 제품 개발에 있어서 발생하는 오류를 현저히 줄일 수 있으며, 제품 개발에 필요한 시간적, 경제적 비용을 줄일 수 있다.
또한, 본 발명에 따르면, 인공지능 기반의 딥 러닝 기술을 이용하여 센서 모듈 또는 액추에이터 모듈간의 유사한 형태를 정확하게 식별할 수 있으며, 사용자에게 모듈에 관한 정확한 데이터를 제공하여 사용자가 모듈 사용법 및 제어 방법을 용이하게 숙지할 수 있다.
또한, 본 발명에 따르면, 엣지 디바이스 단계에서 제품에 실행되는 모듈들의 연결관계 및 상태 정보에 관한 내용들을 실시간으로 모니터링할 수 있으며, 모니터링 결과도 실시간으로 디스플레이하여 사용자가 즉각적으로 오류를 발견하고 수정하여, 개발 중인 제품의 성능을 향상시킬 수 있다.
다만, 본 발명의 효과는 상기 효과들로 한정되는 것이 아니며, 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있다.
도 1은 본 발명의 실시예에 따른 인공지능 기반의 모듈 식별 및 어시스턴트 시스템을 도시한 블록도이다.
도 2는 본 발명의 실시예에 따른 IoT 엣지 디바이스의 예시로서 싱글 보드 컴퓨터를 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 IoT 엣지 디바이스에 연결되어 실행되는 센서 모듈의 예시를 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
인공지능(Artificial Intelligence; AI) 기술은 인간 수준의 지능을 구현하는 컴퓨터 처리 기술로써, 기존 Rule 기반 스마트 기술과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 기술이다. 인공지능 기술은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 Rule 기반 스마트 시스템은 점차 딥 러닝 기반의 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(딥 러닝) 및 기계학습을 활용한 요소 기술들로 구성될 수 있다. 기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥 러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성될 수 있다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함할 수 있다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 식별, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함할 수 있다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함할 수 있다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함할 수 있다.
본 발명의 실시예에서는 인공지능을 기반으로 뉴럴 네트워크를 이용한 학습을 통해 다수의 센서 모듈 또는 액추에이터 모듈에 대한 데이터들을 생성하고, 사용자가 실제 모듈을 카메라에 인식시키는 경우에 당해 모듈에 관한 각종 정보들을 서버부의 데이터베이스로부터 전송받아 사용자에게 디스플레이할 수 있다. 또한, 뉴럴 네트워크를 이용한 학습 결과를 이용하여, IoT 엣지 디바이스 단계에서 연결 및 실행가능한 모듈을 사용자에게 디스플레이할 수 있으며, 연결된 모듈에 관한 제어 방법을 사용자에게 제공할 수 있다. 특히, IoT 엣지 디바이스에 연결된 모듈의 연결관계에 관한 오류가 발생 시 이를 실시간으로 사용자에게 알려줄 수 있으며, 이에 따라 사용자는 제품 개발에 있어서 발생하는 오류를 현저히 줄일 수 있고 제품 개발에 필요한 시간적, 경제적 비용을 줄일 수 있다.
도 1은 본 발명의 실시예에 따른 인공지능 기반의 모듈 식별 및 어시스턴트 시스템을 도시한 블록도이다. 도 2는 본 발명의 실시예에 따른 IoT 엣지 디바이스의 예시로서 싱글 보드 컴퓨터를 도시한 도면이다. 도 3은 본 발명의 실시예에 따른 IoT 엣지 디바이스에 연결되어 실행되는 센서 모듈의 예시를 도시한 도면이다.
도 1 내지 도 3을 참조하면, 본 발명의 실시예에 따른 인공지능 기반의 모듈 식별 및 어시스턴트 시스템은 모듈 학습 장치(10), 서버부(20), 호스트 장치(40), IoT 엣지 디바이스(50) 등을 포함할 수 있다.
모듈 학습 장치(10)는 카메라(C)로부터 제공받은 모듈 이미지를 기초로 딥 러닝 기반의 모듈 학습 모델(M)을 생성하고, 모듈 학습 모델(M)을 학습하여 모듈 데이터(D)를 생성한다. 특히, 모듈 학습 장치(10)는 자가 적응 학습 기술을 이용하여 모듈 학습 모델(M)의 생성 및 학습을 수행할 수 있다. 모듈 데이터(D)는 다수의 센서 모듈과 액추에이터 모듈에 관한 사양, 특징, 사용가능 제품 및 기본설정에 관한 데이터를 포함할 수 있다.
모듈 학습 장치(10)는 네트워크(30)에 연결되며, 모듈 학습 모델(M)을 통해 네트워크(30)에 연결된 다수의 웹사이트 검색을 수행하여 카메라(C)에서 인식된 모듈 이미지에 관련된 모듈의 정보들을 수집할 수 있다. 모듈 학습 장치(10)는 구조화된 데이터 및 비구조화된 데이터를 모두 처리할 수 있으며, 이로부터 요소를 도출하여 모듈 학습 모델(M)에서 자가 적응 학습을 수행할 수 있다.
본 발명의 실시예에서, 모듈 학습 장치(10)는 자가 적응 기술과 딥 러닝 기반의 학습 기술을 결합하여, 모듈 학습 모델(M)을 자가 구성하고, 카메라(C)에서 인식된 모듈 이미지를 기초로 실제 모듈에 관한 형상 및 구조를 이해해서 스스로 정보를 검색하고 필요한 데이터를 수집하여 모듈 데이터(D)를 생성하는 인간 두뇌 메커니즘을 효과적으로 구현할 수 있다.
특히, 자가 구성되는 모듈 학습 모델(M)은 시간의 흐름에 따라 수집되는 업데이트된 정보들에 의한 학습을 수행하기 때문에, 사용자가 제시하거나 카메라(C)를 통해 입력되는 모듈의 이미지에 따라 생성되는 모듈 데이터(D)가 유연하게 업데이트될 수 있는 모델일 수 있다.
모듈 학습 장치(10)는 다수의 센서 모듈 또는 액추에이터 모듈에 대해 예시적으로 연결가능한 조합들을 학습하고, 모듈들의 조합에 의해 구현되는 기능 및 구조에 관한 예제코드를 생성할 수 있다. 이러한 예제코드에 관해서는 후술하는 서버부(20)의 데이터베이스(DB)에 저장될 수 있다.
서버부(20)는 모듈 학습 장치(10)를 통해 생성된 모듈 학습 모델(M) 및 모듈 학습 모델(M)의 학습결과인 모듈 데이터(D)를 모듈 학습 장치(10)로부터 전송받아 데이터베이스(DB)에 저장한다. 서버부(20)의 데이터베이스(DB)에는 모듈 학습 장치(10)에서 생성한 모듈 학습 모델(M)을 저장 및 업데이트하며, 또한, 실제 모듈들의 조합에 의해 구현되는 상기 예제코드를 저장할 수 있다.
그리고, 서버부(20)는 실제 모듈들의 조합에 의해 구현되는 각종 예제구성에 관한 레이아웃도 샘플로서 저장하여 추후 사용자에게 제시하는 용도로 이용될 수 있다. 사용자 요청 시에, 상기 예제코드 또는 상기 레이아웃은 후술하는 호스트 장치(40)를 통해 사용자에게 디스플레이될 수 있다. 서버부(20)는 방대한 양의 데이터를 처리하는 컴퓨팅 장치로서, 여러 대의 컴퓨터가 병렬로 연결된 병렬 연산 시스템으로 구성될 수도 있다.
서버부(20)는 예를 들어, 소셜 네트워크 서버(social network server), 클라우드 서버(cloud server) 또는 콘텐츠 제공 서버일 수 있다.
호스트 장치(40)는 사용자가 제시한 실제 모듈을 카메라(C)를 이용하여 식별하고, 상기 식별된 모듈에 대응하는 모듈 데이터(D)를 서버부(20)로부터 수신받아 사용자에게 디스플레이하고, 모듈을 이용한 제품 구성에 오류가 존재하는지 여부를 사용자에게 디스플레이한다.
호스트 장치(40)는 사용자측에서 사용하는 컴퓨팅 장치로서, 네트워크(30)와 연결되어 통신함으로써 서버부(20)로부터 데이터들을 전송받을 수 있다. 호스트 장치(40)는 예를 들어, 데스크탑 PC, 스마트폰, 노트북, 태블릿 PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 호스트 장치(40)는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 장치일 수 있다. 호스트 장치(40)는 상술한 내용에 제한되지 아니하며, 상술한 바와 같이 웹 브라우징이 가능한 장치는 제한 없이 차용될 수 있다.
네트워크(30)는 예를 들어, LAN(Local Area Network), WAN(Wide Area Network), MAN(Metropolitan Area Network), ISDN(Integrated Service Digital Network) 등의 유선 네트워크나, 무선 LAN, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
구체적으로, 호스트 장치(40)는 어시스턴트(410)와 디스플레이부(420)를 포함할 수 있다.
어시스턴트(410)는 사용자 편의를 위해 사용자 친화적으로 제공되는 소프트웨어 프로그램을 포함할 수 있으며, 모듈 식별부(4110), 모듈 정보부(4120), 상태 모니터링부(4130)를 포함할 수 있다.
모듈 식별부(4110)는 카메라(C)를 이용하여 사용자가 제시하는 센서 모듈 또는 액추에이터 모듈을 촬영하여 이미지를 분석하며, 딥 러닝을 기반으로 수집된 모듈들로부터 어떤 종류의 모듈인지를 식별할 수 있다.
예를 들어, 모듈 식별부(4110)는 뉴럴 네트워크를 이용한 학습 결과에 기초하여 카메라(C)로부터 획득된 이미지에서 모듈들의 종류를 식별할 수 있다. 이를 위해 모듈 식별부(4110)는 뉴럴 네트워크 모듈을 더 포함할 수 있다. 여기서, 뉴럴 네트워크는 통계학적 기계 학습의 결과를 이용하여, 이미지 내의 다양한 속성들을 추출하여 이용함으로써, 이미지로부터 객체들을 식별 및/또는 판단하는 알고리즘 집합일 수 있다. 뉴럴 네트워크는, 뉴럴 네트워크에 입력된 이미지 내에 포함된 다양한 속성들을 추상화함으로써, 이미지 내의 객체들을 식별할 수 있다. 이 경우, 이미지 내의 속성들을 추상화한다는 것은, 이미지로부터 속성들을 검출하여, 검출된 속성들 중에서 핵심 속성을 판단하는 것일 수 있다.
여기에서, 이미지의 속성은, 이미지를 구성하는 색상, 엣지(edge), 폴리건(polygon), 채도(saturation), 명도(brightness) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
모듈 정보부(4120)는 상기 식별된 모듈에 관한 정보들을 서버부(20)에 요청하며, 상기 식별된 모듈에 관한 모듈 데이터(D)를 서버부(20)로부터 전송받아 디스플레이부(420)를 통해 사용자에게 디스플레이할 수 있다. 특히, 모듈 정보부(4120)는 어시스턴트(410)에 미리 설치된 소프트웨어 프로그램을 이용하여 미리 정해진 프레임 내에서 모듈 데이터(D)를 디스플레이할 수 있다.
이러한 소프트웨어 프로그램은 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
상태 모니터링부(4130)는 실제 모듈간의 잘못 조립된 정보를 실시간으로 모니터링하며, 이에 관한 오류들을 디스플레이부(420)를 통해 디스플레이할 수 있다. 이에 따라, 사용자는 프로그래밍 단계에서 잘못 설계된 것을 발견할 수 있으며, 실제 제품에서의 불량을 줄일 수 있다. 특히, 프로그램 소스코드를 개발함에 있어서, 사용자는 상태 모니터링부(4130)를 통해 모니터링되는 정보들을 이용하여 실제 모듈간의 올바른 제품 구성을 설계할 수 있다.
IoT 엣지 디바이스(50)는 실제 제품 구성에 이용되는 모듈을 제어하고, 모듈의 연결관계를 모니터링한다. IoT 엣지 디바이스(50)는 사용자가 실제 모듈들의 연결을 통해 제품으로서 기능을 구현하는 단계에서의 사용자측 디바이스를 의미한다. 이는 서버부(20)에 저장된 예제코드 또는 레이아웃을 기초로 구현될 수도 있고, 사용자 정의에 따라 새롭게 모듈간 연결관계가 구현될 수도 있다.
구체적으로, IoT 엣지 디바이스(50)는 사용자 코드(510)를 포함할 수 있고, 사용자 코드(510)에 따른 라이브러리(520)를 포함할 수 있다. 사용자 코드(510)는 사용자 지정에 따라 부여된 개별코드로서 데이터 관리의 편의성을 위해 제공된다.
IoT 엣지 디바이스(50)는 사용자 코드(510)를 이용하여 호출되는 라이브러리(520)를 통해 실제 제품 구성에 이용되는 모듈을 제어할 수 있다. 특히, IoT 엣지 디바이스(50)는 사용자 코드(510)에 대응하는 IoT 엣지 디바이스(50)에서 실행 중인 모듈의 상태 정보를 호스트 장치로 제공할 수 있고, 호스트 장치(40)는 IoT 엣지 디바이스(50)에 연결된 모듈을 인식하여 IoT 엣지 디바이스(50)에서 실행 중인 모듈의 상태 정보를 사용자에게 실시간으로 디스플레이할 수 있다. 이에 관해서는 상술한 상태 모니터링부(4130)를 통해 구현될 수 있다.
예시적으로, IoT 엣지 디바이스(50)는 싱글 보드 컴퓨터(single board computer)일 수 있다.
라이브러리(520)는 모듈 서비스부(5210)와 상태 관리자부(5220)를 포함할 수 있다. 모듈 서비스부(5210)는 실제 제품 구성에 이용되는 모듈들을 제어할 수 있고, 상태 관리자부(5220)는 IoT 엣지 디바이스(50)에 연결된 모듈들의 연결관계를 모니터링할 수 있다. 상태 관리자부(5220)의 모니터링 결과는 호스트 장치(40)의 상태 모니터링부(4130)로 제공될 수 있다.
도 2에는 IoT 엣지 디바이스(50)의 예시로서 싱글 보드 컴퓨터가 도시되어 있으며, 도 3에는 IoT 엣지 디바이스(50)에 연결되어 실행되는 모듈(60)의 예시로서 센서 모듈들이 도시되어 있다.
전술된 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해되어야 하며, 본 발명의 범위는 전술된 상세한 설명보다는 후술될 청구범위에 의해 나타내어질 것이다. 그리고 이 청구범위의 의미 및 범위는 물론, 그 등가개념으로부터 도출되는 모든 변경 및 변형 가능한 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (5)

  1. 카메라로부터 제공받은 모듈 이미지를 기초로 딥 러닝 기반의 모듈 학습 모델을 생성하고, 상기 모듈 학습 모델을 학습하여 모듈 데이터를 생성하는 모듈 학습 장치;
    상기 모듈 학습 모델 및 상기 모듈 데이터를 데이터베이스에 저장하는 서버부;
    제시된 모듈을 상기 카메라를 이용하여 식별하고, 상기 식별된 모듈에 대응하는 모듈 데이터를 상기 서버부로부터 수신받아 사용자에게 디스플레이하고, 모듈을 이용한 제품 구성에 오류가 존재하는지 여부를 사용자에게 디스플레이하는 호스트 장치; 및
    상기 제품 구성에 이용되는 모듈을 제어하고, 모듈의 연결관계를 모니터링하는 IoT 엣지 디바이스;를 포함하고,
    상기 호스트 장치는 상기 IoT 엣지 디바이스에 연결된 모듈을 인식하여 상기 IoT 엣지 디바이스에서 실행 중인 모듈의 상태 정보를 사용자에게 실시간으로 디스플레이하는, 인공지능 기반의 모듈 식별 시스템.
  2. 제 1항에 있어서,
    상기 모듈 데이터는 다수의 센서 모듈 및 액추에이터 모듈에 관한 사양, 특징, 사용가능 제품 및 기본설정에 관한 데이터를 포함하는, 인공지능 기반의 모듈 식별 시스템.
  3. 제 1항에 있어서,
    상기 모듈 학습 장치는 자가 적응 학습 기술을 이용하여 상기 모듈 학습 모델의 생성 및 학습을 수행하는, 인공지능 기반의 모듈 식별 시스템.
  4. 제 1항에 있어서,
    상기 IoT 엣지 디바이스는 사용자 코드를 이용하여 호출되는 라이브러리를 통해 상기 제품 구성에 이용되는 모듈을 제어하는, 인공지능 기반의 모듈 식별 시스템.
  5. 제 4항에 있어서,
    상기 IoT 엣지 디바이스는 상기 사용자 코드에 대응하는, 상기 IoT 엣지 디바이스에서 실행 중인 모듈의 상태 정보를 상기 호스트 장치로 제공하는, 인공지능 기반의 모듈 식별 시스템.
PCT/KR2019/013792 2018-11-16 2019-10-20 인공지능 기반의 모듈 식별 및 어시스턴트 시스템 WO2020101196A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180142102A KR101957648B1 (ko) 2018-11-16 2018-11-16 인공지능 기반의 모듈 식별 및 어시스턴트 시스템
KR10-2018-0142102 2018-11-16

Publications (1)

Publication Number Publication Date
WO2020101196A1 true WO2020101196A1 (ko) 2020-05-22

Family

ID=65800088

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/013792 WO2020101196A1 (ko) 2018-11-16 2019-10-20 인공지능 기반의 모듈 식별 및 어시스턴트 시스템

Country Status (2)

Country Link
KR (1) KR101957648B1 (ko)
WO (1) WO2020101196A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102263807B1 (ko) * 2019-10-18 2021-06-10 건국대학교 산학협력단 유아 모니터링 방법 및 이를 수행하는 장치들
US11525684B2 (en) 2019-11-21 2022-12-13 International Business Machines Corporation Assistive mechanism via edge device personalization
KR102512684B1 (ko) * 2019-11-26 2023-03-23 한국전자기술연구원 엣지-클라우드 시스템에서 딥러닝 네트워크 상호 학습 및 업데이트 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120015149A (ko) * 2010-08-11 2012-02-21 주식회사 펀진 학습기 및 학습기의 동작 방법
KR20150103884A (ko) * 2014-03-04 2015-09-14 한국전자통신연구원 디바이스 소셜관계를 이용한 스마트 학습 시스템 및 그 방법
KR101686070B1 (ko) * 2014-12-01 2016-12-13 계명대학교 산학협력단 바이오피드백 가능하도록 웰니스 지수를 모니터링하는 헬스 케어 방법 및 이를 수행하는 홈 헬스 미러-웨어러블 연동 시스템
JP2017026755A (ja) * 2015-07-21 2017-02-02 株式会社プライムネット 物のインターネット用開発用及び教育用機器
KR20180032514A (ko) * 2016-09-22 2018-03-30 민상규 접이식 가상현실 장비
US9990587B2 (en) * 2015-01-22 2018-06-05 Preferred Networks, Inc. Machine learning heterogeneous edge device, method, and system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101884167B1 (ko) 2018-01-11 2018-08-01 이지이노랩 주식회사 인공지능 기반 일자리 및 교육 기관 매칭 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120015149A (ko) * 2010-08-11 2012-02-21 주식회사 펀진 학습기 및 학습기의 동작 방법
KR20150103884A (ko) * 2014-03-04 2015-09-14 한국전자통신연구원 디바이스 소셜관계를 이용한 스마트 학습 시스템 및 그 방법
KR101686070B1 (ko) * 2014-12-01 2016-12-13 계명대학교 산학협력단 바이오피드백 가능하도록 웰니스 지수를 모니터링하는 헬스 케어 방법 및 이를 수행하는 홈 헬스 미러-웨어러블 연동 시스템
US9990587B2 (en) * 2015-01-22 2018-06-05 Preferred Networks, Inc. Machine learning heterogeneous edge device, method, and system
JP2017026755A (ja) * 2015-07-21 2017-02-02 株式会社プライムネット 物のインターネット用開発用及び教育用機器
KR20180032514A (ko) * 2016-09-22 2018-03-30 민상규 접이식 가상현실 장비

Also Published As

Publication number Publication date
KR101957648B1 (ko) 2019-03-12

Similar Documents

Publication Publication Date Title
Lan et al. What is semantic communication? A view on conveying meaning in the era of machine intelligence
Mahadevkar et al. A review on machine learning styles in computer vision—techniques and future directions
WO2020027540A1 (en) Apparatus and method for personalized natural language understanding
WO2020101196A1 (ko) 인공지능 기반의 모듈 식별 및 어시스턴트 시스템
WO2019199072A1 (en) System and method for active machine learning
WO2021261696A1 (en) Visual object instance segmentation using foreground-specialized model imitation
US20190347285A1 (en) Electronic device for determining emotion of user and method for controlling same
US20190332168A1 (en) Smart contact lens system with cognitive analysis and aid
CN110490136B (zh) 一种基于知识蒸馏的人体行为预测方法
CN113704388A (zh) 多任务预训练模型的训练方法、装置、电子设备和介质
WO2022164191A1 (en) System and method for microgenre-based hyper-personalization with multi-modal machine learning
WO2020027454A1 (en) Multi-layered machine learning system to support ensemble learning
CN111798002A (zh) 一种局部模型占比可控的联邦学习全局模型聚合方法
EP3984022A1 (en) System and method for natural language understanding
WO2020262800A1 (en) System and method for automating natural language understanding (nlu) in skill development
EP3953869A1 (en) Learning method of ai model and electronic apparatus
WO2022239975A1 (en) System and method for explainable embedding-based recommendation system
Bahamid et al. A review on crowd analysis of evacuation and abnormality detection based on machine learning systems
WO2022197136A1 (en) System and method for enhancing machine learning model for audio/video understanding using gated multi-level attention and temporal adversarial training
US20230245435A1 (en) System and method for supervised contrastive learning for multi-modal tasks
WO2019039659A1 (ko) 감성 기반의 사용자 관리 방법 및 이를 수행하는 장치들
WO2023229305A1 (en) System and method for context insertion for contrastive siamese network training
US20230237344A1 (en) Method, electronic device, and computer program product for managing training data
Pfautz et al. A general context-aware framework for improved human-system interactions
Park et al. Comparing facial expression recognition in humans and machines: Using CAM, GradCAM, and extremal perturbation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19883413

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19883413

Country of ref document: EP

Kind code of ref document: A1