KR102584454B1 - 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 방법 및 이를 실행하는 장치 - Google Patents

빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 방법 및 이를 실행하는 장치 Download PDF

Info

Publication number
KR102584454B1
KR102584454B1 KR1020220156983A KR20220156983A KR102584454B1 KR 102584454 B1 KR102584454 B1 KR 102584454B1 KR 1020220156983 A KR1020220156983 A KR 1020220156983A KR 20220156983 A KR20220156983 A KR 20220156983A KR 102584454 B1 KR102584454 B1 KR 102584454B1
Authority
KR
South Korea
Prior art keywords
learning
learning model
educational
data
user terminal
Prior art date
Application number
KR1020220156983A
Other languages
English (en)
Inventor
남이준
이영준
이슬
최소라
윤민혁
Original Assignee
주식회사 퓨너스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 퓨너스 filed Critical 주식회사 퓨너스
Priority to KR1020220156983A priority Critical patent/KR102584454B1/ko
Application granted granted Critical
Publication of KR102584454B1 publication Critical patent/KR102584454B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0053—Computers, e.g. programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명의 일 실시예에 따른 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 시스템은 사용자 단말로부터 학습 데이터 세트를 수신하면 상기 학습 데이터 세트를 이용하여 미리 훈련된 학습 모델에 대한 파인 튜닝을 수행하여 AI 학습 모델을 생성하여 상기 사용자 단말에 제공하는 학습 서버 및 학습 데이터 세트를 수집하여 상기 학습 서버에 제공하고 상기 학습 서버로부터 상기 학습 데이터 세트를 기초로 파인 튜닝된 AI 학습 모델을 수신하고, 상기 AI 학습 모델을 통해 교육용 장치를 제어하는 사용자 단말을 포함한다.

Description

빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 방법 및 이를 실행하는 장치{MEHTOD OF CREATING CONTENTS USING BIG DATA MACHINE LEARNING AND APPARATUS PERFORMING THEREOF}
본 발명은 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 방법 및 이를 실행하는 장치에 관한 것으로, 보다 구체적으로 모바일 환경에서 이미지 또는 음성의 빅데이터 머신 러닝을 이용하여 코딩 및 AI 컨텐츠를 제작할 수 있는 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 방법 및 이를 실행하는 장치에 관한 것이다.
앨빈 토플러가 제3의 물결을 부르짖은 이후 제4의 물결 후보군은 꽤 다양하게 예측 언급되고 있다. 몇 가지 유력한 후보 중 하나는 인공지능이다. 실제로, 2016년 1월 20일 스위스 다보스포럼에서 바이오산업, 3D 프린터, 로봇, 인공지능, 스마트폰이 제4의 물결 후보군으로 선정되었고, 로봇과 인공지능의 발전으로 머지않아 인류가 노동으로부터 해방될 것이라는 주장도 거론되고 있다.
인공지능(AI: Artificial Intelligence)은 인간이 지닌 지적 능력의 일부 또는 전체를 인공적으로 구현한 것으로서, 인공지능이라는 용어가 처음 등장한 때는 1956년에 미국 다트머스에서 마빈 민스키, 클로드 섀넌 등 인공 지능 및 정보 처리 이론에 지대한 공헌을 한 사람들이 개최한 학회에서 존 매카시가 이 용어를 사용하면서부터이다.
하지만 인공지능이라는 개념 자체는 훨씬 예전부터 있었다. 예를 들면, 앨런 튜링이 '생각하는 기계'의 구현 가능성과 튜링 테스트를 제안한 것은 1950년의 일이며, 최초의 신경망 모델은 1943년에 제안되었다.
20세기 중반에도 인공지능 연구는 자연어 처리나 복잡한 수학 문제를 해결하는 등 정말로 인간만이 할 수 있는 영역에 있던 문제들도 컴퓨터로 착착 해결할 수 있었던 상당히 혁신적인 연구였으며, 많은 관심을 받고 지속적으로 연구가 이루어진 분야이다. 당연히 AI 산업은 이미 1980년도에 10억불 규모의 시장을 형성할 정도로 큰 분야였다.
21세기 이후로는 2006년 제프리 힌튼 교수에 의해 딥러닝 논문이 발표되어 불가능이라 여겨졌던 비지도 학습방법이 가능해졌고, 이미 몇 가지 분야에서는 인간의 수준을 뛰어넘은 결과물이 속속 나타나고 있다. 알파고 이외에도 현재의 인공지능은 사람의 능력과 비교하여 얼굴 인식율이 더 높거나 사물을 더 잘 인식하는 결과를 나타내고 있어, 인공지능 분야에서는 빠른 속도로 사람의 능력을 추월할 수 있다는 의식이 확산되고 있다.
AI 트레이닝을 수행하는 선행 특허문헌으로는 "로봇을 이용한 인지 능력 훈련 장치 및 그 방법(공개번호 제10-2013-0039585호, 이하 특허문헌1이라 한다.)"
특허문헌 1의 경우, 로봇의 행동을 제어하는 일련의 로봇 교시를 상기 로봇에 전송하는 교시 생성부; 피훈련자의 3차원 위치 정보와 색상 정보를 포함한 센서 정보를 수집하는 센서부; 수집된 센서 정보에 기반하여 피훈련자 행동 정보를 생성하는 피훈련자 행동 정보생성부; 및 로봇 교시와 피훈련자 행동 정보에 기반하여 상기 피훈련자의 인지능력을 산출하는 인지능력 판단부를 포함하는, 인지 능력 훈련 장치를 개시한다.
AI 트레이닝을 수행하는 다른 선행 특허문헌으로는 "빅데이터 플랫폼 기반의 인공지능 딥러닝 네트워크 구축을 활용한 3D 카메라를 장착한 로봇의 트레이닝 방법(공개번호 제10-2017-0101455호, 이하 특허문헌2 이라 한다.)"이 존재한다.
특허문헌 2의 경우, 3D 카메라가 부착된 각 로봇들의 이미지 촬영 및 사물 인식을 수행하는 S1 단계; 메인 서버와 로봇들로 이루어진 네트워크 망을 통한 수집 데이터 전송을 수행하는 S2 단계; 메인 서버에서의 딥 러닝 알고리즘을 활용한 데이터 셋 분석 및 저장을 수행하는 S3 단계; 메인 서버의 특징 맵 결과 전송을 수행하는 S4단계; 및 메인 서버의 주기적 특징맵 생성과 분석을 수행하는 S5 단계를 수행하는 것을 특징으로 한다.
상기와 같이, AI 기술을 다양한 환경에서, 분야에서 경험하여 AI기반의 기술사회로 빠르게 바뀌고 있으며, 이에 교육분야에서 AI교육은 시급하게 도입하고 교육의 기회를 확대해야 하는 도전과제에 직면하고 있다.
또한, 전국적으로 시도교육청, 대학 등에서 AI융합 교육에 대한 교사연수, 대학원 개설 등 AI교육을 위한 준비를 급하게 진행하고 있으나 실제 AI교육을 하는데 필요한 적절한 도구가 부족해 학교현장에서 큰 어려움을 겪고 있다. 따라서, 기존의 SW교육에 활용하던 다양한 교구를 AI교육과 연계할 수 있는 방안도 시급하게 필요하다.
본 발명은 모바일 환경에서 이미지 또는 음성의 빅데이터 머신 러닝을 이용하여 코딩 및 AI 컨텐츠를 제작할 수 있는 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 방법 및 이를 실행하는 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 AI 학습 모델과 교육용 장치를 연결하여 다양한 AI 컨텐츠를 제작할 수 있도록 하는 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 방법 및 이를 실행하는 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 AI 학습 모델을 기초로 비슷하거나 동일한 이미지 데이터 및 음성 데이터를 동일한 범주로 해석한 후 판단 결과를 교육용 장치에 전송하여 사용자 단말이 하나의 무한 확장된 센서로 사용할 수 있도록 하는 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 방법 및 이를 실행하는 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 프로그래밍 언어의 단순한 지식 전달과 예제 따라하기에서 탈피하여 실제 동작하는 AI 학습 모델을 만들고 움직여보는 활동 중심의 AI 교육 진행 가능하는 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 방법 및 이를 실행하는 장치를 제공하는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
이러한 목적을 달성하기 위한 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 시스템은 사용자 단말로부터 학습 데이터 세트를 수신하면 상기 학습 데이터 세트를 이용하여 미리 훈련된 학습 모델에 대한 파인 튜닝을 수행하여 AI 학습 모델을 생성하여 상기 사용자 단말에 제공하는 학습 서버 및 학습 데이터 세트를 수집하여 상기 학습 서버에 제공하고 상기 학습 서버로부터 상기 학습 데이터 세트를 기초로 파인 튜닝된 AI 학습 모델을 수신하고, 상기 AI 학습 모델을 통해 교육용 장치를 제어하는 사용자 단말을 포함한다.
또한 이러한 목적을 달성하기 위한 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 방법은 사용자 단말이 학습 데이터 세트를 수집하여 상기 학습 서버에 제공하는 단계, 상기 학습 서버가 상기 사용자 단말로부터 학습 데이터 세트를 수신하면 상기 학습 데이터 세트를 이용하여 미리 훈련된 학습 모델에 대한 파인 튜닝을 수행하여 AI 학습 모델을 생성하여 상기 사용자 단말에 제공하는 단계 및 상기 사용자 단말이 상기 AI 학습 모델을 통해 교육용 장치를 제어하는 단계를 포함한다.
전술한 바와 같은 본 발명에 의하면, 모바일 환경에서 이미지 또는 음성의 빅데이터 머신 러닝을 이용하여 코딩 및 AI 컨텐츠를 제작할 수 있다는 장점이 있다.
또한 본 발명에 의하면, AI 학습 모델과 교육용 장치를 연결하여 다양한 AI 컨텐츠를 제작할 수 있다는 장점이 있다.
또한 본 발명에 의하면, AI 학습 모델을 기초로 비슷하거나 동일한 이미지 데이터 및 음성 데이터를 동일한 범주로 해석한 후 판단 결과를 교육용 장치에 전송하여 사용자 단말이 하나의 무한 확장된 센서로 사용할 수 있다는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 시스템을 설명하기 위한 네트워크 구성도이다.
도 2는 본 발명의 일 실시예에 따른 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 시스템의 실행 과정을 설명하기 위한 도면이다.
도 3 내지 도 6은 본 발명에 따른 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 방법을 설명하기 위한 예시도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
본 명세서에서 사용된 용어 중 “파인튜닝(fine tunning)”이란 미리 학습되어 있는 인공지능 신경망 모델의 파라미터를 미세하게 조정하는 행위를 의미한다. 즉, 미리 학습되어 있는 인공지능 신경망 모델에 학습 데이터 세트를 투입하여 파라미터를 업데이트하는 것이다. 본 발명에서는 학습 데이터 세트를 이용하여 제1 모델을 파인튜닝하는 것으로서, 종래와 같이, 다수의 데이터와 레이블의 쌍으로 이루어진 학습 데이터를 대량으로 미리 준비하여, 미리 학습된 이미지 인페인팅 신경망을 파인튜닝하는 것이 아닌, 샘플 학습 데이터 세트를 이용하여, 상기 제1 모델을 파인튜닝한다.
도 1은 본 발명의 일 실시예에 따른 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 시스템을 설명하기 위한 네트워크 구성도이다.
도 1을 참조하면, 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 시스템은 학습 서버(100), 사용자 단말(200_1~200_N) 및 교육용 장치(300_1~300_N)를 포함한다.
학습 서버(100)는 사용자 단말(200_1~200_N)로부터 학습 데이터 세트를 수신하면 학습 데이터 세트를 이용하여 미리 훈련된 학습 모델에 대한 파인 튜닝(Fine Tuning)을 수행한다. 이때, 학습 데이터 세트는 학습용 이미지 데이터 및 학습용 음성 데이터를 포함한다.
이때, 학습 서버(100)는 학습 데이터 세트를 이용하여 제1 모델에 대한 파인 튜닝을 수행하여 AI 학습 모델을 생성한다. 즉, 학습 서버(100)는 기존에 학습되어 있는 학습 모델을 사용자 단말(200_1~200_N)로부터 수신된 학습 데이터 세트에 맞게 변경하고 미리 학습된 모델의 가중치로부터 학습을 업데이트한다.
구체적으로, 학습 서버(100)는 사용자 단말(200_1~200_N)로부터 복수의 사용자들에 대한 학습 데이터 세트를 획득하고, 획득된 학습 데이터 세트 및 고정된 학습 파라미터를 기초로 AI 학습 모델을 파인 튜닝(fine tuning)할 수 있다. 여기서, 학습 데이터 세트는 이미지 데이터 및 음성 데이터를 포함한다.
학습 서버(100)는 파인 튜닝(fine tuning)을 위해 AI 학습 모델과 상이하고, 이미지 데이터 또는 음성 데이터를 입력으로 이미지 데이터 또는 음성 데이터를 분류하여 동일하거나 유사한 클래스로 분류하도록 제1 모델을 이용하여 고정된 학습 파라미터를 추출할 수 있다.
다시 말해서, 학습 서버(100)는 학습 데이터 세트를 입력으로 하여 이미지 데이터 또는 음성 데이터를 분류하여 동일하거나 유사한 클래스로 분류하도록 AI 학습 모델을 파인 튜닝(fine tuning)할 수 있다.
여기에서, 제1 모델은 복수의 레이어 및 AI 학습 모델과 동일한 구성의 제2 모델을 포함할 수 있다. 이때, 복수의 레이어는 학습 데이터 세트 및 제1 모델에서 이용되는 기 설정된 학습 파라미터 사이의 유사도를 나타내는 유사도 데이터를 이용하여 특징 데이터를 산출하여기 위한 제1 레이어 및 특징 데이터를 압축하기 위한 제2 레이어를 포함할 수 있다.
이러한 학습을 통해 제1 모델에서 이용되는 학습 파라미터가 업데이트되며, 학습이 완료되면 학습 서버(100)는 업데이트된 학습 파라미터를 고정된 학습 파라미터로서 제1 모델로부터 추출할 수 있다. 학습 서버(100)는 고정된 학습 파라미터를 AI 학습 모델에 적용함으로써, 파인 튜닝을 수행할 수 있다.
사용자 단말(200_1~200_N)은 학습 데이터 세트를 수집하여 학습 서버(100)에 제공하고, 학습 서버(100)로부터 AI 학습 모델을 수신한 후 AI 학습 모델 및 교육용 장치(300_1~300_N)를 연결하여 AI 컨텐츠를 제작하는 단말이다. 상기의 AI 학습 모델은 비슷하거나 동일한 이미지 데이터 및 음성 데이터를 동일한 범주로 해석할 수 있는 모델이다.
먼저, 사용자 단말(200_1~200_N)은 AI 학습 모델 설계 절차를 통해 AI 학습 모델 정보를 수신한다. 이때, 사용자 단말(200_1~200_N)은 AI 학습 모델 설계 절차를 통해 클래스 이름, 클래스 개수 등을 포함할 수 있다.
그 후, 사용자 단말(200_1~200_N)은 복수의 센서(예를 들어, 카메라, 마이크 등)를 통해 이미지 데이터 또는 사운드 데이터를 수집한 후 학습 서버(100)에서 AI 학습 모델에 사용할 수 있도록 데이터 전처리 작업을 진행하여 학습 데이터 세트를 생성한 후 학습 서버(100)에 제공한다.
따라서, 학습 서버(100)는 사용자 단말(200_1~200_N)로부터 수신된 학습 데이터 세트를 이용하여 AI 학습 모델을 생성한 후 사용자 단말(200_1~200_N)에 다시 제공할 수 있다.
따라서, 사용자 단말(200_1~200_N)은 이미지 데이터 또는 사운드 데이터가 인식되면 AI 학습 모델을 통해 이미지 데이터 또는 사운드 데이터가 소속되는 클래스를 결정하고, 결정된 클래스의 정보를 교육용 장치(300_1~300_N)에 제공하여 사용자 단말(200_1~200_N)을 하나의 센서로 사용할 수 있도록 한다.
사용자 단말(200_1~200_N)은 코딩 교육용 컨텐츠 제작 절차를 통해 교육용 장치(300_1~300_N)를 등록한 후 교육용 장치(300_1~300_N)의 구동을 지시하는 구동 코드가 제작되도록 하는 교육용 컨텐츠를 제작할 수 있다.
일 실시예에서, 사용자 단말(200_1~200_N)은 교육용 장치(300_1~300_N)가 미로를 빠져나가는 경우 미로를 빠져나갈 수 있는 구동 코드를 작성할 수 있는 교육용 컨텐츠를 제작할 수 있다. 예를 들어, 사용자 단말(200_1~200_N)은 구동 코드는 “직진- 회전-사물의 종류에 따라 직진”을 작성할 수 있다.
상기와 같이, 사용자 단말(200_1~200_N)은 코딩 교육용 컨텐츠 제작 절차를 통해 교육용 장치(300_1~300_N)에 입력된 이미지와 미리 결정된 이미지의 일치 여부에 따른 제어 명령을 입력하도록 하는 구동 코드를 작성할 수 있도록 한다.
따라서, 사용자 단말(200_1~200_N)은 구동 코드가 교육용 장치(300_1~300_N)에 제공된 후 교육용 장치(300_1~300_N)가 구동 코드에 따라 동작할 때 스캔되는 이미지에 해당하는 클래스 및 미리 결정된 클래스 사이의 일치 여부를 확인하기 위해서 사용자 단말(200_1~200_N)과 통신하며 사용자 단말(200_1~200_N)이 AI 모델을 통해 스캔되는 이미지가 소속되는 클래스를 결정하여 교육용 장치(300_1~300_N)에 제공한다.
이에 따라, 교육용 장치(300_1~300_N)는 사용자 단말(200_1~200_N)로부터 수신된 판단 결과 및 미리 결정된 클래스가 동일하는 경우 해당 제어 명령에 따라 동작하게 된다.
또한, 사용자 단말(200_1~200_N)은 코딩 교육용 컨텐츠 제작 절차를 통해 교육용 장치(300_1~300_N)에 입력된 음성와 미리 결정된 음성의 일치 여부에 따른 제어 명령을 입력하도록 하는 구동 코드를 작성할 수 있도록 한다.
따라서, 사용자 단말(200_1~200_N)은 구동 코드가 교육용 장치(300_1~300_N)에 제공된 후 교육용 장치(300_1~300_N)가 구동 코드에 따라 동작할 때 스캔되는 음성에 해당하는 클래스 및 미리 결정된 클래스 사이의 일치 여부를 확인하기 위해서 사용자 단말(200_1~200_N)과 통신하며 사용자 단말(200_1~200_N)이 AI 모델을 통해 스캔되는 음성이 소속되는 클래스를 결정하여 교육용 장치(300_1~300_N)에 제공한다.
이에 따라, 교육용 장치(300_1~300_N)는 사용자 단말(200_1~200_N)로부터 수신된 판단 결과 및 미리 결정된 클래스가 동일하는 경우 해당 제어 명령에 따라 동작하게 된다.
그런 다음, 사용자 단말(200_1~200_N)은 코딩 교육용 컨텐츠 제작 절차를 통해 제작된 교육용 컨텐츠를 실행하기 위한 구동 코드를 교육용 장치(300_1~300_N)에 제공하고, 교육용 장치(300_1~300_N)가 구동 코드에 따라 동작되도록 한다.
일 실시예에서, 사용자 단말(200_1~200_N)은 구동 코드를 교육용 장치(300_1~300_N)에 제공한 후 교육용 장치(300_1~300_N)로부터 이미지 또는 음성을 수신하면, 학습 서버(100)로부터 수신된 AI 학습 모델에 이미지 또는 음성을 입력한 후 출력되는 출력 결과룰 교육용 장치(300_1~300_N)에 제공할 수 있다.
따라서, 사용자 단말(200_1~200_N)은 이미지 데이터 또는 사운드 데이터가 인식되면 AI 학습 모델을 통해 이미지 데이터 또는 사운드 데이터가 소속되는 클래스를 결정하고, 결정된 클래스의 정보를 교육용 장치(300_1~300_N)에 제공하여 사용자 단말(200_1~200_N)을 하나의 센서로 사용할 수 있도록 한다.
도 2는 본 발명의 일 실시예에 따른 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 시스템의 실행 과정을 설명하기 위한 도면이다.
도 2를 참조하면, 사용자 단말(200_1~200_N)은 학습 데이터 세트를 수집하여(단계 S205) 상기 학습 서버에 제공한다(단계 S210).
상기 학습 서버(100)는 상기 사용자 단말(200_1~200_N)로부터 학습 데이터 세트 및 AI 학습 모델 구조 정보를 수신하면 상기 학습 데이터 세트 및 AI 학습 모델 구조 정보를 이용하여 미리 훈련된 학습 모델에 대한 파인 튜닝을 수행하여 AI 학습 모델을 생성하여(단계 S215) 상기 사용자 단말에 제공한다(단계 S220). 이때, 학습 데이터 세트는 학습용 이미지 데이터 및 학습용 음성 데이터를 포함한다.
단계 S220에 대한 일 실시예에서, 학습 서버(100)는 학습 데이터 세트를 이용하여 제1 모델에 대한 파인 튜닝을 수행하여 AI 학습 모델을 생성한다. 즉, 학습 서버(100)는 기존에 학습되어 있는 학습 모델을 사용자 단말(200_1~200_N)로부터 수신된 학습 데이터 세트에 맞게 변경하고 미리 학습된 모델의 가중치로부터 학습을 업데이트한다.
구체적으로, 학습 서버(100)는 사용자 단말(200_1~200_N)로부터 복수의 사용자들에 대한 학습 데이터 세트를 획득하고, 획득된 학습 데이터 세트 및 고정된 학습 파라미터를 기초로 AI 학습 모델을 파인 튜닝(fine tuning)할 수 있다. 여기서, 학습 데이터 세트는 이미지 데이터 및 음성 데이터를 포함한다.
학습 서버(100)는 파인 튜닝(fine tuning)을 위해 AI 학습 모델과 상이하고, 이미지 데이터 또는 음성 데이터를 입력으로 이미지 데이터 또는 음성 데이터를 분류하여 동일하거나 유사한 클래스로 분류하도록 제1 모델을 이용하여 고정된 학습 파라미터를 추출할 수 있다.
다시 말해서, 학습 서버(100)는 학습 데이터 세트를 입력으로 하여 이미지 데이터 또는 음성 데이터를 분류하여 동일하거나 유사한 클래스로 분류하도록 AI 학습 모델을 파인 튜닝(fine tuning)할 수 있다.
여기에서, 제1 모델은 복수의 레이어 및 AI 학습 모델과 동일한 구성의 제2 모델을 포함할 수 있다. 이때, 복수의 레이어는 학습 데이터 세트 및 제1 모델에서 이용되는 기 설정된 학습 파라미터 사이의 유사도를 나타내는 유사도 데이터를 이용하여 특징 데이터를 산출하여기 위한 제1 레이어 및 특징 데이터를 압축하기 위한 제2 레이어를 포함할 수 있다.
이러한 학습을 통해 제1 모델에서 이용되는 학습 파라미터가 업데이트되며, 학습이 완료되면 학습 서버(100)는 업데이트된 학습 파라미터를 고정된 학습 파라미터로서 제1 모델로부터 추출할 수 있다. 학습 서버(100)는 고정된 학습 파라미터를 AI 학습 모델에 적용함으로써, 파인 튜닝을 수행할 수 있다.
상기 사용자 단말(200_1~200_N)은 상기 AI 학습 모델을 통해 교육용 장치를 제어한다(단계 S230).
이를 위해, 사용자 단말(200_1~200_N)은 코딩 교육용 컨텐츠 제작 절차를 통해 교육용 장치(300_1~300_N)를 등록한 후 교육용 장치(300_1~300_N)의 구동을 지시하는 구동 코드가 제작되도록 하는 교육용 컨텐츠를 제작할 수 있다.
일 실시예에서, 사용자 단말(200_1~200_N)은 교육용 장치(300_1~300_N)가 미로를 빠져나가는 경우 미로를 빠져나갈 수 있는 구동 코드를 작성할 수 있는 교육용 컨텐츠를 제작할 수 있다. 예를 들어, 사용자 단말(200_1~200_N)은 구동 코드는 “직진- 회전-사물의 종류에 따라 직진”을 작성할 수 있다.
그런 다음, 사용자 단말(200_1~200_N)은 코딩 교육용 컨텐츠 제작 절차를 통해 제작된 교육용 컨텐츠를 실행하기 위한 구동 코드를 교육용 장치(300_1~300_N)에 제공하고, 교육용 장치(300_1~300_N)가 구동 코드에 따라 동작되도록 한다.
일 실시예에서, 사용자 단말(200_1~200_N)은 구동 코드를 교육용 장치(300_1~300_N)에 제공한 후 교육용 장치(300_1~300_N)로부터 이미지 또는 음성을 수신하면, 학습 서버(100)로부터 수신된 AI 학습 모델에 이미지 또는 음성을 입력한 후 출력되는 출력 결과룰 교육용 장치(300_1~300_N)에 제공할 수 있다.
사용자 단말(200_1~200_N)은 이미지 데이터 또는 사운드 데이터가 인식되면 AI 학습 모델을 통해 이미지 데이터 또는 사운드 데이터가 소속되는 클래스를 결정하고, 결정된 클래스의 정보를 교육용 장치(300_1~300_N)에 제공하여 사용자 단말(200_1~200_N)을 하나의 센서로 사용할 수 있도록 한다.
도 3 내지 도 6은 본 발명에 따른 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 방법을 설명하기 위한 예시도이다.
도 3을 참조하면, 사용자 단말(200_1~200_N)은 학습 데이터 세트를 수집하여 학습 서버(100)에 제공하고, 학습 서버(100)로부터 AI 학습 모델을 수신한 후 AI 학습 모델 및 교육용 장치(300_1~300_N)를 연결하여 AI 컨텐츠를 제작한다.
먼저, 사용자 단말(200_1~200_N)은 AI 학습 모델 구조 설계 절차를 통해 AI 학습 모델 구조 정보를 수신한다. 이때, 사용자 단말(200_1~200_N)은 AI 학습 모델 설계 절차를 통해 클래스 이름, 클래스 개수 등을 포함할 수 있다.
그 후, 사용자 단말(200_1~200_N)은 복수의 센서(예를 들어, 카메라, 마이크 등)를 통해 이미지 데이터 또는 사운드 데이터를 수집한 후 학습 서버(100)에서 AI 학습 모델에 사용할 수 있도록 데이터 전처리 작업을 진행하여 학습 데이터 세트를 생성한 후 학습 데이터 세트 및 AI 학습 모델 구조 정보를 학습 서버(100)에 제공한다.
따라서, 학습 서버(100)는 사용자 단말(200_1~200_N)로부터 수신된 학습 데이터 세트 및 AI 학습 모델 구조 정보를 이용하여 AI 학습 모델을 생성한 후 사용자 단말(200_1~200_N)에 다시 제공할 수 있다.
그런 다음, 사용자 단말(200_1~200_N)은 코딩 교육용 컨텐츠 제작 절차를 통해 교육용 장치(300_1~300_N)를 등록한 후 교육용 장치(300_1~300_N)의 구동을 지시하는 구동 코드가 제작되도록 하는 교육용 컨텐츠를 제작할 수 있다.
먼저, 사용자 단말(200_1~200_N)은 도 3과 같이 카메라를 설정하고, 도 4와 같이 마이크를 설정하고, 학습 서버(100)로부터 수신된 AI 학습 모델을 로딩학고, 교육용 장치(300_1~300_N)를 연결할 수 있다. 도 4를 통해 AI 학습 모델 및 로봇의 설정이 완료되면 사용자 단말(200_1~200_N)은 도 5와 같이 AI 학습 모델 및 로봇의 설정의 완료 화면을 제공한다.
그런 다음, 사용자 단말(200_1~200_N)은 도 6과 같이 코딩 교육용 컨텐츠 제작 절차를 통해 교육용 장치(300_1~300_N)의 구동을 지시하는 구동 코드가 제작되도록 하는 교육용 컨텐츠를 제작할 수 있다.
일 실시예에서, 사용자 단말(200_1~200_N)은 교육용 장치(300_1~300_N)가 미로를 빠져나가는 경우 미로를 빠져나갈 수 있는 구동 코드를 작성할 수 있는 교육용 컨텐츠를 제작할 수 있다. 예를 들어, 사용자 단말(200_1~200_N)은 구동 코드는 “직진- 회전-사물의 종류에 따라 직진”을 작성할 수 있다.
그런 다음, 사용자 단말(200_1~200_N)은 구동 코드를 교육용 장치(300_1~300_N)에 제공하고, 교육용 장치(300_1~300_N)가 구동 코드에 따라 동작하는 과정에서 교육용 장치(300_1~300_N)로부터 이미지 데이터 및 음성 데이터를 수신하면, AI 학습 모델을 통해 이미지 데이터 및 음성 데이터를 분류하여 해당 클래스의 정보를 교육용 장치(300_1~300_N)에 제공할 수 있다.
상기와 같이, 본 발명은 AI 학습 모델을 기초로 비슷하거나 동일한 이미지 데이터 및 음성 데이터를 동일한 범주로 해석한 후 판단 결과를 교육용 장치에 전송하여 사용자 단말이 하나의 무한 확장된 센서로 사용할 수 있다는 장점이 있다.
한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
100: 학습 서버,
200_1~200_N: 사용자 단말,
300_1~300_N: 교육용 장치

Claims (2)

  1. 사용자 단말로부터 학습 데이터 세트를 수신하면 상기 학습 데이터 세트를 이용하여 미리 훈련된 학습 모델에 대한 파인 튜닝을 수행하여 AI 학습 모델을 생성하여 상기 사용자 단말에 제공하는 학습 서버; 및
    AI 학습 모델 구조 설계 절차를 통해 클래스 이름 및 클래스 개수를 포함하는 AI 학습 모델 구조 정보를 수신하고, 복수의 센서를 통해 이미지 데이터 또는 사운드 데이터를 수집한 후 학습 서버에서 AI 학습 모델에 사용할 수 있도록 데이터 전처리 작업을 진행하여 학습 데이터 세트를 생성하고, 학습 데이터 세트 및 AI 학습 모델 구조 정보를 학습 서버에 제공하고,
    코딩 교육용 컨텐츠 제작 절차를 통해 교육용 장치를 등록한 후 교육용 장치의 구동을 지시하는 구동 코드가 제작되도록 하는 교육용 컨텐츠를 제작하고, 상기 구동 코드를 교육용 장치에 제공한 후 교육용 장치로부터 이미지 또는 음성을 수신하면, 학습 서버로부터 수신된 AI 학습 모델에 이미지 또는 음성을 입력한 후 출력되는 출력 결과룰 교육용 장치에 제공하고, 이미지 데이터 또는 사운드 데이터가 인식되면 AI 학습 모델을 통해 이미지 데이터 또는 사운드 데이터가 소속되는 클래스를 결정하고, 결정된 클래스의 정보를 교육용 클래스 장치에 제공하여 사용자 단말을 하나의 센서로 사용되도록 하는 사용자 단말을 포함하는 것을 특징으로 하는
    빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 시스템.
  2. 사용자 단말이 AI 학습 모델 구조 설계 절차를 통해 클래스 이름 및 클래스 개수를 포함하는 AI 학습 모델 구조 정보를 수신하고, 복수의 센서를 통해 이미지 데이터 또는 사운드 데이터를 수집한 후 학습 서버에서 AI 학습 모델에 사용할 수 있도록 데이터 전처리 작업을 진행하여 학습 데이터 세트를 생성하고, 학습 데이터 세트 및 AI 학습 모델 구조 정보를 학습 서버에 제공하는 단계;
    상기 학습 서버가 사용자 단말로부터 학습 데이터 세트를 수신하면 상기 학습 데이터 세트를 이용하여 미리 훈련된 학습 모델에 대한 파인 튜닝을 수행하여 AI 학습 모델을 생성하여 상기 사용자 단말에 제공하는 단계;
    상기 사용자 단말이 코딩 교육용 컨텐츠 제작 절차를 통해 교육용 장치를 등록한 후 교육용 장치의 구동을 지시하는 구동 코드가 제작되도록 하는 교육용 컨텐츠를 제작하는 단계;
    상기 사용자 단말이 상기 구동 코드를 교육용 장치에 제공한 후 교육용 장치로부터 이미지 또는 음성을 수신하면, 학습 서버로부터 수신된 AI 학습 모델에 이미지 또는 음성을 입력한 후 출력되는 출력 결과룰 교육용 장치에 제공하는 단계; 및
    상기 사용자 단말이 이미지 데이터 또는 사운드 데이터가 인식되면 AI 학습 모델을 통해 이미지 데이터 또는 사운드 데이터가 소속되는 클래스를 결정하고, 결정된 클래스의 정보를 교육용 클래스 장치에 제공하여 사용자 단말을 하나의 센서로 사용되도록 하는 단계를 포함하는 것을 특징으로 하는
    빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 방법.
KR1020220156983A 2022-11-22 2022-11-22 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 방법 및 이를 실행하는 장치 KR102584454B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220156983A KR102584454B1 (ko) 2022-11-22 2022-11-22 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 방법 및 이를 실행하는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220156983A KR102584454B1 (ko) 2022-11-22 2022-11-22 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 방법 및 이를 실행하는 장치

Publications (1)

Publication Number Publication Date
KR102584454B1 true KR102584454B1 (ko) 2023-10-04

Family

ID=88290083

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220156983A KR102584454B1 (ko) 2022-11-22 2022-11-22 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 방법 및 이를 실행하는 장치

Country Status (1)

Country Link
KR (1) KR102584454B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220067931A (ko) * 2020-11-18 2022-05-25 재단법인대구경북과학기술원 3차원 영상 영역화 방법 및 장치
KR20220068880A (ko) * 2020-11-19 2022-05-26 네이버 주식회사 인공지능 모델을 이용한 동영상 인코딩 최적화 방법, 시스템, 및 컴퓨터 프로그램
KR20220086265A (ko) * 2020-12-16 2022-06-23 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
KR20230023505A (ko) * 2021-08-10 2023-02-17 주식회사 케이티 음성 언어 이해 모델 생성 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220067931A (ko) * 2020-11-18 2022-05-25 재단법인대구경북과학기술원 3차원 영상 영역화 방법 및 장치
KR20220068880A (ko) * 2020-11-19 2022-05-26 네이버 주식회사 인공지능 모델을 이용한 동영상 인코딩 최적화 방법, 시스템, 및 컴퓨터 프로그램
KR20220086265A (ko) * 2020-12-16 2022-06-23 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
KR20230023505A (ko) * 2021-08-10 2023-02-17 주식회사 케이티 음성 언어 이해 모델 생성 방법 및 장치

Similar Documents

Publication Publication Date Title
Modi et al. Facial emotion recognition using convolution neural network
CN105913039B (zh) 基于视觉和语音的对话数据交互处理方法及装置
CN111274910B (zh) 场景互动方法、装置及电子设备
CN109101545A (zh) 基于人机交互的自然语言处理方法、装置、设备和介质
CN109710748B (zh) 一种面向智能机器人的绘本阅读交互方法和系统
CN108833941A (zh) 人机交互处理方法、装置、用户终端、处理服务器及系统
JP2018055548A (ja) 対話装置、学習装置、対話方法、学習方法、およびプログラム
Patilkulkarni Visual speech recognition for small scale dataset using VGG16 convolution neural network
KR102234651B1 (ko) 인공지능 플랫폼 시스템 및 이를 제공하기 위한 방법
CN115699082A (zh) 缺陷检测方法及装置、存储介质及电子设备
WO2018212584A2 (ko) 딥 뉴럴 네트워크를 이용하여 문장이 속하는 클래스를 분류하는 방법 및 장치
CN108491808B (zh) 用于获取信息的方法及装置
CN113792177A (zh) 基于知识引导深度注意力网络的场景文字视觉问答方法
JP2019200671A (ja) 学習装置、学習方法、プログラム、データ生成方法及び識別装置
CN113703585A (zh) 交互方法、装置、电子设备及存储介质
CN115423908A (zh) 虚拟人脸的生成方法、装置、设备以及可读存储介质
Renjith et al. Indian sign language recognition: A comparative analysis using cnn and rnn models
KR102584454B1 (ko) 빅데이터 머신 러닝을 이용한 코딩용 컨텐츠 제작 방법 및 이를 실행하는 장치
Zatarain-Cabada et al. Affective tutoring system for Android mobiles
CN117615182A (zh) 基于参与人数进行直播及互动动态切换方法、系统及终端
CN113470653B (zh) 声纹识别的方法、电子设备和系统
CN113516972A (zh) 语音识别方法、装置、计算机设备及存储介质
JP7096626B2 (ja) 情報抽出装置
Vivek et al. A Way to Mark Attentance using Face Recognition using PL
Vandana et al. Neural network based biometric attendance system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant