KR20230089966A

KR20230089966A - 인공 지능 로봇의 학습 및 인공 지능 로봇을 학습시키는 인공 지능 모델의 거래를 제어하는 방법 및 시스템

Info

Publication number: KR20230089966A
Application number: KR1020210178795A
Authority: KR
Inventors: 박지훈; 윤승훈; 이준택
Original assignee: 주식회사 엔젤게임즈; 주식회사 엔피니티7; 빈즈소프트 주식회사
Priority date: 2021-12-14
Filing date: 2021-12-14
Publication date: 2023-06-21
Also published as: WO2023113432A1

Abstract

인공지능(artificial intelligence, AI) 로봇 학습 및 AI 모델 거래 방법 및 시스템이 제공된다. AI 로봇에 대해 강화 학습을 수행할 수 있는 AI 모델을 생성하는 학습 모듈을 제공하는 서버, 및 학습 모듈을 이용하여 AI 모델을 생성하는 제1 단말 장치를 이용한, AI 로봇 학습 및 AI 모델 거래 방법의 경우, 서버는, AI 모델을 생성할 수 있는 학습 모듈을 제1 단말 장치에 전송하는 단계, 제1 단말 장치는, 학습 모듈을 통해 AI 모델링 데이터를 관리할 수 있는 메타 데이터를 생성하고, 생성된 메타 데이터에 기초하여 AI 로봇에 대해 강화 학습을 수행할 수 있는 제1 AI 모델을 생성하는 단계, 제1 단말 장치는, 생성된 제1 AI 모델을 AI 모델을 관리하는 데이터베이스에 저장하는 단계, 제1 단말 장치는, 제1 AI 모델을 이용하여, 제1 AI 로봇을 생성하고, 제1 AI 로봇에 대해서 강화 학습을 수행하는 단계 및 서버는, 상기 데이터베이스에 저장된 상기 제1 AI 모델을 구매할 수 있는 UI를 다른 단말 장치에 제공하는 단계를 포함할 수 있다.

Description

인공 지능 로봇의 학습 및 인공 지능 로봇을 학습시키는 인공 지능 모델의 거래를 제어하는 방법 및 시스템 {METHOD AND SYSTEM FOR CONTROLLING TRAINING AN ARTIFICIAL INTELLIGENCE ROBOT AND TRADING ARITIFICAL INTELLIGENCE MODEL THAT TRAINS THE ARITIFICIAL INTELLIGENCE ROBOT}

본 개시는 인공 지능 기반의 학습 및 거래 방법 및 시스템에 관한 것이다. 보다 상세하게는, 본 개시는 인공 지능 로봇의 학습 및 인공 지능 로봇을 학습시키는 인공 지능 모델의 거래를 제어하는 방법 및 시스템에 관한 것이다.

최근 인공 지능(artificial intelligence, AI)과 관련된 기술이 비약적으로 발전함에 따라, 많은 분야에서 AI의 활용은 필수적인 요소가 되었다. 특히, 게임 분야에서도 AI 기반의 강화 학습 방식이 도입되었다. 예를 들어, 게임 내에서 캐릭터의 움직이나 전투 기술을 AI 기반의 강화 학습을 통해 구현하는 방식을 도입하였다.

다만, AI 기반의 강화 학습의 경우, 시간적, 물리적인 이유로 사용자가 실제로 원하는 형태의 움직임을 보이는 캐릭터를 제공하는 것은 어렵다는 문제점이 존재한다. 즉, 사용자의 실제 요구에 맞도록 AI 기반의 강화 학습을 개선하는 방식의 필요성이 대두되었다.

공개특허공보 제10-2019-0042310호, 2019.04.11

본 개시는 상술된 문제점을 해결하기 위해 안출된 것으로서, 본 개시의 목적은 인공 지능 로봇의 학습 및 인공 지능 로봇을 학습시키는 인공 지능 모델의 거래를 제어하는 방법 및 시스템을 제공함에 있다.

본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 개시의 일 실시예로, 인공지능(artificial intelligence, AI) 로봇에 대해 강화 학습을 수행할 수 있는 AI 모델을 생성하는 학습 모듈을 제공하는 서버, 및 상기 학습 모듈을 이용하여 상기 AI 모델을 생성하는 제1 단말 장치를 이용한, AI 로봇 학습 및 AI 모델 거래 방법에 있어서, 상기 서버는, 상기 AI 모델을 생성할 수 있는 상기 학습 모듈을 상기 제1 단말 장치에 전송하는 단계; 상기 제1 단말 장치는, 상기 학습 모듈을 통해 AI 모델링 데이터를 관리할 수 있는 메타 데이터를 생성하고, 상기 생성된 메타 데이터에 기초하여 AI 로봇에 대해 강화 학습을 수행할 수 있는 제1 AI 모델을 생성하는 단계; 상기 제1 단말 장치는, 상기 생성된 제1 AI 모델을 AI 모델을 관리하는 데이터베이스에 저장하는 단계; 상기 제1 단말 장치는, 상기 제1 AI 모델을 이용하여, 제1 AI 로봇을 생성하고, 상기 제1 AI 로봇에 대해서 강화 학습을 수행하는 단계; 및 상기 서버는, 상기 데이터베이스에 저장된 상기 제1 AI 모델을 구매할 수 있는 UI를 다른 단말 장치에 제공하는 단계;를 포함할 수 있다.

그리고, 상기 제1 단말 장치가 상기 메타 데이터를 생성하는 단계는, AI 로봇의 학습과 관련된 파라미터가 포함된 AI 모델링 데이터를 조율하는 사용자 명령을 입력받는 단계; 및 상기 사용자 명령에 기초하여 상기 조율된 AI 모델링 데이터를 포함하는 상기 메타 데이터를 생성하는 단계;를 포함할 수 있다.

그리고, 상기 파라미터는, 학습량, 학습 속도, 아군 또는 적군 로봇 설정, 보상 수치 목록 중 적어도 하나를 포함할 수 있다.

그리고, 상기 제1 AI 모델은, 상기 서버에 기 저장된 제1 학습 데이터, 상기 제1 AI 로봇과 다른 로봇과의 전투를 통해 획득된 제2 학습 데이터, 또는 다른 로봇을 학습시키기 위해 이용된 제3 학습 데이터 중 적어도 하나에 기초하여, 상기 제1 AI 로봇에 대해 강화 학습을 수행할 수 있다.

그리고, 상기 서버는 또는 상기 제1 단말 장치는 AI 모델 매니저 모듈을 포함하고, 상기 AI 모델 매니저 모듈은, 상기 제1 AI 모델을 통해 학습시킬 수 있는 AI 로봇의 성능에 기초하여 상기 제1 AI 모델에 대응되는 평가 점수를 출력할 수 있다.

그리고, 상기 서버는, 상기 평가 점수가 임계값을 초과하는 경우, 상기 제1 AI 모델을 구매할 수 있는 UI를 상기 다른 단말 장치에 제공할 수 있다.

그리고, 상기 AI 로봇 학습 및 AI 모델 거래 시스템은, 상기 제1 단말 장치가 상기 UI를 통해 제2 단말 장치가 생성한 제2 AI 모델을 구매하는 단계; 및 상기 제1 단말 장치가 상기 제1 AI 로봇을 상기 제2 AI 모델에 입력함으로써 상기 제1 AI 로봇에 대해 재학습 동작을 수행하는 단계를 더 포함할 수 있다.

그리고, 상기 제1 AI 모델의 가격은, 상기 평가 점수에 기초하여 결정될 수 있다.

본 개시의 또 다른 실시예로, AI 로봇 학습 및 AI 모델 거래 시스템은, 인공지능(artificial intelligence, AI) 로봇에 대해 강화 학습을 수행할 수 있는 AI 모델을 생성하는 학습 모듈을 제1 단말 장치에 제공하는 서버; 및 상기 학습 모듈을 통해 AI 모델링 데이터를 관리할 수 있는 메타 데이터를 생성하고, 상기 생성된 메타 데이터에 기초하여 AI 로봇에 대해 강화 학습을 수행할 수 있는 제1 AI 모델을 생성하고, 상기 생성된 제1 AI 모델을 AI 모델을 관리하는 데이터베이스에 저장하고, 상기 제1 AI 모델을 이용하여, 제1 AI 로봇을 생성하고, 상기 제1 AI 로봇에 대해서 강화 학습을 수행하는 제1 단말 장치;를 포함하고, 상기 서버는, 상기 데이터베이스에 저장된 상기 제1 AI 모델을 구매할 수 있는 UI를 다른 단말 장치에 제공할 수 있다.

본 개시의 또 다른 실시예로, AI 로봇에 대해 강화 학습을 수행하는 AI 모델을 생성함으로써, AI 로봇 학습 시스템을 제공하는 제1 단말 장치에 있어서, 상기 제1 단말 장치는: 무선 신호를 송수신하기 위한 하나 이상의 송수신부(transceiver); 및 상기 하나 이상의 송수신부를 제어하는 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는: 상기 AI 모델을 생성할 수 있는 학습 모듈을 서버로부터 상기 하나 이상의 송수신부를 통해 수신하고, 상기 학습 모듈을 통해 AI 모델링 데이터를 관리할 수 있는 메타 데이터를 생성하고, 상기 생성된 메타 데이터에 기초하여 AI 로봇에 대해 강화 학습을 수행할 수 있는 제1 AI 모델을 생성하고, 상기 생성된 제1 AI 모델을 AI 모델을 관리하는 데이터베이스에 저장하고, 상기 제1 AI 모델을 이용하여, 제1 AI 로봇을 생성하고, 상기 제1 AI 로봇에 대해서 강화 학습을 수행하고, 상기 서버는, 상기 데이터베이스에 저장된 상기 제1 AI 모델을 구매할 수 있는 UI를 다른 단말 장치에 제공할 수 있다.

본 개시의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 개시의 상술된 다양한 실시예에 의해, 인공 지능 로봇의 학습 및 인공 지능 로봇을 학습시키는 인공 지능 모델의 거래를 제어하는 방법 및 시스템을 제공할 수 있다.

또한, 본 개시의 다양한 실시예에 의해, 사용자는 자신의 요구가 반영된 AI 모델을 제공받을 수 있으며, 다른 사용자 간의 AI 모델 거래를 통해 새로운 비즈니스 모델이 창출될 수 있다.

본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 일 실시예에 따른, 인공 지능 로봇의 학습 및 인공 지능 로봇을 학습시키는 인공 지능 모델의 거래를 제어하는 시스템의 개략도이다.
도 2는 본 개시의 일 실시예에 따른, 인공 지능 로봇의 학습 및 인공 지능 로봇을 학습시키는 인공 지능 모델의 거래를 제어하는 방법을 설명하기 위한 순서도이다.
도 3은 본 개시의 일 실시예에 따른, 인공 지능 로봇의 학습 및 인공 지능 로봇을 학습시키는 인공 지능 모델의 거래를 제어하는 시스템을 설명하기 위한 도면이다.
도 4 내지 도 6은 본 개시의 일 실시예에 따른, 인공 지능 로봇을 학습시키는 과정을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른, 단말 장치 및 서버의 구성을 설명하기 위한 블록도이다.

본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시의 개시가 완전하도록 하고, 본 개시가 속하는 기술 분야의 통상의 기술자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 개시의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명한다.

도 1은 본 개시의 일 실시예에 따른, 인공 지능 로봇의 학습 및 인공 지능 로봇을 학습시키는 인공 지능 모델의 거래를 제어하는 시스템의 개략도이다.

도 1에 도시된 바와 같이, 본 개시의 일 실시예에 따른, 인공 지능 로봇의 학습 및 인공 지능 로봇을 학습시키는 인공 지능 모델의 거래를 제어하는 시스템(1000)은, 복수의 사용자(또는, 클라이언트)가 이용하는 단말 장치(200-1, 200-2 ... 200-N (N은 2 이상의 자연수)) 및 서버(100)를 포함할 수 있다. 복수의 사용자 각각이 이용하는 단말 장치(200-1, 200-2) 및 서버(100)는 네트워크(W)를 이용하여 서로 통신을 수행할 수 있다.

한편, 도 1 상에는 서버(100)를 관리하기 위해 이용되는 단말 장치가 도시되어 있지 않으나, 시스템(1000)은 서버(100)를 관리하기 위해 이용되는 하나 이상의 단말 장치가 포함될 수 있다.

여기서, 네트워크(W)는 유선 네트워크와 무선 네트워크를 포함할 수 있다. 예를 들어, 무선 네트워크는 근거리 네트워크(LAN: Local Area Network), 도시권 네트워크(MAN: Metropolitan Area Network), 광역 네트워크(WAN: Wide Area Network) 등의 다양한 네트워크를 포함할 수 있다. 다만, 본 개시의 실시예에 따른 네트워크는 상기 열거된 네트워크에 국한되지 않고, 공지의 무선 데이터 네트워크나 공지의 전화 네트워크, 공지의 유무선 텔레비전 네트워크를 적어도 일부로 포함할 수도 있다.

복수의 사용자가 이용하는 단말 장치(200-1, 200-2, ... 200-N)는 학습 모듈(또는, 학습 시스템)을 이용하여 AI 모델을 생성할 수 있다.

학습 모듈은 AI 로봇에 대해 강화 학습을 수행할 수 있는 AI 모델을 생성하기 위해 이용되는 모듈을 의미한다. 여기서, 모듈은 소프트웨어 모듈을 의미할 수 있으나 이에 국한되는 것은 아니며, 하드웨어 모듈 또는 소프트 웨어 모듈과 하드웨어 모듈의 결합에 의해 구현될 수 있다.

그리고, 강화 학습(reinforcement learning)은 AI 기반의 기계 학습(machine learning) 중 한 영역을 의미할 수 있다. 다만, 이는 일 실시예에 불과하며, AI 모델은 다양한 기계 학습을 통해 AI 로봇을 학습시킬 수 있다. 여기서, 학습 방식은 지도 학습(supervised learning), 비지도 학습(unsupervised learning) 등 다양한 방식을 포함할 수 있다.

AI 로봇은 AI 모델에 의해 특정 동작 및 기능을 수행하도록 학습된 게임(game) 캐릭터를 의미할 수 있다. 다만, 이는 일 실시예에 불과하며, 게임 캐릭터는 로봇뿐만 아니라 다양한 형태로 구현될 수 있다.

복수의 사용자의 단말 장치(200-1, 200-2, ... 200-N)는, 학습 모듈을 통해 AI 모델을 생성할 수 있고, 생성된 AI 모델에 기초하여 AI 로봇을 학습시킬 수 있다. 생성된 AI 로봇은 게임 상에서 다른 AI 모델에 의해 학습된 AI 로봇과 결투 등 다양한 인터렉션(interaction)을 수행할 수 있다.

한편, 도 1에는 사용자가 이용하는 단말 장치(200-1, 200-2, ... 200-N)가 스마트폰으로 구현된 실시예가 도시되어 있다. 다만, 이는 일 실시예에 불과하며, 단말 장치(200-1, 200-2, ... 200-N)는 서버(100)와 각종 데이터를 교환할 수 있는 유형의 기기(예를 들어, 데스크탑 PC, 태블릿 PC, 노트북, 웨어러블 기기 등)로 구현될 수 있다.

서버(100)는 AI 모델을 생성시킬 수 있는 학습 모듈을 단말 장치(200-1, 200-2, ... 200-N)로 전송할 수 있다. 그리고, 서버(100)는 AI 모델을 단말 장치(200-1, 200-2, ... 200-N)간에 거래할 수 있는 UI를 단말 장치(200-1, 200-2, ... 200-N)에 제공할 수 있다.

서버(100)와 단말 장치(200-1, 200-2, ... 200-N) 각각이 수행하는 동작은 도 2 내지 도 7을 참조하여 구체적으로 설명하도록 한다.

도 2는 본 개시의 일 실시예에 따른, 인공 지능 로봇의 학습 및 인공 지능 로봇을 학습시키는 인공 지능 모델의 거래를 제어하는 방법을 설명하기 위한 순서도이다.

서버는 AI 모델을 생성할 수 있는 학습 모듈을 제1 단말 장치에 전송할 수 있다(S210).

예를 들어, 제1 단말 장치는 서버가 제공하는 웹(web) 기반의 학습 모듈을 이용할 수 있다. 또 다른 예로, 제1 단말 장치는 서버가 제공하는 설치형 어플리케이션 기반의 학습 모듈을 이용할 수 있다.

제1 단말 장치는 학습 모듈을 통해 AI 모델링 데이터를 관리할 수 있는 메타 데이터를 생성할 수 있다(S220). 여기서, 메타 데이터는 AI 로봇에 대해 강화 학습을 수행하는 AI 모델을 모델링하기 위해 필요한 데이터의 집합을 의미할 수 있다.

구체적으로, 제1 단말 장치는 AI 로봇의 학습과 관련된 파라미터가 포함된 AI 모델링 데이터를 조율하는 사용자 명령을 입력받을 수 있다.

여기서, 파라미터는 AI 로봇의 동작 및 기능에 대해 강화 학습을 수행하기 위해 필요한 다양한 매개변수를 포함할 수 있다. 예를 들어, 파라미터는, 학습량, 학습 속도, 아군 또는 적군 로봇 설정, 보상 수치 목록 중 적어도 하나를 포함할 수 있다. 다만, 이는 일 실시예에 불과하며, 파라미터의 유형은 다양하게 추가/수정/삭제될 수 있다.

그리고, AI 모델링 데이터를 조율하는 사용자 명령은, AI 모델을 모델링할 때 필요한 파라미터 값을 조율(또는, 제어)하는 사용자 명령을 의미한다. 예를 들어, 사용자(즉, 제1 단말 장치의 사용자)가 적군 로봇을 강화 학습에 포함시키고자 할 경우, 적군 로봇의 등장에 대응되는 파라미터를 추가하는 사용자 명령이 제1 단말 장치에 입력될 수 있다.

제1 단말 장치는, 사용자 명령에 기초하여 조율된 AI 모델링 데이터를 포함하는 메타 데이터를 생성할 수 있다. 즉, 제1 단말 장치는 사용자가 AI 로봇에 대해 강화 학습하고자 하는 특성이 반영된 메타 데이터를 생성할 수 있다.

제1 단말 장치는 생성된 메타 데이터에 기초하여 AI 로봇에 대해 강화 학습을 수행할 수 있는 제1 AI 모델을 생성할 수 있다(S230). 메타 데이터는 제1 단말 장치의 사용자가 로봇에 대해 강화 학습하고자 하는 특성(즉, 제1 사용자의 의도)이 반영되어 있다. 따라서, 메타 데이터에 기초하여 생성된 제1 AI 모델은 상기 반영된 특성에 따라 로봇을 강화 학습시킬 수 있는 모델을 의미할 수 있다.

제1 단말 장치는 생성된 제1 AI 모델을 AI 모델을 관리하는 데이터 베이스에 저장할 수 있다(S240).

여기서, 데이터 베이스는 서버에 저장될 수 있다. 즉, 제1 단말 장치가 데이터 베이스 상에 제1 AI 모델을 저장했다는 것은, 제1 단말 장치가 데이터 베이스를 서버에 전송했음을 의미할 수 있다. 다만, 본 개시의 또 다른 실시예로, 데이터 베이스는 단말 장치의 메모리에 포함되는 것으로 구현될 수 있다.

제1 단말 장치는, 제1 AI 모델을 이용하여, 제1 로봇을 생성하고, 제1 AI 로봇에 대해서 강화 학습을 수행할 수 있다(S250). 즉, 제1 AI 모델을 통해 제1 로봇에 대해 강화 학습이 수행됨으로써, 제1 로봇은 메타 데이터에 반영된 사용자의 명령(또는, 의도)에 맞게 동작하도록 학습될 수 있다.

구체적으로, 제1 AI 모델은, 서버에 기 저장된 제1 학습 데이터, 제1 AI 로봇과 다른 로봇과의 전투를 통해 획득된 제2 학습 데이터, 또는 다른 로봇을 학습시키기 위해 이용된 제3 학습 데이터 중 적어도 하나에 기초하여, 제1 AI로봇에 대해 강화 학습을 수행할 수 있다. 여기서, 제2 학습 데이터는 제1 AI 로봇에 대해 추가 학습을 수행할 때 이용될 수 있으나, 이에 국한되는 것은 아니다.

서버는 데이터베이스에 저장된 제1 AI 모델을 구매할 수 있는 UI를 다른 단말 장치를 제공할 수 있다(S260). 즉, 서버는 제1 단말 장치가 생성한 AI 모델을 구매할 수 있는 서비스를 다른 단말 장치에 제공할 수 있다.

본 개시의 일 실시예로, 서버 또는 제1 단말 장치는 AI 모델 매니저 모듈을 포함할 수 있다. 여기서, AI 모델 매니저 모듈은, 제1 AI 모델을 통해 강화 학습시킬 수 있는 AI 로봇의 성능에 기초하여 제1 AI 모델에 대응되는 평가 점수를 출력할 수 있다. 즉, 제1 AI 모델을 통해 강화 학습이 수행됨에 따라 향상될 수 있는 제1 AI 로봇의 성능이 높을수록, AI 모델 매니저 모듈은 제1 AI 모델에 높은 평가 점수를 매칭할 수 있다.

여기서, 제1 AI 로봇의 성능은, 제1 AI 로봇의 전투 능력, 이동 속도, 이동 방향, 특수 기술 사용 가능 여부 중 적어도 하나에 기초하여 결정될 수 있으나, 이에 국한되는 것은 아니며 다양한 요소에 따라 성능이 결정될 수 있다.

서버는, 제1 AI 로봇에 대한 평가 점수가 임계값을 초과하는 경우, 제1 AI 모델을 구매할 수 있는 UI를 단말 장치에 제공할 수 있다. 즉, 서버는 실제 AI 로봇의 성능이 향상될 수 있도록 강화 학습을 수행할 수 있는 AI 모델에 대해서만 판매를 허용할 수 있다.

본 개시의 일 실시예로, 제1 AI 모델의 가격은, AI 모델 매니저 모듈에 의해 출력된 평가 점수에 기초하여 결정될 수 있다. 예를 들어, 평가 점수가 높을수록, 제1 AI 모델의 가격은 높은 값으로 결정될 수 있다. 또 다른 예로, 평가 점수가 낮을수록, 제1 AI 모델의 가격은 낮은 값으로 결정될 수 있다. 다만, 이는 일 실시예에 불과하며, 제1 AI 모델의 가격은 서버 또는 제1 단말 장치의 사용자에 의해 책정될 수 있다.

본 개시의 또 다른 실시예로, 제1 단말 장치가 서버가 제공하는 UI를 통해 제2 단말 장치가 생성한 제2 AI 모델을 구매한 경우를 가정한다. 이 때, 제2 AI 모델은 제2 단말 장치의 사용자 명령(또는, 의도)이 반영된 메타 데이터에 기초하여 생성된 모델이다.

제1 단말 장치는 제1 AI 로봇을 제2 모델에 입력함으로써 제1 AI 로봇에 대해 재학습 동작을 수행할 수 있다. 즉, 제1 단말 장치는 제1 AI 로봇에 대해서 제2 단말 장치가 생성한 메타 데이터에 기초하여 재학습하는 동작을 수행할 수 있다. 이에 따라, 제1 AI 로봇은 제2 AI 모델을 생성한 사용자가 의도한 특성이 반영되도록 학습될 수 있다.

도 3은 본 개시의 일 실시예에 따른, 인공 지능 로봇의 학습 및 인공 지능 로봇을 학습시키는 인공 지능 모델의 거래를 제어하는 시스템을 설명하기 위한 도면이다.

제1 단말 장치(200-1)은 서버(100)로부터 학습 모듈(300)을 제공받을 수 있다. 여기서, 학습 모듈(300)은 제1 단말 장치(200-1) 상에 설치된 경우를 도시하고 있으나, 이에 국한되는 것은 아니며, 학습 모듈(300)은 웹 기반의 모듈로 구현될 수도 있다.

제1 단말 장치(200-1)는 학습 모듈(300)을 통해 AI 모델링 데이터를 관리할 수 있는 메타 데이터를 생성할 수 있다. 그리고, 제1 단말 장치(200-1)은 생성된 메타 데이터에 기초하여 AI 로봇에 대해 강화 학습을 수행할 수 있는 제1 AI 모델을 생성할 수 있다.

제1 단말 장치(200-1)는 생성된 제1 AI 모델을 데이터 베이스(310)에 저장할 수 있다. 도 3은 데이터 베이스(310)가 제1 단말 장치(200-1)에 저장된 실시예를 도시하고 있으나, 이는 일 실시예에 불과하며, 데이터 베이스(310)는 서버(100)에 저장될 수도 있다. 데이터 베이스(310)가 서버(100)에 저장된 경우, 제1 단말 장치(200-1)은 생성된 제1 AI 모델을 서버(100)에 전송할 수 있다.

AI 모델 매니터 모듈(320)은 데이터 베이스(310)에 저장된 제1 AI 모델을 관리 및 평가할 수 있다. 예를 들어, AI 모델 매니저 모듈(320)은, 제1 AI 모델을 통해 학습시킬 수 있는 AI 로봇의 성능에 기초하여, 제1 AI 모델에 대응되는 평가 점수를 출력할 수 있다.

한편, 도 3은 AI 모델 매니저(300)가 제1 단말 장치(200-1)에 저장된 실시예를 도시하고 있으나, AI 모델 매니저(300)는 서버(100)에 저장될 수도 있다.

본 개시의 일 실시예로, 평가 점수가 임계값을 초과하는 경우, 제1 단말 장치(200-1)는 서버(100)에 제1 AI 모델을 전송할 수 있다. 그리고, 서버(100)는 제1 AI 모델을 구매할 수 있는 UI를 상기 다른 단말 장치(예로, 제2 단말 장치(200-2)에 제공할 수 있다.

제2 단말 장치(200-2)는 서버(100)가 제공한 UI를 통해 제1 AI 모델을 구매할 수 있다. 제2 단말 장치(200-2)는 제1 AI 모델에 기 생성된 AI 로봇을 적용함으로써 상기 AI 로봇에 대해 강화 학습을 수행할 수 있다.

도 4 내지 도 6은 본 개시의 일 실시예에 따른, 인공 지능 로봇을 학습시키는 과정을 설명하기 위한 도면이다.

도 4는 본 개시의 일 실시예에 따른, 제1 단말 장치가 학습 모듈을 통해 메타 데이터를 생성하는 실시예를 설명하는 도면이다. 예를 들어, 제1 단말 장치는 제1 AI 모델을 생성하기 위한 AI 모델링 데이터를 조율할 수 있다.

예를 들어, 제1 단말 장치는 학습 대상이 되는 특정 로봇과 관련된 AI 모델링 데이터(400), 특정 로봇과 아군(또는, 파트너)가 되는 로봇과 관련된 AI 모델링 데이터(410), 특정 로봇과 적군 관계가 되는 로봇과 관련된 AI 모델링 데이터(420, 430)을 조율할 수 있다. 그리고, 제1 단말 장치는 조율된 AI 모델링 데이터에 기초하여 메타 데이터를 생성할 수 있다.

도 5는 본 개시의 일 실시예에 따른, 제1 단말 장치가 학습 모듈을 통해 메타 데이터를 생성하는 실시예를 설명하는 도면이다. 예를 들어, 제1 단말 장치는 제1 AI 모델을 생성하기 위한 AI 모델링 데이터를 조율할 수 있다.

제1 단말 장치는 학습 대상이 되는 특정 로봇(또는, 성장 로봇)과 관련된 AI 모델링 데이터(500), 특정 로봇과 아군(또는, 파트너)가 되는 로봇과 관련된 AI 모델링 데이터(510), 특정 로봇과 적군 관계가 되는 로봇과 관련된 AI 모델링 데이터(520, 530)을 조율할 수 있다. 그리고, 제1 단말 장치는 조율된 AI 모델링 데이터에 기초하여 메타 데이터를 생성할 수 있다.

그리고, 제1 단말 장치는 학습과 관련된 보상 수치 목록에 대응되는 AI 모델링 데이터(540)를 조율할 수 있다. 예를 들어, 보상 수치 목록과 관련하여, 성장 로봇이 패배(defeat)하지 않도록 학습되기 위하여, 제1 단말 장치는 'Defeat 항목'과 관련된 가중치 값을 -1로 조율할 수 있다. 또 다른 예로, 성장 로봇이 승리(win)를 지향하도록 학습되기 위하여, 제1 단말 장치는 'Win 항목'과 관련된 가중치 값을 1로 조율할 수 있다. 그리고, 제1 단말 장치는 조율된 AI 모델링 데이터에 기초하여 메타 데이터를 생성할 수 있다.

도 6은 본 개시의 또 다른 실시예에 따른, 제1 단말 장치가 학습 모듈을 통해 메타 데이터를 생성하는 실시예를 설명하는 도면이다.

제1 단말 장치는 학습 배속, 빌드 개수, 훈련 횟수와 관련된 파라미터가 포함된 AI 모델링 데이터(600)를 조율할 수 있다. 그리고, 제1 단말 장치는 조율된 AI 모델링 데이터에 기초하여 메타 데이터를 생성할 수 있다.

도 7은 본 개시의 일 실시예에 따른, 서버 및 제1 단말 장치의 구성을 도시한 블록도이다.

도 7에 도시된 바와 같이, 서버(100)는 메모리(110), 통신부(120) 및 프로세서(130)를 포함하고, 제1 단말 장치(200-1)는 메모리(210), 통신부(220) 및 프로세서(230)가 포함될 수 있다. 다만, 이에 국한되는 것은 아니며, 서버(100) 및 단말 장치(200-1)는 필요한 동작에 따라 당업자 관점에서 자명한 범위 내에서 소프트웨어 및 하드웨어 구성이 수정 또는 추가될 수 있다.

서버의 메모리(110)에는 메타 데이터를 생성할 수 있는 학습 모듈 및 학습 모듈을 실행할 때 필요한 데이터가 저장될 수 있다. 또한, 메모리(110)에는 다른 단말 장치가 학습 모듈을 통해 생성한 AI 모델을 관리/평가하는 데이터 베이스가 저장될 수 있다

통신부(120)는 단말 장치(200-1) 또는 서버(100)를 관리하기 위한 단말 장치와 데이터 또는 신호를 교환할 수 있다. 예를 들어, 통신부(120)는 다른 단말 장치로 AI 모델을 판매/구매할 수 있는 UI를 제공할 수 있다.

프로세서(130)는 메모리(110)와 전기적으로 연결되어 서버(100)의 전반적인 동작 및 기능을 제어할 수 있다. 도 2 내지 도 6를 참조하며 설명한 서버(100)의 전반적인 동작 및 기능은 프로세서(130)에 의해 구현될 수 있다.

단말 장치(200-1)의 메모리(210)에는 단말 장치(200-1)가 각종 기능 및 동작을 수행하기 위해 필요한 데이터가 저장될 수 있다.

통신부(220)는 서버(100)와 데이터 또는 신호를 교환할 수 있다. 예를 들어, 통신부(220)는 서버(100)로부터 학습 모듈 및/또는 학습 모듈을 실행할 때 필요한 데이터를 수신할 수 있다. 또 다른 예로, 통신부(220)는 서버(100)로부터 AI 모델을 구매/판매할 수 있는 UI를 제공받을 수 있다.

프로세서(230)는 메모리(210)와 전기적으로 연결되어 단말 장치(200-1)의 전반적인 동작 및 기능을 제어할 수 있다. 도 2 내지 도 6을 참조하며 설명한 단말 장치(200-1)의 전반적인 동작 및 기능은 프로세서(230)에 의해 구현될 수 있다.

본 개시의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 개시의 실시예를 설명하였지만, 본 개시가 속하는 기술분야의 통상의 기술자는 본 개시가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100 : 서버
200-1 : 제1 단말 장치
200-2: 제2 단말 장치

Claims

인공지능(artificial intelligence, AI) 로봇에 대해 강화 학습을 수행할 수 있는 AI 모델을 생성하는 학습 모듈을 제공하는 서버, 및 상기 학습 모듈을 이용하여 상기 AI 모델을 생성하는 제1 단말 장치를 이용한, AI 로봇 학습 및 AI 모델 거래 방법에 있어서,
상기 서버는, 상기 AI 모델을 생성할 수 있는 상기 학습 모듈을 상기 제1 단말 장치에 전송하는 단계;
상기 제1 단말 장치는, 상기 학습 모듈을 통해 AI 모델링 데이터를 관리할 수 있는 메타 데이터를 생성하고, 상기 생성된 메타 데이터에 기초하여 AI 로봇에 대해 강화 학습을 수행할 수 있는 제1 AI 모델을 생성하는 단계;
상기 제1 단말 장치는, 상기 생성된 제1 AI 모델을 AI 모델을 관리하는 데이터베이스에 저장하는 단계;
상기 제1 단말 장치는, 상기 제1 AI 모델을 이용하여, 제1 AI 로봇을 생성하고, 상기 제1 AI 로봇에 대해서 강화 학습을 수행하는 단계; 및
상기 서버는, 상기 데이터베이스에 저장된 상기 제1 AI 모델을 구매할 수 있는 UI를 다른 단말 장치에 제공하는 단계;를 포함하는, AI 로봇 학습 및 AI 모델 거래 방법.
제1항에 있어서,
상기 제1 단말 장치가 상기 메타 데이터를 생성하는 단계는,
AI 로봇의 학습과 관련된 파라미터가 포함된 AI 모델링 데이터를 조율하는 사용자 명령을 입력받는 단계; 및
상기 사용자 명령에 기초하여 조율된 AI 모델링 데이터를 포함하는 상기 메타 데이터를 생성하는 단계;를 포함하는, AI 로봇 학습 및 AI 모델 거래 방법
제2항에 있어서,
상기 파라미터는,
학습량, 학습 속도, 아군 또는 적군 로봇 설정, 보상 수치 목록 중 적어도 하나를 포함하는, AI 로봇 학습 및 AI 모델 거래 방법.
제3항에 있어서,
상기 제1 AI 모델은,
상기 서버에 기 저장된 제1 학습 데이터, 상기 제1 AI 로봇과 다른 로봇과의 전투를 통해 획득된 제2 학습 데이터, 또는 다른 로봇을 학습시키기 위해 이용된 제3 학습 데이터 중 적어도 하나에 기초하여, 상기 제1 AI 로봇에 대해 강화 학습을 수행하는, AI 로봇 학습 및 AI 모델 거래 방법.
제4항에 있어서,
상기 서버는 또는 상기 제1 단말 장치는 AI 모델 매니저 모듈을 포함하고,
상기 AI 모델 매니저 모듈은,
상기 제1 AI 모델을 통해 학습시킬 수 있는 AI 로봇의 성능에 기초하여 상기 제1 AI 모델에 대응되는 평가 점수를 출력하는, AI 로봇 학습 및 AI 모델 거래 방법.
제5항에 있어서,
상기 서버는,
상기 평가 점수가 임계값을 초과하는 경우, 상기 제1 AI 모델을 구매할 수 있는 UI를 상기 다른 단말 장치에 제공하는, AI 로봇 학습 및 AI 모델 거래 방법.
제6항에 있어서,
상기 제1 단말 장치는, 상기 UI를 통해 제2 단말 장치가 생성한 제2 AI 모델을 구매하는 단계; 및
상기 제1 단말 장치는 상기 제1 AI 로봇을 상기 제2 AI 모델에 입력함으로써 상기 제1 AI 로봇에 대해 재학습 동작을 수행하는 단계;를 더 포함하는, AI 로봇 학습 및 AI 모델 거래 방법.
제7항에 있어서,
상기 제1 AI 모델의 가격은, 상기 평가 점수에 기초하여 결정되는, AI 로봇 학습 및 AI 모델 거래 방법.
인공지능(artificial intelligence, AI) 로봇에 대해 강화 학습을 수행할 수 있는 AI 모델을 생성하는 학습 모듈을 제1 단말 장치에 제공하는 서버; 및
상기 학습 모듈을 통해 AI 모델링 데이터를 관리할 수 있는 메타 데이터를 생성하고, 상기 생성된 메타 데이터에 기초하여 AI 로봇에 대해 강화 학습을 수행할 수 있는 제1 AI 모델을 생성하고,
상기 생성된 제1 AI 모델을 AI 모델을 관리하는 데이터베이스에 저장하고,
상기 제1 AI 모델을 이용하여, 제1 AI 로봇을 생성하고, 상기 제1 AI 로봇에 대해서 강화 학습을 수행하는 제1 단말 장치;를 포함하고,
상기 서버는, 상기 데이터베이스에 저장된 상기 제1 AI 모델을 구매할 수 있는 UI를 다른 단말 장치에 제공하는, AI 로봇 학습 및 AI 모델 거래 시스템.
AI 로봇에 대해 강화 학습을 수행하는 AI 모델을 생성함으로써, AI 로봇 학습 시스템을 제공하는 제1 단말 장치에 있어서, 상기 제1 단말 장치는:
무선 신호를 송수신하기 위한 하나 이상의 송수신부(transceiver); 및
상기 하나 이상의 송수신부를 제어하는 하나 이상의 프로세서를 포함하고,
상기 하나 이상의 프로세서는:
상기 AI 모델을 생성할 수 있는 학습 모듈을 서버로부터 상기 하나 이상의 송수신부를 통해 수신하고,
상기 학습 모듈을 통해 AI 모델링 데이터를 관리할 수 있는 메타 데이터를 생성하고, 상기 생성된 메타 데이터에 기초하여 AI 로봇에 대해 강화 학습을 수행할 수 있는 제1 AI 모델을 생성하고,
상기 생성된 제1 AI 모델을 AI 모델을 관리하는 데이터베이스에 저장하고,
상기 제1 AI 모델을 이용하여, 제1 AI 로봇을 생성하고, 상기 제1 AI 로봇에 대해서 강화 학습을 수행하고,
상기 서버는, 상기 데이터베이스에 저장된 상기 제1 AI 모델을 구매할 수 있는 UI를 다른 단말 장치에 제공하는, 제1 단말 장치.