KR20200094833A - 강화학습을 통해 진화하는 ai 개체를 제공하는 방법 및 플랫폼 - Google Patents

강화학습을 통해 진화하는 ai 개체를 제공하는 방법 및 플랫폼 Download PDF

Info

Publication number
KR20200094833A
KR20200094833A KR1020190008141A KR20190008141A KR20200094833A KR 20200094833 A KR20200094833 A KR 20200094833A KR 1020190008141 A KR1020190008141 A KR 1020190008141A KR 20190008141 A KR20190008141 A KR 20190008141A KR 20200094833 A KR20200094833 A KR 20200094833A
Authority
KR
South Korea
Prior art keywords
entity
user
learning
learning model
providing
Prior art date
Application number
KR1020190008141A
Other languages
English (en)
Other versions
KR102309682B1 (ko
Inventor
강훈석
김다일
Original Assignee
(주)티비스톰
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)티비스톰 filed Critical (주)티비스톰
Priority to KR1020190008141A priority Critical patent/KR102309682B1/ko
Priority to PCT/KR2019/018271 priority patent/WO2020153614A1/ko
Publication of KR20200094833A publication Critical patent/KR20200094833A/ko
Application granted granted Critical
Publication of KR102309682B1 publication Critical patent/KR102309682B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

본 발명은 강화학습을 통해 진화하는 AI 개체를 제공하는 방법 및 플랫폼에 관한 것으로, 사용자가 AI 개체를 생성하여 자신이 원하는 바대로 지속적으로 학습시키고, 강화학습을 통해서 사용자 자신이 원하는 하나의 독립적인 개체로 진화하도록 함으로써, 사용자 자신이 원하는 비서의 역할을 하거나, 독립적인 SNS 활동이 가능하도록 하고, 또한 가정, 학교 또는 사무실에서 사용자 대신에 각종 가전기기를 사용자가 원하는 시간과 방법으로 동작시키고 각종 IoT 기기를 설정하여 쾌적한 환경을 유지하도록 하는 일종의 에이전트 역할을 수행하도록 하는 강화학습을 통해 진화하는 AI 개체를 제공하기 위한 방법 및 플랫폼에 관한 것이다.

Description

강화학습을 통해 진화하는 AI 개체를 제공하는 방법 및 플랫폼{METHOD AND PLATFORM FOR PROVIDING AI ENTITIES BEING EVOLVED THROUGH REINFORCEMENT MACHINE LEARNING}
본 발명은 강화학습을 통해 진화하는 AI 개체를 제공하는 방법 및 플랫폼에 관한 것으로, 더욱 상세하게는 사용자가 AI 개체를 생성하여 자신이 원하는 바대로 지속적으로 학습시키고, 강화학습을 통해서 사용자 자신이 원하는 하나의 독립적인 개체로 진화하도록 함으로써, 사용자 자신이 원하는 비서의 역할을 하거나, 독립적인 SNS 활동이 가능하도록 하고, 또한 가정, 학교 또는 사무실에서 사용자 대신에 각종 가전기기를 사용자가 원하는 시간과 방법으로 동작시키고 각종 IoT 기기를 설정하여 쾌적한 환경을 유지하도록 하는 일종의 에이전트 역할을 수행하도록 하는 강화학습을 통해 진화하는 AI 개체를 제공하기 위한 방법 및 플랫폼에 관한 것이다.
최근 산업기술과 정보통신기술이 발달함에 따라 딥 러닝(deep learning)을 포함하는 인공지능기술과 사용자의 음성을 인식하는 음성인식기술이 급속하게 발달하고 있으며, 이와 동시에 복수의 센서와 통신기능을 내장하여 사용자에게 다양한 정보와 편의성을 제공하기 위한 IoT 기기들이 보급되고 있다.
이러한 인공지능기술은 점점 고도화되고, 음성인식기술과 결합되면서 사용자의 음성을 인식하여, 사용자가 원하는 IoT 기기들을 원격에서 제어할 수 있도록 하는 기능을 지원함과 동시에 뉴스나 날씨 등과 같은 다양한 정보들을 웹상에서 검색하여 사용자에게 제공할 수 있는 수준까지 발달하고 있다.
이에 따라 사용자의 음성을 인식하고, 상기 인식한 음성에 따라 사용자가 원하는 정보를 웹상에서 검색하여 제공하거나, 상기 복수의 IoT 기기들을 원격에서 실시간으로 제어할 수 있도록 하는 인공지능 시스템(artificial intelligence system, AI 시스템)에 대한 대중의 관심이 증대되고 있다.
이러한 인공지능 시스템은, 사용자의 특성을 지속적으로 학습하여 독립적인 개체로 진화됨으로서, 사용자가 취향이나 성향에 따라 복수의 IoT 기기들을 자동으로 제어하거나, 상기 사용자가 실질적으로 필요로 하는 정보를 제공하는 것과 같이 사용자의 특성에 따라 적합한 서비스를 제공할 수 있다면, 사용자에게 높은 만족감과 편의성을 제공할 수 있을 것이다.
그러나 종래의 인공지능 시스템은, 사용자의 특성에 따라 해당 사용자에게 적합한 서비스를 제공하는 것이 아니라, 단순히 미리 정의된 로직에 따라 검색된 정보나 디바이스를 제어하도록 구현된다.
즉, 종래의 인공지능 시스템은, 상기 사용자의 특성에 따라 특정 서비스를 제공하도록 학습되는 것이 아니라, 음성인식기술을 포함하는 인공지능기술을 통해 사용자의 음성을 인식하는 것이 집중되어 있고, 사용자의 음성을 인식한 경우 상기 인식한 사용자의 음성에 따라 미리 설정된 로직을 수행하여 사용자가 제공받고자하는 서비스를 제공하게 되는 것이다.
예를 들어, 종래의 인공지능 시스템은, 사용자가 음악을 추천받고자 하는 경우, 상기 음악 추천에 대한 명령을 음성으로 상기 인공지능 시스템이 입력하면, 상기 인공지능 시스템은 음악 추천에 대한 음성을 인식한 후, 최근에 발매된 음원이나 다수의 사용자가 이용한 음원을 검색하여 해당 음원을 출력하는 것에 그치고 있다.
즉, 종래의 인공지능 시스템은, 댁내에 구비될 때의 초기 상태에서 사용자의 성향이나 특성에 따라 더 이상 진화되지 않고, 미리 설정된 단순 로직이나 통계적인 수치만을 이용하여 사용자에게 서비스를 제공하는 기능만을 지원할 뿐이다.
이는, 사용자의 개별적인 성향이나 특성에 따라 해당 사용자의 니즈에 최적합한 서비스를 제공하지 못하며, 또한 해당 사용자에게 불필요한 서비스를 제공하는 문제점을 내포하고 있다.
이에 따라 본 발명에서는, 특정 사용자와 대응되는 캐릭터 또는 아바타 등과 같은 AI 개체를 생성하고, 상기 생성한 AI 개체를 사용자의 특성에 따라 지속적으로 강화학습을 하도록 하여, 상기 특정 사용자에 따라 개인화된 독립적인 개체로 진화시킴으로서, 해당 사용자에 대한 비서 역할을 수행하도록 하거나, 독립적인 SNS 활동이 가능하도록 하거나, 또한 각종 IoT 기기들을 사용자가 원하는 시간과 방법으로 동작시킴과 동시에 음악, 뉴스, 스케줄, 날씨, 상품, 인물 등과 같은 다양한 추천 서비스를 제공할 수 있도록 하는 방안을 제시하고자 한다.
다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.
먼저 한국공개특허 제2019-0001059호(2019.01.04.)는 인공지능 플랫폼 제공 장치 및 이를 이용한 컨텐츠 서비스 방법에 관한 것으로, 사용자 단말로부터 기 정해진 포맷의 입력 데이터를 수신하고, 상기 입력 데이터에 포함된 사용자의 요청에 관한 요청정보를 추출한 후, 상기 요청정보에 기초하여 컨텐츠를 제공하는 복수의 컨텐츠 서버 중 하나를 선택하여, 상기 요청정보에 대응되는 컨텐츠를 사용자에게 제공하는 인공지능 플랫폼 제공 장치 및 이를 이용한 컨텐츠 서비스 방법에 관한 것이다.
즉, 상기 선행기술은 사용자로부터 음성 데이터를 입력 받아, 음성 인식 및 자연어 처리를 통해 상기 입력받은 음성 데이터로부터 요청정보를 인식하고, 상기 인식한 요청정보에 대응하는 컨텐츠를 제공하는 것이다.
다시 말해, 상기 선행기술은 단순히 인공지능 플랫폼을 통해 사용자의 음성을 인식하고, 상기 인식한 사용자의 음성에 따라 다양한 컨텐츠를 제공하는 것이다.
반면에 본 발명은, 사용자가 원하는 캐릭터 또는 아바타를 포함하는 AI 개체를 생성하고, 상기 생성한 AI 개체를 사용자의 특성에 따라 지속적으로 학습시켜 하나의 독립적인 개체로 진화시킬 수 있도록 함으로서, 상기 사용자의 특성에 따라 해당 사용자에게 적합하고 효율적인 다양한 서비스를 제공하는 것으로, 상기 선행기술은 이러한 본 발명의 기술적 특징을 기재하거나 시사하고 있지 않다.
또한 한국등록특허 제1172002호(2012.08.01.)는 스마트폰과 센서를 이용한 인공지능 디지털 기기 제어 시스템에 관한 것으로, 센서에서 측정된 센싱값을 스마트폰에 구비된 비교부에서 미리 설정한 설정값과 상기 센싱값을 비교하여 냉난방 장치 등의 구동여부를 스스로 판단한 후, 특정 위치에 고정적으로 설치되어 있는 냉난방 장치의 동작을 제어할 수 있도록 하는 스마트폰과 센서를 이용한 인공지능 디지털기기 제어시스템에 관한 것이다.
상기 선행기술은 온도 및 습도를 포함하는 환경조건을 스마트폰을 통해 미리 설정해놓고, 센서를 통해 측정되는 온도 및 습도를 포함하는 환경조건에 대한 센싱값과 상기 미리 설정한 환경조건과 비교하여, 냉난방장치의 구동여부를 판단하여, 상기 판단결과에 따라 상기 냉난방장치에 대한 구동신호를 IR 송출기를 통해 전송함으로써, 상기 냉난방장치를 자동으로 제어할 수 있도록 하는 것이다.
즉, 상기 선행기술은 단순히 미리 설정한 설정값과 센싱값을 비교하고, 비교한 결과에 따라 상기 냉난방장치에 대한 구동여부를 판단하는 것이지, 사용자로부터 입력되는 사용자의 특성을 지속적으로 강화학습하여 해당 사용자의 특성에 따라 특정 IoT 기기를 제어하도록 하거나, 음악 등과 같은 다양한 추천서비스를 제공하도록 하는 것이 아니다.
반면에 본 발명은, 캐릭터, 아바타 등을 포함하는 AI 개체를 생성하고, 사용자로부터 사용자의 특성정보를 지속적으로 입력받아, 상기 입력받은 특성정보를 토대로 특정 IoT 기기를 제어하거나, 각 분야별 서비스를 제공하기 위한 적어도 하나 이상의 학습모델을 지속적으로 강화학습시켜, 상기 생성한 AI 개체를 독립적인 개체로 진화시키도록 함으로서, 상기 AI 개체를 이용하는 사용자의 특성에 적합한 추천 서비스를 제공하거나, 또는 특정 IoT 기기를 제어할 수 있도록 하는 것이다. 따라서 상기 선행기술은 본 발명에서 제안하고자 하는 기술적 특징과의 차이점이 명확하다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 사용자가 자신의 아바타, 캐릭터를 포함하는 AI 개체를 생성하고, 상기 생성한 AI와 상기 사용자 간의 지속적인 인터랙션을 통해 상기 AI 개체를 지속적으로 강화학습시켜, 상기 AI 개체를 독립적인 개체로 진화시킴으로써, 상기 AI 개체가 해당 사용자의 특성에 부합하는 서비스를 제공할 수 있도록 하는 강화학습을 통해 진화하는 AI 개체를 제공하는 방법 및 플랫폼을 제공하는 것을 그 목적으로 한다.
또한 상기 AI 개체를 생성할 때, 음악, 상품, TV 채널, 뉴스 등을 추천하거나, IoT 기기 제어, 스케줄 관리 등을 포함하는 적어도 하나 이상의 분야에 대한 특화된 학습모델을 각각 생성하며, 상기 사용자가 AI 개체와의 인터랙션을 통해 상기 각 학습모델에 대한 강화학습을 수행할 수 있도록 함으로써, 상기 AI 개체를 고도화시키도록 하는 강화학습을 통해 진화하는 AI 개체를 제공하는 방법 및 플랫폼을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은, 상기 사용자와 상기 AI 개체간의 인터랙션을 수행하여, 상기 인터랙션 결과인 특정 분야의 추천 서비스를 제공받은 경우, 해당 인터랙션 결과를 상기 특정 분야에 대한 학습모델에 적용함으로써, 해당 AI 개체에 대한 강화학습을 자동으로 수행하여 상기 AI 개체를 점진적으로 진화할 수 있도록 하는 강화학습을 통해 진화하는 AI 개체를 제공하는 방법 및 플랫폼을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은, 사용자의 선택에 따라 또는 주기적으로 사용자로부터 시간대별 선호하는 TV 채널, 시간별 장소별 냉난방 온도, 시간별 조명제어정보, 선호하는 뉴스분야, 인물, 음악, 아티스트, 상품 등을 포함하는 사용자의 특성정보를 입력받아 상기 AI 개체에 강화학습을 지속적으로 수행함으로서, 사용자의 성향에 적합한 특정 IoT 기기 제어, 뉴스, 음악 등을 포함하는 추천 서비스를 제공하는 강화학습을 통해 진화하는 AI 개체를 제공하는 방법 및 플랫폼을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은, 사용자의 일정, 알람시간, 기념일 등을 포함하는 사용자의 스케줄을 학습하여 상기 AI 개체를 통해 사용자에게 상기 스케줄을 자동으로 알려줌으로써, 해당 사용자에 대한 비서 역할을 수행할 수 있도록 하는 강화학습을 통해 진화하는 AI 개체를 제공하는 방법 및 플랫폼을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은, 상기 인터랙션을 통해 사용자가 음성 또는 텍스트로 추천 서비스에 대한 요청을 AI 개체에 입력하면, 상기 AI 개체는 상기 요청을 인식하고, 상기 인식한 요청에 따라 상기 학습한 결과에 따라 스케줄, IoT 기기(400) 제어, 음악, 뉴스 등에 대한 추전 서비스를 제공할 수 있도록 하는 강화학습을 통해 진화하는 AI 개체를 제공하는 방법 및 플랫폼을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은, 상기 생성한 AI 개체가 SNS상에서 독립적으로 활동할 수 있도록 구현되며, 타 AI 개체와의 교류를 통해 사용자와 독립적인 개체로 진화할 수 있도록 하는 강화학습을 통해 진화하는 AI 개체를 제공하는 방법 및 플랫폼을 제공하는 것을 또 다른 목적으로 한다.
또한 상기 AI 개체가, 자가학습, 참여학습, 지도학습, 자율학습을 포함하는 학습방법을 통해 점진적으로 고도화되어 독립적인 개체로 진화되도록 함으로써, 사용자가 원하는 정보를 검색하여 제공하거나, 특정 IoT 기기를 자동으로 제어할 수 있도록 하거나, 스케줄 등을 보고하거나, 음악, 상품, 동영상 등을 추천하는 것을 포함하여 다양한 서비스를 제공할 수 있도록 하는 강화학습을 통해 진화하는 AI 개체를 제공하는 방법 및 플랫폼을 제공하는 것을 또 다른 목적으로 한다.
본 발명의 일 실시예에 따른 강화학습을 통해 진화하는 AI 개체를 제공하는 방법은, 사용자가 AI 개체를 생성하는 AI 개체 생성 단계, 기계학습을 통해 상기 생성한 AI 개체에 대한 학습모델을 생성하는 학습모델 생성 단계 및 상기 생성한 학습모델을 통해서 사용자가 AI 개체와 인터랙션하면, 상기 인터랙션의 결과를 상기 학습모델에 적용하여, 해당 학습모델에 대한 강화학습을 수행하도록 함으로써, 상기 사용자의 인터랙션 행위에 따라 상기 생성한 AI 개체가 독립적인 개체로 진화하도록 하는 AI 개체 진화 단계를 포함하는 것을 특징으로 한다.
또한 상기 방법은, 상기 AI 개체 진화 단계를 통해, 상기 AI 개체가 다른 AI 개체와 교류하면서, 상기 사용자와 독집적인 개체로 진화하는 것을 더 포함하는 것을 특징으로 한다.
또한 상기 AI 개체는, 상기 방법을 수행하는 독립적인 하드웨어로 구성된 특정 디바이스나 인터넷상의 웹서버나 클라우드 플랫폼에서 계정을 만듦으로서 생성되며, 상기 사용자가 원하는 비서의 기능을 하거나, SNS 활동이 가능하거나, 가정, 학교 또는 사무실에서 사용자를 대신하여 적어도 하나 이상의 IoT 기기를 상기 사용자가 원하는 시간과 방법으로 동작시키거나, 적어도 하나 이상의 IoT 기기를 설정하여 사용자가 원하는 가정, 학교 또는 사무실 환경을 유지하도록 하거나, 또는 이들의 조합 중 적어도 하나 이상을 수행하는 것을 특징으로 한다.
또한 상기 방법은, 상기 학습모델을 학습시켜 학습모델을 생성하는 과정에서, 사용자에게 학습 데이터를 입력할 수 있는 인터페이스를 제공하고, 사용자에게 학습시킬 방법을 제시함으로써, 사용자가 학습용 데이터를 미리 지정된 포맷으로 입력하도록 하는 학습데이터 입력 단계를 더 포함하는 것을 특징으로 한다.
또한 상기 학습모델은, CNN, RNN 또는 ANN를 포함한 적어도 하나 이상의 분야에 대해서 특화된 학습모델을 포함하며, 상기 AI 개체는, 상기 적어도 하나 이상의 특화된 학습모델이 상호 결합되어 진화하며, 상기 상호 결합은 관련 분야에 대해서 학습 데이터를 관련 정도에 따라 계량화하여 스케일링함으로써 수행되는 것을 특징으로 한다.
아울러 본 발명의 일 실시예에 따른 강화학습을 통해 진화하는 AI 개체를 제공하는 플랫폼은, 사용자에 의해 AI 개체를 생성하도록 지원하는 AI 개체 생성부, 기계학습을 통해 상기 생성한 AI 개체에 대한 학습모델을 생성하는 학습모델 생성부 및 상기 생성한 학습모델을 통해서 사용자가 상기 생성한 AI 개체와 인터랙션하면, 상기 인터랙션의 결과를 상기 학습모델에 적용하여, 해당 학습모델에 대한 강화학습을 수행하도록 함으로써, 상기 사용자의 인터랙션 행위에 따라 상기 생성한 AI 개체가 독립적인 개체로 진화하도록 하는 학습모델 진화부를 포함하는 것을 특징으로 한다.
또한 상기 학습모델 진화부는, 상기 독립적인 개체로 진화하는 과정을 통해서 상기 AI 개체가 다른 AI 개체와 교류하면서, 상기 사용자와 독립적인 개체로 진화하도록 하는 것을 더 포함하는 것을 특징으로 한다.
또한 상기 플랫폼은, 상기 학습모델을 학습시켜 학습모델을 생성할 때, 사용자에게 학습용 데이터를 입력할 수 있는 인터페이스를 제공하고, 사용자에게 학습시킬 방법을 제시함으로써, 사용자가 학습용 데이터를 미리 지정된 포맷으로 입력하도록 하는 학습 데이터 입력부를 더 포함하는 것을 특징으로 한다.
이상에서와 같이 본 발명의 AI 개체 강화학습 플랫폼은, 사용자가 자신의 분신이나 캐릭터 또는 아바타를 포함하는 AI 개체를 생성하고, 상기 생성한 AI 개체를 사용자 본인이 자신의 성향에 맞게 지속적으로 강화학습시켜 상기 생성한 AI 개체를 독립적인 하나의 개체로 진화시킴으로써, 사용자의 성향이나 니즈에 적합한 최적의 서비스를 제공하고, 이와 동시에 사용자의 개인적인 비서 역할을 수행할 수 있도록 하여, 사용자에게 편의성을 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 강화학습을 통해 진화하는 AI 개체를 제공하는 방법 및 플랫폼을 개략적으로 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 AI 개체에 대한 강화학습을 수행하는 방법을 설명하기 위해 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 AI 개체를 통해 사용자의 요청명령에 따른 추천 서비스를 제공하는 방법을 설명하기 위해 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 AI 개체 제공 플랫폼의 구성을 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 강화학습을 통해 진화하는 AI 개체를 제공하는 절차를 나타낸 흐름도이다.
이하, 첨부한 도면을 참조하여 본 발명의 강화학습을 통해 진화하는 AI 개체를 제공하는 방법 및 플랫폼에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다. AI 개체는 본 발명에서 사용자가 인터넷과 같은 사이버 공간이나 현실공간의 디바이스에서 특정 개체, 예를 들면 캐릭터나 아바타(분신)를 마치 SNS 계정(접속 창구)을 만드는 것과 같이 생성하고, 해당 캐릭터나 아바타(분신)를 인공지능 알고리즘에 따라 강화학습을 통해서 육성 및 활용함으로써, 사용자에 의해서 혹은 SNS상의 활동에 의해서 점점 고도화되고 진화해 나가는 것을 말한다.
도 1은 본 발명의 일 실시예에 따른 강화학습을 통해 진화하는 AI 개체를 제공하는 방법 및 플랫폼을 개략적으로 설명하기 위한 개념도이다.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 AI 개체 강화학습 플랫폼(이하, AI 개체 제공 플랫폼으로 칭함)(100)은, 각 사용자에 대한 캐릭터 또는 아바타 등을 포함하는 AI 개체(200)를 생성하고, 상기 생성한 AI 개체(200)에 대한 강화학습을 지속적으로 수행하여, 상기 AI 개체(200)를 하나의 독립적인 개체로 진화되도록 육성함으로써, 상기 AI 개체(200)가 해당 사용자의 성향에 따라 다양한 정보를 검색하고, 특정 IoT 기기를 자동으로 제어하거나, 사용자의 스케줄에 대한 보고 및 음악, 뉴스, 동영상 등과 같은 추천을 포함하는 다양한 서비스를 제공할 수 있도록 하는 기능을 수행한다.
또한 상기 AI 개체 제공 플랫폼(100)은, 상기 사용자에 의해 상기 AI 개체(200)가 생성되는 경우, 상기 사용자로부터 해당 사용자의 특성정보를 입력 받아 상기 입력한 특성정보를 이용하여 상기 사용자에게 특정 서비스를 제공하기 위한 분야별 학습모델을 복수개로 생성한다.
즉, 상기 사용자의 특성정보는, 상기 분야별 학습모델을 생성하기 위한 학습데이터가 된다.
이때, 상기 사용자는, 상기 AI 개체 제공 플랫폼(100)으로부터 제공되는 인공지능 애플리케이션(application)을 해당 사용자의 사용자 단말(300)에 설치하고, 상기 설치한 인공지능 애플리케이션을 실행하여 상기 AI 개체 제공 플랫폼(100)에 접속한 후, 상기 AI 개체(200)를 생성할 수 있다.
상기 AI 개체 제공 플랫폼(100)은, 상기 AI 개체(200)를 생성하고, 상기 생성한 AI 개체(200)를 지속적인 강화학습을 통해 해당 AI 개체(200)를 진화시키도록 하기 위한 것으로, 사용자의 가정이나 사무실 또는 학교 등과 같은 공공장소에 구비되고, 독립적인 하드웨어로 구성된 특정 디바이스를 의미하는 것이다. 한편 상기 AI 개체 제공 플랫폼(100)은, 클라우드 서버나 웹서버 형태로 구현될 수도 있다.
상기 AI 개체 제공 플랫폼(100)은, 상기 생성한 AI 개체(200)를 통해 상기 사용자와 인터랙션을 수행하여, 상기 AI 개체(200)를 지속적으로 진화시키실 수 있도록 하며, 상기 AI 개체(200)를 이용하여 사용자에게 다양한 서비스를 제공할 수 있도록 한다.
또한 상기 생성한 AI 개체(200)는, 해당 사용자의 사용자 단말(300)에 적용되어 언제 어디서나, 상기 인터랙션을 수행할 수 있도록 구현될 수 있으며, SNS 서비스를 제공하기 위한 특정 클라우드 플랫폼이나, 웹서버에 적용될 수 있으며, 사용자의 성향에 따라 독립적으로 SNS 활동을 수행할 수 있도록 구현될 수 있다.
한편, 상기 SNS 서비스를 제공하기 위한 클라우드 플랫폼이나 웹서버에 적용되는 AI 개체(200)는, 해당 클라우드 플랫폼이나 웹서버에 대한 SNS 계정을 만듦으로써, 생성된다.
또한 상기 분야별 학습모델은, TV 채널 추천용 학습모델, 음악 추천용 학습모델, IoT 기기(400) 제어용 학습모델, 뉴스 추천용 학습모델, 스케줄 추천용 학습모델 등을 포함할 수 있으며, 상기 AI 개체(200)는 상기 각 분야별 학습모델을 통해 상기 서비스를 사용자에게 제공할 수 있다.
이러한 학습모델은 이에 한정하지 않으며, 상기 AI 개체 제공 플랫폼(100)의 설계자에 의해 복수의 학습모델로 세분화될 수 있다.
또한 상기 사용자가 상기 AI 개체 제공 플랫폼(100)을 통해 AI 개체(200)를 생성하고자 할 때, 상기 AI 개체 제공 플랫폼(100)의 AI 개체 생성 절차에 따라 해당 사용자의 인증정보(예: 지문, 음성, 제스처) 및 개인정보(예: 사용자 ID, 이름과 계정정보를 포함하는 지갑(wallet)정보 등)를 제공함으로써, 상기 AI 개체(200)의 생성을 신청하며, 상기 AI 개체 제공 플랫폼(100)은 상기 사용자로부터 상기 인증정보 및 개인정보를 포함한 생성 신청이 있는 경우, 상기 사용자에 대한 계정을 생성함으로써, 해당 사용자에 대한 AI 개체(200)를 생성하게 된다.
이렇게 생성된 AI 개체(200)는, 상기 AI 개체 제공 플랫폼(100)에 적용되고, 또한 사용자의 선택에 따라 해당 사용자의 사용자 단말(300)에 적용될 수 있으며, 또한 상기 SNS 서비스를 제공하는 상기 클라우드 플랫폼이나 웹서버에 적용될 수 있다.
또한 상기 AI 개체 제공 플랫폼(100)은, 적어도 하나 이상의 사용자로부터 상기 인증정보 및 개인정보를 제공받아, 상기 각 사용자에 대한 AI 개체(200)를 생성할 수 있음은 당연하다.
예를 들어, 상기 AI 개체 제공 플랫폼(100)에 사용자의 가정에 구비되는 경우, 해당 사용자의 가족 구성원별로 상기 인증정보 및 개인정보를 각각 입력받아, 각 구성원에 대한 AI 개체(200)를 생성할 수 있도록 구현될 수 있다.
또한 상기 인증정보는, 상기 AI 개체(200)를 활성화하여, 해당 AI 개체(200)를 이용하기 위한 것으로, 상기 AI 개체 제공 플랫폼(100)에 접속된 사용자 단말(300)에 구비되는 지문인식수단, 마이크 또는 카메라를 통해 입력될 수 있으며, 상기 개인정보는, 상기 사용자 단말(300)의 키패드, 터치 팬 등과 같은 입력수단을 통해 입력될 수 있다.
다만, 상기 지문인식수단, 마이크 또는 카메라 및 상기 입력수단은 상기 AI 개체 제공 플랫폼(100)에 구비될 수 있으며, 이때, 사용자는 상기 AI 개체 제공 플랫폼(100)에 구비되는 지문인식수단, 마이크 또는 카메라 및 상기 입력수단을 통해 상기 사용자의 인증정보 및 개인정보를 직접적으로 입력할 수 있다.
또한 상기 AI 개체 제공 플랫폼(100)은, 상기 AI 개체(200)를 생성하는 과정에 있어서, 상기 AI 개체(200)에 대한 커스터마이징(customizing) 정보를 제공하여, 상기 AI 개체(200)를 사용자의 성향에 따라 모델링함으로써, 생성할 수 있도록 한다.
상기 커스터마이징 정보는, 해당 AI 개체(200)에 적용될 언어 및 국적을 포함하는 사회적 요소, 성별 및 나이 등을 포함하는 생물학적 요소 및 얼굴, 헤어 및 의상 등을 포함하는 외모적 요소, 감정(예: 기쁨, 슬픔 등에 대한 표정 및 제스처) 요소 및 해당 AI 개체(200)에 대한 명칭을 포함한다.
즉, 상기 사용자는, 상기 AI 개체 강화학습 플랫폼(100)에서 제공하는 커스터마이징 정보를 토대로 상기 AI 개체(200)에 대한 사회적 요소, 생물학적 요소, 외모적 요소, 감정 요소 및 명칭을 설정함으로써, 사용자의 취향에 따라 상기 AI 개체(200)를 모델링함으로써, 사용자에게 보다 친근한 AI 개체(200)를 생성할 수 있다.
한편 상기 AI 개체(200)는, 해당 AI 개체(200)에 대한 고유식별코드 및 생성일자를 포함하여 생성되며, 사용자의 선택에 따라 타 구성원의 정보와 IoT 기기(400)에 대한 접근권한이 부여되어 생성된다.
또한 생성한 AI 개체(200)는 사용자의 설정에 따라 해당 사용자의 가정, 사무실 또는 학교 등과 같이 댁내에 구비되는 복수의 IoT 기기(400)와 연동될 수 있다. 이때, 상기 사용자는 해당 IoT 기기(400)에 대한 AI 개체(200)의 접근권한을 설정할 수 있다.
또한 상기 복수의 IoT 기기(400)는, 상기 댁내에 위치하는 조명, TV, 냉난방장치를 포함한 다양한 디바이스를 의미한다. 이러한 복수의 IoT 기기(400) 기기는 홈 네트워크 시스템으로 구성될 수 있다.
또한 상기 사용자는 자신의 니즈에 적합한 적어도 하나 이상의 추천 서비스를 제공받기 위해, 자신의 특성정보를 이용하여 상기 AI 개체(200)에 대한 강화학습을 지속적으로 수행함으로써, 상기 AI 개체(200)를 자신의 성향에 적합하도록 고도화시킬 수 있다.
또한 상기 AI 개체 제공 플랫폼(100)은, 상기 AI 개체(200)를 생성할 때, 사용자로부터 제공되는 사용자 특성정보(즉, 학습데이터)를 학습하여 상기 서비스를 제공하기 위한 분야별 학습모델을 생성한다.
이때, 상기 AI 개체 제공 플랫폼(100)은, 사용자 특성정보를 입력하기 위한 사용자 특성정보 입력 데이터 포맷을 사용자 인터페이스를 통해 해당 사용자의 사용자 단말(300)로 제공하며, 상기 사용자는 상기 제공받은 사용자 특성정보 입력 데이터 포맷을 토대로 해당 사용자의 사용자 특정정보를 입력함으로서, 상기 AI 개체(200)에 대한 분야별 학습모델을 생성할 수 있도록 한다.
즉, 상기 AI 개체 제공 플랫폼(100)은 상기 사용자 특성정보를 미리 지정된 포맷으로 입력하도록 하여, 사용자의 성향에 따라 상기 각 분야별 학습모델에 대한 학습방법을 제시할 수 있도록 함으로써, 상기 각 분야별 학습모델을 생성하도록 하는 것이다.
한편 상기 사용자 특성정보는, 시간대별로 사용자가 선호하는 TV 채널(예: 스포츠, 교양, 오락, 드라마, 다큐멘터리 등), 시간, 장소(예: 거실, 안방, 서제, 주방, 욕실 등) 및 날씨별로 사용자가 선호하는 조명밝기, 조명색, 조명의 온오프 시간 등을 포함하는 조명정보, 시간, 장소 및 날씨별로 사용자가 선호하는 냉난방온도, 상기 사용자가 선호하는 뉴스 분야(예: 경제, 스포츠, 연예 등) 및 인물, 시간 및 날씨 또는 기분에 따라 사용자가 선호하는 음악 장르(예: 대중음악, 클래식 등)와 아티스트, 주기적으로 금전을 지출해야 되는 지출정보(예: 모임 등으로 인한 정기적 회비, 관리비 등), 기상, 취침 시간, 계획한 일(예: 운동, 휴식, 공부 등), 기념일(예: 결혼기념일, 제사, 생일 등)을 포함하는 스케줄 정보, 사용자가 선호하는 상품, 인맥특성 등을 포함한다.
또한 상기 AI 개체 제공 플랫폼(100)은, 상기 사용자 특성정보 입력 데이터 포맷을 토대로 상기 사용자 특성정보가 입력되는 경우, 상기 사용자 특성정보를 각 분야별 학습모델에 적용할 수 있도록 각 분야별로 상기 사용자 특성정보를 분류한다.
이후, 상기 AI 개체 제공 플랫폼(100)은, 상기 분류한 각 분야별 사용자 특성정보를 각 분야별 강화학습 네트워크를 통해 학습함으로써, 상기 각 분야별 학습모델을 생성하게 된다.
즉, 상기 사용자 특성정보는, 사용자의 성향에 따라 다양한 서비스를 제공하기 위해 해당 AI 개체(200)에 대한 분야별 학습모델의 학습데이터로 활용되는 것이다.
이를 통해 상기 AI 개체(200)는, 상기 각 분야별 학습모델을 이용하여, 미리 설정한 시간 및 사용자의 성향에 따라 자동으로, 특정 정보(예: 뉴스, 인물, 날씨)를 검색하여 제공하거나, 특정 IoT 기기(400)를 자동으로 제어하거나, 특정 스케줄이나, 지출내역에 대한 보고를 수행하거나, 음악 등을 추천할 수 있다.
상기 AI 개체(200)는, 상기 생성한 학습모델에 대한 지속적인 강화학습을 통해 독립적인 개체로 진화하게 되는데, 상기 강화학습은 사용자와의 인터랙션을 통해 수행된다.
상기 인터랙션은, 상기 AI 개체(200)에 대한 사용자의 요청명령을 인식하고, 상기 인식한 요청명령에 대한 상기 각 분야별 적어도 하나 이상의 서비스를 제공하는 과정을 의미하는 것으로, 상기 요청명령을 인식하여 상기 서비스를 제공한 경우, 이에 대한 결과를 토대로 상기 강화학습을 수행한다.
즉, 상기 AI 개체 제공 플랫폼(100)은, 상기 사용자와 상기 AI 개체(200)사이의 인터랙션을 수행하면, 해당 인터랙션에 대한 결과를 토대로 상기 각 분야별 학습모델의 가중치를 조정하여 해당 학습모델에 대한 강화학습을 지속적으로 수행함으로써, 해당 AI 개체(200)를 점진적으로 진화시킬 수 있도록 한다.
이를 통해, 상기 AI 개체 제공 플랫폼(100)은 해당 사용자의 성향에 맞도록 상기 AI 개체(200)를 고도화시켜 가며, 해당 사용자의 니즈에 적합한 서비스를 제공할 수 있도록 한다.
한편 상기 강화학습은 상기 인터랙션결과를 이용하는 것 이외에, 상기 AI 개체(200)의 자가학습, 참여학습, 지도학습 및 자율학습을 통해서도 수행되며, 이를 통해 상기 AI 개체(200)는 더욱 고도화되고 독립적인 개체로 진화된다.
또한 상기 자가학습은, 상기 사용자와의 인터랙션을 토대로 자동으로 수행되는 것으로, 사용자의 위치, 상기 제공한 서비스의 선택빈도(예를 들어, 적어도 하나 이상의 음악을 추천한 경우, 특정 음악을 선택하여 사용한 사용빈도), 사용자가 자주 사용한 키워드(예: 특정 음악 장르(예: 대중음악)에 대한 키워드 등) 등을 학습하여 사용자에게 현재 위치에 대한 맛 집, 음악 등을 사용자가 선호하는 서비스를 제공할 수 있도록 학습하는 것을 의미한다.
또한 상기 자가학습은, 상기 사용자의 특성정보와 해당 사용자의 특성정보와 관련된 또 다른 정보를 웹상으로부터 자동으로 수집하고, 상기 수집한 또 다른 정보를 상기 사용자의 특성정보에 적용하여 해당 사용자에 대한 다양한 서비스를 제공할 수 있도록 수행될 수 도 있다.
예를 들어, 특정 날씨 상기 AI 개체(200)가 날씨별로 사용자가 선호하는 냉난방온도 또는 조명정보 및 음악에 대한 사용자 특성정보를 토대로 특정 IoT 기기(400)를 제어하거나, 음악을 추천하고자 할 때, 상기 AI 개체(200)는 기상청이나, 웹상으로부터 현재 시간에서의 날씨정보(즉, 온도, 습도 등)를 수집하고, 상기 수집한 날씨정보와 상기 사용자의 특성정보를 매칭하여 상기 학습모델에 적용함으로써, 해당 사용자의 특성에 따라 복수의 IoT 기기(400)를 제어하거나, 특정 음악을 추천할 수 있도록 하는 것이다.
또한 상기 참여학습은, 상기 AI 개체(200)가 사전에 정의된 심리테스트 또는 취향게임 등과 같은 상기 사용자의 식성이나 선호하는 상품, 음악, 친구의 성향 등을 분석하여 학습하는 것을 의미하며, 상기 AI 개체(200)는, 상기 참여학습을 통해 해당 사용자에게 적합한 음식, 상품, 음악, 친구 등을 추천할 수 있도록 진화될 수 있다.
또한 상기 지도학습은, 상기 사용자로부터 입력받은 사용자 특성정보를 학습하여, 학습한 결과에 따라 해당 사용자에게 상기 서비스를 제공하기 위해 수행된다.
예를 들어, 시간대별로 사용자가 선호하는 TV 채널(예: 스포츠, 교양, 오락, 드라마, 다큐멘터리 등)에 대한 사용자 특성정보를 학습한 AI 개체(200)는, 현재 시간에서 사용자가 선호하는 적어도 하나 이상의 TV 채널을 추천할 수 있다.
또한 상기 자율학습은, 상기 AI 개체(200)가 자율적으로 학습하여, 이에 대한 정보를 사용자에게 제공하기 위해 수행되는 것으로, 상기 사용자가 제공한 SNS 상에서의 친구에 대한 인맥정보를 토대로 특정 친구가 새 글이나 기념일등을 업데이트하는 경우, 이에 대한 정보를 상기 사용자에게 제공하거나, 최근 이슈가 되는 뉴스정보 등을 추천할 수 있도록 진화될 수 있다.
또한 상기 AI 개체(200)는 사용자의 SNS 상의 인맥정보를 학습하여, 해당 사용자와 교류 빈도수가 높은 인맥에 대한 가족, 직장, 학교, 위치, 취향을 분석하여 상기 사용자에게 제공할 수 있도록 구현될 수 있으며, 해당 인맥에 대한 교육도, 친밀도, 전문성을 포함하는 역량을 분석하여 상기 사용자에게 제공할 수 있도록 구현될 수 있다.
즉, 상기 AI 개체(200)는, 상기 사용자와의 인터랙션, 자가학습, 참여학습, 지도학습 및 자율학습을 통해 더욱 고도화되고 독립적인 개체로 진화되는 것이다.
또한 상기 AI 개체(200)는, 상기 강화학습의 결과에 따라 사용자의 특성을 기반으로 SNS 상에서 독립적인 개체로 활동할 수 있으며, 타 사용자의 SNS 활동에 대한 추천활동을 수행하거나, 타 AI 개체(200)와의 교류를 통해 상기 사용자와 독립적인 개체로 진화할 수 있다.
즉, 상기 AI 개체(200)는, 사용자의 인맥정보를 토대로 사용자의 취향이나 특성에 따라 타 사용자 또는 타 AI 개체(200)와의 교류를 통해 AI 개체(200)만의 인맥을 형성하거나, 커뮤니티를 형성할 수 있도록 진화될 수 있다.
또한 상기 AI 개체(200)는 상기 강화학습을 통해 미리 설정한 시간에 따라 자동으로 상기 서비스를 제공하거나, 사용자와의 인터랙션을 통해 상기 사용자가 요청명령을 입력하면, 해당 요청명령을 인식하여 상기 인식한 요청명령에 따라 사익 서비스를 제공할 수 있도록 구현된다.
즉, 상기 AI 개체(200)는, 미리 설정한 시간에 따라 상기 각 분야별 학습모델을 이용하여, 미리 설정된 조건(예: 현재 시간정보)을 상기 각 분야별 학습모델에 입력하고, 상기 각 분야별 학습모델에서 출력되는 출력 데이터를 토대로 상기 서비스를 자동으로 제공할 수 있다.
예를 들어, 기상 시간(예: 오전 6시)에 뉴스를 추천하도록 설정된 경우, 상기 AI 개체(200)는 뉴스 추천용 학습모델에 현재 시간정보를 입력한다. 이때, 상기 뉴스 추천용 학습모델은, 상기 강화학습의 결과에 따라 상기 사용자가 선호하는 적어도 하나 이상의 뉴스분야 및 인물을 출력하게 된다. 이후, 상기 AI 개체(200)는 해당 뉴스분야 및 인물에 대한 뉴스를 웹상에서 검색하여 해당 검색한 결과를 상기 사용자에게 제공함으로써, 해당 뉴스에 대한 추천 서비스를 사용자에게 제공하게 되는 것이다.
또한 상기 AI 개체(200)는 상기 인터랙션을 통해 추천 서비스를 제공하고자 하는 경우, 상기 사용자 요청명령으로부터 키워드를 추출하고, 상기 추출한 키워드와 미리 설정된 각 추천분야별 적어도 하나 이상의 대표 키워드와 비교하여 상기 비교한 결과에 따라 해당 사용자 요청명령이 어떠한 추천분야에 대한 추천서비스를 제공받고자 하는 지를 인식한다.
예를 들어, 음악 추천을 위한 대표 키워드가 "음악", "노래", "음원"으로 설정되어 있고, 사용자가 "음악을 추천해죠"라는 요청명령을 입력한 경우, 상기 요청명령으로부터 "음악"이라는 키워드가 추출된 경우, 상기 비교과정을 통해 해당 사용자의 요청명령이 음악 추천을 받고자 하는 것임을 인식하게 되는 것이다.
이때, 상기 음악 추천용 학습모델은 상기 강화학습의 결과에 따라 사용자가 선호하는 적어도 하나 이상의 음악 장르 및 아티스트를 출력하게 된다. 이후, 상기 AI 개체(200)는 해당 음악 장르 및 해당 음악 장르에 대한 아티스트에 대한 음원을 웹상에서 검색하여 추천 하거나, 기존에 저장된 음원을 추천함으로서, 해당 음악에 대한 추천 서비스를 사용자에게 제공하게 되는 것이다.
이때, 상기 사용자 요청명령은 음성 또는 텍스트로 입력될 수 있으며, 상기 AI 개체(200)는 상기 입력되는 음성 및 텍스트를 인식하여 상기 키워드를 추출하게 된다.
한편 상기 음성 또는 텍스트를 인식하여 키워드를 추출하는 것은, HMM(hidden markov model) 모델과 같이 미리 구축된 언어모델과 형태소 분석을 통해 수행될 수 있다. 다만, 본 발명에서 상기 음성 또는 텍스트를 인식하여 키워드를 추출하는 방법에 대해서는 그 제한을 두지 아니한다.
또한 상기 인터랙션을 통해 상기 서비스를 제공하는 경우, 상기 AI 개체(200)가 적용된 AI 디바이스에 구비되는 카메라, 지문센서, 마이크 또는 키패드를 통해 미리 설정된 특정 제스처를 취하거나, 지문인증을 수행하거나, 상기 설정한 AI 개체(200)의 호칭을 호명하여, 상기 AI 개체(200)를 활성화시킨 후, 상기 음성 또는 텍스트를 입력함으로서, 상기 서비스를 제공 받을 수 있다.
또한 상기 AI 개체(200)는, 상기 강화학습을 수행한 결과를 토대로 사용자의 가정이나 사무실 또는 학교 등에 구비되는 복수의 IoT 기기(400)를 자동으로 제어하고자 하는 경우, 현재 시간정보 또는 날씨정보를 상기 IoT 기기 제어용 학습모델에 입력하여 상기 IoT 기기(400)를 제어하기 위한 제어정보를 상기 사용자에게 추천하여 선택하도록 함으로써, 상기 IoT 기기(400)를 제어하거나, 상기 제어정보에 따라 상기 IoT 기기(400)를 자동으로 제어할 수 있도록 한다.
이때, 상기 AI 개체(200)는, 홈 네트워크 게이트웨이에 접속하여 상기 사용자의 선택에 따라 특정 IoT 기기(400)를 제어하기 위한 제어정보를 해당 IoT 기기(400)로 전송함으로서, 원격에서 상기 IoT 기기(400)를 자동으로 제어할 수 있도록 한다.
한편 상기 인터랙션을 통해 인식되는 요청명령이 특정 서비스에 대한 대상을 지정하거나, IoT 기기(400)에 대한 직접적인 제어정보가 포함되어 있는 경우, 상기 지정한 대상을 자동으로 검색하여 제공하거나, 상기 제어정보를 토대로 상기 IoT 기기(400)를 자동으로 제어할 수 있도록 구현될 수 있다.
예를 들어, 상기 사용자가 음성이나 텍스트로 "거실의 온도를 27도로 설정"이라는 요청명령을 입력하거나, 특정 음악제목을 명시하여 음악을 요청하는 경우, 하는 경우, 상기 AI 개체(200)는, 상기 요청명령으로부터 "거실", "온도", "27도"라는 키워드를 추출하여, 거실의 온도를 27도로 유지하기 위해 난방장치에 대한 제어정보를 생성하여 해당 난방장치로 상기 생성한 제어정보를 전송함으로서, 상기 거실의 온도를 27도로 유지할 수 있도록 하거나, 상기 특정 음악제목에 대한 음원을 검색하여 상기 사용자에게 상기 검색한 음원을 제공할 수 있도록 하는 것이다.
이를 통해 상기 AI 개체(200)는, 사용자가 원하는 음악을 추천하거나, 사용자의 가정, 사무실 또는 학교에서 사용자를 대신하여 적어도 하나 이상의 IoT 기기(400)를 상기 사용자가 원하는 시간과 방법으로 동작시키도록 하거나, 또한 적어도 하나 이상의 IoT 기기(400)에 대한 동작을 설정하여 상기 사용자가 원하는 가정, 사무실 또는 학교의 환경을 유지할 수 있도록 한다.
또한 미리 설정한 시간(예: 아침 6시)에 따라 해당 사용자의 스케줄을 체크하여 해당 사용자가 해야 할 일을 추천하도록 설정된 경우, 상기 AI 개체(200)는, 스케줄 추천용 학습모델에 미리 설정한 조건정보(예: 현재 시간정보)를 입력한다. 이때, 상기 스케줄 추천용 학습모델은, 상기 강화학습의 결과에 따라 해당 사용자의 스케줄 정보를 시간별, 날짜별로 출력하게 된다. 이후, 상기 AI 개체(200)는 상기 출력한 스케줄 정보를 미리 설정한 기간(예: 하루, 일주일, 한 달)에 따라 적어도 하나 이상으로 선택하여 상기 사용자에게 제공함으로써, 해당 사용자가 상기 스케줄 정보에 따라 해야 할 일을 추천하게 된다.
또한 상기 인터랙션을 통해 사용자가 스케줄 정보에 대한 요청명령을 수행하면, 상기 AI 개체(200)는 상기 요청명령으로부터 키워드를 추출하고, 상기 추출한 키워드(예: "스케줄", "일정")와 상기 복수의 대표 키워드를 비교하여 해당 요청명령이 스케줄 추천에 대한 요청인 것으로 인식하고, 시간정보를 상기 스케줄 추천용 학습모델에 입력함으로써, 해당 요청명령에 대한 스케줄 정보를 추출하여 상기 사용자에게 제공할 수 있다.
예를 들어, 스케줄 추천에 대한 대표 키워드가 "스케줄", "일정", "기념일"로 설정되어 있고, 상기 사용자가 "오늘 스케줄 체크"라는 요청명령을 텍스트 또는 음성으로 입력하는 경우, 상기 AI 개체(200)는, "오늘", "스케줄"이라는 키워드를 상기 요청명령으로부터 추출하고, 상기 대표 키워드와 상기 추출한 키워드를 비교하여 해당 요청명령이 스케줄 추천에 대한 것임을 인식한다.
이후, 상기 AI 개체(200)는, 스케줄 추천용 학습모델에 현재 시간정보를 입력하여 오늘에 대한 스케줄 정보를 추출하고, 상기 추출한 오늘에 대한 스케줄 정보를 사용자에게 제공함으로써, 오늘 해야 할 일을 추천하게 된다.
한편 상기 학습모델은 ANN(artificial neural network), CNN(convolutional neural network) 또는 RNN(recurrent neural network)을 포함하는 기계학습 알고리즘을 통해 생성되며, 상기에서 설명한 봐와 같이, 특정 서비스에 특화된 적어도 하나 이상의 분야별 학습모델을 포함한다.
상기에서 설명한 것과 같이, 본 발명의 AI 개체 제공 플랫폼(100)은, 상기 생성한 AI 개체(200)에 대한 강화학습을 지속적으로 수행함으로써, 해당 사용자의 특성이나 성향에 적합하도록 점점 고도화되어 사용자의 니즈에 적합한 적어도 하나 이상의 서비스를 제공하게 된다.
도 2는 본 발명의 일 실시예에 따른 AI 개체에 대한 강화학습을 수행하는 방법을 설명하기 위해 나타낸 도면이다.
도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 AI 개체 제공 플랫폼(100)을 이용하여 상기 AI 개체(200)에 대한 강화학습을 수행하는 과정은 우선, 상기 사용자는 AI 개체 제공(100)으로부터 제공되는 인공지능 애플리케이션을 사용자 단말(300)에 설치하고, 상기 설치한 인공지능 애플리케이션을 실행하여 상기 AI 개체 제공 플랫폼(100)에 접속한 후, 해당 사용자의 인증정보 및 개인정보를 상기 AI 개체 제공 플랫폼(100)으로 제공하여, 상기 AI 개체 제공 플랫폼(100)을 통해 AI 개체(200)를 생성하기 위한 생성요청을 전송한다(①).
이때, 상기 사용자는 상기 AI 개체 제공 플랫폼(100)으로부터 제공되는 커스터마이징 정보를 이용하여, AI 개체(200)에 대한 모델링 과정을 수행함으로서, 캐릭터 또는 아바타로 구현되는 AI 개체(200)를 생성할 수 있도록 한다.
상기 AI 개체(200)는, 상기 AI 개체 제공 플랫폼(100)에 구비되는 장소(예: 사용자의 가정, 사무실 또는 학교 등)에 따라 복수의 사용자별로 생성되며, 상기 생성한 AI 개체(200)가 상기 AI 개체 제공 플랫폼(100)에 적용되어, 해당 AI 개체 제공 플랫폼(100)이 상기 AI 개체(200)의 기능을 수행하도록 구현될 수 있다.
또한 상기 생성한 AI 개체(200)는, 상기 사용자 단말(300)에 적용되거나, SNS 서비스를 제공하는 클라우드 플랫폼이나 웹서버에 적용되어, 상기 AI 개체 제공 플랫폼(100)과의 연동을 통해 상기 AI 개체(200)의 기능을 수행할 수 있도록 구현될 수 있다.
또한 상기 AI 개체 제공 플랫폼(100)은 사용자 특성정보를 입력하기 위한 데이터 포맷을 사용자 인터페이스를 통해 상기 사용자 단말(300)로 제공(②)하고, 상기 사용자는 상기 데이터 포맷을 통해 사용자 특성정보를 생성하여 상기 AI 개체 제공 플랫폼(100)으로 전송한다(③).
한편 상기 AI 개체(200)는 해당 AI 개체(200)에 대한 분야별 학습모델을 포함하며, 상기 각 분야별 학습모델은 사용자에게 다양한 서비스를 제공하기 위해 생성되는 것으로, 상기 AI 개체 제공 플랫폼(100)은, 사용자로부터 입력되는 사용자 특성정보를 각 분야별로 학습하여 상기 각 분야별 학습모델을 생성한다.
즉, 상기 강화학습모델은, 사용자의 특성정보를 토대로 생성되는 것으로, 상기 AI 개체 제공 플랫폼(100)으로부터 제공된 데이터 포맷을 토대로 해당 사용자가 자신의 특성정보를 선택하거나, 텍스트로 입력함으로써, 생성되고 상기 AI 개체 제공 플랫폼(100)으로 전송된다.
한편, 상기 분야별 학습모델은, 상기 사용자 단말(300)로부터 최초 입력되는 사용자 특성정보를 학습하여 생성되는 것이다. 이후 지속적으로 입력되는 사용자 특성정보는 상기 생성한 각 분야별 학습모델에 대한 강화학습을 수행하기 위한 강화학습 데이터로써, 사용될 수 있다.
예를 들어, 상기 사용자 특성정보가, 시간대별로 사용자의 선호도(점수)를 포함하는 TV 채널(예: 스포츠, 교양, 오락, 드라마, 다큐멘터리 등)에 대한 것이면, 해당 사용자 특성정보를 TV 채널 추천용 학습 네트워크를 통해 학습함으로써, 해당 사용자에게 TV 채널을 시간대별로 추천하기 위한 TV 채널 추천용 학습모델을 생성하게 된다.
이때, 상기 TV 채널 추천용 학습 네트워크의 입력은 미리 설정한 조건정보(예: 현재 시간정보)가 되며, 출력은 선호도가 높은 적어도 하나 이상의 TV 채널이 된다.
또 다른 예로써, 상기 사용자 특성정보가 시간 및 장소별(예: 거실, 안방, 서재, 주방, 욕실)로 선호하는 조명 밝기, 조명색, 온오프 시간 등에 대한 선호도를 포함하는 조명제어정보 또는 시간 및 장소별로 냉난방 온도값에 대한 선호도를 포함하는 온도제어정보인 경우, 해당 사용자의 특성정보를 IoT 기기(400) 제어용 학습 네트워크를 통해 학습함으로서, 해당 사용자에게 특정 IoT 기기(400)를 제어하기 위한 제어정보를 추천하게 된다.
이때, 상기 IoT 기기(400) 제어용 강화학습 네트워크의 입력은 시간정보, 날씨정보가 될 수 있으며, 출력은 선호도가 높은 적어도 하나 이상의 IoT 기기(400)에 대한 제어정보가 된다.
또 다른 예로써, 상기 특성정보가 시간대별, 날씨별 또는 사용자의 감성에 따라 선호하는 음악 장르(예: 대중음악, 클래식 등)에 대한 것인 경우, 해당 사용자의 특성정보를 음악 추천용 학습 네트워크를 통해 학습함으로써, 해당 사용자에게 적어도 하나 이상의 음악을 추천하기 위한 음악 추천용 학습모델을 생성한다.
이때, 상기 음악 추천용 학습모델의 입력은, 시간정보, 날씨정보, 감성정보 또는 이들이 조합이 될 수 있으며, 출력은 선호도가 높은 적어도 하나 이상의 음악 장르 및 아티스트 정보가 된다. 이후, 상기 AI 개체(200)는, 상기 출력한 음악 장르 및 아티스트 정보를 토대로 해당 AI 개체(200)와 연동된 음원 사이트에 접속하여 상기 음악 장르 및 해당 음악 장르에 대한 아티스트의 음원을 적어도 하나 이상으로 검색하여 상기 사용자에게 추천하게 된다.
또한 상기 생성한 AI 개체(200)는, 미리 설정한 조건(예를 들어, 상기 서비스를 제공받을 시간 등)에 따라 상기 분야별 학습모델을 이용하여 상기 서비스를 적어도 하나 이상으로 제공하거나, 또는 상기 사용자와의 인터랙션을 통해 상기 사용자로부터 입력되는 요청명령에 따라 상기 서비스를 적어도 하나 이상으로 제공한다(④).
또한 상기 AI 개체 제공 플랫폼(100)은 상기 AI 개체(200)를 통해 상기 사용자와의 인터랙션을 통해 특정 분야에 대한 서비스를 제공한 경우, 해당 인터랙션 결과를 상기 특정 분야에 대한 학습모델에 적용하여, 해당 학습모델에 대한 강화학습을 수행함으로써, 상기 AI 개체(200)가 고도화되고 진화될 수 있도록 한다.
예들 들어, 상기 AI 개체(200)는, 상기 지도학습을 통해 상기 특정 분야에 대한 서비스를 기본적으로 제공하지만, 사용자와 인터랙션을 하는 경우, 해당 사용자가 직접적으로 서비스 받고자 하는 대상을 지정할 수 있다. 즉, 해당 사용자가 요청명령으로 "특정 제목을 포함하는 음악을 요청"하는 경우 상기 AI 개체(200)는, 음원 사이트 등과 같이 음악을 제공하는 서버에서 상기 제목에 대한 음악을 검색하여 상기 사용자에게 제공하고, 해당 음악에 대한 사용자의 요청빈도가 높은 경우에는 해당 음악을 추천할 수 있도록 상기 음악 추천용 학습모델의 가중치를 조정함으로서, 상기 강화학습을 수행할 수 있다.
즉, 상기 AI 개체 제공 플랫폼(100)은 상기 AI 개체(200)와 상기 사용자가 인터랙션하면, 상기 인터랙션의 결과가 상기 각 분야별 학습모델에 입력(즉, 적용)되도록 함으로써, 상기 각 분야별 학습모델이 강화학습 되도록 하고, 이에 따라 상기 AI 개체(200)가 점진적으로 진화될 수 있도록 한다.
한편, 상기 강화학습은, 상기 인터랙션 결과 이외에 AI 개체(200)에 대한 자가학습, 참여학습, 지도학습 및 자율학습을 통해 수행될 수 있음은 상술한 바와 같다.
또한 상기 AI 개체 제공 플랫폼(100)은, 상기 AI 개체(200)에 대한 지도학습을 통해 미리 설정한 조건에 따라 자동으로 상기 서비스를 사용자에게 제공하는 경우, 사용자가 서비스에 대한 특정 대상을 선택하거나, 선택 거절하는 경우, 상기 특정 대상에 대한 가중치를 조정함으로서, 상기 학습모델에 대한 강화학습을 수행할 수 있음은 상술한 바와 같다.
또한 상기 사용자 단말(300)과 상기 SNS 상에 적용된 AI 개체(200)는 상기 강화학습을 수행한 각 분야별 학습모델을 이용하여 상기 서비스를 제공할 수 있도록 구현된다.
도 3은 본 발명의 일 실시예에 따른 AI 개체 플랫폼을 통해 AI 개체를 진화시키는 과정을 설명하기 위해 나타낸 도면이다.
도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 AI 개체 플랫폼(100)을 통해 상기 생성한 AI 개체(200)를 진화시키는 과정은 우선, 사용자가 상기 AI 개체(200)를 이용하기 위해 우선적으로 해당 AI 개체(200)를 활성화 시킨다.
상기 활성화는 미리 설정된 제스처를 수행하거나, 지문인식 또는 해당 AI 개체에 설정된 AI 개체(200)의 이름을 호명함으로써, 수행된다.
다음으로, 상기 AI 개체(200)가 활성화 된 경우, 해당 사용자는 자신이 서비스 받고자 하는 서비스 분야에 대한 추천명령을 입력한다.
상기 추천명령은, 음성 또는 텍스트로 입력될 수 있으며, 음성으로 입력하고자 하는 경우, 상기 AI 개체(200)가 적용된 사용자 단말(300)이나 AI 개체 제공 플랫폼(100)에 마이크를 통해 수행될 수 있다.
한편 사용자는 SNS 계정의 채팅기능이나, 상기 AI 개체(200)에서 자동으로 제공하는 채팅기능을 통해 상기 AI 개체(200)와의 채팅을 통해서 상기 추천명령을 텍스트로 입력할 수 있다. 이때, 상기 AI 개체(200)는 독립적인 개체로 상기 채팅에 참여하게 된다.
다음으로 상기 AI 개체(200)는, 상기 입력되는 추천명령에 대한 음성 또는 텍스트를 인식하고, 상기 인식한 추천명령으로부터 키워드를 추출하여, 상기 추출한 키워드를 토대로 사용자가 요구하는 서비스 분야를 인식한다.
즉, 상기 AI 개체(200)는, 상기 추천명령으로부터 추출한 적어도 하나 이상의 키워드와 미리 설정된 각 분야별 복수의 대표 키워드와 비교하여, 상기 비교결과에 따라 상기 추천 분야를 인식하는 것이다.
예를 들어, 음악 추천용 대표 키워드가 "노래", "음악"으로 설정되어 있고, 상기 추천명령으로부터 추출한 키워드가 "음악"인 경우, 상기 AI 개체(200)는, 상기 추천명령이 음악 추천 서비스로 인식한다.
또 다른 예로써, 스케줄 추천용 대표 키워드가 "스케줄", "일정", "기념일" 등으로 설정되어 있고, 상기 추천명령으로부터 추출한 키워드가 "스케줄" 또는 "일정"인 경우, 상기 AI 개체(200)는 상기 추천명령이 스케줄 추천 서비스로 인식하게 되는 것이다.
또 다른 예로써, TV 채널 추천용 대표 키워드가 "채널", "TV", "드라마", "다큐멘터리", "오락" 등으로 설정되어 있고, 상기 추천명령으로부터 추출한 키워드가 "드라마"인 경우, 상기 AI 개체(200)는 상기 추천명령이 TV 채널 추천 서비스로 인식하게 되는 것이다.
다음으로, 상기 AI 개체(200)는, 상기 인식한 서비스 분야에 대한 서비스를 사용자에게 제공한다.
예를 들어, 사용자가 "스포츠 채널 틀어"라는 요청명령을 음성이나 텍스트로 입력한 경우, 상기 AI 개체(200)는 특정 스포츠 채널을 자동으로 틀거나, 적어도 하나 이상의 스포츠 채널을 추천하여 사용자의 선택에 따라 특정 스포츠 채널을 시청할 수 있도록 하는 것이다.
이후, 상기 AI 개체 제공 플랫폼(100)은, 상기 제공한 서비스가 미리 설정한 빈도수 이상인 경우, 해당 분야의 학습모델에 적용되도록 함으로써, 해당 학습모델에 대한 강화학습을 수행하여, 상기 AI 개체(200)가 진화되도록 한다.
즉, 상기 AI 개체 제공 플랫폼(100)은, 상기 인터랙션 결과가 해당 학습모델에 적용되도록 함으로써, 상기 학습모델에 대한 강화학습을 수행하도록 한다. 이를 통해 상기 AI 개체 제공 플랫폼(100)은, 상기 AI 개체(200)가 상기 강화학습을 통해 진화할 수 있도록 하는 것이다.
도 4는 본 발명의 일 실시예에 따른 AI 개체 제공 플랫폼의 구성을 나타낸 블록도이다.
도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 AI 개체 제공 플랫폼(100)은, 사용자 인터페이스부(110), 사용자의 선택에 따라 아바타 또는 캐릭터를 모델링하여 AI 개체(200)를 생성하는 AI 개체 생성부(120), 사용자에게 사용자 특성정보 입력 데이터 포맷을 제공하여 사용자 특성정보에 대한 학습데이터를 입력하도록 하는 학습데이터 입력부(130), 상기 입력한 학습데이터를 토대로 서비스 분야별 학습모델을 생성하는 학습모델 생성부(140) 및 상기 생성한 학습모델에 대한 강화학습을 수행함으로써, 상기 생성한 AI 개체(200)가 진화하도록 하는 학습모델 진화부(150)를 포함하여 구성된다.
사용자 인터페이스부(110)는, 상기 AI 개체 제공 플랫폼(100)과 상기 사용자 단말(300)사이의 AI 개체(200)를 생성하고, 해당 AI 개체(200)에 대한 학습모델을 생성하기 위한 관련 데이터를 송수신할 수 있도록 사용자 인터페이스를 제공하는 기능을 수행한다.
또한 AI 개체 생성부(120)는, 상기 사용자에게 자동으로 특정 서비스를 제공하거나, 상기 사용자와의 인터랙션을 통해 상기 특정 서비스를 적어도 하나 이상으로 제공하기 위한 아바타, 캐릭터 등을 포함하는 AI 개체(200)를 생성하는 기능을 수행한다.
한편 상기 AI 개체(200)는, 상기 사용자 단말(300)로부터 AI 개체(200) 생성요청과 함께 해당 사용자의 인증정보와 개인정보를 수신하고, 해당 AI 개체(200)에 대한 사용자 계정을 발급함으로서, 생성된다.
또한 AI 개체 생성부(120)는, 사전에 정의되어 저장된 커스터마이징 정보를 상기 사용자 인터페이스부(110)를 통해 사용자에게 제공하여, 사용자로 하여금 상기 커스터마이징 정보를 선택하도록 함으로써, 상기 아바타 또는 캐릭터에 대한 특성을 설정하도록 하여, 상기 AI 개체(200)를 사용자의 취향에 따라 모델링할 수 있도록 한다.
상기 AI 개체(200)는, 사용자 단말(300)이나 SNS 상 또는 상기 AI 개체 제공 플랫폼(100)에서 적용될 때, 상기 모델링한 결과에 따라 상기 사용자가 설정한 특정을 가짐으로써, 생성된다.
한편 상기 커스터마이징 정보는, 상기 AI 개체(200)에 적용될 언어 및 국적을 포함하는 사회적 요소, 성별 및 나이를 포함하는 생물학적 요소와 얼굴, 헤서 및 의상 등을 포함하는 외모적 요소, 감정요소 및 AI 개체(200)에 대한 명칭을 포함한다.
즉, 상기 AI 개체 제공 플랫폼(100)은, 상기 커스터마이징 정보를 상기 사용자 인터페이스부(110)를 통해 제공하여, 해당 AI 개체(200)를 활성화하기 위한 명칭을 설정하도록 하고, 상기 AI 개체(200)에 적용될 사회적 요소, 생물학적 요소, 외모적 요소 및 감정요소를 순차적으로 제공하여, 이를 선택하도록 함으로써, 사용자의 취향에 따라 상기 AI 개체(200)를 모델링할 수 있도록 한다.
또한 상기 학습데이터 입력부(130)는, 상기 생성한 AI 개체(200)에 대한 서비스 분야별 학습모델을 생성하기 위한 학습데이터(즉, 사용자 특성정보)를 사용자기 입력할 수 있도록 하는 수단을 제공한다.
상기 학습데이터 입력부(130)는, 상기 사용자 인터페이스부(110)를 통해 사전에 정의된 사용자 특성정보 입력 데이터 포맷을 사용자에게 제공한다.
이후, 상기 사용자가 상기 제공받은 사용자 특성정보 입력 데이터 포맷을 토대로 자신의 사용자 특성정보를 입력하면, 상기 학습데이터 입력부(130)는, 상기 입력한 사용자 특성정보를 서비스 분야별로 분류하여, 메모리(미도시)에 저장하는 한다.
또한 상기 학습모델 생성부(140)는, 상기 추천 분야별로 분류한 사용자 특성정보를 서비스 분야별로 각각 학습하여 서비스 분야별 학습모델을 생성하는 기능을 수행한다.
한편 상기 서비스 분야별 학습모델은, 상기 서비스 분야별로 분류한 사용자 특성정보를 각각 학습하여 생성되는 것으로, TV 채널 추천용 학습모델, 음악 추천용 학습모델, IoT 기기(400) 제어용 학습모델, 뉴스 추천용 학습모델, 스케줄 추천용 학습모델을 포함할 수 있다.
다만, 상기 분야별 학습모델은, 상기 AI 개체 제공 플랫폼(100)의 설계자에 의해 다양한 분야로 확장될 수 있음은 당연하다.
또한 상기 AI 개체 제공 플랫폼(100)은 상기 생성한 AI 개체(200)를 해당 사용자의 사용자 단말(300)에 적용되도록 하거나, SNS 서비스를 제공하는 SNS 서버에 대한 계정을 생성함으로써, SNS상에서 독립적인 개체로 SNS 활동을 수행할 수 있도록 구현될 수 있다.
또한 상기 생성한 AI 개체(200)는 지도학습을 통해 학습된 상기 서비스 분야별 학습모델을 이용하여 상기 사용자에게 적어도 하나 이상의 서비스를 자동으로 제공할 수 있으며, 상기 사용자와의 인터랙션을 수행하여, 상기 수행한 인터랙션에 따라 다양한 정보를 웹상에서 검색하여 사용자에게 제공하거나, 특정 IoT 기기(400)를 제어하거나, 해당 사용자의 스케줄을 보고하거나, 음악, 동영상, 뉴스 등을 추천할 수 있다.
또한 상기 학습모델 진화부(150)는, 상기 사용자와의 인터랙션을 통해 해당 인터랙션의 결과에 따라 상기 생성한 서비스 분야별 학습모델에 대한 강화학습을 수행함으로서, 상기 생성한 AI 개체(200)가 진화하도록 하는 기능을 수행한다.
또한 상기 학습모델 진화부(150)는, 상기 적어도 하나 이상의 학습모델을 상호 결합하여 상기 AI 개체(200)가 진화할 수 있도록 하는 기능을 더 포함할 수 있다.
즉, 상기 학습모델 진화부(150)는, 강화학습을 위한 학습데이터의 관련정도에 따라 특정 서비스에 특화된 적어도 하나 이상의 학습모델을 결합하여 상기 AI 개체(200)가 진화할 수 있도록 하는 것이다.
예를 들어, 날씨별 시간대별 음악을 추천하거나, 날씨별 시간대별로 댁내의 온도나 습도를 조정하기 위한 복수의 IoT 기기(400)를 제어하고자 하는 경우, 날씨별 시간대별로 음악을 추천하는 서비스와 IoT 기기(400)를 제어하는 서비스의 관련정도가 높은 것을 알 수 있다. 즉, 상기 음악 추천용 학습모델이나 IoT 기기 제어용 학습모델에 이용되는 학습데이터는 날씨 및 시간을 포함하는 것으로, 해당 학습데이터의 관련정도가 높은 것임을 알 수 있다.
따라서, 상기 학습모델 진화부(150)는, 상기 음악 추천용 학습모델과 상기 IoT 기기 제어용 학습모델을 상호 결합함으로써, 날씨별 시간대별로 음악 및 IoT 기기 제어를 위한 서비스를 동시에 제공할 수 있도록 함으로써, 상기 AI 개체(200)를 진화시킬 수 있다. 이때, 상기 결합은, 관련 분야에 대해서, 학습데이터를 관련정도에 따라 특성 수치로 계량화하여 0과 1사이의 값을 가지도록 스케일링함으로써, 수행된다.
또한 학습모델 진화부(150)는 상기 인터랙션 이외에 자가학습, 참여학습, 지도학습 및 자율학습을 통해 상기 각 서비스 분야별 학습모델에 대한 강화학습을 지속적으로 수행하여 상기 AI 개체(200)가 독립적인 개체로 진화할 수 있도록 할 수 있다.
한편, 상기 자가학습, 참여학습, 지도학습 및 자율학습에 대해서는 도 1을 참조하여 설명하였으므로, 더 이상의 상세한 설명은 생략하도록 한다.
또한 상기 학습모델 진화부(150)는, 상기 사용자 특성정보 수집부(130)로부터 수집되는 사용자 특성정보가 최초로 입력된 것이 아니라, 상기 AI 개체(200) 및 해당 AI 개체(200)에 대한 서비스 분야별 학습모델이 생성된 후 입력되는 경우, 해당 사용자 특성정보를 이용하여 상기 각 서비스 분야별 학습모델에 대한 강화학습을 수행하는 것을 더 포함할 수 있음은 상술한 바와 같다.
도 5는 본 발명의 일 실시예에 따른 강화학습을 통해 진화하는 AI 개체를 제공하는 절차를 나타낸 흐름도이다.
도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 강화학습을 통해 진화하는 AI 개체를 제공하는 절차는 우선, 사용자는 사용자 단말(300)을 통해 AI 개체 제공 플랫폼(100)에 접속하여, 해당 AI 개체 제공 플랫폼(100)에 AI 개체(200)에 대한 생성을 요청함으로서, 해당 사용자에 대한 AI 개체(200)를 생성한다(S110).
상기 AI 개체(200)를 생성하는 것은, 사용자가 해당 사용자의 인증정보 및 개인정보를 상기 AI 개체 제공 플랫폼(100)에 입력하여 상기 AI 개체(200)에 대한 생성요청을 수행하며, 상기 AI 개체 제공 플랫폼(100)은, 상기 AI 개체(200)에 대한 계정을 발급함으로써, 수행된다.
이때, 상기 AI 개체 제공 플랫폼(100)은, 상기 사용자에게 사전에 정의된 커스터마이징 정보를 제공함으로써, 사용자의 취향에 따라 상기 AI 개체(200)를 모델링할 수 있음은 상술한 바와 같다.
다음으로, 상기 AI 개체 제공 플랫폼(100)은, 상기 사용자로부터 해당 사용자의 사용자 특성정보를 입력받아(S120), 상기 입력 받은 사용자 특성정보를 이용하여 상기 생성한 AI 개체(200)에 대한 서비스 분야별 학습모델을 생성한다(S120).
이때, 상기 AI 개체 제공 플랫폼(100)은, 사용자 특성정보 입력 데이터 포맷을 사용자 인터페이스를 통해 제공하여, 미리 설정된 포맷으로 사용자 특성정보를 입력할 수 있도록 한다.
또한 상기 AI 개체 제공 플랫폼(100)은, 상기 입력 받은 사용자 특성정보를 서비스 분야별로 분류하며, 상기 분류한 서비스 분야별 사용자 특성정보를 각각 학습하여, 각 서비스 분야별 학습모델을 생성하게 된다.
또한 상기에서 설명한 것과 같이, 또한 상기 생성한 서비스 분야별 학습모델은, 강화학습을 통해 점점 고도화되며, 이를 통해 상기 AI 개체(200)가 독립적인 개체로 진화된다.
다음으로, 상기 생성한 AI 개체와 상기 사용자가 인터랙션을 수행(S140)하면, 상기 AI 개체(200)는 상기 인터랙션을 수행한 인터랙션 결과를 사용자에게 제공하고, 상기 AI 개체 제공 플랫폼(100)은, 상기 인터랙션 결과를 이용하여 상기 생성한 학습모델에 대한 강화학습을 수행함으로써, 상기 생성한 AI 개체(200)를 진화시킨다(S150).
이상에서 설명한 바와 같이, 본 발명은 사용자가 AI 개체를 생성하여 자신이 원하는 바대로 지속적으로 학습시키고, 강화학습을 통해서 사용자 자신이 원하는 하나의 독립적인 개체로 진화하도록 함으로써, 사용자의 성향에 따라 특정 정보를 검색하거나, 특정 IoT 기기를 제어하도록 하거나, 해당 사용자의 스케줄을 보고하거나, 음악, 상품, 뉴스 등을 추천할 수 있도록 하는 효과가 있다.
상기에서는 본 발명에 따른 바람직한 실시 예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100: AI 개체 제공 플랫폼 110: 사용자 인터페이스부
120: AI 개체 생성부 130: 학습데이터 입력부
140: 학습모델 생성부 150: 학습모델 진화부
200: AI 개체 300: 사용자 단말
400: IoT 기기

Claims (10)

  1. 사용자가 AI 개체를 생성하는 AI 개체 생성 단계;
    기계학습을 통해 상기 생성한 AI 개체에 대한 학습모델을 생성하는 학습모델 생성 단계; 및
    상기 생성한 학습모델을 통해서 사용자가 AI 개체와 인터랙션하면, 상기 인터랙션의 결과를 상기 학습모델에 적용하여, 해당 학습모델에 대한 강화학습을 수행하도록 함으로써, 상기 사용자의 인터랙션 행위에 따라 상기 생성한 AI 개체가 독립적인 개체로 진화하도록 하는 AI 개체 진화 단계;를 포함하는 것을 특징으로 하는 강화학습을 통해 진화하는 AI 개체를 제공하는 방법.
  2. 청구항 1에 있어서,
    상기 방법은,
    상기 AI 개체 진화 단계를 통해, 상기 AI 개체가 다른 AI 개체와 교류하면서, 상기 사용자와 독집적인 개체로 진화하는 것을 더 포함하는 것을 특징으로 하는 강화학습을 통해 진화하는 AI 개체를 제공하는 방법.
  3. 청구항 1에 있어서,
    상기 AI 개체는,
    상기 방법을 수행하는 독립적인 하드웨어로 구성된 특정 디바이스나 인터넷상의 웹서버나 클라우드 플랫폼에서 계정을 만듦으로서 생성되며,
    상기 사용자가 원하는 비서의 기능을 하거나, SNS 활동이 가능하거나, 가정, 학교 또는 사무실에서 사용자를 대신하여 적어도 하나 이상의 IoT 기기를 상기 사용자가 원하는 시간과 방법으로 동작시키거나, 적어도 하나 이상의 IoT 기기를 설정하여 사용자가 원하는 가정, 학교 또는 사무실 환경을 유지하도록 하거나, 또는 이들의 조합 중 적어도 하나 이상을 수행하는 것을 특징으로 하는 강화학습을 통해 진화하는 AI 개체를 제공하는 방법.
  4. 청구항 1에 있어서,
    상기 방법은,
    상기 학습모델을 학습시켜 학습모델을 생성하는 과정에서, 사용자에게 학습 데이터를 입력할 수 있는 인터페이스를 제공하고, 사용자에게 학습시킬 방법을 제시함으로써, 사용자가 학습용 데이터를 미리 지정된 포맷으로 입력하도록 하는 학습데이터 입력 단계;를 더 포함하는 것을 특징으로 하는 강화학습을 통해 진화하는 AI 개체를 제공하는 방법.
  5. 청구항 1에 있어서,
    상기 학습모델은, CNN, RNN 또는 ANN를 포함한 적어도 하나 이상의 분야에 대해서 특화된 학습모델을 포함하며,
    상기 AI 개체는, 상기 적어도 하나 이상의 특화된 학습모델이 상호 결합되어 진화하며,
    상기 상호 결합은 관련 분야에 대해서 학습 데이터를 관련 정도에 따라 계량화하여 스케일링함으로써 수행되는 것을 특징으로 하는 강화학습을 통해 진화하는 AI 개체를 제공하는 방법.
  6. 사용자에 의해 AI 개체를 생성하도록 지원하는 AI 개체 생성부;
    기계학습을 통해 상기 생성한 AI 개체에 대한 학습모델을 생성하는 학습모델 생성부; 및
    상기 생성한 학습모델을 통해서 사용자가 상기 생성한 AI 개체와 인터랙션하면, 상기 인터랙션의 결과를 상기 학습모델에 적용하여, 해당 학습모델에 대한 강화학습을 수행하도록 함으로써, 상기 사용자의 인터랙션 행위에 따라 상기 생성한 AI 개체가 독립적인 개체로 진화하도록 하는 학습모델 진화부;를 포함하는 것을 특징으로 하는 강화학습을 통해 진화하는 AI 개체를 제공하는 플랫폼.
  7. 청구항 6에 있어서,
    상기 학습모델 진화부는,
    상기 독립적인 개체로 진화하는 과정을 통해서 상기 AI 개체가 다른 AI 개체와 교류하면서, 상기 사용자와 독립적인 개체로 진화하도록 하는 것을 더 포함하는 것을 특징으로 하는 강화학습을 통해 진화하는 AI 개체를 제공하는 플랫폼.
  8. 청구항 6에 있어서,
    상기 AI 개체는,
    상기 강화학습을 통해 진화하는 AI 개체를 제공하는 독립적인 하드웨어로 구성된 특정 디바이스나 인터넷상의 웹서버나 클라우드 플랫폼에서 계정을 만듦으로서 생성되며,
    상기 사용자가 원하는 비서의 기능을 하거나, SNS 활동이 가능하거나, 가정, 학교 또는 사무실에서 사용자를 대신하여 적어도 하나 이상의 IoT 기기를 상기 사용자가 원하는 시간과 방법으로 동작시키거나, 적어도 하나 이상의 IoT 기기를 설정하여 사용자가 원하는 가정, 학교 또는 사무실 환경을 유지하도록 하거나, 또는 이들의 조합 중 적어도 하나 이상을 수행하는 것을 특징으로 하는 강화학습을 통해 진화하는 AI 개체를 제공하는 플랫폼.
  9. 청구항 6에 있어서,
    상기 플랫폼은,
    상기 학습모델을 학습시켜 학습모델을 생성할 때, 사용자에게 학습용 데이터를 입력할 수 있는 인터페이스를 제공하고, 사용자에게 학습시킬 방법을 제시함으로써, 사용자가 학습용 데이터를 미리 지정된 포맷으로 입력하도록 하는 학습 데이터 입력부;를 더 포함하는 것을 특징으로 하는 강화학습을 통해 진화하는 AI 개체를 제공하는 플랫폼.
  10. 청구항 6에 있어서,
    상기 학습모델은, CNN, RNN 또는 ANN를 포함한 적어도 하나 이상의 분야에 대해서 특화된 학습모델을 포함하며,
    상기 AI 개체는, 상기 적어도 하나 이상의 특화된 학습모델이 상호 결합되어 진화하며,
    상기 상호 결합은 관련 분야에 대해서 학습 데이터를 관련 정도에 따라 계량화하여 스케일링함으로써 수행되는 것을 특징으로 하는 강화학습을 통해 진화하는 AI 개체를 제공하는 플랫폼.
KR1020190008141A 2019-01-22 2019-01-22 강화학습을 통해 진화하는 ai 개체를 제공하는 방법 및 플랫폼 KR102309682B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190008141A KR102309682B1 (ko) 2019-01-22 2019-01-22 강화학습을 통해 진화하는 ai 개체를 제공하는 방법 및 플랫폼
PCT/KR2019/018271 WO2020153614A1 (ko) 2019-01-22 2019-12-23 강화학습을 통해 진화하는 ai 개체를 제공하는 방법 및 플랫폼

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190008141A KR102309682B1 (ko) 2019-01-22 2019-01-22 강화학습을 통해 진화하는 ai 개체를 제공하는 방법 및 플랫폼

Publications (2)

Publication Number Publication Date
KR20200094833A true KR20200094833A (ko) 2020-08-10
KR102309682B1 KR102309682B1 (ko) 2021-10-07

Family

ID=71735795

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190008141A KR102309682B1 (ko) 2019-01-22 2019-01-22 강화학습을 통해 진화하는 ai 개체를 제공하는 방법 및 플랫폼

Country Status (2)

Country Link
KR (1) KR102309682B1 (ko)
WO (1) WO2020153614A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102311787B1 (ko) 2021-01-06 2021-10-08 한전케이디엔주식회사 Ai 모델의 성능 저하 방지를 위한 ai 모델 관리 장치 및 그 방법
KR102368043B1 (ko) 2021-01-06 2022-02-24 한전케이디엔주식회사 사용자 정의 토픽 모델링을 활용한 사용자 관심 뉴스 추천 장치 및 그 방법
US11301269B1 (en) 2020-10-14 2022-04-12 UiPath, Inc. Determining sequences of interactions, process extraction, and robot generation using artificial intelligence / machine learning models
WO2022196880A1 (ko) * 2021-03-17 2022-09-22 주식회사 디엠랩 아바타에 기초한 인터랙션 서비스 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090012922A1 (en) * 2006-01-23 2009-01-08 Gerald James Tesauro Method and apparatus for reward-based learning of improved systems management policies
US20170024643A1 (en) * 2015-07-24 2017-01-26 Google Inc. Continuous control with deep reinforcement learning
KR101884609B1 (ko) * 2017-05-08 2018-08-02 (주)헬스허브 모듈화된 강화학습을 통한 질병 진단 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9177259B1 (en) * 2010-11-29 2015-11-03 Aptima Inc. Systems and methods for recognizing and reacting to spatiotemporal patterns
WO2017177128A1 (en) * 2016-04-08 2017-10-12 The Trustees Of Columbia University In The City Of New York Systems and methods for deep reinforcement learning using a brain-artificial intelligence interface

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090012922A1 (en) * 2006-01-23 2009-01-08 Gerald James Tesauro Method and apparatus for reward-based learning of improved systems management policies
US20170024643A1 (en) * 2015-07-24 2017-01-26 Google Inc. Continuous control with deep reinforcement learning
KR101884609B1 (ko) * 2017-05-08 2018-08-02 (주)헬스허브 모듈화된 강화학습을 통한 질병 진단 시스템

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11301269B1 (en) 2020-10-14 2022-04-12 UiPath, Inc. Determining sequences of interactions, process extraction, and robot generation using artificial intelligence / machine learning models
WO2022081378A1 (en) * 2020-10-14 2022-04-21 UiPath, Inc. Determining sequences of interactions, process extraction, and robot generation using artificial intelligence / machine learning models
US11340917B2 (en) 2020-10-14 2022-05-24 UiPath, Inc. Determining sequences of interactions, process extraction, and robot generation using artificial intelligence / machine learning models
US11782739B2 (en) 2020-10-14 2023-10-10 UiPath, Inc. Determining sequences of interactions, process extraction, and robot generation using artificial intelligence / machine learning models
US11803397B2 (en) 2020-10-14 2023-10-31 UiPath, Inc. Determining sequences of interactions, process extraction, and robot generation using artificial intelligence / machine learning models
KR102311787B1 (ko) 2021-01-06 2021-10-08 한전케이디엔주식회사 Ai 모델의 성능 저하 방지를 위한 ai 모델 관리 장치 및 그 방법
KR102368043B1 (ko) 2021-01-06 2022-02-24 한전케이디엔주식회사 사용자 정의 토픽 모델링을 활용한 사용자 관심 뉴스 추천 장치 및 그 방법
WO2022196880A1 (ko) * 2021-03-17 2022-09-22 주식회사 디엠랩 아바타에 기초한 인터랙션 서비스 방법 및 장치

Also Published As

Publication number Publication date
KR102309682B1 (ko) 2021-10-07
WO2020153614A1 (ko) 2020-07-30

Similar Documents

Publication Publication Date Title
US11671416B2 (en) Methods, systems, and media for presenting information related to an event based on metadata
US11910169B2 (en) Methods, systems, and media for ambient background noise modification based on mood and/or behavior information
KR102309682B1 (ko) 강화학습을 통해 진화하는 ai 개체를 제공하는 방법 및 플랫폼
US11494426B2 (en) Methods, systems, and media for modifying the presentation of contextually relevant documents in browser windows of a browsing application
US20190197073A1 (en) Methods, systems, and media for personalizing computerized services based on mood and/or behavior information from multiple data sources
EP3256930B1 (en) Methods, systems, and media for recommending computerized services based on the movements of a pet in the user's environment
US20160232131A1 (en) Methods, systems, and media for producing sensory outputs correlated with relevant information
CN107483493A (zh) 交互式日程提醒方法、装置、存储介质及智能家居系统
CN112051743A (zh) 设备控制方法、冲突处理方法、相应的装置及电子设备
CN106873773A (zh) 机器人交互控制方法、服务器和机器人
KR102243182B1 (ko) 인공지능 개체에 대한 정보를 블록체인으로 관리하는 방법 및 그 플랫폼
US20210049422A1 (en) Artificial intelligence server
KR102305177B1 (ko) Ai 개체에 대한 정보 수집 플랫폼 및 이를 통한 정보 수집 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant