KR20210010284A - 인공지능 모델의 개인화 방법 및 장치 - Google Patents

인공지능 모델의 개인화 방법 및 장치 Download PDF

Info

Publication number
KR20210010284A
KR20210010284A KR1020190155985A KR20190155985A KR20210010284A KR 20210010284 A KR20210010284 A KR 20210010284A KR 1020190155985 A KR1020190155985 A KR 1020190155985A KR 20190155985 A KR20190155985 A KR 20190155985A KR 20210010284 A KR20210010284 A KR 20210010284A
Authority
KR
South Korea
Prior art keywords
data
model
artificial intelligence
user
learning
Prior art date
Application number
KR1020190155985A
Other languages
English (en)
Inventor
박치연
김재덕
손영철
최인권
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/923,551 priority Critical patent/US11961013B2/en
Priority to EP20841044.9A priority patent/EP3915061A4/en
Priority to PCT/KR2020/008937 priority patent/WO2021010651A1/en
Priority to CN202080034927.0A priority patent/CN113811895A/zh
Publication of KR20210010284A publication Critical patent/KR20210010284A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065—Adaptation
    • G10L15/07—Adaptation to the speaker
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/04—Training, enrolment or model building
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치가 개시된다. 전자 장치는 적어도 하나의 학습 데이터 생성 모델 및 인공지능 모델이 저장된 메모리 및 학습 데이터 생성 모델로부터 사용자의 특성이 반영된 개인 학습 데이터를 생성하고, 생성된 개인 학습 데이터를 이용하여 인공지능 모델이 업데이트되도록 학습시키고, 업데이트된 인공지능 모델을 메모리에 저장하도록 제어하는 프로세서를 포함한다.

Description

인공지능 모델의 개인화 방법 및 장치 {Personalization method and apparatus of Artificial Intelligence model}
본 개시는 학습 데이터에 기초하여 업데이트되는 전자 장치 및 그 제어 방법에 관한 것으로, 특히 지속 학습(Incremental Learning)을 통한 인공지능 모델의 개인화 방법 및 장치에 관한 것이다.
인공 신경망은 광범위한 기능을 수행하도록 설계되고 훈련될 수 있으며, 그 응용 기술은 음성 인식 및 객체 인식 등에 적용될 수 있다. 이러한 인공 신경망은 일반적으로 대형 데이터베이스로부터 많은 양의 학습 데이터에 의해 학습될수록 더욱 양호한 성능을 나타낼 수 있다. 특히, 음성과 같이 사용자 마다 서로 다른 특징을 갖는 요소를 인식하는 인공지능 모델의 경우, 전자 장치 사용자의 특성이 포함된 개인 학습 데이터 및 일반 사용자의 특성이 포함된 일반 학습 데이터 모두에 의해 학습될 필요가 있으므로 방대한 학습 데이터가 요구된다.
이에 도 1과 같이 인공지능 모델을 업데이트 하기 위한 학습 데이터를 지속적으로 누적하고 누적된 학습 데이터에 기초하여 인공지능 모델을 학습하는 방안을 고려할 수 있으나, 학습 데이터의 증가에 따라 저장 용량의 크기도 지속적으로 증가되어야 하며 학습을 위한 컴퓨팅 리소스가 증가하고 모델의 업데이트에 소요되는 시간이 증가되는 문제가 있다.
또한, 일부 학습 데이터만을 샘플링하여 인공지능 모델을 학습하는 방안을 고려할 수 있으나, 효율적인 샘플링이 용이하지 않은 문제가 있다.
또한, 기존 학습 데이터를 유지하지 않거나 최소로만 유지하고 새로운 학습 데이터에 기초하여 인공지능 모델을 학습하는 방안은 기존에 학습된 지식을 잊어버리는 파괴적 망각(Catastrophic Forgetting) 문제가 있다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시는 개인 학습 데이터 생성 모델을 이용하여 사용자 특성이 반영된 개인 학습 데이터를 생성하여, 상기 생성된 개인 학습 데이터로 인공지능 모델을 훈련시켜 업데이트하는 개인화 방법을 제공함에 있다.
또한, 본 개시는, 일반 학습 데이터 생성 모델을 이용하여 일반적인 사용자의 특성이 포함된 일반 학습 데이터를 생성하고, 개인 학습 데이터 생성 모델을 이용하여 전자 장치 사용자의 특성이 포함된 개인 학습 데이터를 생성하여, 상기 생성된 일반 학습 데이터와 상기 생성된 개인 학습 데이터를 이용하여 인공지능 모델을 업데이트 하는 것을 특징으로 하는 전자 장치 및 그 제어 방법을 제공함에 있다.
또한, 본 개시는 사용자의 실제 사용 데이터를 저장하고, 일반 학습 데이터 생성 모델을 이용하여 일반적인 사용자의 특성이 포함된 일반 학습 데이터를 생성하고, 개인 학습 데이터 생성 모델을 이용하여 전자 장치 사용자의 특성이 포함된 개인 학습 데이터를 생성하여, 상기 저장된 실제 사용 데이터와, 상기 생성된 일반 학습 데이터 및 상기 생성된 개인 학습 데이터를 이용하여 인공지능 모델을 업데이트 하는 것을 특징으로 하는 전자 장치 및 그 제어 방법을 제공함에 있다.
본 개시의 일 실시 예에 따른 전자 장치는, 적어도 하나의 학습 데이터 생성 모델 및 인공지능 모델이 저장된 메모리 및 상기 학습 데이터 생성 모델로부터 사용자의 특성이 반영된 개인 학습 데이터를 생성하고, 상기 생성된 개인 학습 데이터를 학습 데이터로 이용하여 상기 인공지능 모델이 업데이트 되도록 학습시키고, 상기 업데이트된 인공지능 모델을 상기 메모리에 저장하도록 제어하는 프로세서를 포함하는 것을 특징으로 한다.
상기 적어도 하나의 학습 데이터 생성 모델은, 상기 사용자의 특성이 반영된 상기 개인 학습 데이터를 생성하도록 학습된 개인 학습 모델을 포함할 수 있다.
또한, 상기 적어도 하나의 학습 데이터 생성 모델은, 일반 사용자들의 사용 데이터에 대응되는 일반 학습 데이터를 생성하도록 학습된 일반 학습 데이터 생성 모델을 더 포함할 수 있다.
상기 인공지능 모델은 적어도 하나 이상의 상기 생성된 개인 학습 데이터, 상기 생성된 일반 학습 데이터 및 상기 사용자로부터 획득한 실제 사용자 데이터에 기초하여 업데이트되는 모델일 수 있다.
상기 개인 학습 데이터 생성 모델은 상기 사용자 데이터 또는 상기 생성된 개인 학습 데이터 중 적어도 하나에 기초하여 업데이트될 수 있다.
여기서, 상기 인공지능 모델은 음성 인식 모델, 필기체(handwriting) 인식 모델, 객체 인식 모델, 화자 인식 모델, 단어 추천 모델 또는 번역 모델일 수 있다.
상기 일반 학습 데이터는 제1 입력 데이터를 포함하고, 상기 개인 학습 데이터는 제2 입력 데이터를 포함하며, 상기 인공지능 모델은 상기 사용자 데이터, 상기 제1 입력 데이터 및 상기 제2 입력 데이터에 기초하여 비지도형 학습(Unsupervised learning)을 수행할 수 있다.
상기 일반 학습 데이터는 제1 입력 데이터를 포함하고, 상기 개인 학습 데이터는 제2 입력 데이터를 포함하며, 상기 인공지능 모델은, 상기 제1 입력 데이터가 입력되면, 상기 제1 입력 데이터에 대응되는 제1 출력 데이터를 생성하고, 상기 제2 입력 데이터가 입력되면, 상기 제2 입력 데이터에 대응되는 제2 출력 데이터를 생성하며, 상기 사용자 데이터, 상기 제1 입력 데이터, 상기 제1 출력 데이터, 상기 제2 입력 데이터 및 상기 제2 출력 데이터에 기초하여 학습될 수 있다.
상기 일반 학습 데이터 생성 모델은 서버로부터 다운로드되어 상기 메모리에 저장될 수 있다.
상기 프로세서는 상기 인공지능 모델을 상기 서버로 업로드할 수 있다.
상기 프로세서는 상기 전자 장치가 충전 상태인 경우, 기설정된 시간이 도래한 경우 또는 기설정된 시간 동안 사용자의 조작이 없는 경우 중 적어도 하나의 경우에 상기 인공지능 모델을 학습시킬 수 있다.
한편, 본 개시의 일 실시 예에 따른 적어도 하나의 학습 데이터 생성 모델 및 인공지능 모델이 저장된 전자 장치의 제어 방법은, 상기 학습 데이터 생성 모델로부터 사용자의 특성이 반영된 개인 학습 데이터를 생성하는 단계, 상기 생성된 개인 학습 데이터를 이용하여 상기 인공지능 모델이 업데이트되도록 학습시키는 단계 및 상기 업데이트된 인공지능 모델을 저장하는 단계를 포함할 수 있다.
상기 적어도 하나의 학습 데이터 생성 모델은 상기 사용자의 특성이 반영된 개인 학습 데이터를 생성하도록 학습된 개인 학습 데이터 생성 모델 및 일반 사용자들의 사용 데이터에 대응되는 일반 학습 데이터를 생성하도록 학습된 일반 학습 데이터 생성 모델을 포함할 수 있다.
상기 인공지능 모델은 적어도 하나 이상의 상기 생성된 개인 학습 데이터, 상기 생성된 일반 학습 데이터 및 상기 사용자로부터 획득한 실제 사용자 데이터에 기초하여 업데이트되는 모델일 수 있다.
상기 개인 학습 데이터 생성 모델은 상기 사용자 데이터 또는 상기 생성된 개인 학습 데이터 중 적어도 하나에 기초하여 업데이트될 수 있다.
상기 인공지능 모델은 음성 인식 모델, 필기체(handwriting) 인식 모델, 객체 인식 모델, 화자 인식 모델, 단어 추천 모델 또는 번역 모델일 수 있다.
상기 일반 학습 데이터는 제1 입력 데이터를 포함하고, 상기 개인 학습 데이터는 제2 입력 데이터를 포함하며, 상기 인공지능 모델은 상기 사용자 데이터, 상기 제1 입력 데이터 및 상기 제2 입력 데이터에 기초하여 비지도형 학습(Unsupervised learning)을 수행할 수 있다.
상기 일반 학습 데이터는 제1 입력 데이터를 포함하고, 상기 개인 학습 데이터는 제2 입력 데이터를 포함하며, 상기 인공지능 모델은, 상기 제1 입력 데이터가 입력되면, 상기 제1 입력 데이터에 대응되는 제1 출력 데이터를 생성하고, 상기 제2 입력 데이터가 입력되면, 상기 제2 입력 데이터에 대응되는 제2 출력 데이터를 생성하며, 상기 사용자 데이터, 상기 제1 입력 데이터, 상기 제1 출력 데이터, 상기 제2 입력 데이터 및 상기 제2 출력 데이터에 기초하여 학습될 수 있다.
상기 일반 학습 데이터 생성 모델은 서버로부터 다운로드되어 저장될 수 있다.
상기 인공지능 모델은 상기 서버로 업로드될 수 있다.
본 개시의 일 실시 예에 따른 전자 장치내 인공지능 모델의 개인화를 위한 방법을 수행하기 위한 프로그램이 기록된 기록 매체에 있어서, 사용자의 특성이 반영된 개인 학습 데이터를 생성하는 단계, 및 상기 생성된 개인 학습 데이터를 학습 데이터로 이용하여 상기 인공지능 모델을 업데이트하는 단계를 포함하는 것을 특징으로 한다.
상기 기록 매체에 있어서, 일반 사용자의 특성이 반영된 일반 학습 데이터를 생성하는 단계를 더 포함하는 것을 특징으로 한다.
상기 기록 매체에 있어서, 상기 전자 장치 내 디바이스를 통해 획득한 상기 사용자의 실제 사용 데이터를 수집하여 저장하는 단계를 더 포함하는 것을 특징으로 한다.
상기 기록 매체에 있어서, 상기 인공지능 모델은 상기 생성된 개인 학습 데이터, 상기 생성된 일반 학습 데이터 및 상기 획득된 사용자 실제 사용 데이터 중 적어도 하나 이상을 이용하여 학습하는 단계를 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 개시의 다양한 실시 예에 따르면, 학습 데이터 생성 모델을 통해 적어도 하나 이상의 일반 학습 데이터 및 개인 학습 데이터가 전자 장치 상에서 생성되므로, 인공지능 모델을 학습시키기 위한 방대한 학습 데이터(예를 들어 1~2TB정도 용량)를 저장하고 있을 필요가 없다. 따라서, 메모리 용량이 작은 전자 장치 상에서도 본 실시 예에 따른 학습 데이터 생성 모델(예를 들어 10~20MB정도 모델 사이즈 )로 인공지능 모델이 효율적으로 학습될 수 있다.
또한, 외부 서버로부터 학습 데이터를 다운로드할 필요가 없으므로 네트워크 연결이 없는 상태에서도 자유롭게 인공지능 모델이 학습될 수 있다.
또한, 전자 장치 사용자의 특성이 포함된 개인 학습 데이터에 의해 인공지능 모델이 학습되므로, 인공지능 모델은 사용자의 음성 등과 같이 사용자 데이터의 인식 정확도가 개선될 수 있다.
도 1은 종래 기술을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 시스템의 구성을 개략적으로 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 블록도이다.
도 4는 본 개시의 일 실시 예에 따른 인공지능 모델이 학습되어 인식을 수행하는 개략적인 과정에 대한 플로우 차트를 나타내는 도면이다.
도 5는 본 개시의 일 실시 예에 따른 개인 학습 데이터 생성 모델이 학습되는 과정을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 인공지능 모델이 학습되는 과정을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 프로세서 및 메모리 간 상세 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 다른 실시 예에 따른 인공지능 모델이 객체 인식 모델로 구현되는 경우를 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치 상에서 인공지능 모델이 학습되는 단계를 설명하기 위한 도면이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
A 및/또는 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다. 본 명세서에서, 사용자라는 용어는 전자 장치(또는 전자 장치)를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 2는 본 개시의 일 실시 예에 따른 전자 시스템의 구성을 개략적으로 설명하기 위한 도면이다.
도 2에 따르면 본 발명의 일 실시 예에 따른 전자 시스템(10)은 전자 장치(100) 및 서버(200)를 포함한다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 인공 지능 모델(또는 신경망 모델 또는 학습 네트워크 모델)을 이용하여 사용자 데이터를 인식하여 특정 동작을 처리하도록 구현될 수 있다. 여기서, 사용자 데이터란 사용자의 음성, 사용자의 필기체(handwriting), 사용자의 촬영 이미지, 사용자의 입력 문자 데이터, 번역 데이터 등 사용자 개인의 고유 특징이 반영되는 데이터이며, 사용자로부터 획득한 실제 사용 데이터로서 실제 사용자 데이터로 불릴 수도 있다.
본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 업데이트될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
일 실시 예에 따라 인공 지능 모델이 음성 인식 모델인 경우를 상정하면, 전자 장치(100)는 사용자의 음성을 인식하는 음성 인식 모델을 포함하며, 나아가 이를 통해 가상 비서 기능을 제공할 수도 있다. 예를 들어, 전자 장치(100)는 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 등 다양한 형태로 구현될 수 있다.
인공지능 모델은 복수의 신경망 레이어들로 구성될 수 있으며 인식 효율을 높이기 위해 학습될 수 있다.
전자 장치 내에서 인공지능 모델을 학습시키기 위한 방대한 학습 데이터를 보유하지 않고, 본 실시 예의 전자 장치(100)는 학습 데이터를 스스로 생성하는 학습 데이터 생성 모델을 구비함으로써, 필요에 따라 실시간적으로 인공지능 모델을 업데이트 할 수 있다.
상기 학습 데이터 생성 모델은 전자 장치 내에 미리 탑재되어 있을 수도 있고, 서버(200)로부터 학습 데이터 생성 모델을 다운받아 설치할 수도 있다.
이렇게 전자 장치 내에 설치된 학습 데이터 생성 모델에 의해 생성된 학습 데이터에 기초하여 인공지능 모델을 학습시킬 수 있다.
여기서, 학습 데이터 생성 모델은 적어도 하나의 개인 학습 데이터 생성 모델 및 일반 학습 데이터 생성 모델을 포함할 수 있다. 개인 학습 데이터 생성 모델은 전자 장치(100) 사용자의 특성을 반영하기 위한 개인 학습 데이터를 생성하는 모델이고, 일반 학습 데이터 생성 모델은 일반적인 사용자의 특성을 반영하기 위한 일반 학습 데이터를 생성하는 모델일 수 있다.
인공지능 모델은, 개인 학습 데이터 생성 모델로부터 생성된 개인 학습 데이터를 이용하거나, 일반 학습 데이터 생성 모델로부터 생성된 일반 학습 데이터를 이용하거나, 상기 개인 및 일반 학습 데이터를 모두 이용하여 학습될 수 있다.
바람직하게는 인공지능 모델이 일반 학습 데이터만으로 학습되는 경우 전자 장치(100) 사용자의 특성이 반영되지 않을 수 있고, 인공지능 모델이 개인 학습 데이터만으로 학습되는 경우 지나치게 특정 사용자의 특성에 편중되어 학습되는 문제가 있기 때문에 개인 학습 데이터 및 일반 학습 데이터에 모두에 의해 인공지능 모델이 학습될 수 있다.
서버(200)는 개인 학습 데이터 생성 모델, 일반 학습 데이터 생성 모델 및 인공지능 모델 중 적어도 하나를 관리하는 장치이며, 중앙 서버 또는 클라우드 서버 등으로 구현될 수 있다. 서버(200)는 전자 장치(100)의 요청 등에 기초하여 개인 학습 데이터 생성 모델, 일반 학습 데이터 생성 모델 및 인공지능 모델 중 적어도 하나를 전자 장치(100)로 전송할 수 있다. 특히, 서버(200)는 일반 사용자 데이터에 기초하여 기 학습된 일반 학습 데이터 생성 모델을 전자 장치(100)로 전송할 수 있으며, 필요에 따라 기 전송된 일반 학습 데이터 생성 모델을 업데이트 하기 위한 업데이트 정보(예를 들어, 각 레이어의 가중치 정보, 바이어스 정보 등)를 전자 장치(100)로 전송하거나, 업데이트된 일반 학습 데이터 생성 모델 자체를 전자 장치(100)로 전송할 수도 있다.
전자 장치(100)로 전송되는 개인 학습 데이터 생성 모델 및 인공지능 모델은 아직 학습되지 않은 상태의 모델일 수 있다. 한편, 개인 학습 데이터 생성 모델 및 인공지능 모델은 전자 장치 내에 미리 탑재되어 구성될 수 있다. 전자 장치의 개인 학습 데이터 생성 모델 및 인공지능 모델은, 사용자 프라이버시 등을 고려하여 학습 관련 사용자 데이터를 서버로 전송하는 과정 없이, 전자 장치(100) 상에서 학습되는 것이 바람직하다. 경우에 따라서는 사용자 데이터가 서버(200)로 전송되어 개인 학습 데이터 생성 모델 및 인공지능 모델이 서버(200) 상에서 학습될 수도 있다.
한편, 전자 장치(100) 상에서 학습 데이터 생성 모델이 학습 데이터를 직접 생성하므로 전자 장치(100)는 과거의 방대한 실제 학습 데이터를 저장하거나, 별도로 서버(200)로부터 학습 데이터를 수신할 필요가 없다. 또한, 인공지능 모델은 일반 학습 데이터뿐만 아니라 개인 학습 데이터에 의해서도 학습될 수 있으므로 사용자의 특성이 반영된 개인화된 인공지능 모델로 학습되고 점진적으로(incrementally) 업데이트될 수 있다.
인공지능 모델은 음성 인식 모델뿐만 아니라 필기체 인식 모델, 시각 객체 인식 모델, 화자 인식 모델, 단어 추천 모델, 번역 모델 등 다양한 모델로 구현될 수 있으나 이하에서는 설명의 편의를 위해 음성 인식 모델에 대해 주로 설명하기로 한다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 블록도이다.
도 3에 따르면, 전자 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다.
메모리(110)는 프로세서(120)와 전기적으로 연결되며, 본 개시의 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다.
메모리(110)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결 가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
일 실시 예에 따라, 메모리(110)는 적어도 하나의 학습 데이터 생성 모델 및 인공지능 모델을 저장할 수 있다. 여기서, 적어도 하나의 학습 데이터 생성 모델은 일반 학습 데이터 생성 모델 및 개인 학습 데이터 생성 모델을 포함할 수 있다.
여기서, 일반 학습 데이터 생성 모델은 일반 사용자들의 사용 데이터에 대응되는 일반 학습 데이터를 생성하도록 학습된 모델일 수 있다. 다시 말해, 일반 학습 데이터는 일반 사용자의 특성이 반영된 데이터일 수 있다. 일 실시 예에 따라 일반 학습 데이터 생성 모델은 복수의 신경망 레이어를 포함하며 복수의 신경망 레이어들 각각은 복수의 파라미터를 포함하며, 각 레이어는 이전 레이어의 연산 결과와 복수의 파라미터들 간의 연산을 통해 신경망 연산을 수행할 수 있다. 예를 들어, 랜덤 값이 입력되면 일반 학습 데이터 생성 모델에 포함된 기 학습된 복수의 신경망 레이어들에서 순차적으로 연산이 수행되어 일반 학습 데이터를 생성할 수 있게 된다.
개인 학습 데이터 생성 모델은 전자 장치(100) 사용자의 특성이 반영된 개인 학습 데이터를 생성하도록 학습된 모델 예를 들어, 랜덤 값이 입력되면 개인 학습 데이터 생성 모델에 포함된 기 학습된 복수의 신경망 레이어들에서 순차적으로 연산이 수행되어 개인 학습 데이터를 생성할 수 있게 된다.
일 실시 예에 따르면, 인공지능 모델은 음성 발화 또는 손 글씨 기재와 같이 사용자 동작에 따른 데이터를 인식하는 모델일 수 있다. 인공지능 모델은 음성 인식 모델, 필기체(handwriting) 인식 모델, 객체 인식 모델, 화자 인식 모델, 단어 추천 모델 또는 번역 모델일 수 있다. 일 예로, 인공지능 모델이 음성 인식 모델로 구현되는 경우, 인공지능 모델은 사용자의 음성을 인식하여 텍스트로 출력하는 모델로 ASR(Automatic Speech Recognition) 모델로 구현될 수 있다. 다만, 다른 실시 예에 따르면 인공지능 모델은 사용자 음성을 변환된 음성으로 출력하는 등 사용자 음성에 기초하여 다양한 출력을 생성하는 모델일 수 있다. 한편, 인공지능 모델이 개인 학습 데이터에 의해 학습되어 개인 특성이 반영될 수 있다면 상술한 모델 이외에도 다양한 형태의 모델로 구현될 수 있음은 물론이다.
개인 학습 데이터 생성 모델 및 인공지능 모델은 서버(200)로부터 수신되어 메모리(110)에 저장될 수 있으나, 전자 장치(100) 제조 시에 메모리(110)에 저장되거나 서버가 아닌 다른 외부 장치로부터 수신되어 메모리(110)에 저장될 수도 있다.
또한, 메모리(110)는 사용자 데이터를 저장할 수 있다. 여기서, 사용자 데이터는 사용자의 실제 사용 데이터이다. 예를 들어, 사용자 데이터는 사용자가 직접 발화한 음성 데이터, 사용자가 실제로 쓴 필기체, 사용자가 직접 촬영한 이미지 등일 수 있다. 사용자 데이터는 개인 학습 데이터 또는 일반 학습 데이터와는 구분되는 개념이다. 일 예로, 사용자 데이터는 사용자가 직접 발화한 음성 데이터이고, 개인 학습 데이터는 인공지능 모델의 학습을 위해 사용자가 직접 발화한 음성과 유사한 음성이 개인 학습 데이터 생성 모델에 의해 인위적으로 생성된 데이터일 수 있다.
일 예로, 사용자 데이터가 사용자 음성 데이터인 경우, 사용자 음성 데이터는 전자 장치(100)에 구비된 마이크(미도시)를 통해 수신된 사용자 음성 데이터이거나, 외부 장치로부터 수신된 사용자 음성 데이터일 수 있다. 예를 들어, 사용자 음성 데이터는 wav 파일, mp3 파일 형태의 데이터일 수 있으나, 이에 한정되는 것은 아니다.
다른 예로, 사용자 데이터가 사용자 필기체 데이터인 경우 전자 장치(100)에 구비된 디스플레이(미도시)를 통해 사용자 터치 또는 스타일러스 펜에 의해 입력된 필기체 데이터일 수 있다.
한편, 사용자 데이터는 일반 학습 데이터 생성 모델, 개인 학습 데이터 생성 모델 및 음성 인공지능 모델과는 상이한 메모리에 저장될 수도 있다.
프로세서(120)는 메모리(110)와 전기적으로 연결되며, 전자 장치(100)의 전반적인 동작을 제어한다. 프로세서(120)는 메모리(110)에 저장된 각종 명령어 또는 프로그램을 이용하여 전자 장치(100)의 동작을 전반적으로 제어한다. 특히, 일 실시 예에 따르면, 메인 CPU가 ROM에 저장된 명령어에 따라 프로그램을 RAM에 복사하고, RAM에 액세스하여 해당 프로그램을 실행시킬 수 있다. 여기서, 프로그램은 인공지능 모델 등을 포함할 수 있다.
일 실시 예에 따른 프로세서(120)는 개인 학습 데이터 생성 모델로부터 생성된 사용자 특성이 반영된 개인 학습 데이터 및 사용자의 실제 사용 데이터에 해당되는 사용자 데이터에 기초하여 인공지능 모델을 학습시킬 수 있다. 다만, 인공지능 모델이 개인 학습 데이터만으로 학습되는 경우 지나치게 특정 사용자의 특성에 편중되어 학습될 수 있다.
따라서, 프로세서(120)는 일반 학습 데이터 생성 모델로부터 생성된 일반 사용자의 특성이 반영된 일반 학습 데이터, 개인 학습 데이터 및 사용자 데이터에 기초하여 인공지능 모델을 학습시킬 수 있다. 일반 학습 데이터 및 개인 학습 데이터가 모두 이용되는 경우 인공지능 모델이 사용자에 개인화된 모델로 학습될뿐만 아니라 일반 학습 데이터에 의해 특정 사용자에게 지나치게 편중되어 학습되지도 않으므로 바람직하다. 이하에서는 일반 학습 데이터 및 개인 학습 데이터에 기초하여 인공지능 모델이 학습되는 실시 예에 대해 주로 설명하기로 한다.
도 4는 본 개시의 일 실시 예에 따른 인공지능 모델이 학습되어 인식을 수행하는 개략적인 과정에 대한 플로우 차트를 나타내는 도면이다.
전자 장치(100)는 일반 학습 데이터 생성 모델, 개인 학습 데이터 생성 모델 및 인공지능 모델을 메모리(110)에 저장할 수 있다.
개인 학습 데이터 생성 모델은 사용자 데이터에 기초하여 학습될 수 있다(S410). 일 실시 예에 따르면, 사용자 데이터는 사용자의 실제 사용 데이터를 학습 데이터로서 획득하기 위해 전자 장치(100) 상의 학습 데이터 획득 모드에서 획득된 데이터일 수 있다. 예를 들어, 학습 데이터 획득 모드에 진입하는 경우, 디스플레이 상에 기설정된 텍스트가 표시되고, 표시된 텍스트를 음성 발화하도록 요청하는 메시지가 제공될 수 있다. 일 예로, 프로세서(120)는 스피커(미도시)를 제어하여 "표시된 텍스트를 읽어주세요"라는 음성을 제공하거나, "표시된 텍스트를 읽어주세요"라는 UI창을 표시하도록 디스플레이를 제어할 수 있다. 이후, 전자 장치(100)에 구비된 마이크(미도시)를 통해 표시된 텍스트에 해당되는, 예를 들어, "오늘 날씨 어때"와 같은 사용자 음성이 입력되고, 입력된 음성은 사용자 데이터로서 개인 학습 데이터 생성 모델 및 인공지능 모델을 학습하는데 이용될 수 있다. 또는, 학습 데이터 획득 모드에서 기설정된 메시지에 따라 사용자에 의해 특정 텍스트에 대응되는 손 글씨가 입력될 수 있다. 이와 같이 입력된 손 글씨는 사용자 데이터로서 이용될 수 있다.
다만, 이에 한정되는 것은 아니며, 학습 데이터 획득 모드에 진입하지 않은 경우에도 프로세서(120)는 마이크를 통해 사용자 음성을 획득하고, 획득된 사용자 음성을 학습 데이터로서 이용할 수 있다. 예를 들어, 평소 전자 장치를 사용하면서 입력된 사용자의 음성 질의 또는 사용자 음성 명령 등도 일정 기간 획득되어 학습 데이터로서 이용될 수도 있다.
한편, 후술하는 바와 같이 개인 학습 데이터가 생성된 이후부터 개인 학습 데이터 생성 모델은 사용자의 음성 데이터 또는 개인 학습 데이터 중 적어도 하나에 기초하여 학습될 수 있다. S410 단계에 관하여는 도 5에서 자세히 설명한다.
한편, 일반 학습 데이터 생성 모델은 서버(200) 상에서 이미 학습된 상태로 전자 장치(100)로 전송되었으므로 전자 장치(100) 상에서 별도로 학습될 필요는 없다. 다만, 일반 학습 데이터 생성 모델은 서버(200) 상에서 업데이트되고, 업데이트된 일반 학습 데이터 생성 모델은 주기적으로 전자 장치(100)로 전송되어 기존의 일반 학습 데이터 생성 모델을 대체할 수 있다.
일반 학습 데이터 생성 모델은 일반 사용자 특성이 반영된 일반 학습 데이터를 생성할 수 있다. 개인 학습 데이터 생성 모델은 전자 장치(100) 사용자의 특성이 반영된 개인 학습 데이터를 생성할 수 있다(S420). 개인 학습 데이터는 사용자의 특성을 포함하는 학습 데이터로서 인공지능 모델이 개인화된 모델로 학습되는데 이용되는 데이터일 수 있다.
일 실시 예에 따르면, 인공지능 모델은 일정기간 획득된 사용자 데이터, 상기 생성된 일반 학습 데이터 및 상기 생성된 개인 학습 데이터에 기초하여 학습되고 업데이트될 수 있다(S430). 다만, 다른 실시 예에 따르면, 인공지능 모델은 사용자 데이터 및 상기 생성된 개인 학습 데이터에 의해 인공지능 모델이 학습될 수도 있다. 한편, 경우에 따라서 상기 인공지능 모델은 상기 사용자 데이터, 상기 생성된 일반 학습 데이터 및 상기 생성된 개인 학습 데이터 중 적어도 하나 및 그 조합으로 학습되고 업데이트될 수 있음은 물론이다.
사용자 데이터는 생성된 일반 학습 데이터 및 개인 학습 데이터와는 다르게 실제 사용 데이터로서 가공되지 않은 로우 데이터이므로, 일반 학습 데이터 및 개인 학습 데이터와 함께 인공지능 모델 학습에 이용되는 경우 인공지능 모델의 인식 정확도가 개선될 수 있다. 이러한 사용자 데이터는 개인 학습 데이터 생성 모델을 학습하는데 이용되고 인공지능 모델을 학습하는데도 이용될 수 있다. S430 단계에 관하여는 도 6에서 자세히 설명하도록 한다.
이후, 학습된(개인화된, 업데이트된) 인공지능 모델에 기초하여 사용자 데이터에 대한 인식이 수행될 수 있다(S440). 여기서, 사용자 데이터는 인공지능 모델의 인식 처리 대상이 되는 데이터이며, 예를 들어, 음성 질의를 위한 음성 데이터일 수 있다. 인공지능 모델의 대상이 되는 사용자 데이터는, 개인 학습 데이터 생성 모델 및 인공지능 모델의 업데이트를 위해 이용될 수도 있다.
구체적으로, 인공지능 모델에 사용자의 음성이 입력되는 경우, 인공지능 모델은 사용자의 음성을 인식하여 사용자의 음성을 텍스트로 변환하여 출력할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 개인 학습 데이터 생성 모델이 학습되는 과정을 설명하기 위한 도면이다.
프로세서(120)는 메모리(110)에 저장된 사용자 데이터를 로드(Load)할 수 있다(S510). 예를 들어, 프로세서(120)는 프로세서(120) 외부의 메모리(110)에 저장된 사용자 데이터를 프로세서(120) 내부 메모리(미도시)로 로드할 수 있다.
여기서, 사용자 데이터는 프로세서(120)의 요청에 따라 입력된 데이터일 수 있다. 예를 들어, 사용자 데이터가 사용자 음성 데이터인 경우, 학습 데이터로서 사용자의 음성 데이터를 획득하기 위해 프로세서(120)는 기설정된 단어 또는 문장을 포함하는 텍스트를 사용자가 발화하도록 요청할 수 있다. 일 예로, 프로세서(120)는 기설정된 단어 또는 문장을 디스플레이(미도시)에 표시하여 발화를 유도하거나 스피커(미도시)를 통해 음성으로 기설정된 단어 또는 문장의 발화를 요청할 수 있다. 프로세서(120)는 이에 따라 입력된 사용자의 음성 데이터를 메모리(110)에 저장하고, 이후 개인 학습 데이터 모델을 학습 시키기 위해 저장된 사용자의 음성 데이터를 로드할 수 있다. 이에 따라, 메모리(110)에 저장된 사용자의 음성 데이터는 프로세서(120)에 로드될 수 있다. 다만, 이에 한정되는 것은 아니며, 사용자 데이터가 사용자 필기체 데이터인 경우, 프로세서(120)의 요청에 따라 사용자가 직접 손 글씨로 기재한 문자 또는 숫자가 전자 장치(100)에 입력될 수 있다.
또한, 프로세서(120)는 메모리(110)에 저장된 개인 학습 데이터 생성 모델을 로드할 수 있다(S520). S510 및 S520의 단계의 순서는 변경될 수도 있다.
이후, 개인 학습 데이터 생성 모델은 사용자 데이터에 기초하여 학습될 수 있다(S530). 구체적으로, 개인 학습 데이터 생성 모델은 사용자 데이터 분포를 학습하며, 예를 들어, 사용자 음성 데이터에 포함된 주파수 분포를 학습하여 업데이트될 수 있다. 사람마다 음성에 포함된 주파수 분포의 차이가 있으므로, 주파수 분포 특성에 기초하여 개인 학습 데이터 생성 모델이 학습되면 전자 장치(100) 사용자의 음성 특성이 잘 반영되어 학습될 수 있다.
이에 따라, 개인 학습 데이터 생성 모델은 사용자에 개인화된 모델로 학습될 수 있다.
이후, 학습된 개인 학습 데이터 생성 모델은 개인 학습 데이터를 생성할 수 있다(S540). 개인 학습 데이터 생성 모델은 전자 장치(100) 사용자의 특성이 반영되도록 학습되었으므로, 개인 학습 데이터 생성 모델로부터 생성된 개인 학습 데이터는 사용자 데이터와 유사할 수 있다. 일 예로, 개인 학습 데이터는 사용자가 직접 발화한 음성과 매우 유사한 음성으로 생성될 수 있다. 다른 예로, 개인 학습 데이터는 사용자가 직접 필기한 텍스트와 매우 유사한 형태의 텍스로 생성될 수 있다. 개인 학습 데이터 생성 모델의 업데이트 결과에 따라 사용자 데이터 및 개인 학습 데이터의 유사도가 결정될 수 있다.
한편, 생성된 개인 학습 데이터는 일반 학습 데이터 및 사용자 데이터와 함께 인공지능 모델을 학습하는데 이용될 수 있다(S550).
또한, 개인 학습 데이터 생성 모델은 사용자 데이터뿐만 아니라 생성된 개인 학습 데이터에 기초하여 학습되어 업데이트될 수 있다.
이후, 프로세서(120)는 학습된 개인 학습 데이터 생성 모델을 메모리(110)에 저장할 수 있다(S560).
개인 학습 데이터 생성 모델은 상술한 S510 내지 S560의 단계를 지속적으로 반복하여 업데이트될 수 있다.
도 6은 본 개시의 일 실시 예에 따른 인공지능 모델이 학습되는 과정을 설명하기 위한 도면이다.
프로세서(120)는 메모리(110)에 저장된 학습 데이터를 로드할 수 있다(S610). 구체적으로, 프로세서(120)는 사용자로부터 획득된 사용자 데이터, 학습 데이터 생성 모델로부터 생성된 일반 학습 데이터 및 개인 학습 데이터를 로드할 수 있다.
프로세서(120)는 인공지능 모델이 학습 가능한 상태인지 여부를 식별할 수 있다(S620). 인공지능 모델을 학습하는데 필요한 충분한 컴퓨팅 리소스를 확보하고 있는 상태인지를 식별할 수 있다. 예컨데, 컴퓨팅 리소스가 많이 이용되므로 전자 장치(100) 상에서 인공지능 모델이 학습되는 동작 이외에 수행되는 동작이 적을 때 인공지능 모델이 학습 가능한 상태로 식별될 수 있다.
구체적으로, 인공지능 모델이 학습 가능한 상태란 전자 장치(100)가 충전 상태인 경우, 기설정된 시간이 도래한 경우 또는 기설정된 시간 동안 사용자의 조작이 없는 경우를 포함할 수 있다. 전자 장치(100)가 충전 상태인 경우에는 전자 장치(100)에 전력이 공급되므로 인공지능 모델을 학습하는 도중에 전자 장치(100)가 턴 오프되지 않을 수 있다. 또한, 기설정된 시간은 예를 들어, 사용자의 수면 시작 시간일 수 있다. 일 예로, 기설정된 시간이 오전 1시인 경우, 오전 1시가 도래하면 인공지능 모델은 학습 데이터에 기초하여 학습될 수 있다. 기설정된 시간은 전자 장치(100) 사용 패턴을 모니터링하여 획득되거나 사용자 설정에 의한 시간일 수 있다. 또한, 기설정된 시간 동안 사용자의 조작이 없는 경우에는 이후에도 사용자의 조작이 적을 개연성이 높은 것으로 식별하여 인공지능 모델이 학습될 수 있다. 일 예로, 1시간 동안 전자 장치(100)에 사용자의 조작이 없는 경우 인공지능 모델은 학습될 수 있다.
또한, 일 실시 예에 따르면, 인공지능 모델이 학습 가능한 상태와는 별도로 학습 수행 개시 조건을 추가적으로 만족하는 경우 인공지능 모델의 학습이 수행될 수도 있다. 학습 수행 개시 조건이란 인공지능 모델에 대한 학습 명령이 입력된 경우, 인공지능 모델의 인식 에러가 기설정된 횟수 이상 발생하는 경우, 학습 데이터가 기설정된 용량 이상 누적된 경우 중 적어도 하나를 포함할 수 있다. 예를 들어, 인식 에러가 기설정된 시간 동안 5회 이상 발생하거나 사용자의 음성 데이터가 10MB 이상 누적된 경우 학습 수행 개시 조건이 만족될 수 있다.
한편, 인공지능 모델이 학습 가능한 상태로 식별되지 않는 경우(S620-N), 프로세서(120)는 로드된 학습 데이터를 저장할 수 있다(S625). 예를 들어, 로드된 사용자의 음성 데이터를 메모리(110)에 다시 저장할 수 있다.
인공지능 모델이 학습 가능한 상태로 식별되는 경우(S620-Y), 프로세서(120)는 메모리(110)에 저장된 인공지능 모델을 로드할 수 있다(S630).
로드된 인공지능 모델은 사용자의 음성 데이터, 일반 학습 데이터 및 개인 학습 데이터에 기초하여 학습될 수 있다(S640). 구체적으로, 인공지능 모델은 순차적으로 사용자 데이터, 일반 학습 데이터 및 개인 학습 데이터를 학습할 수 있다.
프로세서(120)는 학습된 인공지능 모델을 메모리(110)에 저장할 수 있다(S650).
이후, 일 예에 따르면, 프로세서(120)는 학습 데이터를 메모리(110)에서 삭제할 수 있다(S660). 예를 들어, 프로세서(120)는 메모리(110)에 저장된 사용자의 음성 데이터를 삭제할 수 있다. 다시 말해, 개인 학습 데이터 생성 모델 및 인공지능 모델 학습에 이용된 사용자의 음성 데이터는 삭제될 수 있다.
다른 예에 따르면, 메모리(110)에 저장된 데이터 용량이 기설정된 용량을 초과하면, 메모리(110)에 저장된 순서대로 학습 데이터가 삭제될 수 있다.
S650 단계 및 S660 단계의 순서는 변경될 수 있다.
이상의 실시 예에서 인공지능 모델 학습 시작 조건을 만족하는 경우에, 미리 생성되어 저장된 개인(일반) 학습 데이터를 이용하는 것으로 설명하였으나, 조건 만족 시점에서, 상기 학습 데이터 생성 모듈을 구동하여 필요한 개인(일반) 학습 데이터를 생성하여 사용할 수도 있다.
도 7은 본 개시의 일 실시 예에 따른 프로세서 및 메모리 간 상세 동작을 설명하기 위한 도면이다.
도 4 내지 도 6의 내용과 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
메모리(110)에 저장된 일반 학습 데이터 생성 모델 및 개인 학습 데이터 생성 모델은 프로세서(120)의 제어에 따라 프로세서(120)에 로드될 수 있다(①).
이후, 프로세서(120)에 로드된 일반 학습 데이터 생성 모델 및 개인 학습 데이터 생성 모델은 일반 학습 데이터 및 개인 학습 데이터를 생성할 수 있다(②).
또한, 메모리(110)에 저장된 인공지능 모델은 프로세서(120)의 제어에 따라 프로세서(120)에 로드될 수 있다(③). 예를 들어, 프로세서(120)는 프로세서(120) 외부의 메모리(110)에 저장된 인공지능 모델을 프로세서(120) 내부 메모리(미도시)로 로드할 수 있다. 이후, 프로세서(120)는 내부 메모리에 로드된 인공지능 모델에 액세스할 수 있다.
프로세서(120)로 로드된 인공지능 모델은 사용자 데이터, 일반 학습 데이터 및 개인 학습 데이터에 기초하여 학습될 수 있다(④). 여기서, 사용자 데이터는 메모리(110)로부터 로드된 데이터일 수 있다.
프로세서(120)는 학습된 인공지능 모델을 메모리(110)에 저장할 수 있다(⑤). 또한, 프로세서(120)는 학습된 인공지능 모델을 서버(200)로 업로드할 수 있다.
한편, 일 실시 예에 따라, 일반 학습 데이터는 제1 입력 데이터를 포함하고, 개인 학습 데이터는 제2 입력 데이터를 포함하며, 인공지능 모델은 사용자 데이터, 제1 입력 데이터 및 제2 입력 데이터에 기초하여 비지도형 학습(Unsupervised learning)을 수행할 수 있다.
예를 들어, 인공지능 모델이 음성 인식 모델로 구현되는 경우를 상정한다. 일반 학습 데이터는 제1 음성 데이터(제1 입력 데이터)를 포함하고, 개인 학습 데이터는 제2 음성 데이터(제2 입력 데이터)를 포함할 수 있다. 이 경우, 음성 인공지능 모델은 사용자의 음성 데이터, 제1 음성 데이터 및 제2 음성 데이터에 기초하여 비지도형 학습(Unsupervised learning)을 수행할 수 있다.
다른 실시 예에 따르면, 일반 학습 데이터는 제1 입력 데이터를 포함하고, 개인 학습 데이터는 제2 입력 데이터를 포함할 수 있다. 이 경우, 인공지능 모델은 제1 입력 데이터가 입력되면 제1 입력 데이터에 대응되는 제1 출력 데이터를 생성하고, 제2 입력 데이터가 입력되면 제2 입력 데이터에 대응되는 제2 출력 데이터를 생성할 수 있다. 이후, 인공지능 모델은 사용자 데이터, 제1 입력 데이터, 제1 출력 데이터, 제2 입력 데이터 및 제2 출력 데이터에 기초하여 학습될 수 있다.
예를 들어, 인공지능 모델이 음성 인식 모델로 구현되는 경우를 상정한다. 인공지능 모델은 제1 음성 데이터(제1 입력 데이터)가 입력되면 제1 음성 데이터에 대응되는 제1 텍스트 데이터(제1 출력 데이터)를 생성하고, 제2 음성 데이터(제2 입력 데이터)가 입력되면 제2 음성 데이터에 대응되는 제2 텍스트 데이터(제2 출력 데이터)를 생성할 수 있다.
여기서, 제1 텍스트 데이터 및 제2 텍스트 데이터는 확률 분포의 형태로 생성될 수 있다. 예를 들어, 제1 음성 데이터에 "회의실" 또는 이와 유사한 음성이 포함된 경우, 제1 텍스트 데이터는 (y1, y2, y3)의 확률 벡터로 생성될 수 있다. 일 예로, y1은 제1 음성 데이터에 대응되는 텍스트가 "회의실"일 확률, y2는 제1 음성 데이터에 대응되는 텍스트가 "화장실"일 확률, y3는 제1 음성 데이터에 대응되는 텍스트가 "회의실" 및 "화장실" 모두 아닐 확률일 수 있다.
인공지능 모델은 사용자의 음성 데이터, 제1 음성 데이터 및 제2 음성 데이터뿐만 아니라 확률 분포의 형태로 생성된 제1 텍스트 데이터 및 제2 텍스트 데이터에 기초하여 학습될 수도 있다. 또한, 개인 학습 데이터 생성 모델은 인공지능 모델에서 생성된 제2 텍스트 데이터에 기초하여 학습될 수도 있다.
또 다른 실시 예에 따르면, 인공지능 모델은 제1 입력 데이터, 제1 입력 데이터에 대응되는 제1 레이블 데이터, 제2 입력 데이터 및 제2 입력 데이터에 대응되는 제2 레이블 데이터에 기초하여 학습될 수 있다. 여기서, 레이블 데이터란 입력 데이터에 대한 명시적인 정답 데이터를 의미한다. 예를 들어, 인공지능 모델이 음성 인식 모델인 경우, 제1 레이블 데이터는 제1 음성 데이터에 대응되는 정답 텍스트 데이터를 의미한다. 일 예로, 사용자에게 표시된 텍스트를 음성 발화하도록 요청되는 경우, 발화된 음성은 사용자의 음성 데이터이고, 표시된 텍스트는 사용자의 음성 데이터에 대응되는 텍스트 데이터일 수 있다. 또는, 사용자 음성에 대한 텍스트가 결과로서 디스플레이(미도시)에 표시되고 전자 장치(100)는 사용자로부터 텍스트에 대한 피드백을 입력받을 수 있다. 예를 들어, 사용자 음성에 대한 텍스트 결과가 "이거 내일로 보내줘"이고 사용자 피드백에 따른 텍스트가 "이거 메일로 보내줘"인 경우 "이거 메일로 보내줘"가 레이블로서 사용자의 음성 데이터에 대응되는 텍스트 데이터일 수 있다.
마찬가지로, 일반 학습 데이터는 제1 음성 데이터 및 제1 음성 데이터에 대응되는 제1 레이블 데이터를 포함할 수 있다.
다시 말해, 일반 학습 데이터는 제1 음성 데이터 및 제1 음성 데이터에 대응되는 제1 텍스트 데이터를 포함하며, 개인 학습 데이터는 제2 음성 데이터 및 제2 음성 데이터에 대응되는 제2 텍스트 데이터를 포함할 수 있다. 이하에서는 설명의 편의를 위해 학습 데이터가 쌍(Pair)으로 구성되는 경우 일반 학습 데이터는 일반 학습 데이터 쌍, 개인 학습 데이터는 개인 학습 데이터 쌍으로 설명한다.
인공지능 모델은 음성 데이터 및 음성 데이터에 대응되는 텍스트 데이터를 포함하는 일반 학습 데이터 쌍, 개인 학습 데이터 쌍 및 사용자의 음성 데이터 쌍에 기초하여 학습될 수 있다.
구체적으로, 인공지능 모델은 인공지능 모델에 제1 음성 데이터가 입력되고, 출력되는 텍스트 데이터를 제1 텍스트 데이터와 비교하는 지도형 학습(Supervised Learning) 방식으로 학습될 수 있다. 마찬가지로, 인공지능 모델은 인공지능 모델에 제2 음성 데이터가 입력되고, 출력되는 텍스트 데이터를 제2 텍스트 데이터와 비교하는 지도형 학습 방식으로 학습될 수 있다.
한편, 사용자 데이터가 사용자 음성 데이터인 경우를 상정하여 상술하였으나, 학습 데이터 쌍을 이룰 수 있는 경우라면 이에 한정되지 않는다. 예를 들어, 개인 학습 데이터는 사용자 필기체와 유사하도록 생성된 필기체 데이터 및 필기체 데이터에 대응되는 텍스트 데이터를 포함할 수 있다. 여기서, 텍스트 데이터는 필기체 데이터에 대한 레이블(label)로서 입력된 데이터일 수 있다.
도 8은 본 개시의 다른 실시 예에 따른 인공지능 모델이 객체 인식 모델로 구현되는 경우를 설명하기 위한 도면이다.
도 8은 숫자 필기체를 나타내는 도면이다. 일 예로, 도 8은 사용자가 직접 작성한 필기체 또는 개인 학습 데이터 생성 모델이 생성한 필기체일 수 있다. 음성과 같이 필기체는 사용자에 따라 달라질 수 있으므로 인공지능 모델이 사용자의 특성에 따라 개인화되도록 학습되는 경우 인공지능 모델의 인식 정확도가 높아질 수 있다. 객체 인식 모델이 학습되는 과정은 상술한 도 4에 따른 과정과 동일하다.
구체적으로, 개인 학습 데이터 생성 모델은 사용자의 필기 데이터에 기초하여 학습될 수 있다. 여기서, 사용자의 필기 데이터는 프로세서(120)의 요청에 따라 입력된 필기체를 포함하는 데이터일 수 있다. 예를 들어, 프로세서(120)는 0 내지 9까지의 숫자 필기를 사용자에게 요청할 수 있다. 이 경우, 스타일러스 펜에 따른 숫자 필기체가 터치 디스플레이에 입력되거나 펜에 의해 작성된 숫자 필기체를 포함하는 이미지가 전자 장치(100)에 입력될 수 있다.
이후, 개인 학습 데이터 생성 모델은 사용자의 필기 데이터에 기초하여 학습될 수 있다. 이에 따라, 개인 학습 데이터 생성 모델은 사용자에 개인화된 모델로 학습될 수 있다. 학습된 일반 학습 데이터 생성 모델 및 개인 학습 데이터 생성 모델은 일반 학습 데이터 및 개인 학습 데이터를 생성할 수 있다. 여기서, 일반 학습 데이터는 일반 사용자의 필기체 특성이 반영된 학습 데이터이고, 개인 학습 데이터는 전자 장치(100) 사용자의 필기체 특성이 반영된 학습 데이터일 수 있다. 인공지능 모델은 일반 학습 데이터, 개인 학습 데이터 및 사용자의 필기 데이터에 기초하여 학습될 수 있다. 이에 따라, 학습된 인공지능 모델은 사용자의 필기체 특성이 반영된 모델로서 사용자 필기체 인식 정확도가 개선될 수 있다.
다만, 이에 한정되는 것은 아니며 인공지능 모델은 필기 데이터 및 개인 학습 데이터에 의해 학습될 수도 있다.
도 8은 숫자 필기체로 설명하였으나, 알파벳과 같은 문자 필기체를 인식하는 인식 모델 및 이외의 다양한 객체 인식 모델에도 본 개시에 따른 실시 예가 적용될 수 있음은 물론이다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치 상에서 인공지능 모델이 학습되는 단계를 설명하기 위한 도면이다.
도 4 내지 도 6의 내용과 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
사용자 데이터 저장소에 저장된 사용자 데이터에 기초하여 개인 학습 데이터 생성 모델이 학습될 수 있다. 서버로부터 다운로드된 일반 학습 데이터 생성 모델 및 학습된 개인 학습 데이터 생성 모델은 학습 데이터 생성 모델 저장소에 저장될 수 있다. 여기서, 학습 데이터 생성 모델 저장소는 사용자 데이터 저장소와 물리적으로 동일한 메모리일 수 있으나, 이에 한정되는 것은 아니며 서로 다른 메모리에 저장될 수도 있다. 일반 학습 데이터 생성 모델 및 개인 학습 데이터 생성 모델은 각각 일반 학습 데이터 및 개인 학습 데이터를 생성할 수 있다. 여기서, 일반 학습 데이터 생성 모델 및 개인 학습 데이터 생성 모델은 VAE(Variational AutoEncoder) 또는 GAN(Generative Adversarial Network) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다.
이후, 인공지능 모델은 사용자 데이터 저장소에 저장된 사용자 데이터, 일반 학습 데이터 및 개인 학습 데이터에 기초하여 업데이트될 수 있다.
업데이트된 인공지능 모델은 주기적으로 서버(200)로 업로드될 수 있다. 예를 들어, 기설정된 주기에 따른 시간이 경과한 경우 또는 인공지능 모델이 학습한 데이터 용량이 기설정된 양 이상인 경우 중 적어도 하나에 기초하여 인공지능 모델은 서버(200)로 업로드될 수 있다.
한편, 인공지능 모델의 새로운 버전이 서버(200)로부터 전자 장치(100)로 전송될 수도 있다. 이 경우, 기존에 학습된 인공지능 모델은 서버(200)로부터 전송된 새로운 버전의 인공지능 모델로 대체될 필요가 있다. 새로운 버전의 인공지능 모델은 사용자의 개인 특성이 반영되도록 학습되어야 하는데, 사용자 데이터(예를 들어, wav 파일, mp3 파일로 저장된 사용자 음성 데이터)가 메모리(110) 상에 저장되어 있지 않더라도 이미 학습된 개인 학습 데이터 생성 모델에 의해 생성되는 개인 학습 데이터에 의해 새로운 버전의 인공지능 모델이 상대적으로 빠르게 학습될 수 있다. 다시 말해, 개인 학습 생성 모델은 사용자 데이터에 의해 학습되었으므로, 개인 학습 데이터 생성 모델에 의해 생성된 개인 학습 데이터에 의해 인공지능 모델이 학습되는 경우에도 사용자 데이터에 의해 학습되는 경우와 유사한 효과를 얻을 수 있다. 이에 따라, 인공지능 모델이 새로운 버전으로 대체되는 경우에도 전자 장치(100)는 방대한 사용자 데이터를 저장할 필요 없이, 생성된 개인 학습 데이터에 의해 개인 특성이 반영되도록 학습될 수 있다.
한편, 전자 장치(100)는 메모리(110), 프로세서(120) 이외에 통신 인터페이스(미도시), 디스플레이(미도시), 마이크(미도시) 및 스피커(미도시)를 더 포함할 수 있다.
통신 인터페이스는 회로(circuitry)를 포함하며, 서버(200)와 통신할 수 있는 구성이다.
통신 인터페이스는 와이파이 모듈(미도시), 블루투스 모듈(미도시), IR(infrared) 모듈, LAN(Local Area Network) 모듈, 이더넷(Ethernet) 모듈 등을 포함할 수 있다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다. 무선 통신 모듈은 상술한 통신 방식 이외에 지그비(zigbee), USB(Universal Serial Bus), MIPI CSI(Mobile Industry Processor Interface Camera Serial Interface), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다. 다만 이는 일 실시 예에 불과하며 통신 인터페이스는 다양한 통신 모듈 중 적어도 하나의 통신 모듈을 이용할 수 있다. 또한, 통신 인터페이스는 유선 통신을 통해 서버와 통신할 수도 있다.
통신 인터페이스는 유선 또는 무선 통신을 통해 서버(200)로부터 일반 학습 데이터 생성 모델, 개인 학습 데이터 생성 모델 및 인공지능 모델을 수신할 수 있다. 또한, 통신 인터페이스는 학습된 인공지능 모델을 서버(200)로 전송할 수 있다.
디스플레이는 터치패드와 상호 레이어 구조를 이루는 터치스크린 형태로 구현될 수 있다. 여기서, 터치스크린은 터치 입력 위치 및 면적뿐만 아니라 터치 입력 압력까지도 검출할 수 있도록 구성될 수 있다. 예를 들어, 디스플레이는 스타일러스 펜에 의한 필기 입력을 검출할 수 있다.
마이크는 사용자 음성을 수신하는 구성이다. 수신된 사용자 음성은 학습 데이터로 이용되거나 음성 인식 모델에 따라 사용자 음성에 대응되는 텍스트가 출력될 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 다양한 실시 예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 전자 장치 110 : 메모리
120 : 프로세서 200 : 서버

Claims (24)

  1. 적어도 하나의 학습 데이터 생성 모델 및 인공지능 모델이 저장된 메모리; 및
    상기 학습 데이터 생성 모델로부터 사용자의 특성이 반영된 개인 학습 데이터를 생성하고,
    상기 생성된 개인 학습 데이터를 학습 데이터로 이용하여 상기 인공지능 모델이 업데이트되도록 학습시키고,
    상기 업데이트된 인공지능 모델을 상기 메모리에 저장하도록 제어하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 학습 데이터 생성 모델은,
    상기 사용자의 특성이 반영된 상기 개인 학습 데이터를 생성하도록 학습된 개인 학습 데이터 생성 모델 및 일반 사용자들의 사용 데이터에 대응되는 일반 학습 데이터를 생성하도록 학습된 일반 학습 데이터 생성 모델을 포함하는, 전자 장치.
  3. 제2항에 있어서,
    상기 인공지능 모델은,
    적어도 하나 이상의 상기 생성된 개인 학습 데이터, 상기 생성된 일반 학습 데이터 및 상기 사용자로부터 획득한 실제 사용자 데이터에 기초하여 업데이트되는 모델인, 전자 장치.
  4. 제3항에 있어서,
    상기 개인 학습 데이터 생성 모델은,
    상기 사용자 데이터 또는 상기 생성된 개인 학습 데이터 중 적어도 하나에 기초하여 업데이트되는, 전자 장치.
  5. 제1항에 있어서,
    상기 인공지능 모델은,
    음성 인식 모델, 필기체(handwriting) 인식 모델, 객체 인식 모델, 화자 인식 모델, 단어 추천 모델 또는 번역 모델인, 전자 장치.
  6. 제3항에 있어서,
    상기 일반 학습 데이터는, 제1 입력 데이터를 포함하고,
    상기 개인 학습 데이터는, 제2 입력 데이터를 포함하며,
    상기 인공지능 모델은,
    상기 사용자 데이터, 상기 제1 입력 데이터 및 상기 제2 입력 데이터에 기초하여 비지도형 학습(Unsupervised learning)을 수행하는, 전자 장치.
  7. 제3항에 있어서,
    상기 일반 학습 데이터는, 제1 입력 데이터를 포함하고,
    상기 개인 학습 데이터는, 제2 입력 데이터를 포함하며,
    상기 인공지능 모델은,
    상기 제1 입력 데이터가 입력되면, 상기 제1 입력 데이터에 대응되는 제1 출력 데이터를 생성하고,
    상기 제2 입력 데이터가 입력되면, 상기 제2 입력 데이터에 대응되는 제2 출력 데이터를 생성하며,
    상기 사용자 데이터, 상기 제1 입력 데이터, 상기 제1 출력 데이터, 상기 제2 입력 데이터 및 상기 제2 출력 데이터에 기초하여 학습되는, 전자 장치.
  8. 제2항에 있어서,
    상기 일반 학습 데이터 생성 모델은,
    서버로부터 다운로드되어 상기 메모리에 저장되는, 전자 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 인공지능 모델을 상기 서버로 업로드하는, 전자 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 전자 장치가 충전 상태인 경우, 기설정된 시간이 도래한 경우 또는 기설정된 시간 동안 사용자의 조작이 없는 경우 중 적어도 하나의 경우에 상기 인공지능 모델을 학습시키는, 전자 장치.
  11. 적어도 하나의 학습 데이터 생성 모델 및 인공지능 모델이 저장된 전자 장치의 제어 방법에 있어서,
    상기 학습 데이터 생성 모델로부터 사용자의 특성이 반영된 개인 학습 데이터를 생성하는 단계;
    상기 생성된 개인 학습 데이터를 학습 데이터로 이용하여 상기 인공지능 모델이 업데이트되도록 학습하는 단계; 및
    상기 업데이트된 인공지능 모델을 저장하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 적어도 하나의 학습 데이터 생성 모델은,
    상기 사용자의 특성이 반영된 상기 개인 학습 데이터를 생성하도록 학습된 개인 학습 데이터 생성 모델 및 일반 사용자들의 사용 데이터에 대응되는 일반 학습 데이터를 생성하도록 학습된 일반 학습 데이터 생성 모델을 포함하는, 제어 방법.
  13. 제12항에 있어서,
    상기 인공지능 모델은,
    적어도 하나 이상의 상기 생성된 개인 학습 데이터, 상기 생성된 일반 학습 데이터 및 상기 사용자로부터 획득한 실제 사용자 데이터에 기초하여 업데이트되는 모델인, 제어 방법.
  14. 제13항에 있어서,
    상기 개인 학습 데이터 생성 모델은,
    상기 사용자 데이터 또는 상기 생성된 개인 학습 데이터 중 적어도 하나에 기초하여 업데이트되는, 제어 방법.
  15. 제11항에 있어서,
    상기 인공지능 모델은,
    음성 인식 모델, 필기체(handwriting) 인식 모델, 객체 인식 모델, 화자 인식 모델, 단어 추천 모델 또는 번역 모델인, 제어 방법.
  16. 제13항에 있어서,
    상기 일반 학습 데이터는, 제1 입력 데이터를 포함하고,
    상기 개인 학습 데이터는, 제2 입력 데이터를 포함하며,
    상기 인공지능 모델은,
    상기 사용자 데이터, 상기 제1 입력 데이터 및 상기 제2 입력 데이터에 기초하여 비지도형 학습(Unsupervised learning)을 수행하는, 제어 방법.
  17. 제13항에 있어서,
    상기 일반 학습 데이터는, 제1 입력 데이터를 포함하고,
    상기 개인 학습 데이터는, 제2 입력 데이터를 포함하며,
    상기 인공지능 모델은,
    상기 제1 입력 데이터가 입력되면, 상기 제1 입력 데이터에 대응되는 제1 출력 데이터를 생성하고,
    상기 제2 입력 데이터가 입력되면, 상기 제2 입력 데이터에 대응되는 제2 출력 데이터를 생성하며,
    상기 사용자 데이터, 상기 제1 입력 데이터, 상기 제1 출력 데이터, 상기 제2 입력 데이터 및 상기 제2 출력 데이터에 기초하여 학습되는, 제어 방법.
  18. 제12항에 있어서,
    상기 일반 학습 데이터 생성 모델은,
    서버로부터 다운로드되어 저장되는, 제어 방법.
  19. 제18항에 있어서,
    상기 인공지능 모델은 상기 서버로 업로드되는, 제어 방법.
  20. 제11항에 있어서,
    상기 전자 장치가 충전 상태인 경우, 기설정된 시간이 도래한 경우 또는 기설정된 시간 동안 사용자의 조작이 없는 경우 중 적어도 하나의 경우에 상기 인공지능 모델이 학습되는 단계;를 더 포함하는, 제어 방법.
  21. 전자 장치 내 인공지능 모델의 개인화를 위한 방법을 수행하기 위한 프로그램이 기록된 기록 매체에 있어서,
    사용자의 특성이 반영된 개인 학습 데이터를 생성하는 단계; 및
    상기 생성된 개인 학습 데이터를 학습 데이터로 이용하여 상기 인공지능 모델을 업데이트하는 단계;를 포함하는, 기록 매체.
  22. 제21항에 있어서,
    일반 사용자의 특성이 반영된 일반 학습 데이터를 생성하는 단계;를 더 포함하는, 기록 매체.
  23. 제21항에 있어서,
    상기 전자 장치 내 디바이스를 통해 획득한 상기 사용자의 실제 사용 데이터를 수집하여 저장하는 단계;를 더 포함하는, 기록 매체.
  24. 제23항에 있어서,
    상기 인공지능 모델은 상기 생성된 개인 학습 데이터, 상기 생성된 일반 학습 데이터 및 상기 획득된 사용자 실제 사용 데이터 중 적어도 하나 이상을 이용하여 학습하는 단계;를 더 포함하는, 기록 매체.
KR1020190155985A 2019-07-18 2019-11-28 인공지능 모델의 개인화 방법 및 장치 KR20210010284A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/923,551 US11961013B2 (en) 2019-07-18 2020-07-08 Method and apparatus for artificial intelligence model personalization
EP20841044.9A EP3915061A4 (en) 2019-07-18 2020-07-08 ARTIFICIAL INTELLIGENCE MODEL CUSTOMIZATION METHOD AND APPARATUS
PCT/KR2020/008937 WO2021010651A1 (en) 2019-07-18 2020-07-08 Method and apparatus for artificial intelligence model personalization
CN202080034927.0A CN113811895A (zh) 2019-07-18 2020-07-08 用于人工智能模型个性化的方法和装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962875758P 2019-07-18 2019-07-18
US62/875,758 2019-07-18

Publications (1)

Publication Number Publication Date
KR20210010284A true KR20210010284A (ko) 2021-01-27

Family

ID=74238135

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190155985A KR20210010284A (ko) 2019-07-18 2019-11-28 인공지능 모델의 개인화 방법 및 장치

Country Status (2)

Country Link
US (1) US11961013B2 (ko)
KR (1) KR20210010284A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580989B2 (en) * 2019-08-23 2023-02-14 Panasonic Intellectual Property Corporation Of America Training method of a speaker identification model based on a first language and a second language
US20230047187A1 (en) * 2021-08-10 2023-02-16 Avaya Management L.P. Extraneous voice removal from audio in a communication session
US11972333B1 (en) * 2023-06-28 2024-04-30 Intuit Inc. Supervisory systems for generative artificial intelligence models

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7873585B2 (en) * 2007-08-31 2011-01-18 Kla-Tencor Technologies Corporation Apparatus and methods for predicting a semiconductor parameter across an area of a wafer
US9230550B2 (en) 2013-01-10 2016-01-05 Sensory, Incorporated Speaker verification and identification using artificial neural network-based sub-phonetic unit discrimination
US9275638B2 (en) 2013-03-12 2016-03-01 Google Technology Holdings LLC Method and apparatus for training a voice recognition model database
US20150371023A1 (en) 2013-03-13 2015-12-24 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Usage modeling
US10109273B1 (en) 2013-08-29 2018-10-23 Amazon Technologies, Inc. Efficient generation of personalized spoken language understanding models
US20150242760A1 (en) 2014-02-21 2015-08-27 Microsoft Corporation Personalized Machine Learning System
CA3229217A1 (en) * 2014-07-10 2016-01-14 Volta Charging, Llc Systems and methods for providing targeted advertisements to a charging station for electric vehicles
US10586167B2 (en) 2015-09-24 2020-03-10 Microsoft Technology Licensing, Llc Regularized model adaptation for in-session recommendations
KR102494139B1 (ko) 2015-11-06 2023-01-31 삼성전자주식회사 뉴럴 네트워크 학습 장치 및 방법과, 음성 인식 장치 및 방법
CN109196514B (zh) 2016-02-01 2022-05-10 西-奥特私人有限公司 图像分类和标记
CN109716346A (zh) 2016-07-18 2019-05-03 河谷生物组学有限责任公司 分布式机器学习系统、装置和方法
WO2018017546A1 (en) 2016-07-18 2018-01-25 Google Llc Training machine learning models on multiple machine learning tasks
US11295231B2 (en) 2017-05-12 2022-04-05 Microsoft Technology Licensing, Llc Systems, methods, and computer-readable media for parallel stochastic gradient descent with linear and non-linear activation functions
US11995539B2 (en) 2017-06-09 2024-05-28 Samsung Electronics Co., Ltd. Electronic apparatus and method for re-learning trained model
CN107316083B (zh) 2017-07-04 2021-05-25 北京百度网讯科技有限公司 用于更新深度学习模型的方法和装置
CN107330522B (zh) 2017-07-04 2021-06-08 北京百度网讯科技有限公司 用于更新深度学习模型的方法、装置及系统
JP6950362B2 (ja) 2017-08-29 2021-10-13 京セラドキュメントソリューションズ株式会社 情報処理システムおよびプログラム
US10643602B2 (en) * 2018-03-16 2020-05-05 Microsoft Technology Licensing, Llc Adversarial teacher-student learning for unsupervised domain adaptation
US20200265301A1 (en) * 2019-02-15 2020-08-20 Microsoft Technology Licensing, Llc Incremental training of machine learning tools
US10706356B1 (en) * 2019-06-07 2020-07-07 William P Doyle System and method for understanding human level meaning using a 9-dimensional hypercube of cognitive frames
US11003444B2 (en) * 2019-06-28 2021-05-11 Intel Corporation Methods and apparatus for recommending computer program updates utilizing a trained model

Also Published As

Publication number Publication date
US20210019641A1 (en) 2021-01-21
US11961013B2 (en) 2024-04-16

Similar Documents

Publication Publication Date Title
US11580964B2 (en) Electronic apparatus and control method thereof
CN109410924B (zh) 识别方法和识别设备
US11961013B2 (en) Method and apparatus for artificial intelligence model personalization
US11030991B2 (en) Method and device for speech processing
US20210125605A1 (en) Speech processing method and apparatus therefor
US11217270B2 (en) Training data generating method for training filled pause detecting model and device therefor
US11967325B2 (en) Electronic device and method for controlling the electronic device
US20190061164A1 (en) Interactive robot
US20220270605A1 (en) Electronic apparatus and assistant service providing method thereof
KR20210043894A (ko) 전자 장치 및 이의 문장 제공 방법
US20230024169A1 (en) Method and apparatus for predicting test scores
US11705110B2 (en) Electronic device and controlling the electronic device
US10952075B2 (en) Electronic apparatus and WiFi connecting method thereof
US11443735B2 (en) Method for generating filled pause detecting model corresponding to new domain and device therefor
KR20200132673A (ko) 전자 장치 및 이의 제어 방법
KR20180089242A (ko) 챗봇에서의 출력 유형에 따라 대화 내용을 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US20220108550A1 (en) Electronic device and control method of same
CN113811895A (zh) 用于人工智能模型个性化的方法和装置
KR20220118009A (ko) 전자 장치 및 이의 제어 방법
CN114902243A (zh) 电子设备及其控制方法
KR20220096021A (ko) 전자 장치 및 이의 제어 방법
KR20210022475A (ko) 전자 장치 및 전자 장치의 제어 방법
KR20210078122A (ko) 정보 처리 방법 및 정보 처리 장치
US20220261554A1 (en) Electronic device and controlling method of electronic device
Varun et al. A Smart Home Automation with Personalised Voice Assistant Using IOT.

Legal Events

Date Code Title Description
A201 Request for examination