KR102388465B1 - 가상 콘텐츠 생성 방법 - Google Patents
가상 콘텐츠 생성 방법 Download PDFInfo
- Publication number
- KR102388465B1 KR102388465B1 KR1020200023303A KR20200023303A KR102388465B1 KR 102388465 B1 KR102388465 B1 KR 102388465B1 KR 1020200023303 A KR1020200023303 A KR 1020200023303A KR 20200023303 A KR20200023303 A KR 20200023303A KR 102388465 B1 KR102388465 B1 KR 102388465B1
- Authority
- KR
- South Korea
- Prior art keywords
- model
- user
- content
- server
- feature
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 10
- 239000000284 extract Substances 0.000 claims description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 12
- 238000013135 deep learning Methods 0.000 abstract description 4
- 230000014509 gene expression Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/50—Business processes related to the communications industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
- H04L51/046—Interoperability with other network applications or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Tourism & Hospitality (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Evolutionary Biology (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Economics (AREA)
- Hospice & Palliative Care (AREA)
- Human Computer Interaction (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Child & Adolescent Psychology (AREA)
- Acoustics & Sound (AREA)
- Psychiatry (AREA)
- Audiology, Speech & Language Pathology (AREA)
Abstract
본 발명에 따르면, 제1 단계에서 서버는 모델의 문자, SMS, 음성이 녹음된 MP3 파일, 사진, 동영상 중 적어도 하나를 포함하는 모델 콘텐츠를 입력받고, 제2 단계에서 상기 서버는 상기 모델 콘텐츠로부터 문자 특징, 음성 특징, 이미지 특징, 동영상 특징 중 적어도 하나를 포함하는 모델 특징을 추출하며, 사용자가 상기 모델과 의사 소통을 원하는 제3 단계 이후에서, 상기 서버는 딥 러닝 또는 인공 지능으로 동작되고, 상기 사용자는 사용자 콘텐츠를 상기 서버에 입력하며, 상기 서버는 상기 사용자 콘텐츠로부터 상기 사용자의 심리 상태를 측정한 사용자 상태를 판단하며, 상기 서버는 상기 모델 특징 또는 상기 사용자 상태를 이용하여 상기 모델 콘텐츠를 가상 콘텐츠로 변형할 수 있다.
Description
본 발명은 모델의 백데이터 및 인공 지능을 기초로 모델의 가상 콘텐츠를 생성하는 방법에 관한 것이다.
사용자는 자신이 선호하는 모델과 실시간으로 상담을 받거나 모델과 상호 교감을 하고 싶어한다. 종래에는 모델이 가까이 접근할 수 없는 상황일 때, 모델의 콘텐츠를 사용자의 환경에 맞춤식으로 제공할 수 있는 방법이 없었다.
본 발명은 사용자가 억세스하기 힘든 모델의 문자, 음성, 동영상 중 적어도 하나를 사용자 환경에 맞게 재생성하는 방법에 관한 것이다.
본 발명에 따르면, 제1 단계에서 서버는 모델의 문자, SMS, 음성이 녹음된 MP3 파일, 사진, 동영상 중 적어도 하나를 포함하는 모델 콘텐츠를 입력받고, 제2 단계에서 상기 서버는 상기 모델 콘텐츠로부터 문자 특징, 음성 특징, 이미지 특징, 동영상 특징 중 적어도 하나를 포함하는 모델 특징을 추출하며, 사용자가 상기 모델과 의사 소통을 원하는 제3 단계 이후에서, 상기 서버는 딥 러닝 또는 인공 지능으로 동작되고, 상기 사용자는 사용자 콘텐츠를 상기 서버에 입력하며, 상기 서버는 상기 사용자 콘텐츠로부터 상기 사용자의 심리 상태를 측정한 사용자 상태를 판단하며, 상기 서버는 상기 모델 특징 또는 상기 사용자 상태를 이용하여 상기 모델 콘텐츠를 가상 콘텐츠로 변형할 수 있다.
사용자가 특정한 상황에 처했을 때, 슬플 때, 기쁠 때, 고민이 많을 때, 선택의 순간 중 적어도 하나에 있어서, 사용자는 모델로부터 도움이나 조언을 얻을 수 있다.
사용자는 모델이 세상을 떠나거나, 연락을 할 수 없거나, 원격지에 있을 경우 상호 교감이 어려울 때, 모델이 접근 가능한 시점에서의 영상과 음성을 저장한 모델의 원본 데이터를 사용자가 원할 때 그대로 재생 또는 다른 콘텐츠로 재조합할 수 있다.
따라서, 의사 교환 방식이 일방적인 문제점, 모델의 일방적 의사 표현인 문제점, 모노 드라마인 문제점, 사용자와 모델이 대화를 할 수 없는 문제점, 사용자가 모델로부터 조언을 구할 수 없는 문제점을 해결할 수 있다.
도 1은 본 발명의 가상 콘텐츠 생성 방법을 시계열적으로 도시한 흐름도이다.
도 2는 본 발명의 사용자 콘텐츠와 가상 콘텐츠가 단말기에서 대화형 SMS로 표시되는 상태를 도시한다.
도 2는 본 발명의 사용자 콘텐츠와 가상 콘텐츠가 단말기에서 대화형 SMS로 표시되는 상태를 도시한다.
사용자는 자신이 선호하는 사람과의 소중한 추억을 그리워할 수 있다. 사용자는 추모하는 사람과 원하는 시점에서 접속할 수 있기를 원할 수 있다.
사용자는 자신에게 영향을 끼친 사람이나 흠모하는 사람으로서 고인, 부모님, 가족, 연인 등을 떠올릴 때가 많다. 사람들은 따뜻하고 편안한 부모님이나 배우자에 대한 좋은 기억을 가지고 있다. 이하에서 '모델(model)'은 소울 모델(soul model), 추모하고자 하는 고인, 생존 중인 롤 모델, 멘토, 돌아가신 부모님, 생존 중인 부모님, 배우자, 가족, 연인, 친구, 애완 동물 중 적어도 하나일 수 있다.
사용자가 특정한 상황에 처했을 때, 슬플 때, 기쁠 때, 고민이 많을 때, 선택의 순간 중 적어도 하나에 있어서, 사용자는 모델로부터 도움이나 조언을 얻고 싶어하며 따뜻한 말 한마디를 기대할 수 있다. 그러나, 모델이 세상을 떠나거나, 연락을 할 수 없거나, 원격지에 있을 경우 상호 교감이 어려울 수 있다.
비교 실시예로서, 모델의 생존시의 영상과 음성을 저장한 콘텐츠 데이터를 사용자가 원할 때 그대로 재생할 수 있다. 그러나, 의사 교환 방식이 일방적인 문제점, 모델의 일방적 의사 표현인 문제점, 모노 드라마인 문제점, 사용자와 모델이 대화를 할 수 없는 문제점, 사용자가 모델로부터 조언을 구할 수 없는 문제점이 있을 수 있다.
본 발명의 서버는 딥러닝 기술 또는 인공 지능을 이용할 수 있다.
제1 단계에서, 서버는 모델 콘텐츠 또는 모델 신상 정보를 입력받을 수 있다.
모델 콘텐츠는 모델의 문서, SMS, 음성, 사진, 동영상 중 적어도 하나를 포함할 수 있다.
모델 신상 정보는 모델 콘텐츠를 제외한 것으로서, 예를 들어 모델의 이름, 국적, 성별 구분, 나이, 직업, 인종, 주소, 좋아하는 음식, 좋아하는 색상 중 적어도 하나를 포함하는 모델의 모든 신상 정보를 의미할 수 있다.
제2 단계에서, 서버는 모델 콘텐츠로부터 문자 특징, SMS 특징, 음성 특징, 이미지 특징, 동영상 특징 중 적어도 하나를 포함하는 모델 특징을 추출할 수 있다.
만약, 모델 콘텐츠에 한 종류의 모델 특징만 존재하는 경우, 하나의 모델 콘텐츠에 대하여 하나의 모델 특징이 추출될 수 있다. 예를 들어 어떤 모델의 전화 음성을 녹음한 모델 콘텐츠로부터 그 모델의 목소리를 모델 특징으로 추출하는 경우이다. 이때 서버는 기쁠 때의 목소리와 슬플 때의 목소리를 구분하지 않고 단순히 목소리 그 자체를 하나의 모델 특징으로 추출할 수 있다.
한편, 모델 콘텐츠에 여러 종류의 모델 특징이 존재하는 경우, 하나의 모델 콘텐츠에 대하여 복수의 모델 특징이 추출될 수 있다. 예를 들어, 어떤 모델의 사진으로부터 그 모델의 표정을 추출하는 경우, 서버는 어느 하나의 사진이 기쁠 때의 사진으로 판단되면 기쁠 때의 표정을 추출하며, 그 사진이 슬플 때의 사진으로 판단되면 슬플 때의 표정을 추출할 수 있다.
모델 특징이 여러 개 추출되는 경우에 이를 그룹별로 분류하는 것이 필요할 수 있다. 서버는 기쁠 때의 표정과 슬플 때의 표정을 구분하고 각 표정을 그룹별 모델 특징으로 추출할 수 있다.
서버는 모델 콘텐츠를 그룹별로 구분하며, 모델 콘텐츠를 제1 그룹 모델 콘텐츠 내지 제N 그룹 모델 콘텐츠로 분류할 수 있다. 여기서, N은 자연수이며, 한 개의 모델 콘텐츠가 될 수 있고, 2 이상의 모델 콘텐츠일 수 있다.
서버는 모델 특징을 그룹별로 구분하며, 모델 특징을 제1 그룹 모델 특징 내지 제N 그룹 모델 특징으로 분류할 수 있다.
제1 그룹 모델 콘텐츠 ~ 제N 그룹 모델 콘텐츠 또는 제1 그룹 모델 특징 ~ 제N 그룹 모델 특징을 구분하는 기준이 되는 그룹은, 모델의 감정(예를 들어 특정 모델의 기쁠 때 사진과 슬플 때 사진) 또는 모델의 나이(예를 들어 특정 모델의 젊은 시절의 사진과 늙은 시절의 사진) 중 적어도 하나를 포함할 수 있다.
서버는 모델이 심리적으로 기쁜 상태를 제1 그룹, 슬픈 상태를 제2 그룹으로 정의할 수 있다. 서버는 모델의 젊은 시절 콘텐츠(사진)이면 제1 그룹 모델 콘텐츠, 늙은 시절 콘텐츠(사진)이면 제2 그룹 모델 콘텐츠로 그룹을 분류할 수 있다.
서버는 다양한 모델 콘텐츠를 분석하고 ??은 시절의 제1 그룹에 해당하는 제1 그룹 모델 콘텐츠와 늙은 시절의 제2 그룹에 해당하는 제2 그룹 모델 콘텐츠로 구분할 수 있다.
서버는 각 그룹별로 모델 콘텐츠를 분류하기 위하여 모델 신상 정보(예를 들어 모델의 나이, 성별 구분, 사용자와의 상호 관계)를 참조할 수 있다.
모델 특징이 제1 그룹 모델 콘텐츠로부터 추출된 것이면 제1 그룹 모델 특징이 될 수 있다. 제2 그룹 모델 콘텐츠로부터 모델 특징을 추출하면 제2 모델 특징이 될 수 있다. 서버는 각 그룹별로 모델 특징을 추출하기 위하여 모델 신상 정보(예를 들어 모델의 나이, 성별 구분, 사용자와의 상호 관계)을 참조할 수 있다.
다음은 모델 매칭도와 그룹 매칭도를 설명한다.
서버는 모델 콘텐츠 또는 모델 특징이 특정 모델의 것이 맞는지 여부를 판단하기 위하여 모델 매칭도를 계산할 수 있다.
서버는 모델 콘텐츠 또는 모델 특징의 그룹 분류시, 분류 정확성을 판단하기 위하여 그룹 매칭도를 계산할 수 있다.
예를 들어, 모델 콘텐츠가 모델을 포함하여 여러 명이 웃으면서 찍힌 사진일 때, 모델 신상 정보가 연령 30대라면 30대 연령에 맞는 부분만 추출한 후 해당 모델(30대 연령)의 제1 그룹 모델 특징(웃는 모습)으로 분류할 수 있다. 30대 모델에 대응되는 30대의 모델 특징을 추출하기 위하여 모델 신상 정보인 연령 30대 여부를 이용하여 모델 매칭도를 계산할 수 있다. 서버는 모델 콘텐츠를 추출한 후 모델 신상 정보를 참조하여 그 모델 콘텐츠가 해당 모델의 것이 맞는지 모델 매칭도를 계산할 수 있다. 모델 매칭도가 기준값 이상이면 모델 콘텐츠 또는 모델 특징이 잘 추출된 것으로 판단할 수 있다.
또한, 웃는 모습인지 판단하여 제1 그룹 모델 콘텐츠가 맞는지 그룹 매칭도를 계산할 수 있다. 그룹 매칭도가 기준값 이상이면 그룹 분류가 잘 된 것으로 판단할 수 있다.
서버는 모델 콘텐츠를 그룹별로 분류하고, 분류시 모델 신상 정보를 참조할 수 있으며, 분류된 모델 콘텐츠가 해당 그룹에 속하는지 그룹 매칭도를 계산할 수 있다. 서버는 모델 콘텐츠로부터 제1 그룹 모델 콘텐츠 및 제2 그룹 모델 콘텐츠를 분류할 수 있고, 분류 기준은 모델 신상 정보에 의할 수 있으며, 제1 그룹 모델 콘텐츠가 제1 그룹이 맞는지 그룹 매칭도를 계산할 수 있다. 서버는 모델 매칭도 또는 그룹 매칭도가 기준값 이상이면 모델 콘텐츠 또는 모델 특징을 모델 신상 정보에 부합되는 정확한 정보임을 확인할 수 있다.
서버는 분류된 모델 콘텐츠로부터 모델 특징을 추출시 모델 특징을 그룹별로 분류할 수 있다. 서버는 각 그룹별로 모델 특징을 분류하기 위하여 모델 신상 정보를 참조할 수 있다.
예를 들어, 서버는 입력받은 모델 콘텐츠로서 모델의 웃는 사진을 입력받았다면, 웃는 사진이므로 제1 그룹으로 분류할 수 있다. 웃는 사진에서 특징점으로서 미소 짓는 입술, 미소 짓는 눈 주위 이미지를 제1 그룹 모델 특징으로 추출할 수 있다.
이때, 사진에 찍힌 모델의 성별이 남성인지 여성인지 여부 그리고 20대인지 60대인지 모델 신상 정보를 참고하고, 만약 20대 여성이라면, 긴 머리를 손으로 쓸어올리는 사진의 일부분을 그 모델의 제1 그룹 모델 특징으로 추출할 수 있다.
제3 단계에서, 서버는 사용자 콘텐츠를 입력받을 수 있다. 사용자 콘텐츠는 사용자의 문서, SMS, 음성, 사진, 동영상 중 적어도 하나를 포함할 수 있다.
제4 단계에서, 서버는 사용자 신상 정보나 상호 관계를 입력받을 수 있다.
사용자 신상 정보는 사용자 콘텐츠를 제외한 것으로서, 예를 들어 사용자의 성별 구분, 나이, 직업, 인종, 주소, 좋아하는 음식, 좋아하는 색상, 모델과의 상호 관계 등을 포함하는 사용자의 모든 신상 정보를 의미할 수 있다.
상호 관계는 사용자와 모델의 관계로 정의될 수 있다. 사용자에 대하여 모델이 추모하고자 하는 고인, 생존 중인 롤 모델, 멘토, 돌아가신 부모님, 생존 중인 부모님, 배우자, 가족, 연인, 친구, 애완 동물 중 어떤 관계에 해당하는가 하는 것이 상호 관계일 수 있다.
상호 관계는 사용자에 의하여 직접 서버에 입력되거나, 사용자 신상 정보와 모델 신상 정보를 매칭시켜 서버가 계산하거나, 사용자 로그인 정보에 기록된 상수값일 수 있다.
제5 단계에서 서버는 사용자 신상 정보를 참조하며, 사용자 콘텐츠로부터 사용자 상태를 판단할 수 있다. 사용자 상태는 사용자의 감정, 사용자의 욕구, 사용자의 대화 의도, 사용자의 로그인 시간, 사용자의 서버 사용 빈도, 사용자의 과거 대화 내용 중 적어도 하나로부터 파악될 수 있다.
제6 단계에서 서버는 사용자 상태에 매칭되는 가상 콘텐츠를 생성할 수 있다. 가상 콘텐츠는 사용자 콘텐츠와 함께 대화형으로 단말기에 디스플레이 될 수 있다.
도 2를 참조하면, 서버(200)는 사용자 상태가 보통 상태이며 일상적인 대화를 원하는 것으로 판단할 수 있다. 서버(200)는 보통 상태에 매칭되는 가상 콘텐츠를 생성하여 단말기에 출력할 수 있다. 단말기(100)에는 사용자가 입력한 사용자 콘텐츠와 가상 콘텐츠가 대화형으로 표시될 수 있다.
서버(200)는 사용자 상태에 매칭되는 제1 그룹 모델 특징 내지 제N 그룹 모델 특징 중 적어도 하나를 선택하고, 선택된 그룹 모델 특징에 매칭되는 새로운 모델 콘텐츠로서 가상 콘텐츠를 생성할 수 있다.
단말기(100)에는 사용자 콘텐츠와 가상 콘텐츠가 대화형으로 표시될 수 있다.
도 1을 참조하면, 서버(200)에 입력된 모델 콘텐츠, 서버(200)에 입력된 모델 신상 정보, 서버(200)에 의하여 그룹 분류된 모델 콘텐츠, 서버(200)에 의하여 그룹 분류된 모델 특징 중 적어도 하나는 기억부(300)에 저장될 수 있다.
서버(200)는 모델 콘텐츠 또는 모델 신상 정보를 사용자 콘텐츠 입력 전에 미리 입력받고, 모델 콘텐츠의 그룹 분류 또는 모델 특징의 그룹 분류를 미리 완료하여 기억부(300)에 저장할 수 있다.
서버(200)는 사용자 콘텐츠가 입력되면 기억부(300)에 저장된 모델 특징을 활용하여 사용자 상태에 매칭되는 모델 특징을 찾고, 모델 특징을 토대로 가상 콘텐츠를 대화형으로 생성할 수 있다.
사용자 콘텐츠와 가상 콘텐츠가 대화형으로 상호 교감되므로, 서버(200)는 교감 결과를 입력받는 상태일 수 있고 서버(200)는 계속 학습할 수 있다. 서버(200)는 모델 콘텐츠, 모델 특징, 사용자 상태 중 적어도 하나를 계속 업데이트하며, 가상 콘텐츠를 또 다른 가상 콘텐츠로 재변형할 수 있다. 즉, 교감 결과는 또 다른 변수가 되며, 이에 따라 가상 콘텐츠의 최적화는 상호 교감 중에도 계속 연산될 수 있다.
사용자가 모델과 의사 소통을 원하는 시점에서, 서버(200)는 딥 러닝 또는 인공 지능으로 동작되고, 사용자의 심리 상태를 반영한 사용자 상태를 반복적으로 업데이트하며, 사용자 상태대로 모델 콘텐츠를 가상 콘텐츠로 반복적으로 업데이트할 수 있다.
사용자는 모델 콘텐츠를 재생성한 가상 콘텐츠를 사용자 자신의 사용자 콘텐츠와 상호 교감하면서 심리적 안정과 위로를 느낄 수 있다.
문자는 글, 문자, 문서나 저장 매체를 통하여 보여줄 수 있는 기록 중 적어도 하나를 포함할 수 있다. 음성은 목소리, 노래, 흥얼거림, 귀로 들을 수 있는 모든 소리 중 적어도 하나를 포함할 수 있다. 이미지는 형상, 얼굴, 신체, 움직임 중 적어도 하나를 포함할 수 있다. 동영상은 음성과 동영상이 조합된 것일 수 있다.
서버(200)에 마련된 인공 지능은 모델 콘텐츠로부터 문자, 음성, 이미지 중 적어도 하나를 추출하고 사용자 상태에 따라 가상 콘텐츠를 재조합할 수 있다.
모델의 생전의 영상과 음성을 포함하는 모델 콘텐츠를 인공 지능(AI)을 이용하여 가상 콘텐츠로 가공할 수 있다. 사용자에게 상황별 커뮤니케이션, SMS, 음성 통화, 이미지 전송, 영상 통화 등을 제공하므로, 사용자의 행복을 줄 수 있다.
모델은 남아있는 가족들을 위해서, 사용자 콘텐츠가 입력되는 제1 시점 이전에 미리 자신의 모델 특징을 인공 지능화된 서버(200)에 학습시킬 수 있다.
서버(200)는 사용자 콘텐츠 또는 사용자 신상 정보를 직접 학습하고 모델을 대리하여 사용자와 대화할 수 있다. 최근 혼자 사는 인구가 증가하고 있으며, 많은 사람들이 외로움을 느끼고 있다. 이런 사람들을 위해 모델의 정보 또는 사용자 자신의 정보를 서버(200)에 미리 학습시켜 사용자의 심리 상태에 맞는 대화를 수행할 수 있다. 현재 통신사에서 판매하는 대화형 AI와는 다르다, 이것들은 사용자의 출력 명령에 대한 단순 재생만 가능할 뿐이다.
모델 콘텐츠가 문자일 때, 모델 콘텐츠로부터 모델 특징을 인식하는 문자 인식 모델은, 인쇄되거나 손으로 쓴 문자를 자동으로 판독하거나 식별하여 서버(200)가 이해할 수 있는 코드로 전환할 수 있다.
모델 콘텐츠가 이미지 또는 동영상일 때, 딥페이크(Deepfakes)모델은 특정 모델의 얼굴, 신체, 형상 중 적어도 하나에 관한 이미지 또는 동영상을 인공 지능 또는 인공 지능 알고리즘을 이용해 가상 콘텐츠로 재합성할 수 있다.
모델의 음색, 억양, 어조, 끊어 읽기 중 적어도 하나를 포함하는 모델 특징을 인공 지능이 학습하고 모델 콘텐츠를 모델 특징에 맞게 합성 또는 변형하여 상황에 맞춤형으로 변형된 가상 콘텐츠를 생성할 수 있다.
모델에 대한 학습데이터 수집은 다음과 같다.
모델이 생전에 살아 있을 때 또는 임종전에 모델의 대화 목소리, 얼굴, 그 동안 써왔던 문자 등을 서버(200)가 수집 또는 학습할 수 있다. 서버(200)의 학습 데이터가 많을수록 정확도가 올라갈 수 있다.
이를 위해서 자체 앱 배포, 웹 페이지 등을 오픈하여 모델의 학습 데이터를 수집할 수 있다.
서버(200) 사용자에 대한 서비스 방식은 다음과 같다.
사용자는 서버(200)에 접속되는 스마트폰 앱이나 웹 페이지를 활용할 수 있다. 사용자는 서버(200)에 접속되는 앱을 이용하여 SMS를 보내거나 통화, 영상 통화 등을 할 수 있다. 사용자가 신청한 모델의 모습, 억양, 목소리로 사용자는 모델과 통화랄 수 있다.
서버(200)의 과금 방식은 SMS 회당 요금, 통화, 영상 통화 30초당 요금으로 산정할 수 있다.
서버(200)의 사용자 서비스 제공시 다음을 고려할 수 있다. 모델에 대한 데이터 수집량에 따라 서버(200)의 서비스 질이 다를 수 있다. 기본적인 생활 대화가 가능한 수준의 모델 콘텐츠의 제공이 필요할 수 있다. 모델 또는 고인에 대한 그리워하는 마음으로 이야기하는 것은 가능하지만, 서버(200)는 정치나 경제 등의 높은 수준의 대화를 제공할 수는 없다.
100...단말기
200...서버
300...기억부
200...서버
300...기억부
Claims (8)
- 제1 단계에서 서버는 모델의 문자, SMS, 음성이 녹음된 MP3 파일, 사진, 동영상 중 적어도 하나를 포함하는 모델 콘텐츠를 입력받고,
제2 단계에서 상기 서버는 상기 모델 콘텐츠로부터 문자 특징, 음성 특징, 이미지 특징, 동영상 특징 중 적어도 하나를 포함하는 모델 특징을 추출하며,
사용자가 상기 모델과 의사 소통을 원하는 제3 단계 이후에서,
상기 서버에는 모델 신상 정보 및 사용자 신상 정보가 추가로 입력되며,
상기 모델 신상 정보는 상기 모델의 이름, 국적, 성별 구분, 나이, 직업, 인종, 주소, 좋아하는 음식, 좋아하는 색상 중 적어도 하나를 포함하고,
상기 사용자 신상 정보는 상기 사용자의 성별 구분, 나이, 직업, 인종, 주소, 좋아하는 음식, 좋아하는 색상 중 적어도 하나를 포함하며,
상기 서버는 상기 모델 신상 정보와 사용자 신상 정보를 상호 매칭하여, 상기 모델 및 사용자 간의 현재 또는 과거의 특정 관계를 나타내는 상호 관계를 산출하고,
상기 사용자는 상기 사용자의 문서, SMS, 음성, 사진, 동영상 중 적어도 하나를 포함하는 사용자 콘텐츠를 상기 서버에 입력하며,
상기 서버는 상기 사용자 콘텐츠로부터 상기 사용자가 슬플 때, 기쁠 때, 고민이 많을 때, 선택의 순간 중 적어도 하나를 포함하는 사용자 상태를 판단하며,
상기 사용자 콘텐츠의 입력 전에, 상기 서버는 상기 모델 콘텐츠 또는 모델 신상 정보를 입력받고, 상기 모델 콘텐츠 또는 상기 모델 특징의 그룹을 분류하여 기억부에 저장하며,
상기 서버는 상기 사용자 콘텐츠가 입력되면 상기 기억부에 저장된 상기 모델 특징을 활용하여 상기 사용자 상태에 매칭되는 상기 모델 특징을 추출하고, 상기 추출된 모델 특징을 토대로 상기 가상 콘텐츠를 대화형으로 생성하는 가상 콘텐츠 생성 방법.
- 삭제
- 삭제
- 제1항에 있어서,
상기 서버는,
상기 모델 콘텐츠가 문자일 때 상기 모델 특징을 인식하는 문자 인식 모델은, 인쇄되거나 손으로 쓴 문자를 자동으로 판독하거나 식별하여 상기 서버가 이해할 수 있는 코드로 전환하고,
상기 모델 콘텐츠가 이미지 또는 동영상일 때, 상기 모델의 얼굴, 신체, 형상 중 적어도 하나의 이미지 또는 동영상을 상기 가상 콘텐츠로서 재합성하는 가상 콘텐츠 생성 방법.
- 제1항에 있어서,
상기 서버는 상기 모델 콘텐츠 또는 모델 특징을 그룹별로 구분하고,
상기 모델 콘텐츠를 제1 그룹 모델 콘텐츠 내지 제N 그룹 모델 콘텐츠로 분류하거나(여기서, 상기 N은 자연수), 상기 모델 특징을 제1 그룹 모델 특징 내지 제N 그룹 모델 특징으로 분류하며,
상기 서버는 각 그룹별로 상기 모델 콘텐츠 또는 모델 특징을 분류하기 위하여 상기 모델 신상 정보 또는 상기 사용자 신상 정보를 참조하는 가상 콘텐츠 생성 방법.
- 삭제
- 제1항에 있어서,
상기 서버는 상기 모델 콘텐츠 또는 모델 특징의 그룹 분류시, 분류 정확성을 판단하기 위하여 그룹 매칭도를 계산하고, 상기 그룹 매칭도가 기준값 이상이면 상기 모델 콘텐츠 또는 모델 특징이 상기 모델 신상 정보에 부합되는 정확한 정보임을 확인하는 가상 콘텐츠 생성 방법.
- 삭제
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200023303A KR102388465B1 (ko) | 2020-02-26 | 2020-02-26 | 가상 콘텐츠 생성 방법 |
US16/987,738 US11658928B2 (en) | 2020-02-26 | 2020-08-07 | Virtual content creation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200023303A KR102388465B1 (ko) | 2020-02-26 | 2020-02-26 | 가상 콘텐츠 생성 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210108565A KR20210108565A (ko) | 2021-09-03 |
KR102388465B1 true KR102388465B1 (ko) | 2022-04-21 |
Family
ID=77366118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200023303A KR102388465B1 (ko) | 2020-02-26 | 2020-02-26 | 가상 콘텐츠 생성 방법 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11658928B2 (ko) |
KR (1) | KR102388465B1 (ko) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114904270B (zh) * | 2022-05-11 | 2024-06-07 | 平安科技(深圳)有限公司 | 虚拟内容的生成方法及装置、电子设备、存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101925440B1 (ko) * | 2018-04-23 | 2018-12-05 | 이정도 | 가상현실 기반 대화형 인공지능을 이용한 화상 대화 서비스 제공 방법 |
KR101992424B1 (ko) | 2018-02-06 | 2019-06-24 | (주)페르소나시스템 | 증강현실용 인공지능 캐릭터의 제작 장치 및 이를 이용한 서비스 시스템 |
KR102050897B1 (ko) | 2013-02-07 | 2019-12-02 | 삼성전자주식회사 | 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20000036463A (ko) * | 2000-03-15 | 2000-07-05 | 한남용 | 인터넷을 이용한 가상현실 대화 시스템 및 방법 |
US8316393B2 (en) * | 2008-10-01 | 2012-11-20 | At&T Intellectual Property I, L.P. | System and method for a communication exchange with an avatar in a media communication system |
KR20170135598A (ko) * | 2016-05-31 | 2017-12-08 | 홍덕기 | 특정인의 합성된 가상 음성을 이용한 음성 대화 시스템 및 방법 |
US20190095775A1 (en) * | 2017-09-25 | 2019-03-28 | Ventana 3D, Llc | Artificial intelligence (ai) character system capable of natural verbal and visual interactions with a human |
KR20190104941A (ko) * | 2019-08-22 | 2019-09-11 | 엘지전자 주식회사 | 감정 정보 기반의 음성 합성 방법 및 장치 |
US11140360B1 (en) * | 2020-11-10 | 2021-10-05 | Know Systems Corp. | System and method for an interactive digitally rendered avatar of a subject person |
-
2020
- 2020-02-26 KR KR1020200023303A patent/KR102388465B1/ko active IP Right Grant
- 2020-08-07 US US16/987,738 patent/US11658928B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102050897B1 (ko) | 2013-02-07 | 2019-12-02 | 삼성전자주식회사 | 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법 |
KR101992424B1 (ko) | 2018-02-06 | 2019-06-24 | (주)페르소나시스템 | 증강현실용 인공지능 캐릭터의 제작 장치 및 이를 이용한 서비스 시스템 |
KR101925440B1 (ko) * | 2018-04-23 | 2018-12-05 | 이정도 | 가상현실 기반 대화형 인공지능을 이용한 화상 대화 서비스 제공 방법 |
Also Published As
Publication number | Publication date |
---|---|
US11658928B2 (en) | 2023-05-23 |
US20210264221A1 (en) | 2021-08-26 |
KR20210108565A (ko) | 2021-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240054117A1 (en) | Artificial intelligence platform with improved conversational ability and personality development | |
CN110782900B (zh) | 协作ai讲故事 | |
US11074916B2 (en) | Information processing system, and information processing method | |
CN103236259A (zh) | 语音识别处理及反馈系统、语音回复方法 | |
Wilks et al. | A prototype for a conversational companion for reminiscing about images | |
CN114218488A (zh) | 基于多模态特征融合的信息推荐方法、装置及处理器 | |
CN111857343A (zh) | 一种能部分实现数字永生并可与用户交互的系统 | |
CN110442867A (zh) | 图像处理方法、装置、终端及计算机存储介质 | |
KR102388465B1 (ko) | 가상 콘텐츠 생성 방법 | |
CN114048299A (zh) | 对话方法、装置、设备、计算机可读存储介质及程序产品 | |
CN117173497B (zh) | 一种图像生成方法、装置、电子设备及存储介质 | |
CN117828065A (zh) | 一种数字人客服方法、系统、装置及储存介质 | |
CN117352132A (zh) | 心理辅导方法、装置、设备及存储介质 | |
CN111414733B (zh) | 一种数据处理方法、装置及电子设备 | |
CN113301352A (zh) | 在视频播放期间进行自动聊天 | |
Riviello et al. | On the perception of dynamic emotional expressions: A cross-cultural comparison | |
US20240021193A1 (en) | Method of training a neural network | |
KR20120044911A (ko) | 감성연출 서비스 제공시스템 및 그 제공방법, 및 감성연출이 가능한 장치 및 그 감성연출 방법 | |
JP6930781B1 (ja) | 学習方法、及びコンテンツ再生装置 | |
JP2021043723A (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN116226411B (zh) | 一种基于动画的互动项目的交互信息处理方法和装置 | |
JP7313518B1 (ja) | 評価方法、評価装置、および、評価プログラム | |
US20240265043A1 (en) | Systems and Methods for Generating a Digital Avatar that Embodies Audio, Visual and Behavioral Traits of an Individual while Providing Responses Related to the Individual's Life Story | |
US20240193376A1 (en) | Customized personality agent system evolving according to user satisfaction | |
CN118012551A (zh) | 媒体数据生成方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |