KR102524015B1 - 동영상 인터랙션 플랫폼의 제공방법 및 이를 수행하는 서버시스템 - Google Patents

동영상 인터랙션 플랫폼의 제공방법 및 이를 수행하는 서버시스템 Download PDF

Info

Publication number
KR102524015B1
KR102524015B1 KR1020210091590A KR20210091590A KR102524015B1 KR 102524015 B1 KR102524015 B1 KR 102524015B1 KR 1020210091590 A KR1020210091590 A KR 1020210091590A KR 20210091590 A KR20210091590 A KR 20210091590A KR 102524015 B1 KR102524015 B1 KR 102524015B1
Authority
KR
South Korea
Prior art keywords
user
image
information
interaction
tree
Prior art date
Application number
KR1020210091590A
Other languages
English (en)
Other versions
KR20230011041A (ko
Inventor
이영복
유대훈
Original Assignee
주식회사 제네시스랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제네시스랩 filed Critical 주식회사 제네시스랩
Priority to KR1020210091590A priority Critical patent/KR102524015B1/ko
Publication of KR20230011041A publication Critical patent/KR20230011041A/ko
Application granted granted Critical
Publication of KR102524015B1 publication Critical patent/KR102524015B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8545Content authoring for generating interactive applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4524Management of client data or end-user data involving the geographical location of the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Security & Cryptography (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 동영상 인터랙션 플랫폼의 제공방법 및 이를 수행하는 서버시스템에 관한 것으로서, 더욱 상세하게는 복수의 영상으로 구성된 영상트리에서 상기 영상트리에서의 사용자 위치에 따른 특정 영상을 해당 사용자에게 제공하고, 제공받은 특정 영상에 대한 사용자의 인터랙션에 따라 영상트리에서의 사용자 위치가 이동되도록 하여, 최종적으로 영상트리에서의 사용자의 1 이상의 인터랙션에 따라 기설정된 서비스를 제공하는, 동영상 인터랙션 플랫폼의 제공방법 및 이를 수행하는 서버시스템에 관한 것이다.

Description

동영상 인터랙션 플랫폼의 제공방법 및 이를 수행하는 서버시스템 {Method and Sever for Providing Video Interaction Platform Performed}
본 발명은 동영상 인터랙션 플랫폼의 제공방법 및 이를 수행하는 서버시스템에 관한 것으로서, 더욱 상세하게는 복수의 영상으로 구성된 영상트리에서 상기 영상트리에서의 사용자 위치에 따른 특정 영상을 해당 사용자에게 제공하고, 제공받은 특정 영상에 대한 사용자의 인터랙션에 따라 영상트리에서의 사용자 위치가 이동되도록 하여, 최종적으로 영상트리에서의 사용자의 1 이상의 인터랙션에 따라 기설정된 서비스를 제공하는, 동영상 인터랙션 플랫폼의 제공방법 및 이를 수행하는 서버시스템에 관한 것이다.
최근 사회적으로 비대면 서비스에 대한 수요가 증가함에 따라, 비대면 서비스를 구현하기 위한 다양한 기술들이 개발되고 있다. 특히, 사용자에게 적합한 비대면 서비스를 제공하기 위하여 사용자에게 설문과 같이 사전에 준비된 질문 세트를 제공하고, 사용자가 질문에 답변(인터랙션)한 내용에 기초하여 적합한 서비스를 제공하는 기술이 개발되고 있다.
한편, 종래의 경우에는 사용자에게 텍스트 기반의 질문 세트를 제공하고, 사용자가 질문 세트에 대하여 미리 정해진 복수의 답변 가운데 특정 답변을 선택하는 것으로 사용자가 선택한 답변에 따른 서비스를 제공하는 방법이 개발되었다.
다만, 종래의 기술의 경우 텍스트를 기반으로 하고, 질문에 대하여 미리 정해진 복수의 답변 가운데 특정 답변을 사용자가 선택하는 것에 지나지 않아, 사용자 측면에서 제공되는 질문에 대한 답변(인터랙션)을 수행하는 것에 대한 흥미를 유발하기 어렵고, 단순히 정해져 있는 선택지 가운데 특정 선택지를 결정하는 것에 지나지 않으므로, 사용자에게 매우 적합한 서비스를 제공하기 어려운 문제점이 존재한다.
따라서, 사용자의 인터랙션에 흥미를 부여함과 동시에 사용자에게 더욱 적합한 서비스를 제공하기 위한 새로운 인터랙션 플랫폼의 개발이 요구되는 상황이다.
본 발명은 동영상 인터랙션 플랫폼의 제공방법 및 이를 수행하는 서버시스템에 관한 것으로서, 더욱 상세하게는 복수의 영상으로 구성된 영상트리에서 상기 영상트리에서의 사용자 위치에 따른 특정 영상을 해당 사용자에게 제공하고, 제공받은 특정 영상에 대한 사용자의 인터랙션에 따라 영상트리에서의 사용자 위치가 이동되도록 하여, 최종적으로 영상트리에서의 사용자의 1 이상의 인터랙션에 따라 기설정된 서비스를 제공하는, 동영상 인터랙션 플랫폼의 제공방법 및 이를 수행하는 서버시스템을 제공하는 것을 목적으로 한다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에서는, 서버시스템에서 수행하는 동영상 인터랙션 플랫폼의 제공방법으로서, 상기 서버시스템에는 영상트리에 대한 복수의 영상 혹은 복수의 영상을 생성하기 위한 기초데이터를 포함하는 영상정보, 각 영상에 대한 사용자의 인터랙션을 판별하기 위한 판별조건 및 상기 판별조건에 따른 위치 이동에 대한 위치이동정보를 포함하는 위치조건정보, 및 상기 영상트리에서의 사용자의 위치 혹은 영상에 대한 사용자의 인터랙션에 상응하는 결과정보가 저장되어 있고, 상기 영상트리에서의 사용자의 위치는 해당 사용자의 영상에 대한 인터랙션에 따라 이동될 수 있고, 상기 동영상 인터랙션 플랫폼의 제공방법은, 상기 영상트리에서의 사용자의 현재 위치에 해당하는 영상을 사용자에게 제공하는 영상정보제공단계; 상기 영상정보제공단계를 통해 제공된 영상에 대한 사용자의 인터랙션에 대하여 상기 영상트리에서의 사용자의 현재 위치에 상응하는 위치조건정보를 적용하여 사용자의 다음 위치를 결정하는 위치결정단계; 및 사용자의 위치 혹은 1 이상의 영상에 대한 사용자의 인터랙션이 기설정된 조건에 상응하는 경우에 결과정보를 사용자에게 제공하는 결과정보제공단계;를 포함하는, 동영상 인터랙션 플랫폼의 제공방법을 제공한다.
본 발명의 일 실시예에서는, 상기 영상트리에서의 사용자의 위치 혹은 영상에 대한 사용자의 인터랙션에 상응하는 결과정보는 사용자에게 타 서비스를 제공하기 위한 타서비스연결정보를 포함하고, 상기 동영상 인터랙션 플랫폼의 제공방법은, 상기 결과정보제공단계를 통해 제공된 타서비스연결정보를 통해 사용자가 타 서비스로의 연결을 요청한 경우에, 사용자가 상기 영상트리에서 수행한 1 이상의 영상 각각에 대한 인터랙션을 포함하는 사용자인터랙션정보를 상기 타 서비스를 수행하는 타서비스서버 혹은 상기 타 서비스를 수행하는 상기 서버시스템의 내부 구성으로 송신하는 사용자인터랙션정보송신단계;를 더 포함할 수 있다.
본 발명의 일 실시예에서는, 상기 영상트리에서의 사용자의 위치 혹은 영상에 대한 사용자의 인터랙션에 상응하는 결과정보는 사용자에게 타 서비스를 제공하기 위한 타서비스연결정보를 포함하고, 상기 동영상 인터랙션 플랫폼의 제공방법은, 상기 결과정보제공단계를 통해 제공된 타서비스연결정보를 통해 사용자가 타 서비스로의 연결을 요청한 경우에, 상기 영상트리에서 해당 사용자가 위치했던 1 이상의 위치정보를 상기 타 서비스를 수행하는 타서비스서버 혹은 상기 타 서비스서버를 수행하는 상기 서버시스템의 내부 구성으로 송신하는 사용자위치이력송신단계;를 더 포함할 수 있다.
본 발명의 일 실시예에서는, 상기 영상트리에서의 사용자의 위치 혹은 영상에 대한 사용자의 인터랙션에 상응하는 결과정보는 사용자에게 타 서비스를 제공하기 위한 타서비스연결정보를 포함하고, 상기 영상트리에 포함된 특정 영상은, 상기 사용자가 상기 타 서비스를 수행하여 획득한 서비스결과정보와 연결될 수 있다.
본 발명의 일 실시예에서는, 상기 인터랙션은 영상에 대한 텍스트입력, 음성입력, 얼굴정보입력, 포즈입력, 제스쳐입력 및 배경정보입력 가운데 1 이상을 포함하고, 상기 위치결정단계는, 상기 인터랙션을 기계학습된 평가모델에 입력하여 출력된 추론정보 및 상기 영상트리에서의 사용자의 현재 위치에 상응하는 위치조건정보를 적용하여 사용자의 다음 위치를 결정할 수 있다.
본 발명의 일 실시예에서는, 상기 인터랙션은 영상에 대한 복수의 선택지 가운데 특정 선택지에 대한 선택입력; 및 영상에 대한 텍스트입력, 음성입력, 얼굴정보입력, 포즈입력, 제스쳐입력 및 배경정보입력 가운데 1 이상의 입력;을 포함하고, 상기 위치결정단계는, 상기 특정 선택지에 대한 선택입력, 상기 영상에 대한 텍스트입력, 음성입력, 표정입력, 포즈입력, 제스쳐입력 및 배경정보입력 가운데 1 이상의 입력을 기계학습된 평가모델에 입력하여 출력된 추론정보 및 상기 영상트리에서의 사용자의 현재 위치에 상응하는 위치조건정보를 적용하여 사용자의 다음 위치를 결정할 수 있다.
본 발명의 일 실시예에서는, 상기 위치이동정보는, 상기 판별조건에 따라 사용자가 입력한 인터랙션에 상응하는 영상에서 타 영상으로 해당 사용자의 위치를 이동하는 제1위치이동정보; 및 상기 판별조건에 따라 사용자가 직전에 입력한 인터랙션에 상응하는 영상에 대하여 다시 인터랙션을 입력하도록 하는 제2위치이동정보;를 포함할 수 있다.
본 발명의 일 실시예에서는, 상기 동영상 인터랙션 플랫폼의 제공방법은, 사용자의 요청에 따라 복수의 영상을 수신하고, 각 영상에 대한 위치조건정보 및 결과정보의 설정을 입력받는 영상트리생성인터페이스를 상기 사용자에게 제공하는 제작빌더제공단계;를 더 포함할 수 있다.
본 발명의 일 실시예에서는, 상기 서버시스템에는 복수의 영상트리가 저장되어 있고, 영상트리의 위치이동정보는, 해당 영상트리에 포함된 영상에 대한 사용자의 인터랙션에 따른 판별조건에 기초하여 타 영상트리에 포함된 특정 영상으로 해당 사용자의 위치를 이동시키는 제3위치이동정보를 포함할 수 있다.
본 발명의 일 실시예에서는, 상기 영상트리에서의 사용자의 위치 혹은 영상에 대한 사용자의 인터랙션에 상응하는 결과정보는 사용자에게 타 서비스를 제공하기 위한 타서비스연결정보를 포함하고, 상기 결과정보제공단계에서 제공되는 타서비스연결정보와 연결되는 타 서비스는, 기계학습된 평가모델을 통해 사용자의 인터랙션에 대한 응답정보를 도출하고, 상기 응답정보에 따라 발화하는 오브젝트를 사용자에게 제공할 수 있다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에서는, 동영상 인터랙션 플랫폼의 제공방법을 수행하는 서버시스템으로서, 상기 서버시스템에는 영상트리에 대한 복수의 영상 혹은 복수의 영상을 생성하기 위한 기초데이터를 포함하는 영상정보, 각 영상에 대한 사용자의 인터랙션을 판별하기 위한 판별조건 및 상기 판별조건에 따른 위치 이동에 대한 위치이동정보를 포함하는 위치조건정보, 및 상기 영상트리에서의 사용자의 위치 혹은 영상에 대한 사용자의 인터랙션에 상응하는 결과정보가 저장되어 있고, 상기 영상트리에서의 사용자의 위치는 해당 사용자의 영상에 대한 인터랙션에 따라 이동될 수 있고, 상기 영상트리에서의 사용자의 현재 위치에 해당하는 영상을 사용자에게 제공하는 영상정보제공단계; 상기 영상정보제공단계를 통해 제공된 영상에 대한 사용자의 인터랙션에 대하여 상기 영상트리에서의 사용자의 현재 위치에 상응하는 위치조건정보를 적용하여 사용자의 다음 위치를 결정하는 위치결정단계; 및 사용자의 위치 혹은 1 이상의 영상에 대한 사용자의 인터랙션이 기설정된 조건에 상응하는 경우에 결과정보를 사용자에게 제공하는 결과정보제공단계;를 수행하는, 서버시스템을 제공한다.
본 발명의 일 실시예에 따르면, 동영상을 기반으로 하는 영상트리를 사용자에게 제공함으로써, 사용자의 서비스 참여에 대한 흥미를 유발할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 영상트리의 최종단계에서 사용자에게 타 서비스를 제공하는 타서비스서버 혹은 서버시스템의 타서비스제공부에 영상트리에서의 사용자의 1 이상의 위치 혹은 사용자인터랙션정보를 제공하므로, 사용자에게 더욱 적합한 타 서비스를 제공할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 영상트리를 통해 사용자에게 타 서비스를 제공하고, 사용자가 타 서비스를 제공받아 도출된 서비스결과정보가 영상트리의 특정 영상과 연결되어 있으므로, 사용자에게 다양한 형태의 서비스를 제공할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 영상트리의 영상에 대하여 사용자는 다양한 인터랙션을 입력할 수 있고, 사용자의 인터랙션을 기계학습된 평가모델에 입력하여 판별조건을 도출할 수 있으므로, 기설정된 선택지를 선택하는 종래의 방법과 비교하여 사용자의 흥미를 유발함과 동시에 사용자에게 더욱 정확한 타 서비스를 제공할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 사용자에게 영상트리생성인터페이스를 제공하여 사용자가 직접 영상트리를 구축할 수 있으므로, 동영상 인터랙션 플랫폼을 활성화할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 영상트리의 영상에 대한 사용자의 인터랙션에 따라 타 영상트리의 특정 영상으로 사용자의 위치가 이동될 수 있으므로, 복수의 영상트리가 연계되어 사용자에게 다양한 타 서비스를 제공할 수 있는 효과를 발휘할 수 있다.
도 1은 본 발명의 일 실시예에 따른 동영상 인터랙션 플랫폼의 제공방법을 수행하는 구성요소들을 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 서버시스템의 내부 구성요소들을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 영상트리를 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 동영상 인터랙션 플랫폼의 제공방법의 세부 단계들을 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 사용자인터랙션정보송신단계 및 사용자위치이력송신단계를 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 영상에 대하여 사용자가 입력한 인터랙션에 따라 추론정보를 도출하는 과정을 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 피처추출모델의 내부 구성을 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 피처추론모델의 내부 구성을 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 복수의 영상트리가 연결되어 있는 구성을 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 영상트리에서 사용자 인터랙션에 따른 사용자의 위치 이동을 개략적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 영상트리생성인터페이스를 개략적으로 도시한다.
도 12는 본 발명의 일 실시예에 따른 타 서비스가 제공되는 과정을 개략적으로 도시한다.
도 13은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 개략적으로 도시한다.
이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나 이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.
또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.
본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 동영상 인터랙션 플랫폼의 제공방법을 수행하는 구성요소들을 개략적으로 도시한다.
도 1에 도시된 바와 같이 동영상 인터랙션 플랫폼의 제공방법은 서버시스템(1000)에서 사용자단말과 통신하여 수행될 수 있다. 구체적으로, 서비스 이용자는 해당 사용자단말(2000.1)을 통해 서버시스템(1000)으로부터 제공받고자 하는 타 서비스 또는 인터랙션을 수행하고자 하는 영상트리를 요청할 수 있고, 서버시스템(1000)은 상기 사용자단말(2000.1)에 상기 타 서비스에 상응하는 영상트리 혹은 요청에 상응하는 영상트리를 제공하는 것으로, 해당 서비스 이용자는 영상트리에 대한 인터랙션을 수행할 수 있다.
영상트리를 제공받은 사용자(서비스 이용자)는 영상트리의 최초 영상에 대한 인터랙션을 수행하고, 서버시스템(1000)은 최초 영상에 대하여 사용자가 입력한 인터랙션에 따라 다음 영상을 제공하며, 이와 같이 사용자는 순차적으로 제공되는 영상트리의 영상에 대한 인터랙션을 수행함으로써, 최종적으로 해당 사용자의 1 이상의 인터랙션에 따른 타 서비스를 제공받을 수 있다. 즉, 영상트리에는 복수의 영상이 포함되어 있고, 복수의 영상 각각은 특정한 위치를 가질 수 있다. 따라서 초기에 영상트리를 이용하는 사용자는 영상트리의 최초 영상에 위치해 있고, 사용자가 최초 영상에 대한 인터랙션을 수행함으로써, 사용자는 인터랙션에 따라 다른 위치에 해당하는 영상으로 이동할 수 있다. 이와 같이, 사용자가 1 이상의 인터랙션을 수행하는 것으로 영상트리에서의 사용자의 위치가 이동될 수 있고, 영상트리의 1 이상의 최종 영상 가운데 특정 영상에 위치하는 경우 혹은 1 이상의 특정 영상에서의 사용자의 특정 인터랙션을 입력하는 경우에 해당 특정 영상에 상응하는 타 서비스를 제공받을 수 있다.
한편, 본 발명의 서버시스템(1000)에서 수행하는 상기 동영상 인터랙션 플랫폼에서는 타 서비스를 직접 제공할 수도 있으나, 도 1에 도시된 바와 같이 상기 타 서비스는 별도의 타서비스서버(3000)를 통해 사용자에게 제공될 수 있다. 따라서, 사용자가 영상트리의 최종 영상 가운데 특정 영상에 위치하거나, 특정 영상에서 사용자가 특정 인터랙션을 입력하는 경우에 서버시스템(1000)은 사용자에게 타서비스연결정보를 제공하고, 상기 사용자는 상기 타서비스연결정보를 통해 별도의 타서비스서버(3000)와 통신을 수행하여 상기 타 서비스를 제공받을 수 있다. 한편, 상기 타서비스서버(3000)는 1 이상의 타 서비스를 사용자에게 제공할 수 있으며, 도 1에서 서버시스템(1000)이 하나의 타서비스서버(3000)와 통신을 수행하는 것으로 도시되어 있으나, 본 발명의 다른 실시예에서는 서버시스템(1000)을 통해 연결되는 타 서비스가 복수 개수인 경우에 상기 서버시스템(1000)은 복수의 타서비스서버(3000)와 통신을 수행할 수도 있다. 또한, 본 발명의 다른 실시예에서는, 상기 타 서비스는 서버시스템(1000)에 포함된 타서비스제공부(1700)를 통해 제공될 수도 있다.
또한, 서버시스템(1000)에서 수행하는 동영상 인터랙션 플랫폼의 제공방법은 저장되어 있는 영상트리를 사용자에게 제공하고 사용자의 인터랙션에 따른 타 서비스를 제공하는 것뿐만 아니라, 사용자(서비스 빌더)의 요청에 따라 해당 사용자가 직접 영상트리를 생성하기 위한 인터페이스를 제공할 수도 있다. 구체적으로 사용자(서비스 빌더)의 사용자단말(2000.2)은 서버시스템(1000)에 영상트리를 생성하기 위한 인터페이스를 요청하는 경우에 서버시스템(1000)은 상기 사용자단말(2000.2)에 상기 인터페이스를 제공하고, 사용자(서비스 빌더)는 상기 인터페이스를 통해 영상트리를 구성할 수 있다. 이와 같이 구성된 영상트리는 타 사용자(서비스 이용자)들이 이용할 수도 있다.
본 발명의 일 실시예에서 각각의 사용자단말(2000.1 및 2000.2)은 상기 서버시스템(1000)을 통해 동영상 인터랙션 플랫폼을 제공받기 위하여, 별도의 어플리케이션 또는 별도의 웹페이지를 통해 상기 서버시스템(1000)과 통신을 수행할 수 있으며, 이에 따라 각각의 사용자단말(2000.1 및 2000.2)에는 상기 별도의 어플리케이션이 설치되거나, 혹은 각각의 사용자단말(2000.1 및 2000.2)에 설치되어 있는 웹브라우저를 통해 상기 별도의 웹페이지에 접속할 수 있다. 또한 사용자는 상기 어플리케이션 또는 상기 웹페이지를 통해 상기 서버시스템(1000)에 접속하기 위한 계정을 생성할 수 있고, 상기 사용자단말(2000.1 및 2000.2)은 사용자로부터 입력받은 계정정보를 통해 상기 서버시스템(1000)에 접속하여 동영상 인터랙션 플랫폼을 제공받을 수 있다.
도 2는 본 발명의 일 실시예에 따른 서버시스템(1000)의 내부 구성요소들을 개략적으로 도시한다.
도 2에 도시된 바와 같이, 동영상 인터랙션 플랫폼의 제공방법을 수행하는 서버시스템(1000)은 영상정보제공부(1100), 위치결정부(1200), 결과정보제공부(1300), 사용자인터랙션정보송신부(1400), 사용자위치이력송신부(1500), 제작빌더제공부(1600), 타서비스제공부(1700), 기계학습된 평가모델(1800) 및 DB(1900)를 포함한다.
상기 서버시스템(1000)에는 영상트리에 대한 복수의 영상 혹은 복수의 영상을 생성하기 위한 기초데이터를 포함하는 영상정보, 각 영상에 대한 사용자의 인터랙션을 판별하기 위한 판별조건 및 상기 판별조건에 따른 위치 이동에 대한 위치이동정보를 포함하는 위치조건정보, 및 상기 영상트리에서의 사용자의 위치 혹은 영상에 대한 사용자의 인터랙션에 상응하는 결과정보가 저장될 수 있다.
구체적으로, 상기 영상정보, 상기 위치조건정보 및 상기 결과정보는 DB(1900)에 저장될 수 있다. 상기 영상정보는 영상트리에 포함되는 복수의 영상 또는 복수의 영상을 생성하기 위한 기초데이터를 포함한다. 본 발명의 일 실시예에서 사용자에게 영상트리가 제공되는 경우에 영상트리에서의 사용자의 위치에 따라 상기 복수의 영상 가운데 해당 위치에 상응하는 특정 영상이 사용자에게 제공될 수 있고, 본 발명의 다른 실시예에서 사용자에게 영상트리가 제공되는 경우에 영상트리에서의 사용자의 위치에 따라 서버시스템(1000)에서 자동적으로 영상을 생성하고, 상기 생성된 영상이 사용자에게 제공될 수 있다. 상기 기초데이터는 서버시스템(1000)에서 자동적으로 영상을 생성하기 위한 요소에 해당할 수 있다. 구체적으로 상기 기초데이터는 종래의 AI 휴먼과 같이 상기 서버시스템(1000)에서 사용자의 입력에 따라 별도의 기계학습된 모델을 통해 자동적으로 상기 사용자의 입력에 대응하는 영상을 생성하기 위한 데이터에 해당할 수 있다.
상기 위치조건정보는 판별조건 및 위치이동정보를 포함한다. 상기 판별조건은 사용자에게 제공되는 영상트리의 각 영상에 대하여 상기 사용자가 입력하는 인터랙션을 판별하기 위한 정보에 해당하며, 더 구체적으로 더 구체적으로 판별조건은 1 이상의 세부판별조건을 포함할 수 있다. 예를 들어, 사용자에게 제공되는 영상에 대하여 사용자가 인터랙션을 입력한 경우에 상기 서버시스템(1000)은 해당 영상에 대한 판별조건에 따라 상기 인터랙션이 해당 영상에 대한 긍정적 응답인지 혹은 부정적 응답인지를 판별할 수 있다. 이 때, 상기 긍정적 응답 및 부정적 응답 각각은 판별조건에 포함되는 각각의 세부판별조건에 해당할 수 있다. 상기 위치이동정보는 각 영상에 대한 판별조건에 따라 판별된 인터랙션에 따라 사용자의 위치를 이동하기 위한 정보에 해당한다. 예를 들어, 특정 영상에 대하여 사용자가 입력한 인터랙션이 상기 특정 영상에 대한 긍정적 응답인 것으로 판별된 경우에 상기 서버시스템(1000)은 상기 특정 영상에 대한 위치이동정보에 따라 해당 사용자의 위치를 타 영상으로 이동시키거나, 인터랙션을 다시 입력할 수 있는 위치로 이동시킬 수 있다.
상기 결과정보는 사용자가 영상트리에서 인터랙션을 입력하여 특정 영상에 위치하거나, 혹은 특정 영상에서의 특정 인터랙션을 입력한 경우에 사용자에게 제공되는 정보에 해당한다. 구체적으로 상기 결과정보는 사용자가 상기 영상트리에서 입력한 1 이상의 인터랙션에 따라 최종적으로 사용자에게 제공되는 영상 또는 사용자가 입력한 1 이상의 인터랙션에 대한 분석결과에 대한 정보를 포함하고, 상기 결과정보는 사용자가 상기 영상트리에서 입력한 1 이상의 인터랙션에 따라 사용자에게 영상트리에서의 인터랙션과는 별도의 타 서비스를 제공하기 위한 타서비스연결정보를 더 포함할 수 있다.
상기 타서비스연결정보는 사용자가 영상트리에서의 인터랙션을 입력하여 특정 영상에 위치하거나, 혹은 특정 영상에서의 특정 인터랙션을 입력한 경우에 제공되는 타 서비스를 연결하기 위한 정보에 해당한다. 구체적으로, 영상트리는 1 이상의 타서비스연결정보를 포함할 수 있고, 각각의 타서비스연결정보는 상기 영상트리의 1 이상의 특정 영상 혹은 1 이상의 특정 영상에서의 특정 인터랙션과 매칭될 수 있다. 따라서, 사용자가 상기 영상트리의 1 이상의 특정 영상 가운데 어느 하나의 특정 영상에 위치하거나, 혹은 1 이상의 특정 영상 가운데 어느 하나의 특정 영상에 대하여 특정 인터랙션을 입력하는 경우에 매칭된 타서비스연결정보가 사용자에게 제공될 수 있고, 사용자는 상기 타서비스연결정보를 통해 타서비스서버(3000) 혹은 서버시스템(1000)에 포함된 내부 구성에 해당하는 타서비스제공부(1700)와 통신을 수행하여 인터랙션에 따른 타 서비스를 제공받을 수 있다. 또한, 도 1에 도시된 바와 같이, 상기 DB(1900)에는 서버시스템(1000)에 등록된 각각의 사용자에 대한 사용자정보가 저장될 수 있다.
한편, 도 1에 도시된 바와 같이, 상기 DB(1900)에는 영상트리를 구성하는 요소들(영상정보, 위치조건정보 및 타서비스연결정보)이 개별적으로 저장되어 있으나, 본 발명의 다른 실시예에서 상기 DB(1900)에는 복수의 영상트리가 개별적으로 저장되고, 저장된 각각의 영상트리별로 해당 영상트리에 상응하는 영상정보, 위치조건정보 및 결과정보를 포함할 수도 있다.
상기 서버시스템(1000)은 상술한 바와 같이, 상기 DB(1900)에 저장된 영상정보, 위치조건정보 및 결과정보를 통해 동영상 인터랙션 플랫폼의 제공방법을 수행할 수 있다.
구체적으로, 상기 영상정보제공부(1100)는 영상정보제공단계(S10)를 수행하여 사용자의 요청에 상응하는 영상트리를 제공하며, 바람직하게는 상기 영상정보제공부(1100)는 사용자의 요청에 상응하는 영상트리에서 사용자의 현재 위치에 해당하는 영상을 제공한다. 이를 통해 사용자는 해당 영상에 대한 인터랙션을 입력할 수 있다.
상기 위치결정부(1200)는 위치결정단계(S11)를 수행하여 사용자에게 제공된 영상에 대하여 해당 사용자가 입력한 인터랙션에 따라 사용자의 다음 위치를 결정한다. 구체적으로, 상기 위치결정부(1200)는 사용자가 영상에 대하여 입력한 인터랙션을 해당 영상에 상응하는 판별조건에 따라 판별하고, 판별된 인터랙션 및 해당 영상에 상응하는 위치이동정보에 기초하여 사용자의 다음 위치를 결정한다. 상기 위치결정부(1200)에서 결정된 다음 위치는 상기 영상정보제공부(1100)에서 사용자에게 제공한 영상과 상이한 영상에 해당하거나, 혹은 상기 영상정보제공부(1100)에서 제공된 영상에 대하여 사용자가 다시 인터랙션을 입력할 수 있는 위치에 해당할 수 있다.
상기 결과정보제공부(1300)는 결과정보제공단계(S13)를 수행하여 영상트리에서의 사용자의 위치 또는 사용자에게 제공된 영상에 대하여 입력한 인터랙션이 기설정된 조건에 상응하는 경우에 타 서비스에 접속할 수 있는 결과정보를 사용자에게 제공한다. 구체적으로, 영상트리에는 1 이상의 조건이 기설정될 수 있고, 상기 1 이상의 조건 각각은 1 이상의 타서비스연결정보와 상응할 수 있다. 따라서 사용자가 영상트리에서 특정 조건에 상응하는 영상에 위치하거나, 혹은 특정 조건에 상응하는 인터랙션을 입력한 경우에, 상기 결과정보제공부(1300)는 상기 특정 조건에 상응하는 타서비스연결정보를 포함하는 결과정보를 사용자에게 제공할 수 있다. 이와 같이 사용자는 제공받은 타서비스연결정보를 통해 타 서비스를 제공하는 타서비스서버(3000) 혹은 서버시스템(1000)에 포함되는 타서비스제공부(1700)와 통신을 수행할 수 있다.
상기 사용자인터랙션정보송신부(1400)는 사용자인터랙션정보송신단계를 수행하여 타 서비스를 제공하는 타서비스서버(3000) 또는 서버시스템(1000)에 포함된 타서비스제공부(1700)에 사용자가 상기 영상트리에 대하여 입력한 1 이상의 인터랙션을 포함하는 사용자인터랙션정보를 제공한다. 이를 통해 타 서비스를 제공하는 타서비스서버(3000) 또는 타서비스제공부(1700)는 상기 사용자인터랙션정보를 수신하여 사용자에게 적합한 타 서비스를 제공할 수 있다.
상기 사용자위치이력송신부(1500)는 사용자위치이력송신단계를 수행하여 타 서비스를 제공하는 타서비스서버(3000) 또는 서버시스템(1000)에 포함된 타서비스제공부(1700)에 사용자가 상기 영상트리에 대하여 위치했던 1 이상의 위치정보를 제공한다. 이를 통해 상술한 사용자인터랙션정보송신부(1400)와 같이, 타 서비스를 제공하는 타서비스서버(3000) 또는 타서비스제공부(1700)는 상기 1 이상의 위치정보를 수신하여 사용자에게 적합한 타 서비스를 제공할 수 있다.
도 1에 도시된 바와 같이, 서버시스템(1000)은 상기 사용자인터랙션정보송신부(1400) 및 상기 사용자위치이력송신부(1500)를 모두 포함하여 타 서비스를 제공하는 타서비스서버(3000) 또는 서버시스템(1000)의 타서비스제공부(1700)에 사용자인터랙션정보 및 사용자가 영상트리에서 위치했던 1 이상의 위치정보를 제공할 수 있으나, 본 발명의 다른 실시예에서 상기 서버시스템(1000)은 상기 사용자인터랙션정보송신부(1400) 및 상기 사용자위치이력송신부(1500) 가운데 하나의 구성만을 포함하여, 상기 타서비스서버(3000) 또는 상기 타서비스제공부(1700)에 사용자인터랙션정보 및 1 이상의 위치정보 가운데 하나의 정보만을 제공할 수도 있다.
상기 제작빌더제공부(1600)는 제작빌더제공단계를 수행하여 사용자의 요청에 따라 사용자가 직접 영상트리를 생성할 수 있는 영상트리생성인터페이스(1610)를 해당 사용자의 사용자단말에 제공한다. 상기 영상트리생성인터페이스(1610)를 통해 사용자는 상술한 영상트리를 구성하는 요소에 해당하는 영상정보, 위치조건정보 및 타서비스연결정보를 입력하여 영상트리를 생성하며, 상기 영상트리생성인터페이스(1610)를 통해 입력된 정보는 상기 서버시스템(1000)의 DB(1900)에 저장될 수 있다.
상기 타서비스제공부(1700)는 상기 결과정보제공부(1300)를 통해 사용자에게 제공된 결과정보에 포함된 타서비스연결정보에 따라 사용자에게 타 서비스를 제공한다. 구체적으로 사용자는 영상트리 상에서 입력한 1 이상의 인터랙션에 따라 사용자에게 적합한 타 서비스를 제공받을 수 있는 타서비스연결정보를 제공받고, 상기 타서비스제공부(1700)는 상기 타 서비스연결정보에 상응하는 타 서비스를 사용자에게 제공할 수 있다. 한편, 상기 타 서비스는 사용자에게 제공된 영상트리에서 사용자가 입력한 1 이상의 인터랙션 혹은 영상트리에서 사용자가 위치했던 1 이상의 위치에 따라 연계되는 서비스에 해당할 수 있다. 예를 들어, 영상트리는 사용자의 정신질환의 종류를 판단하기 위한 것에 해당할 수 있고, 상기 영상트리를 통해 사용자가 보유하고 있는 정신질환의 종류가 판단된 경우에, 타 서비스는 판단된 정신질환을 치료하기 위한 솔루션에 해당할 수 있다. 또한, 상기 타서비스제공부(1700)는 영상트리와 관련된 복수의 타 서비스를 제공할 수 있고, 본 발명의 다른 실시예에서 영상트리와 관련된 복수의 타 서비스의 개수에 상응하는 복수의 타서비스제공부(1700)가 개별적으로 상기 서버시스템(1000)에 포함될 수도 있다.
상기 평가모델(1800)은 사용자가 영상트리에 포함된 영상에 대하여 입력한 인터랙션을 입력받아 상기 인터랙션에 대한 추론정보를 도출한다. 구체적으로 상기 평가모델(1800)은 기계학습된 평가모델(1800)에 해당하며, 인터랙션을 입력받아 피처값을 추출하는 피처추출모델 및 상기 피처추출모델에서 도출된 피처값에 따라 추론정보를 도출하는 피처추론모델을 포함할 수 있다. 이와 같이, 본 발명에서는 평가모델(1800)을 통해 사용자가 기설정된 선택지 가운데 특정 선택지를 선택하는 인터랙션뿐만 아니라 정형화되지 않은 인터랙션에 대해서도 해당 인터랙션을 추론할 수 있게 된다.
도 2에 도시된 바와 같이, 본 발명의 서버시스템(1000)은 단일 서버로 구성되어 상기 서버시스템(1000)의 내부 구성요소가 상기 단일 서버내에 모두 포함될 수 있으나, 본 발명의 다른 실시예에서는 상기 서버시스템(1000)은 복수의 서버로 구성될 수 있고, 복수의 서버에는 상술한 서버시스템(1000)의 내부 구성요소 가운데 1 이상의 내부 구성요소가 포함될 수 있고, 상기 복수의 서버는 상호 통신할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 영상트리를 개략적으로 도시한다.
도 3에 도시된 바와 같이 상기 영상트리는 복수의 영상으로 구성될 수 있다. 구체적으로, 상기 영상트리는 DB(1900)에 저장되어 있는 상기 영상트리에 상응하는 복수의 영상이 연결되어 있거나, 또는 상기 영상트리는 초기 영상만을 포함하고, 사용자가 상기 초기 영상에 대하여 입력한 인터랙션, 상기 초기 영상에 대한 위치조건정보 및 상기 영상트리에 상응하는 기초데이터에 기초하여 초기 영상으로부터 자동적으로 다음 영상이 생성되는 형태로 상기 영상트리가 구성될 수도 있다.
도 3에 도시된 바와 같이, 상기 영상트리에 포함되는 복수의 영상 각각에는 고유한 위치값을 포함할 수 있고, 사용자가 상기 영상트리에 대하여 인터랙션을 하는 경우에 상기 영상트리에서 사용자의 최초 위치(위치 P1)에 상응하는 영상(영상#1)이 사용자에게 제공되고, 사용자가 해당 영상(영상#1)에 대하여 인터랙션을 입력하는 것(인터랙션#1)으로 상기 영상트리에서의 사용자의 위치가 이동될 수 있다.
구체적으로, 영상트리는 각 영상에 대하여 사용자가 입력한 인터랙션을 판별하고, 판별된 인터랙션에 따라 다른 영상으로 위치를 이동하기 위한 조건들을 포함할 수 있다. 상기 조건은 상술한 위치조건정보에 해당할 수 있다. 더 구체적으로, 상기 영상정보제공부(1100)에서 제공하는 영상트리에서의 사용자의 현재 위치에 상응하는 영상에 대하여 사용자가 인터랙션을 입력하는 경우에 상기 위치결정부(1200)는 해당 영상에 대한 판별조건에 따라 상기 인터랙션을 판별하고, 판별된 인터랙션 및 해당 영상에 대한 위치이동정보에 따라 사용자의 다음 위치를 결정한다.
예를 들어, 도 3에 도시된 바와 같이, 영상트리에서의 사용자의 현재 위치가 영상#1이고, 사용자가 상기 영상#1에 대하여 인터랙션#1을 입력한 경우에, 상기 위치결정부(1200)는 사용자가 입력한 인터랙션#1 및 조건#1에 상응하는 위치조건정보에 기초하여 사용자의 다음 위치를 영상#2(위치 P2)로 결정할 수 있다.
이와 같이, 영상트리에서 사용자의 현재 위치에 상응하는 영상을 사용자에게 제공하고, 해당 영상에서의 사용자의 인터랙션에 따라 다음 위치를 결정하는 과정은 해당 사용자의 위치 또는 해당 사용자가 입력한 인터랙션이 기설정된 조건을 만족할 때까지 순차 반복될 수 있다.
구체적으로, 도 3에 도시된 영상#4, 영상#5, 영상#6, 영상#8, 영상#9, 영상#10 및 영상#11과 같이 영상트리에서 위치조건정보가 연결되어 있지 않은 영상에 해당하는 위치로 사용자의 위치가 이동되는 경우에 상기 결과정보제공부(1300)는 사용자의 위치가 기설정된 조건을 만족한 것으로 판단하여 해당 위치에 상응하는 타서비스연결정보를 포함하는 결과정보를 사용자에게 제공할 수 있다. 또한 위치조건정보가 연결되어 있는 영상에 대해서 사용자가 특정 인터랙션을 입력한 경우에도 상기 결과정보제공부(1300)는 사용자가 입력한 특정 인터랙션이 기설정된 조건을 만족한 것으로 판단하여, 해당 영상 및 해당 영상에서 입력한 특정 인터랙션에 상응하는 타서비스연결정보를 포함하는 결과정보를 사용자에게 제공할 수 있다.
예를 들어, 도 3에 도시된 바와 같이, 사용자가 영상#2(위치 P2)에 대하여 입력한 인터랙션#2 및 조건#4에 기초하여 사용자의 위치가 영상#10(위치 P3)으로 이동된 경우에 상기 결과정보제공부(1300)는 사용자의 위치가 기설정된 조건을 만족하는 것으로 판단하고 상기 영상#10에 상응하는 타서비스연결정보를 포함하는 결과정보를 사용자에게 제공할 수 있다. 이와 같이 사용자는 제공받은 타서비스연결정보를 통해 상기 영상#10에 상응하는 타 서비스를 제공하는 타서비스서버(3000) 혹은 서버시스템(1000)에 포함된 타서비스제공부(1700)에 접속하는 것으로 상기 영상#10에 상응하는 타 서비스를 제공받을 수 있다.
한편, 상기 영상트리에서의 사용자의 위치 혹은 영상에 대한 사용자의 인터랙션에 상응하는 결과정보는 사용자에게 타 서비스를 제공하기 위한 타서비스연결정보를 포함하고, 상기 영상트리에 포함된 특정 영상은, 상기 사용자가 상기 타 서비스를 수행하여 획득한 서비스결과정보와 연결될 수 있다.
구체적으로, 본 발명의 일 실시예에서는 사용자가 제공받은 결과정보에 포함된 타서비스연결정보를 통해 타 서비스를 제공받는 것으로 동영상 인터랙션 플랫폼의 서비스가 종료될 수도 있으나, 본 발명의 다른 실시예에서는 사용자가 타 서비스를 제공받아 상기 타서비스서버(3000) 또는 상기 타서비스제공부(1700)에서 도출된 서비스결과정보가 영상트리에 포함된 특정 영상과 연결되어, 사용자는 상기 특정 영상에 상응하는 위치에서부터 인터랙션을 다시 수행할 수 있다.
예를 들어, 사용자가 정신질환을 판정하는 영상트리에 대한 1 이상의 인터랙션을 수행하여 우울증 치료에 대한 타 서비스를 제공받았고, 타 서비스에 대한 서비스결과정보가 우울증 판정을 다시 수행해야하는 것인 경우에 해당 영상트리에서 우울증 판정을 다시 할 수 있는 특정 영상(도 3에서는 영상#3)에 해당하는 위치에서 상기 사용자는 인터랙션을 수행할 수 있다.
이와 같이, 본 발명에서는 타 서비스에서 제공된 서비스결과정보가 다시 영상트리의 특정 위치와 연결될 수 있으므로, 타 서비스에 대한 피드백을 수행하는 등의 다양한 형태의 서비스를 제공할 수 있는 효과를 발휘할 수 있다.
한편, 본 발명에서는 복수의 영상으로 구성되어 있는 영상트리에 대해 기재하고 있으나, 본 발명의 다른 실시예에서 복수의 텍스트로 구성된 형태의 트리 또는 복수의 오디오로 구성된 형태의 트리를 사용할 수 있고, 사용자는 해당 트리에서의 현재 위치에 상응하는 텍스트에 대한 인터랙션 혹은 현재 위치에 상응하는 오디오에 대한 인터랙션을 입력할 수도 있다.
도 4는 본 발명의 일 실시예에 따른 동영상 인터랙션 플랫폼의 제공방법의 세부 단계들을 개략적으로 도시한다.
도 4에 도시된 바와 같이, 상기 동영상 인터랙션 플랫폼의 제공방법은, 상기 영상트리에서의 사용자의 현재 위치에 해당하는 영상을 사용자에게 제공하는 영상정보제공단계(S10); 상기 영상정보제공단계(S10)를 통해 제공된 영상에 대한 사용자의 인터랙션에 대하여 상기 영상트리에서의 사용자의 현재 위치에 상응하는 위치조건정보를 적용하여 사용자의 다음 위치를 결정하는 위치결정단계(S11); 및 사용자의 위치 혹은 1 이상의 영상에 대한 사용자의 인터랙션이 기설정된 조건에 상응하는 경우에 결과정보를 사용자에게 제공하는 결과정보제공단계(S13);를 포함할 수 있다.
구체적으로 상기 영상정보제공단계(S10)는 사용자가 요청한 영상트리에서의 사용자의 현재 위치에 상응하는 영상을 사용자에게 제공한다. 구체적으로, 사용자가 요청한 영상트리에서 최초로 영상을 제공하는 경우에, 해당 영상트리에서 초기 위치를 사용자의 현재 위치로 하고, 초기 위치에 상응하는 영상을 사용자에게 제공할 수 있다. 본 발명의 다른 실시예에서 상기 영상정보제공단계(S10)는 사용자에게 단순히 현재 위치에 상응하는 영상만을 제공하는 것이 아니라, 현재 위치에 상응하는 영상이 재생되는 인터페이스를 제공하고, 사용자는 해당 인터페이스를 통해 영상을 재생할 수 있고, 해당 영상에 대한 인터랙션을 입력할 수 있다.
상기 영상정보제공단계(S10)를 통해 현재 위치에 상응하는 영상을 제공받은 사용자는 해당 영상에 대한 인터랙션을 입력할 수 있고, 상기 위치결정단계(S11)는 해당 영상에 대하여 사용자가 입력한 인터랙션에 따라 영상트리에서의 사용자의 다음 위치를 결정할 수 있다. 구체적으로 상기 위치결정단계(S11)는 해당 영상에 대하여 사용자가 입력한 인터랙션 및 해당 영상에 상응하는 위치조건정보에 기초하여 사용자의 다음 위치를 결정할 수 있다. 더 구체적으로 상기 위치결정단계(S11)는 해당 영상에 대한 인터랙션 및 해당 영상에 대한 위치조건정보에 포함되는 판별조건에 따라 상기 인터랙션을 판별하고, 판별된 인터랙션 및 해당 영상에 대한 위치조건정보에 포함되는 위치이동정보에 기초하여 사용자의 다음 위치를 결정할 수 있다.
한편, 상기 영상트리에서의 사용자의 위치를 이동시키기 위하여 상기 영상정보제공단계(S10) 및 상기 위치결정단계(S11)는 순차 반복될 수 있다. 구체적으로, 상기 위치결정단계(S11)를 통해 결정되는 사용자의 다음 위치가 기설정된 조건을 만족하는 지에 대한 여부, 혹은 해당 위치에 상응하는 영상에 대하여 사용자가 입력한 인터랙션이 기설정된 조건을 만족하는지에 대한 여부를 판별한다(S12).
만약 단계 S12에서 사용자의 다음 위치 혹은 사용자가 현재 위치에 상응하는 영상에 대하여 입력한 특정 인터랙션이 상기 기설정된 조건을 만족하지 못하는 경우에 상기 영상정보제공단계(S10) 및 상기 위치결정단계(S11)는 순차 반복될 수 있다.
한편, 단계 S12에서 사용자의 다음 위치 혹은 사용자가 현재 위치에 상응하는 영상에 대하여 입력한 특정 인터랙션이 상기 기설정된 조건을 만족하는 경우에 상기 결과정보제공단계(S13)가 수행될 수 있다.
구체적으로 상기 결과정보제공단계(S13)는 사용자의 다음 위치에 대한 영상에 상응하는 결과정보 혹은 사용자가 현재 위치의 영상에 대하여 입력한 특정 인터랙션에 상응하는 결과정보를 사용자에게 제공한다. 한편, 상기 결과정보는 상기 영상트리 상에서 사용자가 입력한 1 이상의 인터랙션 또는 사용자의 다음 위치에 대한 영상에 따른 최종 영상 또는 사용자가 입력한 1 이상의 인터랙션에 대한 분석결과 등을 포함할 수 있고, 상기 결과정보는 사용자에게 별도의 타 서비스를 제공하기 위한 타서비스연결정보를 더 포함할 수 있다.
상기 타서비스연결정보는 사용자의 다음 위치에 대한 영상과 연관된 타 서비스 혹은 사용자가 현재 위치의 영상에 대하여 입력한 특정 인터랙션과 연관된 타 서비스를 제공하는 타서비스서버(3000) 혹은 서버시스템(1000)에 포함된 타서비스제공부(1700)에 사용자가 접속할 수 있는 정보에 해당할 수 있다. 예를 들어, 상기 타서비스연결정보는 상기 타서비스서버(3000) 혹은 타서비스제공부(1700)에 접속할 수 있는 링크정보에 해당할 수도 있다.
도 5는 본 발명의 일 실시예에 따른 사용자인터랙션정보송신단계 및 사용자위치이력송신단계를 개략적으로 도시한다.
도 5의 (A)는 본 발명의 일 실시예에 따른 사용자인터랙션정보송신단계를 개략적으로 도시하고, 도 5의 (B)는 본 발명의 일 실시예에 따른 사용자위치이력송신단계를 개략적으로 도시한다.
도 5의 (A)에 도시된 바와 같이, 상기 영상트리에서의 사용자의 위치 혹은 영상에 대한 사용자의 인터랙션에 상응하는 결과정보는 사용자에게 타 서비스를 제공하기 위한 타서비스연결정보를 포함하고, 상기 동영상 인터랙션 플랫폼의 제공방법은, 상기 결과정보제공단계(S13)를 통해 제공된 타서비스연결정보를 통해 사용자가 타 서비스로의 연결을 요청한 경우에, 사용자가 상기 영상트리에서 수행한 1 이상의 영상 각각에 대한 인터랙션을 포함하는 사용자인터랙션정보를 상기 타 서비스를 수행하는 타서비스서버(3000) 혹은 상기 타 서비스를 수행하는 상기 서버시스템(1000)의 내부 구성으로 송신하는 사용자인터랙션정보송신단계;를 더 포함할 수 있다.
구체적으로, 사용자는 상기 결과정보제공단계(S13)를 통해 제공받은 결과정보에 포함된 타서비스연결정보를 통해 타 서비스를 제공하는 타서비스서버(3000) 혹은 타서비스제공부(1700)에 접속하여 상기 타 서비스를 요청(S20)하는 경우에, 상기 사용자인터랙션정보송신단계는 사용자가 상기 영상트리에 포함된 1 이상의 영상에 대하여 입력한 1 이상의 인터랙션을 포함하는 사용자인터랙션정보를 도출하고, 상기 사용자인터랙션정보를 사용자가 타 서비스를 요청한 타서비스서버(3000) 혹은 타서비스제공부(1700)로 송신(S21)한다.
상기와 같은 구성을 통해, 사용자에게 타 서비스를 제공하는 타서비스서버(3000) 혹은 타서비스제공부(1700)는 사용자가 요청한 타 서비스를 제공함에 있어서, 사용자가 입력한 인터랙션들을 포함하는 사용자인터랙션정보를 이용하여 사용자 맞춤형 서비스를 제공할 수 있도록 하는 효과를 발휘할 수 있다.
한편, 도 5의 (B)에 도시된 바와 같이, 상기 영상트리에서의 사용자의 위치 혹은 영상에 대한 사용자의 인터랙션에 상응하는 결과정보는 사용자에게 타 서비스를 제공하기 위한 타서비스연결정보를 포함하고, 상기 동영상 인터랙션 플랫폼의 제공방법은, 상기 결과정보제공단계(S13)를 통해 제공된 타서비스연결정보를 통해 사용자가 타 서비스로의 연결을 요청한 경우에, 상기 영상트리에서 해당 사용자가 위치했던 1 이상의 위치정보를 상기 타 서비스를 수행하는 타서비스서버(3000) 혹은 상기 타 서비스서버를 수행하는 상기 서버시스템(1000)의 내부 구성으로 송신하는 사용자위치이력송신단계;를 더 포함할 수 있다.
구체적으로, 사용자는 상기 결과정보제공단계(S13)를 통해 제공받은 결과정보에 포함된 타서비스연결정보를 사용하여 타 서비스를 제공하는 타 서비스서버 혹은 타 서비스제공부에 접속함으로써 상기 타 서비스를 요청(S20)하는 경우에, 상기 사용자위치이력송신단계는 사용자가 상기 영상트리에서 위치했던 1 이상의 위치정보를 사용자가 타 서비스를 요청한 타서비스서버(3000) 혹은 타서비스제공부(1700)로 송신(S22)한다.
본 발명의 다른 실시예에서, 상기 1 이상의 위치정보는 상기 영상트리에서의 1 이상의 사용자의 위치정보뿐만 아니라 사용자가 위치했던 1 이상의 영상에 대한 정보까지 포함할 수도 있다.
상기와 같은 구성을 통해, 사용자에게 타 서비스를 제공하는 타서비스서버(3000) 혹은 타서비스제공부(1700)는 사용자가 요청한 타 서비스를 제공함에 있어서, 사용자가 영상트리에서 위치했던 1 이상의 위치정보를 이용하여 사용자 맞춤형 서비스를 제공할 수 있도록 하는 효과를 발휘할 수 있다.
본 발명의 일 실시예에서는 상기 사용자인터랙션정보송신단계 및 상기 사용자위치이력송신단계 가운데 하나의 단계만을 수행하여 타서비스서버(3000) 혹은 타서비스제공부(1700)에 사용자인터랙션정보 및 사용자가 위치했던 1 이상의 위치정보 가운데 하나의 정보만을 제공할 수 있고, 본 발명의 다른 실시예에서는 상기 사용자인터랙션정보송신단계 및 상기 사용자위치이력송신단계를 모두 수행하여 타서비스서버(3000) 혹은 타서비스제공부(1700)에 사용자인터랙션정보 및 사용자가 위치했던 1 이상의 위치정보 모두를 제공할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 영상에 대하여 사용자가 입력한 인터랙션에 따라 추론정보를 도출하는 과정을 개략적으로 도시한다.
도 6에 도시된 바와 같이, 상기 영상정보제공단계(S10)를 통해 영상트리에서의 사용자의 현재 위치에 상응하는 영상을 사용자에게 제공하고, 사용자는 제공받은 영상에 대한 인터랙션을 입력할 수 있고, 상기 위치결정단계(S11)에서는 사용자가 입력한 인터랙션을 기반으로 영상트리에서의 사용자의 다음 위치를 결정할 수 있다.
구체적으로, 상기 인터랙션은 영상에 대한 텍스트입력, 음성입력, 얼굴정보입력, 포즈입력, 제스쳐입력 및 배경정보입력 가운데 1 이상을 포함하고, 상기 위치결정단계(S11)는, 상기 인터랙션을 기계학습된 평가모델(1800)에 입력하여 출력된 추론정보 및 상기 영상트리에서의 사용자의 현재 위치에 상응하는 위치조건정보를 적용하여 사용자의 다음 위치를 결정할 수 있다.
상기 영상정보제공단계(S10)를 통해 사용자는 영상트리에서의 사용자의 현재 위치에 상응하는 영상을 제공받고, 사용자는 제공받은 영상에 대한 인터랙션을 입력할 수 있다. 구체적으로, 상기 영상정보제공단계(S10)를 통해 사용자에 상응하는 사용자단말에는 사용자의 현재 위치에 상응하는 영상이 재생될 수 있는 인터페이스가 디스플레이되고, 사용자는 상기 인터페이스를 통해 영상에 대한 인터랙션을 입력할 수 있다.
상기 인터페이스를 통해 사용자가 입력하는 인터랙션은 텍스트입력, 음성입력, 얼굴정보입력, 포즈입력, 제스쳐입력 및 배경정보입력 가운데 1 이상을 포함할 수 있다. 상기 인터랙션은 사용자에게 제공되는 영상에 대한 사용자의 반응, 답변, 감정 등에 해당할 수 있고, 사용자는 상기 인터페이스 상에서 텍스트, 음성, 얼굴, 포즈 및 배경 가운데 1 이상의 유형을 사용하여 입력하는 것으로 영상에 대한 인터랙션을 부가할 수 있다. 이와 같이, 상기 인터페이스 상에서 사용자가 입력한 인터랙션은 상기 서버시스템(1000)으로 송신될 수 있다. 한편, 상기 얼굴정보입력, 상기 포즈입력, 상기 제스쳐입력 및 상기 배경정보입력은 사용자가 각각 별도로 입력하는 정보에 해당할 수 있으나, 본 발명의 다른 실시예에서 사용자는 상기 얼굴정보입력, 상기 포즈입력, 상기 제스쳐입력 및 상기 배경정보입력이 통합된 형태로 인터랙션을 입력할 수 있다. 예를 들어, 사용자가 자신이 위치한 장소, 자신의 얼굴, 포즈 및 제스쳐가 모두 포함된 이미지 혹은 영상을 인터랙션으로 입력하는 경우에 상기 얼굴정보입력, 상기 포즈입력, 상기 제스쳐입력 및 상기 배경정보입력이 통합된 형태로 입력될 수 있다.
이를 위하여 상기 사용자단말은 상기 인터페이스 상에서 텍스트 입력을 수신하기 위하여 물리적 혹은 가상적 키보드가 구비될 수 있고, 음성 입력을 수신하기 위하여 마이크가 구비될 수 있고, 표정, 포즈 및 제스쳐 입력을 수신하기 위하여 카메라가 구비될 수 있다.
상기 서버시스템(1000)은 사용자가 입력한 영상에 대한 인터랙션을 수신하고, 상기 위치결정단계(S11)는 상기 서버시스템(1000)에 포함된 기계학습된 평가모델(1800)을 사용하여 상기 인터랙션에 대한 추론정보를 도출한다. 이후에 상기 위치결정단계(S11)에서는 인터랙션에 대한 추론정보 및 해당 영상에 대한 판별조건에 기초하여 해당 추론정보가 판별조건에 부합하는지 확인한다. 그 다음으로 상기 위치결정단계(S11)는 상기 판별조건에 상응하는 위치이동조건을 적용하여 사용자의 다음 위치를 결정할 수 있다. 예를 들어, 영상에 대한 인터랙션으로 사용자가 다른 곳을 응시하고 있는 표정을 입력한 경우에, 상기 기계학습된 평가모델(1800)은 상기 인터랙션이 다른 곳을 응시하고 있는 표정이라는 것을 추론하는 추론정보를 도출하고, 상기 위치결정단계(S11)는 해당 추론정보에 상응하는 판별조건이 있는지를 확인한 후에 해당 판별조건에 상응하는 위치이동정보에 따라 사용자의 다음 위치를 결정할 수 있다.
구체적으로, 상기 추론정보는 상기 인터랙션에 포함되는 얼굴정보입력을 통해 인식되는 사용자의 표정, 나이, 성별에 대한 추론정보에 해당하거나, 또는 상기 인터랙션에 포함되는 2 이상의 입력을 통해 인식되는 정보에 해당할 수 있다. 예를 들어, 상기 추론정보는 상기 인터랙션에 포함되는 텍스트입력, 음성입력, 얼굴정보입력, 포즈입력, 제스쳐입력 및 배경정보입력 가운데 2 이상의 입력을 통해 인식될 수 있는 사용자의 정신상태, 감정상태, 사용자가 위치한 장소에 대한 추론정보에 해당할 수 있다.
한편, 본 발명의 다른 실시예에서는, 상기 인터랙션은 영상에 대한 복수의 선택지 가운데 특정 선택지에 대한 선택입력; 및 영상에 대한 텍스트입력, 음성입력, 얼굴정보입력, 포즈입력, 제스쳐입력 및 배경정보입력 가운데 1 이상의 입력;을 포함하고, 상기 위치결정단계는, 상기 특정 선택지에 대한 선택입력, 상기 영상에 대한 텍스트입력, 음성입력, 표정입력, 포즈입력, 제스쳐입력 및 배경정보입력 가운데 1 이상의 입력을 기계학습된 평가모델에 입력하여 출력된 추론정보 및 상기 영상트리에서의 사용자의 현재 위치에 상응하는 위치조건정보를 적용하여 사용자의 다음 위치를 결정할 수 있다.
구체적으로, 사용자가 영상에 대하여 입력하는 인터랙션은 상술한 영상에 대한 텍스트입력, 음성입력, 얼굴정보입력, 포즈입력, 제스쳐입력 및 배경정보입력 가운데 1 이상의 입력뿐만 아니라, 해당 영상에 대하여 사용자에게 제공되는 복수의 선택지 가운데 사용자가 선택한 특정 선택지에 대한 선택입력을 더 포함할 수 있다.
이를 통해 위치결정단계(S11)는, 상기 특정 선택지에 대한 선택입력 및 상술한 영상에 대한 텍스트입력, 음성입력, 얼굴정보입력, 포즈입력, 제스쳐입력 및 배경정보입력 가운데 1 이상의 입력에 대하여 기계학습된 평가모델(1800)에서 도출된 추론정보에 상응하는 판별조건이 있는 지를 확인한 후에 해당 판별조건에 상응하는 위치이동정보에 따라 사용자의 다음 위치를 결정할 수 있다.
예를 들어, 사용자에게 제공되는 영상에 대하여 '선택지 1. 저와 사귀어 주세요.' 및 '선택지 2. 안녕히 가세요.'라는 복수의 선택지가 존재하는 경우에, 사용자는 선택지 1을 선택하고, 추가적으로 얼굴정보입력에 대한 인터랙션을 입력할 수 있다.
이때 위치결정단계(S11)에서는 사용자가 선택한 '선택지 1' 및 상기 얼굴정보입력에 대한 기계학습 평가모델(1800)에서의 사용자의 나이에 대한 추론정보에 기초하여, 사용자가 20대인 것으로 추론된 경우에 "저는 연하와 사귀지 않습니다."라는 응답을 하는 영상으로 사용자의 다음 위치를 결정할 수 있고, 반면에 사용자가 30대인 것으로 추론된 경우에 "저도 좋아요."라는 응답을 하는 영상으로 사용자의 다음 위치를 결정할 수 있다.
이와 같이, 본 발명에서는 단순히 사용자의 선택에 따라 사용자의 위치가 결정되는 것이 아니라, 사용자가 추가적으로 입력한 텍스트입력, 음성입력, 얼굴정보입력, 포즈입력, 제스쳐입력 및 배경정보입력 가운데 1 이상을 포함하는 인터랙션을 추가적으로 고려하여 사용자의 다음 위치가 결정될 수 있다.
이와 같이, 본 발명에서는 영상에 대하여 기설정된 복수의 선택지 가운데 특정 선택지를 선택하는 것으로 영상트리에서의 사용자의 위치를 이동하는 것뿐만 아니라, 사용자로부터 비정형화된 인터랙션에 대해서도 영상트리를 통해 타 서비스를 제공할 수 있으므로, 사용자가 더욱 흥미있게 본 발명의 동영상 인터랙션 플랫폼을 사용할 수 있도록 한다.
한편, 상기 기계학습된 평가모델(1800)의 구체적인 실시예에 대해서는 후술하는 도 7 및 도 8에서 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 피처추출모델의 내부 구성을 개략적으로 도시한다.
도 6에서 상술한 기계학습된 평가모델(1800)은 피처추출모델 및 피처추론모델을 포함할 수 있고, 도 7에 도시된 실시예에 따른 상기 피처추출모델은, 사용자가 입력한 인터랙션의 복수의 프레임의 영상정보로부터 복수의 영상특징정보를 도출하는 공간특징정보를 추출하는 제1딥뉴럴네트워크; 사용자가 입력한 인터랙션의 음성정보로부터 복수의 음성특징정보를 도출하는 공간특징정보를 추출하는 제2딥뉴럴네트워크; 상기 복수의 영상특징정보를 수신하여 제1특징정보를 도출하는 제1순환신경망모듈; 상기 복수의 음성특징정보를 수신하여 제2특징정보를 도출하는 제2순환신경망모듈; 상기 인터랙션의 텍스트정보를 수신하여 제3특징정보를 도출하는 제3순환신경망모듈;을 포함할 수 있다.
상기 제1딥뉴럴네트워크 및 상기 제2딥뉴럴네트워크는 CNN모듈 등이 이에 해당할 수 있고, 도 7에 도시된 일 실시예에서 상기 제1딥뉴럴네트워크는 제1CNN모듈에 해당하고, 제2딥뉴럴네트워크는 제2CNN모듈에 해당할 수 있다.
상기 제1순환신경망모듈, 상기 제2순환신경망모듈, 및 상기 제3순환신경망모듈은 RNN모듈, 더 구체적으로는 RNN모듈의 하위 개념에 해당하는 LSTM모듈 등이 이에 해당할 수 있고, 도 7에 도시된 일 실시예에서는 제1순환신경망모듈은 제1LSTM모듈에 해당하고, 제2순환신경망모듈은 제2LSTM모듈에 해당하며, 제3순환신경망모듈은 제3LSTM모듈에 해당할 수 있다.
이하에서는 도 7에 도시된 실시예에 기초하여, 본 발명의 일 실시예에 따른 뉴럴네트워크의 동작에 대하여 설명하도록 한다.
상기 복수의 프레임은 기설정된 시간간격으로 영상의 이미지를 분할하여 생성될 수 있다. 또한, 제1CNN모듈에 의하여 도출된 복수의 영상특징정보는 제1LSTM모듈로 시계열 순으로 입력됨이 바람직하다.
한편, 기설정된 시간구간에 대한 음성에 대한 특징정보(피치, 세기 등) 혹은 음성 자체의 데이터는 제2CNN모듈로 입력되고, 제2CNN모듈로부터 도출된 음성특징정보는 제2LSTM모듈로 시계열 순으로 입력됨이 바람직하다. 또한, 상기 음성에 대한 특징정보는 음성의 피치 혹은 세기를 포함할 수 있으나, 바람직하게는 상기 음성을 일정한 구간으로 나누어, 각 구간에 대한 스펙트럼을 Mel Filter Bank를 적용하여 Cepstral 분석을 통해 특징을 추출하는 Mel-Frequency Cepstral Coefficient(MFCC)를 포함할 수 있다.
상기 피처추출모델이 입력되는 인터랙션의 텍스트정보는 바람직하게 해당 텍스트정보를 토큰단위로 임베딩된 복수의 벡터에 해당될 수 있다.
한편, 피처추출모델의 출력에 해당하는 특징정보(벡터열)는 상기 제1세부특징정보, 상기 제2세부특징정보 및 상기 제3세부특징정보에 기초하여 도출된다. 가장 간단한 방법으로는 상기 제1세부특징정보, 상기 제2세부특징정보 및 제3세부특징정보를 단순 결합하여 상기 특징정보를 도출할 수 있고, 혹은 상기 제1세부특징정보, 상기 제2세부특징정보 및 상기 제3세부특징정보에 가중치 등을 적용하여 상기 특징정보를 도출할 수도 있다.
또한, 본 발명의 다른 실시예에서 상기 피처추출모델은 사용자가 입력할 수 있는 인터랙션에 유형에 따라 상이하게 구성될 수도 있다. 예를 들어, 사용자가 텍스트, 음성, 영상 모두를 복합적으로 포함하는 인터랙션을 입력할 수 있는 경우에 상기 피처추출모델은 도 7에 도시된 바와 같이, 영상정보에 대한 특징정보를 도출하는 구성요소, 음성정보에 대한 특징정보를 도출하는 구성요소 및 텍스트정보에 대한 특징정보를 도출하는 구성요소 모두를 포함할 수 있다. 한편, 사용자가 텍스트, 음성, 영상 가운데 1 이상의 유형을 사용하여 인터랙션을 입력할 수 있는 경우에 상기 피처추출모델은 해당 유형에 상응하는 구성요소만을 포함할 수도 있다.
도 8은 본 발명의 일 실시예에 따른 피처추론모델의 내부 구성을 개략적으로 도시한다.
도 8에 도시된 바와 같이, 피처추론모델은 피처추출모델로부터 도출된 특징정보에 대해 복수의 Fully Connected Layer에 의하여 학습된 가중치를 부여하여 중간결과(Representative Vector)를 도출하는 과정을 수행하여 사용자가 입력한 인터랙션에 대한 결과값을 도출한다. 예를 들어, 상술한 기계학습된 평가모델(1800)은 사용자가 입력한 인터랙션을 분석하여 해당 인터랙션에 대한 추론정보를 도출할 수 있다.
상기 Fully Connected Layer의 개수는 도 8에 도시된 개수에 한정되지 아니하고, 상기 피처추론모델은 1 이상의 Fully Connected Layer를 포함할 수 있다. 상기 피처추론모델이 단일의 Fully Connected Layer로 이루어진 경우에 상기 중간결과는 생략될 수도 있다.
한편, 본 발명의 다른 실시예에서 상기 피처추론모델은 Softmax 활성화 함수를 사용하여 기설정된 판별기준에 따라 분류하도록 하는 문제를 처리하거나 Sigmoid 활성화 함수 등을 이용하여 점수를 도출하는 방식으로 구현될 수도 있다.
도 9는 본 발명의 일 실시예에 따른 복수의 영상트리가 연결되어 있는 구성을 개략적으로 도시한다.
도 9에 도시된 바와 같이, 상기 위치이동정보는, 상기 판별조건에 따라 사용자가 입력한 인터랙션에 상응하는 영상에서 타 영상으로 해당 사용자의 위치를 이동하는 제1위치이동정보; 및 상기 판별조건에 따라 사용자가 직전에 입력한 인터랙션에 상응하는 영상에 대하여 다시 인터랙션을 입력하도록 하는 제2위치이동정보;를 포함할 수 있다.
구체적으로, 영상트리에서의 사용자의 인터랙션에 따라 사용자의 위치를 이동하기 위한 정보에 해당하는 위치이동정보는 제1위치이동정보 및 제2위치이동정보를 포함한다. 상기 제1위치이동정보는 영상트리에서의 사용자의 현재 위치에 상응하는 영상에 대하여 사용자가 입력한 인터랙션이 해당 영상의 판별조건에 부합하는 경우, 더 구체적으로 판별조건에 포함되는 특정 세부판별조건에 부합하는 경우에 현재 위치에 상응하는 영상에서 타 영상으로 사용자의 위치를 이동시킬 수 있는 정보에 해당한다.
한편, 상기 제2위치이동정보는 영상트리에서의 사용자의 현재 위치에 상응하는 영상에 대하여 사용자가 입력한 인터랙션이 해당 영상의 판별조건에 부합하는 경우, 더 구체적으로 판별조건에 포함되는 특정 세부판별조건에 부합하는 경우에 사용자가 직전에 인터랙션했던 영상, 즉 사용자의 현재 위치에 상응하는 영상에 대하여 사용자가 다시 인터랙션을 입력하도록 하는 정보에 해당한다. 이에 따라, 사용자가 현재 위치의 영상에 대하여 입력한 인터랙션이 제2위치이동정보에 상응하는 경우에 상기 서버시스템(1000)은 사용자에게 다시 현재 위치의 영상을 제공함으로써 사용자가 다시 인터랙션을 입력할 수 있도록 하거나, 혹은 다시 인터랙션을 수행하도록 요청하는 별도의 영상을 사용자에게 제공함으로써 다시 사용자가 인터랙션을 입력할 수 있도록 한다.
또한, 도 9에 도시된 바와 같이, 상기 서버시스템(1000)에는 복수의 영상트리가 저장되어 있고, 영상트리의 위치이동정보는, 해당 영상트리에 포함된 영상에 대한 사용자의 인터랙션에 따른 판별조건에 기초하여 타 영상트리에 포함된 특정 영상으로 해당 사용자의 위치를 이동시키는 제3위치이동정보를 포함할 수 있다.
구체적으로, 위치이동정보는 단일 영상트리 내에서의 사용자의 위치를 결정할 수 있는 것뿐만 아니라, 특정 영상트리에서 타 영상트리의 특정 영상에 상응하는 위치로 사용자의 위치를 이동하기 위한 제3위치이동정보를 더 포함할 수 있다. 즉, 상기 제3위치이동정보는 영상트리에서의 사용자의 현재 위치에 상응하는 영상에 대하여 사용자가 입력한 인터랙션이 해당 영상의 판별조건에 부합하는 경우, 더 구체적으로 판별조건에 포함되는 특정 세부판별조건에 부합하는 경우에 현재 위치에 상응하는 영상에서 타 영상트리에 포함된 특정 영상으로 사용자의 위치를 이동시킬 수 있는 정보에 해당한다.
이와 같이, 본 발명의 위치이동정보는 상술한 제1위치이동정보, 제2위치이동정보 및 제3위치이동정보를 포함하므로, 사용자 위치에 대한 다양한 루트를 설정할 수 있고, 따라서 사용자의 1 이상의 인터랙션에 따른 다양한 타 서비스를 제공할 수 있는 효과를 발휘할 수 있다.
도 10은 본 발명의 일 실시예에 따른 영상트리에서 사용자 인터랙션에 따른 사용자의 위치 이동을 개략적으로 도시한다.
도 10은 상술한 영상트리의 예시적으로 도시한 도면에 해당한다. 도 10에 도시된 영상트리에서 사용자의 현재 위치가 영상 C1에 위치해 있는 경우에 상기 영상정보제공단계(S10)는 사용자에게 영상 C1을 제공하고, 사용자는 영상 C1에 대한 인터랙션을 입력할 수 있다.
도 10의 위치조건정보에 기재된 바와 같이, 사용자는 영상 C1에 대한 다양한 유형의 인터랙션을 입력할 수 있다. 예를 들어, 사용자는 기설정된 복수의 행동 텍스트 가운데 특정 텍스트를 선택하여 인터랙션을 입력하거나, 음성을 발성하여 인터랙션을 입력하거나, 표정 및/또는 포즈를 촬영하여 인터랙션을 입력할 수 있다. 한편, 상기 인터랙션은 다양한 유형 가운데 어느 하나의 유형만을 포함할 수 있으나, 바람직하게는 다양한 유형 가운데 1 이상의 유형을 포함할 수 있다.
상기 위치결정단계(S11)는 사용자가 입력한 인터랙션 및 해당 영상의 위치조건정보에 따라 영상트리에서의 사용자의 다음 위치를 결정한다. 도 10을 예로 들면, 사용자가 영상 C1에 대한 인터랙션으로 특정 행동 텍스트를 선택한 경우에 위치결정단계(S11)는 사용자가 선택한 특정 행동 텍스트에 상응하는 위치이동정보에 따라 사용자의 다음 위치를 영상 C2로 결정한다.
한편, 사용자가 영상 C1에 대한 인터랙션으로 다른 곳을 응시하는 표정 또는 포즈를 입력한 경우에 위치결정단계(S11)는 기계학습된 평가모델(1800)을 사용하여 해당 인터랙션이 다른 곳을 응시하는 것임을 판별하고, 다른 곳을 응시하는 인터랙션에 상응하는 위치이동정보에 따라 사용자의 다음 위치를 영상 C3으로 결정한다.
또한, 사용자의 다음 위치가 영상 C3으로 결정되기 위한 위치이동정보가 상술한 제1위치이동정보인 경우에 사용자는 영상 C3에 대한 인터랙션을 입력할 수 있으며, 반면에 위치이동정보가 상술한 제2위치이동정보인 경우에 사용자는 영상 C3을 제공받고, 다시 영상 C1과 관련된 인터랙션을 입력할 수 있다.
도 11은 본 발명의 일 실시예에 따른 영상트리생성인터페이스(1610)를 개략적으로 도시한다.
도 11에 도시된 바와 같이, 상기 동영상 인터랙션 플랫폼의 제공방법은, 사용자의 요청에 따라 복수의 영상을 수신하고, 각 영상에 대한 위치조건정보 및 결과정보의 설정을 입력받는 영상트리생성인터페이스(1610)를 상기 사용자에게 제공하는 제작빌더제공단계;를 더 포함할 수 있다.
구체적으로, 본 발명의 동영상 인터랙션 플랫폼은 서버시스템(1000)에 기저장된 영상트리를 사용자에게 제공하는 것뿐만 아니라, 서버시스템(1000)에서 수행하는 제작빌더제공단계를 통해 사용자의 요청에 따라 사용자가 직접 영상트리를 생성할 수 있는 영상트리생성인터페이스(1610)를 제공할 수 있다.
도 11에 도시된 바와 같이 영상트리생성인터페이스(1610)는 영상트리의 생성을 요청한 사용자의 사용자단말에 디스플레이 되고, 상기 영상트리생성인터페이스(1610)는 영상트리를 설정하기 위한 다양한 요소들을 입력할 수 있는 영역들을 포함할 수 있다.
상기 영상트리생성인터페이스(1610)는 영상업로드영역(1611), 영상재생영역(1612), 판별조건설정영역(1613), 위치이동정보설정영역(1614) 및 영상트리미리보기영역(1615)을 포함할 수 있다. 상기 영상업로드영역(1611)은 영상트리에 포함되는 복수의 영상을 업로드할 수 있는 영역에 해당한다. 사용자는 상기 영상업로드영역(1611)을 통해 복수의 영상을 업로드하고, 업로드된 특정 영상(도 11에서는 영상#1)을 선택하는 경우에, 상기 영상트리생성인터페이스(1610)에서 특정 영상에 대한 판별조건 및 위치이동정보를 설정할 수 있다.
상기 영상재생영역(1612)은 상기 영상업로드영역(1611)에서 사용자가 선택한 특정 영상을 확인할 수 있는 영역에 해당하며, 사용자가 상기 영상재생영역(1612)에 포함된 재생엘리먼트를 선택하는 경우에 해당 영상은 상기 영상재생영역(1612)에서 재생될 수 있다.
상기 판별조건설정영역(1613)은 선택된 영상에 대한 판별조건을 설정할 수 있는 영역에 해당한다. 사용자는 상기 판별조건설정영역(1613)에서 해당 영상에 대하여 사용자가 입력하는 인터랙션에 대한 판별조건, 구체적으로 상기 판별조건에 포함되는 1 이상의 세부판별조건을 설정할 수 있다. 예를 들어, 도 11에 도시된 바와 같이, 점심을 먹었는지 묻는 영상에 대한 세부판별조건으로 해당 영상트리를 생성하고자 하는 사용자는 점심을 먹었다는 긍정적 인터랙션에 대한 세부판별조건(도 11의 a) 및 점심을 먹지 않았다는 부정적 인터랙션에 대한 세부판별조건(도 11의 b)을 상기 판별조건설정영역(1613) 상에서 설정할 수 있다.
상기 위치이동정보설정영역(1614)은 사용자가 입력한 영상에 대한 인터랙션이 특정 세부판별조건을 만족하는 경우에 사용자의 다음 위치를 결정하기 위한 위치이동정보를 설정할 수 있는 영역에 해당한다. 사용자는 해당 영상에 대한 세부판별조건별로 사용자의 다음 위치에 해당하는 영상을 설정하는 것으로 위치이동정보를 설정할 수 있다. 예를 들어, 도 11에 도시된 바와 같이, 영상트리를 생성하는 사용자는, 영상#1에 대하여 생성하고자 하는 영상트리를 이용하는 이용자가 입력한 인터랙션이 긍정적 인터랙션에 대한 세부판별조건에 부합하는 경우에 영상#2에 해당하는 위치로 이용자의 다음 위치를 결정하기 위한 위치이동정보를 설정할 수 있고, 이용자가 입력한 인터랙션이 부정적 인터랙션에 대한 세부판별조건에 부합하는 경우에 영상#4에 해당하는 위치로 이용자의 다음 위치를 결정하기 위한 위치이동정보를 설정할 수 있다. 또한, 상기 위치이동정보설정영역(1614)에서는 생성하고자 하는 영상트리에서의 세부판별조건에 상응하는 다음 위치로써 사용자에게 결과정보를 제공하는 것으로 설정할 수 있다. 예를 들어, 사용자가 입력한 인터랙션이 특정 세부판별조건을 만족하는 경우에, 영상트리에서 입력한 사용자의 1 이상의 인터랙션 및/또는 영상트리에서의 사용자가 위치 이력에 따른 최종결과 또는 영상트리에서 입력한 사용자의 1 이상의 인터랙션 및/또는 영상트리에서의 사용자가 위치 이력에 따른 타 서비스를 제공하기 위한 타서비스연결정보를 포함하는 결과정보를 사용자에게 제공하는 것으로 설정할 수도 있다.
상기 영상트리미리보기영역(1615)은 사용자가 상기 영상트리생성인터페이스(1610)를 통해 설정한 혹은 설정 중에 있는 영상트리의 전체적인 형태가 시각적으로 도식화되어 표시되는 영역에 해당한다. 따라서 사용자는 상기 영상트리미리보기영역(1615)을 통해 생성하고자 하는 영상트리를 효과적으로 검토할 수 있다.
도 12는 본 발명의 일 실시예에 따른 타 서비스가 제공되는 과정을 개략적으로 도시한다.
도 12에 도시된 바와 같이, 상기 영상트리에서의 사용자의 위치 혹은 영상에 대한 사용자의 인터랙션에 상응하는 결과정보는 사용자에게 타 서비스를 제공하기 위한 타서비스연결정보를 포함하고, 상기 결과정보제공단계(S13)에서 제공되는 타서비스연결정보와 연결되는 타 서비스는, 별도의 기계학습된 평가모델을 통해 사용자의 인터랙션에 대한 응답정보를 도출하고, 상기 응답정보에 따라 발화하는 오브젝트(1710)를 사용자에게 제공할 수 있다.
본 발명의 일 실시예에서 영상트리를 통해 사용자에게 제공되는 타 서비스는 전문가와의 비대면 상담이나, 기설정된 컨텐츠를 제공하는 것으로 구현될 수 있으나, 바람직하게는 상기 타 서비스는 AI 휴먼과 같이, 사용자와의 인터랙션에 따라 응답정보를 생성하고, 상기 응답정보에 따라 발화하는 오브젝트(1710)를 사용자에게 제공하는 형태로 구현될 수 있다.
이에 따라, 상기 타 서비스를 제공하는 타서비스서버(3000) 또는 서버시스템(1000)에 포함되는 타서비스제공부(1700)는 타 서비스를 제공받는 사용자가 입력한 질문에 대한 답변 등에 대한 인터랙션을 추론하기 위하여 별도의 기계학습된 평가모델을 사용할 수 있고, 상기 기계학습된 평가모델을 통해 도출된 추론정보에 따라 사용자가 입력한 인터랙션에 대응하는 텍스트 형태의 응답정보를 도출할 수 있다. 이어서 상기 타서비스서버(3000) 또는 상기 타서비스제공부(1700)는 도출된 응답정보를 오브젝트(1710)를 통해 사용자에게 제공할 수 있다.
구체적으로, 상기 오브젝트(1710)는 단순히 텍스트 형태의 응답정보 그대로를 표시하는 형태로 구현될 수 있고, 상기 타서비스서버(3000) 또는 상기 타서비스제공부(1700)는 상기 응답정보를 음성형태로 변환하고, 음성으로 변환된 응답정보를 오브젝트(1710)를 통해 오디오 형태로 사용자에게 제공하는 형태로 구현될 수 있다.
바람직하게는 상기 타서비스서버(3000) 또는 상기 타서비스제공부(1700)는 상기 응답정보를 음성형태로 변환하고, 음성으로 변환된 응답정보에 기초하여 상기 오브젝트(1710)가 자연스럽게 발화하도록 하는 얼굴움직임정보를 도출함으로써, 상기 음성으로 변환된 응답정보 및 상기 얼굴움직임정보에 따라 상기 오브젝트(1710)가 얼굴의 표정이 변화하면서 상기 음성으로 변환된 응답정보를 발화하는 형태로 구현될 수 있다. 한편, 이와 같은 형태로 구현되는 경우에 상기 오브젝트(1710)는 인간의 외형, 또는 얼굴 형태를 가질 수 있다. 또한, 상기 타서비스서버(3000) 또는 상기 타서비스제공부(1700)는 텍스트 형태의 응답정보를 음성 형태로 변환하기 위한 Text to Speech(TTS) 모듈 및 음성 형태로 변환된 응답정보에 따라 오브젝트(1710)의 얼굴 움직임을 생성하기 위한 Speech to Face 모듈을 포함할 수 있다. 한편, 상기 TTS 모듈 및 Speech to Face 모듈은 종래에 사용되는 다양한 방법으로 구현될 수 있다.
이와 같이, 타서비스서버(3000) 또는 타서비스제공부(1700)에서 사용자에게 제공하는 타 서비스는 사용자의 인터랙션에 따라 발화하는 오브젝트(1710)를 통해 구현되므로, 사용자 맞춤형 서비스를 제공할 수 있고, 사용자의 흥미를 유발할 수 있는 효과를 발휘할 수 있다.
도 13은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 개략적으로 도시한다.
상술한 도 1에 도시된 서버시스템(1000)은 상기 도 13에 도시된 컴퓨팅장치(11000)의 구성요소들을 포함할 수 있다.
도 13에 도시된 바와 같이, 컴퓨팅장치(11000)는 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅장치(11000)는 도 1에 도시된 서버시스템(1000)에 해당될 수 있다.
메모리(11200)는 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그 밖에 다양한 데이터를 포함할 수 있다.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.
주변장치 인터페이스(11300)는 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.
이러한 도 13의 실시예는, 컴퓨팅장치(11000)의 일례일 뿐이고, 컴퓨팅장치(11000)는 도 13에 도시된 일부 컴포넌트가 생략되거나, 도 13에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 13에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(11600)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 컴퓨팅장치(11000)에 설치될 수 있다. 일 예로, 파일 배포 시스템은 컴퓨팅장치(11000)의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명의 일 실시예에 따르면, 동영상을 기반으로 하는 영상트리를 사용자에게 제공함으로써, 사용자의 서비스 참여에 대한 흥미를 유발할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 영상트리의 최종단계에서 사용자에게 타 서비스를 제공하는 타서비스서버 혹은 서버시스템의 타서비스제공부에 영상트리에서의 사용자의 1 이상의 위치 혹은 사용자인터랙션정보를 제공하므로, 사용자에게 더욱 적합한 타 서비스를 제공할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 영상트리를 통해 사용자에게 타 서비스를 제공하고, 사용자가 타 서비스를 제공받아 도출된 서비스결과정보가 영상트리의 특정 영상과 연결되어 있으므로, 사용자에게 다양한 형태의 서비스를 제공할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 영상트리의 영상에 대하여 사용자는 다양한 인터랙션을 입력할 수 있고, 사용자의 인터랙션을 기계학습된 평가모델에 입력하여 판별조건을 도출할 수 있으므로, 기설정된 선택지를 선택하는 종래의 방법과 비교하여 사용자의 흥미를 유발함과 동시에 사용자에게 더욱 정확한 타 서비스를 제공할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 사용자에게 영상트리생성인터페이스를 제공하여 사용자가 직접 영상트리를 구축할 수 있으므로, 동영상 인터랙션 플랫폼을 활성화할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 영상트리의 영상에 대한 사용자의 인터랙션에 따라 타 영상트리의 특정 영상으로 사용자의 위치가 이동될 수 있으므로, 복수의 영상트리가 연계되어 사용자에게 다양한 타 서비스를 제공할 수 있는 효과를 발휘할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (11)

  1. 서버시스템에서 수행하는 동영상 인터랙션 플랫폼의 제공방법으로서,
    상기 서버시스템에는 복수의 영상트리가 저장되어 있고,
    상기 영상트리 각각은 복수의 영상을 포함하되, 상기 복수의 영상 각각은 자신만의 고유한 위치값을 포함하며, 기저장된 복수의 조건에 의해 1 이상의 방향으로 분기되고,
    상기 서버시스템에는 영상트리에 대한 복수의 영상 혹은 복수의 영상을 생성하기 위한 기초데이터를 포함하는 영상정보, 각 영상에 대한 사용자의 인터랙션을 판별하기 위한 판별조건 및 상기 판별조건에 따른 위치 이동에 대한 위치이동정보를 포함하는 위치조건정보, 및 상기 영상트리에서의 사용자의 위치 혹은 영상에 대한 사용자의 인터랙션에 상응하는 결과정보가 저장되어 있고, 상기 영상트리에서의 사용자의 위치는 해당 사용자의 영상에 대한 인터랙션에 따라 이동될 수 있고,
    상기 동영상 인터랙션 플랫폼의 제공방법은,
    상기 영상트리에서의 사용자의 현재 위치에 해당하는 영상을 사용자에게 제공하는 영상정보제공단계;
    상기 영상정보제공단계를 통해 제공된 영상에 대한 사용자의 인터랙션에 대하여 상기 영상트리에서의 사용자의 현재 위치에 상응하는 위치조건정보를 적용하여 사용자의 다음 위치를 결정하는 위치결정단계; 및
    사용자의 위치 혹은 1 이상의 영상에 대한 사용자의 인터랙션이 기설정된 조건에 상응하는 경우에 결과정보를 사용자에게 제공하는 결과정보제공단계;를 포함하는, 동영상 인터랙션 플랫폼의 제공방법.
  2. 청구항 1에 있어서,
    상기 영상트리에서의 사용자의 위치 혹은 영상에 대한 사용자의 인터랙션에 상응하는 결과정보는 사용자에게 타 서비스를 제공하기 위한 타서비스연결정보를 포함하고,
    상기 동영상 인터랙션 플랫폼의 제공방법은,
    상기 결과정보제공단계를 통해 제공된 타서비스연결정보를 통해 사용자가 타 서비스로의 연결을 요청한 경우에, 사용자가 상기 영상트리에서 수행한 1 이상의 영상 각각에 대한 인터랙션을 포함하는 사용자인터랙션정보를 상기 타 서비스를 수행하는 타서비스서버 혹은 상기 타 서비스를 수행하는 상기 서버시스템의 내부 구성으로 송신하는 사용자인터랙션정보송신단계;를 더 포함하는, 동영상 인터랙션 플랫폼의 제공방법.
  3. 청구항 1에 있어서,
    상기 영상트리에서의 사용자의 위치 혹은 영상에 대한 사용자의 인터랙션에 상응하는 결과정보는 사용자에게 타 서비스를 제공하기 위한 타서비스연결정보를 포함하고,
    상기 동영상 인터랙션 플랫폼의 제공방법은,
    상기 결과정보제공단계를 통해 제공된 타서비스연결정보를 통해 사용자가 타 서비스로의 연결을 요청한 경우에, 상기 영상트리에서 해당 사용자가 위치했던 1 이상의 위치정보를 상기 타 서비스를 수행하는 타서비스서버 혹은 상기 타 서비스서버를 수행하는 상기 서버시스템의 내부 구성으로 송신하는 사용자위치이력송신단계;를 더 포함하는, 동영상 인터랙션 플랫폼의 제공방법.
  4. 청구항 1에 있어서,
    상기 영상트리에서의 사용자의 위치 혹은 영상에 대한 사용자의 인터랙션에 상응하는 결과정보는 사용자에게 타 서비스를 제공하기 위한 타서비스연결정보를 포함하고,
    상기 영상트리에 포함된 특정 영상은, 상기 사용자가 상기 타 서비스를 수행하여 획득한 서비스결과정보와 연결되어 있는, 동영상 인터랙션 플랫폼의 제공방법.
  5. 청구항 1에 있어서,
    상기 인터랙션은 영상에 대한 텍스트입력, 음성입력, 얼굴정보입력, 포즈입력, 제스쳐입력 및 배경정보입력 가운데 1 이상을 포함하고,
    상기 위치결정단계는, 상기 인터랙션을 기계학습된 평가모델에 입력하여 출력된 추론정보 및 상기 영상트리에서의 사용자의 현재 위치에 상응하는 위치조건정보를 적용하여 사용자의 다음 위치를 결정하는, 동영상 인터랙션 플랫폼의 제공방법.
  6. 청구항 1에 있어서,
    상기 인터랙션은 영상에 대한 복수의 선택지 가운데 특정 선택지에 대한 선택입력; 및 영상에 대한 텍스트입력, 음성입력, 얼굴정보입력, 포즈입력, 제스쳐입력 및 배경정보입력 가운데 1 이상의 입력;을 포함하고,
    상기 위치결정단계는, 상기 특정 선택지에 대한 선택입력, 상기 영상에 대한 텍스트입력, 음성입력, 표정입력, 포즈입력, 제스쳐입력 및 배경정보입력 가운데 1 이상의 입력을 기계학습된 평가모델에 입력하여 출력된 추론정보 및 상기 영상트리에서의 사용자의 현재 위치에 상응하는 위치조건정보를 적용하여 사용자의 다음 위치를 결정하는, 동영상 인터랙션 플랫폼의 제공방법.
  7. 청구항 1에 있어서,
    상기 위치이동정보는,
    상기 판별조건에 따라 사용자가 입력한 인터랙션에 상응하는 영상에서 타 영상으로 해당 사용자의 위치를 이동하는 제1위치이동정보; 및
    상기 판별조건에 따라 사용자가 직전에 입력한 인터랙션에 상응하는 영상에 대하여 다시 인터랙션을 입력하도록 하는 제2위치이동정보;를 포함하는, 동영상 인터랙션 플랫폼의 제공방법.
  8. 청구항 1에 있어서,
    상기 동영상 인터랙션 플랫폼의 제공방법은,
    사용자의 요청에 따라 복수의 영상을 수신하고, 각 영상에 대한 위치조건정보 및 결과정보의 설정을 입력받는 영상트리생성인터페이스를 상기 사용자에게 제공하는 제작빌더제공단계;를 더 포함하는, 동영상 인터랙션 플랫폼의 제공방법.
  9. 청구항 1에 있어서,
    영상트리의 위치이동정보는, 해당 영상트리에 포함된 영상에 대한 사용자의 인터랙션에 따른 판별조건에 기초하여 타 영상트리에 포함된 특정 영상으로 해당 사용자의 위치를 이동시키는 제3위치이동정보를 포함하는, 동영상 인터랙션 플랫폼의 제공방법.
  10. 청구항 1에 있어서,
    상기 영상트리에서의 사용자의 위치 혹은 영상에 대한 사용자의 인터랙션에 상응하는 결과정보는 사용자에게 타 서비스를 제공하기 위한 타서비스연결정보를 포함하고,
    상기 결과정보제공단계에서 제공되는 타서비스연결정보와 연결되는 타 서비스는, 기계학습된 평가모델을 통해 사용자의 인터랙션에 대한 응답정보를 도출하고, 상기 응답정보에 따라 발화하는 오브젝트를 사용자에게 제공하는, 동영상 인터랙션 플랫폼의 제공방법.
  11. 동영상 인터랙션 플랫폼의 제공방법을 수행하는 서버시스템으로서,
    상기 서버시스템에는 복수의 영상트리가 저장되어 있고,
    상기 영상트리 각각은 복수의 영상을 포함하되, 상기 복수의 영상 각각은 자신만의 고유한 위치값을 포함하며, 기저장된 복수의 조건에 의해 1 이상의 방향으로 분기되고,
    상기 서버시스템에는 영상트리에 대한 복수의 영상 혹은 복수의 영상을 생성하기 위한 기초데이터를 포함하는 영상정보, 각 영상에 대한 사용자의 인터랙션을 판별하기 위한 판별조건 및 상기 판별조건에 따른 위치 이동에 대한 위치이동정보를 포함하는 위치조건정보, 및 상기 영상트리에서의 사용자의 위치 혹은 영상에 대한 사용자의 인터랙션에 상응하는 결과정보가 저장되어 있고, 상기 영상트리에서의 사용자의 위치는 해당 사용자의 영상에 대한 인터랙션에 따라 이동될 수 있고,
    상기 영상트리에서의 사용자의 현재 위치에 해당하는 영상을 사용자에게 제공하는 영상정보제공단계;
    상기 영상정보제공단계를 통해 제공된 영상에 대한 사용자의 인터랙션에 대하여 상기 영상트리에서의 사용자의 현재 위치에 상응하는 위치조건정보를 적용하여 사용자의 다음 위치를 결정하는 위치결정단계; 및
    사용자의 위치 혹은 1 이상의 영상에 대한 사용자의 인터랙션이 기설정된 조건에 상응하는 경우에 결과정보를 사용자에게 제공하는 결과정보제공단계;를 수행하는, 서버시스템.
KR1020210091590A 2021-07-13 2021-07-13 동영상 인터랙션 플랫폼의 제공방법 및 이를 수행하는 서버시스템 KR102524015B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210091590A KR102524015B1 (ko) 2021-07-13 2021-07-13 동영상 인터랙션 플랫폼의 제공방법 및 이를 수행하는 서버시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210091590A KR102524015B1 (ko) 2021-07-13 2021-07-13 동영상 인터랙션 플랫폼의 제공방법 및 이를 수행하는 서버시스템

Publications (2)

Publication Number Publication Date
KR20230011041A KR20230011041A (ko) 2023-01-20
KR102524015B1 true KR102524015B1 (ko) 2023-04-20

Family

ID=85108643

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210091590A KR102524015B1 (ko) 2021-07-13 2021-07-13 동영상 인터랙션 플랫폼의 제공방법 및 이를 수행하는 서버시스템

Country Status (1)

Country Link
KR (1) KR102524015B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101547815B1 (ko) * 2008-11-27 2015-08-28 삼성전자주식회사 아이피 멀티미디어 부시스템에서 타 서비스를 제공하기 위한 장치 및 방법
KR101750060B1 (ko) * 2015-08-13 2017-06-22 이철우 반응형 영상 생성방법 및 생성프로그램
KR102009426B1 (ko) * 2017-12-08 2019-10-21 네이버웹툰 주식회사 사용자의 인터랙션에 따라 제어 또는 합성된 콘텐츠를 제공하는 방법 및 장치

Also Published As

Publication number Publication date
KR20230011041A (ko) 2023-01-20

Similar Documents

Publication Publication Date Title
KR102130750B1 (ko) 빅데이터 및 인공지능 기반 양방향 가상현실 콘텐츠를 이용한 심리상담 서비스 제공 방법
US10335954B2 (en) Methods and systems for managing dialogs of a robot
Fadhil Can a chatbot determine my diet?: Addressing challenges of chatbot application for meal recommendation
CN107895577A (zh) 使用长尾语音命令的任务发起
CN110462676A (zh) 电子装置、其控制方法和非暂态计算机可读记录介质
US11836592B2 (en) Communication model for cognitive systems
KR102139855B1 (ko) 사용자와 대화하며 내면 상태를 이해하고 긴밀한 관계를 맺을 수 있는 감성지능형 개인비서 시스템
Cruz-Sandoval et al. Semi-autonomous conversational robot to deal with problematic behaviors from people with dementia
KR102507811B1 (ko) 공감 심리학 기반의 챗봇 서비스를 통한 유저 심리 관리 시스템
Brinkschulte et al. The EMPATHIC project: building an expressive, advanced virtual coach to improve independent healthy-life-years of the elderly
Huang et al. Developing context-aware dialoguing services for a cloud-based robotic system
Churamani et al. Affect-driven learning of robot behaviour for collaborative human-robot interactions
Sridhar et al. E-Bot: A facial recognition based human-robot emotion detection system
US11659248B1 (en) Method, server and computer-readable medium for generating interactive content
Feldman et al. Engagement with artificial intelligence through natural interaction models
KR102524015B1 (ko) 동영상 인터랙션 플랫폼의 제공방법 및 이를 수행하는 서버시스템
Augello et al. Social practices for social driven conversations in serious games
Andrade et al. A survey on the semi supervised learning paradigm in the context of speech emotion recognition
Gamborino et al. Towards effective robot-assisted photo reminiscence: Personalizing interactions through visual understanding and inferring
CA3233781A1 (en) Mental health intervention using a virtual environment
Grassi et al. Grounding Conversational Robots on Vision Through Dense Captioning and Large Language Models
O'Dwyer et al. Affective computing using speech and eye gaze: a review and bimodal system proposal for continuous affect prediction
KR102693674B1 (ko) 인터랙티브 콘텐츠의 노드를 추천하는 방법, 이를 수행하는 서비스서버 및 컴퓨터-판독가능 매체
Liu et al. Let’s keep in touch online: a Facebook aware virtual human interface
KR102702170B1 (ko) 발달 장애 케어 서비스 제공 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant