KR20210107831A - 동영상 전송 시스템 - Google Patents

동영상 전송 시스템 Download PDF

Info

Publication number
KR20210107831A
KR20210107831A KR1020217023924A KR20217023924A KR20210107831A KR 20210107831 A KR20210107831 A KR 20210107831A KR 1020217023924 A KR1020217023924 A KR 1020217023924A KR 20217023924 A KR20217023924 A KR 20217023924A KR 20210107831 A KR20210107831 A KR 20210107831A
Authority
KR
South Korea
Prior art keywords
viewer
video
data
moving picture
information
Prior art date
Application number
KR1020217023924A
Other languages
English (en)
Inventor
유키 사토
준 쿠마노
Original Assignee
에이벡스 테쿠노로지 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018248800A external-priority patent/JP7376236B2/ja
Priority claimed from JP2018248787A external-priority patent/JP7376235B2/ja
Priority claimed from JP2018248798A external-priority patent/JP7486283B2/ja
Priority claimed from JP2019010753A external-priority patent/JP2020120304A/ja
Priority claimed from JP2019010752A external-priority patent/JP7376238B2/ja
Priority claimed from JP2019091008A external-priority patent/JP7289219B2/ja
Priority claimed from JP2019091010A external-priority patent/JP2020188347A/ja
Application filed by 에이벡스 테쿠노로지 가부시키가이샤 filed Critical 에이벡스 테쿠노로지 가부시키가이샤
Publication of KR20210107831A publication Critical patent/KR20210107831A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2408—Monitoring of the upstream path of the transmission network, e.g. client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/252—Processing of multiple end-users' preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

동영상 전송 시스템은 복수의 동영상 데이터를 기억하는 동영상 라이브러리를 구비한다. 동영상 전송 시스템은 상기 동영상 데이터를 전송하는 동영상 전송부와, 적어도 제1 상기 동영상 데이터 재생 중에 복수의 시청자로부터의 반응을 나타내는 반응 정보를 취득하는 반응 취득부를 더 구비한다. 동영상 전송 시스템은 상기 반응 정보에 따라, 상기 제1 동영상 데이터의 다음에 전송하는 제2 상기 동영상 데이터를 결정하는 전환 결정부를 더 구비한다.

Description

동영상 전송 시스템
본 발명은 동영상 전송 시스템에 관한 것이다.
동영상 전송 시스템이 보급되고 있다. 동영상 전송은 수동적으로 연속된 동영상이 재생되는 스트리밍 방식과 능동적으로 의도한 동영상을 재생시키는 온디맨드 방식이 있다. 온디맨드 방식은 재생하는 순번 등을 사용자에게 설정하게 하는 것이 실행되고 있다(예를 들면, 특허 문헌 1 참조).
[특허문헌 1] 일본국 특허 제5350728호 명세서
그러나, 스트리밍 방식의 동영상 전송에 있어서, 라이브 영상의 경우에는 시청자의 반응을 보면서 라이브 전개를 변경하는 것이 가능하지만, 기록이 끝난 동영상을 이용하는 경우에는 동영상의 전개가 결정적이이서 시청자의 반응에 따른 전개의 동영상을 전송하는 것은 곤란하다.
본 발명은 이러한 배경을 감안하여 이루어진 것으로, 시청자의 반응에 맞춘 동영상을 전송할 수 있는 기술을 제공하는 것을 목적으로 한다.
상기 과제를 해결하기 위한 본 발명의 주된 발명은 동영상 전송 시스템으로서, 복수의 동영상 데이터를 기억하는 동영상 라이브러리와, 상기 동영상 데이터를 전송하는 동영상 전송부와, 적어도 제1 상기 동영상 데이터의 재생 중에 복수의 시청자로부터의 반응을 나타내는 반응 정보를 취득하는 반응 취득부와, 상기 반응 정보에 따라, 상기 제1 동영상 데이터의 다음에 전송하는 제2 상기 동영상 데이터를 결정하는 전환 결정부를 구비하는 것으로 한다.
그 밖에 본원이 개시하는 과제나 그 해결 방법에 대해서는 발명의 실시 형태의 란 및 도면에 의해 분명하게 된다.
본 발명에 따르면, 시청자의 반응에 맞춘 동영상을 전송할 수 있다.
도 1은 본 실시 형태의 동영상 전송 시스템의 전체 구성예를 나타내는 도면이다.
도 2는 전송자 장치(3)의 하드웨어 구성예를 나타내는 도면이다.
도 3은 전송자 장치(3)의 소프트웨어 구성예를 나타내는 도면이다.
도 4는 동영상 라이브러리(331)의 구조예를 나타내는 도면이다.
도 5는 시나리오 기억부(332)의 구성예를 나타내는 도면이다.
도 6은 조건 기억부(333)의 구성예를 나타내는 도면이다.
도 7은 코멘트 기억부(334)의 구성예를 나타내는 도면이다.
도 8은 본 실시 형태의 동영상 전송 시스템에 의해 실행되는 처리의 흐름을 설명하는 도면이다.
도 9는 시청자 단말(1)에 표시되는 화면의 일례를 나타내는 도면이다.
도 10은 본 실시 형태의 동영상 전송 시스템의 전체 구성예를 나타내는 도면이다.
도 11은 전송자 장치(3)의 하드웨어 구성예를 나타내는 도면이다.
도 12는 전송자 장치(3)의 소프트웨어 구성예를 나타내는 도면이다.
도 13은 소재 라이브러리(331)의 구조예를 나타내는 도면이다.
도 14는 액션 기억부(333)의 구성예를 나타내는 도면이다.
도 15는 이벤트 기억부(334)의 구성예를 나타내는 도면이다.
도 16은 본 실시 형태의 동영상 전송 시스템에 의해 실행되는 처리의 흐름을 설명하는 도면이다.
도 17은 본 실시 형태의 악곡 전송 시스템의 전체 구성예를 나타내는 도면이다.
도 18은 전송자 장치(3)의 하드웨어 구성예를 나타내는 도면이다.
도 19는 전송자 장치(3)의 소프트웨어 구성예를 나타내는 도면이다.
도 20은 악곡 라이브러리(331)의 구조예를 나타내는 도면이다.
도 21은 플레이 리스트 기억부(332)의 구성예를 나타내는 도면이다.
도 22는 조건 기억부(333)의 구성예를 나타내는 도면이다.도 23은 코멘트 기억부(334)의 구성예를 나타내는 도면이다.
도 24는 본 실시 형태의 악곡 전송 시스템에 의해 실행되는 처리의 흐름을 설명하는 도면이다.
도 25는 시청자 단말(1)에 표시되는 화면의 일례를 나타내는 도면이다.
도 26은 본 실시 형태의 동영상 전송 시스템의 전체 구성예를 나타내는 도면이다.
도 27은 전송자 장치(3)의 하드웨어 구성예를 나타내는 도면이다.
도 28은 전송자 장치(3)의 소프트웨어 구성예를 나타내는 도면이다.
도 29는 동영상 라이브러리(331)의 구조예를 나타내는 도면이다.
도 30은 시나리오 기억부(332)의 구성예를 나타내는 도면이다.
도 31은 조건 기억부(333)의 구성예를 나타내는 도면이다.
도 32는 코멘트 기억부(334)의 구성예를 나타내는 도면이다.
도 33은 시청자 정보 기억부(335)의 구성예를 나타내는 도면이다.
도 34는 본 실시 형태의 동영상 전송 시스템에 의해 실행되는 처리의 흐름을 설명하는 도면이다.
도 35는 시청자 단말(1)에 표시되는 화면의 일례를 나타내는 도면이다.
도 36은 본 실시 형태의 동영상 전송 시스템의 전체 구성예를 나타내는 도면이다.
도 37은 시청자 단말(1)의 하드웨어 구성예를 나타내는 도면이다.
도 38은 전송자 장치(3)의 하드웨어 구성예를 나타내는 도면이다.
도 39는 전송자 장치(3)의 소프트웨어 구성예를 나타내는 도면이다.
도 40은 소재 라이브러리(331)의 구조예를 나타내는 도면이다.
도 41은 액션 기억부(333)의 구성예를 나타내는 도면이다.
도 42는 이벤트 기억부(334)의 구성예를 나타내는 도면이다.
도 43은 본 실시 형태의 동영상 전송 시스템에 의해 실행되는 처리의 흐름을 설명하는 도면이다.
도 44는 본 실시 형태의 동영상 전송 시스템의 전체 구성예를 나타내는 도면이다.
도 45는 전송자 장치(3)의 하드웨어 구성예를 나타내는 도면이다.
도 46은 전송자 장치(3)의 소프트웨어 구성예를 나타내는 도면이다.
도 47은 소재 라이브러리(331)의 구조예를 나타내는 도면이다.
도 48은 액션 기억부(333)의 구성예를 나타내는 도면이다.
도 49는 이벤트 기억부(334)의 구성예를 나타내는 도면이다.
도 50은 그룹 조건 기억부(335)의 구성예를 나타내는 도면이다.
도 51은 그룹 기억부(336)의 구성예를 나타내는 도면이다.
도 52는 본 실시 형태의 동영상 전송 시스템에 의해 실행되는 처리의 흐름을 설명하는 도면이다.
도 53은 본 실시 형태에 따른 시청자의 그룹 나눔 처리의 흐름을 설명하는 도면이다.
도 54는 본 실시 형태의 동영상 전송 시스템에서의 전송 동영상의 시청 화면의 일례를 나타내는 도면이다.
도 55는 본 실시 형태의 동영상 전송 시스템의 전체 구성예를 나타내는 도면이다.
도 56은 전송자 장치(3)의 하드웨어 구성예를 나타내는 도면이다.
도 57은 전송자 장치(3)의 소프트웨어 구성예를 나타내는 도면이다.
도 58은 소재 라이브러리(331)의 구조예를 나타내는 도면이다.
도 59는 액션 기억부(333)의 구성예를 나타내는 도면이다.
도 60은 이벤트 기억부(334)의 구성예를 나타내는 도면이다.
도 61은 그룹 조건 기억부(335)의 구성예를 나타내는 도면이다.
도 62는 그룹 기억부(336)의 구성예를 나타내는 도면이다.
도 63은 본 실시 형태의 동영상 전송 시스템에 의해 실행되는 처리의 흐름을 설명하는 도면이다.
도 64는 액션의 실행 처리의 흐름을 설명하는 도면이다.
도 65는 본 실시 형태에 따른 시청자의 그룹 나눔 처리의 흐름을 설명하는 도면이다.
도 66은 전송 동영상을 표시하는 화면(50)의 일례를 나타내는 도면이다.
<제1 실시 형태>
제1 실시 형태에 따른 동영상 전송 시스템은 이하와 같은 구성을 구비할 수 있다.
[항목 1]
복수의 동영상 데이터를 기억하는 동영상 라이브러리와,
상기 동영상 데이터를 전송하는 동영상 전송부와,
적어도 제1 상기 동영상 데이터 재생 중에 복수의 시청자로부터의 반응을 나타내는 반응 정보를 취득하는 반응 취득부와,
상기 반응 정보에 따라, 상기 제1 동영상 데이터의 다음에 전송하는 제2 상기 동영상 데이터를 결정하는 전환 결정부와,
를 구비하는 것을 특징으로 하는 동영상 전송 시스템.
[항목 2]
항목 1에 기재된 동영상 전송 시스템으로서,
상기 동영상 전송부는 상기 시청자의 시청자 단말 각각에 대하여 상기 동영상 데이터를 전송하는 동영상 전송 서버에 대하여 상기 제1 동영상 데이터를 송출하고,
복수의 상기 시청자 단말은 상기 시청자로부터 입력된 코멘트를 상기 동영상 전송 서버로 전송하고,
상기 반응 취득부는 상기 동영상 전송 서버로부터 상기 코멘트를 상기 반응 정보로서 취득하고,
상기 전환 결정부는 상기 코멘트에 포함되는 소정의 단어 수 또는 상기 소정의 단어를 포함하는 상기 코멘트를 투고한 상기 시청자 수에 따라 상기 제2 동영상 데이터를 결정하는 것,
을 특징으로 하는 동영상 전송 시스템.
[항목 3]
항목 1에 기재된 동영상 전송 시스템으로서,
상기 동영상 데이터마다, 다음에 전송하는 상기 동영상 데이터를 나타내는 정보를 기억하는 시나리오 기억부와,
상기 반응 정보에 대한 조건 및 다음에 전송하는 상기 동영상 데이터를 나타내는 정보를 기억하는 조건 기억부와,
를 더 구비하고,
상기 전환 결정부는 상기 반응 정보가 충족하는 상기 조건이 있는 경우에는 상기 반응 정보가 충족하는 상기 조건에 대응하는, 상기 제1 동영상 데이터의 다음에 전송하는 상기 동영상 데이터를 상기 제2 동영상 데이터로서 결정하고, 상기 반응 정보가 충족하는 상기 조건이 없는 경우에는 상기 시나리오 기억부로부터 상기 제1 동영상 데이터의 다음에 전송하는 상기 동영상 데이터를 상기 제2 동영상 데이터로서 결정하는 것,
을 특징으로 하는 동영상 전송 시스템.
이하, 제1 실시 형태에 따른 동영상 전송 시스템에 대해서 설명한다. 제1 실시 형태의 동영상 전송 시스템은 스트리밍 전송되는 동영상에 대한 시청자의 반응에 따라, 이 동영상의 전개(스토리)를 동적으로 변경하고자 하는 것이다. 제1 실시 형태에서는 동영상에 대한 반응은 동영상 시청 시에 투고된 시청자의 코멘트를 상정하고 있다. 즉, 동영상 재생 중에 투고된 코멘트 내용에 따라, 재생되는 동영상이 변화하게 된다. 예를 들면, 동영상 중에 2명의 캐릭터가 등장하는 경우, 많은 코멘트가 투고된 캐릭터를 메인으로 한 스토리로 분기될 수 있다. 이하, 상세에 대해서 설명한다.
도 1은 제1 실시 형태의 동영상 전송 시스템의 전체 구성예를 나타내는 도면이다. 제1 실시 형태의 동영상 전송 시스템은 전송자 장치(3)를 포함하여 구성되고, 전송자 장치(3)는 스트리밍 서버(2)와 통신 가능하게 접속되며, 스트리밍 서버(2)는 시청자 단말(1)과 통신 가능하게 접속된다. 전송자 장치(3)는 동영상 송신을 하는, 예를 들어 퍼스널 컴퓨터나 타블렛 컴퓨터, 스마트폰 등의 컴퓨터이다. 전송자 장치(3)는 예를 들어 동영상 전송을 하고 싶다고 생각하고 있는 일반 사용자가 조작하는 가정용 컴퓨터이면 된다. 전송자 장치(3)로부터는 동영상 데이터가 스트리밍 방식에 의해 스트리밍 서버(2)로 송출된다. 스트리밍 서버(2)는 전송자 장치(3)로부터 받은 동영상 데이터를 시청자 단말(1)로 전송하는, 예를 들어 워크스테이션이나 퍼스널 컴퓨터, 클라우드 컴퓨팅에 의해 제공되는 가상 컴퓨터 등의 컴퓨터이다. 스트리밍 서버(2)는 복수의 시청자 단말(1)에 대하여 동시에 동영상 데이터를 전송할 수 있다. 시청자 단말(1)은 시청자가 조작하는, 예를 들어 퍼스널 컴퓨터나 타블렛 컴퓨터, 스마트폰 등의 컴퓨터이다. 시청자는 시청자 단말(1)을 조작해서 스트리밍 서버(2)에 접속하고, 시청자 단말(1)은 스트리밍 서버(2)로부터 송출되어 오는 동영상 데이터를 수신해서 재생할 수 있다. 또한, 시청자는 시청자 단말(1)을 조작하여, 동영상에 대한 코멘트를 스트리밍 서버(2)에 투고할 수 있다. 스트리밍 서버(2)로부터 시청자 단말(1)에 대해서는 동영상 데이터에 추가해서 코멘트 데이터도 송신되어, 동영상의 재생과 함께, 이 동영상에 대한 코멘트도 시청자 단말(1)에 표시되게 된다.
또한, 이하의 설명에 있어서, 스트리밍에 의해 전송되어 리니어(linear)로 재생되는 동영상 전체를 특히 「전송 동영상」이라고 한다. 전송 동영상은 카메라나 마이크에 의해 캡처된 영상 및 음성을, 실시간으로 동영상 데이터로 인코딩하여 송출하는 형식으로 할 수도 있지만, 제1 실시 형태에서는 전송 동영상은 미리 부품으로서 동영상 데이터(이하, 부품 동영상 데이터라고 한다.)를 준비하는 동시에, 이 부품 동영상 데이터를 열거한 시나리오를 준비해 두고, 시나리오에 따라 부품 동영상 데이터를 송출함으로써, 전체로서의 전송 동영상이 송출되는 것을 상정하고 있다.
도 2는 전송자 장치(3)의 하드웨어 구성예를 나타내는 도면이다. 전송자 장치(3)는 CPU(301), 메모리(302), 기억 장치(303), 통신 인터페이스(304), 입력 장치(305), 출력 장치(306)를 구비한다. 기억 장치(303)는 각종 데이터나 프로그램을 기억하는, 예를 들어 하드디스크 드라이브나 솔리드 스테이트 드라이브, 플래쉬 메모리 등이다. 통신 인터페이스(304)는 통신 네트워크(30)에 접속하기 위한 인터페이스로, 예를 들면 이더넷(등록상표)에 접속하기 위한 어댑터, 공중 전화 회선망에 접속하기 위한 모뎀, 무선통신을 하기 위한 무선통신기, 시리얼 통신을 위한 USB(Universal Serial Bus) 커넥터나 RS232C 커넥터 등이다. 입력 장치(305)는 데이터를 입력하는, 예를 들어 키보드나 마우스, 터치 패널, 버튼, 마이크로폰 등이다. 출력 장치(306)는 데이터를 출력하는, 예를 들어 디스플레이나 프린터, 스피커 등이다.
도 3은 전송자 장치(3)의 소프트웨어 구성예를 나타내는 도면이다. 도 3에 나타내는 바와 같이, 전송자 장치(3)는 동영상 전송부(311), 코멘트 취득부(312), 전환 결정부(313), 동영상 라이브러리(331), 시나리오 기억부(332), 조건 기억부(333), 코멘트 기억부(334)를 구비한다.
또한, 동영상 전송부(311), 코멘트 취득부(312) 및 전환 결정부(313)는 전송자 장치(3)가 구비하는 CPU(301)가 기억 장치(303)에 기억되어 있는 프로그램을 메모리(302)로 읽고 실행함으로써 실현되고, 동영상 라이브러리(331), 시나리오 기억부(332), 조건 기억부(333) 및 코멘트 기억부(334)는 전송자 장치(3)가 구비하는 메모리(302) 및 기억 장치(303)의 적어도 어느 하나가 제공하는 기억 영역의 일부로서 실현된다.
동영상 라이브러리(331)는 부품 동영상 데이터를 기억한다. 부품 동영상 데이터는 예를 들어 MPEG4, MPEG2, AVI, MOV 등, 임의의 형식으로 인코딩된 화일로서 보존되어도 좋다. 도 4는 동영상 라이브러리(331)의 구조예를 나타내는 도면이다. 도 4에 나타내는 바와 같이, 동영상 라이브러리(331)는 부품 동영상 데이터를 특정하기 위한 정보(동영상 ID)에 대응되며, 부품 동영상 데이터를 기억한다.
시나리오 기억부(332)는 전송 동영상의 시나리오를 기억한다. 도 5는 시나리오 기억부(332)의 구성예를 나타내는 도면이다. 도 5에 나타내는 바와 같이, 시나리오 기억부(332)는 시나리오 정보와 시퀸스 정보를 기억하고 있다. 시나리오 정보는 시나리오에 관한 정보이며, 도 5의 예에서는 예를 들어 시나리오를 특정하는 정보(시나리오 ID)에 대응되며, 시나리오의 이름(타이틀), 시나리오 최초로 재생되는 부품 동영상 데이터를 나타내는 정보(개시 동영상 ID) 등이 포함된다. 시퀸스 정보는 시나리오에 있어서 디폴트의 부품 동영상 재생 순서를 나타내는 정보이다. 시퀸스 정보는 시나리오 ID와, 해당 시나리오 ID가 나타내는 시나리오에 포함되는 부품 동영상 데이터를 나타내는 동영상 ID와, 해당 동영상 ID가 나타내는 부품 동영상 데이터의 다음에 재생하는 부품 동영상 데이터를 나타내는 다음 동영상 ID가 대응되어 포함되어 있다. 상술한 바와 같이, 제1 실시 형태의 동영상 전송 시스템에서는 시청자의 반응(코멘트)에 따라 다음에 재생되는 부품 동영상 데이터가 변경되게 되지만, 시청자의 반응(코멘트)이 소정 조건을 충족하지 않는 경우에는 디폴트 시나리오로서, 시퀸스 정보에 근거하여 다음에 재생하는 부품 동영상 데이터가 결정되게 된다.
조건 기억부(333)는 시청자의 반응(코멘트)에 따른 분기를 하기 위한 조건을 나타내는 정보(이하, 조건 정보라고 한다.)를 기억한다. 도 6은 조건 기억부(333)의 구성예를 나타내는 도면이다. 도 6에 나타내는 바와 같이, 조건 기억부(333)가 기억하는 조건 정보는 시나리오 ID, 판정 기간, 조건 및 다음 동영상 ID를 포함한다. 시나리오 ID는 시나리오를 나타내는 정보이다. 판정 기간은 시청자의 반응(코멘트)이 조건을 충족하는지 여부를 판정하는 기간을 나타내는 정보이다. 판정 기간은 예를 들어 현시점부터 5분전까지 등으로 상대적으로 지정해도 좋고, 12월 25일 00:00부터 00:10까지와 같이 절대적으로 지정해도 좋다. 전송 장치(3)는 판정 기간에 의해 지정된 기간에서의 시청자 반응, 즉, 그 기간에 투고된 시청자의 코멘트가 조건에 매치하는지의 여부를 판정한다. 조건은 시청자의 반응(시청자가 투고한 코멘트)에 대한 것으로, 예를 들면, 상기 기간 내에 투고된 코멘트에 대해서 소정의 키워드를 포함하는 코멘트가 투고된 수나, 코멘트를 투고한 시청자의 지역마다 집계한 코멘트 또는 시청자 수, 예를 들면, 동영상 중에서 금액에 대한 의견을 질문한 것에 대하여 시청자가 투고한 금액의 집계값(평균값, 중앙값, 최대값, 최소값 등), 코멘트를 구문 해석하여 판단되는 시청자의 희로애락에 근거하는 슬퍼하고 있는 시청자 수 등이 소정 임계값을 초과할 것, 소정의 키워드를 포함하는 코멘트가 한번도 투고되지 않을 것, 등을 조건으로 할 수 있다.
동영상 전송부(311)는 동영상을 전송한다. 동영상 전송부(311)는 사용자로부터의 지정을 받는 것 등에 의해, 미리 결정된 시나리오에 대응하는 시나리오 정보를 시나리오 기억부(332)로부터 읽고, 읽은 시나리오 정보에 포함되는 개시 동영상 ID에 대응하는 부품 동영상 데이터를, 동영상 라이브러리(331)로부터 읽고(필요에 따라 인코딩을 하고, 또는 전송하는 동영상 포맷의 변환을 실행하여), 읽은 부품 동영상 데이터를 스트리밍 서버(2)로 송신함으로써 동영상을 전송할 수 있다. 또한, 동영상 전송부(311)는 읽은 부품 동영상 데이터를 송출 완료한 경우, 시나리오 ID와 해당 부품 동영상 데이터를 나타내는 동영상 ID에 대응하는 다음 동영상 ID를 시나리오 기억부(332)의 시퀸스 정보로부터 취득하고, 취득한 다음 동영상 ID에 대응하는 부품 동영상 데이터를 동영상 라이브러리(331)로부터 읽고, 마찬가지로 스트리밍 서버(2)로 송신할 수 있다. 동영상 전송부(311)는 다음 동영상 ID가 존재하지 않는 경우에는 동영상 전송 처리를 종료할 수 있다. 또한, 후술하는 전환 결정부(313)에 의해 다음 동영상 ID가 결정된 경우에는 현재 실행중인 부품 동영상 데이터의 송신을 중단하고, 전환 결정부(313)에 의해 결정된 다음 동영상 ID에 대응하는 부품 동영상 데이터를 읽고 스트리밍 서버(2)로 송신함으로써 스토리를 변화시킬 수 있다.
코멘트 기억부(334)는 시청자로부터 투고된 코멘트를 기억한다. 도 7은 코멘트 기억부(334)의 구성예를 나타내는 도면이다. 코멘트 기억부(334)는 코멘트를 특정하는 정보(코멘트 ID)에 대응되며, 코멘트를 투고한 시청자를 나타내는 시청자 ID, 코멘트가 투고된 일시, 코멘트 내용 등을 기억할 수 있다.
코멘트 취득부(312)는 시청자가 시청자 단말(1)을 이용하여 투고한 코멘트를 취득한다. 예를 들면, 스트리밍 서버(2)가 투고된 코멘트를 취득하기 위한 API를 제공하는 경우, 코멘트 취득부(312)는 해당 API를 호출함으로써 투고된 코멘트를 취득할 수 있다. 코멘트 취득부(312)는 취득한 코멘트를 코멘트 기억부(334)에 등록할 수 있다.
전환 결정부(313)는 동영상을 전환하는 것을 결정한다. 전환 결정부(313)는 상기 조건 기억부(333)에 기억되어 있는 조건 정보의 각각에 대해서, 기간에 대응하는 코멘트를 코멘트 기억부(334)로부터 읽어 집계하고, 조건을 충족하는지 여부를 판정하고, 조건을 충족하는 경우에는 조건 정보의 다음 동영상 ID가 나타내는 부품 동영상 데이터를 송출하는 것과 같이 동영상 전송부(311)에 전달할 수 있다.
도 8은 제1 실시 형태의 동영상 전송 시스템에 의해 실행되는 처리의 흐름을 설명하는 도면이다.
동영상 전송부(311)는 시나리오의 지정을 받고(S421), 지정된 시나리오의 시나리오 정보에 포함되는 개시 동영상 ID를 재생 ID로 한다(S422). 동영상 전송부(311)는 재생 ID에 대응하는 부품 동영상 데이터를 동영상 라이브러리(331)로부터 읽고(S423), 읽은 부품 동영상을 스트리밍 서버(2)로 송신한다(S424). 이것에 의해, 스트리밍 서버(2)로부터 각 시청자 단말(1)로 스트리밍에 의해 동영상이 전송되게 된다.
코멘트 취득부(312)는 스트리밍 서버(2)로부터 시청자가 시청자 단말(1)을 이용하여 투고한 코멘트를 취득한다(S425). 코멘트의 취득은 예를 들면 스트리밍 서버(2)가 제공하는 API를 호출함으로써 행할 수 있다.
전환 결정부(313)는 조건 기억부(333)에 기억되어 있는 조건 정보의 각각에 대해서, 판정 기간에 투고된 코멘트를 코멘트 기억부(334)로부터 읽고(S426), 읽은 코멘트가 조건 정보의 조건을 충족하는지 여부를 판정한다(S427). 코멘트가 조건을 충족하는지 여부는 예를 들어 키워드마다 코멘트에 포함되어 있는 수를 카운트하고, 카운트한 수가 소정 임계값을 초과하는지 여부에 의해 판단할 수 있다.
코멘트가 조건을 충족하는 경우(S428:YES), 전환 결정부(313)는 조건 정보에 포함되는 다음 동영상 ID를 재생 ID로 설정하고(S429), 단계 S423으로 돌아가서, 동영상 전송부(311)는 재생 ID에 대응하는 부품 동영상 데이터의 송신을 행한다. 이것에 의해, 코멘트에 따라 부품 동영상 데이터의 흐름을 변경할 수 있다.
모든 조건 정보에 대해서 코멘트가 조건을 충족하지 않은 경우, 재생중인 동영상이 종료한 때에는(S430:YES), 전환 결정부(313)는 시퀸스 정보의 다음 동영상 ID를 재생 ID로 설정한다(S431). 시퀸스 정보에 다음 동영상 ID가 설정되어 있는 경우에는(S432:YES), 단계 S423으로 돌아가서, 동영상 전송부(311)는 재생 ID에 대응하는 부품 동영상 데이터의 송신을 행한다. 또한, 시퀸스 정보에 다음 동영상 ID가 설정되어 있지 않은 경우에는(S432:NO), 처리를 종료한다.
도 9는 시청자 단말(1)에 표시되는 화면의 일례를 나타내는 도면이다. 도 9(a)에 나타내는 바와 같이, 스트리밍 서버(2)로부터 전송되는 동영상 데이터에 근거하여 동영상(511)이 표시되는 동시에, 해당 시청자 단말(1)을 조작하고 있는 시청자 또는 다른 시청자 단말(1)을 조작하고 있는 시청자로부터 투고된 코멘트(512)가 표시된다. 도 9(a)의 예에서는 2명의 캐릭터(아이짱과 메구짱)가 표시된다. 이것에 대하여, 코멘트(512)에는 「아이짱이다!」 「메구짱 힘내」와 같은 코멘트가 투고되어 있다.
여기에서, 조건 기억부(333)로서 「아이짱을 부른다」라는 문구(phrase)가 포함된다고 하는 조건을 포함하는 조건 정보가 포함되어 있는 경우, 도 9(a)의 예에는 이 문구가 투고되어 있으므로, 도 9(b)에 나타내는 바와 같은 동영상(513)이 표시되게 된다. 이것에 대하여, 코멘트에 상기 문구가 등록되어 있지 않은 경우에는 시퀸스 정보의 다음 동영상 ID로서 도 9(c)에 나타내는 바와 같은 동영상(514)이 표시된다.
이상과 같이 해서, 제1 실시 형태의 동영상 전송 시스템은 부품 동영상 데이터를 연속적으로 송출하여, 리니어 동영상을 스트리밍 서버(2)를 경유하여 시청자 단말(1)로 전송하는 동시에, 부품 동영상 데이터 재생 중에 시청자의 코멘트에 따라 재생중의 부품 동영상 데이터의 다음에 재생하는 부품 동영상 데이터를 정할 수 있다. 따라서, 시청자의 반응에 따라 상이한 전개의 리니어 동영상을 제공할 수 있다. 따라서, 녹화가 끝난 부품 동영상 데이터를 이용하면서도, 스트리밍 형식에서의 동영상 전송 방식에 따른 라이브 느낌을 해치는 일 없이 동영상을 전송하는 것이 가능해진다.
이상, 제1 실시 형태에 대해서 설명했지만, 상기 실시 형태는 본 발명의 이해를 용이하게 하기 위한 것으로, 본 발명을 한정하여 해석하기 위한 것은 아니다. 본 발명은 그 취지를 일탈하는 일 없이, 변경, 개량될 수 있음과 동시에, 본 발명에는 그 등가물도 포함된다.
예를 들면, 본 실시 형태에서는 전송자 장치(3)로부터 송출한 동영상은 스트리밍 서버(2)를 통해서 시청자 단말(1)로 전송되는 것으로 했지만, 전송자 장치(3)로부터 각 시청자 단말(1)로 직접 동영상을 전송하도록 할 수도 있다.
또한, 본 실시 형태에서는 동영상 라이브러리(331)에는 MPEG4 등의 형식으로 인코딩된 동영상 화일이 기억되는 것으로 했지만, 3D 모델이나 장면(scene) 화일 등을 동영상 라이브러리(331)에 보존해 두고, 이들에 근거하여 동적으로 렌더링한 동영상을 송출하도록 해도 좋다.
또한, 본 실시 형태에서는 부품 동영상 데이터의 재생 도중이라고 해도 코멘트가 조건을 충족하면, 다음 부품 동영상 데이터로 천이하는(도 8의 단계 S428→S429→S423) 것으로 했지만, 부품 동영상 데이터는 최후까지 재생한 후에 다음 부품 동영상 데이터로 천이하도록 해도 좋다. 이 경우, 도 8의 단계 S429 앞 또는 다음에, 부품 동영상 데이터의 재생이 종료했음을 확인하는 단계를 두면 좋다.
또한, 본 실시 형태에서는 시청자로부터 투고되는 코멘트(또는 코멘트에 포함되는 키워드)에 따라 부품 동영상 데이터를 전환하는 것으로 했지만, 시청자 단말(1)로부터 취득할 수 있는 임의의 시청자 반응에 따른 전환을 행할 수 있다. 예를 들면, 코멘트 취득부(312)는 시청자 단말(1)에 있어서 전송 동영상의 소정 영역(area)이 클릭 또는 탭된 것을 이벤트로서 취득하도록 하고, 전환 결정부(313)는 이 이벤트가 발생한 수(즉, 전송 동영상의 소정 영역을 클릭 또는 탭한 시청자 수)를 카운트하고, 이 수가 임계값을 초과했는지 여부에 따라 부품 동영상 데이터를 전환하도록 할 수 있다. 이 경우, 전송 동영상의 소정 영역의 클릭 또는 탭한 시청자의 인원수에 대한 임계값과, 영역에 따른 전환지가 되는 부품 동영상 데이터를 나타내는 동영상 ID를 조건 정보로서 등록해 두면 좋다. 시청자 단말(1)에 있어서 Web 브라우저에서 전송 동영상이 시청되고 있는 경우에는 Web 브라우저에서 발생한 클릭 이벤트를 스트리밍 서버(2) 또는 전송자 장치(3)로 송신하도록 하고, 코멘트 취득부(312)는 직접 또는 스트리밍 서버(2)를 경유하여 클릭 이벤트를 취득할 수 있고, 이 클릭 이벤트를 코멘트 기억부(334)에 기억해 두면 좋다. 이 경우, 코멘트 취득부(312)는 코멘트에 한정되지 않고, 각종 이벤트를 취득하는 이벤트 취득부로서 기능하며, 코멘트 기억부(334)는 코멘트에 한정되지 않고, 각종 이벤트를 기억하는 이벤트 기억부로서 기능하게 된다.
또한, 상기 이벤트 취득부는 예를 들어 시청자 단말(1)이 캡처한 음성 데이터를 수신하고, 수신한 음성 데이터를 해석해서 특정 발음이 있는 것(예를 들면, 시청자가 특정 키워드를 발성한 것, 박수나 휘파람, 제자리 걸음 등이 행해진 것)을 이벤트로서 취득하고, 전환 결정부(313)는 이 이벤트에 따라 동영상을 전환할 수 있다. 이 경우, 특정 발음이 있는 것을 조건으로서, 발음의 종류마다 상이한 다음 동영상 ID를 설정한 조건 정보를 조건 기억부(333)에 등록해 두면 좋다. 또한, 음성 해석을 시청자 단말(1)에서 하도록 하고, 이벤트 취득부는 그 해석 결과를 수신하도록 해도 좋다.
또한, 상기 이벤트 취득부는 예를 들어 시청자 단말(1)이 촬영한 영상 데이터를 수신하고, 수신한 동영상 데이터를 해석하며, 시청자의 자세나 시선, 제스처 등을 인식하여, 이들의 발생을 이벤트로서 취득하고, 전환 결정부(313)는 이 이벤트에 따라 동영상을 전환할 수 있다. 이 경우, 특정 자세나 시선, 제스처가 있는 것을 조건으로서, 자세나 제스처의 종류, 시선의 끝이 나타내는 동영상의 영역마다 상이한 다음 동영상 ID를 설정한 조건 정보를 조건 기억부(333)에 등록해 두면 좋다. 또한, 동영상 해석을 시청자 단말(1)에서 하도록 하고, 이벤트 취득부는 그 해석 결과를 수신하도록 해도 좋다.
또한, 상기 이벤트 취득부는 예를 들어 시청자 단말(1)에서 발생한 이벤트가 아닌, 시스템상에서 취득 가능한 이벤트를 취득할 수 있다. 시스템상에서 취득 가능한 이벤트에는 예를 들어 전송 영상의 전송 개시로부터의 경과 시간, 현재 시각, 전송 동영상에서 오브젝트의 충돌이 발생한 것, 시청자 또는 전송자의 소재지 또는 사전에 설정한 소정 지역의 특정 기상 조건의 발생 등이 있을 수 있다. 전환 결정부(313)는 이러한 이벤트에 따라 동영상을 전환할 수도 있다.
<제2 실시 형태>
제2 실시 형태에 따른 동영상 전송 시스템은 이하와 같은 구성을 구비한다.
[항목 1]
동영상을 생성하기 위한 소재 데이터를 기억하는 소재 라이브러리와,
상기 소재 데이터에 근거하여 상기 동영상을 송출하는 동영상 전송부와,
상기 동영상 재생 중에 상기 동영상의 시청자로부터의 반응을 나타내는 반응 정보를 취득하는 반응 취득부와,
상기 반응 정보에 따라, 상기 소재 데이터에 대한 조작을 행하는 액션 처리부와,
를 구비하는 것을 특징으로 하는 동영상 전송 시스템.
[항목 2]
항목 1에 기재된 동영상 전송 시스템으로서,
상기 반응 취득부는 상기 동영상 전송 시스템에서 발생한 이벤트를 취득하고,
상기 액션 처리부는 상기 이벤트에 따라 상기 소재 데이터에 대한 조작을 행하는 것,
을 특징으로 하는 동영상 전송 시스템.
[항목 3]
항목 1에 기재된 동영상 전송 시스템으로서,
상기 시청자로부터의 반응은 상기 시청자에 의한 기기의 조작, 상기 시청자로부터 입력된 음성 및 문자, 상기 시청자를 촬영한 영상, 상기 영상으로부터 해석한 상기 시청자의 자세, 시선 및 제스처, 및 상기 시청자의 신체 반응을 측정한 측정 데이터의 적어도 어느 하나를 포함하는 것,
을 특징으로 하는 동영상 전송 시스템.
[항목 4]
항목 1에 기재된 동영상 전송 시스템으로서,
상기 액션은 오브젝트의 출현, 이동 및 소실, 애니메이션의 개시 및 정지, 동영상의 재생 및 정지, 음성의 재생 및 정지, 및 상기 소재 데이터의 변경의 적어도 어느 하나를 포함하는 것,
을 특징으로 하는 동영상 전송 시스템.
이하, 제2 실시 형태에 따른 동영상 전송 시스템에 대해서 설명한다. 제2 실시 형태의 동영상 전송 시스템은 스트리밍 전송되는 동영상을 각종 이벤트에 따라 동적으로 변화시키는 것이다.
이벤트에는 시청자에 의해 기기가 조작된 것, 시청자로부터 음성이나 문자가 입력된 것, 시청자가 촬영된 것, 촬영된 영상으로부터 해석한 시청자의 자세나 시선, 제스처 등이 취득된 것, 시청자의 신체 반응을 측정한 측정 데이터가 취득된 것 등, 시청자에 관해서 취득되는 정보(이하, 사용자 이벤트 정보라고 한다.)가 포함된다. 또한, 이벤트에는 열람하고 있는 시청자 수, 날씨, 시각, 날씨, 동영상 중에서 오브젝트가 접촉한 것 등 시스템측에서 취득할 수 있는 정보(이하, 시스템 이벤트 정보라고 한다.)도 포함시킬 수 있다.
전송되는 동영상은 3D 모델이나 동영상 데이터, 음성 데이터 등의 소재 데이터에 근거하여 생성된다. 각 소재 데이터에는 이벤트에 따른 액션을 설정할 수 있다.
액션은 소재 데이터에 대한 조작으로, 3D 모델에 의해 표현되는 오브젝트의 출현, 이동 및 소멸, 애니메이션 동작의 개시 및 종료, 동영상의 재생 및 정지, 음성의 재생 및 정지, 소재 데이터의 변경(치환) 등을 포함시킬 수 있다. 제2 실시 형태에서는 전송되는 동영상은 액션의 결과로서 출력되는 영상 또는 동영상을 합성해서 작성되는 것으로 한다.
제2 실시 형태의 동영상 전송 시스템에서는 이벤트에 따라 액션을 기동함으로써 동적으로 전송 동영상을 변화시킬 수 있다. 이하, 상세에 대해서 설명한다.
도 10은 제2 실시 형태의 동영상 전송 시스템의 전체 구성예를 나타내는 도면이다. 제2 실시 형태의 동영상 전송 시스템은 전송자 장치(3)를 포함하여 구성되고, 전송자 장치(3)는 스트리밍 서버(2)와 통신 가능하게 접속되고, 스트리밍 서버(2)는 시청자 단말(1)과 통신 가능하게 접속된다. 시청자 단말(1)은 다수가 접속되어 있어도 좋다. 전송자 장치(3)는 동영상 송신을 하는, 예를 들어 퍼스널 컴퓨터나 타블렛 컴퓨터, 스마트폰 등의 컴퓨터이다. 전송자 장치(3)는 예를 들어 동영상 전송을 하고 싶다고 생각하고 있는 일반 사용자가 조작하는 가정용 컴퓨터이면 된다. 전송자 장치(3)로부터는 동영상 데이터가 스트리밍 방식에 의해 스트리밍 서버(2)로 송출된다. 스트리밍 서버(2)는 전송자 장치(3)로부터 받은 동영상 데이터를 시청자 단말(1)로 전송하는, 예를 들어 워크스테이션이나 퍼스널 컴퓨터, 클라우드 컴퓨팅에 의해 제공되는 가상 컴퓨터 등의 컴퓨터이다. 스트리밍 서버(2)는 하나 또는 복수의 시청자 단말(1)에 대하여 동시에 동영상 데이터를 전송할 수 있다. 시청자 단말(1)은 시청자가 조작하는, 예를 들어 퍼스널 컴퓨터나 타블렛 컴퓨터, 스마트폰 등의 컴퓨터이다. 시청자는 시청자 단말(1)을 조작해서 스트리밍 서버(2)에 접속하고, 시청자 단말(1)은 스트리밍 서버(2)로부터 송출되어 오는 동영상 데이터를 수신해서 재생할 수 있다. 또한, 시청자 단말(1)은 시청자를 촬영하거나, 시청자의 음성을 녹음하거나, 시청자로부터 코멘트의 입력을 받거나, 각종 이벤트 정보의 수집을 행할 수 있다. 1명 또는 복수의 시청자로부터의 이벤트는 스트리밍 서버(2)에서 수집되고, 전송자 장치(3)는 예를 들어 스트리밍 서버(2)가 제공하는 API(Application Programming Interface)을 호출함으로써, 시청자로부터의 이벤트를 취득할 수 있다.
또한, 이하의 설명에 있어서, 스트리밍에 의해 전송되어 리니어로 재생되는 동영상 전체를 특히 「전송 동영상」이라고 한다. 전송 동영상은 카메라나 마이크에 의해 캡처된 동영상 및 음성을, 실시간으로 동영상 데이터로 인코딩하여 송출하는 형식으로 할 수도 있지만, 제2 실시 형태에서는 전송 동영상은 소재 데이터를 조합하여 합성한 비디오 데이터로서 생성하는 것을 상정하고 있다.
도 11은 전송자 장치(3)의 하드웨어 구성예를 나타내는 도면이다. 전송자 장치(3)는 CPU(301), 메모리(302), 기억 장치(303), 통신 인터페이스(304), 입력 장치(305), 출력 장치(306)를 구비한다. 기억 장치(303)는 각종 데이터나 프로그램을 기억하는, 예를 들어 하드디스크 드라이브나 솔리드 스테이트 드라이브, 플래쉬 메모리 등이다. 통신 인터페이스(304)는 통신 네트워크(30)에 접속하기 위한 인터페이스로, 예를 들면 이더넷(등록상표)에 접속하기 위한 어댑터, 공중 전화 회선망에 접속하기 위한 모뎀, 무선통신을 하기 위한 무선통신기, 시리얼 통신을 위한 USB(Universal Serial Bus) 커넥터나 RS232C 커넥터 등이다. 입력 장치(305)는 데이터를 입력하는, 예를 들어 키보드나 마우스, 터치 패널, 버튼, 마이크로폰 등이다. 출력 장치(306)는 데이터를 출력하는, 예를 들어 디스플레이나 프린터, 스피커 등이다.
도 12는 전송자 장치(3)의 소프트웨어 구성예를 나타내는 도면이다. 도 12에 나타내는 바와 같이, 전송자 장치(3)는 동영상 전송부(311), 이벤트 취득부(312), 액션 처리부(313), 소재 라이브러리(331), 액션 기억부(333), 이벤트 기억부(334)를 구비한다.
또한, 동영상 전송부(311), 이벤트 취득부(312), 액션 처리부(313)는 전송자 장치(3)가 구비하는 CPU(301)가 기억 장치(303)에 기억되어 있는 프로그램을 메모리(302)로 읽고 실행함으로써 실현되고, 소재 라이브러리(331), 액션 기억부(333), 이벤트 기억부(334)는 전송자 장치(3)가 구비하는 메모리(302) 및 기억 장치(303)의 적어도 어느 하나가 제공하는 기억 영역의 일부로서 실현된다.
소재 라이브러리(331)는 동영상에 넣을 수 있는 각종 데이터(소재 데이터)를 기억한다. 소재 데이터는 예를 들어 3D 모델, 정지 영상, 동영상, 음성 데이터, MIDI 데이터, 문자 데이터 등이다. 도 13은 소재 라이브러리(331)의 구조예를 나타내는 도면이다. 도 13에 나타내는 바와 같이, 소재 라이브러리(331)는 소재 데이터를 특정하기 위한 정보(소재 ID)에 대응되며, 각종 소재 데이터를 기억한다.
액션 기억부(333)는 소재 데이터에 대한 조작(액션)에 관한 정보(이하, 액션 정보라고 한다.)를 기억한다. 도 14는 액션 기억부(333)에 기억되는 액션 정보의 일례를 나타내는 도면이다. 도 14에 나타내는 바와 같이, 액션 정보에는 액션을 나타내는 액션 ID, 판정 기간, 조건 및 액션을 포함한다.
판정 기간은 이벤트가 조건을 충족하는지 여부를 판정하는 기간을 나타내는 정보이다. 판정 기간은 예를 들어 현시점부터 5분전까지 등으로 상대적으로 지정해도 좋고, 12월 25일 00:00로부터 00:10까지와 같이 절대적으로 지정해도 좋다.
조건은 이벤트에 대한 것으로, 예를 들면 이벤트의 유무여도 좋고, 복수의 시청자로부터의 이벤트에 관한 집계값이 임계값을 초과했는지 여부여도 좋다.
사용자 이벤트 정보에 대해서는 예를 들어 시청자가 전송 동영상 재생 중에 소정의 키를 눌렀는지 여부, 동영상의 소정 영역(area)을 클릭 또는 탭했는지 여부, 동영상의 소정 영역을 클릭 또는 탭한 시청자의 인원수가 임계값을 초과했는지 여부 등을 조건으로 할 수 있다. 전송 동영상의 생성에 이용된 소재 데이터에 근거하여, 전송 동영상 중에 표시되어 있는 오브젝트가 클릭 또는 탭되었는지 여부, 해당 오브젝트를 클릭 또는 탭한 시청자의 인원수가 임계값을 초과했는지 여부를 조건으로 할 수도 있다.
또한, 시청자 단말(1)에 있어서 시청자로부터 소정의 문자(키워드)의 입력이 있었는지 여부, 예를 들면 전송 동영상에 대하여 투고되는 코멘트에 소정의 키워드가 포함되어 있는지 여부, 키워드를 입력한 시청자의 인원수가 임계값을 초과했는지 여부 등을 조건으로 할 수도 있다. 또한, 코멘트를 투고한 시청자의 지역마다 집계한 코멘트 또는 시청자 수, 예를 들면 동영상 중에서 금액에 대한 의견을 질문한 것에 대하여 시청자가 투고한 금액의 집계값(평균값, 중앙값, 최대값, 최소값 등), 코멘트를 구문 해석하여 판단되는 시청자의 희로애락에 근거하는 슬퍼하고 있는 시청자 수 등이 소정 임계값을 초과할 것, 소정의 키워드를 포함하는 코멘트가 한번도 투고되지 않을 것, 등을 조건으로 할 수도 있다.
또한, 음성 인식을 실행함으로써, 시청자 또는 시청자의 분위기에, 예를 들면 특정 언어의 발성이 행해졌는지 여부, 박수나 휘파람, 제자리 걸음 등이 발음되었는지 여부 등과 같이, 특정 발음이 있었는지 여부, 이러한 특정 발음이 있었던 시청자의 인원수가 임계값을 초과했는지 여부 등을 조건으로 할 수도 있다. 이 경우, 음성 인식의 처리는 시청자 단말(1)이 하고, 인식 결과를 스트리밍 서버(2) 또는 전송자 장치(3)로 송신하도록 해도 좋고, 시청자 단말(1)로부터는 캡처된 음성 데이터가 스트리밍 서버(2)를 통해서 또는 직접 전송자 장치(3)로 송신되어, 전송자 장치(3)에서 음성 인식 처리를 하도록 해도 좋다.
또한, 시청자가 시청자 단말(1)에 있어서 셀카 영상 또는 시청자의 분위기를 촬영했는지 여부, 이러한 영상이 스트리밍 서버(2)에 투고되었는지 여부, 영상을 투고한 시청자의 인원수가 임계값을 초과했는지 여부를 조건으로 할 수도 있다. 또한, 영상 해석에 의해, 소정의 물건을 촬영한 영상(예를 들면, 시청자의 주변에 있는 특정 간판이나 전단지가 촬영된 영상)이 투고되었는지 여부, 그러한 영상을 투고한 시청자의 인원수가 임계값을 초과했는지 여부 등을 조건으로 할 수도 있다. 또한, 영상 해석에 의해, 시청자의 자세나 시선, 제스처 등을 인식하고, 시청자가 소정의 자세나 시선, 제스처를 했는지 여부, 소정의 자세나 시선, 제스처를 한 시청자의 인원수가 임계값을 초과했는지 여부 등을 조건으로 할 수도 있다. 이 경우, 영상 해석 처리는 시청자 단말(1)이 하고, 해석 결과를 스트리밍 서버(2) 또는 전송자 장치(3)로 송신하도록 해도 좋고, 시청자 단말(1)로부터는 촬영된 영상 데이터가 스트리밍 서버(2)를 통해서 또는 직접 전송자 장치(3)로 송신되어, 전송자 장치(3)에서 영상 해석 처리를 하도록 해도 좋다.
또한, 시스템 이벤트 정보에 대해서는 예를 들어 전송 동영상을 시청하고 있는 시청자의 인원수가 임계값을 초과했는지 여부를 조건으로 할 수 있다. 또한, 전송 동영상의 재생으로부터 소정 시간이 경과했는지 여부를 조건으로 할 수도 있다. 또한, 시청자 또는 전송자의 소재지 또는 소정 지역의 날씨를 시스템 이벤트 정보로서 취득한 경우에는 이 날씨가 소정의 날씨인지 여부를 조건(예를 들어 맑을 것, 비가 내리고 있을 것, 눈이 내리고 있을 것, 소정 이상의 강도의 바람이 불고 있을 것, 소정 온도 이상의 기온일 것 등)으로 할 수 있다. 또한, 소재 데이터가 3D 모델 등인 경우, 전송 동영상 중에서 오브젝트가 충돌한 것을 조건으로 할 수도 있다.
액션은 상술한 바와 같이 소재 데이터에 대한 각종 조작이다. 액션에는 파라미터도 포함시킬 수 있고, 소재 데이터에 대하여 구체적으로 어떤 조작을 행할지를 상세하게 설정할 수 있다. 또한, 제2 실시 형태에서는 액션은 소재 데이터에 대한 조작뿐만 아니라, 다른 액션의 실행이나 정지, 다른 액션의 실행이 완료하는 것을 대기하는 등의 처리를 포함할 수 있다. 액션은 예를 들면 스크립트 언어에 의해 표기된 프로그램으로서 저장할 수도 있다.
동영상 전송부(311)는 동영상을 전송한다. 액션으로부터 복수의 액션이 실행될 수도 있다. 동영상 전송부(311)는 후술하는 액션 처리부(313)가 실행하는 액션으로부터의 출력을 합성해서(필요에 따라 인코딩해서) 전송 동영상을 생성할 수 있다. 또한, 동영상 전송부(311)는 생성한 전송 동영상을 스트리밍 서버(2)로 송신함으로써, 시청자 단말(1)로 동영상을 전송할 수 있다.
이벤트 기억부(334)는 발생한 각종 이벤트를 기억한다. 도 15는 이벤트 기억부(334)의 구성예를 나타내는 도면이다. 상술한 바와 같이, 이벤트 기억부(334)는 사용자 이벤트 정보와 시스템 이벤트 정보를 기억하고 있다. 이하, 사용자 이벤트 정보와 시스템 이벤트 정보를 합쳐서 이벤트 정보라고도 한다. 사용자 이벤트 정보에는 이벤트를 나타내는 이벤트 ID, 이벤트에 관한 시청자를 나타내는 시청자 ID, 이벤트가 발생한 일시 및 이벤트의 내용이 포함된다. 또한, 시스템 이벤트 정보에는 이벤트 ID, 이벤트가 발생한 일시 및 이벤트의 내용이 포함된다. 이벤트의 내용은 이벤트에 따라 상이하며, 예를 들면, 사용자 이벤트 정보의 경우, 시청자가 전송 동영상에 대하여 코멘트를 투고한 때에는 투고된 코멘트가 이벤트 내용으로서 설정될 수 있다. 또한, 시청자 단말(1)이 시청자를 촬영한 영상을 해석해서 시청자의 시선이나 제스처를 얻었을 때에는 이들의 시선이나 제스처를 나타내는 정보가 이벤트의 내용으로서 설정될 수 있다. 시스템 이벤트 정보의 경우, 시청자 수, 날씨, 시각 등이 이벤트의 내용으로서 설정될 수 있다.
이벤트 취득부(312)는 이벤트를 취득하고, 취득한 이벤트의 내용을 이벤트 정보로서 이벤트 기억부(334)에 등록한다. 또한, 이벤트 취득부(312)가 어떤 이벤트를 취득할지에 대해서는 사용자로부터 설정 가능한 것으로 한다. 어떤 이벤트를 취득할지를 나타내는 설정 정보는 예를 들어 메모리(302)나 기억 장치(303) 등에 기억해 둘 수 있다.
이벤트 취득부(312)는 예를 들어 시청자가 입력한 키나 탭, 클릭 등의 이벤트를 사용자 이벤트 정보로서 등록할 수 있다. 예를 들면, Web 브라우저에 있어서 전송 동영상이 시청되고 있는 경우에는 Web 브라우저상에서 발생한 클릭 이벤트를 스트리밍 서버(2) 또는 전송자 장치(3)로 송신하도록 스크립트를 설정해 두고, 이벤트 취득부(312)는 스트리밍 서버(2)를 통해서 또는 직접, 클릭 이벤트를 취득할 수 있다.
또한, 이벤트 취득부(312)는 예를 들어 스트리밍 서버(2)가 투고된 코멘트를 취득하기 위한 API를 제공하고 있는 경우에는 해당 API를 호출함으로써, 시청자에 의해 투고된 코멘트를 취득할 수 있다. 또한, 이벤트 취득부(312)는 코멘트를 구문 해석하여, 소정의 키워드가 포함되어 있는 것을 사용자 이벤트 정보로서 등록해도 좋다.
또한, 이벤트 취득부(312)는 예를 들어 시청자 단말(1)로부터 캡처한 음성 데이터를 수신하고, 수신한 음성 데이터를 해석해서 특정 발음이 있는 것을 사용자 이벤트 정보로서 등록할 수 있다. 또한, 음성 해석 처리를 시청자 단말(1)에서 하도록 하고, 이벤트 취득부(312)는 시청자 단말(1)로부터 직접 또는 스트리밍 서버(2)를 통하여, 해석 결과를 수신해서 사용자 이벤트 정보로서 등록하도록 해도 좋다. 또한, 이벤트 취득부(312)는 시청자 단말(1)로부터 시청자를 촬영한 영상을 수신하고, 수신한 동영상을 해석해서 시청자의 자세나 시선, 제스처 등을 취득할 수도 있다. 또는 시청자 단말(1)에서 동영상 해석을 하고, 그 결과를 수신하도록 할 수도 있다. 이벤트 취득부(312)는 시청중인 시청자 수를 정기적으로 카운트해서 시스템 이벤트 정보에 등록해도 좋다. 또한, 영상 해석 처리를 시청자 단말(1)에서 하도록 하고, 이벤트 취득부(312)는 시청자 단말(1)로부터 직접 또는 스트리밍 서버(2)를 통하여, 해석 결과를 수신해서 사용자 이벤트 정보로서 등록하도록 해도 좋다.
또한, 이벤트 취득부(312)는 예를 들어 클록으로부터 타임 아웃 이벤트를 취득하도록 하고, 전송 동영상의 재생 개시로부터 소정 시간이 경과한 것을 시스템 이벤트 정보로서 등록할 수 있다. 이벤트 취득부(312)는 소정 시각이 된 것(예를 들면, 날짜가 바뀐 것, 오후 3시가 된 것 등)을 시스템 이벤트 정보로서 등록할 수도 있다.
또한, 이벤트 취득부(312)는 예를 들어 기상회사의 서버 등으로부터 기상 정보를 취득하고, 특정 지역(예를 들면, 각 시청자의 소재지 또는 전송자의 소재지 또는 미리 설정한 지역)의 기상 요소를 시스템 이벤트 정보로서 등록할 수도 있다.
또한, 이벤트 취득부(312)는 예를 들어 소재 데이터가 3D 모델 등인 경우에는 전송 동영상 중에서 오브젝트가 충돌한 것을 판정하여 시스템 이벤트 정보로서 등록할 수도 있다.
액션 처리부(313)는 소재 데이터에 대하여 액션을 실행한다. 액션 처리부(313)는 최초로 실행하는 액션의 지정을 받고, 받은 액션을 실행한다. 액션 중에는 다른 액션의 기동이 포함될 수 있기 때문에, 이 경우, 액션 처리부(313)는 순차적으로 액션을 계속해서 기동해 갈 수 있다. 또한, 액션은 복수로 분기하여 병렬로 실행하는 것도 가능하다.
또한, 액션 처리부(313)는 이벤트에 따른 액션의 실행을 행한다. 액션 처리부(313)는 액션 기억부(333)에 기억되어 있는 액션 정보의 각각에 대해서, 기간에 대응하는 이벤트 정보를 이벤트 기억부(334)로부터 읽어 집계하고, 조건을 충족하는지 여부를 판정하고, 조건을 충족하는 경우에는 액션 정보에 설정되어 있는 액션을 실행한다. 이것에 의해, 이벤트에 따라 동영상의 전개를 동적으로 변화시키는 것이 가능해진다.
도 16은 제2 실시 형태의 동영상 전송 시스템에 의해 실행되는 처리의 흐름을 설명하는 도면이다.
액션 처리부(313)는 최초로 실행하는 액션의 지정을 받고(S421), 지정된 액션을 실행한다(S422). 액션이 실행된 결과로서 출력되는 영상이나 음성은 합성되고, 동영상 데이터로서 동영상 전송부(311)에 의해 스트리밍 서버(2)로 송신된다.
이벤트 취득부(312)는 정기적으로 이벤트를 취득한다(S423). 예를 들면, 이벤트 취득부(312)는 스트리밍 서버(2)가 제공하는 API를 호출함으로써, 전송 동영상에 대하여 투고된 코멘트를 취득할 수 있다. 또한, 이벤트 취득부(312)는 타이머 기능을 이용하여 소정 시간이 경과했음을 취득할 수 있다.
액션 기억부(333)에 기억되어 있는 각 액션 정보에 대해서, 액션 처리부(313)는 판정 기간에 들어가는 일시의 이벤트 정보를 이벤트 기억부(334)로부터 읽고(S424), 읽은 이벤트 정보의 이벤트 내용이 액션 정보의 조건을 충족하는지 여부를 판정한다(S425). 이벤트가 조건을 충족하는 경우(S426:YES), 액션 처리부(313)는 액션 정보에 포함되는 액션을 실행한다(S427). 여기서 액션 처리부(313)는 이전에 실행하고 있던 액션을 정지해도 좋고, 이전에 실행하고 있던 액션과 병행하여 새로운 액션을 실행하도록 해도 좋고, 이 거동을 새로운 액션 내에서 지정 가능하게 해도 좋다.
액션 정보의 액션이 전송 동영상을 종료시키는 것이 아니면(S428), 단계 S423부터의 처리를 반복한다.
이상과 같이 해서, 제2 실시 형태의 동영상 전송 시스템은 전송 동영상을 스트리밍 서버(2)를 경유하여 시청자 단말(1)로 전송하는 동시에, 전송 동영상 재생 중에 각종 이벤트에 따라 재생중의 전송 동영상에 변경을 가할 수 있다. 따라서, 녹화가 끝난 영상을 이용하면서도, 시청자의 반응에 따라 전송 동영상에 여러 가지 전개를 추가하는 것이 가능해지고, 스트리밍 형식에서의 동영상 전송 방식에 따른 라이브 느낌을 해치는 일 없이 동영상을 전송하는 것이 가능해진다.
이상, 제2 실시 형태에 대해서 설명했지만, 상기 실시 형태는 본 발명의 이해를 용이하게 하기 위한 것으로, 본 발명을 한정하여 해석하기 위한 것은 아니다. 본 발명은 그 취지를 일탈하는 일 없이, 변경, 개량될 수 있음과 동시에, 본 발명에는 그 등가물도 포함된다.
예를 들면, 본 실시 형태에서는 전송자 장치(3)로부터 송출한 동영상은 스트리밍 서버(2)를 통해서 시청자 단말(1)로 전송되는 것으로 했지만, 전송자 장치(3)로부터 각 시청자 단말(1)로 직접 동영상을 전송하도록 할 수도 있다.
또한, 본 실시 형태에서는 동영상의 재생 도중이라고 해도 코멘트가 조건을 충족하면, 다음 부품 동영상 데이터로 천이하는(도 16의 단계 S427) 것으로 했지만, 현재 액션의 실행은 최후까지 간 후에, 다음 액션으로 실행하도록 해도 좋다.
<제3 실시 형태>
제3 실시 형태에 따른 악곡 전송 시스템은 이하와 같은 구성을 구비한다.
[항목 1]
복수의 악곡 데이터를 기억하는 악곡 라이브러리와,
상기 악곡 데이터를 전송하는 악곡 전송부와,
적어도 제1 상기 악곡 데이터 재생 중에 복수의 시청자로부터의 반응을 나타내는 반응 정보를 취득하는 반응 취득부와,
상기 반응 정보에 따라, 상기 제1 악곡 데이터의 다음에 전송하는 제2 상기 악곡 데이터를 결정하는 전환 결정부와,
를 구비하는 것을 특징으로 하는 악곡 전송 시스템.
[항목 2]
항목 1에 기재된 악곡 전송 시스템으로서,
상기 악곡 전송부는 상기 시청자의 시청자 단말에 대하여 상기 악곡 데이터를 전송하는 전송 서버에 대하여 상기 제1 악곡 데이터를 송출하고,
복수의 상기 시청자 단말은 상기 시청자로부터 입력된 코멘트를 상기 전송 서버로 송신하고,
상기 반응 취득부는 상기 전송 서버로부터 상기 코멘트를 상기 반응 정보로서 취득하고,
상기 전환 결정부는 상기 코멘트에 포함되는 소정의 단어 수에 따라 상기 제2 악곡 데이터를 결정하는 것,
을 특징으로 하는 악곡 전송 시스템.
[항목 3]
항목 1에 기재된 악곡 전송 시스템으로서,
상기 악곡 데이터마다, 다음에 전송하는 상기 악곡 데이터를 나타내는 정보를 기억하는 시나리오 기억부와,
상기 반응 정보에 대한 조건 및 다음에 전송하는 상기 악곡 데이터를 나타내는 정보를 기억하는 조건 기억부와,
를 더 구비하고,
상기 전환 결정부는 상기 반응 정보가 충족하는 상기 조건이 있는 경우에는 상기 반응 정보가 충족하는 상기 조건에 대응하는, 상기 제1 악곡 데이터의 다음에 전송하는 상기 악곡 데이터를 상기 제2 악곡 데이터로서 결정하고, 상기 반응 정보가 충족하는 상기 조건이 없는 경우에는 상기 시나리오 기억부로부터 상기 제1 악곡 데이터의 다음에 전송하는 상기 악곡 데이터를 상기 제2 악곡 데이터로서 결정하는 것,
을 특징으로 하는 악곡 전송 시스템.
이하, 제3 실시 형태에 따른 악곡 전송 시스템에 대해서 설명한다. 제3 실시 형태의 악곡 전송 시스템은 스트리밍 전송되는 악곡에 대한 시청자의 반응에 따라, 다음에 연주될 악곡을 동적으로 변경하고자 하는 것이다. 제3 실시 형태에서는 악곡에 대한 반응은 악곡 시청 시에 투고된 시청자의 코멘트를 상정하고 있다. 즉, 악곡 재생 중에 투고된 코멘트 내용에 따라, 다음에 재생되는 악곡이 바뀌게 된다. 또한, 악곡은 음악뿐이여도 좋고, 영상과 조합한 동영상이여도 좋다, 이하, 상세에 대해서 설명한다.
도 17은 제3 실시 형태의 악곡 전송 시스템의 전체 구성예를 나타내는 도면이다. 제3 실시 형태의 악곡 전송 시스템은 전송자 장치(3)를 포함하여 구성되고, 전송자 장치(3)는 스트리밍 서버(2)와 통신 가능하게 접속되고, 스트리밍 서버(2)는 시청자 단말(1)과 통신 가능하게 접속된다. 전송자 장치(3)는 악곡 전송을 하는, 예를 들어 퍼스널 컴퓨터나 타블렛 컴퓨터, 스마트폰 등의 컴퓨터이다. 전송자 장치(3)는 예를 들어 악곡 전송을 하고 싶다고 생각하고 있는 일반 사용자가 조작하는 가정용 컴퓨터이면 된다. 전송자 장치(3)로부터는 악곡 데이터가 스트리밍 방식에 의해 스트리밍 서버(2)로 송출된다. 스트리밍 서버(2)는 전송자 장치(3)로부터 받은 악곡 데이터를 시청자 단말(1)로 전송하는, 예를 들어 워크스테이션이나 퍼스널 컴퓨터, 클라우드 컴퓨팅에 의해 제공되는 가상 컴퓨터 등의 컴퓨터이다. 스트리밍 서버(2)는 복수의 시청자 단말(1)에 대하여 동시에 악곡 데이터를 전송할 수 있다. 시청자 단말(1)은 시청자가 조작하는, 예를 들어 퍼스널 컴퓨터나 타블렛 컴퓨터, 스마트폰 등의 컴퓨터이다. 시청자는 시청자 단말(1)을 조작해서 스트리밍 서버(2)에 접속하고, 시청자 단말(1)은 스트리밍 서버(2)로부터 송출되어 오는 악곡 데이터를 수신해서 재생할 수 있다. 또한, 시청자는 시청자 단말(1)을 조작하여, 악곡에 대한 코멘트를 스트리밍 서버(2)에 투고할 수 있다. 스트리밍 서버(2)로부터 시청자 단말(1)에 대해서는 악곡 데이터에 추가해서 코멘트 데이터도 송신되어, 악곡의 재생과 함께, 이 악곡에 대한 코멘트도 시청자 단말(1)에 표시되게 된다.
또한, 이하의 설명에 있어서, 스트리밍에 의해 전송되어 리니어로 재생되는 악곡 전체를 특히 「전송 악곡」이라고 한다. 전송 악곡은 카메라나 마이크에 의해 캡처된 음성(또는 음성을 포함한 동영상)을, 실시간으로 음성 데이터로 인코딩하여 송출하는 형식으로 할 수도 있지만, 제3 실시 형태에서는 전송 악곡은 미리 부품으로서 악곡 데이터(이하, 부품 악곡 데이터라고 한다.)를 준비하는 동시에, 이 부품 악곡 데이터를 열거한 플레이 리스트를 준비해 두고, 플레이 리스트에 따라 부품 악곡 데이터를 송출함으로써, 전체로서의 전송 악곡이 송출되는 것을 상정하고 있다.
도 18은 전송자 장치(3)의 하드웨어 구성예를 나타내는 도면이다. 전송자 장치(3)는 CPU(301), 메모리(302), 기억 장치(303), 통신 인터페이스(304), 입력 장치(305), 출력 장치(306)를 구비한다. 기억 장치(303)는 각종 데이터나 프로그램을 기억하는, 예를 들어 하드디스크 드라이브나 솔리드 스테이트 드라이브, 플래쉬 메모리 등이다. 통신 인터페이스(304)는 통신 네트워크(30)에 접속하기 위한 인터페이스로, 예를 들면 이더넷(등록상표)에 접속하기 위한 어댑터, 공중 전화 회선망에 접속하기 위한 모뎀, 무선통신을 하기 위한 무선통신기, 시리얼 통신을 위한 USB(Universal Serial Bus) 커넥터나 RS232C 커넥터 등이다. 입력 장치(305)는 데이터를 입력하는, 예를 들어 키보드나 마우스, 터치 패널, 버튼, 마이크로폰 등이다. 출력 장치(306)는 데이터를 출력하는, 예를 들어 디스플레이나 프린터, 스피커 등이다.
도 19는 전송자 장치(3)의 소프트웨어 구성예를 나타내는 도면이다. 도 19에 나타내는 바와 같이, 전송자 장치(3)는 악곡 전송부(311), 코멘트 취득부(312), 전환 결정부(313), 악곡 라이브러리(331), 플레이 리스트 기억부(332), 조건 기억부(333) 및 코멘트 기억부(334)를 구비한다.
또한, 악곡 전송부(311), 코멘트 취득부(312) 및 전환 결정부(313)는 전송자 장치(3)가 구비하는 CPU(301)가 기억 장치(303)에 기억되어 있는 프로그램을 메모리(302)로 읽고 실행함으로써 실현되고, 악곡 라이브러리(331), 플레이 리스트 기억부(332), 조건 기억부(333) 및 코멘트 기억부(334)는 전송자 장치(3)가 구비하는 메모리(302) 및 기억 장치(303)의 적어도 어느 하나가 제공하는 기억 영역의 일부로서 실현된다.
악곡 라이브러리(331)는 부품 악곡 데이터를 기억한다. 부품 악곡 데이터는 예를 들어 MP3, MP4, AAC 등, 임의의 형식으로 인코딩된 화일로서 보존되어도 좋다. 도 20은 악곡 라이브러리(331)의 구조예를 나타내는 도면이다. 도 20에 나타내는 바와 같이, 악곡 라이브러리(331)는 부품 악곡 데이터를 특정하기 위한 정보(악곡 ID)에 대응되며, 부품 악곡 데이터를 기억한다. 악곡 ID는 예를 들어 화일명이여도 좋고, 고유하게 할당된 임의의 값이여도 좋다.
플레이 리스트 기억부(332)는 전송 악곡의 전송 순서를 나타내는 정보(플레이 리스트)를 기억한다. 도 21은 플레이 리스트 기억부(332)의 구성예를 나타내는 도면이다. 도 21에 나타내는 바와 같이, 플레이 리스트 기억부(332)는 플레이 리스트 정보와 리스트 정보를 기억하고 있다. 플레이 리스트 정보는 플레이 리스트에 관한 정보로, 도 21의 예에서는 예를 들어 전송자를 특정하는 전송자 ID와 플레이 리스트를 특정하는 정보(시나리오 ID)에 대응되며, 플레이 리스트명, 최초로 재생되는 부품 악곡 데이터를 나타내는 정보(개시 악곡 ID) 등이 포함된다. 리스트 정보는 플레이 리스트에서 디폴트의 악곡 재생 순서를 나타내는 정보이다. 리스트 정보는 플레이 리스트 ID와, 해당 플레이 리스트 ID가 나타내는 플레이 리스트에 포함되는 부품 악곡 데이터를 나타내는 악곡 ID와, 해당 악곡 ID가 나타내는 부품 악곡 데이터의 다음에 재생하는 부품 악곡 데이터를 나타내는 다음 악곡 ID가 대응되어 포함되어 있다. 상술한 바와 같이, 제3 실시 형태의 악곡 전송 시스템에서는 시청자의 반응(코멘트)에 따라 다음에 재생되는 부품 악곡 데이터가 바뀐다. 시청자의 반응(코멘트)이 소정 조건을 충족하지 않는 경우에는 디폴트 곡 순서로서, 리스트 정보에 근거하여 다음에 재생하는 부품 악곡 데이터가 결정되게 된다.
조건 기억부(333)는 시청자의 반응(코멘트)에 따른 분기를 하기 위한 조건을 나타내는 정보(이하, 조건 정보라고 한다.)를 기억한다. 도 22는 조건 기억부(333)의 구성예를 나타내는 도면이다. 도 22에 나타내는 바와 같이, 조건 기억부(333)가 기억하는 조건 정보는 플레이 리스트 ID, 판정 기간, 조건 및 다음 악곡 ID를 포함한다. 플레이 리스트 ID는 플레이 리스트를 나타내는 정보이다. 판정 기간은 시청자의 반응(코멘트)이 조건을 충족하는지 여부를 판정하는 기간을 나타내는 정보이다. 판정 기간은 예를 들어 현시점부터 5분전까지 등으로 상대적으로 지정해도 좋고, 12월 25일 00:00로부터 00:10까지와 같이 절대적으로 지정해도 좋다. 전송 장치(3)는 판정 기간에 의해 지정된 기간에서의 시청자 반응, 즉, 그 기간에 투고된 시청자의 코멘트가 조건에 매치하는지의 여부를 판정한다. 조건은 시청자의 반응(시청자가 투고한 코멘트)에 대한 것으로, 예를 들면, 상기 기간 내에 투고된 코멘트에 대해서 소정의 키워드를 포함하는 코멘트가 투고된 수나, 코멘트를 투고한 시청자의 지역마다 집계한 코멘트 또는 시청자 수, 예를 들면, 악곡 중에서 금액에 대한 의견을 질문한 것에 대하여 시청자가 투고한 금액의 집계값(평균값, 중앙값, 최대값, 최소값 등), 코멘트를 구문 해석하여 판단되는 시청자의 희로애락에 근거하는 슬퍼하고 있는 시청자 수 등이 소정 임계값을 초과할 것, 소정의 키워드를 포함하는 코멘트가 한번도 투고되지 않을 것, 등을 조건으로 할 수도 있다.
악곡 전송부(311)는 악곡을 전송한다. 악곡 전송부(311)는 사용자로부터 지정된 플레이 리스트에 대응하는 플레이 리스트 정보를 플레이 리스트 기억부(332)로부터 읽고, 읽은 플레이 리스트 정보에 포함되는 개시 악곡 ID에 대응하는 부품 악곡 데이터를 악곡 라이브러리(331)로부터 읽고(필요에 따라 인코딩을 하고, 또는 전송하는 동영상 포맷의 변환을 실행하여), 읽은 부품 악곡 데이터를 스트리밍 서버(2)로 송신함으로써 악곡을 전송할 수 있다. 또한, 악곡 전송부(311)는 읽은 부품 악곡 데이터를 송출 완료한 경우, 플레이 리스트 ID와 해당 부품 악곡 데이터를 나타내는 악곡 ID에 대응하는 다음 악곡 ID를 플레이 리스트 기억부(332)의 리스트 정보로부터 취득하고, 취득한 다음 악곡 ID에 대응하는 부품 악곡 데이터를 악곡 라이브러리(331)로부터 읽고, 상기와 마찬가지로 스트리밍 서버(2)로 송신할 수 있다. 악곡 전송부(311)는 다음 악곡 ID가 존재하지 않는 경우에는 악곡의 전송 처리를 종료할 수 있다. 또한, 후술하는 전환 결정부(313)에 의해 다음 악곡 ID가 결정되기 때문에, 다음 전송되는 악곡은 변화될 수 있다.
코멘트 기억부(334)는 시청자로부터 투고된 코멘트를 기억한다. 도 23은 코멘트 기억부(334)의 구성예를 나타내는 도면이다. 코멘트 기억부(334)는 코멘트를 특정하는 정보(코멘트 ID)에 대응되며, 코멘트를 투고한 시청자를 나타내는 시청자 ID, 코멘트가 투고된 일시, 코멘트 내용 등을 기억할 수 있다.
코멘트 취득부(312)는 시청자가 시청자 단말(1)을 이용하여 투고한 코멘트를 취득한다. 예를 들면, 스트리밍 서버(2)가 투고된 코멘트를 취득하기 위한 API를 제공하는 경우, 코멘트 취득부(312)는 해당 API를 호출함으로써, 투고된 코멘트를 취득할 수 있다. 또한, 시청자 단말(1)로부터 전송자 장치(3)에 대하여 직접 코멘트가 송신되도록 해도 좋다. 코멘트 취득부(312)는 취득한 코멘트를 코멘트 기억부(334)에 등록할 수 있다.
전환 결정부(313)는 악곡을 전환하는 것을 결정한다. 전환 결정부(313)는 상기 조건 기억부(333)에 기억되어 있는 조건 정보의 각각에 대해서, 기간에 대응하는 코멘트를 코멘트 기억부(334)로부터 읽어 집계하고, 조건을 충족하는지 여부를 판정하고, 조건을 충족하는 경우에는 조건 정보의 다음 악곡 ID가 나타내는 부품 악곡 데이터를 송출하는 것과 같이 악곡 전송부(311)에 전달할 수 있다.
도 24는 제3 실시 형태의 악곡 전송 시스템에 의해 실행되는 처리의 흐름을 설명하는 도면이다.
악곡 전송부(311)는 플레이 리스트의 지정을 받고(S421), 지정된 플레이 리스트의 플레이 리스트 정보에 포함되는 개시 악곡 ID를 재생 ID로 한다(S422). 악곡 전송부(311)는 재생 ID에 대응하는 부품 악곡 데이터를 악곡 라이브러리(331)로부터 읽고(S423), 재생 ID에는 리스트 정보의 다음 악곡 ID를 설정한다(S424). 악곡 전송부(311)는 읽은 부품 악곡을 스트리밍 서버(2)로 송신한다(S425). 이것에 의해, 스트리밍 서버(2)로부터 각 시청자 단말(1)로 스트리밍에 의해 악곡이 전송되게 된다.
코멘트 취득부(312)는 스트리밍 서버(2)로부터 시청자가 시청자 단말(1)을 이용하여 투고한 코멘트를 취득한다(S426). 코멘트의 취득은 예를 들면 스트리밍 서버(2)가 제공하는 API를 호출함으로써 행할 수 있다.
전환 결정부(313)는 조건 기억부(333)에 기억되어 있는 조건 정보의 각각에 대해서, 판정 기간에 투고된 코멘트를 코멘트 기억부(334)로부터 읽고(S427), 읽은 코멘트가 조건 정보의 조건을 충족하는지 여부를 판정한다(S428). 코멘트가 조건을 충족하는지 여부는 예를 들어 키워드마다 코멘트에 포함되어 있는 수를 카운트하고, 카운트한 수가 소정 임계값을 초과하는지 여부에 의해 판단할 수 있다.
코멘트가 조건을 충족하는 경우(S429:YES), 전환 결정부(313)는 조건 정보에 포함되는 다음 악곡 ID를 재생 ID로 설정한다(S430).
이상의 처리를 조건 정보에 대해서 행함으로써, 최후로 조건을 충족한 조건 정보의 다음 악곡 ID가 재생 ID로서 설정되게 된다.
전송중인 악곡 데이터의 송신이 종료되지 않은 경우에는(S431:NO), 단계 S425부터의 처리를 반복한다.
전송중인 악곡 데이터의 송신이 종료한 경우(S431:YES), 악곡 전송부(311)는 재생 ID에 악곡 ID가 설정되어 있으면(S423:YES), 단계 S423부터의 처리를 반복하고, 재생 ID에 악곡 ID가 설정되어 있지 않으면(또는 NULL값이 설정되어 있으면)(S431:NO), 악곡 전송부(311)는 플레이 리스트의 재생이 완료했다고 해서 처리를 종료한다.
도 25는 시청자 단말(1)에 표시되는 화면의 일례를 나타내는 도면이다. 도 25(a)의 예에서는 스트리밍 서버(2)로부터 전송되는 악곡 데이터에 근거하여 동영상(511)이 표시된다. 또한, 악곡 데이터가 음성 데이터인 경우에는 동영상(511)을 대신해서 정지 영상을 표시하도록 해도 좋고, 악곡 데이터와는 별도의 소스로부터 입수한 영상을 동영상(511)으로 표시해도 좋다. 또한, 화면에는 해당 시청자 단말(1)을 조작하고 있는 시청자 또는 다른 시청자 단말(1)을 조작하고 있는 시청자로부터 투고된 코멘트(512)가 표시된다.
여기에서, 조건 기억부(333)에 「요정제국」등의 악곡명 중에서, 소정수 이상 투고된 것에서 가장 많이 투고된 것으로 하는 조건을 포함하는 조건 정보가 포함되어 있는 경우, 도 25(a)의 예에도 표시되어 있는 「요정제국」이라는 키워드가 투고된 코멘트에 가장 많이 포함되어 있는 경우에는 도 25(b)에 나타내는 바와 같이 「요정제국」의 악곡이 전송된다. 또한, 예정되어 있던 악곡명이 포함된 코멘트가 투고되지 않았거나, 투고수가 소정수를 하회한 경우에는 도 25(c)에 나타내는 바와 같이 리스트 정보의 다음 악곡 ID에 설정되어 있던 악곡이 전송된다.
이상과 같이 해서, 제3 실시 형태의 악곡 전송 시스템은 플레이 리스트로서 설정한 부품 악곡 데이터를 연속적으로 송출한 리니어 동영상을 스트리밍 서버(2)를 경유하여 시청자 단말(1)로 전송하는 동시에, 부품 악곡 데이터 재생 중에 시청자의 코멘트에 따라 다음에 전송하는 악곡을 동적으로 변경할 수 있다. 따라서, 시청자의 반응에 따라 상이한 전개의 리니어 동영상을 제공할 수 있다. 따라서, 녹화가 끝난 부품 악곡 데이터를 이용하면서도, 스트리밍 형식의 전송 방식에 따른 라이브 느낌을 해치는 일 없이 악곡을 전송하는 것이 가능해진다.
이상, 제3 실시 형태에 대해서 설명했지만, 상기 실시 형태는 본 발명의 이해를 용이하게 하기 위한 것으로, 본 발명을 한정하여 해석하기 위한 것은 아니다. 본 발명은 그 취지를 일탈하는 일 없이, 변경, 개량될 수 있음과 동시에, 본 발명에는 그 등가물도 포함된다.
예를 들면, 본 실시 형태에서는 전송자 장치(3)로부터 송출한 악곡은 스트리밍 서버(2)를 통해서 시청자 단말(1)로 전송되는 것으로 했지만, 전송자 장치(3)로부터 각 시청자 단말(1)에 직접 악곡을 전송하도록 할 수도 있다.
또한, 본 실시 형태에서는 악곡 라이브러리(331)에는 MP3등의 형식으로 인코딩된 악곡 화일이 기억되는 것으로 했지만, MIDI 데이터나 복수 트럭의 악곡을 합성하는 트럭 정보 등을 악곡 라이브러리(331)에 보존해 두고, 이들에 근거하여 동적으로 합성한 음성 또는 동영상을 송출하도록 해도 좋다.
<제4 실시 형태>
제4 실시 형태에 따른 동영상 전송 시스템은 이하와 같은 구성을 구비한다.
[항목 1]
복수의 동영상 데이터를 기억하는 동영상 라이브러리와,
상기 동영상 데이터를 전송하는 동영상 전송부와,
적어도 제1 상기 동영상 데이터 재생 중에 1명 또는 복수의 시청자로부터의 반응을 나타내는 반응 정보를 우선도에 근거하여 취득하는 반응 취득부와,
상기 반응 정보에 따라, 상기 제1 동영상 데이터의 다음에 전송하는 제2 상기 동영상 데이터를 결정하는 전환 결정부를 구비하는 동영상 전송 시스템.
[항목 2]
항목 1에 기재된 동영상 전송 시스템으로서,
상기 동영상 전송부는 상기 시청자의 시청자 단말 각각에 대하여 상기 동영상 데이터를 전송하는 동영상 전송 서버에 대하여 상기 제1 동영상 데이터를 송출하고,
하나 또는 복수의 상기 시청자 단말은 상기 시청자로부터 입력된 코멘트를 상기 동영상 전송 서버로 송신하고,
상기 반응 취득부는 상기 동영상 전송 서버로부터 상기 코멘트를 상기 반응 정보로서 취득하고, 상기 전환 결정부는 상기 코멘트에 따라 상기 제2 동영상 데이터를 결정하는 것을 특징으로 하는 동영상 전송 시스템.
[항목 3]
항목 1에 기재된 동영상 전송 시스템으로서,
상기 동영상 데이터마다, 다음에 전송하는 상기 동영상 데이터를 나타내는 정보를 기억하는 시나리오 기억부와,
상기 반응 정보에 대한 조건 및 다음에 전송하는 상기 동영상 데이터를 나타내는 정보를 기억하는 조건 기억부와,
를 더 구비하고,
상기 전환 결정부는 상기 반응 정보가 충족하는 상기 반응 정보에 대한 조건이 있는 경우에는 상기 반응 정보가 충족하는 상기 조건에 대응하는, 상기 제1 동영상 데이터의 다음에 전송하는 상기 동영상 데이터를 상기 제2 동영상 데이터로서 결정하고, 상기 반응 정보가 충족하는 상기 조건이 없는 경우에는 상기 시나리오 기억부로부터 상기 제1 동영상 데이터의 다음에 전송하는 상기 동영상 데이터를 상기 제2 동영상 데이터로서 결정하는 것,
을 특징으로 하는 동영상 전송 시스템.
[항목 4]
항목 1에 기재된 동영상 전송 시스템으로서,
상기 우선도는 상기 시청자의 과금액을 기준으로 하는 것을 특징으로 하는 동영상 전송 시스템.
[항목 5]
항목 1에 기재된 동영상 전송 시스템으로서,
상기 우선도는 상기 시청자의 스테이터스 정보를 기준으로 하는 것을 특징으로 하는 동영상 전송 시스템.
이하, 제4 실시 형태에 따른 동영상 전송 시스템에 대해서 설명한다. 제4 실시 형태의 동영상 전송 시스템은 스트리밍 전송되는 동영상에 대한 시청자의 반응에 따라, 이 동영상의 전개(스토리)를 동적으로 변경하고자 하는 것이다. 제4 실시 형태에서는 동영상에 대한 반응은 동영상 시청 시에 투고된 시청자의 코멘트를 상정하고 있다. 즉, 동영상 재생 중에 투고된 코멘트 내용에 따라, 재생되는 동영상이 변화되게 된다. 예를 들면, 동영상 중에 2명의 캐릭터가 등장하는 경우, 많은 코멘트가 투고된 캐릭터를 메인으로 한 스토리로 분기될 수 있다. 이하, 상세에 대해서 설명한다.
도 26은 제4 실시 형태의 동영상 전송 시스템의 전체 구성예를 나타내는 도면이다. 제4 실시 형태의 동영상 전송 시스템은 전송자 장치(3)를 포함하여 구성되고, 전송자 장치(3)는 스트리밍 서버(2)와 통신 가능하게 접속되고, 스트리밍 서버(2)는 시청자 단말(1)과 통신 가능하게 접속된다. 전송자 장치(3)는 동영상 송신을 하는, 예를 들어 퍼스널 컴퓨터나 타블렛 컴퓨터, 스마트폰 등의 컴퓨터이다. 전송자 장치(3)는 예를 들어 동영상 전송을 하고 싶다고 생각하고 있는 일반 사용자가 조작하는 가정용 컴퓨터이면 된다. 전송자 장치(3)로부터는 동영상 데이터가 스트리밍 방식에 의해 스트리밍 서버(2)로 송출된다. 스트리밍 서버(2)는 전송자 장치(3)로부터 받은 동영상 데이터를 시청자 단말(1)로 전송하는, 예를 들어 워크스테이션이나 퍼스널 컴퓨터, 클라우드 컴퓨팅에 의해 제공되는 가상 컴퓨터 등의 컴퓨터이다. 스트리밍 서버(2)는 복수의 시청자 단말(1)에 대하여 동시에 동영상 데이터를 전송할 수 있다. 시청자 단말(1)은 시청자가 조작하는, 예를 들어 퍼스널 컴퓨터나 타블렛 컴퓨터, 스마트폰 등의 컴퓨터이다. 시청자는 시청자 단말(1)을 조작해서 스트리밍 서버(2)에 접속하고, 시청자 단말(1)은 스트리밍 서버(2)로부터 송출되어 오는 동영상 데이터를 수신해서 재생할 수 있다. 또한, 시청자는 시청자 단말(1)을 조작하여, 동영상에 대한 코멘트를 스트리밍 서버(2)에 투고할 수 있다. 스트리밍 서버(2)로부터 시청자 단말(1)에 대해서는 동영상 데이터에 추가해서 코멘트 데이터도 송신되어, 동영상의 재생과 함께, 이 동영상에 대한 코멘트도 시청자 단말(1)에 표시되게 된다.
또한, 이하의 설명에 있어서, 스트리밍에 의해 전송되어 리니어로 재생되는 동영상 전체를 특히 「전송 동영상」이라고 한다. 전송 동영상은 카메라나 마이크에 의해 캡처된 동영상 및 음성을, 실시간으로 동영상 데이터로 인코딩하여 송출하는 형식으로 할 수도 있지만, 제4 실시 형태에서는 전송 동영상은 미리 부품으로서 동영상 데이터(이하, 부품 동영상 데이터라고 한다.)를 준비하는 동시에, 이 부품 동영상 데이터를 열거한 시나리오를 준비해 두고, 시나리오에 따라 부품 동영상 데이터를 송출함으로써, 전체로서의 전송 동영상이 송출되는 것을 상정하고 있다.
도 27은 전송자 장치(3)의 하드웨어 구성예를 나타내는 도면이다. 전송자 장치(3)는 CPU(301), 메모리(302), 기억 장치(303), 통신 인터페이스(304), 입력 장치(305), 출력 장치(306)를 구비한다. 기억 장치(303)는 각종 데이터나 프로그램을 기억하는, 예를 들어 하드디스크 드라이브나 솔리드 스테이트 드라이브, 플래쉬 메모리 등이다. 통신 인터페이스(304)는 통신 네트워크(30)에 접속하기 위한 인터페이스로, 예를 들면 이더넷(등록상표)에 접속하기 위한 어댑터, 공중 전화 회선망에 접속하기 위한 모뎀, 무선통신을 하기 위한 무선통신기, 시리얼 통신을 위한 USB(Universal Serial Bus) 커넥터나 RS232C 커넥터 등이다. 입력 장치(305)는 데이터를 입력하는, 예를 들어 키보드나 마우스, 터치 패널, 버튼, 마이크로폰 등이다. 출력 장치(306)는 데이터를 출력하는, 예를 들어 디스플레이나 프린터, 스피커 등이다.
도 28은 전송자 장치(3)의 소프트웨어 구성예를 나타내는 도면이다. 도 28에 나타내는 바와 같이, 전송자 장치(3)는 동영상 전송부(311), 코멘트 취득부(312), 전환 결정부(313), 동영상 라이브러리(331), 시나리오 기억부(332), 조건 기억부(333), 코멘트 기억부(334)를 구비한다.
또한, 동영상 전송부(311), 코멘트 취득부(312) 및 전환 결정부(313)는 전송자 장치(3)가 구비하는 CPU(301)가 기억 장치(303)에 기억되어 있는 프로그램을 메모리(302)로 읽고 실행함으로써 실현되고, 동영상 라이브러리(331), 시나리오 기억부(332), 조건 기억부(333) 및 코멘트 기억부(334)는 전송자 장치(3)가 구비하는 메모리(302) 및 기억 장치(303)의 적어도 어느 하나가 제공하는 기억 영역의 일부로서 실현된다.
동영상 라이브러리(331)는 부품 동영상 데이터를 기억한다. 부품 동영상 데이터는 예를 들어 MPEG4, MPEG2, AVI, MOV 등, 임의의 형식으로 인코딩된 화일로서 보존되어도 좋다. 도 29는 동영상 라이브러리(331)의 구조예를 나타내는 도면이다. 도 29에 나타내는 바와 같이, 동영상 라이브러리(331)는 부품 동영상 데이터를 특정하기 위한 정보(동영상 ID)에 대응되며, 부품 동영상 데이터를 기억한다.
시나리오 기억부(332)는 전송 동영상의 시나리오를 기억한다. 도 30은 시나리오 기억부(332)의 구성예를 나타내는 도면이다. 도 30에 나타내는 바와 같이, 시나리오 기억부(332)는 시나리오 정보와 시퀸스 정보를 기억하고 있다. 시나리오 정보는 시나리오에 관한 정보이며, 도 30의 예에서는 예를 들어 시나리오를 특정하는 정보(시나리오 ID)에 대응되며, 시나리오의 이름(타이틀), 시나리오 최초로 재생되는 부품 동영상 데이터를 나타내는 정보(개시 동영상 ID) 등이 포함된다. 시퀸스 정보는 시나리오에 있어서 디폴트의 부품 동영상 재생 순서를 나타내는 정보이다. 시퀸스 정보는 시나리오 ID와, 해당 시나리오 ID가 나타내는 시나리오에 포함되는 부품 동영상 데이터를 나타내는 동영상 ID와, 해당 동영상 ID가 나타내는 부품 동영상 데이터의 다음에 재생하는 부품 동영상 데이터를 나타내는 다음 동영상 ID가 대응되어 포함되어 있다. 상술한 바와 같이, 제4 실시 형태의 동영상 전송 시스템에서는 시청자의 반응(코멘트)에 따라 다음에 재생되는 부품 동영상 데이터가 변경되게 되지만, 시청자의 반응(코멘트)이 소정 조건을 충족하지 않는 경우에는 디폴트 시나리오로서, 시퀸스 정보에 근거하여 다음에 재생하는 부품 동영상 데이터가 결정되게 된다.
조건 기억부(333)는 시청자의 반응(코멘트)에 따른 분기를 하기 위한 조건을 나타내는 정보(이하, 조건 정보라고 한다.)를 기억한다. 도 31은 조건 기억부(333)의 구성예를 나타내는 도면이다. 도 31에 나타내는 바와 같이, 조건 기억부(333)가 기억하는 조건 정보는 시나리오 ID, 판정 기간, 조건 및 다음 동영상 ID를 포함한다. 시나리오 ID는 시나리오를 나타내는 정보이다. 판정 기간은 시청자의 반응(코멘트)이 조건을 충족하는지 여부를 판정하는 기간을 나타내는 정보이다. 판정 기간은 예를 들어 현시점부터 5분전까지 등으로 상대적으로 지정해도 좋고, 12월 25일 00:00로부터 00:10까지와 같이 절대적으로 지정해도 좋다. 전송 장치(3)는 판정 기간에 의해 지정된 기간에서의 시청자 반응, 즉, 그 기간에 투고된 시청자의 코멘트가 조건에 매치하는지의 여부를 판정한다. 조건은 시청자의 반응(시청자가 투고한 코멘트)에 대한 것으로, 예를 들면, 상기 기간 내에 투고된 코멘트에 대해서 소정의 키워드를 포함하는 코멘트가 투고되었는지 여부나 키워드를 포함하는 코멘트의 수, 코멘트를 투고한 시청자의 지역마다 집계한 코멘트 또는 시청자 수, 예를 들면, 동영상 중에서 금액에 대한 의견을 질문한 것에 대하여 시청자가 투고한 금액의 집계값(평균값, 중앙값, 최대값, 최소값 등), 코멘트를 구문 해석하여 판단되는 시청자의 희로애락에 근거하는 슬퍼하고 있는 시청자 수 등이 소정 임계값을 초과할 것, 소정의 키워드를 포함하는 코멘트가 한번도 투고되지 않을 것, 등을 조건으로 할 수 있다.
동영상 전송부(311)는 동영상을 전송한다. 동영상 전송부(311)는 사용자로부터의 지정을 받는 것 등에 의해, 미리 결정된 시나리오에 대응하는 시나리오 정보를 시나리오 기억부(332)로부터 읽고, 읽은 시나리오 정보에 포함되는 개시 동영상 ID에 대응하는 부품 동영상 데이터를, 동영상 라이브러리(331)로부터 읽고(필요에 따라 인코딩을 하고, 또는 전송하는 동영상 포맷의 변환을 실행하여), 읽은 부품 동영상 데이터를 스트리밍 서버(2)로 송신함으로써 동영상을 전송할 수 있다. 또한, 동영상 전송부(311)는 읽은 부품 동영상 데이터를 송출 완료한 경우, 시나리오 ID와 해당 부품 동영상 데이터를 나타내는 동영상 ID에 대응하는 다음 동영상 ID를 시나리오 기억부(332)의 시퀸스 정보로부터 취득하고, 취득한 다음 동영상 ID에 대응하는 부품 동영상 데이터를 동영상 라이브러리(331)로부터 읽고, 마찬가지로 스트리밍 서버(2)로 송신할 수 있다. 동영상 전송부(311)는 다음 동영상 ID가 존재하지 않는 경우에는 동영상 전송 처리를 종료할 수 있다. 또한, 후술하는 전환 결정부(313)에 의해 다음 동영상 ID가 결정된 경우에는 현재 실행중인 부품 동영상 데이터의 송신을 중단하고, 전환 결정부(313)에 의해 결정된 다음 동영상 ID에 대응하는 부품 동영상 데이터를 읽고 스트리밍 서버(2)로 송신함으로써 스토리를 변화시킬 수 있다.
코멘트 기억부(334)는 시청자로부터 투고된 코멘트를 기억한다. 도 32는 코멘트 기억부(334)의 구성예를 나타내는 도면이다. 코멘트 기억부(334)는 코멘트를 특정하는 정보(코멘트 ID)에 대응되며, 코멘트를 투고한 시청자를 나타내는 시청자 ID, 코멘트가 투고된 일시, 코멘트 내용, 코멘트에 대하여 과금이 된 경우는 과금액 또는 과금의 유무에 관한 정보 등을 기억할 수 있다.
시청자 정보 기억부(335)는 시청자에 관한 정보를 기억한다. 도 33은 시청자 정보 기억부(335)의 구성예를 나타내는 도면이다. 시청자 정보 기억부(335)는 시청자 ID에 대응되며, 시청자의 스테이터스 정보, 예를 들면, 그 시청자가 가입하는 동영상 전송 서비스의 플랜(예를 들면, 프리미엄 플랜, 베이직 플랜, 무료 플랜 등)시청자가 투고한 코멘트에 대하여 과금하고 있는 경우는 그 과금액 및 / 또는 과금액의 합계, 시청자가 아이템 등을 구입하고 있는 경우는 그 아이템명, 또한 시청자가 투고한 코멘트의 이력 등을 나타내는 정보 등을 기억할 수 있다.
코멘트 취득부(312)는 시청자가 시청자 단말(1)을 이용하여 투고한 코멘트를 취득한다. 예를 들면, 스트리밍 서버(2)가 투고된 코멘트를 취득하기 위한 API를 제공하는 경우, 코멘트 취득부(312)는 해당 API를 호출함으로써, 투고된 코멘트를 취득할 수 있다. 코멘트 취득부(312)는 취득한 코멘트를 코멘트 기억부(334)에 등록할 수 있다.
전환 결정부(313)는 동영상을 전환하는 것을 결정한다. 전환 결정부(313)는 상기 조건 기억부(333)에 기억되어 있는 조건 정보의 각각에 대해서, 기간에 대응하는 코멘트를 코멘트 기억부(334)로부터 읽어 집계하고, 조건을 충족하는지 여부를 판정하고, 조건을 충족하는 경우에는 조건 정보의 다음 동영상 ID가 나타내는 부품 동영상 데이터를 송출하는 것과 같이 동영상 전송부(311)에 전달할 수 있다. 여기에서, 전환 결정부(313)는 코멘트 기억부(334)에 기억되어 있는 정보 또는 시청자 정보 기억부(335)에 기억되어 있는 정보에 근거하여, 우선도가 높은 코멘트를 읽을 수도 있다.
도 34는 제4 실시 형태의 동영상 전송 시스템에 의해 실행되는 처리의 흐름을 설명하는 도면이다.
동영상 전송부(311)는 시나리오의 지정을 받고(S421), 지정된 시나리오의 시나리오 정보에 포함되는 개시 동영상 ID를 재생 ID로 한다(S422). 동영상 전송부(311)는 재생 ID에 대응하는 부품 동영상 데이터를 동영상 라이브러리(331)로부터 읽고(S423), 읽은 부품 동영상을 스트리밍 서버(2)로 송신한다(S424). 이것에 의해, 스트리밍 서버(2)로부터 각 시청자 단말(1)로 스트리밍에 의해 동영상이 전송되게 된다.
코멘트 취득부(312)는 스트리밍 서버(2)로부터 시청자가 시청자 단말(1)을 이용하여 투고한 코멘트를 취득한다(S425). 코멘트의 취득은 예를 들면 스트리밍 서버(2)가 제공하는 API를 호출함으로써 행할 수 있다.
전환 결정부(313)는 조건 기억부(333)에 기억되어 있는 조건 정보의 각각에 대해서, 우선도가 높은 코멘트를 코멘트 기억부(334)로부터 읽는다(S426).
여기에서, 전환 결정부(313)는 우선도가 높은 코멘트에 대해서, 예를 들면, 동영상 전송 서비스에 대해서, 코멘트를 투고한 시청자가 가입한 플랜을 기준으로 결정할 수 있다. 예를 들면, 시청자가 프리미엄 플랜(다른 플랜과 비교해서 금액이 높은 플랜)에 가입한 경우, 전환 결정부(313)는 코멘트 기억부(334)에 기억된 코멘트로부터 우선도가 높은 코멘트로서 추출한다.
또는, 전환 결정부(313)는 우선도가 높은 코멘트에 대해서, 예를 들면, 코멘트를 투고한 시청자가 투고한 코멘트에 대하여 과금을 행한 경우, 과금의 유무, 그 과금액이 기준액을 상회하는지, 또는 복수의 시청자간의 최고액을 기준으로 결정할 수 있다. 예를 들면, 시청자가 어떤 코멘트에 대하여 500엔을 과금한 경우, 전환 결정부(313)는 그 과금액이 기준액(예를 들면, 300엔)을 상회하므로 우선도가 높은 코멘트로서 추출한다. 또한, 동영상 전송부(311)는 동영상을 전송할 때에, 받는 코멘트의 기준액을 사전에 제시할 수도 있다.
또는, 전환 결정부(313)는 우선도가 높은 코멘트에 대해서, 예를 들면, 시청자가 코멘트를 투고할 때에, 또는 그 전 시점에서 소정의 아이템을 구입한 경우에, 그 아이템을 보유하고 있는지 여부, 또는 그 아이템에 의해 생기는 권리를 행사했는지 여부를 기준으로 결정할 수 있다. 예를 들면, 아이템은 특정 코멘트와 대응되어 사용되는 것으로 해도 좋고, 아이템에 관계없이 소정 횟수나 기간에 대해 효력을 발생할 수 있다.
다음에, 전환 결정부(313)는 읽은 코멘트가 조건 정보의 조건을 충족하는지 여부를 판정한다(S427). 코멘트가 조건을 충족하는지 여부는 예를 들어 키워드마다 코멘트에 포함되어 있는 수를 카운트하고, 카운트한 수가 소정 임계값을 초과하는지 여부에 의해 판단할 수 있다. 또는, S426에 있어서, 전환 결정부(313)가 가장 우선도가 높은 코멘트를 읽은 경우(예를 들면, 과금액이 최고액인 코멘트/시청자)는 그 코멘트가 조건을 충족하는지 여부에 의해 판단할 수 있다.
코멘트가 조건을 충족하는 경우(S428:YES), 전환 결정부(313)는 조건 정보에 포함되는 다음 동영상 ID를 재생 ID로 설정하고(S429), 단계 S423으로 돌아가서, 동영상 전송부(311)는 재생 ID에 대응하는 부품 동영상 데이터의 송신을 행한다. 이것에 의해, 코멘트에 따라 부품 동영상 데이터의 흐름을 변경할 수 있다.
모든 조건 정보에 대해서 코멘트가 조건을 충족하지 않은 경우, 재생중인 동영상이 종료한 때에는(S430:YES), 전환 결정부(313)는 시퀸스 정보의 다음 동영상 ID를 재생 ID로 설정한다(S431). 시퀸스 정보에 다음 동영상 ID가 설정되어 있는 경우에는(S432:YES), 단계 S423으로 돌아가서, 동영상 전송부(311)는 재생 ID에 대응하는 부품 동영상 데이터의 송신을 행한다. 또한, 시퀸스 정보에 다음 동영상 ID가 설정되어 있지 않은 경우에는(S432:NO), 처리를 종료한다.
도 35는 시청자 단말(1)에 표시되는 화면의 일례를 나타내는 도면이다. 도 35(a)에 나타내는 바와 같이, 스트리밍 서버(2)로부터 전송되는 동영상 데이터에 근거하여 동영상(511)이 표시되는 동시에, 해당 시청자 단말(1)을 조작하고 있는 시청자 또는 다른 시청자 단말(1)을 조작하고 있는 시청자로부터 투고된 코멘트(512)가 표시된다. 도 35(a)의 예에서는 2명의 캐릭터(아이짱과 메구짱)가 표시된다. 이것에 대하여, 코멘트(512)에는 「아이짱이다!」 「메구짱 힘내」라고 한 코멘트가 투고되어 있다.
여기에서, 조건 기억부(333)로서 「아이짱을 부른다」라는 문구가 포함된다고 하는 조건을 포함하는 조건 정보가 포함되어 있는 경우, 도 35(a)의 예에는 이 문구가 투고되어 있으므로, 도 35(b)에 나타내는 바와 같은 동영상(513)이 표시되게 된다. 이것에 대하여, 코멘트에 상기 문구가 등록되어 있지 않은 경우에는 시퀸스 정보의 다음 동영상 ID로서 도 35(c)에 나타내는 바와 같은 동영상(514)이 표시된다.
이상과 같이 해서, 제4 실시 형태의 동영상 전송 시스템은 부품 동영상 데이터를 연속적으로 송출하여, 리니어 동영상을 스트리밍 서버(2)를 경유하여 시청자 단말(1)로 전송하는 동시에, 부품 동영상 데이터 재생 중에 시청자의 코멘트에 따라 재생중의 부품 동영상 데이터의 다음에 재생하는 부품 동영상 데이터를 정할 수 있다. 따라서, 시청자의 반응에 따라 상이한 전개의 리니어 동영상을 제공할 수 있다. 따라서, 녹화가 끝난 부품 동영상 데이터를 이용하면서도, 스트리밍 형식에서의 동영상 전송 방식에 따른 라이브 느낌을 해치는 일 없이 동영상을 전송하는 것이 가능해진다.
이상, 제4 실시 형태에 대해서 설명했지만, 상기 실시 형태는 본 발명의 이해를 용이하게 하기 위한 것으로, 본 발명을 한정하여 해석하기 위한 것은 아니다. 본 발명은 그 취지를 일탈하는 일 없이, 변경, 개량될 수 있음과 동시에, 본 발명에는 그 등가물도 포함된다.
예를 들면, 본 실시 형태에서는 전송자 장치(3)로부터 송출한 동영상은 스트리밍 서버(2)를 통해서 시청자 단말(1)로 전송되는 것으로 했지만, 전송자 장치(3)로부터 각 시청자 단말(1)로 직접 동영상을 전송하도록 할 수도 있다.
또한, 본 실시 형태에서는 동영상 라이브러리(331)에는 MPEG4 등의 형식으로 인코딩된 동영상 화일이 기억되는 것으로 했지만, 3D 모델이나 장면 화일 등을 동영상 라이브러리(331)에 보존해 두고, 이들에 근거하여 동적으로 렌더링한 동영상을 송출하도록 해도 좋다.
또한, 본 실시 형태에서는 부품 동영상 데이터의 재생 도중이라고 해도 코멘트가 조건을 충족하면, 다음 부품 동영상 데이터로 천이하는(도 33의 단계 S428→S429→S423) 것으로 했지만, 부품 동영상 데이터는 최후까지 재생한 후에 다음 부품 동영상 데이터로 천이하도록 해도 좋다. 이 경우, 도 33의 단계 S429 앞 또는 다음에, 부품 동영상 데이터의 재생이 종료했음을 확인하는 단계를 두면 좋다.
또한, 본 실시 형태에서는 시청자로부터 투고되는 코멘트(또는 코멘트에 포함되는 키워드)에 따라 부품 동영상 데이터를 전환하는 것으로 했지만, 시청자 단말(1)로부터 취득할 수 있는 임의의 시청자 반응에 따른 전환을 행할 수 있다. 예를 들면, 코멘트 취득부(312)는 시청자 단말(1)에 있어서 전송 동영상의 소정 영역이 클릭 또는 탭된 것을 이벤트로서 취득하도록 하고, 전환 결정부(313)는 이 이벤트가 발생한 수(즉, 전송 동영상의 소정 영역을 클릭 또는 탭한 시청자 수)를 카운트하고, 이 수가 임계값을 초과했는지 여부에 따라 부품 동영상 데이터를 전환하도록 할 수 있다. 이 경우, 전송 동영상의 소정 영역의 클릭 또는 탭한 시청자의 인원수에 대한 임계값과, 영역에 따른 전환지가 되는 부품 동영상 데이터를 나타내는 동영상 ID를 조건 정보로서 등록해 두면 좋다. 시청자 단말(1)에 있어서 Web 브라우저에서 전송 동영상이 시청되고 있는 경우에는 Web 브라우저에서 발생한 클릭 이벤트를 스트리밍 서버(2) 또는 전송자 장치(3)로 송신하도록 하고, 코멘트 취득부(312)는 직접 또는 스트리밍 서버(2)를 경유하여 클릭 이벤트를 취득할 수 있고, 이 클릭 이벤트를 코멘트 기억부(334)에 기억해 두면 좋다. 이 경우, 코멘트 취득부(312)는 코멘트에 한정되지 않고, 각종 이벤트를 취득하는 이벤트 취득부로서 기능하며, 코멘트 기억부(334)는 코멘트에 한정되지 않고, 각종 이벤트를 기억하는 이벤트 기억부로서 기능하게 된다.
또한, 상기 이벤트 취득부는 예를 들어 시청자 단말(1)이 캡처한 음성 데이터를 수신하고, 수신한 음성 데이터를 해석해서 특정 발음이 있는 것(예를 들면, 시청자가 특정 키워드를 발성한 것, 박수나 휘파람, 제자리 걸음 등이 행해진 것)을 이벤트로서 취득하고, 전환 결정부(313)는 이 이벤트에 따라 동영상을 전환할 수 있다. 이 경우, 특정 발음이 있는 것을 조건으로서, 발음의 종류마다 상이한 다음 동영상 ID를 설정한 조건 정보를 조건 기억부(333)에 등록해 두면 좋다. 또한, 음성 해석을 시청자 단말(1)에서 하도록 하고, 이벤트 취득부는 그 해석 결과를 수신하도록 해도 좋다.
또한, 상기 이벤트 취득부는 예를 들어 시청자 단말(1)이 촬영한 영상 데이터를 수신하고, 수신한 동영상 데이터를 해석하며, 시청자의 자세나 시선, 제스처 등을 인식하여, 이들의 발생을 이벤트로서 취득하고, 전환 결정부(313)는 이 이벤트에 따라 동영상을 전환할 수 있다. 이 경우, 특정 자세나 시선, 제스처가 있는 것을 조건으로서, 자세나 제스처의 종류, 시선의 끝이 나타내는 동영상의 영역마다 상이한 다음 동영상 ID를 설정한 조건 정보를 조건 기억부(333)에 등록해 두면 좋다. 또한, 동영상 해석을 시청자 단말(1)에서 하도록 하고, 이벤트 취득부는 그 해석 결과를 수신하도록 해도 좋다.
또한, 상기 이벤트 취득부는 예를 들어 시청자 단말(1)에서 발생한 이벤트가 아닌, 시스템상에서 취득 가능한 이벤트를 취득할 수 있다. 시스템상에서 취득 가능한 이벤트에는 예를 들어 전송 동영상의 전송 개시로부터의 경과 시간, 현재 시각, 전송 동영상에서 오브젝트의 충돌이 발생한 것, 시청자 또는 전송자의 소재지 또는 사전에 설정한 소정 지역의 특정 기상 조건의 발생 등이 있을 수 있다. 전환 결정부(313)는 이러한 이벤트에 따라 동영상을 전환할 수도 있다.
<제5 실시 형태>
제5 실시 형태에 따른 동영상 전송 시스템은 이하와 같은 구성을 구비한다.
[항목 1]
동영상을 생성하기 위한 소재 데이터를 기억하는 소재 라이브러리와,
상기 소재 데이터에 근거하여 상기 동영상을 송출하는 동영상 전송부와,
상기 동영상 재생 중에 상기 동영상의 시청자로부터 시선에 관한 이벤트 정보를 취득하는 이벤트 취득부와,
상기 이벤트 정보에 따라, 상기 소재 데이터에 대한 조작을 행하는 액션 처리부와,
를 구비하는 것을 특징으로 하는 동영상 전송 시스템.
[항목 2]
항목 1에 기재된 동영상 전송 시스템으로서,
상기 이벤트 취득부는 상기 동영상 전송 시스템에서 발생한 이벤트를 취득하고,
상기 액션 처리부는 상기 이벤트에 따라 상기 소재 데이터에 대한 조작을 행하는 것,
을 특징으로 하는 동영상 전송 시스템.
[항목 3]
항목 1에 기재된 동영상 전송 시스템으로서,
상기 시청자로부터의 시선에 관한 이벤트 정보는 상기 시청자에 의한 재생 동영상에서 소정 영역에 향했던 시선에 관한 정보를 포함하는 것,
을 특징으로 하는 동영상 전송 시스템.
[항목 4]
항목 1에 기재된 동영상 전송 시스템으로서,
상기 액션은 오브젝트의 출현, 이동 및 소실, 애니메이션의 개시 및 정지, 동영상의 재생 및 정지, 음성의 재생 및 정지, 및 상기 소재 데이터의 변경의 적어도 어느 하나를 포함하는 것,
을 특징으로 하는 동영상 전송 시스템.
이하, 제5 실시 형태에 따른 동영상 전송 시스템에 대해서 설명한다. 제5 실시 형태의 동영상 전송 시스템은 스트리밍 전송되는 동영상을 각종 이벤트에 따라 동적으로 변화시키는 것이다.
이벤트에는 시청자에 의해 기기가 조작된 것, 시청자로부터 음성이나 문자가 입력된 것, 시청자가 촬영된 것, 촬영된 영상으로부터 해석한 시청자의 자세나 시선, 제스처 등이 취득된 것, 시청자의 신체 반응을 측정한 측정 데이터가 취득된 것 등, 시청자에 관해서 취득되는 정보(이하, 사용자 이벤트 정보라고 한다.)가 포함된다. 또한, 이벤트에는 열람하고 있는 시청자 수, 날씨, 시각, 날씨, 동영상 중에서 오브젝트가 접촉한 것 등 시스템측에서 취득할 수 있는 정보(이하, 시스템 이벤트 정보라고 한다.)도 포함시킬 수 있다.
전송되는 동영상은 3D 모델이나 동영상 데이터, 음성 데이터 등의 소재 데이터에 근거하여 생성된다. 각 소재 데이터에는 이벤트에 따른 액션을 설정할 수 있다.
액션은 소재 데이터에 대한 조작으로, 3D 모델에 의해 표현되는 오브젝트의 출현, 이동 및 소멸, 애니메이션 동작의 개시 및 종료, 동영상의 재생 및 정지, 음성의 재생 및 정지, 소재 데이터의 변경(치환) 등을 포함시킬 수 있다. 제5 실시 형태에서는 전송되는 동영상은 액션의 결과로서 출력되는 영상 또는 동영상을 합성해서 작성되는 것으로 한다.
제5 실시 형태의 동영상 전송 시스템에서는 이벤트에 따라 액션을 기동함으로써, 동적으로 전송 동영상을 변화시킬 수 있다. 이하, 상세에 대해서 설명한다.
도 36은 제5 실시 형태의 동영상 전송 시스템의 전체 구성예를 나타내는 도면이다. 제5 실시 형태의 동영상 전송 시스템은 전송자 장치(3)를 포함하여 구성되고, 전송자 장치(3)는 스트리밍 서버(2)와 통신 가능하게 접속되고, 스트리밍 서버(2)는 시청자 단말(1)과 통신 가능하게 접속된다. 시청자 단말(1)은 다수가 접속되어 있어도 좋다. 전송자 장치(3)는 동영상 송신을 하는, 예를 들어 퍼스널 컴퓨터나 타블렛 컴퓨터, 스마트폰 등의 컴퓨터이다. 전송자 장치(3)는 예를 들어 동영상 전송을 하고 싶다고 생각하고 있는 일반 사용자가 조작하는 가정용 컴퓨터이면 된다. 전송자 장치(3)로부터는 동영상 데이터가 스트리밍 방식에 의해 스트리밍 서버(2)로 송출된다. 스트리밍 서버(2)는 전송자 장치(3)로부터 받은 동영상 데이터를 시청자 단말(1)로 전송하는, 예를 들어 워크스테이션이나 퍼스널 컴퓨터, 클라우드 컴퓨팅에 의해 제공되는 가상 컴퓨터 등의 컴퓨터이다. 스트리밍 서버(2)는 1명 또는 복수의 시청자 단말(1)에 대하여 동시에 동영상 데이터를 전송할 수 있다. 시청자 단말(1)은 시청자가 조작하는, 예를 들어 헤드 마운트 디스플레이(HMD), 퍼스널 컴퓨터나 타블렛 컴퓨터, 스마트폰 등의 컴퓨터이지만, 제5 실시 형태에서는 HMD를 예로 들어 설명한다. 시청자는 시청자 단말(1) 및 부속된 (도시하지 않은)컨트롤러를 조작해서 스트리밍 서버(2)에 접속하고, 시청자 단말(1)은 스트리밍 서버(2)로부터 송출되어 오는 동영상 데이터를 수신해서 재생할 수 있다. 또한, 시청자 단말(1)은 시청자를 촬영하거나, 시청자의 음성을 녹음하거나, 시청자로부터 코멘트의 입력을 받거나, 각종 이벤트 정보의 수집을 행할 수 있다. 1명 또는 복수의 시청자로부터의 이벤트는 스트리밍 서버(2)에서 수집되고, 전송자 장치(3)는 예를 들어 스트리밍 서버(2)가 제공하는 API(Application Programming Interface)을 호출함으로써, 시청자로부터의 이벤트를 취득할 수 있다.
또한, 이하의 설명에 있어서, 스트리밍에 의해 전송되어 리니어로 재생되는 동영상 전체를 특히 「전송 동영상」이라고 한다. 전송 동영상은 카메라나 마이크에 의해 캡처된 동영상 및 음성을, 실시간으로 동영상 데이터로 인코딩하여 송출하는 형식으로 할 수도 있지만, 제5 실시 형태에서는 전송 동영상은 소재 데이터를 조합하여 합성한 비디오 데이터로서 생성하는 것을 상정하고 있다.
도 37은 헤드 마운트 디스플레이(HMD)의 구성 도면이다.
도 37에 나타내는 바와 같이, HMD(1)는 적어도 제어부(101), 메모리(102), 기억 장치(103), 표시 제어부(104), 표시부(105), 송수신부(106), 입출력부(107) 등을 구비하고, 이들은 (도시하지 않은)버스를 통해서 서로 전기적으로 접속된다.
제어부(101)는 HMD(1) 전체의 동작을 제어하고, 각 요소간의 데이터 송수신의 제어, 및 게임 처리에 따른 애플리케이션의 실행 및 인증 처리에 필요한 정보처리 등을 실행하는 연산장치이다. 예를 들면 제어부(101)는 CPU(Central Processing Unit)로, 기억 장치(103)에 저장되고, 메모리(102)에 전개된 프로그램 등을 실행하여 각 정보처리를 실시한다.
메모리(102)는 DRAM(Dynamic Random Access Memory) 등의 휘발성 기억 장치로 구성되는 주기억과, 플래쉬 메모리나 HDD(Hard Disc Drive) 등의 불휘발성 기억 장치로 구성되는 보조 기억을 포함한다. 메모리(102)는 CPU(101)의 작업 영역(work area) 등으로서 사용되며, 또한 스트리밍 서버(2)나 전송자 장치(3)의 기동시에 실행되는 BIOS(Basic Input/Output System) 및 각종 설정 정보 등을 저장한다.
기억 장치(103)는 애플리케이션 프로그램 등의 각종 프로그램을 저장한다. 각 처리에 이용되는 데이터를 저장한 데이터베이스(도시하지 않음)가 기억 장치(103)에 구축되어 있어도 좋다.
표시 제어부(104)는 예를 들어 GPU(Graphics Processing Unit)로, 주로 동영상처리에 따른 연산 처리를 실행한다. 표시 제어부(104)는 CPU(101)에 의해 생성된 캐릭터 등의 콘텐츠 데이터를 각종 오브젝트의 동영상과 합성하여, 가상 공간을 구성하는 가상 공간 영상을 생성한다.
표시부(105)는 표시 제어부(104)로부터 입력되는 영상 신호에 근거하여 가상 공간 영상을 표시한다. 또한, 표시부(105)는 예를 들어 LCD 또는 유기EL 등의 디스플레이이다. 표시부(105)에는 왼쪽눈용 영상과 오른쪽눈용 영상이 표시되어, 양쪽눈의 시차를 이용함으로써 입체감 있는 영상을 사용자에게 제공할 수 있다. 왼쪽눈용 영상과 오른쪽눈용 영상을 표시할 수 있으면, 왼쪽눈용 디스플레이와 오른쪽눈용 디스플레이를 개별로 구비하는 것도 가능하고, 왼쪽눈용 및 오른쪽눈용의 일체형 디스플레이를 구비하는 것도 가능하다.
송수신부(106)는 HMD(1)를 네트워크에 접속한다. 또한, 송수신부(106)는 Bluetooth(등록상표) 및 BLE(Bluetooth Low Energy)의 근거리통신 인터페이스를 구비하고 있어도 좋다. 송수신부(106)는 (도시하지 않음)컨트롤러로부터의 지시 신호를 네트워크 경유하여 수신한다.
입출력부(107)는 영상 생성 장치나 표시 장치 등을 외부에 설치하는 경우, 영상 신호나 소리 신호 등을 입출력하기 위한 인터페이스이다.
또한, HMD(1)는 센서(108)를 구비할 수 있다. 센서로는 사용자의 두부(頭部) 방향이나 기울기와 같은 움직임을 검출하기 위해서, 도시하지는 않지만, 예를 들어 자기 센서, 가속도 센서, 또는 자이로 센서 중 어느 하나 또는 이들의 조합을 구비할 수 있다. 가속도 센서는 가속도(단위시간당 속도의 변화)를 검출한다. 그 중에서, 가속도 센서는 3축방향(x, y, z방향)의 가속도를 검출할 수 있다. 예를 들면, HMD의 전후 방향을 X축, 좌우 방향을 y축, 상하 방향을 z축으로 하고, 전방 방향을 X축 정(正)방향, 좌측 방향을 y축 정방향, 하측 방향을 z축방향으로 하면, 가속도 센서(30)는 각 방향의 가속도를 검출하는 동시에, X축둘레의 회전각(롤각), y축둘레의 회전각(피치각), z축둘레의 회전각(요(yaw)각)을 검출한다.
또한, 또는 센서(108)를 대신하여, HMD(1)는 (도시하지 않은)복수의 광원(예를 들면, 적외광 LED, 가시광 LED)을 구비할 수도 있고, HMD(1)의 외부(예를 들면, 실내 등)에 설치된 카메라(예를 들면, 적외광 카메라, 가시광 카메라)가 이들 광원을 검출함으로써, 특정 공간에서의 HMD(1)의 위치, 방향, 기울기를 검출할 수 있다. 또는, 동일 목적으로, HMD(1)에, HMD(1)에 설치된 광원을 검출하기 위한 카메라를 구비할 수도 있다.
또한, HMD(1)는 아이 트래킹 센서를 구비할 수도 있다. 아이 트래킹 센서는 사용자의 왼쪽 눈 및 오른쪽 눈의 시선 방향 및 주시점을 검출하기 위해서 이용된다. 아이 트래킹 센서로는 여러 가지 방식이 고려되지만, 예를 들어 왼쪽 눈 및 오른쪽 눈에 약한 적외광을 조사하여 생기는 각막상의 반사광 위치를 기준점으로 하고, 반사광 위치에 대한 동공의 위치에 의해 시선 방향을 검출하고, 왼쪽 눈 및 오른쪽 눈의 시선 방향의 교점을 주시점으로서 검출하는 방법 등이 고려된다.
또한, 스피커(109)는 (도시하지 않은)소리 생성부에서 입력되는 악곡 데이터 등의 소리 신호를 출력한다.
또한, HMD(1)는 서버나 영상 처리 장치 등의 외부 처리 장치와 네트워크 연결하면서 애플리케이션을 실행하고, 데이터를 송수신할 수도 있으며, 외부 처리 장치에 의존하지 않고 HMD 단일체로서 내장된 프로그램을 실행하는 스탠드 얼론(stand-alone)형 장치로서 기능할 수도 있다.
도 38은 전송자 장치(3)의 하드웨어 구성예를 나타내는 도면이다. 전송자 장치(3)는 CPU(301), 메모리(302), 기억 장치(303), 통신 인터페이스(304), 입력 장치(305), 출력 장치(306)를 구비한다. 기억 장치(303)는 각종 데이터나 프로그램을 기억하는, 예를 들어 하드디스크 드라이브나 솔리드 스테이트 드라이브, 플래쉬 메모리 등이다. 통신 인터페이스(304)는 통신 네트워크(30)에 접속하기 위한 인터페이스로, 예를 들면 이더넷(등록상표)에 접속하기 위한 어댑터, 공중 전화 회선망에 접속하기 위한 모뎀, 무선통신을 하기 위한 무선통신기, 시리얼 통신을 위한 USB(Universal Serial Bus) 커넥터나 RS232C 커넥터 등이다. 입력 장치(305)는 데이터를 입력하는, 예를 들어 키보드나 마우스, 터치 패널, 버튼, 마이크로폰 등이다. 출력 장치(306)는 데이터를 출력하는, 예를 들어 디스플레이나 프린터, 스피커 등이다.
도 39는 전송자 장치(3)의 소프트웨어 구성예를 나타내는 도면이다. 도 39에 나타내는 바와 같이, 전송자 장치(3)는 동영상 전송부(311), 이벤트 취득부(312), 액션 처리부(313), 소재 라이브러리(331), 액션 기억부(333), 이벤트 기억부(334)를 구비한다.
또한, 동영상 전송부(311), 이벤트 취득부(312), 액션 처리부(313)는 전송자 장치(3)가 구비하는 CPU(301)가 기억 장치(303)에 기억되어 있는 프로그램을 메모리(302)로 읽고 실행함으로써 실현되고, 소재 라이브러리(331), 액션 기억부(333), 이벤트 기억부(334)는 전송자 장치(3)가 구비하는 메모리(302) 및 기억 장치(303)의 적어도 어느 하나가 제공하는 기억 영역의 일부로서 실현된다.
소재 라이브러리(331)는 동영상에 넣을 수 있는 각종 데이터(소재 데이터)를 기억한다. 소재 데이터는 예를 들어 3D 모델, 정지 영상, 동영상, 음성 데이터, MIDI 데이터, 문자 데이터 등이다. 도 40은 소재 라이브러리(331)의 구조예를 나타내는 도면이다. 도 40에 나타내는 바와 같이, 소재 라이브러리(331)는 소재 데이터를 특정하기 위한 정보(소재 ID)에 대응되며, 각종 소재 데이터를 기억한다.
액션 기억부(333)는 소재 데이터에 대한 조작(액션)에 관한 정보(이하, 액션 정보라고 한다.)를 기억한다. 도 41은 액션 기억부(333)에 기억되는 액션 정보의 일례를 나타내는 도면이다. 도 41에 나타내는 바와 같이, 액션 정보에는 액션을 나타내는 액션 ID, 판정 기간, 조건 및 액션을 포함한다.
판정 기간은 이벤트가 조건을 충족하는지 여부를 판정하는 기간을 나타내는 정보이다. 판정 기간은 예를 들어 현시점부터 5분전까지 등으로 상대적으로 지정해도 좋고, 12월 25일 00:00로부터 00:10까지와 같이 절대적으로 지정해도 좋다.
조건은 이벤트에 대한 것으로, 예를 들면, 이벤트의 유무여도 좋고, 복수의 시청자로부터의 이벤트에 관한 집계값이 임계값을 초과했는지 여부여도 좋다.
사용자 이벤트 정보에 대해서는 예를 들어 시청자가 전송 동영상 재생 중에 동영상의 소정 영역에 시선이 향했는지, 동영상의 소정 영역에 시선이 향한 시청자의 인원수가 임계값을 초과했는지 여부 등을 조건으로 할 수 있다. 전송 동영상의 생성에 이용된 소재 데이터에 근거하여, 전송 동영상 중에 표시되어 있는 오브젝트에 시선이 향했는지, 해당 오브젝트에 시선이 향한 시청자의 인원수가 임계값을 초과했는지 여부를 조건으로 할 수도 있다. 시청자가 동영상의 소정 영역 또는 오브젝트에 시선이 향했는지의 결정은 HMD에 탑재된 아이 트랙킹 센서나 각종 센서에 의해 시청자의 두부의 자세, 방향 및 주시점 중 어느 하나 또는 조합에 근거하여 결정할 수 있다.
또한, HMD를 대신하여, 영상 해석에 의해, 시청자의 자세나 시선, 제스처 등을 인식하고, 시청자가 소정의 자세나 시선, 제스처를 했는지 여부, 소정의 자세나 시선, 제스처를 한 시청자의 인원수가 임계값을 초과했는지 여부 등을 조건으로 할 수도 있다. 이 경우, 영상 해석 처리는 시청자 단말(1)이 하고, 해석 결과를 스트리밍 서버(2) 또는 전송자 장치(3)로 송신하도록 해도 좋고, 시청자 단말(1)로부터는 촬영된 영상 데이터가 스트리밍 서버(2)를 통해서 또는 직접 전송자 장치(3)로 송신되어, 전송자 장치(3)에서 영상 해석 처리를 하도록 해도 좋다.
또한, 시스템 이벤트 정보에 대해서는 예를 들어 전송 동영상을 시청하고 있는 시청자의 인원수가 임계값을 초과했는지 여부를 조건으로 할 수 있다. 또한, 전송 동영상의 재생으로부터 소정 시간이 경과했는지 여부를 조건으로 할 수도 있다. 또한, 시청자 또는 전송자의 소재지 또는 소정 지역의 날씨를 시스템 이벤트 정보로서 취득한 경우에는 이 날씨가 소정의 날씨인지 여부를 조건(예를 들어 맑을 것, 비가 내리고 있을 것, 눈이 내리고 있을 것, 소정 이상의 강도의 바람이 불고 있을 것, 소정 온도 이상의 기온일 것 등)으로 할 수 있다. 또한, 소재 데이터가 3D 모델 등인 경우, 전송 동영상 중에서 오브젝트가 충돌한 것을 조건으로 할 수도 있다.
액션은 상술한 바와 같이 소재 데이터에 대한 각종 조작이다. 액션에는 파라미터도 포함시킬 수 있고, 소재 데이터에 대하여 구체적으로 어떤 조작을 행할지를 상세하게 설정할 수 있다. 또한, 제5 실시 형태에서는 액션은 소재 데이터에 대한 조작뿐만 아니라, 다른 액션의 실행이나 정지, 다른 액션의 실행이 완료하는 것을 대기하는 등의 처리를 포함할 수 있다. 액션은 예를 들면 스크립트 언어에 의해 표기된 프로그램으로서 저장할 수도 있다.
동영상 전송부(311)는 동영상을 전송한다. 액션으로부터 복수의 액션이 실행될 수도 있다. 동영상 전송부(311)는 후술하는 액션 처리부(313)가 실행하는 액션으로부터의 출력을 합성해서(필요에 따라 인코딩해서) 전송 동영상을 생성할 수 있다. 또한, 동영상 전송부(311)는 생성한 전송 동영상을 스트리밍 서버(2)로 송신함으로써, 시청자 단말(1)로 동영상을 전송할 수 있다.
이벤트 기억부(334)는 발생한 각종 이벤트를 기억한다. 도 42는 이벤트 기억부(334)의 구성예를 나타내는 도면이다. 상술한 바와 같이, 이벤트 기억부(334)는 사용자 이벤트 정보와 시스템 이벤트 정보를 기억하고 있다. 이하, 사용자 이벤트 정보와 시스템 이벤트 정보를 합쳐서 이벤트 정보라고도 한다. 사용자 이벤트 정보에는 이벤트를 나타내는 이벤트 ID, 이벤트에 관한 시청자를 나타내는 시청자 ID, 이벤트가 발생한 일시 및 이벤트의 내용이 포함된다. 또한, 시스템 이벤트 정보에는 이벤트 ID, 이벤트가 발생한 일시 및 이벤트의 내용이 포함된다. 이벤트의 내용은 이벤트에 따라 상이하며, 예를 들면, 사용자 이벤트 정보의 경우, 전송 동영상 재생 중에 동영상의 소정 영역에 시선이 향한 때에는 그 취지의 정보가 이벤트 내용으로서 설정될 수 있다. 소정 영역으로서, 하나 또는 복수의 영역이 고려된다. 또한, 시청자 단말(1)이 시청자를 촬영한 영상을 해석해서 시청자의 시선이나 제스처를 얻었을 때에는 이들의 시선이나 제스처를 나타내는 정보가 이벤트의 내용으로서 설정될 수 있다. 시스템 이벤트 정보의 경우, 시청자 수, 날씨, 시각 등이 이벤트의 내용으로서 설정될 수 있다.
이벤트 취득부(312)는 이벤트를 취득하고, 취득한 이벤트의 내용을 이벤트 정보로서 이벤트 기억부(334)에 등록한다. 또한, 이벤트 취득부(312)가 어떤 이벤트를 취득할지에 대해서는 사용자로부터 설정 가능한 것으로 한다. 어떤 이벤트를 취득할지를 나타내는 설정 정보는 예를 들어 메모리(302)나 기억 장치(303) 등에 기억해 둘 수 있다.
이벤트 취득부(312)는 예를 들어 재생 동영상에서의 시청자의 시선 위치에 관한 정보를 사용자 이벤트 정보로서 등록할 수 있다. 예를 들면, HMD를 통해서 전송 동영상이 시청되고 있는 경우에는 HMD의 센서를 통해서 취득할 수 있는 시청자의 두부의 자세, 기울기 및 주시점 중 어느 하나 또는 조합 정보가 스트리밍 서버(2) 또는 전송자 장치(3)로 송신되며, 이벤트 취득부(312)는 수신한 정보를 해석하여, 재생 동영상의 소정 영역에 시선이 향해져 있는지 여부를 결정하고 이벤트를 등록할 수 있다. 또는, 시청자 단말(1)(HMD)에서 상기 해석을 하고, 재생 동영상에서의 시선 위치에 관한 정보로서 수신하고, 해당 정보를 이벤트로서 등록할 수도 있다.
또한, 이벤트 취득부(312)는 시청자 단말(1)로부터 시청자를 촬영한 영상을 수신하고, 수신한 동영상을 해석해서 시청자의 자세나 시선, 제스처 등을 취득할 수도 있다. 또는 시청자 단말(1)에서 동영상 해석을 하고, 그 결과를 수신하도록 할 수도 있다. 이벤트 취득부(312)는 시청중인 시청자 수를 정기적으로 카운트해서 시스템 이벤트 정보에 등록해도 좋다. 또한, 영상 해석 처리를 시청자 단말(1)(HMD)에서 하도록 하고, 이벤트 취득부(312)는 시청자 단말(1)로부터 직접 또는 스트리밍 서버(2)를 통하여, 해석 결과를 수신해서 사용자 이벤트 정보로서 등록하도록 해도 좋다.
또한, 이벤트 취득부(312)는 예를 들어 클록으로부터 타임 아웃 이벤트를 취득하도록 하고, 전송 동영상의 재생 개시로부터 소정 시간이 경과한 것을 시스템 이벤트 정보로서 등록할 수 있다. 이벤트 취득부(312)는 소정 시각이 된 것(예를 들면, 날짜가 바뀐 것, 오후 3시가 된 것 등)을 시스템 이벤트 정보로서 등록할 수도 있다.
또한, 이벤트 취득부(312)는 예를 들어 기상회사의 서버 등으로부터 기상 정보를 취득하고, 특정 영역(예를 들면, 각 시청자의 소재지 또는 전송자의 소재지 또는 미리 설정한 지역)의 기상 요소를 시스템 이벤트 정보로서 등록할 수도 있다.
또한, 이벤트 취득부(312)는 예를 들어 소재 데이터가 3D 모델 등인 경우에는 전송 동영상 중에서 오브젝트가 충돌한 것을 판정하여 시스템 이벤트 정보로서 등록할 수도 있다.
액션 처리부(313)는 소재 데이터에 대하여 액션을 실행한다. 액션 처리부(313)는 최초로 실행하는 액션의 지정을 받고, 받은 액션을 실행한다. 액션 중에는 다른 액션의 기동이 포함될 수 있기 때문에, 이 경우, 액션 처리부(313)는 순차적으로 액션을 계속해서 기동해 갈 수 있다. 또한, 액션은 복수로 분기하여 병렬로 실행하는 것도 가능하다.
또한, 액션 처리부(313)는 이벤트에 따른 액션의 실행을 행한다. 액션 처리부(313)는 액션 기억부(333)에 기억되어 있는 액션 정보의 각각에 대해서, 기간에 대응하는 이벤트 정보를 이벤트 기억부(334)로부터 읽어 집계하고, 조건을 충족하는지 여부를 판정하고, 조건을 충족하는 경우에는 액션 정보에 설정되어 있는 액션을 실행한다. 이것에 의해, 이벤트에 따라 동영상의 전개를 동적으로 변화시키는 것이 가능해진다.
도 43은 제5 실시 형태의 동영상 전송 시스템에 의해 실행되는 처리의 흐름을 설명하는 도면이다.
액션 처리부(313)는 최초로 실행하는 액션의 지정을 받고(S421), 지정된 액션을 실행한다(S422). 액션이 실행된 결과로서 출력되는 영상이나 음성은 합성되고, 동영상 데이터로서 동영상 전송부(311)에 의해 스트리밍 서버(2)로 송신된다.
이벤트 취득부(312)는 정기적으로 시청자의 시선 위치에 관한 정보를 취득한다(S423). 예를 들면, 이벤트 취득부(312)는 스트리밍 서버(2)가 제공하는 API를 호출함으로써, HMD의 센서를 통해서 취득할 수 있는 시청자의 두부의 자세, 기울기 및 주시점 중 어느 하나 또는 조합 정보를 파라미터로서 취득할 수 있다. 이벤트 취득부(312)는 수신한 파라미터에 근거하여, 재생 동영상의 소정 영역에 시청자가 시선을 향하고 있는지 여부에 대해서 결정하고, 이벤트로서 등록할 수 있다. 또한, 이벤트 취득부(312)는 타이머 기능을 이용하여 소정 시간이 경과했음을 취득할 수 있다.
액션 기억부(333)에 기억되어 있는 각 액션 정보에 대해서, 액션 처리부(313)는 판정 기간에 들어가는 일시의 이벤트 정보를 이벤트 기억부(334)로부터 읽고(S424), 읽은 이벤트 정보의 이벤트 내용이 액션 정보의 조건을 충족하는지 여부를 판정한다(S425). 이벤트가 조건을 충족하는 경우(S426:YES), 액션 처리부(313)는 액션 정보에 포함되는 액션을 실행한다(S427). 여기서 액션 처리부(313)는 이전에 실행하고 있던 액션을 정지해도 좋고, 이전에 실행하고 있던 액션과 병행하여 새로운 액션을 실행하도록 해도 좋고, 이 거동을 새로운 액션 내에서 지정 가능하게 해도 좋다. 예를 들면, 시청자의 시선이 재생 동영상의 소정 영역을 향했을 때에 또는 해당 영역에 시선이 향한 시청자 수가 소정 인원수를 초과한 때에, 그 영역에 대응하는 동영상의 소재 데이터(예를 들면, 동영상의 특정 장면)가 연결되어 기억되어 있는 경우, 즉, 이벤트가 액션 조건을 충족하는 경우, 대응하는 장면을 전송할 수 있다. 또한, 예를 들어 복수의 캐릭터가 전송 동영상의 영상에 포함될 때에, 시청자의 시선이 특정 캐릭터에 집중되어 있는 것을 검출하고, 그 캐릭터에 주목한 장면을 분기시켜서 전송시킬 수도 있다.
액션 정보의 액션이 전송 동영상을 종료시키는 것이 아니면(S428), 단계 S423부터의 처리를 반복한다.
이상과 같이 해서, 제5 실시 형태의 동영상 전송 시스템은 전송 동영상을 스트리밍 서버(2)를 경유하여 시청자 단말(1)로 전송하는 동시에, 전송 동영상 재생 중에 시청자의 시선 위치에 따라 재생중의 전송 동영상에 변경을 가할 수 있다. 따라서, 녹화가 끝난 영상을 이용하면서도, 시청자의 반응에 따라 전송 동영상에 여러 가지 전개를 추가하는 것이 가능해지고, 스트리밍 형식에서의 동영상 전송 방식에 따른 라이브 느낌을 해치는 일 없이 동영상을 전송하는 것이 가능해진다. 특히, 시청자는 동영상 시청중에, 자신이 흥미를 갖는 인물이나 물건에 자연스럽게 시선을 집중하는 습성이 있어, 명시적인 조작에 따르지 않고, 자연스러운 흐름으로서 전송 동영상을 분기, 전개시킬 수 있다.
이상, 제5 실시 형태에 대해서 설명했지만, 상기 실시 형태는 본 발명의 이해를 용이하게 하기 위한 것으로, 본 발명을 한정하여 해석하기 위한 것은 아니다. 본 발명은 그 취지를 일탈하는 일 없이, 변경, 개량될 수 있음과 동시에, 본 발명에는 그 등가물도 포함된다.
예를 들면, 본 실시 형태에서는 전송자 장치(3)로부터 송출한 동영상은 스트리밍 서버(2)를 통해서 시청자 단말(1)로 전송되는 것으로 했지만, 전송자 장치(3)로부터 각 시청자 단말(1)로 직접 동영상을 전송하도록 할 수도 있다.
또한, 본 실시 형태에서는 동영상의 재생 도중이라고 해도 코멘트가 조건을 충족하면, 다음 부품 동영상 데이터로 천이하는(도 42의 단계 S427) 것으로 했지만, 현재 액션의 실행은 최후까지 간 후에, 다음 액션으로 실행하도록 해도 좋다.
<제6 실시 형태>
제6 실시 형태에 따른 동영상 전송 시스템은 이하와 같은 구성을 구비한다.
[항목 1]
동영상을 생성하기 위한 소재 데이터를 기억하는 소재 라이브러리와,
상기 소재 데이터에 근거하여 상기 동영상을 송출하는 동영상 전송부와,
상기 동영상 재생 중에 상기 동영상의 시청자로부터의 반응을 나타내는 반응 정보를 취득하는 반응 취득부와,
상기 반응 정보에 따라, 상기 소재 데이터에 대한 조작을 행하는 액션 처리부와,
상기 반응 정보에 따라, 상기 시청자를 2개이상의 그룹으로 나누는 그룹 설정부와,
를 구비하고,
상기 액션 처리부는 상기 시청자가 상기 그룹으로 나뉘어진 후는 상기 시청자가 소속하는 상기 그룹에 따라 상이한 상기 조작을 행하는 것,
을 특징으로 하는 동영상 전송 시스템.
[항목 2]
항목 1에 기재된 동영상 전송 시스템으로서,
취득한 상기 반응 정보에 대응하는 상기 시청자를 나타내는 정보와, 상기 시청자가 소속하는 상기 그룹을 대응시켜서 저장하는 그룹 기억부를 더 구비하는 것,
을 특징으로 하는 동영상 전송 시스템.
[항목 3]
항목 1 또는 2에 기재된 동영상 전송 시스템으로서,
상기 시청자를 특정하는 정보에 대응되고, 상기 시청자로부터의 상기 반응을 나타내는 정보를 관리하는 반응 이력 기억부를 더 구비하며,
상기 동영상에는 캐릭터가 묘화되어 있고, 상기 동영상은 가위바위보에 관한 것이며,
상기 반응은 상기 시청자가 내미는 상기 가위바위보의 손이며,
상기 그룹 설정부는 상기 캐릭터에게 이긴 제1 그룹과 진 제2 그룹으로 상기 시청자를 분류하고,
상기 액션 처리부는 상기 제1 그룹에 소속되는 상기 시청자로부터의 상기 반응 정보만에 따라, 상기 조작을 행하는 것,
을 특징으로 하는 동영상 전송 시스템.
[항목 4]
항목 3에 기재된 동영상 전송 시스템으로서,
상기 액션 처리부는 상기 제1 그룹에 소속되는 상기 시청자 수가 소정수 이하가 된 경우에, 상기 가위바위보를 종료하는 영상을 출력하기 위한 상기 소재 데이터에 대한 상기 조작을 행하는 것,
을 특징으로 하는 동영상 전송 시스템.
[항목 5]
항목 4에 기재된 동영상 전송 시스템으로서,
상기 가위바위보를 종료하는 영상이 재생된 경우에, 상기 제1 그룹에 소속되는 상기 시청자에 대하여 인센티브(報奬)를 부여하는 인센티브 처리부를 더 구비하는 것,
을 특징으로 하는 동영상 전송 시스템.
이하, 제6 실시 형태에 따른 동영상 전송 시스템에 대해서 설명한다. 제6 실시 형태의 동영상 전송 시스템은 스트리밍 전송되는 동영상을 각종 이벤트에 따라 동적으로 변화시키는 것이다.
이벤트에는 시청자에 의해 기기가 조작된 것, 시청자로부터 음성이나 문자가 입력된 것, 시청자가 촬영된 것, 촬영된 영상으로부터 해석한 시청자의 자세나 시선, 제스처 등이 취득된 것, 시청자의 신체 반응을 측정한 측정 데이터가 취득된 것 등, 시청자에 관해서 취득되는 정보(이하, 사용자 이벤트 정보라고 한다.)가 포함된다. 또한, 이벤트에는 열람하고 있는 시청자 수, 날씨, 시각, 날씨, 동영상 중에서 오브젝트가 접촉한 것 등 시스템측에서 취득할 수 있는 정보(이하, 시스템 이벤트 정보라고 한다.)도 포함시킬 수 있다.
전송되는 동영상은 3D 모델이나 동영상 데이터, 음성 데이터 등의 소재 데이터에 근거하여 생성된다. 각 소재 데이터에는 이벤트에 따른 액션을 설정할 수 있다.
액션은 소재 데이터에 대한 조작이며, 3D 모델에 의해 표현되는 오브젝트의 출현, 이동 및 소멸, 애니메이션 동작의 개시 및 종료, 동영상의 재생 및 정지, 음성의 재생 및 정지, 소재 데이터의 변경(치환) 등을 포함시킬 수 있다. 제6 실시 형태에서는 전송되는 동영상은 액션의 결과로서 출력되는 영상 또는 동영상을 합성해서 작성되는 것으로 한다.
제6 실시 형태의 동영상 전송 시스템에서는 이벤트에 따라 액션을 기동함으로써, 동적으로 전송 동영상을 변화시킬 수 있다. 이하, 상세에 대해서 설명한다.
도 44는 제6 실시 형태의 동영상 전송 시스템의 전체 구성예를 나타내는 도면이다. 제6 실시 형태의 동영상 전송 시스템은 전송자 장치(3)를 포함하여 구성되고, 전송자 장치(3)는 스트리밍 서버(2)와 통신 가능하게 접속되고, 스트리밍 서버(2)는 시청자 단말(1)과 통신 가능하게 접속된다. 시청자 단말(1)은 다수가 접속되어 있어도 좋다. 전송자 장치(3)는 동영상 송신을 하는, 예를 들어 퍼스널 컴퓨터나 타블렛 컴퓨터, 스마트폰 등의 컴퓨터이다. 전송자 장치(3)는 예를 들어 동영상 전송을 하고 싶다고 생각하고 있는 일반 사용자가 조작하는 가정용 컴퓨터이면 된다. 전송자 장치(3)로부터는 동영상 데이터가 스트리밍 방식에 의해 스트리밍 서버(2)로 송출된다. 스트리밍 서버(2)는 전송자 장치(3)로부터 받은 동영상 데이터를 시청자 단말(1)로 전송하는, 예를 들어 워크스테이션이나 퍼스널 컴퓨터, 클라우드 컴퓨팅에 의해 제공되는 가상 컴퓨터 등의 컴퓨터이다. 스트리밍 서버(2)는 하나 또는 복수의 시청자 단말(1)에 대하여 동시에 동영상 데이터를 전송할 수 있다. 시청자 단말(1)은 시청자가 조작하는, 예를 들어 퍼스널 컴퓨터나 타블렛 컴퓨터, 스마트폰 등의 컴퓨터이다. 시청자는 시청자 단말(1)을 조작해서 스트리밍 서버(2)에 접속하고, 시청자 단말(1)은 스트리밍 서버(2)로부터 송출되어 오는 동영상 데이터를 수신해서 재생할 수 있다. 또한, 시청자 단말(1)은 시청자를 촬영하거나, 시청자의 음성을 녹음하거나, 시청자로부터 코멘트의 입력을 받거나, 각종 이벤트 정보의 수집을 행할 수 있다. 1명 또는 복수의 시청자로부터의 이벤트는 스트리밍 서버(2)에서 수집되고, 전송자 장치(3)는 예를 들어 스트리밍 서버(2)가 제공하는 API(Application Programming Interface)을 호출함으로써, 시청자로부터의 이벤트를 취득할 수 있다.
또한, 이하의 설명에 있어서, 스트리밍에 의해 전송되어 리니어로 재생되는 동영상 전체를 특히 「전송 동영상」이라고 한다. 전송 동영상은 카메라나 마이크에 의해 캡처된 동영상 및 음성을, 실시간으로 동영상 데이터로 인코딩하여 송출하는 형식으로 할 수도 있지만, 제6 실시 형태에서는 전송 동영상은 소재 데이터를 조합하여 합성한 비디오 데이터로서 생성하는 것을 상정하고 있다.
제6 실시 형태의 동영상 전송 시스템에서는 일례로서 의사적(擬似的)인 가위바위보를 하는 것을 상정한다. 제6 실시 형태에서는 전송 동영상에는 캐릭터가 등장하고, 가위바위보는 해당 캐릭터와 다수의 시청자 사이에서 행해진다. 가위바위보의 최종적인 승자에게는 인센티브가 주어진다. 인센티브는 예를 들면 포인트나 상품권, 전자 머니, 가상 통화, 저작물 사용권, 게임 서비스 등에서의 아이템 이용권 등, 임의의 것으로 할 수 있다.
도 45는 전송자 장치(3)의 하드웨어 구성예를 나타내는 도면이다. 전송자 장치(3)는 CPU(301), 메모리(302), 기억 장치(303), 통신 인터페이스(304), 입력 장치(305), 출력 장치(306)를 구비한다. 기억 장치(303)는 각종 데이터나 프로그램을 기억하는, 예를 들어 하드디스크 드라이브나 솔리드 스테이트 드라이브, 플래쉬 메모리 등이다. 통신 인터페이스(304)는 통신 네트워크(30)에 접속하기 위한 인터페이스로, 예를 들면 이더넷(등록상표)에 접속하기 위한 어댑터, 공중 전화 회선망에 접속하기 위한 모뎀, 무선통신을 하기 위한 무선통신기, 시리얼 통신을 위한 USB(Universal Serial Bus) 커넥터나 RS232C 커넥터 등이다. 입력 장치(305)는 데이터를 입력하는, 예를 들어 키보드나 마우스, 터치 패널, 버튼, 마이크로폰 등이다. 출력 장치(306)는 데이터를 출력하는, 예를 들어 디스플레이나 프린터, 스피커 등이다.
도 46은 전송자 장치(3)의 소프트웨어 구성예를 나타내는 도면이다. 도 46에 나타내는 바와 같이, 전송자 장치(3)는 동영상 전송부(311), 이벤트 취득부(312), 액션 처리부(313), 그룹 설정부(314), 집계 출력부(315) 및 인센티브 처리부(316)의 각 처리부와, 소재 라이브러리(331), 액션 기억부(333), 이벤트 기억부(334), 그룹 조건 기억부(335) 및 그룹 기억부(336)의 각 기억부를 구비한다.
또한, 상기 각 처리부는 전송자 장치(3)가 구비하는 CPU(301)가 기억 장치(303)에 기억되어 있는 프로그램을 메모리(302)로 읽고 실행함으로써 실현되고, 상기 각 기억부는 전송자 장치(3)가 구비하는 메모리(302) 및 기억 장치(303)의 적어도 어느 하나가 제공하는 기억 영역의 일부로서 실현된다.
소재 라이브러리(331)는 동영상에 넣을 수 있는 각종 데이터(소재 데이터)를 기억한다. 소재 데이터는 예를 들어 3D 모델, 정지 영상, 동영상, 음성 데이터, MIDI 데이터, 문자 데이터 등이다. 도 47은 소재 라이브러리(331)의 구조예를 나타내는 도면이다. 도 47에 나타내는 바와 같이, 소재 라이브러리(331)는 소재 데이터를 특정하기 위한 정보(소재 ID)에 대응되며, 각종 소재 데이터를 기억한다. 제6 실시 형태에서는 캐릭터가 다수의 시청자와의 사이에서 가위바위보를 하는 것을 상정하고 있고, 캐릭터가 가위바위보의 진행 방법, 룰, 승자에게 대한 인센티브 등에 대해서 설명을 하는 장면을 묘화하기 위한 소재, 시청자가 가위바위보의 손을 내미는 타이밍을 지시하는 장면을 묘화하기 위한 소재, 가위바위보의 결과를 나타내는 장면을 묘화하기 위한 소재, 가위바위보를 계속할 것을 선언하는 장면을 묘화하기 위한 소재, 가위바위보를 종료할 것을 선언하는 장면을 묘화하기 위한 소재 등 소재 데이터가 소재 라이브러리(331)에 등록되어 있는 것으로 한다.
액션 기억부(333)는 소재 데이터에 대한 조작(액션)에 관한 정보(이하, 액션 정보라고 한다.)를 기억한다. 도 48은 액션 기억부(333)에 기억되는 액션 정보의 일례를 나타내는 도면이다. 도 48에 나타내는 바와 같이, 액션 정보에는 액션을 나타내는 액션 ID, 판정 기간, 그룹, 조건 및 액션을 포함한다.
판정 기간은 이벤트가 조건을 충족하는지 여부를 판정하는 기간을 나타내는 정보이다. 판정 기간은 예를 들어 현시점부터 5분전까지 등으로 상대적으로 지정해도 좋고, 12월 25일 00:00로부터 00:10까지와 같이 절대적으로 지정해도 좋다. 또한, 액션의 지정 및 해당 액션이 실행된 시간(예를 들면, 액션 개시로부터 10초, 액션 종료까지 10초 등)으로 해도 좋다. 판정 기간의 길이는 예를 들어 1초, 1분, 1시간, 1일 등, 임의의 시간으로 할 수 있다.
그룹은 시청자가 소속하는 그룹을 나타낸다. 액션 정보에 그룹이 설정되어 있는 경우에는 설정되어 있는 그룹에 소속하는 시청자에 관한 이벤트 정보만에 대해서는 후술하는 조건이 충족되는지 여부가 판단된다. 예를 들면, 전송 동영상 중인 캐릭터와 시청자 사이에서 가위바위보를 하는 경우, 2회째 이후의 시행에 대해서는 승자 그룹에 소속되어 있는 시청자로부터의 사용자 이벤트인 것을 조건으로 추가할 수 있다. 또한, 그룹을 생략하고, 후술하는 조건 중에 시청자가 특정 그룹에 소속되어 있는 것을 조건으로 지정하도록 할 수도 있다.
조건은 이벤트에 대한 것으로, 예를 들면, 이벤트의 유무여도 좋고, 복수의 시청자로부터의 이벤트에 관한 집계값이 임계값을 초과했는지 여부여도 좋다.
사용자 이벤트 정보에 대해서는 예를 들어 시청자가 전송 동영상 재생 중에 소정의 키를 눌렀는지 여부, 동영상의 소정 영역을 클릭 또는 탭했는지 여부, 동영상의 소정 영역을 클릭 또는 탭한 시청자의 인원수가 임계값을 초과했는지 여부 등을 조건으로 할 수 있다. 전송 동영상의 생성에 이용된 소재 데이터에 근거하여, 전송 동영상 중에 표시되어 있는 오브젝트가 클릭 또는 탭되었는지 여부, 해당 오브젝트를 클릭 또는 탭한 시청자의 인원수가 임계값을 초과했는지 여부를 조건으로 할 수도 있다.
또한, 시청자 단말(1)에 있어서 시청자로부터 소정의 문자(키워드)의 입력이 있었는지 여부, 예를 들면, 전송 동영상에 대하여 투고되는 코멘트에 소정의 키워드가 포함되어 있는지 여부, 키워드를 입력한 시청자의 인원수가 임계값을 초과했는지 여부 등을 조건으로 할 수도 있다. 또한, 코멘트를 투고한 시청자의 지역마다 집계한 코멘트 또는 시청자 수, 예를 들면, 동영상 중에서 금액에 대한 의견을 질문한 것에 대하여 시청자가 투고한 금액의 집계값(평균값, 중앙값, 최대값, 최소값 등), 코멘트를 구문 해석하여 판단되는 시청자의 희로애락에 근거하는 슬퍼하고 있는 시청자 수 등이 소정 임계값을 초과할 것, 소정의 키워드를 포함하는 코멘트가 한번도 투고되지 않을 것, 등을 조건으로 할 수도 있다.
또한, 음성 인식을 실행함으로써, 시청자 또는 시청자의 분위기에, 예를 들면 특정 언어의 발성이 행해졌는지 여부, 박수나 휘파람, 제자리 걸음 등이 발음되었는지 여부 등과 같이, 특정 발음이 있었는지 여부, 이러한 특정 발음이 있었던 시청자의 인원수가 임계값을 초과했는지 여부 등을 조건으로 할 수도 있다. 이 경우, 음성 인식의 처리는 시청자 단말(1)이 하고, 인식 결과를 스트리밍 서버(2) 또는 전송자 장치(3)로 송신하도록 해도 좋고, 시청자 단말(1)로부터는 캡처된 음성 데이터가 스트리밍 서버(2)를 통해서 또는 직접 전송자 장치(3)로 송신되어, 전송자 장치(3)에서 음성 인식 처리를 하도록 해도 좋다.
또한, 시청자가 시청자 단말(1)에 있어서 셀카 영상 또는 시청자의 분위기를 촬영했는지 여부, 이러한 영상이 스트리밍 서버(2)에 투고되었는지 여부, 영상을 투고한 시청자의 인원수가 임계값을 초과했는지 여부를 조건으로 할 수도 있다. 또한, 영상 해석에 의해, 소정의 물건을 촬영한 영상(예를 들면, 시청자의 주변에 있는 특정 간판이나 전단지가 촬영된 영상)이 투고되었는지 여부, 그러한 영상을 투고한 시청자의 인원수가 임계값을 초과했는지 여부 등을 조건으로 할 수도 있다. 또한, 영상 해석에 의해, 시청자의 자세나 시선, 제스처 등을 인식하고, 시청자가 소정의 자세나 시선, 제스처를 했는지 여부, 소정의 자세나 시선, 제스처를 한 시청자의 인원수가 임계값을 초과했는지 여부 등을 조건으로 할 수도 있다. 이 경우, 영상 해석 처리는 시청자 단말(1)이 하고, 해석 결과를 스트리밍 서버(2) 또는 전송자 장치(3)로 송신하도록 해도 좋고, 시청자 단말(1)로부터는 촬영된 영상 데이터가 스트리밍 서버(2)를 통해서 또는 직접 전송자 장치(3)로 송신되어, 전송자 장치(3)에서 영상 해석 처리를 하도록 해도 좋다.
또한, 시스템 이벤트 정보에 대해서는 예를 들어 전송 동영상을 시청하고 있는 시청자의 인원수가 임계값을 초과했는지 여부를 조건으로 할 수 있다. 또한, 전송 동영상의 재생으로부터 소정 시간이 경과했는지 여부를 조건으로 할 수도 있다. 또한, 시청자 또는 전송자의 소재지 또는 소정 지역의 날씨를 시스템 이벤트 정보로서 취득한 경우에는 이 날씨가 소정의 날씨인지 여부를 조건(예를 들어 맑을 것, 비가 내리고 있을 것, 눈이 내리고 있을 것, 소정 이상의 강도의 바람이 불고 있을 것, 소정 온도 이상의 기온일 것 등)으로 할 수 있다. 또한, 소재 데이터가 3D 모델 등인 경우, 전송 동영상 중에서 오브젝트가 충돌한 것을 조건으로 할 수도 있다.
액션은 상술한 바와 같이 소재 데이터에 대한 각종 조작이다. 액션에는 파라미터도 포함시킬 수 있고, 소재 데이터에 대하여 구체적으로 어떤 조작을 행할지를 상세하게 설정할 수 있다. 또한, 제6 실시 형태에서는 액션은 소재 데이터에 대한 조작뿐만 아니라, 다른 액션의 실행이나 정지, 다른 액션의 실행이 완료하는 것을 대기하는 등의 처리를 포함할 수 있다. 액션은 예를 들면 스크립트 언어에 의해 표기된 프로그램으로서 저장할 수도 있다.
이벤트 기억부(334)는 발생한 각종 이벤트를 기억한다. 도 49는 이벤트 기억부(334)의 구성예를 나타내는 도면이다. 상술한 바와 같이, 이벤트 기억부(334)는 사용자 이벤트 정보와 시스템 이벤트 정보를 기억하고 있다. 이하, 사용자 이벤트 정보와 시스템 이벤트 정보를 합쳐서 이벤트 정보라고도 한다. 사용자 이벤트 정보에는 이벤트를 나타내는 이벤트 ID, 이벤트에 관한 시청자를 나타내는 시청자 ID, 이벤트가 발생한 일시 및 이벤트의 내용이 포함된다. 또한, 시스템 이벤트 정보에는 이벤트 ID, 이벤트가 발생한 일시 및 이벤트의 내용이 포함된다. 이벤트의 내용은 이벤트에 따라 상이하며, 예를 들면, 사용자 이벤트 정보의 경우, 시청자가 전송 동영상에 대하여 코멘트를 투고한 때에는 투고된 코멘트가 이벤트 내용으로서 설정될 수 있다. 또한, 시청자 단말(1)이 시청자를 촬영한 영상을 해석해서 시청자의 시선이나 제스처를 얻었을 때에는 이들의 시선이나 제스처를 나타내는 정보가 이벤트의 내용으로서 설정될 수 있다. 시스템 이벤트 정보의 경우, 시청자 수, 날씨, 시각 등이 이벤트의 내용으로서 설정될 수 있다.
그룹 조건 기억부(335)는 시청자를 그룹 나눔하는 조건(이하, 그룹 조건 정보라고 한다.)을 기억한다. 도 50은 그룹 조건 기억부(335)의 구성예를 나타내는 도면이다. 그룹 조건 정보에는 판정 기간, 조건 및 그룹이 포함된다. 판정 기간은 그룹 나눔을 행하는 기간을 나타내는 정보이다. 판정 기간은 상술한 액션 정보의 판정 기간과 마찬가지로, 예를 들어 개시 일시 및 종료 일시여도 좋고, 액션의 지정 및 해당 액션이 실행된 시간(예를 들면, 액션 개시로부터 10초, 액션 종료까지 10초 등)으로 해도 좋다. 판정 기간의 길이는 예를 들어 1초, 1분, 1시간, 1일 등, 임의의 시간으로 할 수 있다. 조건은 특정 시청자에 관한 조건으로, 최신의 사용자 이벤트, 과거의 사용자 이벤트, 시청자가 소속하는 그룹 등에 대한 조건으로 할 수 있다. 예를 들면, 가위바위보 게임을 개시한 가장 최초의 가위바위보에 대해서는 시청자가 낸 가위바위보의 손에 대한 조건(예를 들어 시청자의 손이 보 등)으로 하고, 2번째 이후의 가위바위보에 대해서는 시청자가 승자 그룹에 소속되어 있고, 또한 내민 손이 소정의 손(바위, 가위 또는 보)인 것으로 설정할 수 있다. 그룹 조건 정보에는 복수의 조건을 설정하도록 해도 좋다. 그룹은 상기 조건을 충족하는 시청자가 소속하게 되는 그룹이다. 예를 들면, 조건에, 승자 그룹에 소속되어 있고, 또한 바위를 낸 것을 지정하는 동시에, 그룹에 승자 그룹을 지정한 그룹 조건 정보의 경우, 직전회까지 계속 이기고 있던(무승부를 포함시켜도 좋다.) 시청자로서, 또한 판정 기간 내에 바위를 낸 시청자를 승자 그룹에 소속시키는 것을 나타내고 있다. 또한, 제6 실시 형태에서는 시청자가 취할 수 있는 모든 패턴에 대해서 그룹 조건 정보가 설정되어 있는 것으로 한다. 예를 들면, 디폴트(다른 조건에 매치하지 않는 시청자)라는 조건을 지정한 그룹 조건 정보가 포함되어 있는 것으로 한다.
그룹 기억부(336)는 전송 동영상에 따른 시청자가 소속하는 그룹을 관리한다. 도 51은 그룹 기억부(336)의 구성예를 나타내는 도면이다. 그룹 기억부(336)는 그룹 정보를 기억하고 있고, 그룹 정보에는 시청자를 나타내는 시청자 ID와 해당 시청자가 소속하는 그룹이 포함되어 있다.
동영상 전송부(311)는 동영상을 전송한다. 동영상 전송부(311)는 후술하는 액션 처리부(313)가 실행하는 액션(복수의 액션이 실행될 수도 있다.)으로부터의 출력을 합성해서(필요에 따라 인코딩해서) 전송 동영상을 생성할 수 있다. 또한, 동영상 전송부(311)는 생성한 전송 동영상을 스트리밍 서버(2)로 송신함으로써, 시청자 단말(1)로 동영상을 전송할 수 있다.
이벤트 취득부(312)는 이벤트를 취득하고, 취득한 이벤트의 내용을 이벤트 정보로서 이벤트 기억부(334)에 등록한다. 또한, 이벤트 취득부(312)가 어떤 이벤트를 취득할지에 대해서는 사용자로부터 설정 가능한 것으로 한다. 어떤 이벤트를 취득할지를 나타내는 설정 정보는 예를 들어 메모리(302)나 기억 장치(303) 등에 기억해 둘 수 있다.
이벤트 취득부(312)는 예를 들어 시청자가 입력한 키나 탭, 클릭 등의 이벤트를 사용자 이벤트 정보로서 등록할 수 있다. 예를 들면, 시청자 단말(1)에 있어서 Web 브라우저에 있어서 전송 동영상이 시청되고 있는 경우에는 Web 브라우저상에서 발생한 클릭 이벤트를 스트리밍 서버(2) 또는 전송자 장치(3)로 송신하도록 스크립트를 설정해 두고, 이벤트 취득부(312)는 스트리밍 서버(2)를 통해서 또는 시청자 단말(1)로부터 직접, 클릭 이벤트를 취득할 수 있다.
또한, 이벤트 취득부(312)는 예를 들어 스트리밍 서버(2)가 투고된 코멘트를 취득하기 위한 API를 제공하고 있는 경우에는 해당 API를 호출함으로써, 시청자에 의해 투고된 코멘트를 취득할 수 있다. 또한, 이벤트 취득부(312)는 코멘트를 구문 해석하여, 소정의 키워드가 포함되어 있는 것을 사용자 이벤트 정보로서 등록해도 좋다.
또한, 이벤트 취득부(312)는 예를 들어 시청자 단말(1)로부터 캡처한 음성 데이터를 수신하고, 수신한 음성 데이터를 해석해서 특정 발음이 있는 것을 사용자 이벤트 정보로서 등록할 수 있다. 또한, 음성 해석 처리를 시청자 단말(1)에서 하도록 하고, 이벤트 취득부(312)는 시청자 단말(1)로부터 직접 또는 스트리밍 서버(2)를 통하여, 해석 결과를 수신해서 사용자 이벤트 정보로서 등록하도록 해도 좋다. 또한, 이벤트 취득부(312)는 시청자 단말(1)로부터 시청자를 촬영한 영상을 수신하고, 수신한 동영상을 해석해서 시청자의 자세나 시선, 제스처 등을 취득할 수도 있다. 또는 시청자 단말(1)에서 동영상 해석을 하고, 그 결과를 수신하도록 할 수도 있다. 이벤트 취득부(312)는 시청중인 시청자 수를 정기적으로 카운트해서 시스템 이벤트 정보에 등록해도 좋다. 또한, 영상 해석 처리를 시청자 단말(1)에서 하도록 하고, 이벤트 취득부(312)는 시청자 단말(1)로부터 직접 또는 스트리밍 서버(2)를 통하여, 해석 결과를 수신해서 사용자 이벤트 정보로서 등록하도록 해도 좋다.
또한, 제6 실시 형태에서 상정하고 있는 가위바위보의 경우, 이벤트 취득부(312)는 예를 들어 시청자가 가위바위보의 손을 내민 것을 사용자 이벤트 정보로서 등록할 수 있다. 가위바위보의 손을 내민 것은 예를 들면 시청자 단말(1)에 있어서 Web 브라우저에 가위바위보의 손(바위, 가위 또는 보)을 입력하기 위한 버튼을 표시시켜서 시청자에게 클릭하게 할 수 있다. 또한, 전송 동영상 중에 가위바위보의 손을 나타내는 영상을 포함시키는 동시에, 각 손에 대응하는 영역을 설정해 두고, 시청자 단말(1)이 전송 동영상 중에서 클릭된 위치를 스트리밍 서버(2)를 통해서 또는 직접 전송자 장치(3)로 송신하고, 이벤트 취득부(312)는 클릭된 위치가 상기 각 손에 대응하는 영역에 들어가는지 여부에 의해 시청자가 낸 가위바위보의 손을 판정할 수 있다. 또한, 이 판정을 시청자 단말(1) 또는 스트리밍 서버(2)에서 행하도록 해도 좋다. 또한, 이벤트 취득부(312)는 예를 들어 시청자가 투고한 코멘트에 기재되어 있는 가위바위보의 손을 나타내는 단어를 추출함으로써, 시청자가 낸 가위바위보의 손을 특정할 수 있다.
또한, 이벤트 취득부(312)는 예를 들어 클록으로부터 타임 아웃 이벤트를 취득하도록 하고, 전송 동영상의 재생 개시로부터 소정 시간이 경과한 것을 시스템 이벤트 정보로서 등록할 수 있다. 이벤트 취득부(312)는 소정 시각이 된 것(예를 들면, 날짜가 바뀐 것, 오후 3시가 된 것 등)을 시스템 이벤트 정보로서 등록할 수도 있다.
또한, 이벤트 취득부(312)는 예를 들어 기상회사의 서버 등으로부터 기상 정보를 취득하고, 특정 영역(예를 들면, 각 시청자의 소재지 또는 전송자의 소재지 또는 미리 설정한 지역)의 기상 요소를 시스템 이벤트 정보로서 등록할 수도 있다.
또한, 이벤트 취득부(312)는 예를 들어 소재 데이터가 3D 모델 등인 경우에는 전송 동영상 중에서 오브젝트가 충돌한 것을 판정하여 시스템 이벤트 정보로서 등록할 수도 있다.
액션 처리부(313)는 소재 데이터에 대하여 액션을 실행한다. 액션 처리부(313)는 최초로 실행하는 액션의 지정을 받고, 받은 액션을 실행한다. 액션 중에는 다른 액션의 기동이 포함될 수 있기 때문에, 이 경우, 액션 처리부(313)는 순차적으로 액션을 계속해서 기동해 갈 수 있다. 또한, 액션은 복수로 분기하여 병렬로 실행하는 것도 가능하다.
또한, 액션 처리부(313)는 이벤트에 따른 액션의 실행을 행한다. 액션 처리부(313)는 액션 기억부(333)에 기억되어 있는 액션 정보의 각각에 대해서, 기간에 대응하는 이벤트 정보를 이벤트 기억부(334)로부터 읽어 집계하고, 조건을 충족하는지 여부를 판정하고, 조건을 충족하는 경우에는 액션 정보에 설정되어 있는 액션을 실행한다. 이것에 의해, 이벤트에 따라 동영상의 전개를 동적으로 변화시키는 것이 가능해진다.
또한, 액션 처리부(313)는 시청자의 그룹을 고려한다. 즉, 액션 처리부(313)는 액션 정보에 그룹이 설정되어 있는 경우에는 설정되어 있는 그룹에 소속되어 있는 시청자에 대응하는 이벤트 정보만에 따른 액션의 실행을 행한다. 예를 들면, 가위바위보의 경우, 승자 그룹에 소속되어 있는 시청자로부터의 이벤트에 대해서만, 액션을 실행하도록 한다. 이것에 의해, 가위바위보의 진행에 패자로부터의 이벤트를 고려하지 않도록 하고, 바로 게임을 진행시킬 수 있다.
그룹 설정부(314)는 시청자를 그룹 나눔 한다. 제6 실시 형태에서는 그룹 설정부(314)는 액션 처리부(313)가 액션을 실행할 때마다, 사용자를 그룹 나눔 하는 것으로 하지만, 임의의 타이밍에서 그룹 나눔을 행하도록 해도 좋다. 예를 들면, 이벤트 취득부(312)가 사전에 설정된 이벤트를 취득한 경우(예를 들면, 코멘트의 투고 등 시청자로부터의 반응이 있는 경우)나, 소정 시간이 경과할 때마다, 그룹 나눔을 행할 수 있다. 그룹 설정부(314)는 시청자 각각에 대해서, 그룹 조건 정보 기억부(335)에 등록되어 있는 그룹 조건 정보 중에서, 조건이 충족되는 것을 검색하고, 검색한 그룹 조건 정보에 설정되어 있는 그룹에 해당 시청자가 소속하는 것을 결정한다. 그룹 설정부(314)는 결정한 시청자와 그룹을 대응시키는 그룹 정보를 작성하여 그룹 기억부(336)에 등록한다. 또한, 해당 시청자에 대응하는 그룹 정보가 그룹 기억부(336)에 이미 등록되어 있는 경우에는 그 그룹 정보를 갱신하는 것으로 한다. 제6 실시 형태에서는 그룹 조건 정보에는 가위바위보의 손에 대한 조건(및, 2회째 이후의 가위바위보 시행에 대해서는 시청자가 소속되어 있는 그룹이 「승자 그룹」인 것)과, 그 조건을 충족하는 시청자를 「승자 그룹」으로 하는 것이 설정되어 있는 것으로 한다. 또한, 그 밖의 시청자를 「패자 그룹」에 설정하는 그룹 조건 정보도 설정되어 있는 것으로 한다. 따라서, 그룹 설정부(314)는 가위바위보의 시행을 반복하고, 승자 그룹에 소속되는 시청자를 줄여 갈 수 있다.
집계 출력부(315)는 각종 집계를 출력할 수 있다. 집계 출력부(315)는 예를 들어 과거에 등록되어 있는 사용자 이벤트 정보로부터, 시청자 수를 카운트하거나, 특정 단어마다, 해당 단어를 포함하는 코멘트를 투고한 시청자 수를 집계하거나 할 수 있다. 또한, 집계 출력부(315)는 예를 들어 그룹 기억부(336)로부터 그룹마다의 시청자 수를 집계할 수 있다. 집계 출력부(315)는 집계한 수를 출력할 수 있다. 집계 출력부(315)로부터의 출력은 전송 영상과는 별도로 시청자 단말(1)로 전송되어, 시청자 단말(1)에 표시되어도 좋고, 전송 영상에 중첩 표시되도록 해도 좋다.
인센티브 처리부(316)는 그룹에 따라 시청자에게 보수를 주기 위한 처리를 행한다. 인센티브 처리부(316)는 예를 들어 특정 그룹에 소속되어 있는 시청자에게만 보수를 주도록 해도 좋고, 그룹마다 상이한 보수를 주도록 해도 좋다. 인센티브 처리부(316)에 의한 보수를 주는 처리에 대해서는 포인트를 가산하거나, 가상 통화의 자금 이동을 행하거나, 아이템을 부여하거나 하는 등, 일반적인 인센티브에 따른 처리를 행하는 것으로서, 여기에서는 설명을 생략한다. 제6 실시 형태에서는 인센티브 처리부(316)는 가위바위보의 승자, 즉 승자 그룹에 소속되어 있는 시청자 각각에 대하여 보수를 주는 처리를 행한다.
도 52는 제6 실시 형태의 동영상 전송 시스템에 의해 실행되는 처리의 흐름을 설명하는 도면이다.
액션 처리부(313)는 최초로 실행하는 액션의 지정을 받고(S421), 지정된 액션을 실행한다(S422). 액션이 실행된 결과로서 출력되는 영상이나 음성은 합성되고, 동영상 데이터로서 동영상 전송부(311)에 의해 스트리밍 서버(2)로 송신된다.
이벤트 취득부(312)는 정기적으로 이벤트를 취득한다(S423). 예를 들면, 이벤트 취득부(312)는 스트리밍 서버(2)가 제공하는 API를 호출함으로써, 전송 동영상에 대하여 투고된 코멘트를 취득할 수 있다. 또한, 이벤트 취득부(312)는 타이머 기능을 이용하여 소정 시간이 경과했음을 취득할 수 있다.
액션 기억부(333)에 기억되어 있는 각 액션 정보에 대해서, 액션 처리부(313)는 액션 정보에 그룹이 설정되어 있는 경우(S424:YES), 그룹에 대응하고, 또한 판정 기간에 들어가는 일시(日時)의 이벤트 정보를 이벤트 기억부(334)로부터 읽고(S425), 액션 정보에 그룹이 설정되어 있지 않으면(S424:NO), 판정 기간에 들어가는 일시의 이벤트 정보를 모두 이벤트 기억부(334)로부터 읽는다(S426).
액션 처리부(313)는 읽은 이벤트 정보의 이벤트 내용이 액션 정보의 조건을 충족하는지 여부를 판정한다(S427). 또한, 액션 정보에, 이벤트 정보 및 그룹 정보 이외의 정보로서, 전송자 장치(3)가 관리하고 있는 정보 또는 다른 정보처리 장치에 접속해서 취득 가능한 정보에 대한 조건이 포함되어 있는 경우에는 이들 정보를 취득해서 조건을 충족하는지 여부를 판정하도록 해도 좋다. 이벤트가 조건을 충족하는 경우(S428:YES), 액션 처리부(313)는 액션 정보에 포함되는 액션을 실행한다(S429). 여기서 액션 처리부(313)는 이전에 실행하고 있던 액션을 정지해도 좋고, 이전에 실행하고 있던 액션과 병행하여 새로운 액션을 실행하도록 해도 좋고, 이 거동을 새로운 액션 내에서 지정 가능하게 해도 좋다. 그룹 설정부(314)는 시청자를 그룹 나눔 한다(S430). 도 53은 제6 실시 형태에 따른 시청자의 그룹 나눔 처리의 흐름을 설명하는 도면이다. 그룹 설정부(314)는 이벤트 정보에 따른 각 시청자에 대해서 이하의 처리를 행한다. 그룹 설정부(314)는 그룹 조건 기억부(335)로부터 그룹 조건 정보를 읽고(S441), 읽은 각 그룹 조건 정보에 대해서, 해당 시청자에 대응하고, 또한 판정 기간에 들어가는 일시의 이벤트 정보를 이벤트 기억부(334)로부터 읽고(S442), 읽은 이벤트 정보가 그룹 조건 정보의 조건을 충족하는 경우(S443:YES), 시청자를 나타내는 시청자 ID와 그룹 조건 정보의 그룹을 설정한 그룹 정보를 그룹 기억부(336)에 등록한다(S444). 이상과 같이 해서, 시청자의 그룹 나눔이 이루어진다.
도 52로 돌아가서, 액션 정보의 액션이 전송 동영상을 종료시키는 것이 아니면(S431:NO), 단계 S423부터의 처리를 반복한다. 예를 들면, 가위바위보의 경우에는 승자 그룹에 소속되는 시청자 수가 소정수 이하가 된 경우에, 전송 동영상을 종료시키는 액션을 실행하도록 액션 정보를 등록해 둘 수 있다.
전송 동영상을 종료시키는 액션이 실행된 경우(S431), 인센티브 처리부(316)는 그룹에 따라 시청자에게 보수를 주고(S432), 처리를 종료한다. 가위바위보의 경우, 인센티브 처리부(316)는 승자 그룹에 소속되어 있는 시청자에게만 보수를 주도록 할 수 있다.
도 54는 전송 동영상의 시청 화면(50)의 일례를 나타내는 도면이다. 시청 화면(50)은 시청자 단말(1)이 표시한다. 시청 화면(50)에서는 전송 동영상(51)이 재생되고, 이 전송 동영상(51)에 대하여 시청자로부터 실시간으로 투고된 코멘트(52)가 리스트 표시된다. 도 54의 예에서는 전송 동영상(51) 중에서 캐릭터가 가위바위보를 접수중이라는 취지의 메시지(53)를 발성하고 있고, 이것에 따라 시청자가 코멘트로서 자신의 손을 입력하고 있다. 또한, 액션 처리부(313)에 의해, 코멘트(52)에 포함되어 있는 가위바위보의 손에 따라 시청자가 내민 손을 나타내는 아이콘(54)이 전송 동영상(51) 중에 묘화되어 있다. 도 54에는 도시되어 있지 않지만, 액션 처리부(313)에 의해, 코멘트(52)에 따라 전송 동영상(51)으로서 묘화되는 소재 데이터에 대한 조작이 이루어지고, 예를 들면, 보의 손이 많이 나와 있는 경우에, 「보가 잔뜩 나왔네」와 같은 발언을 하는 동영상을 전송 동영상(51)에 넣는 것이 가능하게 된다. 또한, 시청 화면(50)에는 집계 출력부(315)에 의한 집계 결과의 일례로서, 승자 그룹에 소속되어 있는 시청자의 인원수(55)와 현재 투고되고 있는 가위바위보의 손의 비율(56)이 표시된다. 이러한 집계 결과를 참고하여, 시청자는 내미는 손을 고려할 수 있다.
이상과 같이 해서, 제6 실시 형태의 동영상 전송 시스템은 전송 동영상을 스트리밍 서버(2)를 경유하여 시청자 단말(1)로 전송하는 동시에, 전송 동영상 재생 중에 각종 이벤트에 따라 재생중의 전송 동영상에 변경을 가할 수 있다. 따라서, 녹화가 끝난 영상을 이용하면서도, 시청자의 반응에 따라 전송 동영상에 여러 가지 전개를 추가하는 것이 가능해지고, 스트리밍 형식에서의 동영상 전송 방식에 따른 라이브 느낌을 해치는 일 없이 동영상을 전송하는 것이 가능해진다.
이상, 제6 실시 형태에 대해서 설명했지만, 상기 실시 형태는 본 발명의 이해를 용이하게 하기 위한 것으로, 본 발명을 한정하여 해석하기 위한 것은 아니다. 본 발명은 그 취지를 일탈하는 일 없이, 변경, 개량될 수 있음과 동시에, 본 발명에는 그 등가물도 포함된다.
예를 들면, 본 실시 형태에서는 전송자 장치(3)로부터 송출한 동영상은 스트리밍 서버(2)를 통해서 시청자 단말(1)로 전송되는 것으로 했지만, 전송자 장치(3)로부터 각 시청자 단말(1)로 직접 동영상을 전송하도록 할 수도 있다.
또한, 본 실시 형태에서는 동영상의 재생 도중이라고 해도 코멘트가 조건을 충족하면, 다음 부품 동영상 데이터로 천이하는(도 52의 단계 S428) 것으로 했지만, 현재 액션의 실행은 최후까지 간 후에, 다음 액션으로 실행하도록 해도 좋다.
또한, 본 실시 형태에서는 액션이 실행될 때마다 시청자를 그룹 나눔 하는 것으로 했지만, 소재 데이터나 액션의 내용에 따라, 그룹 나눔을 할지 여부를 결정하도록 해도 좋다. 예를 들면, 캐릭터가 가위바위보의 손을 내미는 영상을 생성한 경우만, 시청자의 그룹 나눔을 하도록 해도 좋다.
또한, 본 실시 형태에서는 가위바위보를 예로 설명했지만, 가위바위보에 한정되지 않고, 숫자 맞추기, 문자 맞추기, 빙고, 참참참 놀이, 심리 테스트, OX퀴즈, 늦게 내는 가위바위보 등에 적용할 수도 있다.
<제7 실시 형태>
제7 실시 형태에 따른 동영상 전송 시스템은 이하와 같은 구성을 구비한다.
[항목 1]
동영상을 생성하기 위한 소재 데이터를 기억하는 소재 라이브러리와,
제1 및 제2 상기 소재 데이터에 근거하여 제1 및 제2 부분 동영상을 생성하고, 생성한 제1 및 제2 부분 동영상을 동시에 분할 표시하도록 상기 동영상을 생성하는 동영상 생성부와,
상기 동영상 재생 중에 상기 동영상의 시청자로부터의 반응을 나타내는 반응 정보를 취득하는 반응 취득부와,
제1 그룹에 소속되는 상기 시청자로부터의 상기 반응 정보만에 따라, 상기 제1 소재 데이터에 대한 상기 조작을 행하고, 제2 그룹에 소속되는 상기 시청자로부터의 상기 반응 정보만에 따라, 상기 제2 소재 데이터에 대한 상기 조작을 행하는 액션 처리부와,
를 구비하는 것을 특징으로 하는 동영상 전송 시스템.
[항목 2]
항목 1에 기재된 동영상 전송 시스템으로서,
상기 동영상 생성부는 상기 제1 및 제2 소재 데이터가 동일한 경우, 상기 분할 표시를 종료하고, 상기 제1 또는 제2 소재 데이터에 근거하여 상기 동영상을 생성하는 것,
을 특징으로 하는 동영상 전송 시스템.
[항목 3]
항목 1 또는 2에 기재된 동영상 전송 시스템으로서,
상기 소재 데이터는 복수의 캐릭터의 적어도 1개와 관련되어 있고,
상기 그룹의 각각은 상기 캐릭터에 대응되며,
상기 동영상 생성부는 복수의 상기 그룹에 대응하는 상기 캐릭터가 모두 관련되어 있는 상기 제1 또는 제2 소재 데이터를 이용하는 경우에는 상기 분할 표시를 종료하고, 상기 제1 또는 제2 소재 데이터에 근거하여 상기 부분 동영상 또는 상기 동영상을 생성하는 것,
을 특징으로 하는 동영상 전송 시스템.
[항목 4]
항목 1 내지 3 중 어느 1항에 기재된 동영상 전송 시스템으로서,
상기 반응 정보에 따라, 상기 시청자를 그룹 나눔하는 그룹 설정부를 더 구비하는 것,
을 구비하는 것을 특징으로 하는 동영상 전송 시스템.
[항목 5]
항목 4에 기재된 동영상 전송 시스템으로서,
취득한 상기 반응 정보에 대응하는 상기 시청자를 나타내는 정보와, 상기 시청자가 소속되는 상기 그룹을 대응시켜서 저장하는 그룹 기억부를 더 구비하는 것,
을 특징으로 하는 동영상 전송 시스템.
이하, 제7 실시 형태에 따른 동영상 전송 시스템에 대해서 설명한다. 제7 실시 형태의 동영상 전송 시스템은 스트리밍 전송되는 동영상을 각종 이벤트에 따라 동적으로 변화시키는 것이다.
이벤트에는 시청자에 의해 기기가 조작된 것, 시청자로부터 음성이나 문자가 입력된 것, 시청자가 촬영된 것, 촬영된 영상으로부터 해석한 시청자의 자세나 시선, 제스처 등이 취득된 것, 시청자의 신체 반응을 측정한 측정 데이터가 취득된 것 등, 시청자에 관해서 취득되는 정보(이하, 사용자 이벤트 정보라고 한다.)가 포함된다. 또한, 이벤트에는 열람하고 있는 시청자 수, 날씨, 시각, 날씨, 동영상 중에서 오브젝트가 접촉한 것 등 시스템측에서 취득할 수 있는 정보(이하, 시스템 이벤트 정보라고 한다.)도 포함시킬 수 있다.
전송되는 동영상은 3D 모델이나 동영상 데이터, 음성 데이터 등의 소재 데이터에 근거하여 생성된다. 각 소재 데이터에는 이벤트에 따른 액션을 설정할 수 있다.
액션은 소재 데이터에 대한 조작이며, 3D 모델에 의해 표현되는 오브젝트의 출현, 이동 및 소멸, 애니메이션 동작의 개시 및 종료, 동영상의 재생 및 정지, 음성의 재생 및 정지, 소재 데이터의 변경(치환) 등을 포함시킬 수 있다. 제7 실시 형태에서는 전송되는 동영상은 액션의 결과로서 출력되는 영상 또는 동영상을 합성해서 작성되는 것으로 한다.
제7 실시 형태의 동영상 전송 시스템에서는 이벤트에 따라 액션을 기동함으로써, 동적으로 전송 동영상을 변화시킬 수 있다. 이하, 상세에 대해서 설명한다.
도 55는 제7 실시 형태의 동영상 전송 시스템의 전체 구성예를 나타내는 도면이다. 제7 실시 형태의 동영상 전송 시스템은 전송자 장치(3)를 포함하여 구성되고, 전송자 장치(3)는 스트리밍 서버(2)와 통신 가능하게 접속되고, 스트리밍 서버(2)는 시청자 단말(1)과 통신 가능하게 접속된다. 시청자 단말(1)은 다수가 접속되어 있어도 좋다. 전송자 장치(3)는 동영상 송신을 하는, 예를 들어 퍼스널 컴퓨터나 타블렛 컴퓨터, 스마트폰 등의 컴퓨터이다. 전송자 장치(3)는 예를 들어 동영상 전송을 하고 싶다고 생각하고 있는 일반 사용자가 조작하는 가정용 컴퓨터이면 된다. 전송자 장치(3)로부터는 동영상 데이터가 스트리밍 방식에 의해 스트리밍 서버(2)로 송출된다. 스트리밍 서버(2)는 전송자 장치(3)로부터 받은 동영상 데이터를 시청자 단말(1)로 전송하는, 예를 들어 워크스테이션이나 퍼스널 컴퓨터, 클라우드 컴퓨팅에 의해 제공되는 가상 컴퓨터 등의 컴퓨터이다. 스트리밍 서버(2)는 하나 또는 복수의 시청자 단말(1)에 대하여 동시에 동영상 데이터를 전송할 수 있다. 시청자 단말(1)은 시청자가 조작하는, 예를 들어 퍼스널 컴퓨터나 타블렛 컴퓨터, 스마트폰 등의 컴퓨터이다. 시청자는 시청자 단말(1)을 조작해서 스트리밍 서버(2)에 접속하고, 시청자 단말(1)은 스트리밍 서버(2)로부터 송출되어 오는 동영상 데이터를 수신해서 재생할 수 있다. 또한, 시청자 단말(1)은 시청자를 촬영하거나, 시청자의 음성을 녹음하거나, 시청자로부터 코멘트의 입력을 받거나, 각종 이벤트 정보의 수집을 행할 수 있다. 1명 또는 복수의 시청자로부터의 이벤트는 스트리밍 서버(2)에서 수집되고, 전송자 장치(3)는 예를 들어 스트리밍 서버(2)가 제공하는 API(Application Programming Interface)을 호출함으로써, 시청자로부터의 이벤트를 취득할 수 있다.
또한, 이하의 설명에 있어서, 스트리밍에 의해 전송되어 리니어로 재생되는 동영상 전체를 특히 「전송 동영상」이라고 한다. 전송 동영상은 카메라나 마이크에 의해 캡처된 동영상 및 음성을, 실시간으로 동영상 데이터로 인코딩하여 송출하는 형식으로 할 수도 있지만, 제7 실시 형태에서는 전송 동영상은 소재 데이터를 조합하여 합성한 비디오 데이터로서 생성하는 것을 상정하고 있다.
도 56은 전송자 장치(3)의 하드웨어 구성예를 나타내는 도면이다. 전송자 장치(3)는 CPU(301), 메모리(302), 기억 장치(303), 통신 인터페이스(304), 입력 장치(305), 출력 장치(306)를 구비한다. 기억 장치(303)는 각종 데이터나 프로그램을 기억하는, 예를 들어 하드디스크 드라이브나 솔리드 스테이트 드라이브, 플래쉬 메모리 등이다. 통신 인터페이스(304)는 통신 네트워크(30)에 접속하기 위한 인터페이스로, 예를 들면 이더넷(등록상표)에 접속하기 위한 어댑터, 공중 전화 회선망에 접속하기 위한 모뎀, 무선통신을 하기 위한 무선통신기, 시리얼 통신을 위한 USB(Universal Serial Bus) 커넥터나 RS232C 커넥터 등이다. 입력 장치(305)는 데이터를 입력하는, 예를 들어 키보드나 마우스, 터치 패널, 버튼, 마이크로폰 등이다. 출력 장치(306)는 데이터를 출력하는, 예를 들어 디스플레이나 프린터, 스피커 등이다.
도 57은 전송자 장치(3)의 소프트웨어 구성예를 나타내는 도면이다. 도 57에 나타내는 바와 같이, 전송자 장치(3)는 동영상 전송부(311), 이벤트 취득부(312), 액션 처리부(313) 및 그룹 설정부(314)의 각 처리부와, 소재 라이브러리(331), 액션 기억부(333), 이벤트 기억부(334), 그룹 조건 기억부(335) 및 그룹 기억부(336)의 각 기억부를 구비한다.
또한, 상기 각 처리부는 전송자 장치(3)가 구비하는 CPU(301)가 기억 장치(303)에 기억되어 있는 프로그램을 메모리(302)로 읽고 실행함으로써 실현되고, 상기 각 기억부는 전송자 장치(3)가 구비하는 메모리(302) 및 기억 장치(303)의 적어도 어느 하나가 제공하는 기억 영역의 일부로서 실현된다.
소재 라이브러리(331)는 동영상에 넣을 수 있는 각종 데이터(소재 데이터)를 기억한다. 소재 데이터는 예를 들어 3D 모델, 정지 영상, 동영상, 음성 데이터, MIDI 데이터, 문자 데이터 등이다. 도 58은 소재 라이브러리(331)의 구조예를 나타내는 도면이다. 도 58에 나타내는 바와 같이, 소재 라이브러리(331)는 소재 데이터를 특정하기 위한 정보(소재 ID)에 대응되며, 각종 소재 데이터와 해당 소재 데이터에 대응하는 캐릭터를 기억한다. 캐릭터는 소재 데이터에 근거하는 동영상에 대응하는 캐릭터로, 예를 들면, 소재 데이터에 근거하는 동영상 중에 등장하는 캐릭터이다.
액션 기억부(333)는 소재 데이터에 대한 조작(액션)에 관한 정보(이하, 액션 정보라고 한다.)를 기억한다. 도 59는 액션 기억부(333)에 기억되는 액션 정보의 일례를 나타내는 도면이다. 도 59에 나타내는 바와 같이, 액션 정보에는 액션을 나타내는 액션 ID, 판정 기간, 그룹, 조건 및 액션을 포함한다.
판정 기간은 이벤트가 조건을 충족하는지 여부를 판정하는 기간을 나타내는 정보이다. 판정 기간은 예를 들어 현시점부터 5분전까지 등으로 상대적으로 지정해도 좋고, 12월 25일 00:00로부터 00:10까지와 같이 절대적으로 지정해도 좋다. 또한, 액션의 지정 및 해당 액션이 실행된 시간(예를 들면, 액션 개시로부터 10초, 액션 종료까지 10초 등)으로 해도 좋다. 판정 기간의 길이는 예를 들어 1초, 1분, 1시간, 1일 등, 임의의 시간으로 할 수 있다.
그룹은 시청자가 소속하는 그룹을 나타낸다. 액션 정보에 그룹이 설정되어 있는 경우에는 설정되어 있는 그룹에 소속하는 시청자에 관한 이벤트 정보만에 대해서는 후술하는 조건이 충족되는지 여부가 판단된다.
조건은 이벤트에 대한 것으로, 예를 들면, 이벤트의 유무여도 좋고, 복수의 시청자로부터의 이벤트에 관한 집계값이 임계값을 초과했는지 여부여도 좋다.
사용자 이벤트 정보에 대해서는 예를 들어 시청자가 전송 동영상 재생 중에 소정의 키를 눌렀는지 여부, 동영상의 소정 영역을 클릭 또는 탭했는지 여부, 동영상의 소정 영역을 클릭 또는 탭한 시청자의 인원수가 임계값을 초과했는지 여부 등을 조건으로 할 수 있다. 전송 동영상의 생성에 이용된 소재 데이터에 근거하여, 전송 동영상 중에 표시되어 있는 오브젝트가 클릭 또는 탭되었는지 여부, 해당 오브젝트를 클릭 또는 탭한 시청자의 인원수가 임계값을 초과했는지 여부를 조건으로 할 수도 있다.
또한, 시청자 단말(1)에 있어서 시청자로부터 소정의 문자(키워드)의 입력이 있었는지 여부, 예를 들면, 전송 동영상에 대하여 투고되는 코멘트에 소정의 키워드가 포함되어 있는지 여부, 키워드를 입력한 시청자의 인원수가 임계값을 초과했는지 여부 등을 조건으로 할 수도 있다. 또한, 코멘트를 투고한 시청자의 지역마다 집계한 코멘트 또는 시청자 수, 예를 들면, 동영상 중에서 금액에 대한 의견을 질문한 것에 대하여 시청자가 투고한 금액의 집계값(평균값, 중앙값, 최대값, 최소값 등), 코멘트를 구문 해석하여 판단되는 시청자의 희로애락에 근거하는 슬퍼하고 있는 시청자 수 등이 소정 임계값을 초과할 것, 소정의 키워드를 포함하는 코멘트가 한번도 투고되지 않을 것, 등을 조건으로 할 수도 있다.
또한, 음성 인식을 실행함으로써, 시청자 또는 시청자의 분위기에, 예를 들면, 특정 언어의 발성이 행해졌는지 여부, 박수나 휘파람, 제자리 걸음 등이 발음되었는지 여부 등과 같이, 특정 발음이 있었는지 여부, 이러한 특정 발음이 있었던 시청자의 인원수가 임계값을 초과했는지 여부 등을 조건으로 할 수도 있다. 이 경우, 음성 인식의 처리는 시청자 단말(1)이 하고, 인식 결과를 스트리밍 서버(2) 또는 전송자 장치(3)로 송신하도록 해도 좋고, 시청자 단말(1)로부터는 캡처된 음성 데이터가 스트리밍 서버(2)를 통해서 또는 직접 전송자 장치(3)로 송신되어, 전송자 장치(3)에서 음성 인식 처리를 하도록 해도 좋다.
또한, 시청자가 시청자 단말(1)에 있어서 셀카 영상 또는 시청자의 분위기를 촬영했는지 여부, 이러한 영상이 스트리밍 서버(2)에 투고되었는지 여부, 영상을 투고한 시청자의 인원수가 임계값을 초과했는지 여부를 조건으로 할 수도 있다. 또한, 영상 해석에 의해, 소정의 물건을 촬영한 영상(예를 들면, 시청자의 주변에 있는 특정 간판이나 전단지가 촬영된 영상)이 투고되었는지 여부, 그러한 영상을 투고한 시청자의 인원수가 임계값을 초과했는지 여부 등을 조건으로 할 수도 있다. 또한, 영상 해석에 의해, 시청자의 자세나 시선, 제스처 등을 인식하고, 시청자가 소정의 자세나 시선, 제스처를 했는지 여부, 소정의 자세나 시선, 제스처를 한 시청자의 인원수가 임계값을 초과했는지 여부 등을 조건으로 할 수도 있다. 이 경우, 영상 해석 처리는 시청자 단말(1)이 하고, 해석 결과를 스트리밍 서버(2) 또는 전송자 장치(3)로 송신하도록 해도 좋고, 시청자 단말(1)로부터는 촬영된 영상 데이터가 스트리밍 서버(2)를 통해서 또는 직접 전송자 장치(3)로 송신되어, 전송자 장치(3)에서 영상 해석 처리를 하도록 해도 좋다.
또한, 시스템 이벤트 정보에 대해서는 예를 들어 전송 동영상을 시청하고 있는 시청자의 인원수가 임계값을 초과했는지 여부를 조건으로 할 수 있다. 또한, 전송 동영상의 재생으로부터 소정 시간이 경과했는지 여부를 조건으로 할 수도 있다. 또한, 시청자 또는 전송자의 소재지 또는 소정 지역의 날씨를 시스템 이벤트 정보로서 취득한 경우에는 이 날씨가 소정의 날씨인지 여부를 조건(예를 들어 맑을 것, 비가 내리고 있을 것, 눈이 내리고 있을 것, 소정 이상의 강도의 바람이 불고 있을 것, 소정 온도 이상의 기온일 것 등)으로 할 수 있다. 또한, 소재 데이터가 3D 모델 등인 경우, 전송 동영상 중에서 오브젝트가 충돌한 것을 조건으로 할 수도 있다.
액션은 상술한 바와 같이 소재 데이터에 대한 각종 조작이다. 액션에는 파라미터도 포함시킬 수 있고, 소재 데이터에 대하여 구체적으로 어떤 조작을 행할지를 상세하게 설정할 수 있다. 또한, 제7 실시 형태에서는 액션은 소재 데이터에 대한 조작뿐만 아니라, 다른 액션의 실행이나 정지, 다른 액션의 실행이 완료하는 것을 대기하는 등의 처리를 포함할 수 있다. 액션은 예를 들면 스크립트 언어에 의해 표기된 프로그램으로서 저장할 수도 있다.
이벤트 기억부(334)는 발생한 각종 이벤트를 기억한다. 도 60은 이벤트 기억부(334)의 구성예를 나타내는 도면이다. 상술한 바와 같이, 이벤트 기억부(334)는 사용자 이벤트 정보와 시스템 이벤트 정보를 기억하고 있다. 이하, 사용자 이벤트 정보와 시스템 이벤트 정보를 합쳐서 이벤트 정보라고도 한다. 사용자 이벤트 정보에는 이벤트를 나타내는 이벤트 ID, 이벤트에 관한 시청자를 나타내는 시청자 ID, 이벤트가 발생한 일시 및 이벤트의 내용이 포함된다. 또한, 시스템 이벤트 정보에는 이벤트 ID, 이벤트가 발생한 일시 및 이벤트의 내용이 포함된다. 이벤트의 내용은 이벤트에 따라 상이하며, 예를 들면, 사용자 이벤트 정보의 경우, 시청자가 전송 동영상에 대하여 코멘트를 투고한 때에는 투고된 코멘트가 이벤트 내용으로서 설정될 수 있다. 또한, 시청자 단말(1)이 시청자를 촬영한 영상을 해석해서 시청자의 시선이나 제스처를 얻었을 때에는 이들의 시선이나 제스처를 나타내는 정보가 이벤트의 내용으로서 설정될 수 있다. 시스템 이벤트 정보의 경우, 시청자 수, 날씨, 시각 등이 이벤트의 내용으로서 설정될 수 있다.
그룹 조건 기억부(335)는 시청자를 그룹 나눔하는 조건(이하, 그룹 조건 정보라고 한다.)을 기억한다. 도 61은 그룹 조건 기억부(335)의 구성예를 나타내는 도면이다. 그룹 조건 정보에는 판정 기간, 조건 및 그룹이 포함된다. 판정 기간은 그룹 나눔을 행하는 기간을 나타내는 정보이다. 판정 기간은 상술한 액션 정보의 판정 기간과 마찬가지로, 예를 들어 개시 일시 및 종료 일시여도 좋고, 액션의 지정 및 해당 액션이 실행된 시간(예를 들면, 액션 개시로부터 10초, 액션 종료까지 10초등)으로 해도 좋다. 판정 기간의 길이는 예를 들어 1초, 1분, 1시간, 1일 등, 임의의 시간으로 할 수 있다. 조건은 특정 시청자에 관한 조건이며, 최신의 사용자 이벤트, 과거의 사용자 이벤트, 시청자가 소속하는 그룹등에 관한 조건으로 할 수 있다. 또한, 제7 실시 형태에서는 시청자가 취할 수 있는 모든 패턴에 대해서 그룹 조건 정보가 설정되어 있는 것으로 한다. 예를 들면, 디폴트(다른 조건에 매치하지 않는 시청자)라는 조건을 지정한 그룹 조건 정보가 포함되어 있는 것으로 한다.
그룹 기억부(336)는 전송 동영상에 따른 시청자가 소속하는 그룹을 관리한다. 도 62는 그룹 기억부(336)의 구성예를 나타내는 도면이다. 그룹 기억부(336)는 그룹 정보를 기억하고 있고, 그룹 정보에는 시청자를 나타내는 시청자 ID와 해당 시청자가 소속하는 그룹과 해당 시청자에 관련된 캐릭터가 포함되어 있다. 캐릭터는 예를 들어 시청자가 선택한 캐릭터로 해도 좋고, 시청자에게 자동적으로 할당된 캐릭터여도 좋다. 예를 들면, 시청자가 전송 동영상의 등장 인물 중 하나를 쫓아가기로 결정한 경우, 그 결정한 캐릭터의 입력을 받아, 그룹 정보로서 등록할 수 있다.
동영상 전송부(311)는 동영상을 전송한다. 동영상 전송부(311)는 후술하는 액션 처리부(313)가 실행하는 액션(복수의 액션이 실행될 수도 있다.)로부터의 출력을 합성해서(필요에 따라 인코딩해서) 전송 동영상을 생성할 수 있다. 또한, 동영상 전송부(311)는 생성한 전송 동영상을 스트리밍 서버(2)로 송신함으로써, 시청자 단말(1)로 동영상을 전송할 수 있다.
이벤트 취득부(312)는 이벤트를 취득하고, 취득한 이벤트의 내용을 이벤트 정보로서 이벤트 기억부(334)에 등록한다. 또한, 이벤트 취득부(312)가 어떤 이벤트를 취득할지에 대해서는 사용자로부터 설정 가능한 것으로 한다. 어떤 이벤트를 취득할지를 나타내는 설정 정보는 예를 들어 메모리(302)나 기억 장치(303) 등에 기억해 둘 수 있다.
이벤트 취득부(312)는 예를 들어 시청자가 입력한 키나 탭, 클릭 등의 이벤트를 사용자 이벤트 정보로서 등록할 수 있다. 예를 들면, 시청자 단말(1)에 있어서 Web 브라우저에 있어서 전송 동영상이 시청되고 있는 경우에는 Web 브라우저상에서 발생한 클릭 이벤트를 스트리밍 서버(2) 또는 전송자 장치(3)로 송신하도록 스크립트를 설정해 두고, 이벤트 취득부(312)는 스트리밍 서버(2)를 통해서 또는 시청자 단말(1)로부터 직접, 클릭 이벤트를 취득할 수 있다.
또한, 이벤트 취득부(312)는 예를 들어 스트리밍 서버(2)가 투고된 코멘트를 취득하기 위한 API를 제공하고 있는 경우에는 해당 API를 호출함으로써, 시청자에 의해 투고된 코멘트를 취득할 수 있다. 또한, 이벤트 취득부(312)는 코멘트를 구문 해석하여, 소정의 키워드가 포함되어 있는 것을 사용자 이벤트 정보로서 등록해도 좋다.
또한, 이벤트 취득부(312)는 예를 들어 시청자 단말(1)로부터 캡처한 음성 데이터를 수신하고, 수신한 음성 데이터를 해석해서 특정 발음이 있는 것을 사용자 이벤트 정보로서 등록할 수 있다. 또한, 음성 해석 처리를 시청자 단말(1)에서 하도록 하고, 이벤트 취득부(312)는 시청자 단말(1)로부터 직접 또는 스트리밍 서버(2)를 통하여, 해석 결과를 수신해서 사용자 이벤트 정보로서 등록하도록 해도 좋다. 또한, 이벤트 취득부(312)는 시청자 단말(1)로부터 시청자를 촬영한 영상을 수신하고, 수신한 동영상을 해석해서 시청자의 자세나 시선, 제스처 등을 취득할 수도 있다. 또는 시청자 단말(1)에서 동영상 해석을 하고, 그 결과를 수신하도록 할 수도 있다. 이벤트 취득부(312)는 시청중인 시청자 수를 정기적으로 카운트해서 시스템 이벤트 정보에 등록해도 좋다. 또한, 영상 해석 처리를 시청자 단말(1)에서 하도록 하고, 이벤트 취득부(312)는 시청자 단말(1)로부터 직접 또는 스트리밍 서버(2)를 통하여, 해석 결과를 수신해서 사용자 이벤트 정보로서 등록하도록 해도 좋다.
또한, 이벤트 취득부(312)는 예를 들어 클록으로부터 타임 아웃 이벤트를 취득하도록 하고, 전송 동영상의 재생 개시로부터 소정 시간이 경과한 것을 시스템 이벤트 정보로서 등록할 수 있다. 이벤트 취득부(312)는 소정 시각이 된 것(예를 들면, 날짜가 바뀐 것, 오후 3시가 된 것 등)을 시스템 이벤트 정보로서 등록할 수도 있다.
또한, 이벤트 취득부(312)는 예를 들어 기상회사의 서버 등으로부터 기상 정보를 취득하고, 특정 영역(예를 들면, 각 시청자의 소재지 또는 전송자의 소재지 또는 미리 설정한 지역)의 기상 요소를 시스템 이벤트 정보로서 등록할 수도 있다.
또한, 이벤트 취득부(312)는 예를 들어 소재 데이터가 3D 모델 등인 경우에는 전송 동영상 중에서 오브젝트가 충돌한 것을 판정하여 시스템 이벤트 정보로서 등록할 수도 있다.
액션 처리부(313)는 소재 데이터에 대하여 액션을 실행한다. 액션 처리부(313)는 최초로 실행하는 액션의 지정을 받고, 받은 액션을 실행한다. 액션 중에는 다른 액션의 기동이 포함될 수 있기 때문에, 이 경우, 액션 처리부(313)는 순차적으로 액션을 계속해서 기동해 갈 수 있다. 또한, 액션은 복수로 분기하여 병렬로 실행하는 것도 가능하다.
또한, 액션 처리부(313)는 이벤트에 따른 액션의 실행을 행한다. 액션 처리부(313)는 액션 기억부(333)에 기억되어 있는 액션 정보의 각각에 대해서, 기간에 대응하는 이벤트 정보를 이벤트 기억부(334)로부터 읽어 집계하고, 조건을 충족하는지 여부를 판정하고, 조건을 충족하는 경우에는 액션 정보에 설정되어 있는 액션을 실행한다. 이것에 의해, 이벤트에 따라 동영상의 전개를 동적으로 변화시키는 것이 가능해진다.
또한, 액션 처리부(313)는 시청자의 그룹을 고려한다. 즉, 액션 처리부(313)는 액션 정보에 그룹이 설정되어 있는 경우에는 설정되어 있는 그룹에 소속되어 있는 시청자에 대응하는 이벤트 정보만에 따른 액션의 실행을 행한다. 예를 들면, 가위바위보의 경우, 승자 그룹에 소속되어 있는 시청자로부터의 이벤트에 대해서만, 액션을 실행하도록 한다. 이것에 의해, 가위바위보의 진행에 패자로부터의 이벤트를 고려하지 않도록 하고, 바로 게임을 진행시킬 수 있다.
그룹 설정부(314)는 시청자를 그룹 나눔 한다. 제7 실시 형태에서는 그룹 설정부(314)는 액션 처리부(313)가 액션을 실행할 때마다, 사용자를 그룹 나눔 하는 것으로 하지만, 임의의 타이밍으로 그룹 나눔을 행하도록 해도 좋다. 예를 들면, 이벤트 취득부(312)가 사전에 설정된 이벤트를 취득한 경우(예를 들면, 코멘트의 투고 등 시청자로부터의 반응이 있는 경우)나, 소정 시간이 경과할 때마다, 그룹 나눔을 행할 수 있다. 그룹 설정부(314)는 시청자 각각에 대해서, 그룹 조건 정보 기억부(335)에 등록되어 있는 그룹 조건 정보 중에서, 조건이 충족되는 것을 검색하고, 검색한 그룹 조건 정보에 설정되어 있는 그룹에, 해당 시청자가 소속하는 것을 결정한다. 그룹 설정부(314)는 결정한 시청자와 그룹을 대응시키는 그룹 정보를 작성해서 그룹 기억부(336)에 등록한다. 또한, 해당 시청자에 대응하는 그룹 정보가 그룹 기억부(336)에 이미 등록되어 있는 경우에는 그 그룹 정보를 갱신하는 것으로 한다.
집계 출력부(315)는 각종 집계를 출력할 수 있다. 집계 출력부(315)는 예를 들어 과거에 등록되어 있는 사용자 이벤트 정보로부터, 시청자 수를 카운트하거나, 특정한 단어마다, 해당단어를 포함하는 코멘트를 투고한 시청자 수를 집계하거나 할 수 있다. 또한, 집계 출력부(315)는 예를 들어 그룹 기억부(336)로부터 그룹마다의 시청자 수를 집계할 수 있다. 집계 출력부(315)는 집계한 수를 출력할 수 있다. 집계 출력부(315)로부터의 출력은 전송 영상과는 별도로 시청자 단말(1)로 전송되어, 시청자 단말(1)에 표시되어도 좋고, 전송 영상에 중첩 표시시키도록 해도 좋다.
인센티브 처리부(316)는 그룹에 따라 시청자에게 보수를 주기 위한 처리를 행한다. 인센티브 처리부(316)는 예를 들어 특정 그룹에 소속되어 있는 시청자에게뿐 보수를 주도록 해도 좋고, 그룹마다 상이한 보수를 주도록 해도 좋다. 인센티브 처리부(316)에 의한 보수를 주는 처리에 대해서는 포인트를 가산하거나, 가상 통화의 자금이동을 행하거나, 아이템을 부여하거나 하는 등, 일반적인 인센티브에 따른 처리를 행하는 것으로서, 여기에서는 설명을 생략한다. 제7 실시 형태에서는 인센티브 처리부(316)는 가위바위보의 승자, 즉, 승자 그룹에 소속되어 있는 시청자 각각에 대하여, 보수를 주는 처리를 행한다.
도 63은 제7 실시 형태의 동영상 전송 시스템에 의해 실행되는 처리의 흐름을 설명하는 도면이다.
동영상 전송부(311)는 전송 동영상 내에서 화면을 분할한다(S401). 제7 실시 형태에서는 동영상 전송부(311)는 복수의 동영상을 동시 표시되도록 합성함으로써 화면 분할을 실현하는 것으로 한다. 화면 분할은 그룹의 수만큼 행하는 것으로 한다.
액션 처리부(313)는 각 그룹에 대해서, 최초로 실행하는 액션의 지정을 받고(S402), 지정된 액션을 실행한다(S403). 액션이 실행된 결과로서 출력되는 영상이나 음성은 합성되고, 동영상 데이터로서 생성된다. 액션 처리부(313)는 해당 그룹 및 액션 실행 시에 사용한 소재 데이터에 대응하는 캐릭터와 화면을 연결시킨다(S404).
동영상 전송부(311)는 각 그룹에 대해서 생성된 동영상 데이터를, 대응하는 화면에 분할 표시되도록 합성하여 전송 동영상을 생성하고, 스트리밍 서버(2)로 송신한다(S405).
액션 처리부(313)는 각 그룹에 대해서, 도 64에 나타내는 액션의 실행 처리를 행한다(S406).
이벤트 취득부(312)는 정기적으로 이벤트를 취득한다(S421). 예를 들면, 이벤트 취득부(312)는 스트리밍 서버(2)가 제공하는 API를 호출함으로써, 전송 동영상에 대하여 투고된 코멘트를 취득할 수 있다. 또한, 이벤트 취득부(312)는 타이머 기능을 이용하여 소정 시간이 경과했음을 취득할 수 있다.
액션 처리부(313)는 해당 그룹에 대응하는 액션의 각각에 대해서, 해당 그룹에 대응하고, 또한 판정 기간에 들어가는 일시의 이벤트 정보를 이벤트 기억부(334)로부터 읽고(S423), 읽은 이벤트 정보의 이벤트 내용이 액션 정보의 조건을 충족하는지 여부를 판정한다(S424). 또한, 액션 정보에, 이벤트 정보 및 그룹 정보 이외의 정보로서, 전송자 장치(3)가 관리하고 있는 정보 또는 다른 정보처리 장치에 접속해서 취득 가능한 정보에 대한 조건이 포함되어 있는 경우에는 이들 정보를 취득해서 조건을 충족하는지 여부를 판정하도록 해도 좋다. 이벤트가 조건을 충족하는 경우(S425:YES), 액션 처리부(313)는 액션 정보에 포함되는 액션을 실행한다(S426). 여기서 액션 처리부(313)는 이전에 실행하고 있던 액션을 정지해도 좋고, 이전에 실행하고 있던 액션과 병행하여 새로운 액션을 실행하도록 해도 좋고, 이 거동을 새로운 액션 내에서 지정 가능하게 해도 좋다. 그룹 설정부(314)는 액션의 실행을 계기로서, 시청자를 그룹 나눔 한다(S427).
도 65는 제7 실시 형태에 따른 시청자의 그룹 나눔 처리의 흐름을 설명하는 도면이다. 그룹 설정부(314)는 이벤트 정보에 따른 각 시청자에 대해서 이하의 처리를 행한다. 그룹 설정부(314)는 그룹 조건 기억부(335)로부터 그룹 조건 정보를 읽고(S441), 읽은 각 그룹 조건 정보에 대해서, 해당 시청자에 대응하고, 또한 판정 기간에 들어가는 일시의 이벤트 정보를 이벤트 기억부(334)로부터 읽고(S442), 읽은 이벤트 정보가 그룹 조건 정보의 조건을 충족하는 경우(S443:YES), 시청자를 나타내는 시청자 ID와 그룹 조건 정보의 그룹을 설정한 그룹 정보를 그룹 기억부(336)에 등록한다(S444). 이상과 같이 해서, 시청자의 그룹 나눔이 이루어진다.
도 64로 돌아가서, 액션 처리부(313)는 액션 실행 시에 사용한 소재 데이터에 대응하는 캐릭터를 소재 라이브러리(331)로부터 취득하고, 취득한 캐릭터를 해당 그룹에 연결시킨다(S428). 이상의 처리가 각 액션에 대해서 행해지고, 도 63으로 돌아가서, 동영상 전송부(311)는 각 그룹에 연결된 캐릭터가 일치한 경우(S407:YES), 화면 분할을 해제한다(S408). 즉, 이후 전송 처리부(311) 및 액션 처리부(313)는 1개의 화면(또는 일부의 통합된 화면)에 대해서, 소재 데이터에 근거하는 동영상의 작성 및 소재 데이터의 조작을 행하게 된다. 또한, 각 화면의 캐릭터가 일치하지 않는 경우에는(S407:NO), 화면을 분할한다(S409).
액션 정보의 액션이 전송 동영상을 종료시키는 것이 아니면(S410:NO), 단계 S402부터의 처리를 반복한다.
이상과 같이 해서, 제7 실시 형태의 동영상 전송 시스템은 전송 동영상을 스트리밍 서버(2)를 경유하여 시청자 단말(1)로 전송하는 동시에, 전송 동영상 재생 중에 각종 이벤트에 따라 재생중의 전송 동영상에 변경을 가할 수 있다. 따라서, 녹화가 끝난 영상을 이용하면서도, 시청자의 반응에 따라 전송 동영상에 여러 가지 전개를 추가하는 것이 가능해지고, 스트리밍 형식에서의 동영상 전송 방식에 따른 라이브 느낌을 해치는 일 없이 동영상을 전송하는 것이 가능해진다.
또한, 제7 실시 형태의 동영상 전송 시스템에서는 화면을 분할(전송 동영상의 표시를 분할)하고, 각 화면에 대해서, 대응하는 그룹에 소속하는 시청자만으로부터의 반응에 따라, 해당 화면에서의 동영상 전개를 변경할 수 있다. 각 화면에 대해서 상이한 그룹에 의해 동영상의 전개가 변화하기 때문에, 스토리에 의외성을 주는 것이 가능해진다.
도 66은 전송 동영상을 표시하는 화면(50)의 일례를 나타내는 도면이다. 화면(50)의 예에서는 전송 동영상(51)은 2개의 부분 동영상(52, 53)으로 분할되어 있다. 코멘트 표시란(54)에 나타내는 바와 같이, 시청자로부터는 코멘트가 투고된다. 시청자는 그룹마다 각 화면에 관련되어 시청자의 코멘트에 따라 해당 시청자가 소속하는 그룹에 대응하는 화면에 표시되는 동영상 데이터에 따른 소재 데이터에 액션이 적용된다. 이로써, 부분 동영상(52)과 부분 동영상(53)은 독립적이고, 각각의 대응하는 그룹에 소속하는 시청자의 코멘트에 따라 동영상의 전개가 변화하게 된다. 부분 동영상(52)과 부분 동영상(53)에서 독립 병행한 전개가 표시되게 되고, 새로운 전송 동영상의 시청 체험을 가져올 수 있다.
또한, 상술한 바와 같이, 부분 동영상(52)과 부분 동영상(53)에서 등장하는 캐릭터가 겹치는 경우에는 전송 동영상(51)의 분할은 해소되고, 1개의 동영상으로 표시되게 된다. 즉, 독립하여 전개되고 있던 스토리의 겹침이 있는 경우에는 화면은 통합하고, 독립되어 있는 경우에는 화면도 분할하게 된다. 이와 같이, 복수 캐릭터의 얽힘을 시청자로부터의 반응에 따라 변경할 수 있으므로, 예견 가능성이 낮은 스토리 전개를 연출하는 것이 가능하게 된다.
이상, 제7 실시 형태에 대해서 설명했지만, 상기 실시 형태는 본 발명의 이해를 용이하게 하기 위한 것으로, 본 발명을 한정하여 해석하기 위한 것은 아니다. 본 발명은 그 취지를 일탈하는 일 없이, 변경, 개량될 수 있음과 동시에, 본 발명에는 그 등가물도 포함된다.
예를 들면, 본 실시 형태에서는 전송자 장치(3)로부터 송출한 동영상은 스트리밍 서버(2)를 통해서 시청자 단말(1)로 전송되는 것으로 했지만, 전송자 장치(3)로부터 각 시청자 단말(1)로 직접 동영상을 전송하도록 할 수도 있다.
또한, 본 실시 형태에서는 동영상의 재생 도중이라고 해도 코멘트가 조건을 충족하면, 다음 부품 동영상 데이터로 천이하는(도 64의 단계 S426) 것으로 했지만, 현재 액션의 실행은 최후까지 간 후에, 다음 액션으로 실행하도록 해도 좋다.
또한, 본 실시 형태에서는 액션이 실행될 때마다 시청자를 그룹 나눔하는 것으로 했지만, 소재 데이터나 액션의 내용에 따라, 그룹 나눔을 할지 여부를 결정하도록 해도 좋다.
또한, 본 실시 형태에서는 동영상 전송부(311)는 복수의 동영상을 동시 표시되도록 합성함으로써 화면 분할을 실현하는 것으로 했지만, 예를 들어 시청자 단말(1)에서 화면을 분할하고, 동영상 전송부(311)로부터는 복수의 동영상을 시청자 단말(1)로 전송하여, 화면 분할을 실현하도록 해도 좋다.
1 시청자 단말
2 스트리밍 서버
3 전송자 장치
311 동영상 전송부
312 코멘트 취득부
313 전환 결정부
331 동영상 라이브러리
332 시나리오 기억부
333 조건 기억부
334 코멘트 기억부
==제2 실시 형태==
1 시청자 단말
2 스트리밍 서버
3 전송자 장치
311 동영상 전송부
312 이벤트 취득부
313 액션 처리부
331 소재 라이브러리
333 액션 기억부
334 이벤트 기억부
==제3 실시 형태==
1 시청자 단말
2 스트리밍 서버
3 전송자 장치
311 악곡 전송부
312 코멘트 취득부
313 전환 결정부
331 동영상 라이브러리
332 시나리오 기억부
333 조건 기억부
334 코멘트 기억부
==제4 실시 형태==
1 시청자 단말
2 스트리밍 서버
3 전송자 장치
311 동영상 전송부
312 코멘트 취득부
313 전환 결정부
331 동영상 라이브러리
332 시나리오 기억부
333 조건 기억부
334 코멘트 기억부
335 시청자 정보 기억부
==제5 실시 형태==
1 시청자 단말
2 스트리밍 서버
3 전송자 장치
311 동영상 전송부
312 이벤트 취득부
313 액션 처리부
331 소재 라이브러리
333 액션 기억부
334 이벤트 기억부
==제6 실시 형태==
1 시청자 단말
2 스트리밍 서버
3 전송자 장치
311 동영상 전송부
312 이벤트 취득부
313 액션 처리부
314 그룹 설정부
315 집계 출력부
316 인센티브 처리부
331 소재 라이브러리
333 액션 기억부
334 이벤트 기억부
335 그룹 조건 기억부
336 그룹 기억부
==제7 실시 형태==
1 시청자 단말
2 스트리밍 서버
3 전송자 장치
311 동영상 전송부
312 이벤트 취득부
313 액션 처리부
314 그룹 설정부
315 집계 출력부
316 인센티브 처리부
331 소재 라이브러리
333 액션 기억부
334 이벤트 기억부
335 그룹 조건 기억부
336 그룹 기억부

Claims (15)

  1. 복수의 동영상 데이터를 기억하는 동영상 라이브러리;
    상기 동영상 데이터를 전송하는 동영상 전송부;
    적어도 제1 상기 동영상 데이터 재생 중에 복수의 시청자로부터의 반응을 나타내는 반응 정보를 취득하는 반응 취득부; 및
    상기 반응 정보에 따라, 상기 제1 동영상 데이터의 다음에 전송하는 제2 상기 동영상 데이터를 결정하는 전환 결정부를 포함하는 동영상 전송 시스템.
  2. 제1항에 있어서,
    상기 동영상 전송부는 상기 시청자의 시청자 단말 각각에 대하여 상기 동영상 데이터를 전송하는 동영상 전송 서버에 대하여 상기 제1 동영상 데이터를 송출하고,
    복수의 상기 시청자 단말은 상기 시청자로부터 입력된 코멘트를 상기 동영상 전송 서버로 송신하고,
    상기 반응 취득부는 상기 동영상 전송 서버로부터 상기 코멘트를 상기 반응 정보로서 취득하고,
    상기 전환 결정부는 상기 코멘트에 포함되는 소정의 단어 수 또는 상기 소정의 단어를 포함하는 상기 코멘트를 투고한 상기 시청자 수에 따라 상기 제2 동영상 데이터를 결정하는 동영상 전송 시스템.
  3. 제1항에 있어서,
    상기 동영상 데이터마다, 다음에 전송하는 상기 동영상 데이터를 나타내는 정보를 기억하는 시나리오 기억부; 및
    상기 반응 정보에 대한 조건 및 다음에 전송하는 상기 동영상 데이터를 나타내는 정보를 기억하는 조건 기억부를 더 포함하고,
    상기 전환 결정부는 상기 반응 정보가 충족하는 상기 조건이 있는 경우에는 상기 반응 정보가 충족하는 상기 조건에 대응하는, 상기 제1 동영상 데이터의 다음에 전송하는 상기 동영상 데이터를 상기 제2 동영상 데이터로서 결정하고, 상기 반응 정보가 충족하는 상기 조건이 없는 경우에는 상기 시나리오 기억부로부터 상기 제1 동영상 데이터의 다음에 전송하는 상기 동영상 데이터를 상기 제2 동영상 데이터로서 결정하는 동영상 전송 시스템.
  4. 동영상을 생성하기 위한 소재 데이터를 기억하는 소재 라이브러리;
    상기 소재 데이터에 근거하여 상기 동영상을 송출하는 동영상 전송부;
    상기 동영상 재생 중에 상기 동영상의 시청자로부터의 반응을 나타내는 반응 정보를 취득하는 반응 취득부; 및
    상기 반응 정보에 따라, 상기 소재 데이터에 대한 조작을 행하는 액션 처리부를 포함하는 동영상 전송 시스템.
  5. 제4항에 있어서,
    상기 반응 취득부는 상기 동영상 전송 시스템에서 발생한 이벤트를 취득하고,
    상기 액션 처리부는 상기 이벤트에 따라 상기 소재 데이터에 대한 조작을 행하는 동영상 전송 시스템.
  6. 제4항에 있어서,
    상기 시청자로부터의 반응은 상기 시청자에 의한 기기의 조작, 상기 시청자로부터 입력된 음성 및 문자, 상기 시청자를 촬영한 영상, 상기 영상으로부터 해석한 상기 시청자의 자세, 시선 및 제스처, 및 상기 시청자의 신체 반응을 측정한 측정 데이터의 적어도 어느 하나를 포함하는 동영상 전송 시스템.
  7. 제4항에 있어서,
    상기 액션은 오브젝트의 출현, 이동 및 소실, 애니메이션의 개시 및 정지, 동영상의 재생 및 정지, 음성의 재생 및 정지, 및 상기 소재 데이터의 변경의 적어도 어느 하나를 포함하는 동영상 전송 시스템.
  8. 복수의 악곡 데이터를 기억하는 악곡 라이브러리;
    상기 악곡 데이터를 전송하는 악곡 전송부;
    적어도 제1 상기 악곡 데이터 재생 중에 복수의 시청자로부터의 반응을 나타내는 반응 정보를 취득하는 반응 취득부; 및
    상기 반응 정보에 따라, 상기 제1 악곡 데이터의 다음에 전송하는 제2 상기 악곡 데이터를 결정하는 전환 결정부를 포함하는 악곡 전송 시스템.
  9. 제8항에 있어서,
    상기 악곡 전송부는 상기 시청자의 시청자 단말에 대하여 상기 악곡 데이터를 전송하는 전송 서버에 대하여 상기 제1 악곡 데이터를 송출하고,
    복수의 상기 시청자 단말은 상기 시청자로부터 입력된 코멘트를 상기 전송 서버로 전송하고,
    상기 반응 취득부는 상기 전송 서버로부터 상기 코멘트를 상기 반응 정보로서 취득하고,
    상기 전환 결정부는 상기 코멘트에 포함되는 소정의 단어 수에 따라 상기 제2 악곡 데이터를 결정하는 악곡 전송 시스템.
  10. 제8항에 있어서,
    상기 악곡 데이터마다, 다음에 전송하는 상기 악곡 데이터를 나타내는 정보를 기억하는 시나리오 기억부; 및
    상기 반응 정보에 대한 조건 및 다음에 전송하는 상기 악곡 데이터를 나타내는 정보를 기억하는 조건 기억부를 더 포함하고,
    상기 전환 결정부는 상기 반응 정보가 충족하는 상기 조건이 있는 경우에는 상기 반응 정보가 충족하는 상기 조건에 대응하는, 상기 제1 악곡 데이터의 다음에 전송하는 상기 악곡 데이터를 상기 제2 악곡 데이터로서 결정하고, 상기 반응 정보가 충족하는 상기 조건이 없는 경우에는 상기 시나리오 기억부로부터 상기 제1 악곡 데이터의 다음에 전송하는 상기 악곡 데이터를 상기 제2 악곡 데이터로서 결정하는 악곡 전송 시스템.
  11. 복수의 동영상 데이터를 기억하는 동영상 라이브러리;
    상기 동영상 데이터를 전송하는 동영상 전송부;
    적어도 제1 상기 동영상 데이터 재생 중에 1명 또는 복수의 시청자로부터의 반응을 나타내는 반응 정보를 우선도에 근거하여 취득하는 반응 취득부; 및
    상기 반응 정보에 따라, 상기 제1 동영상 데이터의 다음에 전송하는 제2 상기 동영상 데이터를 결정하는 전환 결정부를 포함하는 동영상 전송 시스템.
  12. 제11항에 있어서,
    상기 동영상 전송부는 상기 시청자의 시청자 단말 각각에 대하여 상기 동영상 데이터를 전송하는 동영상 전송 서버에 대하여 상기 제1 동영상 데이터를 송출하고,
    하나 또는 복수의 상기 시청자 단말은 상기 시청자로부터 입력된 코멘트를 상기 동영상 전송 서버로 전송하고,
    상기 반응 취득부는 상기 동영상 전송 서버로부터 상기 코멘트를 상기 반응 정보로서 취득하고, 상기 전환 결정부는 상기 코멘트에 따라 상기 제2 동영상 데이터를 결정하는 동영상 전송 시스템.
  13. 제11항에 있어서,
    상기 동영상 데이터마다, 다음에 전송하는 상기 동영상 데이터를 나타내는 정보를 기억하는 시나리오 기억부; 및
    상기 반응 정보에 대한 조건 및 다음에 전송하는 상기 동영상 데이터를 나타내는 정보를 기억하는 조건 기억부를 더 포함하고,
    상기 전환 결정부는 상기 반응 정보가 충족하는 상기 반응 정보에 대한 조건이 있는 경우에는 상기 반응 정보가 충족하는 상기 조건에 대응하는, 상기 제1 동영상 데이터의 다음에 전송하는 상기 동영상 데이터를 상기 제2 동영상 데이터로서 결정하고, 상기 반응 정보가 충족하는 상기 조건이 없는 경우에는 상기 시나리오 기억부로부터 상기 제1 동영상 데이터의 다음에 전송하는 상기 동영상 데이터를 상기 제2 동영상 데이터로서 결정하는 동영상 전송 시스템.
  14. 제11항에 있어서,
    상기 우선도는 상기 시청자의 과금액을 기준으로 하는 동영상 전송 시스템.
  15. 제11항에 있어서,
    상기 우선도는 상기 시청자의 스테이터스 정보를 기준으로 하는 동영상 전송 시스템.
KR1020217023924A 2018-12-29 2019-12-26 동영상 전송 시스템 KR20210107831A (ko)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
JPJP-P-2018-248787 2018-12-29
JPJP-P-2018-248798 2018-12-29
JPJP-P-2018-248800 2018-12-29
JP2018248800A JP7376236B2 (ja) 2018-12-29 2018-12-29 楽曲配信システム
JP2018248787A JP7376235B2 (ja) 2018-12-29 2018-12-29 動画配信システム
JP2018248798A JP7486283B2 (ja) 2018-12-29 2018-12-29 動画配信システム
JP2019010753A JP2020120304A (ja) 2019-01-25 2019-01-25 動画配信システム
JP2019010752A JP7376238B2 (ja) 2019-01-25 2019-01-25 動画配信システム
JPJP-P-2019-010753 2019-01-25
JPJP-P-2019-010752 2019-01-25
JP2019091008A JP7289219B2 (ja) 2019-05-13 2019-05-13 動画配信システム
JP2019091010A JP2020188347A (ja) 2019-05-13 2019-05-13 動画配信システム
JPJP-P-2019-091008 2019-05-13
JPJP-P-2019-091010 2019-05-13
PCT/JP2019/051327 WO2020138375A1 (ja) 2018-12-29 2019-12-26 動画配信システム

Publications (1)

Publication Number Publication Date
KR20210107831A true KR20210107831A (ko) 2021-09-01

Family

ID=71129069

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217023924A KR20210107831A (ko) 2018-12-29 2019-12-26 동영상 전송 시스템

Country Status (4)

Country Link
US (1) US11843809B2 (ko)
KR (1) KR20210107831A (ko)
CN (1) CN113518979A (ko)
WO (1) WO2020138375A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5350728Y2 (ko) 1975-03-17 1978-12-05

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4107735A (en) * 1977-04-19 1978-08-15 R. D. Percy & Company Television audience survey system providing feedback of cumulative survey results to individual television viewers
JPS5869429A (ja) * 1981-10-16 1983-04-25 東京電力株式会社 直流送電設備の再起動方式
US20030093790A1 (en) * 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
US20020120925A1 (en) * 2000-03-28 2002-08-29 Logan James D. Audio and video program recording, editing and playback systems using metadata
US9189818B2 (en) * 2010-12-10 2015-11-17 Quib, Inc. Association of comments with screen locations during media content playback
JP2014082582A (ja) * 2012-10-15 2014-05-08 Nippon Hoso Kyokai <Nhk> 視聴装置、コンテンツ提供装置、視聴プログラム、及びコンテンツ提供プログラム
WO2016051620A1 (ja) * 2014-10-03 2016-04-07 株式会社電通 動画タグコメント表示制御装置および広告管理コンピュータ
US11164211B2 (en) * 2014-10-07 2021-11-02 Grandpad, Inc. System and method for enabling efficient digital marketing on portable wireless devices for parties with low capabilities
US9712587B1 (en) * 2014-12-01 2017-07-18 Google Inc. Identifying and rendering content relevant to a user's current mental state and context
CN107979127B (zh) * 2017-11-21 2021-11-02 深圳艾斯特创新科技有限公司 一种基于单线通信的智能电池实现多电池并联通信的方案
JP6426258B1 (ja) * 2017-11-27 2018-11-21 株式会社ドワンゴ サーバおよびプログラム
US10785538B2 (en) * 2018-10-03 2020-09-22 Comcast Cable Communications, Llc Prioritized content selection and delivery

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5350728Y2 (ko) 1975-03-17 1978-12-05

Also Published As

Publication number Publication date
US11843809B2 (en) 2023-12-12
WO2020138375A1 (ja) 2020-07-02
US20220070508A1 (en) 2022-03-03
CN113518979A (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
US9827497B2 (en) Information processing system relating to content distribution, storage medium for storing program directed thereto, and information processing device
CN102595212A (zh) 与多媒体内容的模拟组交互
CN108245891B (zh) 一种头戴式设备、游戏交互平台、桌游实现系统及方法
US20100188936A1 (en) Storage medium for storing program involved with content distribution and information processing device
CN111966275B (zh) 程序试用方法、系统、装置、设备及介质
JP2020166559A (ja) サーバシステムおよび動画配信システム
JP7325209B2 (ja) サーバシステム、プレイデータコミュニティシステムおよび制御方法
US9415302B2 (en) Storage medium for storing program capable of improving degree of freedom and effect of content provided by sponsor and information processing device
CN110413104A (zh) 程序、信息处理装置以及方法
CN112511850A (zh) 连麦方法、直播显示方法、装置、设备及存储介质
KR20180080012A (ko) 소셜 네트워크 서비스를 이용한 실감형 음악연주 컨텐츠 생성·공유 장치 및 방법
JP7486283B2 (ja) 動画配信システム
JP7429930B2 (ja) コンピュータプログラム、方法、及び、サーバ装置
CN114710709B (zh) 直播间虚拟礼物推荐方法及装置、存储介质、电子设备
KR20210107831A (ko) 동영상 전송 시스템
JP2020188346A (ja) 動画配信システム
US20210397334A1 (en) Data management and performance tracking system for walkable or interactive virtual reality
CN112755510A (zh) 一种移动端云游戏控制方法、系统和计算机可读存储介质
JP2020188347A (ja) 動画配信システム
US20240137599A1 (en) Terminal and non-transitory computer-readable medium
US20240007700A1 (en) Program, information processing method, and information processing device
US20230191252A1 (en) Method, computer readable medium, and information processing device
JP2020120304A (ja) 動画配信システム
KR20170086278A (ko) 전시회 홍보 키오스크의 전시회 홍보 서비스 제공방법
CN117316195A (zh) 剧情视频文件的编辑方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination