KR20170090417A - 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램 - Google Patents

정보 처리 장치 및 정보 처리 방법, 그리고 프로그램 Download PDF

Info

Publication number
KR20170090417A
KR20170090417A KR1020177013451A KR20177013451A KR20170090417A KR 20170090417 A KR20170090417 A KR 20170090417A KR 1020177013451 A KR1020177013451 A KR 1020177013451A KR 20177013451 A KR20177013451 A KR 20177013451A KR 20170090417 A KR20170090417 A KR 20170090417A
Authority
KR
South Korea
Prior art keywords
viewer
performer
information
effect
emotion
Prior art date
Application number
KR1020177013451A
Other languages
English (en)
Inventor
다카아키 나카가와
리오 야마사키
마사후미 가키사카
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20170090417A publication Critical patent/KR20170090417A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06K9/00885—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • G06K2009/00939—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 개시는, 출연자와 시청자의 일체감을 보다 높일 수 있는 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램에 관한 것이다. 정보 처리 장치는, 배신되는 동화상을 시청하는 시청자로부터 입력되는 특정한 시청자 정보를 취득하는 시청자 정보 취득부와, 동화상에 출연하는 출연자로부터 입력되는 특정한 출연자 정보를 취득하는 출연자 정보 취득부와, 시청자 정보 및 출연자 정보 중 적어도 한쪽에 기초하여 감정을 인식하는 감정 인식부와, 그 감정에 기초한 이펙트의 부가를 제어하는 제어부를 구비한다. 본 기술은, 예를 들어 동화상을 배신하는 배신 시스템에 적용할 수 있다.

Description

정보 처리 장치 및 정보 처리 방법, 그리고 프로그램{INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM}
본 개시는, 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램에 관한 것으로, 특히, 출연자와 시청자의 일체감을 보다 높일 수 있도록 한 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램에 관한 것이다.
최근 들어, 웹 카메라나 스마트 폰에 부속된 카메라 등을 사용하여, 자신이 촬영한 동화상을 인터넷 경유로 동화상 배신 사이트에 업로드하거나, 스트리밍 배신하거나 하는 것이 가능하게 되었다.
또한, 종래부터, 동화상의 배신을 행하는 출연자에 대해, 시청자로부터의 코멘트 등을 실시간으로 삽입함으로써, 출연자가 시청자의 피드백을 얻을 수 있는 배신 시스템이 운용되고 있다.
예를 들어, 특허문헌 1에는, 시청자로부터의 코멘트에 기초하여, 스테이지의 연출을 제어하는 스테이지 연출 시스템이 개시되어 있다. 또한, 특허문헌 2에는, 시청자로부터의 코멘트에 포함되는 특정 키워드를 추출하여, 그의 특정 키워드에 관련된 표시 방법으로 장식된 동화상을 표시하는 코멘트 배신 시스템이 개시되어 있다. 또한, 특허문헌 3에는, 출연자의 생체 정보 또는 감정 정보나 관중의 생체 정보 또는 감정 정보 등을 집약시켜, 장면 정보로서 구성하여 배신을 행함으로써, 일체감을 전달하는 통신 시스템이 개시되어 있다.
일본 특허 공개 제2013-37670호 공보 일본 특허 공개 제2014-212490호 공보 일본 특허 공개 제2005-303722호 공보
그러나, 상술한 바와 같은 배신 시스템보다도, 더욱 엔터테인먼트성을 향상시켜, 출연자와 시청자가 함께 고조되어, 보다 일체감을 높일 수 있는 배신 시스템이 요구되고 있었다.
본 개시는, 이러한 상황을 감안하여 이루어진 것으로, 출연자와 시청자의 일체감을 한층 높일 수 있도록 하는 것이다.
본 개시의 일측면의 정보 처리 장치는, 배신되는 동화상을 시청하는 시청자로부터 입력되는 특정의 시청자 정보를 취득하는 시청자 정보 취득부와, 상기 시청자 정보 취득부에 의해 취득된 상기 시청자 정보에 기초한 이펙트의 부가를 제어하는 제어부를 구비한다.
본 개시의 일측면의 정보 처리 방법 또는 프로그램은, 배신되는 동화상을 시청하는 시청자로부터 입력되는 특정한 시청자 정보를 취득하고, 취득된 상기 시청자 정보에 기초한 이펙트의 부가를 제어하는 스텝을 포함한다.
본 개시의 일측면에 있어서는, 배신된 동화상을 시청하는 시청자로부터 입력되는 특정의 시청자 정보가 취득되고, 그 시청자 정보에 기초하여 이펙트의 부가가 제어된다.
본 개시의 일측면에 의하면, 출연자와 시청자의 일체감을 보다 높일 수 있다.
도 1은 본 기술을 적용한 배신 시스템의 일 실시 형태의 구성예를 나타내는 블록도.
도 2는 출연자측 정보 처리 장치의 제1 구성예를 나타내는 블록도.
도 3은 시청자 감정 인식부가 감정을 인식할 때에 이용하는 감정 분류를 나타내는 도면.
도 4는 화상 처리부에 의한 화상 처리의 효과에 대해 설명하는 도면.
도 5는 화상 처리를 설명하는 흐름도.
도 6은 출연자측 정보 처리 장치의 제2 구성예를 나타내는 블록도.
도 7은 시청자의 소안도의 강도에 기초하여 배경 이펙트를 선택하는 예를 설명하는 도면.
도 8은 시청자 및 출연자의 심박수를 이용한 인터랙션을 설명하는 도면.
도 9는 본 기술을 적용한 컴퓨터의 일 실시 형태의 구성예를 나타내는 블록도.
이하, 본 기술을 적용한 구체적인 실시 형태에 대해, 도면을 참조하면서 상세하게 설명한다.
도 1은, 본 기술을 적용한 배신 시스템의 일 실시 형태의 구성예를 나타내는 블록도이다.
도 1에 도시된 바와 같이, 배신 시스템(11)은, 인터넷 등의 네트워크(12)를 통해, 출연자측 정보 처리 장치(13), 배신 서버(14) 및 N대(복수대)의 시청자측 정보 처리 장치(15-1 내지 15-N)가 접속되어 구성된다.
출연자측 정보 처리 장치(13)는, 도 2를 참조하여 후술하는 바와 같이, 네트워크(12)를 통해, 출연자를 촬상된 동화상을 순차적으로 배신 서버(14)에 송신한다.
배신 서버(14)는, 출연자측 정보 처리 장치(13)로부터 송신되어 오는 동화상을, 네트워크(12)를 통해 시청자측 정보 처리 장치(15-1 내지 15-N)에 배신한다. 이 때, 배신 서버(14)는, 예를 들어 배신된 동화상에 대해 시청자측 정보 처리 장치(15-1 내지 15-N)로부터 송신된 코멘트가 전달되도록 중첩되는 화상 처리를 실시하고, 그러한 화상 처리가 실시된 동화상을 배신할 수 있다.
시청자측 정보 처리 장치(15-1 내지 15-N)는, 네트워크(12)를 통해 배신 서버(14)로부터 배신되어 오는 동화상을 표시하여, 시청자에게 시청시킨다. 그리고, 시청자측 정보 처리 장치(15-1 내지 15-N)는, 각각의 시청자가 동화상에 응답하여 입력하는 코멘트 등을, 배신 서버(14)에 송신한다. 그리고, 그것들 코멘트는, 배신 서버(14)를 통해 출연자측 정보 처리 장치(13)에 송신된다.
이와 같이 구성된 배신 시스템(11)에 있어서, 출연자측 정보 처리 장치(13)는, 시청자가 동화상에 응답하여 입력하는 코멘트에 기초하여, 배신하는 동화상에 대한 이펙트(연출 효과)를 변경할 수 있다. 이에 의해, 동화상의 엔터테인먼트성을 향상시켜, 출연자와 시청자가 함께 분위기가 고조되는 배신을 행할 수 있다.
다음으로, 도 2는, 출연자측 정보 처리 장치(13)의 제1 구성예를 나타내는 블록도이다.
도 2에 도시된 바와 같이, 출연자측 정보 처리 장치(13)는, 통신부(21), 촬상부(22), 표시부(23), 기억부(24) 및 화상 처리부(25)를 구비하여 구성된다.
통신부(21)는, 도 1의 네트워크(12)를 통한 통신을 행해, 예를 들어 화상 처리부(25)에 있어서 화상 처리가 실시된 동화상을 배신 서버(14)에 송신한다. 또한, 통신부(21)는, 시청자측 정보 처리 장치(15-1 내지 15-N)로부터 송신된 코멘트를 시청자 입력 정보로서 취득하고, 화상 처리부(25)에 공급한다. 또한, 이하에서는 코멘트를 시청자 입력 정보로서 설명을 행하지만, 시청자 입력 정보로서는, 코멘트 등의 문자 정보 외에, 시청자의 음성 정보나 표정, 시청자측 정보 처리 장치(15)의 조작 장치에 비해 조작을 행하는 조작 횟수 또는 조작 속도(예를 들어, 키보드를 치는 횟수 또는 속도) 등을 사용할 수 있다.
촬상부(22)는, 예를 들어 촬상 소자나 광학 렌즈 등을 갖고 구성되어, 1명 또는 복수명의 출연자를 피사체로 하여 촬상된 동화상을 화상 처리부(25)에 공급한다. 또한, 촬상부(22)는, 촬상된 동화상을 표시부(23)에 공급하고, 화상 처리부(25)에 의한 화상 처리가 되지 않은 동화상을, 표시부(23)에 표시시킬 수 있다.
표시부(23)는, 예를 들어 액정 디스플레이나 유기 EL(Electro Luminescence) 디스플레이 등에 의해 구성되어, 화상 처리부(25)에 의해 화상 처리가 실시된 동화상이나, 촬상부(22)에 의해 촬상된 동화상 등을 표시한다. 또한, 표시부(23)는, 배신 서버(14)로부터 배신되는 동화상이 통신부(21)를 통해 공급되어, 배신 서버(14)에 있어서 화상 처리된(코멘트가 중첩된) 동화상을 표시할 수 있다.
기억부(24)는, 하드 디스크 드라이브나 반도체 메모리 등을 갖고 구성되어, 화상 처리부(25)가 화상 처리를 행할 때에 필요한 화상 등을 기억한다.
화상 처리부(25)는, 통신부(21)로부터 공급되는 시청자 입력 정보에 기초하여 시청자의 감정을 인식하고, 그 감정에 합치하는 특정한 이펙트를, 촬상부(22)에 의해 촬상된 동화상에 부가하는 화상 처리를 행한다. 그리고, 화상 처리부(25)는, 시청자의 감정에 합치된 특정한 이펙트가 부가된 동화상을, 표시부(23)에 공급하여 표시시킴과 함께, 통신부(21)를 통해 배신 서버(14)에 송신시킨다.
또한, 화상 처리부(25)는, 도 2에 도시된 바와 같이, 시청자 정보 취득부(31), 시청자 감정 인식부(32), 감정 이펙트 선택부(33), 배경 이펙트 묘화부(34) 및 안면 이펙트 묘화부(35)를 갖고 구성된다.
시청자 정보 취득부(31)는, 통신부(21)로부터 공급되는 시청자측 정보 처리 장치(15-1 내지 15-N)로부터의 코멘트를 시청자 정보로서 취득하고, 시청자 감정 인식부(32)에 공급한다.
시청자 감정 인식부(32)는, 시청자 정보 취득부(31)로부터 공급되는 시청자 정보에 기초하여, 시청자의 감정 인식을 행한다. 예를 들어, 시청자 감정 인식부(32)는, 도 3에 도시된 바와 같이 다양한 감정이 분류된 감정 분류(러셀의 감정원환 모델)에 따라, 시청자의 감정을 인식할 수 있다.
예를 들어, 시청자 감정 인식부(32)는, 시청자 정보로서 사용될 것으로 상정되는 다수의 코멘트를 미리 준비해 두고, 그것들 코멘트에 대해, 각성의 정도의 고 및 저를 나타내는 레벨, 그리고 감정의 쾌 및 불쾌를 나타내는 레벨을 대응지어 둔다. 그리고, 시청자 감정 인식부(32)는, 시청자 정보 취득부(31)로부터 공급되는 코멘트에 대응지어져 있는 각성의 정도의 고 및 저를 나타내는 레벨, 그리고 감정의 쾌 및 불쾌를 나타내는 레벨을 따라서 코멘트의 분포를 구하고, 소정의 규정값 이상의 수의 코멘트가 분포된 위치에 분류되어 있는 감정을, 시청자의 감정으로서 인식한다.
감정 이펙트 선택부(33)는, 기억부(24)에 기억되어 있는 복수의 감정 이펙트 중에서, 시청자 감정 인식부(32)에 의해 인식된 시청자의 감정에 따른 감정 이펙트를 선택하고, 동화상에 대한 이펙트의 부가를 제어한다. 예를 들어, 기억부(24)에는, 시청자 감정 인식부(32)에서 인식되는 감정과, 그 감정에 합치한 효과를 부여하는 화상인 감정 이펙트가 대응지어져 있어, 감정 이펙트 선택부(33)는, 그 대응 관계에 따라서 감정 이펙트를 선택할 수 있다.
또한, 감정 이펙트에는, 동화상에 묘사되어 있는 출연자의 배경에 표시되는 배경 이펙트와, 동화상에 묘사되어 있는 시청자의 얼굴에 중첩되어 표시되는 안면 이펙트가 있다. 그래서, 감정 이펙트 선택부(33)는, 시청자 감정 인식부(32)에 의해 인식된 시청자의 감정에 따라 선택된 배경 이펙트를 배경 이펙트 묘화부(34)에 공급하고, 마찬가지로 선택된 안면 이펙트를 안면 이펙트 묘화부(35)에 공급한다.
배경 이펙트 묘화부(34)는, 촬상부(22)에 의해 촬상된 동화상에 묘사되어 있는 출연자를 잘라 내고, 그 출연자의 배면에 감정 이펙트 선택부(33)로부터 공급되는 배경 이펙트를 합성한 동화상을 묘화하는 화상 처리를 행한다. 이어서, 배경 이펙트 묘화부(34)는, 출연자의 배면에 배경 이펙트가 합성된 동화상을 안면 이펙트 묘화부(35)에 공급한다.
안면 이펙트 묘화부(35)는, 배경 이펙트 묘화부(34)로부터 공급되는 동화상에 묘사되어 있는 출연자의 얼굴을 인식하는 얼굴 인식 처리를 행하고, 그 얼굴의 위치 및 크기에 따라, 감정 이펙트 선택부(33)로부터 공급되는 안면 이펙트의 위치 및 크기를 조정한다. 또한, 안면 이펙트 묘화부(35)는, 위치 및 크기를 조정한 안면 이펙트를, 배경 이펙트 묘화부(34)로부터의 동화상의 전방면에 합성한 동화상을 묘화하는 화상 처리를 행한다. 그리고, 안면 이펙트 묘화부(35)는, 출연자의 배면에 배경 이펙트가 합성됨과 함께, 출연자의 얼굴의 전방면에 안면 이펙트가 합성된 동화상을, 표시부(23)에 공급하여 표시시킴과 함께, 통신부(21)를 통해 배신 서버(14)에 송신시킨다.
이상과 같이 출연자측 정보 처리 장치(13)는 구성되어 있고, 시청자의 감정에 합치한 감정 이펙트를 선택할 수 있으므로, 출연자와 시청자의 일체감을 보다 높일 수 있다.
구체적으로는, 배신 시스템(11)은, 도 4의 좌측에 도시된 바와 같은 종래의 동화상, 즉, 시청자로부터의 코멘트가 지나가듯이 중첩되는 동화상이 아니고, 도 4의 우측에 도시된 바와 같은 동화상, 즉, 다수의 칭찬 코멘트에 기초하여 인식된 시청자의 감정에 합치한 배경 이펙트(불꽃이 타오르는 화상)가 묘화된 동화상을 배신할 수 있다. 이와 같이, 시청자의 감정을 동화상에 반영시킴으로써, 출연자와 시청자의 일체감을 보다 높일 수 있다.
다음에, 도 5는, 화상 처리부(25)에 있어서 행해지는 화상 처리를 설명하는 흐름도이다.
예를 들어, 출연자측 정보 처리 장치(13)로부터 동화상의 배신을 개시하도록 출연자가 조작을 행하면 처리가 개시된다. 스텝 S11에 있어서, 시청자 정보 취득부(31)는, 통신부(21)로부터 공급되는 시청자측 정보 처리 장치(15-1 내지 15-N)로부터의 코멘트를 시청자 정보로서 취득하고, 시청자 감정 인식부(32)에 공급한다.
스텝 S12에 있어서, 시청자 감정 인식부(32)는, 스텝 S11에서 시청자 정보 취득부(31)로부터 공급되는 시청자 정보에 기초하여 시청자의 감정 인식을 행한다.
스텝 S13에 있어서, 시청자 감정 인식부(32)는, 스텝 S12에서 인식된 어느 하나의 감정으로 분류되는 코멘트의 수가 규정값 이상이 되었는지의 여부를 판정한다. 스텝 S13에 있어서, 시청자 감정 인식부(32)가, 어느 하나의 감정으로 분류되는 코멘트의 수도 규정값 이상이 되지 않았다고 판정한 경우, 처리는 스텝 S11로 복귀해서 이하, 마찬가지의 처리가 반복된다.
한편, 시청자 감정 인식부(32)가, 어느 감정으로 분류되는 코멘트의 수가 규정값 이상이 되었다고 판정한 경우, 처리는 스텝 S14로 진행된다. 이 경우, 시청자 감정 인식부(32)는, 그 규정값 이상이 된 감정을 시청자의 감정으로서 인식하고, 시청자의 감정을 감정 이펙트 선택부(33)에 공급한다.
스텝 S14에 있어서, 감정 이펙트 선택부(33)는, 기억부(24)에 기억되어 있는 복수의 감정 이펙트 중에서 시청자 감정 인식부(32)에 의해 인식된 시청자의 감정에 따른 감정 이펙트를 선택한다. 그리고, 감정 이펙트 선택부(33)는, 선택한 감정 이펙트의 배경 이펙트를 배경 이펙트 묘화부(34)에 공급함과 함께, 안면 이펙트를 안면 이펙트 묘화부(35)에 공급한다.
스텝 S15에 있어서, 배경 이펙트 묘화부(34)는, 스텝 S14에서 감정 이펙트 선택부(33)로부터 공급된 배경 이펙트가, 촬상부(22)에 의해 촬상된 출연자의 배면에 합성된 동화상을 묘화하여 안면 이펙트 묘화부(35)에 공급한다.
스텝 S16에 있어서, 안면 이펙트 묘화부(35)는, 스텝 S14에서 감정 이펙트 선택부(33)로부터 공급된 안면 이펙트가, 스텝 S15에서 배경 이펙트 묘화부(34)로부터 공급된 동화상의 얼굴의 전방면에 합성된 동화상을 묘화한다. 그리고, 안면 이펙트 묘화부(35)는, 그 동화상을 표시부(23)에 공급하여 표시시킴과 함께, 통신부(21)를 통해 배신 서버(14)에 송신시킨 후, 처리는 스텝 S11로 복귀하여, 이하, 마찬가지의 처리가 반복된다.
이어서, 도 6은, 출연자측 정보 처리 장치(13)의 제2 구성예를 나타내는 블록도이다.
도 6에 나타내는 출연자측 정보 처리 장치(13A)에 있어서, 도 2의 출연자측 정보 처리 장치(13)와 공통되는 구성에 대해서는, 동일한 부호를 부여하고, 그 상세한 설명은 생략한다. 즉, 출연자측 정보 처리 장치(13A)는, 통신부(21), 촬상부(22), 표시부(23) 및 기억부(24)를 구비하는 점에서, 도 2의 출연자측 정보 처리 장치(13)와 공통된다.
그리고, 출연자측 정보 처리 장치(13A)는, 입력부(26)를 구비함과 함께, 화상 처리부(25A)가, 시청자 정보 취득부(31), 시청자 감정 인식부(32), 감정 이펙트 선택부(33), 배경 이펙트 묘화부(34) 및 안면 이펙트 묘화부(35) 외에도, 출연자 감정 인식부(36)를 갖는다는 점에서, 도 2의 출연자측 정보 처리 장치(13)와 다른 구성으로 되어 있다.
입력부(26)는, 예를 들어 키보드나 마이크, 촬상 장치 등에 의해 구성되어, 출연자가 입력하는 코멘트, 출연자가 말하는 음성 및 출연자의 표정 등을, 출연자 정보로서 취득하고, 화상 처리부(25A)의 출연자 감정 인식부(36)에 공급한다.
출연자 감정 인식부(36)는, 입력부(26)로부터 공급되는 출연자 정보에 기초하여, 출연자의 감정을 인식하고, 감정 이펙트 선택부(33)에 공급한다.
이와 같이 구성되는 출연자측 정보 처리 장치(13A)에서는, 감정 이펙트 선택부(33)는, 시청자의 감정 및 출연자의 감정의 양쪽에 기초하여, 감정 이펙트를 선택할 수 있다. 따라서, 예를 들어 감정 이펙트 선택부(33)는, 시청자의 감정 및 출연자의 감정이 일치했을 때에, 보다 연출의 정도가 큰 감정 이펙트를 선택할 수 있다. 이에 의해, 출연자와 시청자의 일체감을 더욱 높일 수 있다. 또한, 감정 이펙트 선택부(33)는, 출연자의 감정에만 기초하여 감정 이펙트를 선택해도 된다.
또한, 출연자측 정보 처리 장치(13A)는, 출연자의 감정을 이용하기 때문에, 예를 들어 출연자가 고조되기를 원하지 않을 때에, 시청자가 놀림으로 입력한 코멘트에 대해서는, 출연자의 감정과 일치하지 않기 때문에, 시청자의 감정이 반영되는 것을 회피할 수 있다. 즉, 시청자의 감정만으로 감정 이펙트를 선택하는 경우에는, 시청자가 놀림으로 입력한 코멘트로도, 고조되는 효과를 부여하는 감정 이펙트가 선택되어 버리는 경우가 있고, 인터랙티브하게 흥분이나 감정을 나타내기 어려운 경우가 있었다.
구체적으로는, 출연자가 노래를 부르고 있을 때에, 그 노래의 후렴구 이전이나 도중에 박수의 코멘트를 시청자가 입력하면 「놀림」이 되어 버린다. 이에 반하여, 출연자가 후렴구를 노래하는 것을 끝낸 직후에 박수의 코멘트를 시청자가 입력하면 「감동」을 나타내는 것이 된다. 이와 같이, 출연자로부터의 입력(노래의 경우에는 음성)에 기초하여 출연자의 상태를 인식함으로써, 그 장면에 보다 합치된 효과를 부여하는 감정 이펙트를 선택할 수 있다.
또한, 출연자측 정보 처리 장치(13A)는, 예를 들어 출연자의 흥분도를 나타내는 감정 및 표정이 입력되어, 그 감정 및 표정이 고조되는 경과에 대응하고, 시청자로부터의 코멘트가 입력되었는지 여부를 판단함으로써, 그 장면의 연출을 더욱 고조시킬 수 있다.
또한, 시청자 정보로서는, 코멘트 외에, 예를 들어 시청자의 음성이나 음압, 심박수, 표정 등을 사용할 수 있고, 그것들 복수 종류의 시청자 정보에 기초하여, 시청자의 감정을 정확하게 추정할 수 있다. 또한, 복수의 사람에 대한 시청자 정보에 기초하여, 동화상에 대한 전체 적인 시청자의 감정을 추정할 수 있다.
예를 들어, 도 7을 참조하여, 출연자측 정보 처리 장치(13)에 있어서, 시청자의 소안도의 강도에 기초하여 배경 이펙트를 선택하는 예에 대해 설명한다.
예를 들어, 배신 시스템(11)에서는, 시청자측 정보 처리 장치(15-1 내지 15-N)가 구비하는 촬상 장치에 의해 시청자를 촬상하여 구해지는 시청자의 소안도를 송신할 수 있다. 그리고, 출연자측 정보 처리 장치(13)에서는, 시청자 정보 취득부(31)가 시청자측 정보 처리 장치(15-1 내지 15-N)로부터 송신되어 오는 소안도를 시청자 정보로서 취득하고, 감정 이펙트 선택부(33)는, 시청자의 소안도의 강도에 기초하여 배경 이펙트를 선택한다.
구체적으로는, 감정 이펙트 선택부(33)는, 시청자의 소안도의 강도에 따른 판단을 행한다. 예를 들어, 도 7에 도시된 바와 같이, 출연자가 동일한 우스꽝스러운 얼굴을 하더라도, 시청자의 소안도의 강도가 큰 경우에는 장면이 고조되는 배경 이펙트가 선택되고, 시청자의 소안도의 강도가 작은 경우에는 장면이 퇴색되는 배경 이펙트가 선택된다. 또한, 감정 이펙트 선택부(33)는, 시청자의 소안도의 강도에 따른 연출 문자를 표시시켜도 되고, 시청자의 소안도의 강도가 큰 경우에는 장면이 고조되는 연출 문자를 표시시키고, 시청자의 소안도의 강도가 작은 경우에는 장면이 퇴색되는 연출 문자를 표시시킨다.
이와 같이, 출연자측 정보 처리 장치(13)에서는, 시청자의 감정을 인식할 뿐만 아니라, 소안도의 강도에 기초하여, 보다 최적의 배경 이펙트를 선택할 수 있다. 또한, 소안도의 강도 외에, 소안도의 지속 시간이나, 소안인 시청자의 인원수, 웃음 소리의 크기, 소안도와 함께 공급되는 코멘트 등을 소안도의 판단에 사용해도 된다. 예를 들어, 시청자 정보에, 시청자가 소안인 것을 나타내는 정보가 포함되어 있는 경우, 감정 이펙트 선택부(33)는, 그 정보에 기초하여 시청자가 소안인 시간이 긴 경우에는, 더 즐거워하는 효과가 있는 이펙트를 선택할 수 있다. 또한, 출연자측 정보 처리 장치(13)에서는, 예를 들어 보다 돌발적인 웃음이나 대폭소 등의 웃음의 질에 따라, 배경 이펙트의 연출을 변경할 수 있다.
다음에, 도 8을 참조하여, 출연자측 정보 처리 장치(13A)에 있어서, 시청자 및 출연자의 심박수를 이용한 인터랙션에 대해 설명한다.
예를 들어, 배신 시스템(11)에서는, 시청자측 정보 처리 장치(15-1 내지 15-N)가 구비하는 심박 센서에 의해 시청자의 심박수를 취득하여 송신할 수 있다. 마찬가지로, 출연자측 정보 처리 장치(13A)는, 입력부(26)(예를 들어, 암 밴드형이나 귀 클립형의 심박계)에 의해 출연자의 심박도를 취득할 수 있다. 또한, 예를 들어 촬상 장치에 의해 시청자 또는 출연자를 촬상하여, 그 화상으로부터 심박수를 구할 수 있다.
도 8에는, 출연자가 플레이하고 있는 게임 화면이 배신되는 예가 나타나 있고, 게임 화면의 좌측 하단에 출연자의 아바타가 표시되고, 게임 화면의 좌측 상단에 심박수에 기초한 미터가 표시되어 있다. 이 미터는, 시청자의 심박수와 출연자의 심박수의 양쪽에 기초하고 있어, 그것들의 변화의 일치도가 높아지면, 보다 공감하고 있는 것을 나타내는 이펙트가 표시된다.
예를 들어, 출연자와 시청자의 흥분도 및 공감도가 규정값 이상인 경우에는, 미터에 표시되는 박동 마크가 크게 진동하는 이펙트가 된다. 또한, 게임의 조작과 연동하도록 설정되어 있는 경우에는, 출연자와 시청자의 흥분도 및 공감도가 규정값 이상으로 되었을 때에 필살기를 발생시킬 수 있다. 또한, 게임 화면의 좌측 하단에 표시되는 출연자의 아바타에 변화를 발생시켜도 된다.
이와 같이, 출연자측 정보 처리 장치(13A)에서는, 출연자 및 시청자의 감정을 인식할 뿐만 아니라, 심박수로부터 구해지는 출연자와 시청자의 흥분도 및 공감도에 기초하여, 출연자와 시청자의 인터랙티브성을 보다 높일 수 있다. 또한. 시청자의 심박수 외에, 얼굴 화상이나 음성, 음압, 버튼의 연타 등을 시청자 정보로서 이용해도 되고, 그들로부터 흥분도를 취득할 수 있다.
또한, 상술한 실시 형태에서는, 동화상에 묘화되는 이펙트에 대해 설명을 행했지만, 화상적인 이펙트 외에, 출연자측 정보 처리 장치(13A)는, 예를 들어 출연자 및 시청자의 감정에 기초한 효과음을 동화상과 함께 배신해도 되고, 여러 종류의 이펙트를 부가할 수 있다. 또한, 출연자측 정보 처리 장치(13A)는, 출연자 및 시청자의 감정에 기초한 오브젝트(예를 들어, 스탬프나 말 풍선 등)를 동화상에 표시해도 된다. 이들 오브젝트에 의한 이펙트는, 출연자와 배경의 구별없이 부가할 수 있고, 예를 들어 출연자의 얼굴 이외의 부분에 있어서의 전방면에 합성할 수 있다. 또한, 출연자측 정보 처리 장치(13A)는, 예를 들어 시청자의 각성 정도를 나타내는 레벨이 저하된 경우나, 시청자의 감정의 불쾌를 나타내는 레벨이 상승한 경우에는, 동화상의 배신을 강제적으로 종료시켜도 된다.
또한, 출연자측 정보 처리 장치(13)는, 시청자의 감정 뿐만 아니라, 시청자의 수에 따라 동화상에 묘화되는 이펙트를 변경해도 되고, 시청자의 수가 고정수 이상인 경우에, 보다 화려한 이펙트로 변경하거나, 시청자의 수가 극단적으로 적은 경우에, 이펙트를 삭제하거나 할 수 있다.
또한, 출연자측 정보 처리 장치(13)는, 복수의 시청자로부터 특정한 시청자 정보가 입력되는 횟수에 따라, 예를 들어 「웃음」이나 「박수 소리」를 의미하는 특정한 코멘트가 입력되는 횟수에 따라, 특정한 이펙트를 부가하거나, 부가되어 있는 이펙트의 변경을 행하거나, 부가되어 있는 이펙트를 삭제하거나 할 수 있다. 또한, 출연자측 정보 처리 장치(13A)는, 보다 활발하게 시청자 정보를 입력하는 시청자에게만 특별한 이펙트가 묘화된 동화상을 배신하도록 해도 된다. 즉, 모든 시청자에게 동일한 동화상을 배신하는 것이 아니라, 시청자의 리액션에 따라 시청자마다 배신되는 동화상의 이펙트를 변경할 수 있다.
또한, 본 실시 형태에 있어서는, 출연자측 정보 처리 장치(13)에 있어서 이펙트를 부가하는 처리를 행하는 예에 대해 설명했지만, 예를 들어 출연자측 정보 처리 장치(13)는, 출연자의 동화상을 송신하는 처리만을 행하고, 배신 서버(14)에 있어서, 시청자 정보에 기초하여 이펙트를 부가하는 처리를 행해도 된다. 또는 출연자측 정보 처리 장치(13) 및 배신 서버(14)에서 처리를 분담할 수 있다.
또한, 상술한 흐름도를 참조하여 설명한 각 처리는, 반드시 흐름도로 기재된 순서를 따라서 시계열로 처리할 필요는 없고, 병렬적 혹은 개별로 실행되는 처리(예를 들어, 병렬 처리 혹은 오브젝트에 의한 처리)도 포함하는 것이다. 또한, 프로그램은, 하나의 CPU에 의해 처리되는 것이어도 되고, 복수의 CPU에 의해 분산 처리되는 것이어도 된다.
또한, 상술한 일련의 처리(정보 처리 방법)는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용 하드웨어에 내장되어 있는 컴퓨터 또는 각종 프로그램을 인스톨함으로써, 각종의 기능을 실행하는 것이 가능한, 예를 들어 범용 퍼스널 컴퓨터 등에, 프로그램이 기록된 프로그램 기록 매체로부터 인스톨된다.
도 9는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터 하드웨어의 구성예를 나타내는 블록도이다.
컴퓨터에 있어서, CPU(Central Processing Unit)(101), ROM(Read Only Memory)(102), RAM(Random Access Memory)(103)은, 버스(104)에 의해 서로 접속되어 있다.
버스(104)에는, 입출력 인터페이스(105)가 더 접속되어 있다. 입출력 인터페이스(105)에는, 키보드, 마우스, 마이크로 폰 등으로 이루어지는 입력부(106), 디스플레이, 스피커 등으로 이루어지는 출력부(107), 하드 디스크나 불휘발성이 메모리 등으로 이루어지는 기억부(108), 네트워크 인터페이스 등으로 이루어지는 통신부(109), 자기 디스크, 광 디스크, 광 자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(111)를 구동하는 드라이브(110)가 접속되어 있다.
이상과 같이 구성되는 컴퓨터에서는, CPU(101)가, 예를 들어 기억부(108)에 기억되어 있는 프로그램을, 입출력 인터페이스(105) 및 버스(104)를 통해, RAM(103)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(CPU(101))에 의해 실행되는 프로그램은, 예를 들어 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc) 등), 광 자기 디스크, 혹은 반도체 메모리 등으로 이루어지는 패키지 미디어인 리무버블 미디어(111)에 기록하고, 혹은, 로컬 에리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통해 제공된다.
그리고, 프로그램은, 리무버블 미디어(111)를 드라이브(110)에 장착함으로써, 입출력 인터페이스(105)를 통해, 기억부(108)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통해, 통신부(109)에서 수신하고, 기억부(108)에 인스톨할 수 있다. 기타, 프로그램은, ROM(102)이나 기억부(108)에, 미리 인스톨해 둘 수 있다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1) 배신되는 동화상을 시청하는 시청자로부터 입력되는 특정한 시청자 정보를 취득하는 시청자 정보 취득부와,
상기 시청자 정보 취득부에 의해 취득된 상기 시청자 정보에 기초한 이펙트의 부가를 제어하는 제어부를 구비하는, 정보 처리 장치.
(2) 상기 동화상에 출연하는 출연자로부터의 출연자 정보를 취득하는 출연자 정보 취득부를 더 구비하는 상기 (1)에 기재된 정보 처리 장치.
(3) 상기 시청자 정보 및 상기 출연자 정보의 적어도 하나에 기초하여 감정을 인식하는 감정 인식부를 더 구비하는 상기 (2)에 기재된 정보 처리 장치.
(4) 상기 제어부는, 상기 감정 인식부에 의해 인식된 상기 시청자의 감정 또는 상기 출연자의 감정에 기초하여, 상기 이펙트를 선택하는 상기 (3)에 기재된 정보 처리 장치.
(5) 상기 제어부는, 상기 감정 인식부에 의해 인식된 상기 시청자의 감정과, 상기 출연자의 감정의 양쪽에 기초하여, 상기 이펙트를 선택하는 상기 (3)에 기재된 정보 처리 장치.
(6) 상기 제어부에 의해 선택되는 상기 이펙트는, 상기 출연자의 배면에 합성하는 이펙트, 상기 출연자와 배경의 구별없이 부가하는 이펙트, 상기 출연자의 얼굴의 전방면에 합성하는 이펙트 및 상기 출연자의 전방면에 합성하는 이펙트 중 적어도 하나가 포함되는 상기 (1)부터 (5)까지의 어느 것에 기재된 정보 처리 장치.
(7) 상기 시청자 정보에는, 상기 시청자가 입력한 코멘트, 상기 시청자의 표정, 상기 시청자가 말하는 음성 정보 및 상기 시청자가 소정의 조작 장치에 대해 조작을 행하는 조작 속도 또는 조작 횟수 중 적어도 어느 하나가 포함되는 상기 (1)부터 (6)까지의 어느 것에 기재된 정보 처리 장치.
(8) 상기 시청자 정보에는, 상기 시청자의 소안의 강도가 포함되어 있고,
상기 제어부는, 상기 시청자의 소안의 강도에 따라 상기 이펙트의 부가를 제어하는 상기 (1)부터 (7)까지의 어느 것에 기재된 정보 처리 장치.
(9) 상기 시청자 정보에는, 상기 시청자가 소안인 것을 나타내는 정보가 포함되어 있고,
상기 제어부는, 상기 시청자가 소안인 시간에 따라 상기 이펙트의 부가를 제어하는
상기 (1)부터 (8)까지의 어느 것에 기재된 정보 처리 장치.
(10) 상기 제어부는, 복수명의 상기 시청자로부터의 상기 시청자 정보에 기초하여, 상기 이펙트의 부가를 제어하는
상기 (1)부터 (9)까지의 어느 것에 기재된 정보 처리 장치.
(11) 상기 제어부는, 복수명의 상기 시청자로부터 특정한 상기 시청자 정보가 입력된 수에 따라, 상기 이펙트를 부가하고, 부가한 상기 이펙트의 변경 또는 삭제를 제어하는 상기 (10)에 기재된 정보 처리 장치.
(12) 상기 시청자 정보에는, 상기 시청자의 심박수가 포함됨과 함께,
상기 출연자 정보에는, 상기 출연자의 심박수가 포함되어 있고,
상기 제어부는, 상기 시청자의 심박수와 상기 출연자의 심박수의 양쪽에 기초하여, 상기 이펙트의 부가를 제어하는
상기 (1)부터 (11)까지의 어느 것에 기재된 정보 처리 장치.
(13) 배신되는 동화상을 시청하는 시청자로부터 입력되는 특정한 시청자 정보를 취득하고,
취득된 상기 시청자 정보에 기초한 이펙트의 부가를 제어하는
스텝을 포함하는 정보 처리 방법.
(14) 배신되는 동화상을 시청하는 시청자로부터 입력되는 특정한 시청자 정보를 취득하고,
취득된 상기 시청자 정보에 기초한 이펙트의 부가를 제어하는 스텝을 포함하는 정보 처리를 컴퓨터에 실행시키는 프로그램.
또한, 본 실시 형태는, 상술한 실시 형태에 한정되는 것이 아니고, 본 개시의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
11: 배신 시스템
12: 네트워크
13: 출연자측 정보 처리 장치
14: 배신 서버
15-1 내지 15-N: 시청자측 정보 처리 장치
21: 통신부
22: 촬상부
23: 표시부
24: 기억부
25: 화상 처리부
26: 입력부
31: 시청자 정보 취득부
32: 시청자 감정 인식부
33: 감정 이펙트 선택부
34: 배경 이펙트 묘화부
35: 안면 이펙트 묘화부
36: 출연자 감정 인식부

Claims (14)

  1. 배신되는 동화상을 시청하는 시청자로부터 입력되는 특정한 시청자 정보를 취득하는 시청자 정보 취득부와,
    상기 시청자 정보 취득부에 의해 취득된 상기 시청자 정보에 기초한 이펙트의 부가를 제어하는 제어부를 구비하는, 정보 처리 장치.
  2. 제1항에 있어서,
    상기 동화상에 출연하는 출연자로부터의 출연자 정보를 취득하는 출연자 정보 취득부를 더 구비하는, 정보 처리 장치.
  3. 제2항에 있어서,
    상기 시청자 정보 및 상기 출연자 정보의 적어도 하나에 기초하여 감정을 인식하는 감정 인식부를 더 구비하는, 정보 처리 장치.
  4. 제3항에 있어서,
    상기 제어부는, 상기 감정 인식부에 의해 인식된 상기 시청자의 감정 또는 상기 출연자의 감정에 기초하여, 상기 이펙트를 선택하는, 정보 처리 장치.
  5. 제3항에 있어서,
    상기 제어부는, 상기 감정 인식부에 의해 인식된 상기 시청자의 감정과, 상기 출연자의 감정의 양쪽에 기초하여, 상기 이펙트를 선택하는, 정보 처리 장치.
  6. 제1항에 있어서,
    상기 제어부에 의해 선택되는 상기 이펙트는, 상기 출연자의 배면에 합성하는 이펙트, 상기 출연자와 배경의 구별없이 부가하는 이펙트, 상기 출연자의 얼굴의 전방면에 합성하는 이펙트 및 상기 출연자의 전방면에 합성하는 이펙트 중 적어도 하나가 포함되는, 정보 처리 장치.
  7. 제1항에 있어서,
    상기 시청자 정보에는, 상기 시청자가 입력한 코멘트, 상기 시청자의 표정, 상기 시청자가 말하는 음성 정보 및 상기 시청자가 소정의 조작 장치에 대해 조작을 행하는 조작 속도 또는 조작 횟수 중 적어도 어느 하나가 포함되는, 정보 처리 장치.
  8. 제1항에 있어서,
    상기 시청자 정보에는, 상기 시청자의 소안의 강도가 포함되어 있고,
    상기 제어부는, 상기 시청자의 소안의 강도에 따라 상기 이펙트의 부가를 제어하는, 정보 처리 장치.
  9. 제1항에 있어서,
    상기 시청자 정보에는, 상기 시청자가 소안인 것을 나타내는 정보가 포함되어 있고,
    상기 제어부는, 상기 시청자가 소안인 시간에 따라 상기 이펙트의 부가를 제어하는, 정보 처리 장치.
  10. 제1항에 있어서,
    상기 제어부는, 복수명의 상기 시청자로부터의 상기 시청자 정보에 기초하여, 상기 이펙트의 부가를 제어하는, 정보 처리 장치.
  11. 제10항에 있어서,
    상기 제어부는, 복수명의 상기 시청자로부터 특정한 상기 시청자 정보가 입력된 수에 따라, 상기 이펙트를 부가하고, 부가한 상기 이펙트의 변경 또는 삭제를 제어하는, 정보 처리 장치.
  12. 제1항에 있어서,
    상기 시청자 정보에는, 상기 시청자의 심박수가 포함됨과 함께,
    상기 출연자 정보에는, 상기 출연자의 심박수가 포함되어 있고,
    상기 제어부는, 상기 시청자의 심박수와 상기 출연자의 심박수의 양쪽에 기초하여, 상기 이펙트의 부가를 제어하는, 정보 처리 장치.
  13. 배신되는 동화상을 시청하는 시청자로부터 입력되는 특정한 시청자 정보를 취득하고,
    취득된 상기 시청자 정보에 기초한 이펙트의 부가를 제어하는
    스텝을 포함하는, 정보 처리 방법.
  14. 배신되는 동화상을 시청하는 시청자로부터 입력되는 특정한 시청자 정보를 취득하고,
    취득된 상기 시청자 정보에 기초한 이펙트의 부가를 제어하는
    스텝을 포함하는 정보 처리를 컴퓨터에 실행시키는, 프로그램.
KR1020177013451A 2014-12-03 2015-11-19 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램 KR20170090417A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2014-245311 2014-12-03
JP2014245311 2014-12-03
PCT/JP2015/082551 WO2016088566A1 (ja) 2014-12-03 2015-11-19 情報処理装置および情報処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
KR20170090417A true KR20170090417A (ko) 2017-08-07

Family

ID=56091516

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177013451A KR20170090417A (ko) 2014-12-03 2015-11-19 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램

Country Status (7)

Country Link
US (2) US10721525B2 (ko)
EP (1) EP3229477A4 (ko)
JP (1) JPWO2016088566A1 (ko)
KR (1) KR20170090417A (ko)
CN (1) CN107005724B (ko)
TW (1) TW201633794A (ko)
WO (1) WO2016088566A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101968723B1 (ko) * 2017-10-18 2019-04-12 네이버 주식회사 카메라 이펙트를 제공하는 방법 및 시스템

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170090417A (ko) * 2014-12-03 2017-08-07 소니 주식회사 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
WO2016098589A1 (ja) * 2014-12-15 2016-06-23 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
KR101777392B1 (ko) 2016-07-04 2017-09-11 주식회사 케이티 중앙 서버 및 이에 의한 사용자 음성 처리 방법
JP2018010569A (ja) * 2016-07-15 2018-01-18 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10726836B2 (en) * 2016-08-12 2020-07-28 Kt Corporation Providing audio and video feedback with character based on voice command
US20180137425A1 (en) * 2016-11-17 2018-05-17 International Business Machines Corporation Real-time analysis of a musical performance using analytics
KR101889279B1 (ko) 2017-01-16 2018-08-21 주식회사 케이티 음성 명령에 기반하여 서비스를 제공하는 시스템 및 방법
CN110290845B (zh) * 2017-02-20 2023-08-22 索尼公司 信息处理系统和信息处理方法
JP7074449B2 (ja) * 2017-10-12 2022-05-24 株式会社バンダイナムコエンターテインメント コンテンツ配信システム、コンピュータシステム、サーバシステム、及びコンテンツ配信方法
JP6473262B1 (ja) * 2017-11-13 2019-02-20 株式会社ドワンゴ 配信サーバ、配信プログラムおよび端末
US20200402214A1 (en) * 2018-02-08 2020-12-24 Samsung Electronics Co., Ltd. Method and electronic device for rendering background in image
CN108882480B (zh) * 2018-06-20 2020-06-05 新华网股份有限公司 舞台灯光和装置调节方法和系统
JP7216394B2 (ja) * 2018-07-04 2023-02-01 学校法人 芝浦工業大学 ライブ演出システム、およびライブ演出方法
US11533537B2 (en) * 2019-03-11 2022-12-20 Sony Group Corporation Information processing device and information processing system
CN110418148B (zh) * 2019-07-10 2021-10-29 咪咕文化科技有限公司 视频生成方法、视频生成设备及可读存储介质
JPWO2021059770A1 (ko) * 2019-09-24 2021-04-01
CN110991238B (zh) * 2019-10-30 2023-04-28 中科南京人工智能创新研究院 一种基于语音情感分析和微表情识别的演讲辅助系统
CN113139411A (zh) * 2020-01-20 2021-07-20 北京芯海视界三维科技有限公司 实现信息统计的方法、装置和产品
JP2022018733A (ja) * 2020-07-16 2022-01-27 ヤフー株式会社 提供プログラム、提供方法、および提供装置
JP7244768B2 (ja) * 2020-08-19 2023-03-23 株式会社カプコン システム、サーバ及びプログラム
US20220201370A1 (en) * 2020-12-18 2022-06-23 Sony Group Corporation Simulating audience reactions for performers on camera
CN112992186B (zh) * 2021-02-04 2022-07-01 咪咕音乐有限公司 音频处理方法、装置、电子设备及存储介质
CN113014988B (zh) * 2021-02-23 2024-04-05 北京百度网讯科技有限公司 视频处理方法、装置、设备以及存储介质
WO2022215725A1 (ja) * 2021-04-08 2022-10-13 株式会社ニコン 情報処理装置、プログラム、及び、情報処理方法
CN113747250B (zh) * 2021-08-18 2024-02-02 咪咕数字传媒有限公司 新形态留言的实现方法、装置及计算设备
WO2024053094A1 (ja) * 2022-09-09 2024-03-14 日本電信電話株式会社 メディア情報強調再生装置、メディア情報強調再生方法、およびメディア情報強調再生プログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005150795A (ja) * 2003-11-11 2005-06-09 Matsushita Electric Ind Co Ltd 送信装置及び受信装置
JP4215256B2 (ja) * 2004-04-13 2009-01-28 日本電信電話株式会社 一体感を伝える通信システム
GB2422454A (en) * 2005-01-22 2006-07-26 Siemens Plc A system for communicating user emotion
JP2007041988A (ja) * 2005-08-05 2007-02-15 Sony Corp 情報処理装置および方法、並びにプログラム
JP2007097047A (ja) * 2005-09-30 2007-04-12 Seiko Epson Corp コンテンツの編集装置、コンテンツの編集方法及びコンテンツの編集プログラム
US20070271580A1 (en) * 2006-05-16 2007-11-22 Bellsouth Intellectual Property Corporation Methods, Apparatus and Computer Program Products for Audience-Adaptive Control of Content Presentation Based on Sensed Audience Demographics
KR101424807B1 (ko) * 2007-08-14 2014-07-31 엘지전자 주식회사 영상 표시 시스템 및 그 제어방법
WO2009082632A1 (en) * 2007-12-21 2009-07-02 Sony Computer Entertainment America Inc. Scheme for inserting a mimicked performance into a scene and providing an evaluation of same
JP5020838B2 (ja) * 2008-01-29 2012-09-05 ヤフー株式会社 視聴反応共有システム、視聴反応管理サーバ及び視聴反応共有方法
JP5339737B2 (ja) * 2008-02-08 2013-11-13 三菱電機株式会社 映像音声再生方法
US8677399B2 (en) * 2008-04-15 2014-03-18 Disney Enterprises, Inc. Preprocessing video to insert visual elements and applications thereof
US8566353B2 (en) * 2008-06-03 2013-10-22 Google Inc. Web-based system for collaborative generation of interactive videos
JP2010016482A (ja) * 2008-07-01 2010-01-21 Sony Corp 情報処理装置および情報処理方法
JP4621758B2 (ja) * 2008-07-08 2011-01-26 パナソニック株式会社 コンテンツ情報再生装置、コンテンツ情報再生システム、および情報処理装置
JP5715390B2 (ja) * 2009-12-03 2015-05-07 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 視聴端末装置、視聴統計装置、視聴統計処理システムおよび視聴統計処理方法
JP2011166572A (ja) * 2010-02-12 2011-08-25 Nec Personal Products Co Ltd 番組嗜好推定装置、画像視聴システム、番組視聴確認方法、及びプログラム
JP5609160B2 (ja) * 2010-02-26 2014-10-22 ソニー株式会社 情報処理システム、コンテンツ合成装置および方法、並びに記録媒体
JP2012009957A (ja) * 2010-06-22 2012-01-12 Sharp Corp 評価情報通知装置、コンテンツ提示装置、コンテンツ評価システム、評価情報通知装置の制御方法、評価情報通知装置の制御プログラムおよびコンピュータ読み取り可能な記録媒体
JP5677002B2 (ja) * 2010-09-28 2015-02-25 キヤノン株式会社 映像制御装置、及び映像制御方法
CN102098567B (zh) * 2010-11-30 2013-01-16 深圳创维－Rgb电子有限公司 一种互动电视系统及其控制方法
JP6039915B2 (ja) 2011-07-08 2016-12-07 株式会社ドワンゴ ステージ演出システム、演出制御サブシステム、ステージ演出システムの動作方法、演出制御サブシステムの動作方法、およびプログラム
JP2013070155A (ja) * 2011-09-21 2013-04-18 Nec Casio Mobile Communications Ltd 動画スコアリングシステム、サーバ装置、動画スコアリング方法、動画スコアリングプログラム
CN102510539A (zh) * 2011-12-02 2012-06-20 深圳市万兴软件有限公司 一种在播放的视频上显示内容的方法和系统
US8955021B1 (en) * 2012-08-31 2015-02-10 Amazon Technologies, Inc. Providing extrinsic data for video content
KR101978743B1 (ko) * 2012-10-19 2019-08-29 삼성전자주식회사 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법
KR101988279B1 (ko) * 2013-01-07 2019-06-12 삼성전자 주식회사 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
JP6295494B2 (ja) * 2013-04-19 2018-03-20 株式会社ドワンゴ 端末装置、コメント配信システム、及びプログラム
US20150350729A1 (en) * 2014-05-28 2015-12-03 United Video Properties, Inc. Systems and methods for providing recommendations based on pause point in the media asset
US9554188B2 (en) * 2014-08-27 2017-01-24 Verizon Patent And Licensing Inc. Shock block
KR20170090417A (ko) * 2014-12-03 2017-08-07 소니 주식회사 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
US10085064B2 (en) * 2016-12-28 2018-09-25 Facebook, Inc. Aggregation of media effects

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101968723B1 (ko) * 2017-10-18 2019-04-12 네이버 주식회사 카메라 이펙트를 제공하는 방법 및 시스템

Also Published As

Publication number Publication date
CN107005724B (zh) 2020-09-18
US20170264954A1 (en) 2017-09-14
JPWO2016088566A1 (ja) 2017-09-14
EP3229477A4 (en) 2018-05-23
US10721525B2 (en) 2020-07-21
EP3229477A1 (en) 2017-10-11
CN107005724A (zh) 2017-08-01
WO2016088566A1 (ja) 2016-06-09
US20200304869A1 (en) 2020-09-24
TW201633794A (zh) 2016-09-16
US11218768B2 (en) 2022-01-04

Similar Documents

Publication Publication Date Title
KR20170090417A (ko) 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
JP6700463B2 (ja) ヘッドマウントディスプレイ上の視覚的作用を制限するためのフィルタリング及びペアレンタルコントロール法
US8963926B2 (en) User customized animated video and method for making the same
WO2017175599A1 (ja) 情報処理装置および情報処理方法、並びにプログラム
US10896322B2 (en) Information processing device, information processing system, facial image output method, and program
US20140002464A1 (en) Support and complement device, support and complement method, and recording medium
US20240048677A1 (en) Information processing system, information processing method, and computer program
US11941177B2 (en) Information processing device and information processing terminal
US20230031160A1 (en) Information processing apparatus, information processing method, and computer program
US20230009322A1 (en) Information processing device, information processing terminal, and program
EP4080907A1 (en) Information processing device and information processing method
KR102430547B1 (ko) 게임 플레이 콘텐츠 제작 장치
CN114945893A (zh) 信息处理设备以及信息处理终端
JP7360989B2 (ja) 制御サーバ、端末、配信システム、制御方法、情報処理方法、及びプログラム
JP7329209B1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
JP7379427B2 (ja) 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
US20240028123A1 (en) Information processing device, information processing method, program, and information processing system
US20230038998A1 (en) Information processing device, information processing terminal, and program
US20240004471A1 (en) Information processing device, information processing method, program, and information processing system
KR20240027229A (ko) 홀로그램 서비스 제공 방법 및 장치
EP4172812A1 (en) Selection of video template based on computer simulation metadata
CN115086693A (zh) 虚拟对象交互方法、装置、电子设备和存储介质