WO2022102186A1 - 情報処理装置、情報処理方法、情報処理プログラム - Google Patents

情報処理装置、情報処理方法、情報処理プログラム Download PDF

Info

Publication number
WO2022102186A1
WO2022102186A1 PCT/JP2021/029539 JP2021029539W WO2022102186A1 WO 2022102186 A1 WO2022102186 A1 WO 2022102186A1 JP 2021029539 W JP2021029539 W JP 2021029539W WO 2022102186 A1 WO2022102186 A1 WO 2022102186A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
information
input
presented
consumer
Prior art date
Application number
PCT/JP2021/029539
Other languages
English (en)
French (fr)
Inventor
啓 舘野
将大 吉田
拓麻 宇田川
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022561280A priority Critical patent/JPWO2022102186A1/ja
Priority to US18/251,715 priority patent/US20240015370A1/en
Priority to EP21891434.9A priority patent/EP4246422A4/en
Publication of WO2022102186A1 publication Critical patent/WO2022102186A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0276—Advertisement creation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts

Definitions

  • This technology relates to information processing devices, information processing methods, and information processing programs.
  • Patent Document 1 a technique for generating a digest according to a consumer's taste from arbitrary contents has been proposed.
  • Patent Document 1 only generates a digest of contents, and generates contents according to various consumer tastes, or a content creator creates contents according to consumer tastes. It does not assist in the generation. In the current situation where it is difficult to say that content creators are catching up with the expansion of demand and the expansion of platforms, there is a need for technology that presents information so that content creators can efficiently produce content.
  • This technology was made in view of these points, and provides information processing devices, information processing methods, and information processing programs that can present appropriate content that can be used as a reference for content production to content creators. The purpose is to do.
  • the first technology is a content generation unit that generates new content based on input information and state information indicating a state when a consumer consumes the content, and a new content. It is an information processing apparatus including a presentation content determination unit that determines the presentation content presented to the creator of the content from one or both of the existing contents.
  • the second technology generates new content based on the input information and the state information indicating the state when the consumer consumes the content, and either the new content or the existing content, or both of them. It is an information processing method that determines the presented content presented to the creator of the content.
  • the third technique generates new content based on the input information and the state information indicating the state when the consumer consumes the content, and the new content and / or the existing content can be used. It is an information processing program that causes a computer to execute an information processing method that determines the presented content presented to the creator of the content.
  • the information processing apparatus 100 includes a control unit 101, a storage unit 102, an interface 103, an input unit 104, and a display unit 105.
  • the control unit 101 is composed of a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
  • the CPU executes various processes according to the program stored in the ROM and issues commands to control the entire information processing apparatus 100 and each part thereof.
  • the storage unit 102 is a large-capacity storage medium such as a hard disk or a flash memory.
  • the interface 103 is an interface between the status information acquisition device 500, other devices, the Internet, and the like.
  • the interface 103 may include a wired or wireless communication interface. More specifically, the wired or wireless communication interface includes cellular communication such as 3TTE, Wi-Fi, Bluetooth (registered trademark), NFC, Ethernet (registered trademark), SDI (Serial Digital Interface), and HDMI (registered). It may include USB (Universal Serial Bus), 4G (4th generation mobile communication system), 5G (5th generation mobile communication system), and the like.
  • the interface 103 may include a connection terminal between the devices, a bus in the device, and the like.
  • the interface 103 may include different types of interfaces for each device.
  • the interface 103 may include both a communication interface and an in-device interface.
  • the input unit 104 is for giving various instructions to the information processing device 100.
  • a control signal corresponding to the input is generated and supplied to the control unit 101.
  • the control unit 101 performs various processes corresponding to the control signal.
  • the input unit 104 includes various buttons, a touch panel, a touch screen integrally configured with the display as the display unit 105, and the like.
  • the display unit 105 displays contents, GUI (Graphical User Interface), and the like.
  • GUI Graphic User Interface
  • the display unit 105 for example, there is one configured by an LCD (Liquid Crystal Display), an organic EL panel, or the like.
  • the information processing device 100 is composed of, for example, a personal computer, a smartphone, a tablet terminal, a server device, and the like.
  • the configuration of the processing block of the information processing apparatus 100 will be described with reference to FIG.
  • the information processing apparatus 100 includes a consumer state information storage unit 111, a consumer feature information storage unit 112, a content database 113, a conversion processing unit 114, a new content generation information storage unit 115, a content generation unit 116, and a presentation content determination unit 117. It is configured with.
  • the consumer state information storage unit 111, the consumer feature information storage unit 112, the content database 113, and the new content generation information storage unit 115 are functions realized in the storage unit 102, and data and information are stored in each storage unit. Instructions and controls are given by the control unit 101. Further, the conversion processing unit 114, the content generation unit 116, and the presentation content determination unit 117 are functions realized by processing in the control unit 101.
  • Content is created by human creative activities such as movies, TV programs, videos, music, audio, literary arts, photographs, cartoons, animations, illustrations, computer games, programs, character strings, etc., and belongs to the scope of culture or entertainment. It is a thing.
  • Content consumption means watching video content such as movies and TV programs, watching image content such as illustrations and photographs, listening to audio content such as music, and textual content. It includes various usage patterns for each type of content, such as reading. A consumer is a person who consumes such content.
  • a creator is a person who creates content, specifically, a movie director, a TV program producer, a video writer, a musician, a writer, a photographer, a cartoonist, an animator, an illustrator, a game creator, a programmer, and the like.
  • the creator may be an individual or an organization such as a production company, and this technique is not limited to either.
  • the content is provided to the consumer by the distribution in the content distribution service.
  • Distribution is to provide content by transmitting data on a network such as the Internet.
  • the content may be provided by any method as long as the consumer can consume the content, such as data download and streaming.
  • the consumer state information storage unit 111 determines the state of the consumer with respect to the consumed content, such as the behavior of the consumer with respect to the content distribution service acquired by the state information acquisition device 500, and the behavior and reaction of the consumer at the time of consuming the content. It stores the indicated consumer status information.
  • Consumer behavior toward the content distribution service includes, for example, the title, type and genre of the consumed content, whether or not the detail page of the content is viewed, and the registered contents of favorites and watch lists.
  • Consumer actions and reactions when consuming content include, for example, completing viewing of the content, stopping (including pausing) the playback of the content, inputting "Like” or “Like”, and fast-forwarding the playback of the content.
  • Change content smile, turn away, look away, close your eyes, clap your hands, cover your face with your hands, say certain words (interesting, like, dislike, disgusting, etc.), shout out , Move, etc.
  • the consumer status information may include biometric information such as the amount of sweating, body temperature, and heart rate of the consumer when the content is consumed.
  • the information included in the consumer status information can be comprehensively obtained from the browsing history of the consumer's content detail page, the consumer's content purchase history, and the "like" and “Like” entered by the consumer.
  • consumer evaluation information which is an evaluation of existing content.
  • the status information acquisition device 500 includes a web browser used by consumers to consume content, a user interface in a content distribution service (application on a browser, an application running on a personal computer, etc.), and the like. There are also devices such as cameras, infrared cameras, infrared sensors, and microphones that can acquire consumer status information from video, images, and voice. In addition, there are various biosensors such as sweating sensors, temperature sensors, and heart rate sensors.
  • the state information acquisition device 500 may be provided in the information processing device 100 or the content reproduction device, may be provided in a device other than these, or may be configured as an independent device.
  • the information processing device 100 receives the state information acquired by the state information acquisition device 500 via the network and the interface 103.
  • a user ID for identifying individual consumers constituting a consumer set a content ID for identifying the content consumed by the consumer, and information thereof are acquired. It is configured by associating the date and time when the content was created and the state of the consumer with respect to the content.
  • the consumer characteristic information storage unit 112 stores consumer characteristic information.
  • Consumer characteristic information includes the age, gender, nationality, address, and genre of favorite content of the consumer.
  • the consumer characteristic information can be obtained, for example, from the input contents when the consumer registers as a user in the content distribution service.
  • consumer characteristic information there is also statistical information such as purchase and consumption frequency of contents extracted from the behavior log of a consumer group consisting of a plurality of consumers.
  • the consumer set is, for example, all registered users in the content distribution service, all consumers who have purchased specific existing content in the registered users, and the like.
  • the content database 113 stores existing content that is distributed in the market and is content that consumers can receive through the content distribution service.
  • the content database 113 does not necessarily have to be provided in the information processing apparatus 100, and may be constructed in an external server or the like so that the information processing apparatus 100 can acquire existing contents by accessing the information processing apparatus 100.
  • Input information input to the information processing apparatus 100 by the creator is supplied to the conversion processing unit 114.
  • the conversion processing unit 114 performs processing for converting the input information into new content generation information. The details of the conversion process will be described later.
  • the input information is information for generating new content input by the creator, and includes input content, input keywords, and the like.
  • the new content generation information is information used for content generation by the content generation unit 116. When the new content generation information is generated, it is stored in the new content generation information storage unit 115.
  • Input content is content input by the creator as conditions and elements for new content generation by the content generation unit 116.
  • the creator can input existing content that is distributed in the market as input content and can be used by consumers, existing content that the creator or the production company has produced in the past, and the like as input content.
  • the input content is not limited to one completed content, but may be a part of the content (content part) constituting the content.
  • the input content may be a still image, a video, a storyboard, a CG (Computer Graphic) image, a scenario, an attribute or appearance of a character expressed by an image or text, a melody, lyrics, a sentence, or the like.
  • the input of the input content by the creator is performed by the information processing apparatus 100 presenting the existing content stored in the content database 113 to the creator and the creator selecting the content to be the input content from the existing contents. Can be done. Further, the creator may input the input content by inputting the data of the content into the information processing apparatus 100.
  • the input keyword is a keyword input by the creator as a condition or element for new content generation by the content generation unit 116. It can be said that the input keyword is a keyword that expresses the content, concept, etc. of the new content.
  • Input of input keywords by the creator is performed by presenting a plurality of keywords prepared in advance by the information processing apparatus 100 as templates to the creator, and the creator selects a keyword to be an input keyword from among them. Can be done. Further, the creator may input the input keyword by directly inputting it as a character string as a keyword.
  • the input information entered by the creator is not limited to one, and may be multiple, and the number is not limited.
  • the creator can also enter both input content and input keywords.
  • the content generation unit 116 generates new content based on new content generation information, consumer status information, consumer characteristic information, consumer evaluation information, etc. generated from input information.
  • the content generation unit 116 can generate not only one content but also a plurality of contents. Further, the type of new content generated by the content generation unit 116 is not limited by the type of input content or the input keyword, and may be any content that can be consumed by the consumer.
  • the presentation content determination unit 117 determines the presentation content, which is the content presented to the creator from the new content generated by the content generation unit 116 and one or both of the plurality of existing contents stored in the content database 113. decide.
  • the presented content is presented to the production as ideas, hints, etc. of the content production by the creator.
  • the determined presentation content is output as presentation content information, displayed on the display unit 105 or the like, and presented to the creator.
  • the information processing device 100 is configured as described above.
  • the information processing device 100 may be configured as a dedicated device by hardware having the function. Further, the information processing device 100 is not only configured as a dedicated device, but may also be configured by a program, and the electronic device may be provided with a function as the information processing device 100 by executing the program.
  • the program may be installed in the electronic device in advance, or may be distributed by download or storage medium so that the consumer can install it in the electronic device by himself / herself.
  • the information processing device 100 When the content distribution service provider produces the content, the information processing device 100 operates in the electronic device of the content distribution service provider.
  • the creator creates the content and the content distribution service provider distributes the content, for example, the conversion processing unit 114, the new content generation information storage unit 115, the content generation unit 116, and the presentation content determination unit.
  • 117 operates in the electronic device of the creator, and the consumer state information storage unit 111, the consumer characteristic information storage unit 112, and the content database 113 operate in the electronic device of the content distribution service provider.
  • step S101 the information processing apparatus 100 acquires consumer status information from the status information acquisition device 500 and stores it in the consumer status information storage unit 111.
  • the information processing device 100 acquires consumer state information from the constant state information acquisition device 500 and stores it in the consumer state information storage unit 111, not only when the content is generated or when the presented content is determined, and the consumer state information is stored. are doing.
  • step S102 the information processing apparatus 100 receives input of input information from the creator.
  • step S103 the conversion processing unit 114 converts the input information into new content generation information by the conversion process.
  • the conversion process by the conversion process unit 114 is performed by extracting and modeling information from the input information.
  • a topic model for example, a topic model, a neural network, Factorization Machines, etc.
  • a topic model for example, one content as input information is regarded as one document, keywords and the like included in the input information are regarded as words, and the input information is compressed into a topic vector by LDA (Latent Dirichlet Allocation) or the like.
  • LDA Topic Dirichlet Allocation
  • the input information which is such text information is processed by LDA, the input information is decomposed into words or a set of words into a topic vector as preprocessing.
  • Supervised topic model or the like may be used.
  • the input information is text information such as a scenario, a setting sentence, a sentence, and a keyword
  • a neural network model such as RSTM (Long Short Term Memory) or Transformer.
  • the input information is an image, it is appropriately compressed by, for example, VAE (Variational Auto Encoder) without extracting the information, and converted so that it can be handled as a vector (or tensor).
  • VAE Variational Auto Encoder
  • Information can be extracted from the input information by, for example, taking the average value of the topic vectors of each content vectorized by the various models described above for the content as the input information.
  • a topic model is used as a model
  • the feature amount of the input information and the input keyword selected by the creator separately from the input content are collectively regarded as one document, and the same topic vector is used using the trained model. It may be converted to and used as information for generating new contents.
  • the content and keywords as input information can be used as input information for selecting and sorting the presented content in the "selection of presented content" described later. You may use it.
  • the conversion processing unit 114 may vectorize the input information without performing other processing, or may extract information from the input information and vectorize the extracted information.
  • the content generation unit 116 generates new content.
  • the new content can be generated by using, for example, Conditional GAN (Generative Adversarial Network).
  • the input to the generator in Conditional GAN is noise, new content generation information, consumer state information and consumer characteristic information, and consumer evaluation information included in the consumer state information.
  • the information for generating new content is converted by the conversion processing unit 114 and is fixed.
  • Consumer characteristic information is the consumer related to the input information used to generate the new content generation information (for example, the consumer who purchases / evaluates the input content or the consumer who searches / purchases the content by the input keyword). It is consumer characteristic information about person).
  • the content generation unit 116 reads the consumer characteristic information from the consumer characteristic information storage unit 112 and uses it for new content generation.
  • the consumer evaluation information is, for example, evaluation information for the existing content of the consumer (similar to the above) related to the input information used for generating the new content generation information.
  • the content generation unit 116 reads the consumer evaluation information from the consumer state information storage unit 111 and uses it for new content generation.
  • the input to the discriminator in Conditional GAN is to generate new content generation information, consumer status information and consumer feature information, consumer evaluation information included in consumer status information, and new content generation information.
  • the content related to the input information used the content itself.
  • the "content itself” is any content (figure 5) in the content generated by the generator (generated content in FIG. 5) or the existing content (content that is not exhaled from the generator but is real). Real content) inside.
  • the classifier is the existing content or generated by combining the "content itself” and other information (new content generation information, consumer status information and consumer characteristic information, consumer evaluation information included in the consumer status information). Classify whether it is content. Therefore, existing content is randomly selected in principle.
  • the information for generating new content is converted by the conversion processing unit 114 and is fixed.
  • the content related to the input information used to generate the new content generation information is the content directly included in the extraction source of the new content generation information, or the input keyword.
  • the consumer characteristic information and the consumer evaluation information are the consumer characteristic information and the consumer evaluation information of the consumer who evaluates the content related to the input information used to generate the new content generation information. ..
  • the generator G does not necessarily require input, and may be generated by, for example, a normal GAN, and filtering or sorting may be performed from various viewpoints in the next step.
  • new content can be generated using VAE (Variational Autoencoder) and MF (Matrix Factorization).
  • VAE Variational Autoencoder
  • MF Microx Factorization
  • FIG. 6A shows the learning stage in the first method of generating new content.
  • processing is performed by the first encoder Em, the second encoder Eu, the feature space, the decoder Dm, and the predictor fr.
  • consumer information for generating new content is input to the first encoder Em. Further, consumer state information and consumer characteristic information are input to the second encoder Eu. For convenience of explanation, consumer status information and consumer characteristic information are collectively referred to as consumer information.
  • the new content generation information and the consumer information are mapped on the feature space, and the content is generated from the feature points in the feature space through the decoder Dm.
  • the new content generation information is vectorized by the first encoder Em (the vectorized one is called a content vector), and the consumer information is vectorized by the second encoder Eu. (The vectorized version is called a consumer vector.)
  • the predictor f_r using MF is used to predict the consumer's evaluation of the new content generation information and the converted input content.
  • the predictor fr predicts the consumer's evaluation of the input content that has become the new content generation information based on the content vector that vectorizes the new content generation information and the consumer vector that vectorizes the consumer information. Is.
  • the distance between the consumer vector and the content vector enters the evaluator fr.
  • the higher the consumer appreciates the input content as new content generation information the closer the distance between the consumer vector and the content vector is learned in the feature space. By doing so, the consumer and the input content that the consumer appreciates are mapped so that the distance on the feature space is short.
  • FIG. 6B shows the generation stage of the generation of new content using VAE.
  • processing is performed in the feature space formed in the learning stage and the decoder Dm.
  • the decoder Dm generates new content from the point of the area where the target consumer group gathers on the feature space, thereby generating new content that is easily evaluated by the targeted consumer group. be able to.
  • a second method of generating new content using VAE and MF will be described with reference to FIG. 7.
  • the arbitrary conditions are, for example, the genre of the new content, the characters appearing in the new content, and the like. Therefore, in the second method, in order to enable the generation of new content according to an arbitrary condition, a control dimension for specifying an arbitrary condition is provided on the feature space and learning is performed in VAE.
  • the input content and the new content are used as the script of the movie, and arbitrary conditions are explained as the genre of the movie.
  • FIG. 7A shows the learning stage in the second method of generating new content.
  • processing is performed by the first encoder Em1, the second encoder Em2, the third encoder Eu, the feature space, the first decoder Dm1, the second decoder Dm2, and the predictor fr.
  • control information is included in the new content generation information.
  • the control information is information that controls the generation of new content in order to generate new content with arbitrary conditions.
  • the conversion processing unit 114 converts the information for specifying the genre as the input information input by the producer into the control information, and makes the new content generation information including the control information.
  • the genre of the movie is defined and classified in advance in the information processing device 100 (for example, horror, comedy, mystery, etc.).
  • the creator can input information that specifies the genre as input information by designating one of the defined genres. For example, if 10 genres are defined in advance, 1 is set in the specified genre among the 10-dimensional vectors, and 0 is set in the other genres.
  • the creator may specify one genre or a plurality of genres.
  • information other than the control information of the new content generation information is input to the first encoder Em1. Further, the control information is input to the second encoder Em2, and only the control information is expressed in a specific dimension on the feature space.
  • the vertical axis on the feature space corresponds to the control information
  • the horizontal axis corresponds to the new content generation information other than the control information.
  • consumer state information and consumer characteristic information are input to the second encoder Eu. Consumer status information and consumer characteristic information are collectively referred to as consumer information.
  • new content generation information and consumer information are mapped on the feature space, content is generated from the feature points in the feature space through the first decoder Dm1, and control information is generated from the second decoder Dm2 for learning. conduct.
  • MF By applying MF to this, it is possible to create a feature space of contents that reflects the evaluation of consumers.
  • FIG. 7B shows the processing in the generation stage of the second method of generating new content using VAE.
  • processing is performed by the second encoder Em2, the feature space, and the first decoder Dm1.
  • the control dimension in the feature space is fixed according to the control information input to the second encoder Em2, and the target consumer group gathers on the feature space.
  • the first decoder Dm1 generates new content.
  • the creator wants to generate a script for a comedy movie as new content.
  • the arbitrary condition is the genre of comedy.
  • new content generation information using the script of an existing comedy movie as input information is input to the first encoder Em1
  • control information converted from information specifying the genre of comedy is input to the second encoder Em2.
  • the control information to which the information specifying the genre of comedy is converted is input to the second encoder Em2
  • the first decoder Dm1 From the feature points near the consumer group, the first decoder Dm1 generates a script of a movie whose genre as new content is comedy.
  • the conversion processing unit 114 converts the input content and keywords into new content generation information including information specifying the input genre.
  • control information was explained with an arbitrary condition for the content as a genre, but new content can be generated under other conditions.
  • new content can be generated under other conditions.
  • the control information by converting the information indicating the actors appearing in the movie contents into the control information, it is possible to generate the movie contents as new contents in which the actors appearing as arbitrary conditions are specified.
  • any condition may be any condition as long as it relates to the elements constituting the content.
  • the presentation content determination unit 117 determines the presentation content, which is the content to be presented to the creator, from the new content and the existing content. If the input content input by the creator as input information is distributed, the existing content also includes the input content. The presentation content determination unit 117 determines the presentation content by sorting and / or selecting the new content and the existing content. Sorting is to determine the order in which the content to be presented to the creator is presented.
  • the presentation content determination unit 117 sorts a plurality of new contents and existing contents based on the overall similarity to the input contents or the information for generating new contents, and further determines the presentation contents by selecting from them. The selection is performed by setting a threshold value in advance and selecting new content and existing content whose overall similarity to the input content is equal to or higher than the threshold value as the presented content.
  • the selection is performed by setting a threshold value in advance and selecting new content and existing content whose partial similarity to the input content is equal to or greater than the threshold value as the presented content.
  • the existing content it is also possible to sort a plurality of new contents and existing contents based on the audience rating and the purchase rate, and further determine the presented content by selecting from the viewing rates.
  • the selection is performed by setting a threshold value in advance and selecting new content and existing content whose audience rating or purchase rate is equal to or higher than the threshold value as presentation content.
  • Either method may be set in advance by default. In either method, the number of input contents may be one or a plurality, and the number of input contents is not limited.
  • N may be set in advance, or the creator may be able to set it to an arbitrary value.
  • step S106 the presented content determined by the presented content determination unit 117 is displayed on the display unit 105 and presented to the creator.
  • the presented content When presenting the presented content to the creator, the presented content is presented in the order sorted by the presented content determination unit 117. Further, when presenting the presented content, the input content having a high degree of similarity to the presented content, the characteristics of the input content contributing to the similarity of the input content having a high degree of similarity to the presented content, and the like may be presented together. As a result, the creator can understand the relationship between the presented content and the input content, and the creator can understand why such presented content is presented in such an order. The method of presenting the presented content on the display unit 105 will be described later.
  • step S107 when the creator who confirmed the presented content in step S107 inputs feedback to the information processing apparatus 100, the process proceeds to step S108 (Yes in step S107).
  • the creator can check the presented content and add, delete, or change the input information as feedback if he / she thinks it is necessary to regenerate the new content or present another presented content. ..
  • step S108 the new content generation information stored in the new content generation information storage unit 115 is updated.
  • the conversion processing unit 114 converts the input information input as feedback into new content generation information, and stores the new content generation information in the new content generation information storage unit 115 to update the new content generation information. ..
  • the generation of new content generation information is the same as the method in step S103 described above.
  • step S107 if there is no feedback input from the creator, the process ends (No in step S107).
  • step S201 when sorting is performed based on the similarity with the input content, the process proceeds to step S202 (Yes in step S201).
  • step S202 the presented content determination unit 117 sorts the new content and the existing content based on the degree of similarity with the input content.
  • step S203 the presentation content determination unit 117 selects and determines the presentation content to be finally presented to the creator from the sorted new content and the existing content.
  • selection using a threshold value and selection of the top N items in the sort order.
  • step S201 The explanation returns to step S201, and if sorting is not performed based on the similarity with the input content, the process proceeds to step S204 (No in step S201). In this case, sorting is performed based on the degree of similarity with the information for generating new content.
  • step S204 the presented content determination unit 117 sorts the new content and the existing content based on the degree of similarity with the new content generation information.
  • step S203 the presentation content determination unit 117 selects and determines the presentation content to be finally presented to the creator from the sorted new content and the existing content.
  • the similarity when the information for generating new content is a vector, a function that monotonically decreases with respect to the Euclidean distance between each vector (for example, exp (-d) for the Euclidean distance d) or cosine similarity is used. Can be calculated. Further, when calculating the similarity, only the elements (several) having a particularly high value (large absolute value) among the vectors of the input content or the information for generating new content may be used. As a result, while holding down the important points for the creator, it is possible to present the presented content to the creator including the elements that the creator did not incorporate for the non-important elements, and the creator presents the presented content. You can create new content by referring to it.
  • the content to be presented can be determined based on whether a specific consumer set composed of a plurality of consumers purchases or evaluates the content.
  • the presented content can be determined by sorting and selecting the new content and the existing content in the order that is expected to be widely accepted by all consumers if a specific consumer set is all consumers. All consumers are, for example, all registered users in a particular content distribution service.
  • a particular consumer set is a consumer set consisting only of consumers who have purchased the input content
  • the new content and the existing content will be in the order in which they are expected to continue to be accepted by existing consumers. You can sort and select to determine the presented content.
  • the existing content Since the existing content has already been distributed, for the existing content, for example, the total consumer set or the consumer set that purchased the input content is acquired, and the number of sales of the existing content in the consumer set and the number of sales.
  • the content presented can be determined by sorting and selecting based on the sales rate. It is also possible to set a threshold value for the purchase rate and determine existing content having a purchase rate equal to or higher than the threshold value as the presented content.
  • Factorization Machines using consumer status information, consumer feature information, content information (information about content consumed or evaluated by any consumer included in the consumer status information), etc. Create an evaluation value predictor for each new content of each consumer, and sort and select all consumer sets or consumer sets that purchased existing content in descending order of predicted value or average value for each new content. Can be performed to determine the content to be presented. As a result, new content that is considered to be accepted (highly appreciated) by all consumer sets or consumer sets that have purchased existing content can be used as presentation content. It is also possible to set a threshold value for the predicted value and determine new content having a predicted value equal to or higher than the threshold value as the presented content.
  • the presented content can be determined based on the possibility that the creator will be evaluated by consumers who have never consumed the content produced in the past.
  • the presented content is determined by sorting and selecting based on whether the consumer who does not consume it consumes or evaluates it. This makes it possible to know a set of works that expands the portfolio (which can be called a lineup or catalog) for consumers who have not yet consumed the content created by the creator. By referring to the presented content determined in this way, the creator can produce the content that is considered to be highly appreciated by consumers who have not yet consumed the content produced by the creator.
  • a plurality of consumers who have consumed the input content can be set as a consumer set only when the input content is completed and distributed.
  • the presented content can be determined as a set of consumers who have purchased (including) existing content corresponding to the input keyword, or a set of consumers who have not purchased it. can.
  • FIGS. 9 to 13 a user interface when the processing by the information processing apparatus 100 is provided as an application or a web service will be described with reference to FIGS. 9 to 13.
  • the content is assumed to be a cartoon.
  • FIG. 9 a user interface for inputting input information for generating new content will be described. This input user interface is displayed on the display unit 105 or the like.
  • the input user interface includes an inputtable content display unit 301, an input content display unit 302, a search input unit 303, and a keyword input unit 304.
  • the inputtable content display unit 301 displays a plurality of existing contents existing in the content database 113 for the creator to input as input contents.
  • the inputtable content display unit 301 is provided with a check mark input field in association with each existing content for inputting the existing content as the input content.
  • the input content display unit 302 displays the input content input by the creator. As shown in FIG. 10, when a check mark is added to the existing content to be input in the inputtable content display unit 301, the existing content is displayed in the input content display unit 302. The creator can visually confirm what kind of existing content he / she has input as input content.
  • the search input unit 303 is for inputting an arbitrary search keyword in order to search for a plurality of existing contents displayed on the inputtable content display unit 301.
  • FIG. 11 is an example in which a manga, which is a content, is searched by the author's name.
  • the plurality of input contents are displayed on the input content display unit 302.
  • the keyword input unit 304 is for selecting an input keyword that can be input together with the input content.
  • a plurality of keyword candidates prepared in advance in the information processing apparatus 100 are displayed, and the creator selects a keyword to be an input keyword from the candidates.
  • the input keyword may not be selected by the creator from the displayed candidates, but the creator may be able to directly input the character string as the input keyword.
  • the keyword candidates displayed in the keyword input unit 304 may always be the same regardless of the input content, and are displayed in the keyword input unit 304 according to the type, genre, content, etc. of the input content input by the creator.
  • the keyword candidates may change. For that purpose, it is necessary to associate keyword candidates with each of the existing contents in advance in the information processing apparatus 100.
  • This presentation user interface for presenting the presentation content to the creator will be described.
  • This presentation user interface is displayed on the display unit 105 or the like.
  • the user interface for presentation is similar content presentation tab 311, similar popular content presentation tab 312, readership common content presentation tab 313, axis common content presentation tab 314, existing content 315, new content tab 316, highlight display input unit 317, keywords. It is configured to include an input unit 318 and an interest distribution display unit 319.
  • the similar content presentation tab 311 displays the presented content determined by the degree of similarity with the input content as input information or the information for generating new content. Further, the similar popular content presentation tab 312 displays popular content from the presented content determined by the degree of similarity with the input content as input information or the new content generation information.
  • the popular content is, for example, content for which the number of sales on the content distribution platform is a predetermined number or more, content for which the line king of the content distribution platform is in a predetermined order or more, and the like.
  • the reader layer common content presentation tab 313 displays the input content as input information and the content common to the reader group from the presented contents.
  • the axis common content presentation tab 314 displays the content having the same axis as the input content as the input information from the presented contents as the presentation content.
  • the content having a common axis is the content obtained by extracting the work having the largest value in the topic distribution of the work with respect to the element having the largest value in the creator's interest distribution displayed in the interest distribution display unit 319. Is.
  • Each of the above-mentioned tabs has an existing content 315 that displays existing content and a new content tab 316 that displays new content as a substructure. As a result, the creator can check the presented content displayed in each tab separately for the existing content and the new content.
  • Information about the presented content is displayed on each tab.
  • Information on the presented content includes, for example, content settings, tones, information on characters appearing, and a synopsis. It should be noted that these displayed information are merely examples, and the content of the present technology is not limited to the information shown in FIG. Any information that is useful to the creator may be displayed.
  • the highlight display input unit 317 is for highlighting the information related to the displayed presented content based on a predetermined condition.
  • the predetermined conditions are, for example, a word that is close to the creator's interest, a word that the creator has never used, a recent trend word, and the like. This predetermined condition is merely an example, and the content of the present technique is not limited to the information shown in FIG.
  • the interest distribution display unit 319 shows the interest distribution of the creator in a graph.
  • the creator's interest distribution is generated based on the information for generating new content. For example, if the information for generating new content is a 10-dimensional vector, it corresponds to the one in which 10 numerical values are arranged in order, so the one expressed as a graph with an element name for each dimension shows the interest distribution of the creator. It becomes a graph.
  • the graph may be classified by the creator, the element (dimension) name may be manually given by a person looking at the analysis result, or the name may be automatically given from the analysis result.
  • the content re-input button is a button for transitioning to the input user interface in order to input new input information.
  • the keyword input unit 304 is for selecting a keyword that can be input together with the input content, similar to that provided in the input user interface.
  • a plurality of keyword candidates are displayed in advance on the information processing apparatus 100, and the creator selects a keyword to be input information from the candidates.
  • new content can be generated and presented to the creator based on the input information input by the creator, the consumer status information which is the information about the consumer, and the consumer characteristic information. ..
  • the creator can create his / her own new content by referring to the presented new content.
  • the existing content can also be presented to the creator as the presented content, so the creator can create his / her own new content by referring to the presented existing content.
  • the creator can create content by referring to the presented content, and sell and distribute the content.
  • Second Embodiment> [2-1. Configuration of information processing device 200] Next, a second embodiment of the present technique will be described.
  • the second embodiment utilizes the emotions of consumers to generate new content. "Creating new content by utilizing consumer emotions” means generating new content so that the excitement of consumer emotions toward the content follows a specific pattern.
  • the configuration of the processing block of the information processing apparatus 200 in the second embodiment will be described with reference to FIG.
  • the information processing device 200 is different from the first embodiment in that it includes an emotion prediction unit 201. Since the other configurations are the same as those of the first embodiment, the description thereof will be omitted.
  • the emotion prediction unit 201 predicts the ups and downs of the consumer's emotions with respect to a specific scene in the consumer's content.
  • the predicted value of this emotional ups and downs is presented to the creator together with a plurality of scene candidates, and the creator selects a scene to be included in the content by referring to the predicted value.
  • the state information acquisition device 500 acquires the state information of the consumer at the time of consuming the content, associates it with the reproduction position in the content (elapsed time from the start of content reproduction), and stores it in the consumer state information storage unit 111.
  • the consumer state information is not the sensor information as it is, but the emotion prediction unit 201 uses various classifiers separately to map the consumer state information to uniaxial numerical values such as negative and positive, tension and excitement. Is converted into emotional information indicating the consumer's feelings toward the content.
  • various classifiers convert consumer status information, such as consumer behavior and reaction when viewing content, into numerical values indicating emotions toward the content.
  • consumer status information such as consumer behavior and reaction when viewing content
  • the action of "distracting the line of sight” is regarded as a negative reaction, and is quantified as a negative value according to the number of times the line of sight is distracted during content consumption and the time distracted.
  • the reaction of "smile” is regarded as a positive reaction, and is quantified as a positive value according to the number of smiles during content consumption and the time of smile.
  • the reaction of sweating is regarded as a negative reaction, and is quantified as a negative value according to the amount of sweating during content consumption. In this way, all actions and reactions of the consumer as consumer status information are converted into numerical values expressing the consumer's emotions.
  • the emotion prediction unit 201 inputs the consumer state information and the information indicating the degree of emotion input by the consumer by causing the consumer to input information indicating the degree of emotion (such as a 5-grade evaluation) while viewing the content.
  • Consumer state information may be converted into emotional information by associating with each other.
  • the emotional information (excitement) of the consumer may be that of one consumer or that of a consumer set consisting of a plurality of consumers.
  • the excitement is the average of multiple consumers.
  • the emotion prediction unit 201 sets the content feature amount at time t to ft (for example, image information, characters, music, etc. in a certain scene of a movie), consumer state information of consumer u, and consumer feature information to fu (for example, gender).
  • ft for example, image information, characters, music, etc. in a certain scene of a movie
  • consumer state information of consumer u for example, gender
  • consumer feature information to fu for example, gender.
  • the model g may use the content feature amounts f (t-1), f (t-2), ..., Etc. in the past time as inputs. Further, the excitement does not have to be related to each consumer, and for example, the average value of a plurality of consumers who have consumed the content may be used.
  • the creator can, for example, compare and examine a plurality of scene candidates in determining what kind of scene should be the next scene of a specific scene in a movie.
  • Candidates for multiple scenes are converted into content features (ft), and the most suitable scene is selected to realize the pattern of excitement intended by the production side.
  • the prediction value of the final excitement when the scene is selected (for example, the average value of the prediction evaluation for all consumers) may be presented to the creator.
  • the information processing device 200 associates the scene candidate with the predicted value of the excitement and presents it to the creator in the content generation user interface described later. Then, when the creator selects and inputs a scene candidate to be adopted with reference to the predicted value of excitement, the scene selection information is supplied to the content generation unit 116, and the content generation unit 116 becomes the scene selection information. Generate content based on.
  • FIG. 19 illustrates a user interface for content generation using consumer emotion information and content generation.
  • the content generation user interface includes a graph display unit 401, a scene candidate display unit 402, and a predicted value display unit 403.
  • the graph display unit 401 shows a graph in which the horizontal axis is the time (playback position) of the video content and the vertical axis is the consumer's emotional information (excitement) with respect to the video content.
  • the scene candidate display unit 402 shows the content of a specific image of the scene candidate.
  • the predicted value display unit 403 shows the predicted value of the excitement for each scene candidate.
  • the excitement of the consumer intended by the creator is represented by a solid line. Then, it is shown that there are scene candidate A, scene candidate B, and scene candidate C as scene candidates at the time t1. Each scene candidate A to C is displayed on the scene candidate display unit 402.
  • the scene candidate display in the scene candidate display unit 402 may be in any form as long as the creator can grasp the contents of the scene, such as still images, storyboards, illustrations, and moving images.
  • the predicted value (predicted value of emotional ups and downs) of each scene candidate predicted by the emotion prediction unit 201 is indicated by a broken line and a dot on the graph, and the creator uses this predicted value. You can judge which scene candidate to adopt by looking at it. In the case of FIG. 19, if the scene candidate B is selected, the video content closest to the creator's intention can be generated. Further, the creator can confirm the specific predicted value of each scene candidate on the predicted value display unit 403.
  • the image, video, etc. representing the scene displayed on the scene candidate display unit 402 may be edited by the creator so that the excitement of the edited scene can be dynamically predicted.
  • the scene selection information is supplied to the content generation unit 116 and the content generation unit 116. Generates new content to include scene candidate B.
  • the second embodiment of the present technique is configured.
  • the new content can be generated according to the excitement of the consumer's emotion, and the intention of the creator can be more reflected in the new content.
  • the above-mentioned second embodiment is an example of video content such as a movie in which the content progresses with the passage of time, but the content is not limited to that. Any content may be used as long as the content progresses, and music, comics, etc. may be used.
  • emotional information is not limited to excitement. Any emotion that can be converted from consumer status information, such as joy, fun, anger, and sadness, can be used.
  • the present technology can also take the following configurations.
  • a content generator that generates new content based on input information and state information that indicates the state when the consumer consumes the content.
  • a presentation content determination unit that determines the presentation content presented to the creator of the content from either or both of the new content and the existing content, and the presentation content determination unit.
  • Information processing device equipped with (2) The information processing device according to (1), wherein the input information is input content input by the creator. (3) The information processing device according to (1) or (2), wherein the content generation unit generates the new content based on the characteristic information of the consumer. (4) It is equipped with a conversion processing unit that converts the input information into information for generating new content.
  • the information processing device according to any one of (1) to (3), wherein the content generation unit generates the new content based on the new content generation information.
  • the information processing device according to any one of (1) to (4), wherein the content generation unit generates the new content based on evaluation information of the existing content by the consumer.
  • the information processing device according to any one of (2) to (4), wherein the content generation unit generates the new content based on control information.
  • the information processing apparatus is information indicating conditions in the input content and the new content.
  • the content generation unit performs processing in the learning stage and the generation stage, and performs processing.
  • the presented content determination unit determines the presented content from one or both of the new content and the existing content based on the degree of similarity with the input information. Information processing equipment. (10) The information processing device according to (9), wherein the presented content determination unit sorts the new content and the existing content in descending order of similarity with the input information to obtain the presented content.
  • the information processing apparatus according to any one of (1) to (13), wherein when the presented content is presented to the producer, the input content having a high degree of similarity to the presented content is also presented.
  • the information processing apparatus according to any one of (1) to (14), wherein when the presented content is presented to the content creator, an element of the input content that contributes to the similarity is also presented.
  • the presented content determination unit determines the presented content from one or both of the new content and the existing content based on the prediction of consumption or evaluation by the consumer (1) to (15).
  • (17) The information processing device according to any one of (1) to (16), which is a keyword indicating the content of the new content.
  • the content generation unit generates the new content by using the scene candidate selected by the creator from among the plurality of scene candidates presented to the creator, according to any one of (1) to (17).
  • the information processing device described. (19) Generate new content based on the input information and the state information that indicates the state when the consumer consumes the content.
  • (20) Generate new content based on the input information and the state information that indicates the state when the consumer consumes the content.
  • An information processing program that causes a computer to execute an information processing method for determining the presented content presented to the creator of the content from one or both of the new content and the existing content.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Resources & Organizations (AREA)
  • Game Theory and Decision Science (AREA)
  • Social Psychology (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Neurosurgery (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Quality & Reliability (AREA)

Abstract

コンテンツの制作者に対してコンテンツ制作の参考になる適切なコンテンツを提示することができる情報処理装置、情報処理方法、情報処理プログラムを提供する。　入力情報と、消費者がコンテンツを消費した際の状態を示す状態情報とに基づいて新コンテンツを生成するコンテンツ生成部と、新コンテンツと既存コンテンツのいずれか一方または両方からコンテンツの制作者に提示される提示コンテンツを決定する提示コンテンツ決定部とを備える情報処理装置である。

Description

情報処理装置、情報処理方法、情報処理プログラム
　本技術は、情報処理装置、情報処理方法、情報処理プログラムに関する。
　従来からインターネット上には、ニュースや映画、テレビ番組、音楽、小説、漫画、イラストなどの多種多用なコンテンツが公開されており、消費者がそれらのコンテンツを消費する機会が増加している。近年、グローバルなコンテンツ配信サービスが普及し、コンテンツの需要が増加し、さらにコンテンツを消費する消費者も増えたことにより、多様な消費者の好みに対応したコンテンツを制作することが重要になっている。
　しかし、現状、コンテンツの制作者はそのような需要の拡大やプラットフォームの拡大には追いついているとは言い難い。また、コンテンツ制作者と協調して、特定の消費者集合に対応したコンテンツを効率的に制作するための技術は提案されていない。コンテンツの制作については、任意のコンテンツから消費者の好みに応じたダイジェストを生成する技術が提案されている（特許文献１）。
特開２０１２－３９５５０号公報
　しかし、特許文献１に記載の技術はあくまでコンテンツのダイジェストを生成するものであり、様々な消費者の好みに応じたコンテンツを生成したり、コンテンツの制作者が消費者の好みに応じたコンテンツを生成することをアシストするものではない。コンテンツの制作者が需要の拡大やプラットフォームの拡大には追いついているとは言い難い現状においては、コンテンツの制作者が効率よくコンテンツを制作できるように情報を提示する技術が必要である。
　本技術はこのような点に鑑みなされたものであり、コンテンツの制作者に対してコンテンツ制作の参考になる適切なコンテンツを提示することができる情報処理装置、情報処理方法、情報処理プログラムを提供することを目的とする。
　上述した課題を解決するために、第１の技術は、入力情報と、消費者がコンテンツを消費した際の状態を示す状態情報とに基づいて新コンテンツを生成するコンテンツ生成部と、新コンテンツと既存コンテンツのいずれか一方または両方からコンテンツの制作者に提示される提示コンテンツを決定する提示コンテンツ決定部とを備える情報処理装置である。
　また、第２の技術は、入力情報と、消費者がコンテンツを消費した際の状態を示す状態情報とに基づいて新コンテンツを生成し、新コンテンツと既存コンテンツのいずれか一方または両方の中からコンテンツの制作者に提示される提示コンテンツを決定する情報処理方法である。
　さらに、第３の技術は、入力情報と、消費者がコンテンツを消費した際の状態を示す状態情報とに基づいて新コンテンツを生成し、新コンテンツと既存コンテンツのいずれか一方または両方の中からコンテンツの制作者に提示される提示コンテンツを決定する情報処理方法をコンピュータに実行させる情報処理プログラムである。
情報処理装置１００の構成を示すブロック図である。 第１の実施の形態にかかる情報処理装置１００の処理ブロックを示すブロック図である。 消費者状態情報の説明図である。 情報処理装置１００による処理を示すフローチャートである。 ＧＡＮを用いたコンテンツ生成の説明図である。 ＶＡＥとＭＦを用いたコンテンツ生成の第１の方法の説明図である。 ＶＡＥとＭＦを用いたコンテンツ生成の第２の方法の説明図である。 提示コンテンツの決定処理を示すフローチャートである。 入力用ユーザインターフェースの例を示す図である。 入力用ユーザインターフェースの例を示す図である。 入力用ユーザインターフェースの例を示す図である。 入力用ユーザインターフェースの例を示す図である。 入力用ユーザインターフェースの例を示す図である。 提示用ユーザインターフェースの例を示す図である。 提示用ユーザインターフェースの例を示す図である。 提示用ユーザインターフェースの例を示す図である。 第２の実施の形態にかかる情報処理装置２００の処理ブロックを示すブロック図である。 コンテンツの時間と消費者の感情の関係を示すグラフである。 消費者の感情情報を用いたコンテンツ生成用ユーザインターフェースの例を示す図である。
　以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．第１の実施の形態＞
［１－１．情報処理装置１００の構成］
［１－２．情報処理装置１００による処理］
［１－３．ユーザインターフェースの具体例］
＜２．第２の実施の形態＞
［２－１．情報処理装置２００の構成］
［２－２．消費者の感情情報を用いたコンテンツ生成］
＜３．変形例＞
＜１．実施の形態＞
［１－１．情報処理装置１００の構成］
　まず図１を参照して情報処理装置１００の構成について説明する。情報処理装置１００は制御部１０１、記憶部１０２、インターフェース１０３、入力部１０４、表示部１０５を備えて構成されている。
　制御部１０１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＣＰＵがＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって情報処理装置１００の全体および各部の制御を行う。
　記憶部１０２は、例えば、ハードディスク、フラッシュメモリなどの大容量記憶媒体である。
　インターフェース１０３は状態情報取得装置５００や他の装置、さらにインターネットなどとの間のインターフェースである。インターフェース１０３は、有線または無線の通信インターフェースを含みうる。また、より具体的には、有線または無線の通信インターフェースは、３ＴＴＥなどのセルラー通信、Wi-Fi、Bluetooth（登録商標）、ＮＦＣ、イーサネット（登録商標）、ＳＤＩ（Serial Digital Interface）、ＨＤＭＩ（登録商標）、ＵＳＢ（Universal Serial Bus）、４Ｇ（第４世代移動通信システム）、５Ｇ（第５世代移動通信システム）などを含みうる。また、情報処理装置１００と他の装置がハードウェア的に接続される場合、インターフェース１０３は、装置間の接続端子や、装置内のバスなどを含みうる。また、情報処理装置１００が複数の装置に分散して実現される場合、インターフェース１０３は、それぞれの装置のための異なる種類のインターフェースを含みうる。例えば、インターフェース１０３は、通信インターフェースと装置内のインターフェースとの両方を含んでもよい。
　入力部１０４は情報処理装置１００に対して各種指示など行うためのものである。入力部１０４に対してユーザから入力がなされると、その入力に応じた制御信号が生成されて制御部１０１に供給される。そして、制御部１０１はその制御信号に対応した各種処理を行う。入力部１０４としては各種ボタン、タッチパネル、表示部１０５としてのディスプレイと一体に構成されたタッチスクリーンなどがある。
　表示部１０５は、コンテンツ、ＧＵＩ（Graphical User Interface）などを表示するものである。表示部１０５としては、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬパネルなどにより構成されたものがある。
　情報処理装置１００は例えば、パーソナルコンピュータ、スマートフォン、タブレット端末、サーバ装置などにより構成される。
　図２を参照して情報処理装置１００の処理ブロックの構成について説明する。情報処理装置１００は、消費者状態情報保存部１１１、消費者特徴情報保存部１１２、コンテンツデータベース１１３、変換処理部１１４、新コンテンツ生成用情報保存部１１５、コンテンツ生成部１１６、提示コンテンツ決定部１１７を備えて構成されている。
　消費者状態情報保存部１１１、消費者特徴情報保存部１１２、コンテンツデータベース１１３、新コンテンツ生成用情報保存部１１５は記憶部１０２において実現される機能であり、各保存部においてデータや情報を記憶する指示や制御は制御部１０１により行われる。また、変換処理部１１４、コンテンツ生成部１１６、提示コンテンツ決定部１１７は制御部１０１における処理により実現される機能である。
　コンテンツとは、映画、テレビ番組、映像、音楽、音声、文芸、写真、漫画、アニメーション、イラスト、コンピュータゲーム、プログラム、文字列など、人間の創造的活動により生み出され、教養又は娯楽の範囲に属するものである。
　コンテンツの消費とは、映画やテレビ番組などの映像コンテンツであれば視聴すること、イラストや写真などの画像コンテンツであれば見ること、音楽などの音声コンテンツであれば聴くこと、文字のコンテンツであれば読むことなど、各種コンテンツごとの様々な利用形態を含むものである。消費者とはそのようなコンテンツの消費を行う者である。
　制作者とはコンテンツを制作する者であり、具体的には、映画監督、テレビ番組のプロデューサー、映像作家、音楽家、作家、写真家、漫画家、アニメーター、イラストレーター、ゲームクリエイター、プログラマーなどである。制作者は個人の場合もあれば制作会社などの組織の場合もあり、本技術はいずれかに限定されるものではない。
　本実施の形態ではコンテンツ配信サービスにおける配信によりコンテンツが消費者に提供されるものとする。配信とはインターネットなどネットワークにおけるデータの送信によりコンテンツを提供することである。コンテンツの提供方法は、データのダウンロード、ストリーミングなど消費者がコンテンツを消費することができればどのような方法でもよい。
　消費者状態情報保存部１１１は、状態情報取得装置５００により取得される、消費者のコンテンツ配信サービスに対する行動や、コンテンツ消費時における消費者の行動や反応など、消費したコンテンツに対する消費者の状態を示す消費者状態情報を保存するものである。
　コンテンツ配信サービスに対する消費者の行動としては、例えば、消費したコンテンツのタイトルや種類やジャンル、コンテンツの詳細ページの閲覧の有無、お気に入りやウォッチリストの登録内容、等がある。
　コンテンツ消費時における消費者の行動や反応としては、例えば、コンテンツの視聴完了、コンテンツの再生を停止（一時停止含む）する、「いいね」や「Like」の入力、コンテンツの再生を早送りする、コンテンツを変える、笑顔になる、顔をそむける、視線をそらす、目をつむる、手を叩く、手で顔を覆う、特定の文言を発する（面白い、好き、嫌い、気持ち悪いなど）、大声を出す、移動する、などがある。
　消費者状態情報にはコンテンツ消費時における消費者の発汗量、体温、心拍数などの生体情報を含めてもよい。
　また、消費者状態情報に含まれる情報としては、消費者のコンテンツ詳細ページの閲覧履歴、消費者のコンテンツ購入履歴、消費者が入力した「いいね」や「Like」などから総合的に取得できる既存コンテンツに対する評価である消費者評価情報もある。
　状態情報取得装置５００としては、消費者がコンテンツの消費に使用するウェブブラウザ、コンテンツ配信サービスにおけるユーザインターフェース（ブラウザ上のアプリケーションやパーソナルコンピュータなどで動作するアプリケーションなど）などがある。また、カメラ、赤外線カメラ、赤外線センサ、マイクなど映像、画像、音声で消費者状態情報を取得できるデバイスもある。さらに、発汗センサや温度センサや心拍センサなどの各種生体センサもある。
　状態情報取得装置５００は情報処理装置１００やコンテンツ再生装置が備えていてもよいし、それらとは別の装置が備えていてもよいし、独立した装置として構成されてもよい。状態情報取得装置５００が情報処理装置１００と別体の装置として構成されている場合、情報処理装置１００は、状態情報取得装置５００が取得した状態情報をネットワークとインターフェース１０３を介して受信する。
　消費者状態情報は例えば図３に示すように、消費者集合を構成する個々の消費者を識別するためのユーザＩＤ、消費者が消費したコンテンツを識別するためのコンテンツＩＤ、それらの情報を取得した日時、コンテンツに対する消費者の状態が対応付られて構成される。
　消費者特徴情報保存部１１２は消費者特徴情報を保存するものである。消費者特徴情報として消費者の年齢、性別、国籍、住所、好みのコンテンツのジャンルなどがある。消費者特徴情報は、例えば、消費者がコンテンツ配信サービスにユーザ登録した際の入力内容などから取得することができる。
　さらに、消費者特徴情報としては、複数の消費者からなる消費者集合の行動ログなどから抽出したコンテンツの購入や消費頻度などの統計情報などもある。消費者集合は例えばコンテンツ配信サービスにおける全ての登録ユーザや、その登録ユーザにおいて特定の既存コンテンツを購入した全ての消費者などである。
　コンテンツデータベース１１３は、市場に流通しており、消費者がコンテンツ配信サービスを介して提供を受けることが可能なコンテンツである既存コンテンツを保存するものである。なお、コンテンツデータベース１１３は必ずしも情報処理装置１００が備えている必要はなく、外部のサーバなどにおいて構築され、情報処理装置１００がそれにアクセスすることで既存コンテンツを取得できるようにしてもよい。
　変換処理部１１４には制作者によって情報処理装置１００に入力された入力情報が供給される。変換処理部１１４は入力情報を新コンテンツ生成用情報に変換する処理を行う。変換処理の詳細は後述する。
　入力情報とは、制作者により入力される新コンテンツ生成のための情報であり、入力コンテンツ、入力キーワードなどを含むものである。新コンテンツ生成用情報はコンテンツ生成部１１６によるコンテンツ生成に用いられる情報である。新コンテンツ生成用情報は生成されると新コンテンツ生成用情報保存部１１５に保存される。
　入力コンテンツとは、コンテンツ生成部１１６による新コンテンツ生成の条件や要素として制作者により入力されたコンテンツである。制作者は入力コンテンツとして市場に流通していて消費者が利用可能な既存コンテンツ、制作者または制作会社が過去に制作した既存コンテンツなどを入力コンテンツとして入力することができる。入力コンテンツは完成した１つのコンテンツだけではなく、コンテンツを構成するコンテンツの一部分（コンテンツのパーツ）でもよい。例えば、入力コンテンツは静止画像、映像、絵コンテ、ＣＧ（Computer Graphic）画像、シナリオ、画像やテキストで表現された登場人物の属性や容姿、メロディ、歌詞、文章などであってもよい。
　制作者による入力コンテンツの入力は、情報処理装置１００がコンテンツデータベース１１３に保存されている既存コンテンツを制作者に提示して、制作者がその中から入力コンテンツとするコンテンツを選択することで行うことができる。また、制作者がコンテンツのデータを情報処理装置１００に入力することで入力コンテンツの入力を行ってもよい。
　入力キーワードとは、コンテンツ生成部１１６による新コンテンツ生成の条件や要素として制作者により入力されるキーワードである。入力キーワードは新コンテンツの内容、コンセプトなどを表すキーワードであるともいえる。
　制作者による入力キーワードの入力は、情報処理装置１００が予めテンプレートとして用意している複数のキーワードを制作者に提示して、制作者がその中から入力キーワードとするキーワードを選択することで行うことができる。また、制作者がキーワードとしての文字列として直接入力することで入力キーワードの入力を行ってもよい。
　なお、制作者が入力する入力情報は一つに限られず、複数でもよく、その数に制限はない。また、制作者は入力コンテンツと入力キーワードの両方を入力することもできる。
　コンテンツ生成部１１６は、入力情報から生成された新コンテンツ生成用情報、消費者状態情報、消費者特徴情報、消費者評価情報などに基づいて新コンテンツを生成する。コンテンツ生成部１１６は一つのコンテンツを生成するだけでなく、複数のコンテンツを生成することもできる。また、コンテンツ生成部１１６が生成する新コンテンツの種類は入力コンテンツの種類や入力キーワードによって限定されるものではなく、コンテンツとして消費者が消費することができるものであればどのようなものでもよい。
　提示コンテンツ決定部１１７は、コンテンツ生成部１１６が生成した新コンテンツと、コンテンツデータベース１１３に保存されている複数の既存コンテンツのいずれか一方または両方の中から制作者に提示するコンテンツである提示コンテンツを決定する。提示コンテンツは制作者によるコンテンツ制作のアイデア、ヒントなどとして制作に提示されるものである。決定された提示コンテンツは提示コンテンツ情報として出力され、表示部１０５等において表示されて制作者に提示される。
　情報処理装置１００は以上のようにして構成されている。情報処理装置１００はその機能を有するハードウェアによる専用の装置として構成されてもよい。また、情報処理装置１００は専用の装置として構成されるのみでなく、プログラムにより構成され、そのプログラムの実行により電子機器が情報処理装置１００として機能を備えるようにしてもよい。そのプログラムは予め電子機器にインストールされていてもよいし、ダウンロードや記憶媒体などで配布されて、消費者が自ら電子機器にインストールするようにしてもよい。
　コンテンツ配信サービス事業者がコンテンツの制作を行う場合、情報処理装置１００はコンテンツ配信サービス事業者の電子機器において動作する。また、制作者がコンテンツの制作を行い、コンテンツ配信サービス事業者がそのコンテンツの配信を行う場合、例えば、変換処理部１１４、新コンテンツ生成用情報保存部１１５、コンテンツ生成部１１６、提示コンテンツ決定部１１７は制作者の電子機器において動作し、消費者状態情報保存部１１１、消費者特徴情報保存部１１２、コンテンツデータベース１１３はコンテンツ配信サービス事業者の電子機器において動作する。
［１－２．情報処理装置１００による処理］
　次に情報処理装置１００による処理を図４のフローチャートを参照して説明する。なお、予め消費者特徴情報は消費者特徴情報保存部１１２に保存されているものとする。
　まずステップＳ１０１で、情報処理装置１００は状態情報取得装置５００から消費者状態情報を取得して消費者状態情報保存部１１１に保存する。なお、情報処理装置１００はコンテンツ生成時、提示コンテンツ決定時に限らず、常時状態情報取得装置５００から消費者状態情報を取得して消費者状態情報保存部１１１に保存して消費者状態情報を蓄積している。
　次にステップＳ１０２で、情報処理装置１００は制作者から入力情報の入力を受け付ける。
　次にステップＳ１０３で、変換処理部１１４が変換処理により入力情報を新コンテンツ生成用情報に変換する。変換処理部１１４による変換処理は入力情報からの情報の抽出とモデル化により行う。
　モデルとしては、例えばトピックモデルやニューラルネットワーク、Factorization Machinesなどを用いることができる。例えばトピックモデルを用いる場合、入力情報としての１つのコンテンツを１つの文書とみなし、入力情報に含まれるキーワードなどを単語とみなし、ＬＤＡ（Latent Dirichlet Allocation）などによって入力情報をトピックベクトルに圧縮する。そのようなテキスト情報である入力情報をＬＤＡで処理する場合、前処理として入力情報を単語もしくは単語の集合に分解してトピックベクトルにする。このとき、消費者のフィードバック（評価値など）を活用し、消費者の評価に寄与するようなトピックを抽出するために、Supervised topic modelなどを利用してもよい。入力情報がシナリオ、設定文、文章、キーワード等のテキスト情報である場合は、例えばＬＳＴＭ（Long Short Term Memory）やTransformerなどのニューラルネットワークのモデルでベクトル化する。入力情報が画像である場合は情報の抽出を行わずに、例えばＶＡＥ（Variational Auto Encoder）などで適宜圧縮し、ベクトル（あるいはテンソル）として扱えるように変換する。
　入力情報からの情報の抽出は、例えば、入力情報としてのコンテンツに関しては上述した各種モデルでベクトル化した各コンテンツのトピックベクトルの平均値を取るなどの方法により行うことができる。あるいは、モデルとしてトピックモデルを用いるとして、入力情報の特徴量と、制作者が入力コンテンツとは別に選択した入力キーワードをまとめて１つの文書とみなし、学習済みのモデルを利用して同様のトピックベクトルに変換してそれを新コンテンツ生成用情報としてもよい。また、必ずしも制作者により入力された各種の入力情報をひとまとめにしなくても、入力情報としてのコンテンツやキーワードをそのまま後述する「提示コンテンツの選択」における提示コンテンツの選択やソートのための入力情報として利用してもよい。
　変換処理部１１４は、入力情報に他の処理を施さずにベクトル化する場合もあれば、入力情報から情報を抽出してその抽出した情報をベクトル化する場合もある。
　次にステップＳ１０４で、コンテンツ生成部１１６が新コンテンツを生成する。新コンテンツの生成は図５に示すように、例えばConditional GAN（Generative Adversarial Network）を利用して行うことができる。Conditional GANにおける生成器（Generator）に対する入力は、ノイズ、新コンテンツ生成用情報、消費者状態情報および消費者特徴情報、消費者状態情報に含まれる消費者評価情報である。
　新コンテンツ生成用情報は変換処理部１１４により変換されたもので固定である。
　消費者特徴情報は、新コンテンツ生成用情報を生成するために用いられた入力情報に関連する消費者（例えば入力コンテンツを購入・評価している消費者や入力キーワードでコンテンツを検索・購入した消費者）についての消費者特徴情報である。コンテンツ生成部１１６はその消費者特徴情報を消費者特徴情報保存部１１２から読み出して新コンテンツ生成に使用する。
　消費者評価情報は、例えば、新コンテンツ生成用情報を生成するために用いられた入力情報に関連する消費者（上記と同様）の既存コンテンツに対する評価情報である。コンテンツ生成部１１６はその消費者評価情報を消費者状態情報保存部１１１から読み出して新コンテンツ生成に使用する。
　Conditional GANにおける分類器（Discriminator）に対する入力は、新コンテンツ生成用情報、消費者状態情報および消費者特徴情報、消費者状態情報に含まれる消費者評価情報、新コンテンツ生成用情報を生成するために利用された入力情報に関連するコンテンツ、コンテンツそのものである。「コンテンツそのもの」とは、生成器によって生成されたコンテンツ（図５中のgenerated content）、または、既存コンテンツ（生成器から吐き出されたものではなく実在するコンテンツ）の中の任意のコンテンツ（図５中のreal content）である。分類器は「コンテンツそのもの」と、その他の情報（新コンテンツ生成用情報、消費者状態情報および消費者特徴情報、消費者状態情報に含まれる消費者評価情報）を合わせて既存コンテンツか生成されたコンテンツかを分類する。よって、既存コンテンツに関しては原則ランダムに選択される。
　新コンテンツ生成用情報は変換処理部１１４により変換されたもので固定である。
　新コンテンツ生成用情報を生成するために利用された入力情報に関連するコンテンツとは、新コンテンツ生成用情報の抽出元に直接含まれるコンテンツ、あるいは入力キーワードなどである。
　消費者特徴情報と消費者評価情報は、新コンテンツ生成用情報を生成するために利用された入力情報に関連するコンテンツを評価している消費者の消費者特徴情報とその消費者評価情報である。
　なお、生成器Ｇは必ずしも入力が必要なわけではなく、例えば通常のGANなどで生成し、次のステップで各種の観点でフィルタリングやソートを行ってもよい。
　また、新コンテンツの生成はＶＡＥ（Variational Autoencoder）とＭＦ（Matrix Factorization）を利用して行うこともできる。図６を参照してＶＡＥとＭＦを用いた新コンテンツの生成の第１の手法について説明する。
　ＶＡＥとＭＦを用いた新コンテンツの生成は学習段階と生成段階とに分けられる。図６Ａは新コンテンツの生成の第１の手法における学習段階を示したものである。学習段階では、第１エンコーダＥｍ、第２エンコーダＥｕ、特徴空間、デコーダＤｍ、予測器ｆｒで処理を行う。
　学習段階では第１エンコーダＥｍに新コンテンツ生成用情報が入力される。さらに、第２エンコーダＥｕには消費者状態情報および消費者特徴情報が入力される。説明の便宜上、消費者状態情報と消費者特徴情報をまとめて消費者情報とする。
　そして、新コンテンツ生成用情報および消費者情報を特徴空間上にマッピングし、デコーダＤｍを通してその特徴空間における特徴点からコンテンツを生成する。これにＭＦを応用することで消費者の評価を反映した特徴空間を作ることができる。
　具体的には図６Ａに示すように、新コンテンツ生成用情報を第１エンコーダＥｍでベクトル化（ベクトル化したものをコンテンツベクトルと称する。）し、消費者情報を第２エンコーダＥｕでベクトル化する（ベクトル化したものを消費者ベクトルと称する。）。さらに、ＭＦを用いた予測器f_rを用いて新コンテンツ生成用情報と変換された入力コンテンツに対する消費者の評価を予測する。予測器ｆｒは、新コンテンツ生成用情報をベクトル化したコンテンツベクトルと、消費者情報をベクトル化した消費者ベクトルに基づいて新コンテンツ生成用情報となった入力コンテンツに対する消費者の評価を予測するものである。
　消費者ベクトルとコンテンツベクトルの距離が評価器ｆｒに入る。消費者が新コンテンツ生成用情報としての入力コンテンツを高く評価していればしているほど特徴空間上において消費者ベクトルとコンテンツベクトルの距離が近くなるように学習される。そうすることで、消費者とその消費者が高く評価した入力コンテンツは特徴空間上での距離が短くなるようにマッピングされる。
　図６ＢはＶＡＥを用いた新コンテンツの生成の生成段階を示したものである。生成段階では、学習段階で形成された特徴空間およびデコーダＤｍで処理を行う。新コンテンツ生成時には、特徴空間上でターゲットとなる消費者群が集まった領域の点からデコーダＤｍが新コンテンツを生成することによって、狙った消費者層から高評価が得られやすい新コンテンツを生成することができる。
　次に図７を参照してＶＡＥとＭＦを用いた新コンテンツの生成の第２の手法について説明する。上述の第１の手法では任意の条件に応じた新コンテンツを生成することができない。任意の条件とは例えば新コンテンツのジャンルや、新コンテンツ内に登場するキャラクターなどである。そこで第２の手法では、任意の条件に応じた新コンテンツの生成を可能とするために、特徴空間上に任意の条件を特定するための制御用次元を設けてＶＡＥにおける学習を行う。ここでは入力コンテンツおよび新コンテンツを映画の脚本とし、任意の条件を映画のジャンルとして説明を行う。
　図７Ａは新コンテンツの生成の第２の手法における学習段階を示したものである。学習段階では、第１エンコーダＥｍ１、第２エンコーダＥｍ２、第３エンコーダＥｕ、特徴空間、第１デコーダＤｍ１、第２デコーダＤｍ２、予測器ｆｒで処理を行う。
　第２の手法では新コンテンツ生成用情報に制御用情報が含まれている。制御用情報とは任意の条件を備えた新コンテンツを生成するために、新コンテンツの生成を制御する情報である。変換処理部１１４は、製作者によって入力された入力情報としてのジャンルを特定する情報を制御用情報に変換し、制御用情報を含めて新コンテンツ生成用情報とする。
　ジャンルを特定する情報の入力のためには、情報処理装置１００において予め映画のジャンルを定義して分類しておく（例えば、ホラー、コメディ、ミステリー、など）。製作者はその定義づけられたジャンルのいずれかを指定することで入力情報としてジャンルを特定する情報を入力することができる。例えば、予め１０個のジャンルを定義していた場合、１０次元のベクトルのうち指定されたジャンルに１が立ち、それ以外のジャンルは０となる。なお、製作者によるジャンルの指定は一つでもよいし、複数指定できるようにしてもよい。
　なお、学習段階で、新コンテンツ生成用情報に変換される入力コンテンツのジャンルと、制御用情報に変換される入力コンテンツの条件を示す情報、すなわち、入力コンテンツのジャンルを特定する情報におけるジャンルは一致している必要がある。
　学習段階では第１エンコーダＥｍ１に新コンテンツ生成用情報の制御用情報以外の情報が入力される。また、第２エンコーダＥｍ２に制御用情報が入力され、特徴空間上の特定の次元では制御用情報のみを表現する。図７Ａ、図７Ｂでは特徴空間上における縦軸が制御情報に対応しており、横軸が制御用情報以外の新コンテンツ生成用情報に対応している。さらに、第２エンコーダＥｕには消費者状態情報および消費者特徴情報が入力される。消費者状態情報および消費者特徴情報をまとめて消費者情報とする。
　そして、新コンテンツ生成用情報および消費者情報を特徴空間上にマッピングし、第１デコーダＤｍ１を通してその特徴空間における特徴点からコンテンツを生成し、第２デコーダＤｍ２から制御用情報を生成して学習を行う。これにＭＦを応用することで消費者の評価を反映したコンテンツの特徴空間を作ることができる。
　図７ＢはＶＡＥを用いた新コンテンツ生成の第２の手法の生成段階における処理を示したものである。生成段階では、第２エンコーダＥｍ２と特徴空間と第１デコーダＤｍ１で処理を行う。
　図７Ｂに示すように、生成段階では、第２エンコーダＥｍ２に入力された制御用情報に応じて特徴空間における制御用次元を固定して特徴空間上でターゲットとなる消費者群が集まった領域の点から第１デコーダＤｍ１が新コンテンツを生成する。これにより、制御用情報に応じている、すなわち任意の条件に応じ、かつ、狙った消費者層から高評価が得られやすい新コンテンツを生成することができる。
　例えば、製作者が新コンテンツとしてコメディ映画の脚本を生成したい場合を考える。この場合、任意の条件はコメディというジャンルである。学習段階では既存のコメディ映画の脚本を入力情報とした新コンテンツ生成用情報を第１エンコーダＥｍ１に入力し、コメディというジャンルを特定する情報が変換された制御用情報を第２エンコーダＥｍ２に入力して学習を行う。そして生成段階では、コメディというジャンルを特定する情報が変換された制御用情報を第２エンコーダＥｍ２に入力すると、特徴空間上における制御用情報に対応する軸上の点であり、かつ、ターゲットとなる消費者群付近の特徴点から第１デコーダＤｍ１によって新コンテンツとしてのジャンルがコメディである映画の脚本が生成される。これにより、任意の条件である製作者が希望するジャンルで、狙った消費者群から高評価が得られやすい新コンテンツを生成できる。
　なお、上述の第２の手法の説明では新コンテンツ生成用情報と制御用情報を分けて、それぞれが異なるエンコーダに入力するように説明した。しかし、制御用情報を新コンテンツ生成用情報に含めて、一つのエンコーダに入力するようにしてもよい。例えば、任意の条件がコンテンツのジャンルである場合、変換処理部１１４は、入力コンテンツやキーワードに加え、入力されたジャンルを特定する情報も含めて新コンテンツ生成用情報に変換する。
　上述の説明では制御用情報はコンテンツに対する任意の条件をジャンルとして説明を行ったが、他の条件で新コンテンツを生成することもできる。例えば、映画コンテンツに出演する役者を示す情報を制御用情報に変換することで、任意の条件として出演する役者を特定した新コンテンツとしての映画コンテンツを生成することができる。このように、任意の条件はコンテンツを構成する要素に関するものであればどのようなものでもよい。
　図４のフローチャートの説明に戻る。次にステップＳ１０５で、提示コンテンツ決定部１１７が新コンテンツと既存コンテンツの中から制作者に提示するコンテンツである提示コンテンツを決定する。なお、制作者が入力情報として入力した入力コンテンツが配信されているものである場合、既存コンテンツにはその入力コンテンツも含まれる。提示コンテンツ決定部１１７は、新コンテンツと既存コンテンツに対してソートと選択の両方またはいずれか一方を行うことにより提示コンテンツを決定する。ソートとは、制作者に提示するコンテンツを提示する順序を決定することである。
　提示コンテンツ決定部１１７は、入力コンテンツまたは新コンテンツ生成用情報に対する全体的な類似度に基づいて複数の新コンテンツと既存コンテンツをソートし、さらにその中から選択することにより提示コンテンツを決定する。選択は、閾値を予め設定しておき、入力コンテンツに対する全体的な類似度が閾値以上の新コンテンツと既存コンテンツを提示コンテンツとして選ぶことで行なう。
　また、入力コンテンツまたは新コンテンツ生成用情報に対する部分的な類似度に基づいて複数の新コンテンツと既存コンテンツをソートし、さらにその中から選択することにより提示コンテンツを決定することもできる。選択は、閾値を予め設定しておき、入力コンテンツに対する部分的な類似度が閾値以上の新コンテンツと既存コンテンツを提示コンテンツとして選ぶことで行なう。
　さらに、既存コンテンツにおいては、視聴率や購入率に基づいても複数の新コンテンツと既存コンテンツをソートし、さらに視聴その中から選択することにより提示コンテンツを決定することもできる。選択は、閾値を予め設定しておき、視聴率や購入率が閾値以上の新コンテンツと既存コンテンツを提示コンテンツとして選ぶことで行なう。
　選択方法には、入力コンテンツとの類似度に基づく方法と、新コンテンツ生成用情報との類似度に基づく方法があるが、制作者がどちらの方法を使用するかを選べるようにしてもよいし、予めデフォルトでどちらかの方法に設定されていてもよい。なお、どちらの方法においても入力コンテンツは一つでもよいし、複数でもよく、入力コンテンツの数に限定はない。
　また、ソートされた新コンテンツと既存コンテンツのソート順の上位Ｎ個を選択して提示コンテンツとして決定することもできる。Ｎの値は予め設定されていてもよいし、制作者が任意の値に設定できるようにしてもよい。
　次にステップＳ１０６で、提示コンテンツ決定部１１７により決定された提示コンテンツが表示部１０５において表示されて制作者に提示される。
　提示コンテンツを制作者に提示する際には、提示コンテンツ決定部１１７でソートされた順に提示コンテンツが提示される。また、提示コンテンツを提示する際に、提示コンテンツに類似度が高い入力コンテンツ、提示コンテンツに類似度が高い入力コンテンツの類似度に寄与した入力コンテンツの特徴などを共に提示してもよい。これにより、提示コンテンツと入力コンテンツの関係を制作者が理解することができ、なぜこのような提示コンテンツがこのような順番で提示されているのかということを制作者が理解することができる。表示部１０５における提示コンテンツの提示方法は後述する。
　次にステップＳ１０７で、提示コンテンツを確認した制作者が情報処理装置１００にフィードバックを入力した場合、処理はステップＳ１０８に進む（ステップＳ１０７のＹｅｓ）。
　制作者は提示された提示コンテンツを確認し、さらに新コンテンツの再生成や、別の提示コンテンツの提示が必要であると考えた場合、フィードバックとして入力情報の追加、削除、変更を行うことができる。
　次にステップＳ１０８で、新コンテンツ生成用情報保存部１１５に保存されている新コンテンツ生成用情報を更新する。フィードバックとして入力された入力情報を変換処理部１１４が新コンテンツ生成用情報に変換し、その新コンテンツ生成用情報を新コンテンツ生成用情報保存部１１５に保存することで新コンテンツ生成用情報を更新する。新コンテンツ生成用情報の生成は上述したステップＳ１０３における方法と同様である。
　一方、制作者からのフィードバックの入力がない場合、処理は終了となる（ステップＳ１０７のＮｏ）。
　次に図８のフローチャートを参照して提示コンテンツ決定部１１７による提示コンテンツの決定処理について説明する。
　まずステップＳ２０１で、入力コンテンツとの類似度に基づいてソートを行う場合、処理はステップＳ２０２に進む（ステップＳ２０１のＹｅｓ）。
　次にステップＳ２０２で、提示コンテンツ決定部１１７は新コンテンツと既存コンテンツを入力コンテンツとの類似度に基づいてソートする。
　そしてステップＳ２０３で、提示コンテンツ決定部１１７は、ソートされた新コンテンツと既存コンテンツから最終的に制作者に提示する提示コンテンツを選択して決定する。選択は上述したように閾値を用いた選択と、ソート順の上位Ｎ個を選択してする方法がある。
　説明はステップＳ２０１に戻り、入力コンテンツとの類似度に基づいてソートを行わない場合、処理はステップＳ２０４に進む（ステップＳ２０１のＮｏ）。この場合、新コンテンツ生成用情報との類似度に基づいてソートを行う。
　次にステップＳ２０４で、提示コンテンツ決定部１１７は新コンテンツと既存コンテンツを新コンテンツ生成用情報との類似度に基づいてソートする。
　そしてステップＳ２０３で、提示コンテンツ決定部１１７は、ソートされた新コンテンツと既存コンテンツから最終的に制作者に提示する提示コンテンツを選択して決定する。
　類似度は、新コンテンツ生成用情報がベクトルの場合は、各ベクトル間のユークリッド距離に対して単調減少する関数(例えばユークリッド距離dに対して exp(-d) など)やコサイン類似度などを用いて算出することができる。また、類似度算出の際に、入力コンテンツまたは新コンテンツ生成用情報のベクトルのうち、特に高い値(大きな絶対値)を持つ要素のみ(複数もあり)を利用してもよい。これによって、制作者にとって重要なポイントは押さえつつ、重要ではない要素に関しては制作者が取り込んでこなかった要素を含んだ提示コンテンツを制作者に提示することができ、制作者はその提示コンテンツを参考にして新たなコンテンツを制作することができる。
　また、提示コンテンツの決定は、類似度の基づく方法以外に、複数の消費者で構成される特定の消費者集合が購入または評価するか、という基準で行うことができる。
　その場合、特定の消費者集合を全消費者とすれば全消費者に広く受け入れられるであろうと予測される順序で新コンテンツと既存コンテンツをソートおよび選択して提示コンテンツを決定することができる。全消費者とは、例えば特定のコンテンツ配信サービスにおける全登録ユーザなどである。
　一方、特定の消費者集合を、入力コンテンツを購入した消費者のみで構成された消費者集合とすれば、既存の消費者に引き続き受け入れられるであろうと予測される順序で新コンテンツと既存コンテンツをソートおよび選択して提示コンテンツを決定することができる。
　なお、既存コンテンツはすでに配信がされているため、既存コンテンツに関しては、例えば全消費者集合あるいは入力コンテンツを購入した消費者集合を取得し、その消費者集合の中での既存コンテンツの販売数や販売率に基づいてソートおよび選択を行って提示コンテンツを決定することができる。なお、購入率に対する閾値を設定し、閾値以上の購入率を有する既存コンテンツを提示コンテンツとして決定することもできる。
　また、新コンテンツに関しては、消費者状態情報、消費者特徴情報、コンテンツ情報（消費者状態情報に含まれる、いずれかの消費者が消費や評価したコンテンツについての情報）などを用いて例えばFactorization Machinesなどで各消費者の各新コンテンツに対する評価値予測器を作成しておき、全消費者集合または既存コンテンツを購入した消費者集合に関して、各新コンテンツに対する予測値や平均値が高い順にソートおよび選択を行って提示コンテンツを決定することができる。これにより、全消費者集合または既存コンテンツを購入した消費者集合に受けいれられる（高く評価される）であろうと考えられる新コンテンツを提示コンテンツにできる。なお、予測値に対する閾値を設定し、閾値以上の予測値を有する新コンテンツを提示コンテンツとして決定することもできる。
さらに、制作者が過去に制作したコンテンツを消費したことがない消費者に評価される可能性に基づいて提示コンテンツを決定することもできる。
　入力コンテンツが、制作者が過去に制作した既存コンテンツである場合、それを消費していない消費者が消費あるいは評価するかという基準でソートおよび選択を行って提示コンテンツを決定する。これにより、まだ制作者が制作したコンテンツを消費したことがない消費者に向けたポートフォリオ（ラインナップ、カタログともいえる）を拡充する作品集合を知ることができる。このように決定した提示コンテンツを参照することにより、制作者は、制作者が制作したコンテンツをまだ消費したことがない消費者が高く評価するであろうと考えられるコンテンツを制作することができる。
　既存コンテンツに関しては、例えば入力コンテンツを購入していない消費者集合を取得し、その消費者集合の中での購入率に基づいてソートおよび選択を行って提示コンテンツを決定することができる。
　なお、上述の説明において入力コンテンツを消費した複数の消費者を消費者集合とすることができるのは入力コンテンツが完成して配信がされている既存コンテンツである場合に限られる。
　入力情報として入力キーワードのみが入力されている場合、その入力キーワードに対応する（含む）既存コンテンツを購入している消費者集合、または購入していない消費者集合として提示コンテンツの決定を行うこともできる。
［１－３．ユーザインターフェースの具体例］
　次に図９乃至図１３を参照して情報処理装置１００による処理がアプリケーションやウェブサービスとして提供される場合のユーザインターフェースについて説明する。以下のユーザインターフェースの説明ではコンテンツは漫画であるとして説明を行う。まず図９を参照して、新コンテンツ生成のための入力情報の入力用ユーザインターフェースについて説明する。この入力用ユーザインターフェースは表示部１０５等において表示される。
　入力用ユーザインターフェースは、入力可能コンテンツ表示部３０１、入力済みコンテンツ表示部３０２、検索用入力部３０３、キーワード入力部３０４を備えて構成されている。
　入力可能コンテンツ表示部３０１は、コンテンツデータベース１１３に存在する複数の既存コンテンツを制作者が入力コンテンツとして入力するために表示するものである。入力可能コンテンツ表示部３０１においては既存コンテンツを入力コンテンツとして入力するための各既存コンテンツに対応付けてチェックマーク入力欄が設けられている。
　入力済みコンテンツ表示部３０２は、制作者によって入力された入力コンテンツを表示するものである。図１０に示すように、入力可能コンテンツ表示部３０１において入力する既存コンテンツにチェックマークをつけると、その既存コンテンツが入力済みコンテンツ表示部３０２に表示される。制作者は自分がどのような既存コンテンツを入力コンテンツとして入力したかを目視で確認することができる。
　検索用入力部３０３は、図１１に示すように、入力可能コンテンツ表示部３０１に表示されている複数の既存コンテンツを検索するために任意の検索用キーワードを入力するためのものである。図１１は、コンテンツである漫画を作者名で検索した場合の例である。
　図１２に示すように、複数の既存コンテンツを入力コンテンツとして入力した場合、その複数の入力コンテンツが入力済みコンテンツ表示部３０２に表示される。
　キーワード入力部３０４は、入力コンテンツともに入力することができる入力キーワードを選択するためのものである。図１３の例では予め情報処理装置１００において用意してあるキーワードの候補を複数表示し、その中から制作者が入力キーワードとしたいキーワードを選択する構成になっている。
　なお、入力キーワードは表示されている候補から制作者が選択するのではなく、入力キーワードとなる文字列を制作者が直接入力できるようにしてもよい。
　キーワード入力部３０４に表示されるキーワードの候補は入力コンテンツに関係なく、常に同じものでもよいし、制作者が入力した入力コンテンツの種類、ジャンル、内容などに応じてキーワード入力部３０４に表示されるキーワードの候補が変化するようにしてもよい。そのためには情報処理装置１００において予め既存コンテンツのそれぞれにキーワードの候補を対応付けておく必要がある。
　図９乃至図１３の例では、入力コンテンツと入力キーワードの選択が完了するとコンテンツ生成のための入力情報の入力が完了となる。
　次に図１４乃至図１６を参照して、提示コンテンツを制作者に提示するための提示用ユーザインターフェースについて説明する。この提示用ユーザインターフェースは表示部１０５等において表示される。
　提示用ユーザインターフェースは類似コンテンツ提示タブ３１１、類似人気コンテンツ提示タブ３１２、読者層共通コンテンツ提示タブ３１３、軸共通コンテンツ提示タブ３１４、既存コンテンツ３１５、新コンテンツタブ３１６、ハイライト表示入力部３１７、キーワード入力部３１８、興味分布表示部３１９を備えて構成されている。
　類似コンテンツ提示タブ３１１は、入力情報としての入力コンテンツまたは新コンテンツ生成用情報との類似度によって決定された提示コンテンツを表示するものである。また、類似人気コンテンツ提示タブ３１２は、入力情報としての入力コンテンツまたは新コンテンツ生成用情報との類似度によって決定された提示コンテンツの中から人気があるコンテンツを表示するものである。人気があるコンテンツとは例えばコンテンツ配信プラットフォームにおける販売数が所定数以上であるコンテンツや、コンテンツ配信プラットフォームのラインキングの所定順位以上のコンテンツなどである。
　また、読者層共通コンテンツ提示タブ３１３は、提示コンテンツの中から、入力情報としての入力コンテンツと読者層が共通するコンテンツを表示するものである。
　さらに、軸共通コンテンツ提示タブ３１４は、提示コンテンツの中から入力情報としての入力コンテンツと軸が共通するコンテンツを提示コンテンツとして表示するものである。軸が共通するコンテンツとは、興味分布表示部３１９に表示される制作者の興味分布において一番大きい値を持つ要素に関して、作品のトピック分布において同様に一番大きい値を持つ作品を抽出したコンテンツである。
　上述した各タブは下位構造として既存コンテンツを表示する既存コンテンツ３１５と新コンテンツを表示する新コンテンツタブ３１６を備えている。これにより、制作者は各タブにおいて表示する提示コンテンツを既存コンテンツと新コンテンツに分けて確認することができる。
　各タブには提示コンテンツに関する情報が表示される。提示コンテンツに関する情報としては例えば、コンテンツの設定、トーン、登場キャラクターに関する情報、あらすじなどがある。なお、これらの表示される情報はあくまで例示であり、本技術の内容が図１４に示した情報に限定されるものではない。制作者にとって有益な情報であればどのような情報を表示してもよい。
　ハイライト表示入力部３１７は、表示されている提示コンテンツに関する情報を所定の条件に基づいてハイライト表示するためのものである。所定の条件としては、例えば、制作者の興味に近いワード、制作者が使ったことがないワード、最近のトレンドワードなどである。この所定の条件はあくまで例示であり、本技術の内容が図１４に示した情報に限定されるものではない。
　興味分布表示部３１９は、制作者の興味分布をグラフで示したものである。制作者の興味分布は新コンテンツ生成用情報に基づいて生成したものである。例えば、新コンテンツ生成用情報が１０次元ベクトルであれば１０個の数値が順に並んだものに対応するので、各次元それぞれに要素名を付けてグラフとして表現したものが制作者の興味分布を示すグラフとなる。なお、制作者がグラフを分類してもよいし、要素（次元）名は人が分析結果を見て人手で付けてもよいし、分析結果から自動的に名前がつくようにしてもよい。
　コンテンツ再入力ボタンは、新たな入力情報を入力するために入力用ユーザインターフェースに遷移するためのボタンである。
　キーワード入力部３０４は、入力用ユーザインターフェースが備えるものと同様に、入力コンテンツともに入力することができるキーワードを選択するためのものである。図１６の例では予め情報処理装置１００においてキーワードの候補を複数表示し、その中から制作者が入力情報としたいキーワードを選択する構成になっている。
　以上のようにして本技術の第１の実施の形態が構成されている。第１の実施の形態によれば、制作者が入力した入力情報と消費者に関する情報である消費者状態情報と消費者特徴情報に基づいて新コンテンツを生成して制作者に提示することができる。この提示された新コンテンツを参考にして制作者は自身の新たなコンテンツを制作することができる。
　また、新コンテンツに加え、既存コンテンツも提示コンテンツとして制作者に提示することができるので、この提示された既存コンテンツを参考にして制作者は自身の新たなコンテンツを制作することができる。
　新コンテンツだけでなく既存コンテンツも提示コンテンツとして制作者に提示することによりコンテンツ制作のための幅広い情報を制作者に提供することができる。
　制作者は提示コンテンツを参考にしてコンテンツを制作し、そのコンテンツの販売、配信などを行うことができる。
＜２．第２の実施の形態＞
［２－１．情報処理装置２００の構成］
　次に本技術の第２の実施の形態について説明する。第２の実施の形態は、消費者の感情を活用して新コンテンツを生成するものである。「消費者の感情を活用して新コンテンツを生成する」とは、コンテンツに対する消費者の感情の盛り上がりを特定のパターンに沿わせるように新コンテンツを生成することである。
　図１７を参照して第２の実施の形態における情報処理装置２００の処理ブロックの構成について説明する。情報処理装置２００は、感情予測部２０１を備える点で第１の実施の形態と異なる。それ以外の構成は第１の実施の形態と同様であるため説明を省略する。
　感情予測部２０１は、消費者のコンテンツ中の特定のシーンに対する消費者の感情の起伏を予測する。この感情の起伏の予測値は複数のシーン候補とともに制作者に提示されて、制作者は予測値を参考にしてコンテンツに含めるシーンを選択する。
［２－２．情報処理装置２００における処理］
　次に情報処理装置２００における処理について説明する。この説明では、時間の経過とともにコンテンツの内容が進行していき、コンテンツ再生開始位置からの経過時間でコンテンツ内の再生位置を把握することができる映画などの映像コンテンツを例にする。
　状態情報取得装置５００では、コンテンツの消費時における消費者の状態情報を取得し、コンテンツ内の再生位置（コンテンツ再生開始からの経過時間）に紐づけて消費者状態情報保存部１１１に保存する。
　消費者状態情報はセンサ情報そのままではなく、感情予測部２０１において別途各種識別器を用いて、消費者状態情報を例えばネガティブとポジティブ、緊張度と盛り上がり度のような１軸の数値にマッピングすることにより、コンテンツに対する消費者の感情を示す感情情報に変換する。
　別途各種識別器とは、消費者のコンテンツ視聴時の行動、反応などである消費者状態情報をコンテンツに対する感情を示す数値に変換するものである。例えば、「視線をそらす」という行動はネガティブな反応であるとして、コンテンツ消費中の視線をそらした回数やそらした時間などに応じてマイナスの値として数値化する。また、「笑顔」という反応はポジティブな反応であるとして、コンテンツ消費中の笑顔の回数や笑顔の時間などに応じてプラスの値として数値化する。また、発汗という反応はネガティブな反応であるとして、コンテンツ消費中の発汗量などに応じてマイナスの値として数値化する。このように消費者状態情報としての消費者のあらゆる行動や反応を消費者の感情を表す数値に変換する。
　なお、消費者にコンテンツを視聴しながら感情の度合いを示す情報（５段階評価など）を入力させて、感情予測部２０１は、消費者状態情報と消費者が入力した感情の度合いを示す情報を対応付けることにより消費者状態情報を感情情報に変換してもよい。
　例えば特定のコンテンツに対する消費者状態情報を取得し、それを感情情報に変換した結果、図１８に示すようにコンテンツの時間軸上の再生位置に対して消費者の盛り上がりを表すことができる。この場合、消費者の感情情報（盛り上がり）は一人の消費者のものでもよいし、複数の消費者からなる消費者集合のものであってもよい。消費者集合である場合、盛り上がりは複数の消費者の平均となる。
　感情予測部２０１は、時刻tにおけるコンテンツ特徴量をｆｔ（例えば、映画のあるシーンにおける画像情報、登場人物、音楽等）、消費者uの消費者状態情報および消費者特徴情報をｆｕ（例えば性別・年齢や過去視聴作品など）、コンテンツにおける時刻tでの消費者の感情情報（盛り上がり度）をｙｔとすると、一般的な教師ありの機械学習モデルｇ（以下、モデルｇ）を用いて下記の式１に示す予測モデルを作成できる。このモデルｇによりコンテンツのシーンにおける盛り上がり度ｙｔを予測し、数値として算出することができる。なお、消費者特徴情報ｆｕと盛り上がり度ｙｔは対象となる消費者全ての盛り上がり度の平均値である。
［式１］
ｙｔ＝ｇ（ｆｔ,ｆｕ）
　ここでモデルｇは、入力として過去の時刻におけるコンテンツ特徴量ｆ（ｔ－１）、ｆ（ｔ－２）、・・・などを利用してもよい。また、盛り上がりは各消費者に関するものでなくても、例えばコンテンツを消費した複数の消費者の平均値などを用いてもよい。
　このモデルｇを用いて、制作者は例えば、映画における特定のシーンの次のシーンをどのようなシーンにすべきかという判断において複数のシーンの候補を比較検討することができる。複数のシーンの候補をそれぞれコンテンツ特徴量（ｆｔ）化し、制作側が意図する盛り上がりのパターンを実現するのに最もふさわしいシーンを選択する。
　さらに、ユーザ評価予測と組み合わせて、そのシーンを選択した場合の最終的な盛り上げりの予測値（例えば全消費者に対する予測評価の平均値）を組み合わせて制作者に提示してもよい。
　情報処理装置２００はシーン候補と盛り上がりの予測値を対応付けて、後述するコンテンツ生成用ユーザインターフェースで制作者に提示する。そして、制作者が盛り上がりの予測値を参考にして採用するシーン候補を選択して選択入力を行うと、そのシーン選択情報はコンテンツ生成部１１６に供給されて、コンテンツ生成部１１６はシーン選択情報に基づいてコンテンツを生成する。
　図１９に消費者の感情情報を用いたコンテンツ生成用のユーザインターフェースとコンテンツの生成について説明する。コンテンツ生成用ユーザインターフェースは、グラフ表示部４０１、シーン候補表示部４０２、予測値表示部４０３を備えて構成されている。
　グラフ表示部４０１は横軸が映像コンテンツの時間（再生位置）であり、縦軸が映像コンテンツに対する消費者の感情情報（盛り上がり）であるグラフを示すものである。シーン候補表示部４０２は、シーン候補の具体的映像の内容を示すものである。予測値表示部４０３は、シーン候補ごとの盛り上がりの予測値を示すものである。
　グラフ表示部４０１において、制作者が意図する消費者の盛り上がりが実線で表されている。そして時刻ｔ１の時点のシーン候補としてシーン候補Ａ、シーン候補Ｂ、シーン候補Ｃがあることを示している。各シーン候補Ａ乃至Ｃはシーン候補表示部４０２に表示されている。なお、シーン候補表示部４０２におけるシーン候補の表示は静止画、絵コンテ、イラスト、動画など制作者がシーンの内容を把握できればどのような形態でもよい。
　グラフ表示部４０１には、感情予測部２０１で予測した各シーン候補の盛り上がりの予測値（感情の起伏の予測値）がグラフ上に破線と点により示されており、制作者はこの予測値を見てどのシーン候補を採用するシーンにするかを判断することができる。図１９の場合、シーン候補Ｂを選択すれば制作者の意図に最も近い映像コンテンツを生成することができる。また、制作者は各シーン候補の具体的な予測値を予測値表示部４０３で確認することができる。
　なお、シーン候補表示部４０２に表示されているシーンを表す画像、映像などを制作者が編集可能とし、編集後のシーンの盛り上がりを動的に予測できるようにしてもよい。
　例えば、制作者がグラフ表示部４０１において表示された各シーン候補の盛り上がりの予測値を参考にしてシーン候補Ｂを選択した場合、そのシーン選択情報がコンテンツ生成部１１６に供給され、コンテンツ生成部１１６はシーン候補Ｂを含めるように新コンテンツを生成する。
　以上のようにして本技術の第２の実施の形態が構成されている。第２の実施の形態によれば、消費者の感情の盛り上がりに応じて新コンテンツを生成することができ、さらに、制作者の意図をより新コンテンツに反映させることができる。
　なお、上述の第２の実施の形態は、時間の経過とともにコンテンツの内容が進行していく映画などの映像コンテンツを例にしたが、コンテンツはそれだけに限られない。コンテンツの内容が進行していくものであればどのようなものでもよく、音楽、漫画などでもよい。
　また、感情情報は盛り上がりに限定されるものではない。喜び、楽しさ、怒り、悲しみなど消費者状態情報から変換することができる感情であればどのようなものでもよい。
＜３．変形例＞
　以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
　本技術は以下のような構成も取ることができる。
（１）
　入力情報と、消費者がコンテンツを消費した際の状態を示す状態情報とに基づいて新コンテンツを生成するコンテンツ生成部と、
　前記新コンテンツと既存コンテンツのいずれか一方または両方からコンテンツの制作者に提示される提示コンテンツを決定する提示コンテンツ決定部と、
を備える情報処理装置。
（２）
　前記入力情報は、前記制作者により入力された入力コンテンツである（１）に記載の情報処理装置。
（３）
　前記コンテンツ生成部は、前記消費者の特徴情報に基づいて前記新コンテンツを生成する（１）または（２）に記載の情報処理装置。
（４）
　前記入力情報を新コンテンツ生成用情報に変換する変換処理部を備え、
　前記コンテンツ生成部は、前記新コンテンツ生成用情報に基づいて前記新コンテンツを生成する（１）から（３）のいずれかに記載の情報処理装置。
（５）
　前記コンテンツ生成部は、前記消費者による前記既存コンテンツに対する評価情報に基づいて前記新コンテンツを生成する（１）から（４）のいずれかに記載の情報処理装置。
（６）
　前記コンテンツ生成部は、制御用情報に基づいて前記新コンテンツを生成する（２）から（４）のいずれかに記載の情報処理装置。
（７）
　前記制御用情報は、前記入力コンテンツおよび前記新コンテンツにおける条件を示す情報である（６）に記載の情報処理装置。
（８）
　前記コンテンツ生成部は、学習段階と生成段階とで処理を行い、
　前記学習段階で、前記新コンテンツ生成用情報と、前記状態情報と、制御用情報に基づいて前記入力コンテンツに対する前記消費者の評価を予測して学習を行い、
　前記生成段階で、前記制御用情報に基づいて前記新コンテンツを生成する（４）に記載の情報処理装置。
（９）
　前記提示コンテンツ決定部は、前記入力情報との類似度に基づいて前記新コンテンツと既存コンテンツのいずれか一方または両方の中から前記提示コンテンツを決定する（１）から（８）のいずれかに記載の情報処理装置。
（１０）
　前記提示コンテンツ決定部は、前記新コンテンツと前記既存コンテンツを前記入力情報との類似度が高い順にソートして前記提示コンテンツとする（９）に記載の情報処理装置。
（１１）
　前記提示コンテンツ決定部は、前記入力コンテンツとの類似度が所定の閾値以上の前記新コンテンツと前記既存コンテンツを前記提示コンテンツとする（９）または（１０）に記載の情報処理装置。
（１２）
　前記提示コンテンツ決定部は、前記コンテンツ生成用情報との類似度に基づいて前記新コンテンツと既存コンテンツの中から前記提示コンテンツを決定する（１）から（１１）のいずれかに記載の情報処理装置。
（１３）
　前記変換処理部は、前記提示コンテンツに対する前記コンテンツ制作者のフィードバックとしての前記入力情報を新コンテンツ生成用情報に変換する（１）から（１２）のいずれかに記載の情報処理装置。
（１４）
　前記提示コンテンツが前記製作者に提示される際に、前記提示コンテンツとの類似度が高い前記入力コンテンツも提示される（１）から（１３）のいずれかに記載の情報処理装置。
（１５）
　前記提示コンテンツが前記コンテンツ製作者に提示される際、前記類似度に寄与した前記入力コンテンツの要素も提示される（１）から（１４）のいずれかに記載の情報処理装置。
（１６）
　前記提示コンテンツ決定部は、前記消費者に消費または評価されるかの予測に基づいて前記新コンテンツと既存コンテンツのいずれか一方または両方の中から前記提示コンテンツを決定する（１）から（１５）のいずれかに記載の情報処理装置。
（１７）
　前記入力情報とは、前記新コンテンツの内容を示すキーワードである（１）から（１６）のいずれかに記載の情報処理装置。
（１８）
　前記コンテンツ生成部は、前記制作者に提示された複数のシーン候補の中から前記制作者に選択された前記シーン候補を用いて前記新コンテンツを生成する（１）から（１７）のいずれかに記載の情報処理装置。
（１９）
　入力情報と、消費者がコンテンツを消費した際の状態を示す状態情報とに基づいて新コンテンツを生成し、
　前記新コンテンツと既存コンテンツのいずれか一方または両方からコンテンツの制作者に提示される提示コンテンツを決定する
情報処理方法。
（２０）
　入力情報と、消費者がコンテンツを消費した際の状態を示す状態情報とに基づいて新コンテンツを生成し、
　前記新コンテンツと既存コンテンツのいずれか一方または両方の中からコンテンツの制作者に提示される提示コンテンツを決定する
情報処理方法をコンピュータに実行させる情報処理プログラム。
（２１）
　前記複数のシーン候補は、前記シーン候補に対応した前記消費者の感情の起伏の予測値と共に提示される（１８）に記載の情報処理装置。
（２２）
　前記複数のシーン候補は、前記制作者が意図する前記消費者の感情の起伏と共に提示される（１８）に記載の情報処理装置。
１００・・・情報処理装置
１１４・・・変換処理部
１１６・・・コンテンツ生成部
１１７・・・提示コンテンツ決定部

Claims (20)

  1. 　入力情報と、消費者がコンテンツを消費した際の状態を示す状態情報とに基づいて新コンテンツを生成するコンテンツ生成部と、
    　前記新コンテンツと既存コンテンツのいずれか一方または両方からコンテンツの制作者に提示される提示コンテンツを決定する提示コンテンツ決定部と、
    を備える情報処理装置。
  2. 　前記入力情報は、前記制作者により入力された入力コンテンツである
    請求項１に記載の情報処理装置。
  3. 　前記コンテンツ生成部は、前記消費者の特徴情報に基づいて前記新コンテンツを生成する
    請求項１に記載の情報処理装置。
  4. 　前記入力情報を新コンテンツ生成用情報に変換する変換処理部を備え、
    　前記コンテンツ生成部は、前記新コンテンツ生成用情報に基づいて前記新コンテンツを生成する
    請求項１に記載の情報処理装置。
  5. 　前記コンテンツ生成部は、前記消費者による前記既存コンテンツに対する評価情報に基づいて前記新コンテンツを生成する
    請求項１に記載の情報処理装置。
  6. 　前記コンテンツ生成部は、制御用情報に基づいて前記新コンテンツを生成する
    請求項２に記載の情報処理装置。
  7. 　前記制御用情報は、前記入力コンテンツおよび前記新コンテンツにおける条件を示す情報である
    請求項６に記載の情報処理装置。
  8. 　前記コンテンツ生成部は、学習段階と生成段階とで処理を行い、
    　前記学習段階で、前記新コンテンツ生成用情報と、前記状態情報と、制御用情報に基づいて前記入力コンテンツに対する前記消費者の評価を予測して学習を行い、
    　前記生成段階で、前記制御用情報に基づいて前記新コンテンツを生成する
    請求項４に記載の情報処理装置。
  9. 　前記提示コンテンツ決定部は、前記入力情報との類似度に基づいて前記新コンテンツと既存コンテンツのいずれか一方または両方の中から前記提示コンテンツを決定する
    請求項１に記載の情報処理装置。
  10. 　前記提示コンテンツ決定部は、前記新コンテンツと前記既存コンテンツを前記入力情報との類似度が高い順にソートして前記提示コンテンツとする
    請求項９に記載の情報処理装置。
  11. 　前記提示コンテンツ決定部は、前記入力コンテンツとの類似度が所定の閾値以上の前記新コンテンツと前記既存コンテンツを前記提示コンテンツとする
    請求項９に記載の情報処理装置。
  12. 　前記提示コンテンツ決定部は、前記コンテンツ生成用情報との類似度に基づいて前記新コンテンツと既存コンテンツの中から前記提示コンテンツを決定する
    請求項１に記載の情報処理装置。
  13. 　前記変換処理部は、前記提示コンテンツに対する前記コンテンツ制作者のフィードバックとしての前記入力情報を新コンテンツ生成用情報に変換する
    請求項１に記載の情報処理装置。
  14. 　前記提示コンテンツが前記製作者に提示される際に、前記提示コンテンツとの類似度が高い前記入力コンテンツも提示される
    請求項１に記載の情報処理装置。
  15. 　前記提示コンテンツが前記コンテンツ製作者に提示される際、前記類似度に寄与した前記入力コンテンツの要素も提示される
    請求項１に記載の情報処理装置。
  16. 　前記提示コンテンツ決定部は、前記消費者に消費または評価されるかの予測に基づいて前記新コンテンツと既存コンテンツのいずれか一方または両方の中から前記提示コンテンツを決定する
    請求項１に記載の情報処理装置。
  17. 　前記入力情報とは、前記新コンテンツの内容を示すキーワードである
    請求項１に記載の情報処理装置。
  18. 　前記コンテンツ生成部は、前記制作者に提示された複数のシーン候補の中から前記制作者に選択された前記シーン候補を用いて前記新コンテンツを生成する
    請求項１に記載の情報処理装置。
  19. 　入力情報と、消費者がコンテンツを消費した際の状態を示す状態情報とに基づいて新コンテンツを生成し、
    　前記新コンテンツと既存コンテンツのいずれか一方または両方からコンテンツの制作者に提示される提示コンテンツを決定する
    情報処理方法。
  20. 　入力情報と、消費者がコンテンツを消費した際の状態を示す状態情報とに基づいて新コンテンツを生成し、
    　前記新コンテンツと既存コンテンツのいずれか一方または両方の中からコンテンツの制作者に提示される提示コンテンツを決定する
    情報処理方法をコンピュータに実行させる情報処理プログラム。
PCT/JP2021/029539 2020-11-13 2021-08-10 情報処理装置、情報処理方法、情報処理プログラム WO2022102186A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022561280A JPWO2022102186A1 (ja) 2020-11-13 2021-08-10
US18/251,715 US20240015370A1 (en) 2020-11-13 2021-08-10 Information processing apparatus, information processing method, and information processing program
EP21891434.9A EP4246422A4 (en) 2020-11-13 2021-08-10 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020189242 2020-11-13
JP2020-189242 2020-11-13
JP2021-030091 2021-02-26
JP2021030091 2021-02-26

Publications (1)

Publication Number Publication Date
WO2022102186A1 true WO2022102186A1 (ja) 2022-05-19

Family

ID=81601079

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/029539 WO2022102186A1 (ja) 2020-11-13 2021-08-10 情報処理装置、情報処理方法、情報処理プログラム

Country Status (4)

Country Link
US (1) US20240015370A1 (ja)
EP (1) EP4246422A4 (ja)
JP (1) JPWO2022102186A1 (ja)
WO (1) WO2022102186A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010053160A1 (ja) * 2008-11-07 2010-05-14 国立大学法人 北海道大学 コンテンツ検索装置およびコンテンツ検索プログラム
JP2012039550A (ja) 2010-08-11 2012-02-23 Sony Corp 情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2017051793A1 (ja) * 2015-09-25 2017-03-30 株式会社グロウ・ムービージャパン 映像コンテンツ自動生成システム
WO2020039702A1 (ja) * 2018-08-21 2020-02-27 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2020136959A1 (ja) * 2018-12-26 2020-07-02 株式会社日立ソリューションズ マンガ生成システムおよびマンガ生成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170024095A1 (en) * 2015-01-19 2017-01-26 Dane Glasgow Multi-media platform
US20200273485A1 (en) * 2019-02-22 2020-08-27 Synaptics Incorporated User engagement detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010053160A1 (ja) * 2008-11-07 2010-05-14 国立大学法人 北海道大学 コンテンツ検索装置およびコンテンツ検索プログラム
JP2012039550A (ja) 2010-08-11 2012-02-23 Sony Corp 情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2017051793A1 (ja) * 2015-09-25 2017-03-30 株式会社グロウ・ムービージャパン 映像コンテンツ自動生成システム
WO2020039702A1 (ja) * 2018-08-21 2020-02-27 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2020136959A1 (ja) * 2018-12-26 2020-07-02 株式会社日立ソリューションズ マンガ生成システムおよびマンガ生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4246422A4

Also Published As

Publication number Publication date
JPWO2022102186A1 (ja) 2022-05-19
US20240015370A1 (en) 2024-01-11
EP4246422A4 (en) 2024-04-24
EP4246422A1 (en) 2023-09-20

Similar Documents

Publication Publication Date Title
CN111444357B (zh) 内容信息确定方法、装置、计算机设备及存储介质
CN113748439B (zh) 电影的成功商数的预测
Xu et al. Hierarchical affective content analysis in arousal and valence dimensions
CN111372109B (zh) 一种智能电视以及信息交互方法
KR20180136265A (ko) 구간 영상 검색 및 제공 장치, 방법 및 컴퓨터-판독가능 매체
US9922110B2 (en) Information processing apparatus, information processing method, and program
CN110554782B (zh) 一种表情输入的图像合成方法和系统
US10740397B2 (en) User modelling and metadata of transmedia content data
JP2007528063A (ja) チュートリアル生成ユニット
CN109582869A (zh) 一种数据处理方法、装置和用于数据处理的装置
US20230244709A1 (en) Systems and methods for leveraging acoustic information of voice queries
US10706097B2 (en) Manipulation of non-linearly connected transmedia content data
US20180089573A1 (en) Recommender engine and user model for transmedia content data
US11297396B2 (en) Creation of non-linearly connected transmedia content data
Lubos et al. An overview of video recommender systems: state-of-the-art and research issues
WO2022102186A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム
CN114117126A (zh) 一种视频推荐方法及显示设备
Acar et al. Detecting violent content in hollywood movies and user-generated videos
KR20220113221A (ko) 영상 소스 데이터 거래 방법 및 시스템
US10628405B2 (en) Manipulation of non-linearly connected transmedia content data
He Improved music recommendation algorithm for deep neural network based on attention mechanism
Agius et al. Experimenting with tagging and context for collaborative MPEG-7 metadata
US11716376B2 (en) Architecture for managing transmedia content data
Nixon et al. AI and data-driven media analysis of TV content for optimised digital content marketing
Ghosh et al. A comprehensive survey of personalized music identifier system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21891434

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022561280

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18251715

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021891434

Country of ref document: EP

Effective date: 20230613