WO2019026397A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2019026397A1
WO2019026397A1 PCT/JP2018/019778 JP2018019778W WO2019026397A1 WO 2019026397 A1 WO2019026397 A1 WO 2019026397A1 JP 2018019778 W JP2018019778 W JP 2018019778W WO 2019026397 A1 WO2019026397 A1 WO 2019026397A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
program content
information
content
information processing
Prior art date
Application number
PCT/JP2018/019778
Other languages
English (en)
French (fr)
Inventor
倉田 宜典
城井 学
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112018003894.7T priority Critical patent/DE112018003894T5/de
Priority to CN201880049204.0A priority patent/CN110945874A/zh
Priority to JP2019533922A priority patent/JP7176519B2/ja
Priority to US16/633,588 priority patent/US20200213679A1/en
Publication of WO2019026397A1 publication Critical patent/WO2019026397A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4882Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • Patent Document 1 describes a technology for generating program content by combining various text information provided on a website, such as news, weather, and twitter feeds, with audio data such as music, and generated program content.
  • a technology for voice output is disclosed.
  • Patent Document 1 it is difficult to reduce the generation cost of program content including visual information by the technique disclosed in Patent Document 1 or the like.
  • the technology disclosed in Patent Document 1 can reduce the generation cost of program content including audio, it reduces the generation cost of program content including visual information such as a moving image or a still image. It was difficult.
  • the present disclosure has been made in view of the above, and provides a novel and improved information processing apparatus, information processing method, and program capable of reducing the generation cost of program content including visual information.
  • the information processing apparatus further includes: a control unit that acquires material data, analyzes the content of the material data, and automatically generates program content data based on the content, and the program content data includes information including visual information
  • a control unit that acquires material data, analyzes the content of the material data, and automatically generates program content data based on the content, and the program content data includes information including visual information
  • material data is acquired, the content of the material data is analyzed, and program content data is automatically generated based on the content, and the program content data includes visual information.
  • program content data includes visual information.
  • material data is acquired, the content of the material data is analyzed, and program content data is automatically generated based on the content, and the program content data includes visual information.
  • a program for realizing the computer is provided.
  • FIG. 6 is a diagram showing an example of a plurality of pieces of document data in a case where a plurality of pieces of document data having different reproduction times with respect to certain transmission information are generated. It is a figure for demonstrating the function which adapts visual information to the information or reproduction
  • the program content to be broadcast on a television, radio, or a moving image distribution site on the Internet is composed of a script prepared in advance and an ad-lib of a speaker (for example, an announcer, a moderator or a radio personality).
  • the speaker adjusts the program content to end at a predetermined broadcast time by adding, changing or deleting the content to be transmitted based on his / her skill and experience. doing. For example, if the content of the manuscript is larger than the amount that can be transmitted during the remaining broadcast time, the speaker may further reduce the content with lower priority, or may change the expression to a shorter expression.
  • the program content is adjusted to end at the broadcast time while transmitting high priority information.
  • the speaker may add an ad-lib according to the viewing situation of the user. For example, when the information transmitted in the past is transmitted again, the speaker may add an ad-lib as an introductory part to the contents of the manuscript, such as "as told”. Also, when new information that has not been transmitted in the past is transmitted, the speaker may enter an ad-lib, such as "New information has arrived.”
  • the speaker transmits the emergency information in the middle of the information being transmitted, and the order of the information to be transmitted.
  • the emergency information was preferentially transmitted by replacing the
  • the speaker may transmit information while mixing gestures such as a gesture according to the content of the information to be transmitted. For example, in a weather forecast, a speaker may transmit information while pointing a part of a weather map with a pointer, or may transmit information while pointing a gaze at a displayed moving image or still image.
  • the speaker changes the expression or tone of the voice as appropriate based on the content to be transmitted. For example, if the content to be transmitted is a sad news (for example, occurrence of an accident or disaster, or the death of a person, etc.), the speaker darkens the expression and lowers the tone of the voice to transmit information. Conversely, if the content to be transmitted is good news (eg, marriage, birth or championship at a tournament, etc.), the speaker changes the expression brightly, changes the tone of the voice high, and transmits the information. Also, not only the facial expression or the tone of the voice, but also, for example, the speaker's costume, BGM or background may be changed based on the content to be transmitted.
  • BGM, background, speaker's face, voice tone or costume, etc. are based not only on the contents to be transmitted, but also on the date and time or region where the program content is reproduced, or the season, weather or temperature at the time of reproduction. May be changed. For example, if the playing season is summer, the speaker's costume may be put on summer clothes, and the BGM and background may be changed to songs and backgrounds reminiscent of summer.
  • the present disclosure can acquire material data, analyze the content of the material data, and automatically generate program content including visual information based on the content.
  • program content including visual information based on the content.
  • the program providing system includes a distribution device 100 and a user terminal 200, and the distribution device 100 and the user terminal 200 are connected by a network 300.
  • the distribution apparatus 100 is an information processing apparatus having a function of automatically generating and distributing program content. More specifically, when the creator of the program content inputs material data that is the source of the program content into the distribution device 100, the distribution device 100 automatically generates the program content including visual information based on the content of the material data. Generate
  • the distribution apparatus 100 generates document data based on text data input as material data. Then, the distribution apparatus 100 generates a program content including visual information based on the document data and the moving image data or the still image data input as the material data.
  • the program content may be capable of outputting voice by subjecting document data to voice synthesis processing, or may be capable of displaying document data as subtitles. For example, any character other than the input moving image data or still image data may be displayed.
  • the program content includes, but is not limited to, content broadcast on television, content delivered on a video distribution site on the Internet, content displayed on a predetermined advertisement medium, content broadcast on a radio, etc. . Details of the content of the program content and the method of generating the program content will be described later.
  • the distribution device 100 provides the viewer with the program content by providing the generated program content to the user terminal 200. More specifically, the distribution apparatus 100 uploads program content to a server accessible to the user terminal 200 (for example, a WEB server that manages a specific WEB (World Wide Web) site on the Internet), and the user terminal 200 downloads program content from the server.
  • a server accessible to the user terminal 200 for example, a WEB server that manages a specific WEB (World Wide Web) site on the Internet
  • the user terminal 200 downloads program content from the server.
  • the method for providing program content is not limited to this.
  • the user terminal 200 may directly access the distribution apparatus 100 via the network 300 to acquire program content.
  • push-type distribution may be performed.
  • the user terminal 200 is an information processing apparatus having a function of reproducing program content distributed by the distribution apparatus 100. More specifically, the user terminal 200 reproduces the program content selected based on the operation of the viewer using an output unit (for example, a display, a speaker, etc.) provided in the own device.
  • an output unit for example, a display, a speaker, etc.
  • the user terminal 200 has a function of editing program content generated by the distribution device 100.
  • the user terminal 200 may use the content of the program content (such as document data, moving image data, still image data, or BGM content) or a reproduction method (for example, display) based on settings by the viewer or preference information of the viewer.
  • the user terminal 200 also has a function of generating program content using material data processed halfway by the distribution apparatus 100.
  • the user terminal 200 has a function of the distribution device 100 generating program content using material data subjected to noise removal by filtering, trimming, format conversion and the like.
  • the distribution apparatus 100 distributes data (source data itself or data obtained by processing the source data) that is the source of the program content, and the user terminal 200 uses the data and the preference information of the viewer, etc. May be generated automatically and played back.
  • the user terminal 200 may provide viewer's preference information and the like to the distribution device 100, and the distribution device 100 may distribute the program content automatically generated using the information to the user terminal 200.
  • the distribution apparatus 100 and the user terminal 200 may be, for example, desktop type, notebook type or tablet type personal computer (PC), smart phone, general purpose computer, various wearable terminals (eg, glasses type terminal, watch type terminal, clothes type terminal, ring) Terminals, bracelet type terminals, earring type terminals, necklace type terminals, etc.), head mounted type displays, etc., but not limited thereto.
  • PC personal computer
  • wearable terminals eg, glasses type terminal, watch type terminal, clothes type terminal, ring
  • bracelet type terminals e.g., earring type terminals, necklace type terminals, etc.
  • head mounted type displays e.g., head mounted type displays, etc., but not limited thereto.
  • the network 300 is a wired or wireless transmission path for information communicated by the distribution device 100 and the user terminal 200 connected to the network 300.
  • the network 300 may include a public network such as the Internet, various LANs (Local Area Networks) including Ethernet (registered trademark), a WAN (Wide Area Network), and the like.
  • the network 300 may include a dedicated line network such as an Internet Protocol-Virtual Private Network (IP-VPN) or a short distance wireless communication network such as Bluetooth (registered trademark).
  • IP-VPN Internet Protocol-Virtual Private Network
  • Bluetooth registered trademark
  • FIG. 1 The configuration of FIG. 1 is merely an example, and the configuration of the program providing system according to the present embodiment is not limited to this.
  • the program providing system according to the present embodiment may be configured by either the distribution device 100 or the user terminal 200.
  • the program providing system has a function of automatically generating document data to be broadcast.
  • the distribution apparatus 100 receives text data as material data, and information about a genre or type of contents of the text data or a template.
  • the text data is assumed to be a text file or a data file generated by word processing software or the like, but is not limited thereto.
  • the text data is an image file in which a text is displayed, and the distribution device 100 may extract the text by analyzing the image file.
  • the sentence data may be singular or plural.
  • the genre of the content of the text data is a classification of the information to be transmitted, for example, as shown in FIG. 2, “politics”, “economy”, “entertainment”, “sports”, “international”, Although it is “weather” etc., it is not limited to this.
  • the above genres eg, "weather” etc.
  • the input of the said genre is not essential.
  • the type of the content of the sentence data is the kind of information to be transmitted that is distinguished by some kind, for example, as shown in FIG. 3, “world”, “nation”, “prefecture”, “city It is what was distinguished according to the kind of object range of information transfer like "ward town", “individual” etc., but it is not limited to this.
  • the type of the content of the text data may be distinguished according to the type of the subject of the information transfer, such as “male”, “female”, “old man”, “child”, etc. It may be distinguished according to the type of urgency of information transmission like “urgent” or "ordinary” etc., or it may be distinguished according to the information content like "sad news” or "good news” etc. May be In addition, the input of the said type is not essential.
  • the template is information indicating a configuration pattern of program content.
  • the template is a configuration pattern of “opening (4A)”, “topic (4B)”, and “ending (4C)”.
  • the template is not limited to the example of FIG. 4 and may be, for example, a configuration pattern in which any one of “opening (4A)”, “topic (4B)”, and “ending (4C)” is omitted.
  • a configuration pattern may be added with a configuration other than these.
  • the template is camera work, screen configuration (character, moving image, position relationship of still image or telop etc), existence of character, attribute of character (sex, age, voice quality, costume, character is non-human (animal etc)) In some cases, it may be information added with settings such as the presence or absence of voice, etc.).
  • the template may be created by the creator, or may be automatically generated based on the learning result of an existing program (for example, a television program, an Internet distribution program, a radio program, etc.). The creator can cause the distribution device 100 to generate desired program content by selecting such a template. Note that template input is not essential.
  • the distribution apparatus 100 automatically generates document data based on the input various information. More specifically, the distribution apparatus 100 analyzes the input sentence data to grasp the contents of the sentence data. For example, the distribution apparatus 100 extracts a word included in text data, and uses the information stored in the own apparatus or the information acquired from an external device (for example, an external WEB server etc.) to use the content of the word. recognize. Thus, the distribution apparatus 100 recognizes the genre or type of the content of the text data based on the result of analyzing the text data itself as well as the input genre or type, and uses it for the subsequent processing. Can.
  • the distribution apparatus 100 automatically generates the document data to be broadcast based on the genre, the type, the template, the analysis result of the text data, and the like. More specifically, the distribution apparatus 100 automatically generates document data by deleting or changing a part of the input sentence data, or adding information not included in the sentence data.
  • the distribution apparatus 100 When the distribution apparatus 100 generates the manuscript data to be broadcasted at the opening (4A), the topic (4B) and the ending (4C), the contents of the information to be transmitted, the date and time or region where the program content data is reproduced, or , Add content not included in the input sentence data based on the playing season, weather or temperature. For example, the distribution apparatus 100 adds content based on the date and time when the program content data is reproduced, such as “Happy New Year. We will deliver the news on January 1, 2017.” at the opening (4A). You may Also, the distribution device 100 may add content based on the content of the information to be transmitted, such as “Soon, but a sad news has come in” at the beginning of the topic (4B).
  • the distribution device 100 is said to ending (4C) as "After this, it is expected that strong rain will occur in Tokyo from 10:00 am to 15:00 pm. Do not forget the rain gear.” Content may be added based on the area to be reproduced and the weather at the time of reproduction.
  • content may be added according to the behavior of the viewer or the situation (or environment) where the viewer is placed. More specifically, the distribution apparatus 100 (or the user terminal 200) analyzes data acquired by various sensors (for example, an acceleration sensor, a gyro sensor, an air pressure sensor, etc.) of the wearable terminal worn by the viewer. Thus, it may be possible to recognize the behavior of the viewer or the situation in which the viewer is placed, and to add content according to these. For example, when the distribution device 100 or the like recognizes that the viewer is commuting to work, the content such as “Please do your best for work today” may be added to the ending (4C).
  • various sensors for example, an acceleration sensor, a gyro sensor, an air pressure sensor, etc.
  • the distribution device 100 or the like predicts the behavior of the viewer at a certain point in the future or the situation (or environment) where the viewer is placed by analyzing the sensing data or the like described above, according to the prediction result. You may add content. For example, when the distribution apparatus 100 or the like recognizes that the viewer has got on a vehicle (for example, a train or a car) at the time of commuting, “Daily You may add content such as "Please.” The content added as described above may be automatically generated in advance by inputting other text data.
  • the distribution apparatus 100 deletes or changes part of the input sentence data. For example, if the content added as described above includes content that overlaps with the input text data (for example, the content "I will announce the news of January 1, 2017" is added.
  • the distribution device 100 may appropriately delete or change the overlapping portion in the sentence data (when the content of the same meaning is also included in the sentence data).
  • the distribution device 100 may appropriately change the expression to another expression when the same word frequently occurs or an intricate word exists.
  • the distribution apparatus 100 may generate document data without changing text data that is material data. For example, in the case where the change of text data is prohibited for some reason (for example, when the text data is protected by copyright), the distribution device 100 does not change the input text data.
  • the document data may be generated by adjusting the contents to be added before and after the data. At this time, the distribution apparatus 100 can make the viewer less likely to feel discomfort by adjusting the reading speed of the document or setting an appropriate interval (note that the adjustment of the reproduction time will be described later).
  • the distribution apparatus 100 can generate high-quality program content that a speaker (for example, an announcer, a moderator, a radio personality, etc.) provides with ad lib, and the generation cost of the program content Can be reduced. Also, the creator of the program content can focus on creating text data, which is core information.
  • the distribution device 100 can generate document data so that the program content ends in the broadcast time. More specifically, the distribution apparatus 100 calculates the reproduction time of the audio data when generating the document data. For example, the distribution apparatus 100 calculates the reproduction time of voice data after voice synthesis of the document data based on the contents of various parameters used for voice synthesis.
  • the distribution apparatus 100 edits the document data. For example, the distribution device 100 deletes the information with low priority in the input text data, changes the expression to a different expression from the text data, or deletes or changes the added content, the reproduction time of the document data The manuscript data is edited so as to reach a predetermined broadcast time. Conversely, when the reproduction time of the generated document data (or the document data being generated) is shorter than the predetermined broadcast time, the distribution apparatus 100 changes the expression to a different expression than the input text data, or The document data is edited such that the reproduction time of the document data becomes a predetermined broadcast time by changing the added content or adding another content newly.
  • the distribution apparatus 100 generates a plurality of document data having different reproduction times with respect to certain transmission information, and selects an appropriate document data from the plurality of document data, whereby the document is ended at the broadcast time.
  • Data generation may be realized.
  • the distribution apparatus 100 analyzes the input sentence data, and based on the analysis result, generates a plurality of manuscript data which are different in reproduction time and which can be understood by the viewer as shown in FIG. Do.
  • the distribution apparatus 100 realizes generation of document data ending in the broadcast time by selecting appropriate document data from among a plurality of document data based on the document data of broadcast time or other transmission information. You may
  • the distribution apparatus 100 may cause the creator to select desired manuscript data from among a plurality of manuscript data by presenting the list as shown in FIG. 5 to the creator.
  • the distribution apparatus 100 changes the content, the expression method, the speaking speed, etc. which the speaker (eg, announcer, presenter, radio personality, etc.) transmits based on the information to be transmitted and the remaining broadcast time. It can operate and can end program content at broadcast time.
  • the speaker eg, announcer, presenter, radio personality, etc.
  • the program providing system has a function of automatically generating sound or visual information of program content.
  • the distribution apparatus 100 receives moving image data or still image data as material data. Then, the distribution apparatus 100 automatically generates program content including sound or visual information, using the data, the information (genre, type, template, etc.) set as described above, and the document data generated as described above.
  • the distribution apparatus 100 generates program content including audio data by performing voice synthesis processing using the generated document data.
  • the distribution apparatus 100 can also add some kind of sound (for example, BGM, sound effect, etc.) in addition to the sound.
  • the distribution apparatus 100 may add some sound based on the analysis result of the input material data. For example, when the material data is analyzed as moving image data or the like regarding a sports event, the distribution device 100 may add the theme song of the sports event as BGM.
  • the distribution apparatus 100 is configured on the basis of the set template (patterns of camera content (camera work, screen configuration (character, moving image, still image or telop positional relationship, etc.), character presence or absence, character attribute (sex, Age, voice quality, costume, if the character is other than human (animal or the like) type, etc.), including information added with settings such as presence / absence of voice etc.).
  • the distribution device 100 inserts the input moving image data or still image data at a predetermined timing and position in the configuration pattern. Specifically, with reference to FIG. 4, the distribution apparatus 100 inserts the input moving image data or still image data into the top left position of the screen in the topic (4B).
  • the distribution apparatus 100 may appropriately edit the input moving image data or still image data. More specifically, the distribution apparatus 100 analyzes moving image data or still image data to recognize a portion of higher importance in moving image data or still image data.
  • the distribution apparatus 100 may refer to the contents of the document data when analyzing moving image data or still image data. For example, when the word “astronaut” is present in the manuscript data, the distribution device 100 may recognize that the importance of the astronaut included in the moving image data or the still image data is higher. Then, the distribution device 100 edits the moving image data or the still image data (for example, trimming, changing the aspect ratio, or the like) so that a portion having a higher degree of importance is easily viewed. It may be properly inserted into the screen.
  • the distribution device 100 can reduce the cost of generating program content including sound or visual information while maintaining high program content quality.
  • the generation method of the character displayed on program content is not particularly limited, and any technique for generating a two-dimensional animation may be used.
  • a technique of generating a two-dimensional animation by specifying a plurality of feature points in an illustration generated by arbitrary software and specifying a temporal change in position coordinates of each feature point may be used.
  • any three-dimensional modeling techniques eg, modeling, rendering, retouching, etc.
  • the program providing system has a function of adapting sound or visual information to the content of the information to be transmitted or the reproduction date and time.
  • the distribution apparatus 100 recognizes the content of the information to be transmitted by the analysis result of the information to be transmitted or the set information (genre, type, template, etc.), and makes the sound or visual of the program content Adapt the information to the content. For example, when the content of the information to be transmitted relates to good news, as shown in FIG. 6A, the distribution apparatus 100 determines a costume that gives the viewer a bright impression as the costume of the character. Conversely, if the content of the information to be transmitted relates to a sad news, as shown in 6B of FIG. 6, the distribution apparatus 100 has a character that gives the viewer a dark impression (or a broken impression). Determined as a costume for Of course, the specific content of the costume is not limited to FIG. For example, if the content of the information to be transmitted relates to a sporting event, the costume of the character may be a sport team uniform or the like.
  • the distribution apparatus 100 can adapt not only the costume of the character but also the background music, the attribute of the background or the character, the expression or the tone of the voice, and the like. For example, when the information to be transmitted is good news, the distribution apparatus 100 makes the BGM, the background and the character a song giving a bright impression, the background and the character, and makes the expression of the character a bright expression, You may increase the tone of the character's voice.
  • the distribution apparatus 100 adapts the sound or visual information to the date or time or region where the program content data is reproduced, the season at the time of reproduction, the weather, the temperature, or the like. For example, if the broadcast season is summer, the distribution apparatus 100 uses BGM and background as songs and backgrounds reminiscent of summer, sets the character's costume to summer clothes, and makes the character's skin tan It is also good. The above is merely an example, and the distribution apparatus 100 may control sound or visual information based on information other than the date and time or region where the program content data is reproduced or the season, weather or temperature at the time of reproduction. Good.
  • the distribution apparatus 100 adapts the sound or visual information to the behavior of the viewer or the situation (or environment) where the viewer is placed. More specifically, the distribution apparatus 100 analyzes the data acquired by various sensors (for example, an acceleration sensor, a gyro sensor, an atmospheric pressure sensor, etc.) of the wearable terminal worn by the viewer, thereby It recognizes the behavior or the situation in which the viewer is placed, and adapts the sound or visual information to these. For example, when the distribution apparatus 100 recognizes that the viewer is spending a holiday in a relaxed state, the background music may be a song and background with a high relaxation effect, and the character costume may be a more casual costume. Good. Also, the distribution apparatus 100 predicts the behavior of the viewer at a certain point in the future or the situation (or environment) where the viewer is placed by analyzing the sensing data etc. Information may be adapted.
  • various sensors for example, an acceleration sensor, a gyro sensor, an atmospheric pressure sensor, etc.
  • the objects to be controlled in the above are not limited to only BGM, background or character attributes, costumes, expressions or voice tones, and may be anything relating to sound or visual information of program content.
  • the distribution apparatus 100 changes the tone of the expression and voice of the speaker (for example, an announcer, a presenter, a radio personality, etc.) based on the content of the information to be transmitted, the reproduction date, etc. It can produce the same effect as BGM or background etc. being changed.
  • the tone of the expression and voice of the speaker for example, an announcer, a presenter, a radio personality, etc.
  • the program providing system has a function of automatically adding the motion of the character.
  • the distribution apparatus 100 analyzes the input moving image data or still image data, and controls the operation of the character so as to interlock with the display position of the object included in the moving image data or the still image data. For example, as shown in FIG. 7, when moving image data relating to the transition of the weather map is input, the distribution device 100 analyzes the moving image data, and recognizes the display position of the eye of the typhoon displayed in the weather map. . Then, the distribution device 100 may operate the hand of the character in conjunction with the transition of the weather map so that the tip of the pointing stick is positioned at the display position of the eye of the typhoon.
  • control content of the operation is not limited to the example of FIG.
  • the distribution device 100 may cause a reaction that is pleasing to the character at the timing when the highlight scene is reproduced.
  • the target to which the motion of the character is linked is not particularly limited.
  • a target to which the motion of the character is linked may be a human, an animal, an object, light (for example, fireworks or illumination, etc.), an illustration, characters, etc. included in moving image data or still image data.
  • the distribution apparatus 100 can produce the same effect as a speaker (e.g., an announcer, a presenter, a radio personality, etc.) actually operates in response to a moving image or a still image.
  • a speaker e.g., an announcer, a presenter, a radio personality, etc.
  • the program providing system has a function of requesting information used for automatic generation of program content.
  • the distribution apparatus 100 lacks various information (for example, genre, type, template, text data, moving image data, still image data, etc.) used for automatic generation of program content described above. Or if the information is inappropriate (if the video or still image is not clear or if the video is too short or too long), etc. It is possible to request the creator of new information with high quality.
  • various information for example, genre, type, template, text data, moving image data, still image data, etc.
  • the distribution apparatus 100 may make a request for missing information and the like using an output unit (for example, a display or a speaker) included in the distribution apparatus 100.
  • the distribution apparatus 100 not only notifies the information that "information is insufficient” or “inappropriate information” but also clearly indicates the content of the information that is lacking or the content of the appropriate information. By doing this, a clearer request may be made to the creator.
  • the distribution device 100 can automatically generate program content more smoothly. Also, the distribution device 100 can automatically generate program content using more appropriate information, so that the quality of program content can be improved.
  • the program providing system has a function (or a function of automatically editing) document data automatically in accordance with the reproduction status of program content by the user.
  • the user terminal 200 grasps the reproduction status of the program content by the viewer. For example, the user terminal 200 grasps the content of the information transmitted to the user in the program content already reproduced, or the content of the information transmitted to the viewer in the reproduced portion of the program content being reproduced. Do.
  • the user terminal 200 automatically edits the manuscript data, for example, As it is, comments such as “can be added to the manuscript data. Also, if the content of the information transmitted later in the program content is the information that has not been transmitted yet, the user terminal 200 automatically edits the manuscript data to enter, for example, new information on Comment may be added to the manuscript data.
  • the editing content of the document data is not limited to these.
  • the distribution apparatus 100 may realize the function. For example, in the case where information of the same or similar content is transmitted multiple times in a certain program content, the distribution device 100 may, for example, “as indicated” at the time of automatic generation of the document data. Comments may be added to the manuscript data.
  • the program providing system can produce the same effect as the speaker (for example, an announcer, a moderator or a radio personality, etc.) appropriately inserts an ad-lib according to the information transmission status.
  • the program providing system has a function of inserting information (or another program content) of another content into the program content being reproduced (or the program content to be reproduced).
  • the program providing system can set a position where information of different contents can be inserted into document data (hereinafter referred to as "insertable position").
  • the insertable position is, for example, the end position of the program content, the position (for example, the position at which the topic changes) of the program content, or the position of the phrase point, but is not limited thereto. .
  • the emergency information for example, disaster information, other information with high degree of importance, etc.
  • the user terminal 200 can play back the program content being played back.
  • the emergency information can be inserted at the insertable position of.
  • a comment such as “I am in the middle of a program but I will convey emergency information” may be added as appropriate to the beginning of the emergency information.
  • the above is only an example, and the information to be inserted is not limited to the emergency information.
  • information of another content when information of another content is inserted, information of another content may be transmitted within the program content being reproduced (for example, the character of the program content being reproduced is not changed, so that the emergency In the case of transmitting information etc.), another program information may be transmitted by switching the program content being reproduced to another program content.
  • the content of the program content to be reproduced after the inserted information of the different content may be edited as appropriate.
  • the program content reproduced after the inserted information of the different content may be edited so as to be reproduced from a position (for example, a position at which the topic changes) which is a break of the content.
  • a comment such as “The above has been notified of emergency information. Then, return to the original program.” May be appropriately added to the beginning of the program content to be reproduced after the inserted information of the different content. .
  • another new program content may be reproduced instead of the original program content being reproduced.
  • the program providing system can insert information of different contents into the program content being reproduced without giving a sense of discomfort to the viewer.
  • the program providing system has a function of providing unreplayed program content to the viewer.
  • the program providing system Or the entire program content (including the unreplayed portion) can be provided.
  • the said function may be used, when all program content is not reproduced
  • unreplayed program content may be provided for a predetermined application (for example, a predetermined application installed in the user terminal 200 or a My Page on a predetermined WEB site).
  • program content may be provided that includes sound or visual information, only text files (eg, only text files of topic portions, etc.) may be provided.
  • the viewer may be able to specify the provision method by a predetermined method.
  • the program providing system can provide the viewer with the program content that the viewer could not reproduce for any reason, and the convenience of the viewer can be improved.
  • the program providing system has an editing function and the like of program content accompanying skipping and the like.
  • the viewer when viewing a program content, the viewer can skip the contents of the program content or a commercial on the way (or perform fast-forwarding, double-speed playback, etc.).
  • the program content is ended earlier than the broadcast time due to the above-described skip or the like.
  • the timing at which the other program content is added is not particularly limited.
  • the other program content may be added at the last timing of the program content originally scheduled to be reproduced, or may be added at the middle of a plurality of program content.
  • another program content may not be added, and an unedited portion of the program content being reproduced or another program content scheduled to be reproduced may be automatically edited.
  • the playback time of the unplayed portion of the program content being played back may be expanded.
  • the original data, sound or visual information of the unreplayed part of the program content is edited.
  • an expression method may be adopted in which document data is edited and the reproduction time is longer, or new content may be added.
  • playback time of the originally scheduled program content is extended by the user repeatedly playing back (or rewinding, slowing etc.) the same program content, playback is scheduled. Deletion or shortening of the program content that has been performed may be performed.
  • the program providing system can end the program content at the broadcast time even when the viewer performs an operation such as skipping. Also, the program providing system can transmit as much information as possible to the viewer within a predetermined broadcast time.
  • the distribution apparatus 100 and the user terminal 200 may have the same functional configuration, but hereinafter, as an example, a case where the functional configurations of the distribution apparatus 100 and the user terminal 200 are different will be described. More specifically, the functional configuration for generating the program content is described for the distribution device 100, and the functional configuration for generating (or editing) the program content using the information provided by the distribution device 100 for the user terminal 200. explain.
  • the distribution apparatus 100 includes a control unit 110, a communication unit 120, an input unit 130, an output unit 140, and a storage unit 150.
  • Control unit 110 The control unit 110 centrally controls the entire process of the distribution apparatus 100.
  • the control unit 110 generally controls an automatic generation process of program content to be described later, and distributes the generated program content data.
  • the control unit 110 includes a document generation unit 111, a document analysis unit 112, a voice synthesis unit 113, a request management unit 114, a configuration generation unit 115, and a moving image generation unit 116.
  • each functional configuration of the control unit 110 will be described.
  • the document generation unit 111 has a functional configuration that automatically generates document data. For example, the document generation unit 111 generates document data by editing one or more text data input from an input unit 130 described later.
  • the document generation unit 111 may appropriately regenerate the document data based on the control of the configuration generation unit 115 described later. For example, when the configuration generation unit 115 determines that it is necessary to change the document data based on the analysis result of the document data after the document data is generated, the document generation unit 111 controls the configuration generation unit 115. Regenerate the manuscript data based on The document generation unit 111 provides the generated document data to the document analysis unit 112 and the voice synthesis unit 113.
  • the document analysis unit 112 analyzes the document data generated by the document generation unit 111. More specifically, the document analysis unit 112 extracts information relating to the content of the document data by extracting words and the like by decomposing the document data. As a result, the document analysis unit 112 can provide information that is not included in various information (for example, genre or type) input by the user to the configuration generation unit 115 described later.
  • the information extracted by the document analysis unit 112 by analysis of document data is not particularly limited.
  • the document analysis unit 112 may use a word (for example, "sea” or the like) included in the document data, information associated with the word (for example, “sea bathing” or “summer” or the like associated with the "sea”).
  • a word for example, "sea” or the like
  • information associated with the word for example, "sea bathing” or “summer” or the like associated with the "sea”
  • Images such as “wide” or “blue” associated with "sea”, etc., or information similar to the genre or type described above may be extracted.
  • the document analysis unit 112 may use information acquired from the outside when analyzing the document data. For example, the document analysis unit 112 may acquire information existing on the Internet, and automatically determine the meaning of a word included in document data, information associated with the word, and the like. Further, the document analysis unit 112 may request the creator of information used for analysis of document data. For example, the document analysis unit 112 may request the creator for information related to the content of a word included in document data or information associated with the word. Also, the document analysis unit 112 may update the analysis logic by learning the information used for analyzing the document data. As a result, the document analysis unit 112 can improve the analysis accuracy as it is used. The document analysis unit 112 provides the configuration generation unit 115 with the analysis result.
  • the voice synthesis unit 113 is a functional configuration that generates voice data corresponding to document data by performing voice synthesis processing using the document data generated by the document generation unit 111.
  • the speech synthesis method is not particularly limited.
  • the speech synthesis unit 113 can use any speech synthesis method such as waveform connection type speech synthesis or formant synthesis.
  • the speech synthesis unit 113 provides the generated speech data to the configuration generation unit 115.
  • the request management unit 114 is a functional configuration that receives a request from a program content creator and manages the request.
  • the request management unit 114 receives various setting information related to generation of program content.
  • the setting information received by the request management unit 114 is the genre, the type, the template, and the like described above, but is not limited thereto.
  • the setting information may include the target person of the program content, the broadcast time, the data amount, the screen size, the resolution, the volume, the subtitle information, etc.
  • the request management unit 114 provides the configuration generation unit 115 with information on these requests.
  • the configuration generation unit 115 is a functional configuration that generates the configuration of the entire program content.
  • the configuration generation unit 115 has a program content generation logic implemented by artificial intelligence technology. More specifically, the configuration generation unit 115 includes information on the creator's request provided from the request management unit 114, an analysis result provided from the document analysis unit 112, voice data provided from the voice synthesis unit 113, and Various information acquired from the storage unit 150, and arbitrary information acquired from the outside (including, for example, a wearable terminal worn by the viewer, etc.) (date and time of the broadcast, season, weather, temperature, area broadcasted , Program data by inputting sensing data of various sensors (for example, an acceleration sensor, a gyro sensor, a barometric pressure sensor, etc.), a viewer's action, a situation (or environment) where the viewer is placed, etc. Output the content configuration.
  • various sensors for example, an acceleration sensor, a gyro sensor, a barometric pressure sensor, etc.
  • the program content generation logic learns a large amount of program content in advance, and outputs the configuration of the program content considered to be optimal based on the above various information.
  • the learning method is not particularly limited, and any method used for machine learning may be used.
  • the “configuration” generated by the configuration generation unit 115 refers to the content of the document data, the content of the sound or visual information or the setting (for example, sound quality, volume, method of speech synthesis, content of BGM, content of moving image or still image Contents, attributes of characters, costumes or facial expressions, etc.), format, size or security settings of program content data (eg, access right etc.) is a concept including all the information constituting the program content.
  • the configuration of the program content generated by the configuration generation unit 115 is not limited at all by the input various information.
  • the configuration generation unit 115 generates the configuration of the program content based on the input template, it does not necessarily have to generate the configuration as the template, and a new template is generated by partially changing the content of the template. And the configuration may be generated based on the newly generated template.
  • the configuration generation unit 115 can generate a template that does not include an error based on the learning result in the past. Content configuration can be generated.
  • the configuration generation unit 115 determines that it is necessary to regenerate (or edit, etc.) document data or audio data based on the configuration of the generated program content, the document generation unit 111, the document analysis unit 112, and the audio By controlling the combining unit 113, re-generation of document data, analysis of document data, re-generation of audio data, and the like may be performed.
  • the configuration generation unit 115 determines that re-generation (or editing, etc.) of moving image data or still image data is necessary based on the configuration of the generated program content
  • the configuration generation unit 115 generates moving image data Alternatively, the still image data or the like may be regenerated (or edited).
  • the configuration generation unit 115 provides the moving image generation unit 116 with information on the configuration of the program content, sound data (including sound data), moving image data or still image data.
  • the moving image generation unit 116 is a functional configuration that automatically generates program content data using information related to the configuration of program content, sound data (including audio data), moving image data, or still image data provided from the configuration generation unit 115. is there. More specifically, the moving picture generation unit 116 determines the format, size, security setting (eg, access right, etc.) of the program content data based on the information on the configuration of the program content, and the sound data, moving image data or Program content data is generated by integrating and packaging still image data.
  • the communication unit 120 is a functional configuration that communicates with an external device.
  • the communication unit 120 may use various information used by the control unit 110 to generate program content data (eg, information used by the document analysis unit 112 to analyze document data, or a configuration generation unit 115 may be used to generate a program content configuration).
  • Information to be used is received from an external device (for example, a WEB server on the Internet).
  • the communication unit 120 transmits the program content data to the external device.
  • the communication method of the communication unit 120 is not particularly limited. For example, any wired communication method or wireless communication method may be used as the communication method of the communication unit 120.
  • the input unit 130 is a functional configuration that receives an input from the creator.
  • the input unit 130 includes an input unit such as a mouse, a keyboard, a touch panel, or a button, and the creator performs various operations using these input units to obtain various types of information (for example, genre, type, template, Sentence data, moving image data, still image data, etc. are input.
  • the output unit 140 is a functional configuration that outputs various information.
  • the output unit 140 includes display means such as a display and audio output means such as a speaker, and causes the display etc. to display various visual information based on a control signal from the control unit 110, a speaker etc. Or generated by
  • the storage unit 150 is a functional configuration that stores various types of information.
  • the storage unit 150 may include various information (eg, genre, type, template, sentence data, moving image data, still image data, etc.) input by the creator, and various information (original data, audio) generated by the distribution apparatus 100. Data, moving image data, still image data, program content data, etc. are stored.
  • the configuration generation unit 115 may update the generation logic by learning the past program content data stored in the storage unit 150.
  • the storage unit 150 stores programs and parameters used for various processes by the distribution apparatus 100. Note that the information stored in the storage unit 150 is not limited to the above.
  • the user terminal 200 includes a control unit 210, a communication unit 220, an input unit 230, an output unit 240, and a storage unit 250.
  • Control unit 210 The control unit 210 centrally controls the overall processing of the user terminal 200. For example, the control unit 210 centrally controls an automatic generation process of program content to be described later, and reproduces the generated program content data. As shown in FIG. 9, the control unit 210 includes a request management unit 211, a configuration generation unit 212, and a moving image generation unit 213. Hereinafter, each functional configuration of the control unit 210 will be described.
  • the request management unit 211 is a functional configuration that receives a request from a viewer of a program content and manages the request. For example, the request management unit 211 may select the program content selected by the viewer, skip the program content being reproduced, repeat reproduction, request for fast forward or rewind, request for editing program content data (for example, character attribute, subtitle It receives and manages information on the contents of BGM, the contents of background music, etc., and various settings (for example, display size, volume, speed, etc.) accompanying viewing of program contents. The request management unit 211 may manage information on these requests as preference information of the viewer. Note that the information accepted and managed by the request management unit 211 is not limited to these. The request management unit 211 provides the configuration generation unit 212 with information regarding these requests.
  • the request management unit 211 provides the configuration generation unit 212 with information regarding these requests.
  • the configuration generation unit 212 is a functional configuration that generates the configuration of the entire program content.
  • the user terminal 200 can generate program content using the viewer's request and various information provided by the distribution device 100.
  • document data, analysis results thereof, audio data generated based on the document data, and the like are provided by the distribution apparatus 100, and the user terminal 200 generates program content using these pieces of information.
  • the configuration generation unit 212 includes generation logic of program content realized by artificial intelligence technology. Then, the configuration generation unit 212 can request various information provided by the distribution apparatus 100 (document data, analysis result thereof, voice data generated based on the document data, etc.), and a viewer request provided from the request management unit 211 By inputting various information acquired from the storage unit 250 described later and arbitrary information acquired from the outside (information such as date and time of the broadcast, season, weather, temperature, area to be broadcast, etc.) to the generation logic Output the composition of the program content.
  • the configuration generation unit 212 can be configured by providing the user terminal 200 with the same functional configuration as the document generation unit 111, the document analysis unit 112, or the voice synthesis unit 113 of the distribution apparatus 100. These functional configurations may be controlled as necessary to realize generation of document data, analysis of document data, generation of audio data, and the like.
  • the configuration generation unit 212 provides the moving image generation unit 213 with information on the configuration of the program content, sound data (including audio data), moving image data or still image data.
  • the moving image generation unit 213 is a functional configuration that automatically generates program content data using information related to the configuration of program content, sound data (including audio data), moving image data, or still image data provided from the configuration generation unit 212. is there. More specifically, the moving image generation unit 213 determines the format, size, security setting (eg, access right, etc.) of the program content data based on the information on the configuration of the program content, and the sound data, moving image data or Program content data is generated by integrating and packaging still image data.
  • the communication unit 220 is a functional configuration that communicates with an external device. For example, when the user terminal 200 downloads and reproduces program content data generated by the distribution device 100, the communication unit 220 receives program content data from an external device including the distribution device 100. When the user terminal 200 generates program content using various information provided by the distribution device 100, the communication unit 220 receives the various information from an external device including the distribution device 100. Note that the reception of these pieces of information may be performed based on an operation by the viewer, or may be performed by the communication unit 220 at a predetermined timing. For example, the communication unit 220 may access an external device including the distribution device 100 at a predetermined timing, and may receive the new information if it is generated.
  • the communication method of the communication unit 220 is not particularly limited. For example, any wired communication method or wireless communication method may be used as the communication method of the communication unit 220.
  • the input unit 230 is a functional configuration that receives an input from a viewer.
  • the input unit 230 includes an input unit such as a touch panel or a button, and the creator performs various operations using these input units to select program content to be viewed and various settings associated with viewing program content. Etc.
  • the output unit 240 is a functional configuration that outputs various information.
  • the output unit 240 is provided with display means such as a display and audio output means such as a speaker, and based on the control signal from the control unit 210, displays various visual information on the display etc. Or generated by
  • the storage unit 250 is a functional configuration that stores various types of information.
  • the storage unit 250 stores program content data and the like.
  • the storage unit 250 may store preference information of the viewer.
  • the storage unit 250 may store, as the preference information of the viewer, information on various settings made by the viewer along with watching the program content, a feature of the program content watched by the viewer, and the like.
  • the storage unit 250 also stores programs and parameters used for various processes by the user terminal 200.
  • the information stored in the storage unit 250 is not limited to the above.
  • step S1000 text data is input to the input unit 130 by the creator of the program content.
  • the document generation unit 111 generates document data using the input text data.
  • the document analysis unit 112 analyzes the generated document data.
  • the voice synthesis unit 113 performs voice synthesis processing using the document data to generate voice data corresponding to the document data.
  • step S1016 the request management unit 114 acquires information on a request from the creator, such as various setting information on generation of a program content.
  • the process of step S1016 is assumed to be performed in parallel with the process up to step S1012, it is not limited thereto.
  • step S1020 the configuration generation unit 115 generates logic for generating information about the creator's request provided from the request management unit 114, an analysis result provided from the document analysis unit 112, voice data provided from the voice synthesis unit 113, etc. To generate a program content configuration by entering.
  • step S1024 / yes If it is necessary to regenerate the document data based on the configuration of the generated program content (step S1024 / yes), the process moves to step S1004, and the document generation unit 111 regenerates the document data. If it is not necessary to regenerate the document data (step S1024 / no), the moving image generation unit 116 generates information relating to the configuration of the program content, sound data (including sound data), moving image data or still image data in step S1028. The process ends when the program content data is generated using it.
  • step S1100 the configuration generation unit 212 provides various information (original data, an analysis result thereof, and an audio generated based on the original data) used for generation of the program content provided from the distribution apparatus 100 via the communication unit 220. Get data etc.)
  • step S1104 the request management unit 211 acquires information on a request from the viewer, such as various setting information on generation of a program content.
  • information on a request from the viewer such as various setting information on generation of a program content.
  • the configuration generation unit 212 receives various information (original data, analysis result, audio data generated based on the original data, etc.) provided from the distribution apparatus 100 and a viewer provided from the request management unit 211.
  • the configuration of the program content is generated by inputting information relating to the request of to the generation logic.
  • step S1116 the moving image generation unit 213 generates program content data using information on the configuration of the program content, and the processing is completed.
  • each data may be regenerated by providing the same functional configuration as the document generation unit 111, the document analysis unit 112, or the voice synthesis unit 113 of the distribution apparatus 100.
  • FIG. 12 is a diagram showing a hardware configuration of an information processing apparatus 900 embodying the distribution apparatus 100 and the user terminal 200. As shown in FIG. 12
  • the information processing apparatus 900 is a CPU (Central Processing Unit) 901, ROM (Read Only Memory) 902, RAM (Random Access Memory) 903, host bus 904, bridge 905, external bus 906, interface 907, input device 908, output device 909. , A storage device (HDD) 910, a drive 911 and a communication device 912.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • bridge 905 external bus 906, interface 907, input device 908, output device 909.
  • a storage device (HDD) 910 a drive 911 and a communication device 912.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 900 according to various programs. Also, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters and the like that appropriately change in the execution. These are mutually connected by a host bus 904 configured of a CPU bus and the like.
  • the respective functions of the control unit 110 of the distribution apparatus 100 and the control unit 210 of the user terminal 200 are realized by the cooperation of the CPU 901, the ROM 902, and the RAM 903.
  • the host bus 904 is connected to an external bus 906 such as a peripheral component interconnect / interface (PCI) bus via the bridge 905.
  • PCI peripheral component interconnect / interface
  • the input device 908 is an input control circuit such as a mouse, a keyboard, a touch panel, a button, a microphone, an input unit for inputting information such as a switch and a lever, and an input control circuit which generates an input signal based on an input by the user. And so on.
  • a user who uses the information processing apparatus 900 can input various data to each apparatus or instruct processing operation by operating the input device 908.
  • the input device 908 implements the functions of the input unit 130 of the distribution apparatus 100 and the input unit 230 of the user terminal 200.
  • the output device 909 includes, for example, a display device such as a cathode ray tube (CRT) display device, a liquid crystal display (LCD) device, an organic light emitting diode (OLED) device and a lamp. Further, the output device 909 includes an audio output device such as a speaker and headphones. The output device 909 outputs, for example, the reproduced content. Specifically, the display device displays various information such as reproduced video data as text or image. On the other hand, the audio output device converts the reproduced audio data etc. into audio and outputs it. The output device 909 realizes the functions of the output unit 140 of the distribution device 100 and the output unit 240 of the user terminal 200.
  • a display device such as a cathode ray tube (CRT) display device, a liquid crystal display (LCD) device, an organic light emitting diode (OLED) device and a lamp.
  • the output device 909 includes an audio output device such as a speaker and headphones.
  • the output device 909 output
  • the storage device 910 is a device for storing data.
  • the storage device 910 may include a storage medium, a recording device that records data in the storage medium, a reading device that reads data from the storage medium, and a deletion device that deletes data recorded in the storage medium.
  • the storage device 910 is configured by, for example, an HDD (Hard Disk Drive).
  • the storage device 910 drives a hard disk and stores programs executed by the CPU 901 and various data.
  • the storage device 910 implements the functions of the storage unit 150 of the distribution apparatus 100 and the storage unit 250 of the user terminal 200.
  • the drive 911 is a reader / writer for a storage medium, and is built in or externally attached to the information processing apparatus 900.
  • the drive 911 reads out information recorded in a removable storage medium 913 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903.
  • the drive 911 can also write information in the removable storage medium 913.
  • the communication device 912 is, for example, a communication interface configured of a communication device or the like for connecting to the communication network 914.
  • the communication device 912 realizes the functions of the communication unit 120 of the distribution device 100 and the communication unit 220 of the user terminal 200.
  • the program providing system has a function of automatically generating broadcast document data, a function of automatically generating sound or visual information of program content, information to be transmitted, reproduction date, etc.
  • the program providing system can reduce the cost of generating program content while maintaining high quality of program content including sound or visual information.
  • each step may be processed in an order different from the order described as the flowchart, or may be processed in parallel.
  • the functional configuration of the distribution apparatus 100 or the user terminal 200 may be changed as appropriate.
  • part of the functional configuration of the distribution apparatus 100 or the user terminal 200 may be appropriately provided in an external device.
  • the control unit 110 of the distribution device 100 may realize some functions of the communication unit 120, the input unit 130, and the output unit 140.
  • the control unit 210 of the user terminal 200 may realize some functions of the communication unit 220, the input unit 230, and the output unit 240.
  • the control unit is configured to acquire material data, analyze the content of the material data, and automatically generate program content data based on the content.
  • the program content data includes visual information, Information processing device.
  • the program content data includes a moving image or a still image as the visual information.
  • the information processing apparatus according to (1) (3)
  • the program content data includes a moving image or a still image of a character as the visual information.
  • the control unit controls BGM, background or attributes of the character, costume, expression or voice tone based on the content.
  • the control unit controls the operation of the character based on the content.
  • the control unit controls an operation of the character so as to interlock with a position of an object displayed in the moving image or the still image.
  • the information processing apparatus according to (5).
  • the material data includes one or more sentence data,
  • the control unit analyzes the content of the text data, and automatically generates document data included in program content data based on the content of the text data.
  • the information processing apparatus according to any one of (1) to (6).
  • the control unit automatically generates the document data by editing the sentence data.
  • the information processing apparatus according to (7). (9)
  • the control unit automatically generates the document data based on the reproduction status of the program content data.
  • the control unit inserts information of another content into the document data.
  • the control unit provides a position where the insertion can be performed based on the content of the document data.
  • the information processing apparatus according to (10).
  • the control unit automatically generates the program content data based on a date or time or a region where the program content data is reproduced, or a season, weather or temperature at the time of reproduction.
  • the information processing apparatus according to any one of (1) to (11).
  • the control unit automatically generates one or more program content data in which a total of reproduction times is substantially the same as a predetermined broadcast time.
  • the information processing apparatus according to any one of (1) to (12).
  • the control unit is configured to automatically edit or reproduce unreplayed portions of program content data being reproduced or another program content data scheduled to be reproduced based on the reproduction status of the one or more program content data.
  • the information processing apparatus perform automatic addition of another program content data that was not scheduled, The information processing apparatus according to (13).
  • the control unit requests the user to use the information used for the automatic generation of the program content data, when the information used for the automatic generation of the program content data includes insufficient information or inappropriate information. , The information processing apparatus according to any one of (1) to (14).
  • the control unit notifies a user of unreproduced program content data or an unreproduced portion of the program content data.
  • the information processing apparatus according to any one of (1) to (15).
  • (17) Acquiring material data, analyzing the content of the material data, and automatically generating program content data based on the content;
  • the program content data includes visual information, An information processing method implemented by a computer.
  • Acquiring material data analyzing the content of the material data, and automatically generating program content data based on the content;
  • the program content data includes visual information, A program for realizing it on a computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】視覚情報を含む番組コンテンツの生成コストを削減することを可能にする。 【解決手段】素材データを取得し、前記素材データの内容を解析し、前記内容に基づいて番組コンテンツデータを自動生成する制御部を備え、前記番組コンテンツデータは、視覚情報を含む、情報処理装置が提供される。

Description

情報処理装置、情報処理方法およびプログラム
 本開示は、情報処理装置、情報処理方法およびプログラムに関する。
 近年、情報処理技術の進歩に伴い、テレビ、ラジオまたはインターネットの動画配信サイト等で放送される番組コンテンツについて、様々な生成方法または提供方法が開発されている。
 例えば、以下の特許文献1には、ニュース、天気、ツイッタフィードなど、ウェブサイトで提供される各種テキスト情報を、楽曲などのオーディオデータと組み合わせて番組コンテンツを生成する技術および生成された番組コンテンツを音声出力する技術が開示されている。
特許第6065019号公報
 しかし、特許文献1に開示されている技術等によっては、視覚情報を含む番組コンテンツの生成コストを削減することが困難であった。例えば、特許文献1に開示されている技術は、音声が含まれる番組コンテンツの生成コストを削減することはできたが、動画または静止画等の視覚情報が含まれる番組コンテンツの生成コストを削減することは困難であった。
 本開示は、上記に鑑みてなされたものであり、視覚情報を含む番組コンテンツの生成コストを削減することが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供する。
 本開示によれば、素材データを取得し、前記素材データの内容を解析し、前記内容に基づいて番組コンテンツデータを自動生成する制御部を備え、前記番組コンテンツデータは、視覚情報を含む、情報処理装置が提供される。
 また、本開示によれば、素材データを取得し、前記素材データの内容を解析し、前記内容に基づいて番組コンテンツデータを自動生成することを有し、前記番組コンテンツデータは、視覚情報を含む、コンピュータにより実行される情報処理方法が提供される。
 また、本開示によれば、素材データを取得し、前記素材データの内容を解析し、前記内容に基づいて番組コンテンツデータを自動生成することを有し、前記番組コンテンツデータは、視覚情報を含む、コンピュータに実現させるためのプログラムが提供される。
 以上説明したように本開示によれば、視覚情報を含む番組コンテンツの生成コストを削減することが可能になる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る番組提供システムの構成を示す図である。 番組コンテンツの作成者によって入力される情報である「ジャンル」の一例を示す図である。 番組コンテンツの作成者によって入力される情報である「種別」の一例を示す図である。 番組コンテンツの作成者によって入力される情報である「テンプレート」の一例を示す図である。 ある伝達情報に対して再生時間が異なる複数の原稿データが生成された場合についての、複数の原稿データの一例を示す図である。 伝達される情報または再生日時等に、視覚情報を適応させる機能を説明するための図である。 キャラクターの動作を自動的に付加する機能を説明するための図である。 配信装置が備える機能構成の一例を示すブロック図である。 ユーザ端末が備える機能構成の一例を示すブロック図である。 配信装置の動作の一例を示すフローチャートである。 ユーザ端末の動作の一例を示すフローチャートである。 配信装置およびユーザ端末のハードウェア構成の一例を示すブロック図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 なお、説明は以下の順序で行うものとする。
 1.背景
 2.番組提供システムの構成
 3.機能概要
 4.機能構成
 5.動作
 6.ハードウェア構成
 7.むすび
  <1.背景>
 まず、本開示の背景について説明する。
 テレビ、ラジオまたはインターネットの動画配信サイト等で放送される番組コンテンツは、予め作成された原稿と話者(例えば、アナウンサー、司会者またはラジオパーソナリティ等)のアドリブ等によって構成されている。
 より具体的には、話者は、自らのスキルおよび経験等に基づいて、伝達する内容の追加、変更または削除等を行うことによって、番組コンテンツが予め決められた放送時間に終了するように調整している。例えば、原稿の内容が残りの放送時間に伝達可能な量よりも多い場合には、話者は、より優先度が低い内容を省略したり、より短い表現に変更したりすること等によって、より優先度が高い情報を伝達しつつ番組コンテンツを放送時間に終了させるように調整している。
 また、原稿が複数存在する場合、話者は、ある原稿を読み終えて、次の原稿を読み始めるまでの間に、接続詞(例えば、「さて」、「続いて」、「それでは」、「ところで」等)またはアドリブ等を適宜挿入することによって、ある原稿から次の原稿への移行を円滑に行っている。
 また、話者は、ユーザの視聴状況に応じてアドリブを入れる場合がある。例えば、過去に伝達された情報が再び伝達される場合、話者は、「お伝えしているとおり」等のように原稿の内容への導入部分としてアドリブを入れる場合がある。また、過去に伝達されていない新規情報が伝達される場合、話者は、「について新たな情報が入ってきました。」等のアドリブを入れる場合がある。
 また、緊急情報(災害情報、その他重要度の高い情報等)を伝達する必要が生じた場合には、話者は、伝達中の情報の途中に緊急情報を伝達したり、伝達する情報の順番を入れ替えることによって優先的に緊急情報を伝達したりしていた。
 また、話者は、伝達する情報の内容に応じて身振り手振り等のジェスチャーを交えながら情報を伝達することがある。例えば、天気予報において、話者が指示棒で天気図の一部を指し示しながら情報を伝達したり、表示された動画または静止画に視線を向けながら情報を伝達したりする場合がある。
 また、話者は、伝達する内容に基づいて表情または声のトーン等を適宜変える。例えば、伝達する内容が悲報(例えば、事故もしくは災害の発生または人の死去等)である場合には、話者は、表情を暗く変え、声のトーンを低く変えて情報を伝達する。逆に、伝達する内容が朗報(例えば、結婚、出産または大会での優勝等)である場合には、話者は、表情を明るく変え、声のトーンを高く変えて情報を伝達する。また、表情または声のトーンだけでなく、例えば、話者の衣装、BGMまたは背景等が、伝達される内容に基づいて変更される場合もある。
 また、BGM、背景、話者の表情、声のトーンもしくは衣装等は、伝達される内容だけでなく、番組コンテンツが再生される日時もしくは地域、または、再生時の季節、天気もしくは気温にも基づいて変更される場合がある。例えば、再生時の季節が夏である場合には、話者の衣装が夏服にされ、BGMおよび背景が夏を連想させる曲および背景に変更される場合がある。
 以上も踏まえて、一つの番組コンテンツが作成されるまでには、原稿の作成、衣装の決定および調達、BGMの決定および編集、背景の決定、作成および設置、カメラワークの決定、話者のキャスティング、話者との打ち合わせ、話者によるアドリブの内容の検討等、リハーサル、本番撮影、編集および放送等のように、多くの作業が行われることによって、番組コンテンツの作成コストは大きくなる傾向にあった。また、番組コンテンツの品質(視聴者が心地よく視聴可能か否か、アドリブが適切であるか否か等)および番組コンテンツが放送時間に終了するか否か等については話者のスキルまたは経験等に依存していた。
 本件の開示者は、上記事情に鑑み、本開示を創作するに至った。本開示は、素材データを取得し、素材データの内容を解析し、その内容に基づいて視覚情報を含む番組コンテンツを自動生成することができる。以降では、本開示の一実施形態に係る番組提供システムの詳細について説明していく。
  <2.番組提供システムの構成>
 上記では、本開示の背景について説明した。続いて、図1を参照して、本開示の一実施形態に係る番組提供システムの構成について説明する。
 図1に示すように、本実施形態に係る番組提供システムは、配信装置100と、ユーザ端末200とを備え、配信装置100およびユーザ端末200はネットワーク300によって接続されている。
 配信装置100は、番組コンテンツを自動生成し、配信する機能を有する情報処理装置である。より具体的には、番組コンテンツの作成者が番組コンテンツの元となる素材データを配信装置100に対して入力すると、配信装置100は、素材データの内容に基づいて視覚情報を含む番組コンテンツを自動生成する。
 例えば、配信装置100は、素材データとして入力された文章データに基づいて原稿データを生成する。そして、配信装置100は、当該原稿データと、素材データとして入力された動画データまたは静止画データ等に基づいて視覚情報を含む番組コンテンツを生成する。ここで、番組コンテンツは、原稿データに対して音声合成処理が施されることによって音声を出力可能なものであってもよいし、原稿データを字幕として表示可能なものであってもよいし、入力された動画データまたは静止画データ以外の、例えば、任意のキャラクターを表示可能なものであってもよい。また、番組コンテンツは、テレビで放送されるコンテンツ、インターネットの動画配信サイトで配信されるコンテンツ、所定の広告媒体に表示されるコンテンツまたはラジオで放送されるコンテンツ等を含み、かつ、これらに限定されない。番組コンテンツの内容および生成方法等の詳細については後述する。
 そして、配信装置100は、生成した番組コンテンツをユーザ端末200に提供することで視聴者に対して番組コンテンツを提供する。より具体的には、配信装置100は、ユーザ端末200がアクセス可能なサーバ(例えば、インターネット上の特定のWEB(World Wide Web)サイトを管理するWEBサーバ等)に番組コンテンツをアップロードし、ユーザ端末200が当該サーバから番組コンテンツをダウンロードする。なお、番組コンテンツの提供方法はこれに限定されない。例えば、ユーザ端末200がネットワーク300を介して配信装置100に直接アクセスして、番組コンテンツを取得してもよい。また、ユーザ端末200が番組コンテンツをダウンロードするプル型配信ではなく、プッシュ型配信が行われてもよい。
 ユーザ端末200は、配信装置100によって配信された番組コンテンツを再生する機能を有する情報処理装置である。より具体的には、ユーザ端末200は、視聴者の操作に基づいて選択された番組コンテンツを、自装置に備えられる出力部(例えば、ディスプレイ、スピーカー等)を用いて再生する。
 また、ユーザ端末200は、配信装置100によって生成された番組コンテンツを編集する機能を有する。例えば、ユーザ端末200は、視聴者による設定、または、視聴者の嗜好情報等に基づいて番組コンテンツの内容(原稿データ、動画データ、静止画データまたはBGMの内容等)または再生方法(例えば、表示サイズ、音量、速度等)を編集する機能を有する。また、ユーザ端末200は、配信装置100が途中まで加工した素材データを用いて番組コンテンツを生成する機能も有する。例えば、ユーザ端末200は、配信装置100が、フィルタリングによるノイズ除去、トリミング、フォーマット変換等を施した素材データを用いて番組コンテンツを生成する機能を有する。
 なお、本書では一例として、上記のように、配信装置100が生成した番組コンテンツを、ユーザ端末200が再生したり編集したりする場合を説明するが、各種処理は配信装置100およびユーザ端末200のどちらで実行されてもよい(換言すると、配信装置100とユーザ端末200は互いに同一の機能構成を備え得る)。例えば、配信装置100が番組コンテンツの元となるデータ(素材データ自体、または、素材データが加工されたデータ)を配信し、ユーザ端末200が当該データおよび視聴者の嗜好情報等を用いて番組コンテンツを自動生成して再生してもよい。また、ユーザ端末200が視聴者の嗜好情報等を配信装置100に提供し、配信装置100が当該情報を用いて自動生成した番組コンテンツをユーザ端末200に配信してもよい。
 配信装置100およびユーザ端末200は、例えば、デスクトップ型、ノート型もしくはタブレット型のPC(Personal Computer)、スマートフォン、汎用コンピュータ、各種ウェアラブル端末(例えば、メガネ型端末、時計型端末、衣服型端末、指輪型端末、ブレスレット型端末、イヤリング型端末、ネックレス型端末等)、ヘッドマウント型ディスプレイ等であるが、これらに限定されない。
 ネットワーク300は、ネットワーク300に接続されている配信装置100およびユーザ端末200によって通信される情報のための有線、または無線の伝送路である。例えば、ネットワーク300は、インターネットなどの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク300は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網や、Bluetooth(登録商標)などの近距離無線通信網を含んでもよい。
 なお、図1の構成はあくまで一例であり、本実施形態に係る番組提供システムの構成は、これに限定されない。例えば、上記のとおり、本実施形態に係る番組提供システムは、配信装置100またはユーザ端末200のいずれかによって構成されてもよい。
  <3.機能概要>
 上記では、本開示の一実施形態に係る番組提供システムの構成について説明した。続いて、本実施形態に係る番組提供システムの機能概要について説明する。
 (3-1.原稿生成機能)
 本実施形態に係る番組提供システムは、放送される原稿データを自動生成する機能を有する。
 より具体的に説明すると、まず、配信装置100は、素材データとして文章データ、および、当該文章データの内容についてのジャンルもしくは種別、または、テンプレートに関する情報を入力される。
 ここで、文章データは、テキストファイル、ワープロソフト等で生成されたデータファイルを想定しているが、これに限定されない。例えば、文章データは、文章が表示された画像ファイルであり、配信装置100が当該画像ファイルを解析することで文章を抽出してもよい。また、文章データは単数であってもよいし、複数であってもよい。
 また、文章データの内容についてのジャンルとは、伝達される情報の分類であり、例えば、図2に示すように、「政治」、「経済」、「エンターテイメント」、「スポーツ」、「国際」、「天気」等であるがこれに限定されない。例えば、ジャンルとは、「全国の天気」、「東京都の天気」、「1週間の天気」、「1日の天気」等のように、上記のジャンル(例えば、「天気」等)を細分化したものであってもよい。なお、当該ジャンルの入力は必須ではない。
 また、文章データの内容についての種別とは、伝達される情報が何らかの種類によって区別されたものであり、例えば、図3に示すように、「世界」、「全国」、「県」、「市」、「区町村」、「個人」等のように情報伝達の対象範囲の種類によって区別されたもの等であるがこれに限定されない。例えば、文章データの内容についての種別とは、「男性」、「女性」、「老人」、「子供」等のように情報伝達の対象者の種類によって区別されたものであってもよいし、「緊急」または「通常」等のように情報伝達の緊急性の種類によって区別されたものであってもよいし、「悲報」または「朗報」等のように情報内容によって区別されたものであってもよい。なお、当該種別の入力は必須ではない。
 テンプレートとは、番組コンテンツの構成パターンを示す情報である。例えば、テンプレートとは、図4に示すように、「オープニング(4A)」、「トピック(4B)」、「エンディング(4C)」という構成パターンである。なお、テンプレートは、図4の例に限定されず、例えば、「オープニング(4A)」、「トピック(4B)」、「エンディング(4C)」のいずれかが省略された構成パターンであってもよいし、これら以外の構成が追加された構成パターンであってもよい。また、テンプレートは、カメラワーク、画面構成(キャラクター、動画、静止画またはテロップの位置関係等)、キャラクターの有無、キャラクターの属性(性別、年齢、声質、衣装、キャラクターが人間以外(動物等)である場合にはその種類等)、音声の有無等の設定が付加された情報であってもよい。当該テンプレートは、作成者によって作成されてもよいし、既存の番組(例えば、テレビ番組、インターネット配信番組、ラジオ番組等)の学習結果に基づいて自動生成されてもよい。作成者は、このようなテンプレートを選択することによって、所望の番組コンテンツを配信装置100に生成させることができる。なお、テンプレートの入力は必須ではない。
 配信装置100は、入力された上記の各種情報に基づいて原稿データを自動生成する。より具体的には、配信装置100は、入力された文章データを解析し文章データの内容を把握する。例えば、配信装置100は、文章データに含まれる単語を抽出し、自装置に記憶されている情報または外部装置(例えば、外部のWEBサーバ等)から取得した情報等を用いて当該単語の内容を認識する。これによって、配信装置100は、入力されたジャンルまたは種別だけでなく、文章データを自ら解析した結果に基づいて、文章データの内容についてのジャンルまたは種別等を認識し、この後の処理に用いることができる。
 そして、配信装置100は、ジャンル、種別、テンプレート、文章データの解析結果等に基づいて放送される原稿データを自動生成する。より具体的には、配信装置100は、入力された文章データの一部の削除もしくは変更、または、文章データに含まれない情報の追加等を行うことで原稿データを自動生成する。
 ここで、図4のテンプレートが用いられる場合を一例として、原稿データの自動生成について説明する。例えば、トピック(4B)で放送される情報についての文章データが配信装置100に入力されたとする。配信装置100は、入力された文章データを用いて、トピック(4B)で放送される原稿データを自動生成するとともに、オープニング(4A)およびエンディング(4C)で放送される原稿データも自動生成する。
 配信装置100は、オープニング(4A)、トピック(4B)およびエンディング(4C)にて放送される原稿データを生成するにあたり、伝達される情報の内容、番組コンテンツデータが再生される日時もしくは地域、または、再生時の季節、天気もしくは気温に基づいて、入力された文章データに含まれない内容を追加する。例えば、配信装置100は、オープニング(4A)に「明けましておめでとうございます。2017年1月1日のニュースをお伝えします。」等のように番組コンテンツデータが再生される日時に基づく内容を追加してもよい。また、配信装置100は、トピック(4B)の冒頭に「早速ですが、悲報が入ってきました。」等のように伝達される情報の内容に基づく内容を追加してもよい。また、配信装置100は、エンディング(4C)に「この後、午前10時から午後15時までに、東京都では強い雨が降ることが予想されます。雨具をお忘れなく。」等のように再生される地域および再生時の天気に基づく内容を追加してもよい。
 また、視聴者の行動または視聴者が置かれた状況(または環境)等に応じた内容が追加されてもよい。より具体的には、配信装置100(またはユーザ端末200)が、視聴者によって装着されているウェアラブル端末の各種センサ(例えば、加速度センサ、ジャイロセンサまたは気圧センサ等)によって取得されたデータを解析することで、視聴者の行動または視聴者が置かれた状況等を認識し、これらに応じた内容を追加してもよい。例えば、配信装置100等は、視聴者が通勤中であると認識した場合には、エンディング(4C)に「今日もお仕事頑張ってください。」等の内容を追加してもよい。
 また、配信装置100等は、未来のある時点における視聴者の行動または視聴者が置かれる状況(または環境)等を、上記のセンシングデータ等を解析することで予測し、当該予測結果に応じた内容を追加してもよい。例えば、配信装置100等は、視聴者が通勤時に乗り物(例えば、電車または自動車等)に乗ったことを認識した場合、過去の行動履歴に基づいて予測した降車時間において、「今日もお仕事頑張ってください。」等の内容を追加してもよい。なお、上記のように追加される内容は、予め、他の文章データが入力されることによって自動生成されたものであってもよい。
 また、配信装置100は、入力された文章データの一部の削除または変更を行う。例えば、上記のように追加された内容の中に、入力された文章データと重複する内容が含まれる場合(例えば、「2017年1月1日のニュースをお伝えします。」という内容が追加され、同様の趣旨の内容が文章データにも含まれる場合)、配信装置100は、文章データにおける重複部分の削除または変更を適宜行ってもよい。また、配信装置100は、同一の単語が頻発したり難解な単語が存在したりする場合に適宜別の表現に変更してもよい。
 なお、配信装置100は、素材データである文章データを変更することなく原稿データを生成してもよい。例えば、何らかの理由で文章データの変更が禁止されている場合(例えば、文章データが著作権で保護されている場合等)において、配信装置100は、入力された文章データを変更することなく、文章データの前後に付加する内容を調整することで原稿データを生成してもよい。その際、配信装置100は、原稿の読み上げ速度を調整したり、適宜間を設けたりすることで、視聴者が違和感を受けにくくすることができる(なお、再生時間の調整については後述する)。
 これによって、配信装置100は、話者(例えば、アナウンサー、司会者またはラジオパーソナリティ等)がアドリブを交えつつ提供するような品質の高い番組コンテンツを生成することができ、かつ、番組コンテンツの生成コストを削減することができる。また、番組コンテンツの作成者は、核となる情報である文章データの作成に注力することができる。
 また、予め放送時間が決められている番組コンテンツにおいて、配信装置100は、放送時間に番組コンテンツが終了するように、原稿データを生成することができる。より具体的には、配信装置100は、原稿データを生成する際に、音声データの再生時間を算出する。例えば、配信装置100は、音声合成に用いられる各種パラメータの内容に基づいて、原稿データの音声合成後の音声データの再生時間を算出する。
 そして、生成された原稿データ(または生成中の原稿データ)の再生時間が予め決められた放送時間よりも長い場合、配信装置100は、原稿データを編集する。例えば、配信装置100は、入力された文章データにおいて優先度の低い情報を削除したり、文章データとは異なる表現に変更したり、追加した内容の削除または変更等によって、原稿データの再生時間が予め決められた放送時間になるように原稿データを編集する。逆に、生成された原稿データ(または生成中の原稿データ)の再生時間が予め決められた放送時間よりも短い場合、配信装置100は、入力された文章データとは異なる表現に変更したり、追加した内容を変更したり、新たに別の内容を追加すること等によって、原稿データの再生時間が予め決められた放送時間になるように原稿データを編集する。
 ここで、配信装置100は、ある伝達情報に対して再生時間が異なる複数の原稿データを生成し、当該複数の原稿データの中から適切な原稿データを選択することで、放送時間に終了する原稿データの生成を実現してもよい。例えば、配信装置100は、入力された文章データを解析し、その解析結果に基づいて、図5に示すような、再生時間が互いに異なり、かつ、視聴者が理解し得る複数の原稿データを生成する。そして、配信装置100は、放送時間または他の伝達情報の原稿データ等に基づいて、複数の原稿データの中から適切な原稿データを選択することで、放送時間に終了する原稿データの生成を実現してもよい。なお、配信装置100は、図5に示すようなリストを作成者に提示することによって、作成者に複数の原稿データの中から所望の原稿データを選択させてもよい。
 以上によって、配信装置100は、話者(例えば、アナウンサー、司会者またはラジオパーソナリティ等)が、伝達すべき情報と残りの放送時間に基づいて伝達する内容、表現方法または話す速度等を変えるように動作することができ、番組コンテンツを放送時間に終了させることができる。
 (3-2.音または視覚情報の生成機能)
 また、本実施形態に係る番組提供システムは、番組コンテンツの音または視覚情報を自動生成する機能を有する。
 より具体的に説明すると、配信装置100は、素材データとして動画データまたは静止画データ等を入力される。そして、配信装置100は、これらのデータと、上記で設定された情報(ジャンル、種別またはテンプレート等)および上記で生成した原稿データを用いて、音または視覚情報を含む番組コンテンツを自動生成する。
 例えば、配信装置100は、生成した原稿データを用いて音声合成処理を行うことによって、音声データを含む番組コンテンツを生成する。また、配信装置100は、音声だけでなく、何らかの音(例えば、BGM、効果音等)を付加することもできる。また、配信装置100は、入力された素材データの解析結果に基づいて何らかの音を付加してもよい。例えば、素材データがスポーツ大会に関する動画データ等であると解析された場合、配信装置100は、当該スポーツ大会のテーマ曲をBGMとして付加してもよい。
 また、配信装置100は、設定されたテンプレートに基づいて番組コンテンツの構成パターン(カメラワーク、画面構成(キャラクター、動画、静止画またはテロップの位置関係等)、キャラクターの有無、キャラクターの属性(性別、年齢、声質、衣装、キャラクターが人間以外(動物等)である場合にはその種類等)、音声の有無等の設定が付加された情報を含む)を決定する。そして、配信装置100は、入力された動画データまたは静止画データを構成パターンにおける所定のタイミングおよび位置に挿入する。図4を参照して具体的に説明すると、配信装置100は、入力された動画データまたは静止画データをトピック(4B)における、画面左上の位置に挿入する。
 このとき、配信装置100は、入力された動画データまたは静止画データを適宜編集してもよい。より具体的には、配信装置100は、動画データまたは静止画データを解析して動画データまたは静止画データにおいてより重要度が高い部分を認識する。なお、配信装置100は、動画データまたは静止画データの解析にあたり、原稿データの内容を参照してもよい。例えば、原稿データに「宇宙飛行士」という単語が存在する場合に、配信装置100は、動画データまたは静止画データに含まれる宇宙飛行士の重要度がより高いと認識してもよい。そして、配信装置100は、より重要度が高い部分が視認され易いように動画データまたは静止画データを編集(例えば、トリミング、縦横比の変更等)することで、動画データまたは静止画データがより適切に画面中に挿入されるようにしてもよい。
 これによって、配信装置100は、番組コンテンツの品質を高く維持しつつ、音または視覚情報を含む番組コンテンツの生成コストを削減することができる。
 なお、番組コンテンツに表示されるキャラクターの生成方法は特に限定されず、2次元のアニメーションを生成する任意の技術が用いられ得る。例えば、任意のソフトウェアによって生成されたイラストにおいて複数の特徴点を指定し、各特徴点の位置座標の時間的変化を指定することによって2次元のアニメーションを生成する技術が用いられてもよい。また、任意の3次元モデリング技術(例えば、モデリング、レンダリングまたはレタッチ等)が併用されることで、3次元のアニメーションが生成されてもよい。
 (3-3.伝達される情報または再生日時等に、音または視覚情報を適応させる機能)
 また、本実施形態に係る番組提供システムは、伝達される情報の内容または再生日時等に、音または視覚情報を適応させる機能を有する。
 より具体的に説明すると、配信装置100は、伝達される情報の解析結果または設定された情報(ジャンル、種別またはテンプレート等)によって、伝達される情報の内容を認識し、番組コンテンツの音または視覚情報を当該内容に適応させる。例えば、伝達される情報の内容が朗報に関するものであった場合、図6の6Aに示すように、配信装置100は、視聴者に明るい印象を与えるような衣装をキャラクターの衣装として決定する。逆に、伝達される情報の内容が悲報に関するものであった場合、図6の6Bに示すように、配信装置100は、視聴者に暗い印象(または改まった印象)を与えるような衣装をキャラクターの衣装として決定する。もちろん、衣装の具体的内容は図6に限定されない。例えば、伝達される情報の内容がスポーツの大会に関するものであれば、キャラクターの衣装はスポーツチームのユニフォーム等であってもよい。
 なお、配信装置100は、キャラクターの衣装だけでなく、BGM、背景またはキャラクターの属性、表情もしくは声のトーン等を適応させることができる。例えば、配信装置100は、伝達される情報が朗報である場合には、配信装置100は、BGM、背景およびキャラクターを、明るい印象を与える曲、背景およびキャラクターにし、キャラクターの表情を明るい表情にし、キャラクターの声のトーンを高くしてもよい。
 また、配信装置100は、音または視覚情報を、番組コンテンツデータが再生される日時もしくは地域、または、再生時の季節、天気もしくは気温等に適応させる。例えば、放送時の季節が夏である場合には、配信装置100は、BGMおよび背景を、夏を連想させる曲および背景にし、キャラクターの衣装を夏服にし、キャラクターの肌を日焼けさせた状態にしてもよい。なお、上記はあくまで一例であり、配信装置100は、番組コンテンツデータが再生される日時もしくは地域、または、再生時の季節、天気もしくは気温以外の情報に基づいて音または視覚情報を制御してもよい。
 また、配信装置100は、音または視覚情報を、視聴者の行動または視聴者が置かれた状況(または環境)等に適応させる。より具体的には、配信装置100が、視聴者によって装着されているウェアラブル端末の各種センサ(例えば、加速度センサ、ジャイロセンサまたは気圧センサ等)によって取得されたデータを解析することで、視聴者の行動または視聴者が置かれた状況等を認識し、これらに音または視覚情報を適応させる。例えば、配信装置100は、視聴者がリラックスした状態で休日を過ごしていると認識した場合、BGMおよび背景を、リラクゼーション効果の高い曲および背景にし、キャラクターの衣装を、よりカジュアルな衣装にしてもよい。また、配信装置100は、未来のある時点における視聴者の行動または視聴者が置かれる状況(または環境)等を、上記のセンシングデータ等を解析することで予測し、当該予測結果に音または視覚情報を適応させてもよい。
 また、上記において制御される対象は、BGM、背景またはキャラクターの属性、衣装、表情もしくは声のトーンだけに限定されず、番組コンテンツの音または視覚情報に関するものであれば何でもよい。
 これによって、配信装置100は、伝達される情報の内容または再生日時等に基づいて話者(例えば、アナウンサー、司会者またはラジオパーソナリティ等)が表情および声のトーンを変えたり、話者の衣装、BGMまたは背景等が変更されたりすることと同様の効果を生じさせることができる。
 (3-4.キャラクターの動作付加機能)
 また、本実施形態に係る番組提供システムは、キャラクターの動作を自動的に付加する機能を有する。
 より具体的に説明すると、配信装置100は、入力された動画データまたは静止画データを解析し、動画データまたは静止画データに含まれる対象の表示位置に連動するようにキャラクターの動作を制御する。例えば、図7に示すように、天気図の遷移に関する動画データが入力された場合、配信装置100は、当該動画データを解析し、天気図に表示されている台風の目の表示位置を認識する。そして、配信装置100は、台風の目の表示位置に指示棒の先が位置するように、天気図の遷移に連動してキャラクターの手を動作させてもよい。
 もちろん、動作の制御内容は図7の例に限定されない。例えば、配信装置100は、スポーツの動画データが入力された場合、ハイライトシーンが再生されるタイミングでキャラクターに喜ぶリアクションをとらせてもよい。また、キャラクターの動作が連動する対象は特に限定されない。例えば、キャラクターの動作が連動する対象は、動画データもしくは静止画データに含まれる人間、動物、物、光(例えば、花火またはイルミネーション等)、イラストまたは文字等であってもよい。
 これによって、配信装置100は、話者(例えば、アナウンサー、司会者またはラジオパーソナリティ等)が、実際に、動画または静止画に反応して動作することと同様の効果を生じさせることができる。
 (3-5.各種情報の要求機能)
 また、本実施形態に係る番組提供システムは、番組コンテンツの自動生成に用いられる情報を要求する機能を有する。
 より具体的に説明すると、配信装置100は、上記で説明してきた、番組コンテンツの自動生成に用いられる各種情報(例えば、ジャンル、種別、テンプレート、文章データ、動画データまたは静止画データ等)が不足している場合、または、情報が不適切である場合(動画または静止画が鮮明でない場合、または、動画が短過ぎたり長過ぎたりする場合等)等において、不足している情報、または、より品質の高い新たな情報を作成者に要求することができる。
 ここで、不足している情報等の要求方法は特に限定されない。例えば、配信装置100は、自装置に備えられる出力部(例えば、ディスプレイまたはスピーカー等)を用いて不足している情報等の要求を行ってもよい。その際、配信装置100は、単に「情報が不足している」または「情報が不適切である」という情報を通知するだけでなく、不足している情報の内容または適切な情報の内容を明示することによって、作成者に対してより明確な要求を行ってもよい。
 これによって、配信装置100は、より円滑に番組コンテンツを自動生成することができる。また、配信装置100は、より適切な情報を用いて番組コンテンツを自動生成することができるため、番組コンテンツの品質を向上させることができる。
 (3-6.再生状況に応じた原稿生成(編集)機能)
 また、本実施形態に係る番組提供システムは、ユーザによる番組コンテンツの再生状況に応じて原稿データを自動生成する機能(または自動編集する機能)を有する。
 より具体的に説明すると、ユーザ端末200は、視聴者による番組コンテンツの再生状況を把握する。例えば、ユーザ端末200は、既に全て再生された番組コンテンツにてユーザに伝達された情報の内容、または、再生中の番組コンテンツの再生済み部分にて視聴者に伝達された情報の内容等を把握する。
 そして、その後に番組コンテンツにて伝達される情報の内容が、既に伝達された情報と同一であったり類似していたりする場合、ユーザ端末200は原稿データを自動編集することで、例えば、「お伝えしているとおり」等のコメントを原稿データに追加することができる。また、その後に番組コンテンツにて伝達される情報の内容が、未だ伝達されていない情報である場合、ユーザ端末200は原稿データを自動編集することで、例えば、「について新たな情報が入ってきました。」等のコメントを原稿データに追加してもよい。なお、原稿データの編集内容は、これらに限定されない。
 また、ユーザ端末200だけでなく、配信装置100が当該機能を実現してもよい。例えば、ある番組コンテンツの中で、同一または類似の内容の情報が複数回にわたって伝達される場合、配信装置100は、原稿データの自動生成の際に、例えば、「お伝えしているとおり」等のコメントを原稿データに追加してもよい。
 これによって、番組提供システムは、話者(例えば、アナウンサー、司会者またはラジオパーソナリティ等)が、情報の伝達状況に応じて適宜アドリブを入れることと同様の効果を生じさせることができる。
 (3-7.別内容の情報の挿入機能)
 また、本実施形態に係る番組提供システムは、再生中の番組コンテンツ(または、再生予定の番組コンテンツ)に、別内容の情報(または別の番組コンテンツ)を挿入する機能を有する。
 より具体的に説明すると、番組提供システムは、原稿データ中に別内容の情報を挿入可能な位置を設定することができる(以降、「挿入可能位置」と呼称する)。ここで、挿入可能位置は、例えば、番組コンテンツの終了位置、番組コンテンツの内容の区切りとなる位置(例えば、話題が転換する位置等)、または、句点の位置等であるが、これらに限定されない。
 そして、例えば、ユーザ端末200が番組コンテンツを再生している途中に、緊急情報(例えば、災害情報、その他重要度の高い情報等)が配信された場合、ユーザ端末200は、再生中の番組コンテンツの挿入可能位置に緊急情報を挿入することができる。このとき、緊急情報の冒頭部分に「番組の途中ですが、緊急情報をお伝えします。」等のコメントが適宜追加されてもよい。なお、上記はあくまで一例であり、挿入される情報は緊急情報に限定されない。
 また、別内容の情報が挿入される場合、再生中だった番組コンテンツ内で別内容の情報が伝達されてもよいし(例えば、再生中だった番組コンテンツのキャラクターが変更されることなく、緊急情報を伝達する場合等)、再生中だった番組コンテンツが別の番組コンテンツに切り替わることで別内容の情報が伝達されてもよい。
 なお、挿入された別内容の情報の後に再生される番組コンテンツ(換言すると、挿入前に再生中だった番組コンテンツの未再生部分)の内容は、適宜編集され得る。例えば、挿入された別内容の情報の後に再生される番組コンテンツは、内容の区切りとなる位置(例えば、話題が転換する位置等)から再生されるように編集されてもよい。また、挿入された別内容の情報の後に再生される番組コンテンツの冒頭部分に「以上、緊急情報をお伝えしました。では、元の番組に戻ります。」等のコメントが適宜追加されてもよい。また、別内容の情報が挿入された後には、元の番組コンテンツが再生されるのではなく、別の新たな番組コンテンツが再生されてもよい。
 なお、単に、アラームの鳴動と共にディスプレイの一部に緊急情報等が表示される場合(すなわち、キャラクターの音声による緊急情報等の伝達が行われない場合)においては、上記のように原稿データへの挿入等は不要である。
 これによって、番組提供システムは、視聴者に対して違和感を与えることなく、再生中の番組コンテンツに対して別内容の情報を挿入することができる。
 (3-8.未再生の番組コンテンツの提供機能)
 また、本実施形態に係る番組提供システムは、未再生の番組コンテンツを視聴者に対して提供する機能を有する。
 例えば、上記のように、緊急情報が番組コンテンツの途中に挿入されること等によって、番組コンテンツにおいて再生されなかった部分が生じた場合、番組提供システムは、視聴者に対して当該未再生部分(または未再生部分を含む番組コンテンツ全体)を提供することができる。なお、緊急情報等の挿入ではなくても、番組コンテンツが何らかの理由によって全て再生されなかった場合に、当該機能が使用されてもよい。
 ここで、未再生の番組コンテンツの提供方法は特に限定されない。例えば、所定のアプリケーション(例えば、ユーザ端末200にインストールされた所定のアプリケーション、または、所定のWEBサイトにおけるマイページ等)に対して未再生の番組コンテンツが提供されてもよい。また、音または視覚情報を含む番組コンテンツが提供されてもよいが、テキストファイルのみ(例えば、トピック部分のテキストファイルのみ等)が提供されてもよい。また、視聴者が提供方法を所定の方法で指定することができてもよい。
 これによって、番組提供システムは、視聴者が何らかの理由により再生できなかった番組コンテンツを視聴者に提供することができ、視聴者の利便性を向上させることができる。
 (3-9.スキップ等に伴う番組コンテンツの編集機能等)
 また、本実施形態に係る番組提供システムは、スキップ等に伴う番組コンテンツの編集機能等を有する。
 より具体的に説明すると、視聴者は、番組コンテンツを視聴する際、途中で番組コンテンツの内容またはコマーシャル等をスキップすること(または、早送りすること、倍速再生すること等)ができる。
 例えば、予め放送時間が決められており、その放送時間に終了するように1または2以上の番組コンテンツが再生される場合、上記のスキップ等によって放送時間よりも早く番組コンテンツが終了することになる。
 本機能は、スキップ等によって当初予定されていた番組コンテンツの再生時間が短縮された場合、再生が予定されていなかった別の番組コンテンツの自動追加等を行うことで、放送時間よりも早く番組コンテンツが終了することを防ぐことができる。
 なお、当該別の番組コンテンツが追加されるタイミングは特に限定されない。例えば、当該別の番組コンテンツは、当初再生が予定されていた番組コンテンツの最後のタイミングで追加されてもよいし、複数の番組コンテンツの途中のタイミングで追加されてもよい。
 また、別の番組コンテンツが追加されるのではなく、再生中の番組コンテンツの未再生部分もしくは再生が予定されている別の番組コンテンツの自動編集が行われてもよい。例えば、再生中の番組コンテンツの未再生部分の再生時間が拡大されてもよい。この場合、番組コンテンツの未再生部分の原稿データ、音または視覚情報が編集される。例えば、原稿データが編集され、より再生時間が長くなる表現方法が採用されたり、新たな内容が追加されたりしてもよい。
 なお、ユーザが同一の番組コンテンツを繰り返し再生すること(または、巻き戻しすること、スロー再生すること等)によって、当初予定されていた番組コンテンツの再生時間が延長された場合には、再生が予定されていた番組コンテンツの削除または短縮化が行われてもよい。
 これによって、番組提供システムは、視聴者がスキップ等の操作を行った場合であっても、番組コンテンツを放送時間に終了させることができる。また、番組提供システムは、予め決められた放送時間内にできる限り多くの情報を視聴者に伝達することができる。
  <4.機能構成>
 上記では、本実施形態に係る番組提供システムの機能概要について説明した。続いて、本実施形態に係る配信装置100およびユーザ端末200の機能構成について説明する。
 上記のとおり、配信装置100およびユーザ端末200は、同一の機能構成を備え得るが、以降では、一例として、配信装置100およびユーザ端末200の機能構成が異なる場合について説明する。より具体的には、配信装置100については番組コンテンツを生成する機能構成を説明し、ユーザ端末200については配信装置100によって提供された情報を用いて番組コンテンツを生成(または編集)する機能構成を説明する。
 (4-1.配信装置100の機能構成)
 まず、図8を参照して、配信装置100の機能構成について説明する。
 図8に示すように、配信装置100は、制御部110と、通信部120と、入力部130と、出力部140と、記憶部150と、を備える。
 (制御部110)
 制御部110は、配信装置100の処理全般を統括的に制御する。例えば、制御部110は、以降で説明する番組コンテンツの自動生成処理を統括的に制御したり、生成された番組コンテンツデータの配布等を行ったりする。制御部110は、図8に示すように、原稿生成部111と、原稿解析部112と、音声合成部113と、要求管理部114と、構成生成部115と、動画生成部116と、を備える。以降では、制御部110が備える各機能構成について説明する。
 (原稿生成部111)
 原稿生成部111は、原稿データを自動生成する機能構成である。例えば、原稿生成部111は、後述する入力部130から入力された1または2以上の文章データを編集することによって原稿データを生成する。
 なお、原稿データの生成の際、原稿生成部111は、後述する構成生成部115の制御に基づいて適宜原稿データの再生成を行ってもよい。例えば、原稿データが生成された後の原稿データの解析結果等に基づいて、構成生成部115が原稿データの変更が必要であると判断した場合、原稿生成部111は、構成生成部115の制御に基づいて原稿データの再生成を行う。原稿生成部111は、生成した原稿データを原稿解析部112および音声合成部113に提供する。
 (原稿解析部112)
 原稿解析部112は、原稿生成部111によって生成された原稿データを解析する。より具体的には、原稿解析部112は、原稿データを分解することで単語の抽出等を行ったりすることによって、原稿データの内容に関する情報を抽出する。これによって、原稿解析部112は、ユーザに入力される各種情報(例えば、ジャンルまたは種別等)には含まれない情報を後述する構成生成部115に提供することができる。
 なお、原稿解析部112が原稿データの解析によって抽出する情報は特に限定されない。例えば、原稿解析部112は、原稿データに含まれる単語(例えば、「海」等)、当該単語から連想される情報(例えば、「海」から連想される「海水浴」または「夏」等の別の単語、「海」から連想される「広い」または「青い」等のイメージ等)、または、上記で説明したジャンルまたは種別と同様の情報等を抽出してもよい。
 また、原稿解析部112は、原稿データを解析するにあたり、外部から取得した情報を使用してもよい。例えば、原稿解析部112は、インターネット上に存在する情報を取得し、原稿データに含まれる単語の意味、当該単語から連想される情報等を自動的に判断してもよい。また、原稿解析部112は、原稿データの解析に用いられる情報を作成者に対して要求してもよい。例えば、原稿解析部112は、原稿データに含まれる単語の内容に関する情報または当該単語から連想される情報を作成者に対して要求してもよい。また、原稿解析部112は、原稿データの解析に用いた情報を学習することによって、解析ロジックを更新してもよい。これによって、原稿解析部112は、使用されるにつれて、解析精度を向上させることができる。原稿解析部112は、解析結果を構成生成部115に提供する。
 (音声合成部113)
 音声合成部113は、原稿生成部111によって生成された原稿データを用いて音声合成処理を行うことで、原稿データに対応する音声データを生成する機能構成である。なお、音声合成の手法は特に限定されない。例えば、音声合成部113は、波形接続型音声合成またはフォルマント合成等の任意の音声合成手法を用いることができる。音声合成部113は、生成した音声データを構成生成部115に提供する。
 (要求管理部114)
 要求管理部114は、番組コンテンツの作成者からの要求を受け付け、当該要求を管理する機能構成である。例えば、要求管理部114は、番組コンテンツの生成に関する各種設定情報を受け付ける。ここで、要求管理部114が受け付ける設定情報は、上記で説明したジャンル、種別またはテンプレート等であるが、これらに限定されない。例えば、設定情報は、番組コンテンツの対象者、放送時間、データ量、画面サイズ、解像度、音量、字幕情報等(例えば、字幕の有無、言語等)を含んでもよい。要求管理部114は、これらの要求に関する情報を構成生成部115に提供する。
 (構成生成部115)
 構成生成部115は、番組コンテンツ全体の構成を生成する機能構成である。構成生成部115は、人工知能技術によって実現される番組コンテンツの生成ロジックを有している。より具体的には、構成生成部115は、要求管理部114から提供される作成者の要求に関する情報、原稿解析部112から提供される解析結果、音声合成部113から提供される音声データ、後述する記憶部150から取得する各種情報および外部(例えば、視聴者によって装着されているウェアラブル端末等を含む)から取得する任意の情報等(放送時の日時、季節、天気、気温、放送される地域、各種センサ(例えば、加速度センサ、ジャイロセンサまたは気圧センサ等)のセンシングデータ、視聴者の行動、視聴者が置かれた状況(または環境)等に関する情報)を、生成ロジックに入力することによって番組コンテンツの構成を出力する。
 番組コンテンツの生成ロジックは、事前に大量の番組コンテンツを学習することによって、上記の各種情報に基づいて、最適と考えられる番組コンテンツの構成を出力する。なお、当該学習方法は特に限定されず、機械学習に用いられる任意の方法が使用され得る。
 ここで、構成生成部115が生成する「構成」とは、原稿データの内容、音もしくは視覚情報の内容もしくは設定(例えば、音質、音量、音声合成の方法、BGMの内容、動画もしくは静止画の内容、キャラクターの属性、衣装もしくは表情等)、または、番組コンテンツデータのフォーマット、サイズもしくはセキュリティ設定等(例えば、アクセス権等)、番組コンテンツを構成する全ての情報を含む概念である。
 なお、構成生成部115によって生成される番組コンテンツの構成は、入力された各種情報によって何ら制限を受けない。例えば、構成生成部115は、入力されたテンプレートに基づいて番組コンテンツの構成を生成するが、必ずテンプレート通りの構成を生成しなければならないわけではなく、テンプレートの内容を一部変更したテンプレートを新たに生成し、当該新たに生成したテンプレートに基づいて構成を生成してもよい。これによって、例えば、入力されたテンプレートの一部に誤りが含まれる場合、構成生成部115は、過去の学習結果に基づいて誤りが含まれないテンプレートを生成することができるため、より適切な番組コンテンツの構成を生成することができる。
 構成生成部115は、生成した番組コンテンツの構成に基づいて、原稿データまたは音声データ等の再生成(または編集等)が必要であると判断した場合、原稿生成部111、原稿解析部112および音声合成部113を制御することで、原稿データの再生成、原稿データの解析、音声データの再生成等を行わせてもよい。また、構成生成部115は、生成した番組コンテンツの構成に基づいて、動画データまたは静止画データ等の再生成(または編集等)が必要であると判断した場合、構成生成部115は、動画データまたは静止画データ等の再生成(または編集等)を行ってもよい。構成生成部115は、番組コンテンツの構成に関する情報、音データ(音声データを含む)、動画データまたは静止画データを動画生成部116に提供する。
 (動画生成部116)
 動画生成部116は、構成生成部115から提供された、番組コンテンツの構成に関する情報、音データ(音声データを含む)、動画データまたは静止画データを用いて番組コンテンツデータを自動生成する機能構成である。より具体的には、動画生成部116は、番組コンテンツの構成に関する情報に基づいて、番組コンテンツデータのフォーマット、サイズ、セキュリティ設定(例えば、アクセス権等)等を決定し、音データ、動画データまたは静止画データの統合およびパッケージングを行うことで、番組コンテンツデータを生成する。
 (通信部120)
 通信部120は、外部装置との通信を行う機能構成である。例えば、通信部120は、制御部110が番組コンテンツデータの生成に用いる各種情報(例えば、原稿解析部112が原稿データの解析に用いる情報、または、構成生成部115が番組コンテンツの構成の生成に用いる情報等)を外部装置(例えば、インターネット上のWEBサーバ等)から受信する。また、制御部110によって生成された番組コンテンツデータが外部装置を介してユーザ端末200に配信される場合、通信部120は、番組コンテンツデータを当該外部装置へ送信する。
 なお、通信部120の通信方式は特に限定されない。例えば、通信部120の通信方式には、いかなる有線通信方式または無線通信方式が用いられてもよい。
 (入力部130)
 入力部130は、作成者による入力を受ける機能構成である。例えば、入力部130はマウス、キーボード、タッチパネルまたはボタン等の入力手段を備えており、作成者がこれらの入力手段を用いて各種操作を行うことによって、各種情報(例えば、ジャンル、種別、テンプレート、文章データ、動画データまたは静止画データ等)が入力される。
 (出力部140)
 出力部140は、各種情報を出力する機能構成である。例えば、出力部140は、ディスプレイ等の表示手段およびスピーカ等の音声出力手段を備えており、制御部110からの制御信号に基づいて各種視覚情報をディスプレイ等に表示させたり、各種音をスピーカ等によって発生させたりする。
 (記憶部150)
 記憶部150は、各種情報を記憶する機能構成である。例えば、記憶部150は、作成者によって入力された各種情報(例えば、ジャンル、種別、テンプレート、文章データ、動画データ、静止画データ等)、配信装置100によって生成された各種情報(原稿データ、音声データ、動画データ、静止画データまたは番組コンテンツデータ等)等を記憶する。
 ここで、構成生成部115は、記憶部150が記憶している過去の番組コンテンツデータを学習することによって生成ロジックを更新してもよい。また、記憶部150は、配信装置100による各種処理に使用されるプログラム、パラメータを記憶する。なお、記憶部150が記憶する情報は上記に限定されない。
 (4-2.ユーザ端末200の機能構成)
 続いて、図9を参照して、ユーザ端末200の機能構成について説明する。
 図9に示すように、ユーザ端末200は、制御部210と、通信部220と、入力部230と、出力部240と、記憶部250と、を備える。
 (制御部210)
 制御部210は、ユーザ端末200の処理全般を統括的に制御する。例えば、制御部210は、以降で説明する番組コンテンツの自動生成処理を統括的に制御したり、生成された番組コンテンツデータの再生等を行ったりする。制御部210は、図9に示すように、要求管理部211と、構成生成部212と、動画生成部213と、を備える。以降では、制御部210が備える各機能構成について説明する。
 (要求管理部211)
 要求管理部211は、番組コンテンツの視聴者からの要求を受け付け、当該要求を管理する機能構成である。例えば、要求管理部211は、視聴者によって選択された番組コンテンツ、再生中の番組コンテンツのスキップ、繰り返し再生、早送りもしくは巻き戻しに関する要求、番組コンテンツデータの編集に関する要求(例えば、キャラクターの属性、字幕の内容、BGMの内容、背景の内容等)、番組コンテンツの視聴に伴う各種設定(例えば、表示サイズ、音量、速度等)等に関する情報を受け付け、管理する。要求管理部211は、これらの要求に関する情報を視聴者の嗜好情報として管理してもよい。なお、要求管理部211によって受け付けられ、管理される情報はこれらに限定されない。要求管理部211は、これらの要求に関する情報を構成生成部212に提供する。
 (構成生成部212)
 構成生成部212は、番組コンテンツ全体の構成を生成する機能構成である。上記のとおり、ユーザ端末200は、視聴者の要求および配信装置100によって提供された各種情報を用いて番組コンテンツの生成を行うことができる。ここでは、原稿データ、その解析結果、原稿データに基づいて生成された音声データ等が配信装置100によって提供され、ユーザ端末200がこれらの情報を用いて番組コンテンツを生成する例について説明する。
 構成生成部212は、配信装置100の構成生成部115と同様に、人工知能技術によって実現される番組コンテンツの生成ロジックを有している。そして、構成生成部212は、配信装置100によって提供される各種情報(原稿データ、その解析結果、原稿データに基づいて生成された音声データ等)、要求管理部211から提供される視聴者の要求に関する情報、後述する記憶部250から取得する各種情報および外部から取得する任意の情報等(放送時の日時、季節、天気、気温、放送される地域等の情報)を生成ロジックに入力することによって番組コンテンツの構成を出力する。
 なお、図9には示していないが、ユーザ端末200が、配信装置100の原稿生成部111、原稿解析部112または音声合成部113と同様の機能構成を備えることによって、構成生成部212は、必要に応じてこれらの機能構成を制御して、原稿データの生成、原稿データの解析および音声データの生成等を実現してもよい。構成生成部212は、番組コンテンツの構成に関する情報、音データ(音声データを含む)、動画データまたは静止画データを動画生成部213に提供する。
 (動画生成部213)
 動画生成部213は、構成生成部212から提供された、番組コンテンツの構成に関する情報、音データ(音声データを含む)、動画データまたは静止画データを用いて番組コンテンツデータを自動生成する機能構成である。より具体的には、動画生成部213は、番組コンテンツの構成に関する情報に基づいて、番組コンテンツデータのフォーマット、サイズ、セキュリティ設定(例えば、アクセス権等)等を決定し、音データ、動画データまたは静止画データの統合およびパッケージングを行うことで、番組コンテンツデータを生成する。
 (通信部220)
 通信部220は、外部装置との通信を行う機能構成である。例えば、ユーザ端末200が、配信装置100によって生成された番組コンテンツデータをダウンロードして再生する場合には、通信部220は、配信装置100を含む外部装置から番組コンテンツデータを受信する。また、ユーザ端末200が、配信装置100によって提供された各種情報を用いて番組コンテンツを生成する場合には、通信部220は、配信装置100を含む外部装置から当該各種情報を受信する。なお、これらの情報の受信は、視聴者による操作に基づいて行われてもよいし、通信部220によって所定のタイミングで行われてもよい。例えば、通信部220は、所定のタイミングで配信装置100を含む外部装置にアクセスし、新規情報が生成されている場合には当該情報を受信してもよい。
 なお、通信部220の通信方式は特に限定されない。例えば、通信部220の通信方式には、いかなる有線通信方式または無線通信方式が用いられてもよい。
 (入力部230)
 入力部230は、視聴者による入力を受ける機能構成である。例えば、入力部230はタッチパネルまたはボタン等の入力手段を備えており、作成者がこれらの入力手段を用いて各種操作を行うことによって、視聴する番組コンテンツの選択、番組コンテンツの視聴に伴う各種設定等を行う。
 (出力部240)
 出力部240は、各種情報を出力する機能構成である。例えば、出力部240は、ディスプレイ等の表示手段およびスピーカ等の音声出力手段を備えており、制御部210からの制御信号に基づいて各種視覚情報をディスプレイ等に表示させたり、各種音をスピーカ等によって発生させたりする。
 (記憶部250)
 記憶部250は、各種情報を記憶する機能構成である。例えば、記憶部250は、番組コンテンツデータ等を記憶する。また、記憶部250は、視聴者の嗜好情報を記憶してもよい。例えば、記憶部250は、視聴者が番組コンテンツの視聴に伴い行った各種設定に関する情報、視聴者が視聴した番組コンテンツの特徴等を視聴者の嗜好情報として記憶してもよい。また、記憶部250は、ユーザ端末200による各種処理に使用されるプログラム、パラメータを記憶する。なお、記憶部250が記憶する情報は上記に限定されない。
  <5.動作>
 上記では、本実施形態に係る配信装置100およびユーザ端末200の機能構成について説明した。続いて、配信装置100およびユーザ端末200の動作について説明する。
 (5-1.配信装置100の動作)
 まず、図10を参照して、配信装置100が番組コンテンツを生成する動作について説明する。
 ステップS1000では、番組コンテンツの作成者によって入力部130に文章データが入力される。ステップS1004では、原稿生成部111が入力された文章データを用いて原稿データを生成する。ステップS1008では、原稿解析部112が、生成された原稿データを解析する。また、ステップS1012では、音声合成部113が原稿データを用いて音声合成処理を行うことで、原稿データに対応する音声データを生成する。なお、ステップS1008の処理およびステップS1012の処理は、互いに並行して実行されることを想定しているが、これに限定されない。
 ステップS1016では、要求管理部114が、番組コンテンツの生成に関する各種設定情報等の、作成者からの要求に関する情報を取得する。ステップS1016の処理は、ステップS1012までの処理と並行して実行されることを想定しているが、これに限定されない。
 ステップS1020では、構成生成部115が、要求管理部114から提供される作成者の要求に関する情報、原稿解析部112から提供される解析結果、音声合成部113から提供される音声データ等を生成ロジックに入力することによって番組コンテンツの構成を生成する。
 生成された番組コンテンツの構成に基づいて原稿データの再生成が必要である場合(ステップS1024/yes)、処理がステップS1004へ移動し、原稿生成部111が原稿データの再生成を行う。原稿データの再生成が必要でない場合(ステップS1024/no)、ステップS1028にて、動画生成部116が、番組コンテンツの構成に関する情報、音データ(音声データを含む)、動画データまたは静止画データを用いて番組コンテンツデータを生成することで処理が終了する。
 (5-2.ユーザ端末200の動作)
 続いて、図11を参照して、ユーザ端末200が、配信装置100から提供された各種情報を用いて番組コンテンツを生成する動作について説明する。
 ステップS1100では、構成生成部212が、通信部220を介して配信装置100から提供される、番組コンテンツの生成に用いられる各種情報(原稿データ、その解析結果、原稿データに基づいて生成された音声データ等)を取得する。
 ステップS1104では、要求管理部211が、番組コンテンツの生成に関する各種設定情報等の、視聴者からの要求に関する情報を取得する。ステップS1104の処理は、ステップS1100の処理と並行して実行されることを想定しているが、これに限定されない。
 ステップS1112では、構成生成部212が、配信装置100から提供された各種情報(原稿データ、その解析結果、原稿データに基づいて生成された音声データ等)および要求管理部211から提供される視聴者の要求に関する情報等を生成ロジックに入力することによって番組コンテンツの構成を生成する。
 ステップS1116では、動画生成部213が、番組コンテンツの構成に関する情報等を用いて番組コンテンツデータを生成することで処理が終了する。
 なお、図11には記載していないが、原稿データまたは音声データ等の再生成が必要な場合、ユーザ端末200は、適宜、配信装置100へこれらの各データの再生成の依頼を行ってもよいし、配信装置100の原稿生成部111、原稿解析部112または音声合成部113と同様の機能構成を備えることによって各データの再生成を行ってもよい。
  <6.ハードウェア構成>
 上記では、本実施形態に係る配信装置100およびユーザ端末200の動作について説明した。続いて、配信装置100およびユーザ端末200のハードウェア構成について説明する。
 上記の各種処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。図12は、配信装置100およびユーザ端末200を具現する情報処理装置900のハードウェア構成を示す図である。
 情報処理装置900は、CPU(Central
Processing Unit)901と、ROM(Read Only Memory)902と、RAM(Random Access Memory)903と、ホストバス904と、ブリッジ905と、外部バス906と、インタフェース907と、入力装置908と、出力装置909と、ストレージ装置(HDD)910と、ドライブ911と、通信装置912とを備える。
 CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス904により相互に接続されている。当該CPU901、ROM902およびRAM903の協働により、配信装置100の制御部110およびユーザ端末200の制御部210の各機能が実現される。
 ホストバス904は、ブリッジ905を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス906に接続されている。なお、必ずしもホストバス904、ブリッジ905および外部バス906を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
 入力装置908は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置900を使用するユーザは、該入力装置908を操作することにより、各装置に対して各種のデータを入力したり処理動作を指示したりすることができる。該入力装置908により、配信装置100の入力部130およびユーザ端末200の入力部230の各機能が実現される。
 出力装置909は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。さらに、出力装置909は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置909は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。該出力装置909により、配信装置100の出力部140およびユーザ端末200の出力部240の各機能が実現される。
 ストレージ装置910はデータ格納用の装置である。ストレージ装置910は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置910は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置910は、ハードディスクを駆動し、CPU901が実行するプログラムや各種データを格納する。該ストレージ装置910により、配信装置100の記憶部150およびユーザ端末200の記憶部250の各機能が実現される。
 ドライブ911は、記憶媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ911は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体913に記録されている情報を読み出して、RAM903に出力する。また、ドライブ911は、リムーバブル記憶媒体913に情報を書き込むこともできる。
 通信装置912は、例えば、通信網914に接続するための通信デバイス等で構成された通信インタフェースである。該通信装置912により、配信装置100の通信部120およびユーザ端末200の通信部220の各機能が実現される。
  <7.むすび>
 以上で説明してきたように、本開示に係る番組提供システムは、放送される原稿データを自動生成する機能、番組コンテンツの音または視覚情報を自動生成する機能、伝達される情報または再生日時等に音または視覚情報を適応させる機能、キャラクターの動作を自動的に付加する機能、番組コンテンツの自動生成に用いられる情報を要求する機能、番組コンテンツの再生状況に応じて原稿を自動生成する機能、再生中の番組コンテンツに別内容の情報を挿入する機能、未再生の番組コンテンツをユーザに対して提供する機能、スキップ等に伴う番組コンテンツの編集機能等を実現することができる。これによって、本開示に係る番組提供システムは、音または視覚情報を含む番組コンテンツの品質を高く維持しつつ、番組コンテンツの生成コストを削減することができる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上記の各フローチャートに示した各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理される必要はない。すなわち、各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
 また、配信装置100またはユーザ端末200の機能構成は適宜変更されてもよい。例えば、配信装置100またはユーザ端末200の機能構成の一部は、適宜外部装置に備えられてもよい。また、配信装置100の制御部110が、通信部120、入力部130、出力部140の一部の機能を実現してもよい。また、ユーザ端末200の制御部210が、通信部220、入力部230、出力部240の一部の機能を実現してもよい。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 素材データを取得し、前記素材データの内容を解析し、前記内容に基づいて番組コンテンツデータを自動生成する制御部を備え、
 前記番組コンテンツデータは、視覚情報を含む、
 情報処理装置。
(2)
 前記番組コンテンツデータは、前記視覚情報として、動画または静止画を含む、
 前記(1)に記載の情報処理装置。
(3)
 前記番組コンテンツデータは、前記視覚情報として、キャラクターの動画または静止画を含む、
 前記(2)に記載の情報処理装置。
(4)
 前記制御部は、前記内容に基づいてBGM、背景または前記キャラクターの属性、衣装、表情もしくは声のトーンを制御する、
 前記(3)に記載の情報処理装置。
(5)
 前記制御部は、前記内容に基づいて前記キャラクターの動作を制御する、
 前記(3)または(4)に記載の情報処理装置。
(6)
 前記制御部は、前記動画または前記静止画に表示されている対象の位置に連動するように前記キャラクターの動作を制御する、
 前記(5)に記載の情報処理装置。
(7)
 前記素材データは、1または2以上の文章データを含み、
 前記制御部は、前記文章データの内容を解析し、前記文章データの内容に基づいて番組コンテンツデータに含まれる原稿データを自動生成する、
 前記(1)から(6)のいずれか1項に記載の情報処理装置。
(8)
 前記制御部は、前記文章データを編集することで前記原稿データを自動生成する、
 前記(7)に記載の情報処理装置。
(9)
 前記制御部は、前記番組コンテンツデータの再生状況に基づいて前記原稿データを自動生成する、
 前記(8)に記載の情報処理装置。
(10)
 前記制御部は、前記原稿データに対して別内容の情報の挿入を行う、
 前記(8)または(9)に記載の情報処理装置。
(11)
 前記制御部は、前記原稿データの内容に基づいて前記挿入が可能な位置を設ける、
 前記(10)に記載の情報処理装置。
(12)
 前記制御部は、前記番組コンテンツデータが再生される日時もしくは地域、または、再生時の季節、天気もしくは気温にも基づいて前記番組コンテンツデータを自動生成する、
 前記(1)から(11)のいずれか1項に記載の情報処理装置。
(13)
 前記制御部は、再生時間の合計が予め決められた放送時間と略同一となる1または2以上の番組コンテンツデータを自動生成する、
 前記(1)から(12)のいずれか1項に記載の情報処理装置。
(14)
 前記制御部は、前記1または2以上の番組コンテンツデータの再生状況に基づいて、再生中の番組コンテンツデータの未再生部分もしくは再生が予定されている別の番組コンテンツデータの自動編集、または、再生が予定されていなかった別の番組コンテンツデータの自動追加を行う、
 前記(13)に記載の情報処理装置。
(15)
 前記制御部は、前記番組コンテンツデータの自動生成に用いられる情報のうち、不足している情報または不適切な情報が存在する場合、前記番組コンテンツデータの自動生成に用いられる情報をユーザに要求する、
 前記(1)から(14)のいずれか1項に記載の情報処理装置。
(16)
 前記制御部は、未再生の番組コンテンツデータまたは前記番組コンテンツデータの未再生部分をユーザに通知する、
 前記(1)から(15)のいずれか1項に記載の情報処理装置。
(17)
 素材データを取得し、前記素材データの内容を解析し、前記内容に基づいて番組コンテンツデータを自動生成することを有し、
 前記番組コンテンツデータは、視覚情報を含む、
 コンピュータにより実行される情報処理方法。
(18)
 素材データを取得し、前記素材データの内容を解析し、前記内容に基づいて番組コンテンツデータを自動生成することを有し、
 前記番組コンテンツデータは、視覚情報を含む、
 コンピュータに実現させるためのプログラム。
 100  配信装置
 110  制御部
 111  原稿生成部
 112  原稿解析部
 113  音声合成部
 114  要求管理部
 115  構成生成部
 116  動画生成部
 120  通信部
 130  入力部
 140  出力部
 150  記憶部
 200  ユーザ端末
 210  制御部
 211  要求管理部
 212  構成生成部
 213  動画生成部
 220  通信部
 230  入力部
 240  出力部
 250  記憶部
 300  ネットワーク

Claims (18)

  1.  素材データを取得し、前記素材データの内容を解析し、前記内容に基づいて番組コンテンツデータを自動生成する制御部を備え、
     前記番組コンテンツデータは、視覚情報を含む、
     情報処理装置。
  2.  前記番組コンテンツデータは、前記視覚情報として、動画または静止画を含む、
     請求項1に記載の情報処理装置。
  3.  前記番組コンテンツデータは、前記視覚情報として、キャラクターの動画または静止画を含む、
     請求項2に記載の情報処理装置。
  4.  前記制御部は、前記内容に基づいてBGM、背景または前記キャラクターの属性、衣装、表情もしくは声のトーンを制御する、
     請求項3に記載の情報処理装置。
  5.  前記制御部は、前記内容に基づいて前記キャラクターの動作を制御する、
     請求項3に記載の情報処理装置。
  6.  前記制御部は、前記動画または前記静止画に表示されている対象の位置に連動するように前記キャラクターの動作を制御する、
     請求項5に記載の情報処理装置。
  7.  前記素材データは、1または2以上の文章データを含み、
     前記制御部は、前記文章データの内容を解析し、前記文章データの内容に基づいて番組コンテンツデータに含まれる原稿データを自動生成する、
     請求項1に記載の情報処理装置。
  8.  前記制御部は、前記文章データを編集することで前記原稿データを自動生成する、
     請求項7に記載の情報処理装置。
  9.  前記制御部は、前記番組コンテンツデータの再生状況に基づいて前記原稿データを自動生成する、
     請求項8に記載の情報処理装置。
  10.  前記制御部は、前記原稿データに対して別内容の情報の挿入を行う、
     請求項8に記載の情報処理装置。
  11.  前記制御部は、前記原稿データの内容に基づいて前記挿入が可能な位置を設ける、
     請求項10に記載の情報処理装置。
  12.  前記制御部は、前記番組コンテンツデータが再生される日時もしくは地域、または、再生時の季節、天気もしくは気温にも基づいて前記番組コンテンツデータを自動生成する、
     請求項1に記載の情報処理装置。
  13.  前記制御部は、再生時間の合計が予め決められた放送時間と略同一となる1または2以上の番組コンテンツデータを自動生成する、
     請求項1に記載の情報処理装置。
  14.  前記制御部は、前記1または2以上の番組コンテンツデータの再生状況に基づいて、再生中の番組コンテンツデータの未再生部分もしくは再生が予定されている別の番組コンテンツデータの自動編集、または、再生が予定されていなかった別の番組コンテンツデータの自動追加を行う、
     請求項13に記載の情報処理装置。
  15.  前記制御部は、前記番組コンテンツデータの自動生成に用いられる情報のうち、不足している情報または不適切な情報が存在する場合、前記番組コンテンツデータの自動生成に用いられる情報をユーザに要求する、
     請求項1に記載の情報処理装置。
  16.  前記制御部は、未再生の番組コンテンツデータまたは前記番組コンテンツデータの未再生部分をユーザに通知する、
     請求項1に記載の情報処理装置。
  17.  素材データを取得し、前記素材データの内容を解析し、前記内容に基づいて番組コンテンツデータを自動生成することを有し、
     前記番組コンテンツデータは、視覚情報を含む、
     コンピュータにより実行される情報処理方法。
  18.  素材データを取得し、前記素材データの内容を解析し、前記内容に基づいて番組コンテンツデータを自動生成することを有し、
     前記番組コンテンツデータは、視覚情報を含む、
     コンピュータに実現させるためのプログラム。
PCT/JP2018/019778 2017-07-31 2018-05-23 情報処理装置、情報処理方法およびプログラム WO2019026397A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112018003894.7T DE112018003894T5 (de) 2017-07-31 2018-05-23 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahrenund programm
CN201880049204.0A CN110945874A (zh) 2017-07-31 2018-05-23 信息处理装置、信息处理方法以及程序
JP2019533922A JP7176519B2 (ja) 2017-07-31 2018-05-23 情報処理装置、情報処理方法およびプログラム
US16/633,588 US20200213679A1 (en) 2017-07-31 2018-05-23 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-148240 2017-07-31
JP2017148240 2017-07-31

Publications (1)

Publication Number Publication Date
WO2019026397A1 true WO2019026397A1 (ja) 2019-02-07

Family

ID=65233752

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/019778 WO2019026397A1 (ja) 2017-07-31 2018-05-23 情報処理装置、情報処理方法およびプログラム

Country Status (5)

Country Link
US (1) US20200213679A1 (ja)
JP (1) JP7176519B2 (ja)
CN (1) CN110945874A (ja)
DE (1) DE112018003894T5 (ja)
WO (1) WO2019026397A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012079150A (ja) * 2010-10-04 2012-04-19 Nippon Hoso Kyokai <Nhk> 映像コンテンツ制作装置及び映像コンテンツ制作プログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10276157A (ja) * 1997-03-31 1998-10-13 Sony Corp 番組制作送出装置
JPH10276160A (ja) * 1997-03-31 1998-10-13 Sony Corp 番組制作送出装置
US6698020B1 (en) * 1998-06-15 2004-02-24 Webtv Networks, Inc. Techniques for intelligent video ad insertion
US6859608B1 (en) * 1999-12-10 2005-02-22 Sony Corporation Auto title frames generation method and apparatus
JP3987025B2 (ja) * 2002-12-12 2007-10-03 シャープ株式会社 マルチメディアデータ処理装置およびマルチメディアデータ処理プログラム
JP2004328568A (ja) * 2003-04-28 2004-11-18 Nippon Hoso Kyokai <Nhk> 番組制作システム、番組制作端末、番組制作サーバ、及び番組制作端末における番組制作プログラム
JP4124149B2 (ja) * 2003-05-14 2008-07-23 日本電信電話株式会社 コンテンツ編集装置、コンテンツ編集方法及びコンテンツ編集プログラム
JP2007251829A (ja) * 2006-03-17 2007-09-27 Takuya Nishimoto 放送番組編集装置、放送番組編集用プログラム及び放送番組編集用可搬式コンピュータ。
EP2281394A1 (en) * 2008-04-10 2011-02-09 Thomson Licensing Method and apparatus for content replacement in live production
US8893201B2 (en) * 2008-10-16 2014-11-18 At&T Intellectual Property I, L.P. Presentation of an avatar in association with a merchant system
US8516533B2 (en) * 2008-11-07 2013-08-20 Digimarc Corporation Second screen methods and arrangements
JP2010140278A (ja) * 2008-12-11 2010-06-24 Nippon Hoso Kyokai <Nhk> 音声情報可視化装置及び音声情報可視化プログラム
CN101917553B (zh) * 2009-11-27 2013-05-01 新奥特(北京)视频技术有限公司 一种多媒体数据集中处理系统
JP2013513183A (ja) * 2009-12-15 2013-04-18 インテル コーポレイション 推奨を提供するためユーザ行動の傾向、プロファイリング及びテンプレートベースの予測における確率的技術を利用するシステム、装置及び方法
JP5857449B2 (ja) * 2011-05-27 2016-02-10 ソニー株式会社 画像処理装置及び録画装置
US9317834B2 (en) * 2011-06-30 2016-04-19 Microsoft Technology Licensing, Llc User computing device with personal agent program for recommending meeting a friend at a service location based on current location, travel direction, and calendar activity
US9338622B2 (en) * 2012-10-04 2016-05-10 Bernt Erik Bjontegard Contextually intelligent communication systems and processes
US20150264431A1 (en) * 2014-03-14 2015-09-17 Aliphcom Presentation and recommendation of media content based on media content responses determined using sensor data
US11483618B2 (en) * 2015-06-23 2022-10-25 Gregory Knox Methods and systems for improving user experience
CN108292320A (zh) * 2015-12-08 2018-07-17 索尼公司 信息处理装置、信息处理方法和程序

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012079150A (ja) * 2010-10-04 2012-04-19 Nippon Hoso Kyokai <Nhk> 映像コンテンツ制作装置及び映像コンテンツ制作プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAMEOKA, MASAHIRO: "Quiz generation from web news source based on heuristic algorithm", IEICE TECHNICAL REPORT, vol. 115, no. 397, 11 January 2016 (2016-01-11), pages 31 - 36 *

Also Published As

Publication number Publication date
DE112018003894T5 (de) 2020-04-16
JP7176519B2 (ja) 2022-11-22
US20200213679A1 (en) 2020-07-02
CN110945874A (zh) 2020-03-31
JPWO2019026397A1 (ja) 2020-05-28

Similar Documents

Publication Publication Date Title
US9213705B1 (en) Presenting content related to primary audio content
US8930817B2 (en) Theme-based slideshows
JP4725936B1 (ja) 入力支援装置、入力支援方法及びプログラム
WO2022152064A1 (zh) 视频生成方法、装置、电子设备和存储介质
US20120276504A1 (en) Talking Teacher Visualization for Language Learning
US20190104325A1 (en) Event streaming with added content and context
KR100856786B1 (ko) 3d 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작시스템 및 그 제공 방법
CN110036442A (zh) 用于恢复媒体资产的系统和方法
WO2020039702A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2009239479A (ja) 情報表示装置、情報表示方法及びプログラム
JP2015115892A (ja) コメント作成装置およびその制御方法
CN110168528A (zh) 用于恢复媒体资产的系统和方法
JP2018078402A (ja) コンテンツ制作装置、及び音声付コンテンツ制作システム
US20220246135A1 (en) Information processing system, information processing method, and recording medium
US20190019533A1 (en) Methods for efficient annotation of audiovisual media
Freund “Becoming a Part of the Storytelling” Fan Vidding Practices and Histories
JP2023506364A (ja) メッセージングプラットフォーム上のオーディオメッセージングインターフェース
Noam The content, impact, and regulation of streaming video: The next generation of media emerges
JP2010140278A (ja) 音声情報可視化装置及び音声情報可視化プログラム
US20230027035A1 (en) Automated narrative production system and script production method with real-time interactive characters
JP5291448B2 (ja) コンテンツ制作サーバ及びコンテンツ制作プログラム
JP7176519B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR100481588B1 (ko) 영상, 오디오, 자막 및 메시지 등을 포함하는 실물형 2d 동영상 정보물 제작 및 재생 방법
JP2022051500A (ja) 関連情報提供方法及びシステム
Jones et al. Keepin’it real? life, death, and holograms on the live music stage

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18842230

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019533922

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18842230

Country of ref document: EP

Kind code of ref document: A1