WO2021106051A1 - サーバおよびデータ割り当て方法 - Google Patents
サーバおよびデータ割り当て方法 Download PDFInfo
- Publication number
- WO2021106051A1 WO2021106051A1 PCT/JP2019/046027 JP2019046027W WO2021106051A1 WO 2021106051 A1 WO2021106051 A1 WO 2021106051A1 JP 2019046027 W JP2019046027 W JP 2019046027W WO 2021106051 A1 WO2021106051 A1 WO 2021106051A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- material content
- content data
- server
- identified information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
Definitions
- the present invention relates to a server that generates composite content data and a data allocation method.
- Patent Document 1 proposes a moving image processing device that efficiently searches for a desired scene image from moving images having a plurality of chapters.
- Creating content data such as moving images takes a lot of time and effort, and in particular, when creating composite content data using multiple material content data such as text data, images, and sound data, the optimum combination is used. Since it is difficult to take this into consideration depending on the technical level of the user, it has been required to provide a device that can easily create composite content data.
- an object of the present invention is to provide a server and a program that enable easy creation of composite content data.
- the main invention of the present invention for solving the above problems is a first method of accepting input of first data including at least the identified information and generating one or more second data including at least a part of the identified information. At least the second data generation unit, the second data allocation unit that allocates the second data to the cut of the third data including one or more cuts, and the identified information included in the second data. Based on a part and the extracted information extracted from the material content data, the association unit that associates the second data with the material content data, and the material content that allocates the material content data to the cut based on the association. It is a server characterized by including a data allocation unit.
- the server and the data allocation method according to the embodiment of the present invention have the following configurations.
- a second data generation unit that accepts input of first data including at least the identified information and generates one or more second data including at least a part of the identified information.
- a second data allocation unit that allocates the second data to the cut of the third data including one or more cuts, and a second data allocation unit.
- An association unit that associates the second data with the material content data based on at least a part of the identified information included in the second data and the extracted information extracted from the material content data. Based on the association, the material content data allocation unit that allocates the material content data to the cut, and A server characterized by being equipped with.
- the identified information is a vector representing a word form or an entire sentence defined by a language model.
- the first data is at least one of text data including the identified information, image data or moving image data including the identified information, and voice data including the identified information.
- the server according to item 1 or 2 characterized in that.
- the second data analyzes the maximum number of characters in each cut of the third data and the modification relationship between the clauses of the first data, and divides the sentence so that a natural section as a sentence fits in each cut. It is The server according to items 1 to 3, wherein the server is characterized by the above.
- the material content data is at least one of image data, moving image data, and sound data.
- the associating unit compares at least a part of the identified information included in the second data with the extracted information extracted from the material content data, determines the degree of similarity to each other, and determines the degree of similarity to each other.
- the material content data suitable for the data and the second data are associated with each other.
- the extracted information is a class label output by the classifier.
- the server further has a function of summarizing text information contained in the first data.
- the second data generation unit generates the second data from the summary.
- the server according to any one of items 1 to 7, characterized in that.
- the material content data is acquired from the network and stored in the material content data storage unit.
- the server according to any one of items 1 to 8, characterized in that.
- [Item 10] A step of accepting input of first data including at least the identified information and generating one or more second data including at least a part of the identified information.
- a data allocation method characterized by that.
- the present system a system for creating composite content data according to an embodiment of the present invention (hereinafter referred to as “the present system”) and the like will be described.
- the same or similar elements are given the same or similar reference numerals and names, and duplicate description of the same or similar elements may be omitted in the description of each embodiment.
- the features shown in each embodiment can be applied to other embodiments as long as they do not contradict each other.
- the system according to the embodiment is configured to include a server 1, an administrator terminal 2, and a user terminal 3.
- the server 1, the administrator terminal 2, and the user terminal 3 are connected to each other so as to be able to communicate with each other via a network.
- the network may be a local network or may be connectable to an external network.
- an example in which one server 1 is configured is described, but it is also possible to realize the server 1 by a plurality of server devices. Further, the server 1 and the administrator terminal 2 may be shared.
- FIG. 2 is a diagram showing a hardware configuration of the server 1 shown in FIG.
- the illustrated configuration is an example, and may have other configurations.
- the server 1 may be a general-purpose computer such as a workstation or a personal computer, or may be logically realized by cloud computing.
- the server 1 includes at least a processor 10, a memory 11, a storage 12, a transmission / reception unit 13, an input / output unit 14, and the like, and these are electrically connected to each other through a bus 15.
- the processor 10 is an arithmetic unit that controls the operation of the entire server 1, controls the transmission and reception of data between each element, and performs information processing necessary for application execution and authentication processing.
- the processor 10 is a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit), and executes each information processing by executing a program or the like for the system stored in the storage 12 and expanded in the memory 11.
- the processing capacity of the processor 10 may be sufficient to execute necessary information processing. Therefore, for example, the processor 10 may be composed of only a CPU, and is not limited to this.
- the memory 11 includes a main memory composed of a volatile storage device such as a DRAM (Dynamic Random Access Memory) and an auxiliary storage composed of a non-volatile storage device such as a flash memory or an HDD (Hard Disk Drive). ..
- the memory 11 may be used as a work area of the processor 10 or the like, and may store a BIOS (Basic Input / Output System) executed when the server 1 is started, various setting information, and the like.
- BIOS Basic Input / Output System
- the storage 12 stores various programs such as application programs.
- a database storing data used for each process may be built in the storage 12.
- the transmission / reception unit 13 connects the server 1 to the network.
- the input / output unit 14 is an information input device such as a keyboard and a mouse, and an output device such as a display.
- the bus 15 is commonly connected to each of the above elements and transmits, for example, an address signal, a data signal, and various control signals.
- the administrator terminal 2 and the user terminal 3 shown in FIG. 3 also include a processor 20, a memory 21, a storage 22, a transmission / reception unit 23, an input / output unit 24, and the like, and these are electrically connected to each other through a bus 25. .. Since the functions of each element can be configured in the same manner as the server 1 described above, detailed description of each element will be omitted.
- the administrator uses the administrator terminal 2 to change the settings of the server 1 and manage the operation of the database, for example.
- the user can access the server 1 by the user terminal 3 and browse the created composite content data, for example.
- FIG. 4 is a block diagram illustrating the functions implemented in the server 1.
- the server 1 includes a communication unit 110, an identified information analysis unit 120, a second data generation unit 130, a composite content data generation unit 140, an association unit 150, a storage unit 160, and a classifier 170.
- the composite content data generation unit 140 includes a second data allocation unit 142 and a material content data allocation unit 144.
- the storage unit 160 includes various databases such as a third data storage unit 162, a material content data storage unit 164, a composite content data storage unit 166, and an interface information storage unit 168.
- the communication unit 110 communicates with the management terminal 2 and the user terminal 3.
- the communication unit 110 also functions as a reception unit that receives at least the first data including the identified information from the user terminal 2.
- the first data is, for example, text data such as an article containing the identified information (for example, a press release or news), image data including the identified information (for example, a photograph or an illustration) or moving image data.
- Voice data including identified information may be used.
- the text data referred to here is not limited to the text data at the time of being transmitted to the server 1, for example, the voice data transmitted to the server 1 is text data generated by a known voice recognition technique. You may.
- the first data may be, for example, text data such as an article summarized by an existing automatic summarization technique such as an extractive summarization or a generative summarization (including identified information).
- an existing automatic summarization technique such as an extractive summarization or a generative summarization (including identified information).
- the number of cuts included in the third data can be reduced, the data capacity of the entire composite content data can be reduced, and the content can be simplified.
- the voice data referred to here may be voice data extracted from video data by voice recognition or voice data generated from text data.
- voice data such as narration and dialogue
- the temporary video such as a temporary image such as a rough sketch and a video based on the temporary video
- the composite content is combined with the material content data based on the audio data.
- Data may be generated.
- audio data may be created from text data with a story, and in the case of a fairy tale, for example, a picture-story show or a moving image based on the read story and material content data may be generated as composite content data.
- the second data generation unit 130 determines, for example, that it is not necessary to divide the first data (for example, the text data is a short sentence having a preset number of characters or less), the second data generation unit 130 is used for the second data.
- the data generation unit 130 directly generates the first data as the second data.
- the second data generation unit 130 uses the first data generation unit 130.
- the data is divided and generated as second data including at least a part of the identified information of the first data.
- the first data division method by the second data generation unit 130 may use any known technique, for example, as long as the first data can be converted into text, as will be described later.
- the maximum number of characters in each cut of the third data and the modification relationship between clauses may be analyzed, and the sentences may be separated so that a natural section as a sentence fits in each cut.
- the identified information analysis unit 120 analyzes the above-mentioned second data and acquires the identified information.
- the identified information may be any information as long as it can be analyzed by the identified information analysis unit 120.
- the identified information can be in the word form defined by the language model. More specifically, it may be one or more words with a word vector described later (for example, "Shibuya, Shinjuku, Roppongi", "Shibuya, landmark, youth”, etc.). It should be noted that the word may include a word that is not normally used by itself, such as "n", depending on the language model. Further, instead of the above word format, it may be a document accompanied by a vector representing the entire sentence, or a feature vector extracted from an image or a moving image.
- the composite content data generation unit 140 reads out the third data including one or more cuts from the third data storage unit 162, and the material content data stored in the material content data storage unit 164 and the above-mentioned second data are combined.
- the assigned third data is generated as composite content data and stored in the composite content data storage unit 166, and the composite content data is displayed on the user terminal 2.
- FIG. 5 is an example of the screen layout of the cuts constituting the third data.
- the edited second data (for example, a delimited text sentence) is inserted into the second data field 31 in the figure, and the selected material content data is inserted into the material content data field 32.
- Each cut of the third data defines a preset maximum number of characters (in the case of text data), a screen layout, and a playback time (in the case of moving images).
- the composite content data does not necessarily have to be stored in the composite content data storage unit 166, and may be stored at an appropriate timing. Further, the third data to which only the second data is assigned may be displayed on the user terminal 3 as progress information of the composite content data.
- the second data allocation unit 142 is assigned numbers such as cut 1, cut 2, and cut 3 to a plurality of cuts, and the second data is sequentially assigned in the order of these numbers.
- the second data allocation unit 142 is not limited to such an allocation method, and for example, the second data allocation unit 142 increases or decreases the number of cuts included in the third data from a preset number according to the number of the second data. Then, the second data may be assigned.
- the association unit 150 compares at least a part of the identified information included in the second data described above with, for example, the extracted information extracted from the material content data (for example, the class label extracted by the classifier). For example, the degree of similarity with each other is determined, and the material content data suitable for the second data (for example, one having a high degree of similarity) and the second data are associated with each other.
- material content data A for example, an image of a woman
- “mountain" in which the identified information contained in the second data represents a "teacher” and the extracted information is a "face”.
- the material content data B for example, an image of Mt.
- Fuji is prepared, the relationship between the word vector obtained from the "teacher” and the word vector obtained from the "face” is the word vector obtained from the "teacher".
- the second data is associated with the material content data A because it is more similar than the word vector association obtained from the "mountain".
- the extraction information of the material content data may be extracted in advance by the user and stored in the material content data storage unit 164, or may be extracted by the classifier 170 described later. Further, for the determination of the similarity, a trained model in which the word vector is learned may be prepared, and the similarity of the words may be determined by a method such as cosine similarity or Word Mover's Distance using the vector.
- Material content data can be, for example, image data, moving image data, sound data (for example, music data, audio data, sound effects, etc.), but is not limited thereto. Further, the material content data may be stored in the material content data storage unit 164 by the user or the administrator, or the material content data is acquired from the network and stored in the material content data storage unit 164. It may be.
- the material content data allocation unit 144 allocates suitable material content data to the cut to which the corresponding second data is assigned based on the above association.
- the interface information storage unit 168 stores various control information for display on the display unit (display or the like) of the management terminal 2 or the user terminal 2.
- the classifier 170 is created as a trained model by acquiring training data from a training data storage unit (not shown) and performing machine learning.
- the classifier 170 is created on a regular basis (for example, several times a year).
- As the training data for creating the classifier data collected from the network or data owned by the user with a class label may be used, or a data set with a class label may be procured and used. ..
- the classifier 170 is, for example, a trained model using a convolutional neural network, and when material content data is input, one or a plurality of extraction information (for example, a class label) is extracted.
- the classifier 170 extracts, for example, class labels (eg, seafood, roasted meat, people, furniture) representing objects related to material content data.
- class labels eg, seafood, roasted meat, people, furniture
- FIG. 6 is a diagram illustrating an example of a flow for creating composite content data.
- the server 1 receives the first data including at least the identified information from the user terminal 2 via the communication unit 110 (step S101).
- the identified information may be, for example, one or more words
- the first data may be, for example, text data consisting of an article containing one or more words or a summary of the text data.
- the server 1 reads the third data including one or more cuts from the third data storage unit 162 by the composite content data generation unit 140 (step S102).
- the third data can be, for example, template data including a plurality of cuts.
- the server 1 analyzes the first data by the identified information analysis unit 120 to acquire the identified information, and the second data generation unit 130 includes at least a part of the identified information.
- the second data of the above is generated (step S103).
- the second data may be individual text data in which the maximum number of characters in each cut of the third data and the modification relationship between clauses are analyzed, and the sentences are divided so that a natural section as a sentence fits in each cut.
- the server 1 allocates the second data to the cut by the second data allocation unit (step S104).
- the progress may be confirmed by displaying the third data in this state on the user terminal 3.
- the server 1 is based on at least a part of the identified information included in the second data and the extracted information extracted from the material content data, and the association unit 150 causes the material content data of the material content data storage unit 164. And the second data are associated with each other (step S105), and the material content data is assigned to the cut by the material content data allocation unit 144 (step S106).
- the server 1 generates the second data and the third data to which the material content data is assigned as the composite content data, stores the second data in the composite content data storage unit 166, and displays the composite content data on the user terminal 2.
- Step S107 As for the display of the composite content data, as illustrated in FIG. 7, a plurality of cuts constituting the composite content data can be displayed in a list on the screen. In each cut, information on the reproduction time (seconds) of each cut may be displayed together with the displayed material content data and the second data. The user can modify the content by clicking, for example, the second data field 31 or the corresponding button, and replace the material content data by clicking the material content data field 32 or the corresponding button. Can be done.
- step S102 for reading the third data is executed when the second data or the material content data has been read before being assigned. It may have been done. Further, for example, the order of step S104 for allocating the second data, step S105 for associating, and step S106 for allocating the material content data is also executed in any order as long as there is no discrepancy with each other. May be done.
- the server 1 creates a summary sentence from the text data, and creates a second data from the first data including the summary sentence. An example of doing so will be described.
- STEP91 Paragraph division / document division
- the server 1 divides the input text data document into paragraphs and divides the document in each paragraph into sentences. Further, a sentence (for example, 80 characters or more) that is too long to be displayed in one scene as a telop of a moving image is further divided into a plurality of sentences at a place satisfying a specific part of speech, notation, and the like.
- STEP92 Document morphological analysis server 1 performs morphological analysis on each sentence and extracts a token which is the minimum unit of parsing. As shown in FIG. 9, each token is given a part of speech.
- STEP93 Deletion of unnecessary words / unnecessary paragraphs
- the server 1 deletes sentences and paragraphs defined as invalid from the predetermined invalid sentence determination rule. For example, delete a line starting with a specific symbol such as " ⁇ " or " ⁇ ", a paragraph surrounded by a specific symbol, a URL, an email address, an address / telephone number, or the like.
- STEP94 Deletion of stop words, etc.
- Server 1 deletes specific part of speech such as words (stop words) and particles that are not very important, such as "ni”, “kara”, “kore”, and “san", from the token. ..
- STEP95 Creating a token biggram A token biggram is obtained by connecting a plurality of tokens satisfying a specific condition (for example, a predefined part of speech condition). For example, "2014" (noun, proper noun, general) and “June” (noun, proper noun, general) can be connected to form “June 2014”, or "Verdi” (proper noun) and “sponsor”. (Common nouns) are connected to form "Verdi sponsorship”.
- a specific condition for example, a predefined part of speech condition
- STEP96 Extraction of important sentences Extract the tokens and token iOSms that are characteristic words from the index that evaluates the importance of words such as TF-IDF based on the tokens and token evaluation, and segment the text from the above-mentioned word similarity judgment. And extract important sentences from each segment to make a summary.
- STEP97 Application to template
- the abstract (important sentence) is parsed and separated into clauses and syntax trees.
- third data for example, template data
- the number of characters that can be inserted into each cut is defined, and the sentence is divided so that a natural section as a sentence fits in each template due to the modification relationship between clauses, and the third data Apply to the data of.
- FIG. 10 shows an example of inserting a sentence into each cut of the third data.
- the summary sentence creation function described above can support not only Japanese but also multiple languages including English.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Document Processing Apparatus (AREA)
Abstract
【課題】複合コンテンツデータを簡便に作成することを可能とするサーバおよびデータ割り当て方法。 【解決手段】少なくとも被識別情報を含む第1のデータの入力を受け付け、前記被識別情報の少なくとも一部を含む一以上の第2のデータを生成する第2のデータ生成部と、1つ以上のカットを含む第3のデータの前記カットに前記第2のデータを割り当てる第2のデータ割り当て部と、前記第2のデータに含まれる被識別情報の少なくとも一部と、素材コンテンツデータから抽出された抽出情報に基づき、前記第2のデータと、前記素材コンテンツデータとを関連付ける関連付け部と、前記関連付けに基づき、前記カットに前記素材コンテンツデータを割り当てる素材コンテンツデータ割り当て部と、を備えることを特徴とするサーバ。
Description
本発明は、複合コンテンツデータを生成するサーバおよびデータ割り当て方法に関する。
従来から、動画等コンテンツデータ作成が行われており、例えば、特許文献1には、複数のチャプタを有する動画から所望のシーン画像を効率的に検索する動画処理装置が提案されている。
動画等コンテンツデータを作成することには多大な手間がかかり、特に、テキストデータや画像、音データなどの複数の素材コンテンツデータが用いられた複合コンテンツデータを作成する場合には、最適な組み合わせを考慮することがユーザの技術レベルによっては難しいため、簡便に複合コンテンツデータを作成することができる装置の提供が求められていた。
そこで、本発明では、複合コンテンツデータを簡便に作成することを可能とするサーバおよびプログラムを提供することを目的とする。
上記課題を解決するための本発明の主たる発明は、少なくとも被識別情報を含む第1のデータの入力を受け付け、前記被識別情報の少なくとも一部を含む一以上の第2のデータを生成する第2のデータ生成部と、1つ以上のカットを含む第3のデータの前記カットに前記第2のデータを割り当てる第2のデータ割り当て部と、前記第2のデータに含まれる被識別情報の少なくとも一部と、素材コンテンツデータから抽出された抽出情報に基づき、前記第2のデータと、前記素材コンテンツデータとを関連付ける関連付け部と、前記関連付けに基づき、前記カットに前記素材コンテンツデータを割り当てる素材コンテンツデータ割り当て部と、を備えることを特徴とするサーバ、である。
本発明によれば、複合コンテンツデータを簡便に作成することを可能とするサーバおよびデータ割り当て方法を提供することが可能となる。
本発明の実施形態の内容を列記して説明する。本発明の実施の形態によるサーバ及びデータ割り当て方法は、以下のような構成を備える。
[項目1]
少なくとも被識別情報を含む第1のデータの入力を受け付け、前記被識別情報の少なくとも一部を含む一以上の第2のデータを生成する第2のデータ生成部と、
1つ以上のカットを含む第3のデータの前記カットに前記第2のデータを割り当てる第2のデータ割り当て部と、
前記第2のデータに含まれる被識別情報の少なくとも一部と、素材コンテンツデータから抽出された抽出情報に基づき、前記第2のデータと、前記素材コンテンツデータとを関連付ける関連付け部と、
前記関連付けに基づき、前記カットに前記素材コンテンツデータを割り当てる素材コンテンツデータ割り当て部と、
を備えることを特徴とするサーバ。
[項目2]
前記被識別情報は、言語モデルにより定義された単語形式または文全体を表すベクトルである、
ことを特徴とする項目1に記載のサーバ。
[項目3]
前記第1のデータは、前記被識別情報を含むテキストデータ、前記被識別情報を含む画像データ若しくは動画データ、前記被識別情報を含む音声データの少なくともいずれか1つである、
ことを特徴とする項目1または2に記載のサーバ。
[項目4]
前記第2のデータは、前記第3のデータの各カットの最大文字数及び前記第1のデータの文節間の修飾関係を解析し、文章として自然な区間が各カットに収まるように文を区切られたものである、
ことを特徴とする項目1ないし3に記載のサーバ。
[項目5]
素材コンテンツデータは、画像データ、動画データ、音データの少なくともいずれか1つである、
ことを特徴とする項目1ないし4に記載のサーバ。
[項目6]
前記関連付け部は、前記第2のデータに含まれる被識別情報の少なくとも一部と、前記素材コンテンツデータから抽出された抽出情報とを比較し、互いの類似度を判定して、前記第2のデータに適した素材コンテンツデータと前記第2のデータとを互いに関連付けを行う、
ことを特徴とする項目1ないし5に記載のサーバ。
[項目7]
学習データを用いて機械学習を行った学習済モデルであり、前記素材コンテンツデータの前記抽出情報を抽出する分類器を備え、
前記抽出情報は、前記分類器が出力したクラスラベルである、
ことを特徴とする項目6に記載のサーバ。
[項目8]
前記サーバは、さらに、前記第1のデータに含まれる文章情報を要約する機能を有し、
前記第2のデータ生成部は、前記要約から第2のデータを生成する、
ことを特徴とする項目1ないし7のいずれかに記載のサーバ。
[項目9]
前記素材コンテンツデータは、ネットワーク上から取得されて、素材コンテンツデータ記憶部に格納される、
ことを特徴とする項目1ないし8のいずれかに記載のサーバ。
[項目10]
少なくとも被識別情報を含む第1のデータの入力を受け付け、前記被識別情報の少なくとも一部を含む一以上の第2のデータを生成するステップと、
1つ以上のカットを含む第3のデータの前記カットに前記第2のデータを割り当てるステップと、
前記第2のデータに含まれる被識別情報の少なくとも一部と、素材コンテンツデータに基づき、前記第2のデータと、前記素材コンテンツデータとを関連付けるステップと、
前記関連付けに基づき、前記カットに前記素材コンテンツデータを割り当てるステップと、を含む、
ことを特徴とするデータ割り当て方法。
[項目1]
少なくとも被識別情報を含む第1のデータの入力を受け付け、前記被識別情報の少なくとも一部を含む一以上の第2のデータを生成する第2のデータ生成部と、
1つ以上のカットを含む第3のデータの前記カットに前記第2のデータを割り当てる第2のデータ割り当て部と、
前記第2のデータに含まれる被識別情報の少なくとも一部と、素材コンテンツデータから抽出された抽出情報に基づき、前記第2のデータと、前記素材コンテンツデータとを関連付ける関連付け部と、
前記関連付けに基づき、前記カットに前記素材コンテンツデータを割り当てる素材コンテンツデータ割り当て部と、
を備えることを特徴とするサーバ。
[項目2]
前記被識別情報は、言語モデルにより定義された単語形式または文全体を表すベクトルである、
ことを特徴とする項目1に記載のサーバ。
[項目3]
前記第1のデータは、前記被識別情報を含むテキストデータ、前記被識別情報を含む画像データ若しくは動画データ、前記被識別情報を含む音声データの少なくともいずれか1つである、
ことを特徴とする項目1または2に記載のサーバ。
[項目4]
前記第2のデータは、前記第3のデータの各カットの最大文字数及び前記第1のデータの文節間の修飾関係を解析し、文章として自然な区間が各カットに収まるように文を区切られたものである、
ことを特徴とする項目1ないし3に記載のサーバ。
[項目5]
素材コンテンツデータは、画像データ、動画データ、音データの少なくともいずれか1つである、
ことを特徴とする項目1ないし4に記載のサーバ。
[項目6]
前記関連付け部は、前記第2のデータに含まれる被識別情報の少なくとも一部と、前記素材コンテンツデータから抽出された抽出情報とを比較し、互いの類似度を判定して、前記第2のデータに適した素材コンテンツデータと前記第2のデータとを互いに関連付けを行う、
ことを特徴とする項目1ないし5に記載のサーバ。
[項目7]
学習データを用いて機械学習を行った学習済モデルであり、前記素材コンテンツデータの前記抽出情報を抽出する分類器を備え、
前記抽出情報は、前記分類器が出力したクラスラベルである、
ことを特徴とする項目6に記載のサーバ。
[項目8]
前記サーバは、さらに、前記第1のデータに含まれる文章情報を要約する機能を有し、
前記第2のデータ生成部は、前記要約から第2のデータを生成する、
ことを特徴とする項目1ないし7のいずれかに記載のサーバ。
[項目9]
前記素材コンテンツデータは、ネットワーク上から取得されて、素材コンテンツデータ記憶部に格納される、
ことを特徴とする項目1ないし8のいずれかに記載のサーバ。
[項目10]
少なくとも被識別情報を含む第1のデータの入力を受け付け、前記被識別情報の少なくとも一部を含む一以上の第2のデータを生成するステップと、
1つ以上のカットを含む第3のデータの前記カットに前記第2のデータを割り当てるステップと、
前記第2のデータに含まれる被識別情報の少なくとも一部と、素材コンテンツデータに基づき、前記第2のデータと、前記素材コンテンツデータとを関連付けるステップと、
前記関連付けに基づき、前記カットに前記素材コンテンツデータを割り当てるステップと、を含む、
ことを特徴とするデータ割り当て方法。
<実施の形態の詳細>
以下、本発明の実施の形態による複合コンテンツデータを作成するためのシステム(以下「本システム」という)等について説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
以下、本発明の実施の形態による複合コンテンツデータを作成するためのシステム(以下「本システム」という)等について説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
<構成>
実施形態例に係る本システムは、図1に示すように、サーバ1と、管理者端末2と、ユーザ端末3とを備えて構成される。サーバ1と、管理者端末2と、ユーザ端末3は、ネットワークを介して互いに通信可能に接続されている。ネットワークは、ローカルネットワークであってもよいし、外部ネットワークに接続可能なものであってもよい。図1の例では、サーバ1を1台で構成する例を説明しているが、複数台のサーバ装置によりサーバ1を実現することも可能である。また、サーバ1と管理者端末2が共通化されていてもよい。
実施形態例に係る本システムは、図1に示すように、サーバ1と、管理者端末2と、ユーザ端末3とを備えて構成される。サーバ1と、管理者端末2と、ユーザ端末3は、ネットワークを介して互いに通信可能に接続されている。ネットワークは、ローカルネットワークであってもよいし、外部ネットワークに接続可能なものであってもよい。図1の例では、サーバ1を1台で構成する例を説明しているが、複数台のサーバ装置によりサーバ1を実現することも可能である。また、サーバ1と管理者端末2が共通化されていてもよい。
<サーバ1>
図2は、図1に記載のサーバ1のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。また、サーバ1は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
図2は、図1に記載のサーバ1のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。また、サーバ1は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
サーバ1は、少なくとも、プロセッサ10、メモリ11、ストレージ12、送受信部13、入出力部14等を備え、これらはバス15を通じて相互に電気的に接続される。
プロセッサ10は、サーバ1全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ10はCPU(Central Processing Unit)およびGPU(Graphics Processing Unit)であり、ストレージ12に格納されメモリ11に展開された本システムのためのプログラム等を実行して各情報処理を実施する。なお、プロセッサ10の処理能力は、必要な情報処理を実行するために十分であればよいので、例えば、プロセッサ10はCPUのみで構成されていてもよいし、これに限るものでもない。
メモリ11は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ11は、プロセッサ10のワークエリア等として使用され、また、サーバ1の起動時に実行されるBIOS(Basic Input / Output System)、及び各種設定情報等を格納してもよい。
ストレージ12は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ12に構築されていてもよい。
送受信部13は、サーバ1をネットワークに接続する。
入出力部14は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
バス15は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
<管理者端末2、ユーザ端末3>
図3に示される管理者端末2、ユーザ端末3もまた、プロセッサ20、メモリ21、ストレージ22、送受信部23、入出力部24等を備え、これらはバス25を通じて相互に電気的に接続される。各要素の機能は、上述したサーバ1と同様に構成することが可能であることから、各要素の詳細な説明は省略する。管理者は、管理者端末2により、例えばサーバ1の設定変更やデータベースの運用管理などを行う。ユーザは、ユーザ端末3によりサーバ1にアクセスして、例えば、作成された複合コンテンツデータを閲覧することなどができる。
図3に示される管理者端末2、ユーザ端末3もまた、プロセッサ20、メモリ21、ストレージ22、送受信部23、入出力部24等を備え、これらはバス25を通じて相互に電気的に接続される。各要素の機能は、上述したサーバ1と同様に構成することが可能であることから、各要素の詳細な説明は省略する。管理者は、管理者端末2により、例えばサーバ1の設定変更やデータベースの運用管理などを行う。ユーザは、ユーザ端末3によりサーバ1にアクセスして、例えば、作成された複合コンテンツデータを閲覧することなどができる。
<サーバ1の機能>
図4は、サーバ1に実装される機能を例示したブロック図である。本実施の形態においては、サーバ1は、通信部110、被識別情報解析部120、第2のデータ生成部130、複合コンテンツデータ生成部140、関連付け部150、記憶部160、分類器170を備えている。複合コンテンツデータ生成部140は、第2のデータ割り当て部142、素材コンテンツデータ割り当て部144を含む。また、記憶部160は、第3のデータ記憶部162、素材コンテンツデータ記憶部164、複合コンテンツデータ記憶部166、インターフェース情報記憶部168などの各種データベースを含む。
図4は、サーバ1に実装される機能を例示したブロック図である。本実施の形態においては、サーバ1は、通信部110、被識別情報解析部120、第2のデータ生成部130、複合コンテンツデータ生成部140、関連付け部150、記憶部160、分類器170を備えている。複合コンテンツデータ生成部140は、第2のデータ割り当て部142、素材コンテンツデータ割り当て部144を含む。また、記憶部160は、第3のデータ記憶部162、素材コンテンツデータ記憶部164、複合コンテンツデータ記憶部166、インターフェース情報記憶部168などの各種データベースを含む。
通信部110は、管理端末2や、ユーザ端末3と通信を行う。通信部110は、ユーザ端末2から、少なくとも被識別情報を含む第1のデータを受け付ける受付部としても機能する。そして、第1のデータは、例えば、被識別情報を含む記事(例えば、プレスリリースや、ニュースなど)などのテキストデータ、被識別情報を含む画像データ(例えば、写真や、イラストなど)若しくは動画データ、被識別情報を含む音声データなどであってもよい。なお、ここでいうテキストデータは、サーバ1に送信された時点においてテキストデータであるものに限らず、例えば、サーバ1に送信された音声データを既知の音声認識技術により生成されたテキストデータであってもよい。また、第1のデータは、例えば記事などのテキストデータなどが、既存の抽出的要約若しくは生成的要約などの自動要約技術により要約されたもの(被識別情報を含む)であってもよく、その場合、第3のデータに含まれるカット数が減り、複合コンテンツデータ全体のデータ容量を小さくすることができ、内容も簡潔なものとなり得る。
また、ここでいう音声データは、動画データから音声認識により抽出された音声データや、テキストデータから生成された音声データであってもよい。前者の場合、例えばラフスケッチなどの仮画像及び仮映像による動画といった仮動画から、ナレーションやセリフなどの音声データだけを抽出し、後述されるように当該音声データを基に素材コンテンツデータと共に複合コンテンツデータを生成するようにしてもよい。後者の場合、例えば、ストーリーのあるテキストデータから音声データを作成し、例えば童話であれば、読み上げられたストーリーと素材コンテンツデータによる紙芝居や動画を複合コンテンツデータとして生成するようにしてもよい。
第2のデータ生成部130は、例えば第1のデータを分割する必要がないと判定した場合(例えば、テキストデータが予め設定された文字数以下の短文であったりするなど)には、第2のデータ生成部130は、そのまま第1のデータを第2のデータとして生成する。一方で、例えば第1のデータを分割する必要があると判定した場合(例えば、予め設定された文字数よりも長文であったりするなど)には、第2のデータ生成部130は、第1のデータを分割し、それぞれ第1のデータの被識別情報の少なくとも一部を含む第2のデータとして生成する。なお、第2のデータ生成部130による第1のデータ分割の方法は、既知の何れの技術を利用してもよく、例えば、後述するように、第1のデータがテキスト化できるものであれば、第3のデータの各カットの最大文字数及び文節間の修飾関係を解析し、文章として自然な区間が各カットに収まるように文を区切るようにしてもよい。
被識別情報解析部120は、上述の第2のデータを解析し、被識別情報を取得する。ここで、被識別情報は、被識別情報解析部120により解析可能であれば、どのような情報であってもよい。一つの態様としては、被識別情報は、言語モデルにより定義された単語形式であり得る。より具体的には、後述の単語ベクトルを伴う一以上の単語(例えば、「渋谷、新宿、六本木」や「渋谷、ランドマーク、若者」など)であってもよい。なお、当該単語には、言語モデルに応じて「ん」などの通常はそれ単体では利用されない単語も含み得る。また、上記単語形式の代わりに文全体を表すベクトルを伴う文書、または画像や動画から抽出された特徴ベクトルであってもよい。
複合コンテンツデータ生成部140は、第3のデータ記憶部162から一以上のカットを含む第3のデータを読み出し、素材コンテンツデータ記憶部164に記憶された素材コンテンツデータと上述の第2のデータが割り当てられた第3のデータを複合コンテンツデータとして生成するとともに複合コンテンツデータ記憶部166に記憶し、ユーザ端末2に複合コンテンツデータを表示する。なお、図5は、第3のデータを構成するカットの画面レイアウトの一例である。同図中第2のデータフィールド31に編集された第2のデータ(例えば、区切られたテキスト文章など)が挿入され、素材コンテンツデータフィールド32に選択された素材コンテンツデータが挿入される。第3のデータの各カットには、予め設定されている上述の最大文字数(テキストデータの場合)や、画面レイアウト、再生時間(動画の場合)が規定されている。また、複合コンテンツデータは、必ずしも複合コンテンツデータ記憶部166に保存される必要はなく、適当なタイミングで記憶されてもよい。また、第2のデータのみが割り当てられた第3のデータを複合コンテンツデータの経過情報としてユーザ端末3に表示するようにしてもよい。
第2のデータ割り当て部142は、例えば複数のカットに、カット1、カット2、カット3といったように番号がふられており、この番号順に、第2のデータを順次割り当てていく。なお、このような割り当て方法に限定されず、例えば、第2のデータ割り当て部142は、第2のデータの数に合わせて、第3のデータに含まれるカット数を予め設定された数から増減し、第2のデータを割り当てるようにしてもよい。
関連付け部150は、上述の第2のデータに含まれる被識別情報の少なくとも一部と、例えば、素材コンテンツデータから抽出される抽出情報(例えば、分類器が抽出したクラスラベルなど)と比較し、例えば、互いの類似度などを判定して、第2のデータに適した素材コンテンツデータ(例えば、類似度が高いものなど)と第2のデータとを互いに関連付けを行う。より具体的な例としては、例えば、第2のデータに含まれる被識別情報が「先生」を表し、抽出情報が「顔」である素材コンテンツデータA(例えば、女性の画像)と「山」である素材コンテンツデータB(例えば、富士山の画像)が用意されている場合、「先生」から得られる単語ベクトルと「顔」から得られる単語ベクトルの関連は、「先生」から得られる単語ベクトルと「山」から得られる単語ベクトルの関連よりも類似しているため、第2のデータは素材コンテンツデータAと関連付けられる。なお、素材コンテンツデータの抽出情報は、ユーザが予め抽出して素材コンテンツデータ記憶部164に記憶したものであってもよく、後述の分類器170により抽出されたものであってもよい。また、上記類似度の判定は、単語ベクトルを学習した学習済モデルを用意し、そのベクトルを利用してコサイン類似度やWord Mover’s Distanceなどの方法により単語の類似度を判定してもよい。
素材コンテンツデータは、例えば、画像データや、動画データ、音データ(例えば、音楽データ、音声データ、効果音など)などであり得るが、これに限定されない。また、素材コンテンツデータは、ユーザまたは管理者が素材コンテンツデータ記憶部164に格納するものであってもよいし、ネットワーク上から、素材コンテンツデータを取得し、素材コンテンツデータ記憶部164に格納するものであってもよい。
素材コンテンツデータ割り当て部144は、上述の関連付けに基づき、対応する第2のデータが割り当てられたカットに、適した素材コンテンツデータを割り当てる。
インターフェース情報記憶部168は、管理端末2若しくはユーザ端末2の表示部(ディスプレイ等)に表示するための各種制御情報を格納している。
分類器170は、学習データを学習データ記憶部(不図示)から取得し、機械学習させることで、学習済モデルとして作成される。分類器170の作成は、定期的に行われる(例えば、年に数回程度)。分類器作成用の学習データは、ネットワークから収集したデータやユーザ保有のデータにクラスラベルをつけたものを利用してもよいし、クラスラベルのついたデータセットを調達して利用してもよい。そして、分類器170は、例えば、畳み込みニューラルネットワークを利用した学習済モデルであり、素材コンテンツデータを入力すると、1つまたは複数の抽出情報(例えば、クラスラベルなど)を抽出する。分類器170は、例えば、素材コンテンツデータに関連するオブジェクトを表すクラスラベル(例えば、魚介、焼肉、人物、家具)を抽出する。
図6は、複合コンテンツデータを作成する流れの一例を説明する図である。
まず、サーバ1は、少なくとも被識別情報を含む第1のデータをユーザ端末2より通信部110を介して受け付ける(ステップS101)。本例においては、被識別情報は、例えば一以上の単語であり、第1のデータは、例えば一以上の単語を含む記事からなるテキストデータまたはそのテキストデータを要約したものであり得る。
次に、サーバ1は、複合コンテンツデータ生成部140により、一以上のカットを含む第3のデータを第3のデータ記憶部162から読み出す(ステップS102)。本例においては、第3のデータは、例えば複数のカットを含むテンプレートデータであり得る。
次に、サーバ1は、被識別情報解析部120により、第1のデータを解析して被識別情報を取得し、第2のデータ生成部130により、被識別情報の少なくとも一部を含む一以上の第2のデータを生成する(ステップS103)。第2のデータは、第3のデータの各カットの最大文字数及び文節間の修飾関係を解析し、文章として自然な区間が各カットに収まるように文を区切った個々のテキストデータであり得る。
次に、サーバ1は、第2のデータ割り当て部により、第2のデータをカットに割り当てる(ステップS104)。なお、この状態の第3のデータをユーザ端末3にて表示をするようにして、経過を確認可能にしてもよい。
次に、サーバ1は、第2のデータに含まれる被識別情報の少なくとも一部と、素材コンテンツデータから抽出された抽出情報に基づき、関連付け部150により、素材コンテンツデータ記憶部164の素材コンテンツデータと第2のデータとを互いに関連付けし(ステップS105)、素材コンテンツデータ割り当て部144によりその素材コンテンツデータをカットに割り当てる(ステップS106)。
そして、サーバ1は、第2のデータ及び素材コンテンツデータが割り当てられた第3のデータを複合コンテンツデータとして生成するとともに複合コンテンツデータ記憶部166に記憶し、ユーザ端末2に複合コンテンツデータを表示する(ステップS107)。なお、複合コンテンツデータの表示は、図7に例示するように、複合コンテンツデータを構成する複数のカットを画面上に一覧表示することができる。各カットには、表示される素材コンテンツデータおよび第2データと共に各カットの再生時間(秒数)の情報も表示されてもよい。ユーザは、例えば、第2のデータフィールド31や対応するボタンをクリックすることで、その内容を修正することができ、素材コンテンツデータフィールド32や対応するボタンをクリックすることで素材コンテンツデータを差し替えることができる。
なお、上述の複合コンテンツデータを作成する流れは一例であり、例えば、第3のデータを読み出すためのステップS102は、第2のデータまたは素材コンテンツデータの割り当てまでに読み出されていればいつ実行されていてもよい。また、例えば、第2のデータの割り当てのためのステップS104と、関連付けのためのステップS105と、素材コンテンツデータの割り当てのためのステップS106の順番も、互いに齟齬が生じなければ何れの順番で実行されてもよい。
(要約文作成機能)
図8~図10を参照しながら、第1のデータがテキストデータを含むものである場合に、サーバ1がテキストデータから要約文作成し、その要約文を含む第1のデータから第2のデータを作成する一例について説明する。
図8~図10を参照しながら、第1のデータがテキストデータを含むものである場合に、サーバ1がテキストデータから要約文作成し、その要約文を含む第1のデータから第2のデータを作成する一例について説明する。
STEP91:段落分割・文書分割
サーバ1は、入力されたテキストデータの文書を段落に分割し、各段落内の文書を文に分割する。また、動画のテロップとして1シーンで表示すると長すぎて可読性を落とす文章(例えば80文字以上)については、特定の品詞、表記等の条件を満たす箇所で、さらに複数の文章に分割する。
サーバ1は、入力されたテキストデータの文書を段落に分割し、各段落内の文書を文に分割する。また、動画のテロップとして1シーンで表示すると長すぎて可読性を落とす文章(例えば80文字以上)については、特定の品詞、表記等の条件を満たす箇所で、さらに複数の文章に分割する。
STEP92:文書の形態素解析
サーバ1は、各文を形態素解析にかけ、構文解析の最小単位となるトークンを取り出す。図9に示すように、各トークンには品詞が付与されている。
サーバ1は、各文を形態素解析にかけ、構文解析の最小単位となるトークンを取り出す。図9に示すように、各トークンには品詞が付与されている。
STEP93:不要語・不要段落の削除
サーバ1は、予め定義された無効な文の判定ルールより、無効と定義される文、段落を削除する。例えば、「■」、「▼」などの特定記号から始まる行、特定記号で囲まれた段落、URL、メールアドレス、住所・電話番号などが記載された段落を削除する。
サーバ1は、予め定義された無効な文の判定ルールより、無効と定義される文、段落を削除する。例えば、「■」、「▼」などの特定記号から始まる行、特定記号で囲まれた段落、URL、メールアドレス、住所・電話番号などが記載された段落を削除する。
STEP94:ストップワード等の削除
サーバ1は、トークンから「に」、「から」、「これ」、「さん」などのあまり意味としては重要でないワード(ストップワード)や助詞などの特定品詞を削除する。
サーバ1は、トークンから「に」、「から」、「これ」、「さん」などのあまり意味としては重要でないワード(ストップワード)や助詞などの特定品詞を削除する。
STEP95:トークンバイグラムの作成
特定の条件(例えば、予め定義された品詞条件)を満たす複数のトークンを繋げ、トークンバイグラムを得る。例えば、「2014年」(名詞、固有名詞、一般)と「6月」(名詞、固有名詞、一般)を繋げて「2014年6月」としたり、「ヴェルディ」(固有名詞)と「協賛」(普通名詞)を繋げ、「ヴェルディ協賛」としたりする。
特定の条件(例えば、予め定義された品詞条件)を満たす複数のトークンを繋げ、トークンバイグラムを得る。例えば、「2014年」(名詞、固有名詞、一般)と「6月」(名詞、固有名詞、一般)を繋げて「2014年6月」としたり、「ヴェルディ」(固有名詞)と「協賛」(普通名詞)を繋げ、「ヴェルディ協賛」としたりする。
STEP96:重要文の抽出
トークンおよびトークンバイグラムを元にTF-IDFなど単語の重要度を評価する指標から特徴語となるトークンおよびトークンバイアグラムを抽出し、前述の単語類似度判定などからテキストのセグメンテーションを行い、各セグメントから重要文を抽出することで要約とする。
トークンおよびトークンバイグラムを元にTF-IDFなど単語の重要度を評価する指標から特徴語となるトークンおよびトークンバイアグラムを抽出し、前述の単語類似度判定などからテキストのセグメンテーションを行い、各セグメントから重要文を抽出することで要約とする。
STEP97:テンプレートへの当てはめ
要約(重要文)を構文解析にかけ、文節と構文木に別ける。上述の第3のデータ(例えばテンプレートデータ)は各カットに挿入できる文字数が定義されているところ、文節間の修飾関係から、文章として自然な区間が各テンプレートに収まるように文を区切り、第3のデータに当てはめる。図10に、第3のデータの各カットへの文章の挿入例を示す。以上に説明した要約文作成機能は、日本語のみならず、英語をはじめとする多言語に対応が可能である。
要約(重要文)を構文解析にかけ、文節と構文木に別ける。上述の第3のデータ(例えばテンプレートデータ)は各カットに挿入できる文字数が定義されているところ、文節間の修飾関係から、文章として自然な区間が各テンプレートに収まるように文を区切り、第3のデータに当てはめる。図10に、第3のデータの各カットへの文章の挿入例を示す。以上に説明した要約文作成機能は、日本語のみならず、英語をはじめとする多言語に対応が可能である。
以上に説明した実施形態例の本システムによれば、編集用ソフト、サーバ、専門技術を持った編集者などを自前で揃えなくとも、簡単に複合コンテンツデータを作成することが可能となる。例えば、下記のような場面での活用が想定される。
1)ECショップで販売している商品情報の動画化
2)プレスリリース情報、CSR情報などを動画で配信
3)利用方法・オペレーションフローなどのマニュアルを動画化
4)動画広告として活用できるクリエイティブを制作
1)ECショップで販売している商品情報の動画化
2)プレスリリース情報、CSR情報などを動画で配信
3)利用方法・オペレーションフローなどのマニュアルを動画化
4)動画広告として活用できるクリエイティブを制作
以上、本発明の好ましい実施形態例について説明したが、本発明の技術的範囲は上記実施形態の記載に限定されるものではない。上記実施形態例には様々な変更・改良を加えることが可能であり、そのような変更または改良を加えた形態のものも本発明の技術的範囲に含まれる。
1 サーバ
2 管理者端末
3 ユーザ端末
2 管理者端末
3 ユーザ端末
Claims (10)
- 少なくとも被識別情報を含む第1のデータの入力を受け付け、前記被識別情報の少なくとも一部を含む一以上の第2のデータを生成する第2のデータ生成部と、
1つ以上のカットを含む第3のデータの前記カットに前記第2のデータを割り当てる第2のデータ割り当て部と、
前記第2のデータに含まれる被識別情報の少なくとも一部と、素材コンテンツデータから抽出された抽出情報に基づき、前記第2のデータと、前記素材コンテンツデータとを関連付ける関連付け部と、
前記関連付けに基づき、前記カットに前記素材コンテンツデータを割り当てる素材コンテンツデータ割り当て部と、
を備えることを特徴とするサーバ。 - 前記被識別情報は、言語モデルにより定義された単語形式または文全体を表すベクトルである、
ことを特徴とする請求項1に記載のサーバ。 - 前記第1のデータは、前記被識別情報を含むテキストデータである、
ことを特徴とする請求項1または2に記載のサーバ。 - 前記第2のデータは、前記第3のデータの各カットの最大文字数及び前記第1のデータの文節間の修飾関係を解析し、文章として自然な区間が各カットに収まるように文を区切られたものである、
ことを特徴とする請求項1ないし3に記載のサーバ。 - 素材コンテンツデータは、画像データ、動画データ、音データの少なくともいずれか1つである、
ことを特徴とする請求項1ないし4に記載のサーバ。 - 前記関連付け部は、前記第2のデータに含まれる被識別情報の少なくとも一部と、前記素材コンテンツデータから抽出された抽出情報とを比較し、互いの類似度を判定して、前記第2のデータに適した素材コンテンツデータと前記第2のデータとを互いに関連付けを行う、
ことを特徴とする請求項1ないし5に記載のサーバ。 - 学習データを用いて機械学習を行った学習済モデルであり、前記素材コンテンツデータの前記抽出情報を抽出する分類器を備え、
前記抽出情報は、前記分類器が出力したクラスラベルである、
ことを特徴とする請求項6に記載のサーバ。 - 前記サーバは、さらに、前記第1のデータに含まれる文章情報を要約する機能を有し、
前記第2のデータ生成部は、前記要約から第2のデータを生成する、
ことを特徴とする請求項1ないし7のいずれかに記載のサーバ。 - 前記素材コンテンツデータは、ネットワーク上から取得されて、素材コンテンツデータ記憶部に格納される、
ことを特徴とする請求項1ないし8のいずれかに記載のサーバ。 - 少なくとも被識別情報を含む第1のデータの入力を受け付け、前記被識別情報の少なくとも一部を含む一以上の第2のデータを生成するステップと、
1つ以上のカットを含む第3のデータの前記カットに前記第2のデータを割り当てるステップと、
前記第2のデータに含まれる被識別情報の少なくとも一部と、素材コンテンツデータに基づき、前記第2のデータと、前記素材コンテンツデータとを関連付けるステップと、
前記関連付けに基づき、前記カットに前記素材コンテンツデータを割り当てるステップと、を含む、
ことを特徴とするデータ割り当て方法。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020555080A JP6863648B1 (ja) | 2019-11-25 | 2019-11-25 | サーバおよびデータ割り当て方法 |
PCT/JP2019/046027 WO2021106051A1 (ja) | 2019-11-25 | 2019-11-25 | サーバおよびデータ割り当て方法 |
JP2021051062A JP2021119662A (ja) | 2019-11-25 | 2021-03-25 | サーバおよびデータ割り当て方法 |
JP2021051066A JP6903365B1 (ja) | 2019-11-25 | 2021-03-25 | サーバおよびデータ割り当て方法 |
JP2021051065A JP2021106398A (ja) | 2019-11-25 | 2021-03-25 | サーバおよびデータ割り当て方法 |
JP2021050999A JP2021097417A (ja) | 2019-11-25 | 2021-03-25 | サーバおよびデータ割り当て方法 |
JP2021051064A JP6903364B1 (ja) | 2019-11-25 | 2021-03-25 | サーバおよびデータ割り当て方法 |
JP2021051063A JP2021106397A (ja) | 2019-11-25 | 2021-03-25 | サーバおよびデータ割り当て方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/046027 WO2021106051A1 (ja) | 2019-11-25 | 2019-11-25 | サーバおよびデータ割り当て方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021106051A1 true WO2021106051A1 (ja) | 2021-06-03 |
Family
ID=75520990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/046027 WO2021106051A1 (ja) | 2019-11-25 | 2019-11-25 | サーバおよびデータ割り当て方法 |
Country Status (2)
Country | Link |
---|---|
JP (7) | JP6863648B1 (ja) |
WO (1) | WO2021106051A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7030296B1 (ja) * | 2021-05-26 | 2022-03-07 | 株式会社エス・ケイ通信 | プログラム、方法、情報処理装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012253673A (ja) * | 2011-06-06 | 2012-12-20 | Avix Inc | Html文書に基づく短編動画作品の自動制作 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4865469B2 (ja) * | 2006-09-20 | 2012-02-01 | 日本放送協会 | コンテンツ制作サーバ、コンテンツ提示装置、コンテンツ制作プログラム、及びコンテンツ提示プログラム |
JP6141167B2 (ja) * | 2013-10-21 | 2017-06-07 | 東芝テック株式会社 | コンテンツ作成装置及びプログラム |
EP2869546B1 (en) * | 2013-10-31 | 2018-12-26 | Alcatel Lucent | Method and system for providing access to auxiliary information |
JP6621054B2 (ja) * | 2016-06-27 | 2019-12-18 | ブラザー工業株式会社 | テープ印字装置及びトークデータ処理プログラム |
JP7009840B2 (ja) * | 2017-08-30 | 2022-01-26 | 富士通株式会社 | 情報処理装置、情報処理方法及び対話制御システム |
JP6485977B2 (ja) * | 2017-12-25 | 2019-03-20 | 株式会社フェイス | 字幕制作装置および字幕制作方法 |
JP2019193023A (ja) * | 2018-04-20 | 2019-10-31 | Jcc株式会社 | 希望映像情報報知システム |
JP6603925B1 (ja) * | 2018-06-22 | 2019-11-13 | 株式会社オープンエイト | 動画編集サーバおよびプログラム |
-
2019
- 2019-11-25 WO PCT/JP2019/046027 patent/WO2021106051A1/ja active Application Filing
- 2019-11-25 JP JP2020555080A patent/JP6863648B1/ja active Active
-
2021
- 2021-03-25 JP JP2021051063A patent/JP2021106397A/ja active Pending
- 2021-03-25 JP JP2021051062A patent/JP2021119662A/ja active Pending
- 2021-03-25 JP JP2021051066A patent/JP6903365B1/ja active Active
- 2021-03-25 JP JP2021050999A patent/JP2021097417A/ja active Pending
- 2021-03-25 JP JP2021051065A patent/JP2021106398A/ja active Pending
- 2021-03-25 JP JP2021051064A patent/JP6903364B1/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012253673A (ja) * | 2011-06-06 | 2012-12-20 | Avix Inc | Html文書に基づく短編動画作品の自動制作 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021106051A1 (ja) | 2021-12-02 |
JP2021119662A (ja) | 2021-08-12 |
JP2021106398A (ja) | 2021-07-26 |
JP6863648B1 (ja) | 2021-04-21 |
JP6903364B1 (ja) | 2021-07-14 |
JP6903365B1 (ja) | 2021-07-14 |
JP2022061934A (ja) | 2022-04-19 |
JP2021097417A (ja) | 2021-06-24 |
JP2021106397A (ja) | 2021-07-26 |
JP2022061935A (ja) | 2022-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10096145B2 (en) | Method and system for assembling animated media based on keyword and string input | |
US20110097693A1 (en) | Aligning chunk translations for language learners | |
JP2020005309A (ja) | 動画編集サーバおよびプログラム | |
WO2019245033A1 (ja) | 動画編集サーバおよびプログラム | |
JP6730760B2 (ja) | サーバおよびプログラム、動画配信システム | |
JP6730757B2 (ja) | サーバおよびプログラム、動画配信システム | |
JP6903365B1 (ja) | サーバおよびデータ割り当て方法 | |
US10691871B2 (en) | Devices, methods, and systems to convert standard-text to animated-text and multimedia | |
Greenbacker et al. | A corpus of human-written summaries of line graphs | |
WO2022003798A1 (ja) | サーバおよび複合コンテンツデータ作成システム、複合コンテンツデータ作成方法、プログラム | |
JP6713183B1 (ja) | サーバおよびプログラム | |
JP2020129189A (ja) | 動画編集サーバおよびプログラム | |
US11699023B2 (en) | Producing automated sensory content and associated markers in HTML document publishing | |
KR102368823B1 (ko) | 뉴스 기사 기반 소셜 컨텐츠 서비스 장치 및 방법 | |
JP6979738B1 (ja) | サーバおよびアニメーション推薦システム、アニメーション推薦方法、プログラム | |
JP6710884B2 (ja) | サーバおよびプログラム | |
JP2020129357A (ja) | 動画編集サーバおよびプログラム | |
US10606940B2 (en) | Annotation sharing method, annotation sharing apparatus, and computer program product | |
US12141188B1 (en) | Context-based dictionaries for multimedia audiobook systems including linguistic dictionary entries | |
US12141189B1 (en) | Context-based dictionaries for multimedia audiobook systems including non-linguistic dictionary entries | |
Lee | PRESTIGE: MOBILIZING AN ORALLY ANNOTATED LANGUAGE DOCUMENTATION CORPUS | |
CN116680440A (zh) | 区段分割处理装置、方法以及存储介质 | |
TWM650984U (zh) | 簡報自動生成裝置 | |
JP2021067922A (ja) | 映像コンテンツに対する合成音のリアルタイム生成を基盤としたコンテンツ編集支援方法およびシステム | |
De Bortoli et al. | Localization of media-rich interactive ads |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2020555080 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19954054 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19954054 Country of ref document: EP Kind code of ref document: A1 |