WO2025253993A1 - 情報処理装置、情報処理方法、及び記録媒体 - Google Patents

情報処理装置、情報処理方法、及び記録媒体

Info

Publication number
WO2025253993A1
WO2025253993A1 PCT/JP2025/019256 JP2025019256W WO2025253993A1 WO 2025253993 A1 WO2025253993 A1 WO 2025253993A1 JP 2025019256 W JP2025019256 W JP 2025019256W WO 2025253993 A1 WO2025253993 A1 WO 2025253993A1
Authority
WO
WIPO (PCT)
Prior art keywords
instruction information
video
information
information processing
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/019256
Other languages
English (en)
French (fr)
Inventor
登 吉田
悠太 並木
諒 川合
直樹 進藤
エンピン 陳
宗曜 李
健全 劉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of WO2025253993A1 publication Critical patent/WO2025253993A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays

Definitions

  • This disclosure relates to an information processing device, an information processing method, and a program.
  • Patent Document 1 discloses technology for generating summary text from a presentation video using a summary model generated by machine learning.
  • Patent Document 1 discloses video editing technology that generates summary text from video.
  • the technology disclosed in Patent Document 1 can only generate one pattern of summary text from a single video. Since preferences vary from person to person, when generating content (highlight videos, thumbnail images, summary text, etc.) for multiple viewers, it is difficult to increase the satisfaction of multiple viewers by generating and providing only one pattern of content.
  • One example of the purpose of this disclosure is to provide new video editing techniques.
  • a moving image acquisition means for acquiring at least one moving image to be processed; a metadata generating means for generating metadata relating to the content of each of at least one portion of the moving image to be processed; an instruction information acquisition means for acquiring instruction information that specifies the content of a scene to be extracted; an editing means for identifying the portion of the video data whose content is related to the scene to be extracted, which is indicated by the instruction information, based on the metadata;
  • One or more computers Acquire at least one video to be processed; generating metadata relating to the content of each of at least one portion of the video to be processed; Obtain instruction information specifying the content of the scene to be extracted, An information processing method is provided for identifying the portion whose content is related to the scene to be extracted, indicated by the instruction information, based on the metadata.
  • a moving image acquisition means for acquiring at least one moving image to be processed; a metadata generating means for generating metadata relating to the content of each of at least one portion of the moving image to be processed; an instruction information acquisition means for acquiring instruction information that specifies the content of a scene to be extracted; an editing means for identifying the portion of the video data whose content is related to the scene to be extracted, which is indicated by the instruction information, based on the metadata;
  • a program is provided to function as a
  • a new video editing technique is provided.
  • FIG. 1 is a diagram illustrating an example of a functional block diagram of an information processing apparatus.
  • FIG. 2 is a flowchart showing an example of the flow of processing by the information processing device.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of an information processing apparatus.
  • FIG. 4 is a diagram illustrating another example of a functional block diagram of an information processing apparatus.
  • FIG. 5 is a diagram schematically illustrating an example of information processed by the information processing device.
  • FIG. 6 is a diagram schematically illustrating another example of information processed by the information processing device.
  • FIG. 7 is a diagram schematically illustrating an example of a timetable generated by the information processing device.
  • FIG. 8 is a flowchart showing another example of the flow of processing by the information processing device.
  • Fig. 1 is a functional block diagram showing an overview of an information processing device 10.
  • Fig. 2 is a flowchart showing an example of the flow of processing executed by the information processing device 10.
  • the information processing device 10 has a video acquisition unit 11, a metadata generation unit 12, an instruction information acquisition unit 13, and an editing unit 14. These functional units execute the processing of the flowchart in FIG. 2.
  • the moving image acquisition unit 11 acquires at least one moving image to be processed.
  • the metadata generating unit 12 generates metadata relating to the content of each of at least one portion of the moving image to be processed.
  • the instruction information acquisition unit 13 acquires instruction information that specifies the content of the scene to be extracted.
  • the editing unit 14 identifies, based on the metadata, a portion of at least one portion of the moving image to be processed that has content related to the "scene to be extracted" indicated by the instruction information.
  • the order of processing is not limited to the order shown in the flowchart in Figure 2 and can be changed as appropriate.
  • the instruction information may be acquired in S12 before the metadata is generated in S11.
  • the instruction information may be acquired in S12 before the video to be processed is acquired in S10, or these may be performed in parallel.
  • the information processing device 10 acquires "instruction information" that specifies the content of the scene to be extracted, in addition to the target video to be edited. Then, the information processing device 10 identifies a portion of the target video based on the acquired instruction information.
  • this information processing device 10 it is possible to identify portions of the video to be processed that correspond to the content of the instruction information. Even when the same video is being processed, by inputting instruction information with different content into the information processing device 10, it is possible to identify portions of different content from the video to be processed. In other words, by inputting instruction information with various content, it is possible to identify portions of various patterns from the video to be processed. Furthermore, by inputting multiple patterns of instruction information, it is possible to identify portions of multiple patterns from the video to be processed.
  • a portion of the video to be processed identified in this way can be used to generate various edited images (highlight videos, thumbnail images, etc.) or generate a timetable.
  • the information processing device 10 generates metadata related to the content of the video for at least a portion of the video to be processed. Then, the information processing device 10 identifies scenes to extract from the video to be processed based on the metadata and the instruction information. With this information processing device 10, scenes to be extracted indicated by the instruction information can be identified efficiently and with high accuracy.
  • the information processing device 10 provides new video editing techniques.
  • the information processing apparatus 10 of the second embodiment is a specific implementation of the configuration of the information processing apparatus 10 of the first embodiment, which will be described in detail below.
  • Each functional unit of the information processing device 10 is realized by any combination of hardware and software.
  • the software includes programs that are pre-loaded when the device is shipped, and programs downloaded from recording media such as CDs (Compact Discs) or servers on the Internet.
  • FIG. 3 is a block diagram illustrating an example of the hardware configuration of information processing device 10.
  • information processing device 10 has a processor 1A, memory 2A, input/output interface 3A, peripheral circuit 4A, and bus 5A.
  • Peripheral circuit 4A includes various modules.
  • Information processing device 10 does not necessarily have peripheral circuit 4A.
  • information processing device 10 may also be composed of multiple devices that are physically and/or logically separated. In this case, each of the multiple devices can have the above hardware configuration.
  • the bus 5A is a data transmission path for the processor 1A, memory 2A, peripheral circuit 4A, and input/output interface 3A to send and receive data among themselves.
  • the processor 1A is an arithmetic processing device such as a CPU (Central Processing Unit) or GPU (Graphics Processing Unit).
  • the memory 2A is memory such as RAM (Random Access Memory) or ROM (Read Only Memory).
  • the input/output interface 3A includes interfaces for acquiring information from input devices, external devices, external servers, external sensors, cameras, etc., and interfaces for outputting information to output devices, external devices, external servers, etc.
  • the input/output interface 3A also includes an interface for connecting to a communication network such as the Internet. Examples of input devices include a keyboard, mouse, microphone, physical buttons, and touch panel. Examples of output devices include a display, projection device, speaker, printer, and mailer.
  • the processor 1A can issue commands to each module and perform calculations based on the results of those calculations.
  • Fig. 1 is an example of a functional block diagram of the information processing device 10. As shown in the figure, the information processing device 10 has a video acquisition unit 11, a metadata generation unit 12, an instruction information acquisition unit 13, an editing unit 14, and an output unit 15.
  • the video acquisition unit 11 acquires at least one video to be processed.
  • the entire video recorded in one video file may be "one video.”
  • a continuous portion of a video recorded in one video file may be "one video.”
  • the video acquisition unit 11 can acquire the video to be processed by performing at least one of the following acquisition examples 1 and 2.
  • the user specifies or inputs at least one video.
  • the video acquisition unit 11 acquires the at least one video specified or input by the user as the video to be processed.
  • a user is a person or organization that uses the information processing device 10 to generate edited images from the video to be processed.
  • a variety of people or organizations can become users.
  • a user may be a content provider who generates content such as long videos or edited images and provides them to viewers.
  • a viewer who watches content provided by a content provider may be a user.
  • a viewer who watches videos that the viewer owns may be a user.
  • a user may be a business that generates edited images from videos generated by a content provider based on a request from the content provider. Note that the examples of users here are merely examples and are not limited to these.
  • the user may perform an input to designate at least one video file as the video to be processed from among the video files stored in a storage device accessible from the information processing device 10.
  • the video acquisition unit 11 may then acquire the at least one video file designated by this input as the video to be processed.
  • the user may perform an operation to send (e.g., upload) at least one video file stored in a specified storage device to the information processing device 10.
  • the video acquisition unit 11 may then acquire the at least one video file sent by this operation as the video to be processed.
  • the entire video recorded in each of the one or more video files designated or sent becomes the video to be processed.
  • the specified storage device may be provided within the information processing device 10, or may be provided in an external device accessible from the information processing device 10. The same assumptions regarding the specified storage device apply hereinafter.
  • the user may also perform an operation to specify a portion of a video recorded in a video file.
  • the video acquisition unit 11 may then acquire the portion of the video specified by this operation as the video to be processed.
  • the specification of a portion of a video recorded in a video file can be achieved using widely known technology.
  • the user may perform the above-mentioned operations via an input device of the information processing device 10.
  • the information processing device 10 may be a server.
  • the user may then perform the above-mentioned operations via a client terminal.
  • client terminals include, but are not limited to, smartphones, tablet terminals, personal computers, televisions, mobile phones, smartwatches, smart glasses, and game terminals.
  • the video acquisition unit 11 acquires at least one video selected according to a predetermined rule from videos stored in a predetermined storage device as a video to be processed.
  • the predetermined rule may define the videos to be selected based on the video's attribute information.
  • video attribute information include, but are not limited to, the shooting date and time, video length, shooting location, file name, video title, video tag, camera angle (high angle, low angle, horizontal angle, etc.).
  • predetermined rules include, but are not limited to, "select videos shot on the same day as videos to be processed” and "select videos shot between 9:00 and 12:00 on the same day as videos to be processed.”
  • the video acquisition unit 11 acquires at least one video as a video to be processed at a predetermined timing.
  • the predetermined timing may be a predetermined time within a day, such as X o'clock.
  • the video acquisition unit 11 may acquire at least one video as a video to be processed at other intervals, such as once a week or once a month.
  • the video acquisition unit 11 may acquire at least one video as a video to be processed at a timing when an instruction is input by the user.
  • the metadata generation unit 12 generates metadata related to the content of at least one portion of the video to be processed.
  • the metadata generation unit 12 can generate metadata related to the content of each of multiple portions of the video to be processed.
  • a part of the video to be processed may be referred to as a "portion of the video to be processed.”
  • the lengths of the multiple portions of the video to be processed may be the same or different.
  • the video to be processed may also be divided so that the entire video is included in one of the portions of the video to be processed. Alternatively, any portion of the video to be processed may not be included in any of the portions of the video to be processed.
  • the video may also be divided so that there are overlapping portions that are included in multiple portions of the video to be processed, or so that there are no overlapping portions that are included in multiple portions of the video to be processed.
  • the metadata generation unit 12 divides the video to be processed into multiple video to be processed portions, each containing a predetermined number of frames (e.g., every 1 frame, every 10 frames), in accordance with a predetermined rule.
  • the metadata generation unit 12 divides the target video into multiple portions (segments) of the target video using a technique for analyzing video and dividing it into multiple segments.
  • a technique for analyzing video and dividing it into multiple segments is a technique for dividing the video into multiple scenes (segments).
  • the metadata generation unit 12 uses this technique to detect scene changes in the target video. The metadata generation unit 12 then determines one scene from a scene change to the next scene change as one portion of the target video.
  • the use of a technique for dividing video into multiple scenes is merely an example, and the metadata generation unit 12 may use other techniques to divide the target video into multiple portions (segments) of the target video. In this example, the lengths of the multiple portions of the target video may differ from one another.
  • the metadata generation unit 12 After dividing the video to be processed into multiple parts, the metadata generation unit 12 generates information indicating the display timing within the video file of each of the multiple video parts to be processed, based on the elapsed time from the beginning of the video file, and can store this information in a specified storage device.
  • the metadata for each of the multiple video segments to be processed relates to the content of that video segment.
  • Metadata includes, for example, at least one of the following: characters, objects that appear, camera angle (high angle, low angle, horizontal angle, etc.), filming technique (close-up, wide-angle), and description. Note that metadata may also include other information.
  • the metadata generation unit 12 generates the above-mentioned metadata by analyzing the video of each of the multiple video portions to be processed. For example, the metadata generation unit 12 can identify characters using facial recognition technology, etc. The metadata generation unit 12 can identify characters in each of the multiple video portions to be processed using the appearance features of each of the multiple people registered in advance.
  • the metadata generation unit 12 can also identify objects that appear using object detection technology, classifiers, etc.
  • Objects include, but are not limited to, cars, bicycles, balls, microphones, goals, back screens, spectator seats, dogs, cats, etc.
  • the metadata generation unit 12 can identify objects that appear in each of multiple portions of the video to be processed using object detection models, classifiers, etc. that have been generated in advance using machine learning.
  • the metadata generation unit 12 can also identify the camera angle (high angle, low angle, horizontal angle, etc.) and shooting technique (close-up, wide-angle) for each of multiple video segments to be processed, for example, using an estimation model generated in advance using machine learning.
  • the metadata generation unit 12 can generate descriptions indicating the content of each of multiple portions of the video to be processed using a large-scale visual language model that combines a large-scale language model and image recognition AI (Artificial Intelligence).
  • the descriptions may be written in natural language.
  • FIG. 5 shows a schematic example of metadata generated by the metadata generation unit 12.
  • the items partial identification information, range, person, and description are linked to each other.
  • the item of part identification information indicates information for identifying a plurality of moving image parts to be processed from each other.
  • the "range" field indicates information that identifies each of multiple video segments to be processed.
  • the information in parentheses in the figure is the identification information for the video file.
  • the range within the video file of the video segment to be processed is identified by the elapsed time from the beginning of the video file.
  • the person item indicates the person who appears in each part of the moving image to be processed.
  • the description item indicates a description of the content of each part of the moving image to be processed.
  • the instruction information acquisition unit 13 acquires instruction information that specifies the content of the scene to be extracted.
  • the instruction information acquisition unit 13 can acquire instruction information corresponding to the processing target video acquired by the video acquisition unit 11.
  • the instruction information acquisition unit 13 may acquire one piece of instruction information corresponding to the processing target video acquired by the video acquisition unit 11, or may acquire multiple pieces of instruction information.
  • the user determines the content of the instruction information and inputs the determined instruction information to the information processing device 10.
  • the user may input one piece of instruction information to the information processing device 10, or may input multiple pieces of instruction information to the information processing device 10.
  • the user may perform the operation of inputting at least one piece of instruction information via an input device of the information processing device 10.
  • the information processing device 10 may be a server.
  • the user may then perform the above-mentioned operation via a client terminal.
  • At least one piece of instruction information is stored in advance in a predetermined storage device.
  • the instruction information acquisition unit 13 acquires at least one piece of instruction information stored in the predetermined storage device.
  • the user can register at least one piece of instruction information in advance in the predetermined storage device. This at least one piece of instruction information registered in advance is used repeatedly and generally in editing multiple videos to be processed.
  • the instruction information may be written in natural language. Examples of such instruction information include, but are not limited to, "highlight scenes of Tokyo Taro" and "highlight scenes of the game.”
  • the instruction information may also include images.
  • the instruction information may be composed of natural language and images.
  • natural language to be included in the instruction information in this example is "highlight scenes of the players shown in the input image.”
  • Other examples of natural language to be included in the instruction information in this example are "scenes shot from the same camera angle as the input image,” “scenes with a background similar to that of the input image,” etc. Note that the examples here are merely examples and are not limited to these.
  • the editing unit 14 identifies, from at least one portion of the video to be processed, a portion of the video to be processed whose content is related to the "scene to be extracted" indicated in the instruction information acquired by the instruction information acquisition unit 13, based on the metadata generated by the metadata generation unit 12. If the instruction information acquisition unit 13 acquires multiple pieces of instruction information, the editing unit 14 can perform processing to identify the portion of the video to be processed using each of the multiple pieces of instruction information.
  • the editing unit 14 may identify the content of the scene to be extracted by processing the instruction information written in natural language using a large-scale language model. By performing this processing, the scene to be extracted can be specified from the instruction content indicated in the instruction information.
  • the editorial department 14 may input a pre-prepared prompt such as "Please provide five specific examples of the scenes to be extracted that are specified in this instruction information" into the large-scale language model, along with instruction information written in natural language.
  • a pre-prepared prompt such as "Please provide five specific examples of the scenes to be extracted that are specified in this instruction information" into the large-scale language model, along with instruction information written in natural language.
  • specific examples of scenes to be extracted will include “scoring scenes,” “blocking scenes,” and “competitive scenes.”
  • scenes to be extracted will be determined such as “Tokyo Taro scoring scenes,” “scenes featuring Team A's mascot character,” “high-angle scenes,” “close-up scenes,” etc.
  • the editing unit 14 compares the content of the scene to be extracted thus identified with the content of each of at least one portion of the video to be processed indicated by the metadata, and identifies the portion of the video to be processed whose content is related to the scene to be extracted.
  • the editing unit 14 can identify a portion of the video to be processed that is described as a scoring scene in the metadata description.
  • the editing unit 14 may also identify a portion of the video to be processed that includes "scoring scene” or a similar word in the metadata description. Similar words can be identified using a thesaurus stored in advance in a specified storage device.
  • the editing unit 14 can refer to the metadata and identify a portion of the video to be processed in which that person is included among the characters.
  • the editing unit 14 can refer to the metadata and identify the portion of the video to be processed that includes that object among the objects that appear.
  • a specific object e.g., Team A's mascot character
  • the editing unit 14 can refer to the metadata and identify the portion of the video to be processed that is linked to the specified camera angle.
  • the editing unit 14 can refer to the metadata and identify the portion of the video to be processed that is linked to the specified shooting technique.
  • the editing unit 14 can also combine multiple of the above-mentioned identification methods to identify a portion of the video to be processed. For example, if the identified scene to be extracted is "Tokyo Taro scoring a goal scene," the editing unit 14 can identify a portion of the video to be processed that is described as a scoring scene in the metadata description and includes Tokyo Taro as a character.
  • the editing unit 14 can perform at least one of the following two processes:
  • An edited image is a highlight image or thumbnail image created by shortening the target video.
  • the editing unit 14 can generate a highlight image by connecting identified portions of multiple target videos in chronological order within the target video.
  • the editing unit 14 may use widely known highlight image generation technology to extract further portions from among the multiple identified portions of the video to be processed, and then connect the extracted portions in chronological order within the video to be processed to generate a highlight image.
  • the editing unit 14 can also identify at least one frame image from among the identified portions of the video to be processed as a thumbnail image. There are various means for identifying at least one frame image from among the identified portions of the video to be processed as a thumbnail image.
  • the editing unit 14 can perform this identification in accordance with predetermined rules.
  • An example of a rule is, but is not limited to, "a person's face is shown at a size equal to or larger than a threshold.”
  • the editing unit 14 may use a large-scale visual language model to generate at least one of the description, title, and caption of the generated edited image. For example, the editing unit 14 can achieve this generation by inputting a prepared prompt, such as "Please decide on a title for this image," into the large-scale visual language model along with the generated edited image.
  • a prepared prompt such as "Please decide on a title for this image”
  • the timetable indicates the display timing of the identified portions of the video to be processed within the video to be processed.
  • the display timing of each portion of the video to be processed is indicated by the elapsed time from the beginning of the video file. Note that if the video to be processed is made up of multiple video files, the timetable can indicate the display timing of each portion of the video to be processed for each video file by the elapsed time from the beginning of each video file.
  • the metadata generation unit 12 divides the video to be processed into multiple video to be processed portions.
  • the metadata generation unit 12 can then generate information indicating the display timing within the video file of each of the multiple video to be processed portions, based on the elapsed time from the beginning of the video file.
  • the editing unit 14 can use this information to generate the timetable described above.
  • the editing unit 14 may use a large-scale visual language model to generate at least one of the description, title, and caption for each identified portion of the video to be processed.
  • the editing unit 14 can achieve this generation by inputting a pre-prepared prompt, such as "Please decide on a title for this video," into the large-scale visual language model along with each identified portion of the video to be processed.
  • the editing unit 14 may assign at least one of a description, a title, and a caption to each of the identified portions of the video to be processed in the timetable, as shown in FIG. 7.
  • the editing unit 14 can use each piece of instruction information to execute a process of identifying a portion of the video to be processed from the video to be processed. That is, the editing unit 14 can execute a process of identifying a portion of the video to be processed from the video to be processed for each piece of instruction information. The editing unit 14 can then generate an edited image or a timetable for each piece of instruction information. If multiple pieces of instruction information are acquired corresponding to one video to be processed, the editing unit 14 can generate multiple edited images or multiple timetables corresponding to that one video to be processed.
  • the output unit 15 outputs at least one of the edited image and the timetable generated by the editing unit 14. If the instruction information acquisition unit 13 acquires multiple pieces of instruction information, the output unit 15 outputs at least one of the edited image and the timetable generated by the editing unit 14 for each piece of instruction information.
  • the output unit 15 can output at least one of the description, title, and caption of the edited image generated by the editing unit 14 together with the edited image. Furthermore, the output unit 15 can output a timetable (see Figure 7) that includes at least one of the description, title, and caption of the portion of the video to be processed whose display timing is indicated in the timetable generated by the editing unit 14.
  • the output unit 15 can output at least one of an edited image and a timetable via an output device included in the information processing device 10.
  • the output unit 15 can also transmit at least one of an edited image and a timetable to another device.
  • the output unit 15 can also store at least one of an edited image and a timetable in a specified storage device.
  • the information processing device 10 accepts input of instruction information via an input device provided in the information processing device 10.
  • the information processing device 10 then generates at least one of an edited image and a timetable based on the input instruction information.
  • the output unit 15 can output at least one of an edited image and a timetable via the output device provided in the information processing device 10.
  • the information processing device 10 is a server.
  • the information processing device 10 generates at least one of an edited image and a timetable based on instruction information transmitted from a client terminal.
  • the output unit 15 can transmit at least one of an edited image and a timetable to the client terminal.
  • the information processing device 10 acquires instruction information that has been stored in advance in a specified storage device. Then, the information processing device 10 generates at least one of an edited image and a timetable based on the acquired instruction information. In this case, the output unit 15 outputs at least one of the edited image and the timetable to the specified storage device, and stores at least one of the edited image and the timetable in the specified storage device.
  • the information processing device 10 acquires at least one video to be processed (S20).
  • the information processing device 10 generates metadata regarding the content of each portion of at least one of the target videos (S21).
  • the information processing device 10 acquires instruction information specifying the content of the scene to be extracted (S22).
  • the information processing device 10 based on the metadata generated in S21, the information processing device 10 identifies a portion whose content is related to the scene to be extracted, as indicated by the instruction information acquired in S22 (S23).
  • the information processing device 10 generates and outputs at least one of an edited image and a timetable based on the identification result of S23 (S24).
  • the order of processing is not limited to the order shown in the flowchart in Figure 8 and can be changed as appropriate.
  • the instruction information may be acquired in S22 before the metadata is generated in S21.
  • the instruction information may be acquired in S22 before the video to be processed is acquired in S20, or these may be performed in parallel.
  • the user of the information processing device 10 is a content provider who generates content such as long videos or edited images and provides it to viewers.
  • the content provider provides the generated content to viewers using, for example, a video distribution platform.
  • the content provider provides the generated content to viewers via a communication network such as the Internet.
  • the content provider may also provide the generated content to viewers by mailing a recording medium on which the content is recorded, or by other means, such as providing the content via television broadcast.
  • the content provider inputs the generated long video into the information processing device 10 as a video to be processed, and generates edited images, timetables, etc. from the long video.
  • the content provider can input multiple pieces of instruction information corresponding to the long video into the information processing device 10, and generate multiple edited images, multiple timetables, etc. from the long video.
  • the content provider can register at least one (e.g., multiple) pieces of instruction information in advance in a specified storage device. Based on the input long video and at least one (e.g., multiple) pieces of instruction information that have been registered in advance, the information processing device 10 can generate at least one edited image and at least one (e.g., multiple) timetables, etc. from the long video.
  • the content provider provides the generated edited images and timetables to viewers.
  • the content provider provides the generated edited images and timetables to viewers by linking them to long videos.
  • the content provider provides the generated edited images and timetables to viewers using a method similar to the content provision method described above. For example, the content provider provides the generated edited images and timetables to viewers using a video distribution platform.
  • the content provider may request the generation of edited images or timetables from a business that generates edited images or timetables from videos.
  • the business may then use the information processing device 10 to generate the edited images or timetables.
  • the user of the information processing device 10 is a viewer who watches content provided by a content provider via streaming distribution.
  • the content provider uses, for example, a video distribution platform that distributes videos via streaming distribution to provide the generated content to the viewer. The viewer then searches for the desired video on the video distribution platform and watches the searched video.
  • this video distribution platform has the functions of an information processing device 10.
  • the video distribution platform provides a UI (User Interface) screen for viewing videos to the viewer's terminal via a communications network.
  • the UI screen is provided using a web browser or a dedicated application.
  • client terminals include, but are not limited to, smartphones, tablet terminals, personal computers, televisions, mobile phones, smartwatches, smart glasses, and game terminals.
  • the viewer searches for the desired video by performing a specific operation on the UI screen. Then, the viewer performs an operation on the UI screen to generate an edited image or timetable of the searched video. The viewer inputs at least one piece of instruction information along with the instruction input for generating the edited image or timetable.
  • the video distribution platform generates at least one edited image and at least one timetable from the searched video based on the searched video and at least one input instruction information.
  • the video distribution platform then transmits the generated at least one edited image and at least one timetable to the viewer's terminal.
  • the user of the information processing device 10 is a viewer who watches videos that the user owns on their own terminal device.
  • the videos may be videos that the viewer has generated/shot themselves, or videos that they have obtained by downloading or other means.
  • terminal devices include, but are not limited to, smartphones, tablet devices, personal computers, televisions, mobile phones, smartwatches, smart glasses, and game consoles.
  • the viewer inputs a specific video they own and at least one piece of instruction information into their terminal device, and generates edited images, timetables, etc. from the video.
  • the information processing device 10 In addition to the target video to be edited, the information processing device 10 also acquires "instruction information" that specifies the content of the scene to be extracted. The information processing device 10 then identifies a portion of the target video based on the acquired instruction information. The information processing device 10 can then generate an edited image or a timetable based on the identified portion.
  • edited images and timetables can be generated according to the content of the instruction information. Even when the same video is being processed, different instruction information can be input into the information processing device 10 to generate edited images and timetables with different content. In other words, by inputting instruction information with various content, edited images and timetables with various content can be generated. Furthermore, by inputting multiple patterns of instruction information, multiple patterns of edited images and timetables can be generated.
  • a viewer of a video can create a desired edited image by inputting desired instruction information into the information processing device 10. In this way, by generating and providing edited images customized for each viewer, it is possible to increase the satisfaction of multiple viewers with different tastes.
  • a content provider who provides content to viewers can easily generate multiple patterns of edited images and timetables by simply inputting multiple patterns of instruction information into the information processing device 10.
  • the information processing device 10 can output at least one of the description, title, and caption of the generated edited image together with the edited image. Furthermore, the information processing device 10 can output a timetable including at least one of the description, title, and caption of the portion of the video to be processed whose display timing is indicated in the generated timetable. Based on the description, title, caption, etc., the viewer can understand the content of the edited image and the content of the portion of the video to be processed indicated in the timetable.
  • the information processing device 10 can acquire instruction information written in natural language and process it using a large-scale language model to identify the content of the scene to be extracted. Because instruction information can be input in natural language, users can easily input instruction information.
  • the information processing apparatus 10 of the third embodiment generates feedback information for a plurality of edited images generated based on a plurality of pieces of instruction information, as will be described in detail below.
  • the instruction information acquisition unit 13 acquires multiple pieces of instruction information for the video to be processed.
  • the editing unit 14 then generates multiple edited images from the video to be processed based on each of the multiple pieces of instruction information.
  • a content provider who generates content such as long videos and edited images and provides them to viewers uses the information processing device 10 to generate multiple edited images.
  • the content provider then uses a video distribution platform to provide the multiple edited images they have generated to viewers.
  • the editing unit 14 generates feedback information for each of the multiple edited images.
  • the editing unit 14 generates feedback information for each of the multiple edited images based on at least one of the viewing history of each of the multiple edited images and viewer input information.
  • the video distribution platform records the viewing history of each video it distributes.
  • the video distribution platform also accepts and registers user input of ratings for each of the videos it distributes.
  • the editing unit 14 can obtain at least one of the viewing history of each of the multiple edited images and viewer input information from the video distribution platform.
  • the viewing history includes the number of times each video has been viewed, the attributes of the viewers who watched each video (gender, age group, residential area, occupation, nationality, etc.), and their statistical values.
  • the statistical values of viewer attributes indicate, for example, the percentage of viewers with each attribute among all viewers who watched each video (e.g., the percentage of men, etc.).
  • the viewing history may also indicate the number of views by viewers with each attribute.
  • the viewer input information includes statistical values (e.g., average, maximum, minimum, mode, median, etc.) of the rating values (e.g., 5-point scale) of each video entered by each viewer, the number of "GOOD” ratings for each video, the number of "BAD” ratings for each video, etc.
  • statistical values e.g., average, maximum, minimum, mode, median, etc.
  • the editing unit 14 generates feedback information based on such viewing history and viewer input information.
  • the feedback information indicates at least one of the number of views for each of the multiple edited images, statistical values of viewer attributes, and ratings from viewers.
  • the number of views for each of the multiple edited images and statistical values for viewer attributes are shown in the viewing history above.
  • the viewer ratings may be, for example, a statistical value of the rating values for each video entered by each viewer indicated in the viewer input information, the number of "GOOD” ratings for each video, or the number of "BAD” ratings for each video.
  • the viewer ratings may also be calculated as a rating value calculated using a predetermined formula based on these values. For example, the calculated rating value may be the number of "GOOD” ratings for each video minus the number of "BAD” ratings for each video.
  • the editing unit 14 can extract low-rated edited images from among the multiple edited images based on the feedback information. The editing unit 14 can then notify the user of the instruction information used to generate the extracted low-rated edited images.
  • the editing unit 14 can extract low-rated edited images by relative rating of multiple edited images generated from the same video to be processed. For example, the editing unit 14 may rank multiple edited images generated from the same video to be processed based on the feedback information, and extract a predetermined number of edited images from the lowest ranked ones as low-rated edited images. Examples of rankings include, but are not limited to, ranking by most views, most views by viewers with a predetermined attribute, highest viewer rating value, most "GOOD" ratings, fewest "BAD” ratings, and highest calculated rating value. Alternatively, the editing unit 14 may calculate the standard deviation of these values for each edited image, and extract edited images with a standard deviation below a threshold as low-rated edited images.
  • the editing unit 14 may extract low-rated edited images based on absolute evaluation.
  • the editing unit 14 may extract, as low-rated edited images, edited images whose number of views, number of views by viewers with specified attributes, viewer evaluation value, number of "GOOD” evaluations, number of "BAD” evaluations, or the calculated evaluation value satisfies specified conditions.
  • the editing unit 14 can notify the user of the instruction information used to generate the extracted low-rated edited images.
  • the editing unit 14 may generate a list of low-rated instruction information and present it to the user, or may notify the user using other methods.
  • the user can understand the instruction information that will result in the generation of a low-rated edited image.
  • the user can then reflect this content in the generation of future edited images. For example, as described in the second embodiment, if at least one piece of instruction information is registered in advance in a specified storage device and is used repeatedly and generally in the editing of multiple videos to be processed, the user can update the instruction information registered in the specified storage device. Specifically, the user can delete or change the content of the instruction information that will result in the generation of a low-rated edited image.
  • the other configurations of the information processing device 10 of the third embodiment are the same as those of the information processing device 10 of the first and second embodiments.
  • the information processing device 10 of the third embodiment achieves the same effects as the information processing device 10 of the first and second embodiments.
  • the information processing device 10 when the information processing device 10 generates multiple edited images from the video to be processed based on each of multiple pieces of instruction information, it can generate feedback information for each of the multiple edited images. Then, based on the generated feedback information, the information processing device 10 can extract low-rated edited images from the multiple edited images and notify the user of the instruction information used to generate the extracted low-rated edited images.
  • the user can understand what instruction information has been used to generate edited images that viewers like, and what instruction information has been used to generate edited images that viewers do not like. Based on this understanding, the user can then optimize the instruction information used to generate future edited images. As a result, the user can efficiently generate edited images that viewers tend to like.
  • Scenes that can be extracted from the video to be processed are those that are included in the video to be processed. Even if instruction information specifying a scene that is not included in the video to be processed as a scene to be extracted is input to the information processing device 10, the specified scene cannot be extracted.
  • the user does not know which scenes are included in the video to be processed, there may be an inconvenience in that the user inputs instruction information into the information processing device 10 specifying a scene not included in the video to be processed as a scene to be extracted.
  • the instruction information acquisition unit 13 therefore generates and outputs information about scenes that can be specified as scenes to be extracted based on the metadata.
  • the instruction information acquisition unit 13 can present information about scenes that can be specified as scenes to be extracted to the user.
  • the instruction information acquisition unit 13 may display information about scenes that can be specified as scenes to be extracted on a UI screen that accepts input of instruction information.
  • information about scenes that can be specified as scenes to be extracted may be called up on the screen by operating a UI component on the UI screen that accepts input of instruction information.
  • the information relating to scenes that can be designated as scenes to be extracted may be the metadata itself. Details of the metadata are as explained in the second embodiment.
  • the instruction information acquisition unit 13 may format the metadata (rearrange the data, etc.) according to predetermined rules. The instruction information acquisition unit 13 may then treat the formatted data as information relating to scenes that can be designated as scenes to be extracted.
  • This modified example achieves the same effects as the first to third embodiments. Furthermore, this modified example allows the user to grasp the scenes that can be designated as scenes to be extracted when inputting instruction information. As a result, it is possible to prevent the inconvenience of inputting instruction information to the information processing device 10 that designates a scene that is not included in the video to be processed as a scene to be extracted.
  • a moving image acquisition means for acquiring at least one moving image to be processed; a metadata generating means for generating metadata relating to the content of each of at least one portion of the moving image to be processed; an instruction information acquisition means for acquiring instruction information that specifies the content of a scene to be extracted; an editing means for identifying the portion of the video data whose content is related to the scene to be extracted, which is indicated by the instruction information, based on the metadata; An information processing device having the above. 2.
  • the editing means generating an edited image of the target moving image based on the identified portion; and generating a time table indicating the display timing of the identified portion within the processing target moving image; 2.
  • the information processing device which executes at least one of the above.
  • the editing means generating at least one of a description, a title, and a caption for the edited image; and generating at least one of an explanation, a title, and a caption of the part whose display timing is indicated in the timetable; 3.
  • the information processing device 2, which executes at least one of the above.
  • the instruction information acquisition means obtaining the instruction information in natural language;
  • the editing means 4.
  • the information processing device according to any one of 1 to 3, wherein the content of the scene to be extracted is identified by processing the instruction information written in natural language using a large-scale language model. 5.
  • the instruction information acquisition means acquiring a plurality of pieces of instruction information for the processing target moving image;
  • the editing means generating a plurality of edited images from the processing target moving image based on each of the plurality of pieces of instruction information; 5.
  • the information processing device according to any one of 1 to 4, wherein feedback information for each of the plurality of edited images is generated based on at least one of a viewing history of each of the plurality of edited images and input information from a viewer. 6.
  • the editing means 6.
  • the information processing device wherein the edited image with the lowest rating is extracted from among the plurality of edited images based on the feedback information, and the instruction information used to generate the extracted edited image with the lowest rating is notified to the user.
  • the instruction information acquisition means 8.
  • the information processing device according to any one of 1 to 7, wherein information relating to a scene that can be designated as a scene to be extracted is generated based on the metadata and output.
  • One or more computers Acquire at least one video to be processed; generating metadata relating to the content of each of at least one portion of the video to be processed; Obtain instruction information specifying the content of the scene to be extracted, An information processing method for identifying the portion whose content is related to the scene to be extracted indicated by the instruction information, based on the metadata. 10.
  • a moving image acquisition means for acquiring at least one moving image to be processed; a metadata generating means for generating metadata relating to the content of each of at least one portion of the moving image to be processed; an instruction information acquisition means for acquiring instruction information that specifies the content of a scene to be extracted; an editing means for identifying the portion of the video data whose content is related to the scene to be extracted, which is indicated by the instruction information, based on the metadata;
  • a program that functions as a

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

この開示の情報処理装置は、動画取得部と、メタデータ生成部と、指示情報取得部と、編集部とを有する。動画取得部は、少なくとも１つの動画である処理対象動画を取得する。メタデータ生成部は、処理対象動画の中の少なくとも１つの一部分各々の内容に関するメタデータを生成する。指示情報取得部は、抽出するシーンの内容を指定した指示情報を取得する。編集部は、メタデータに基づき、指示情報で示される抽出するシーンに内容が関係する処理対象動画の一部分を特定する。

Description

情報処理装置、情報処理方法、及び記録媒体
　この開示は、情報処理装置、情報処理方法、及びプログラムに関する。
　この開示に関連する技術が特許文献１に開示されている。特許文献１は、機械学習で生成された要約モデルを用いて、プレゼンテーション動画から要約テキストを生成する技術を開示している。
国際公開第２０２３／１６６７４６号公報
　動画からハイライト動画やサムネイル画像等（以下、まとめて「編集画像」という場合がある）を生成したり、動画のタイムテーブルを生成したりする動画編集技術が求められている。
　特許文献１は、動画から要約テキストを生成する動画編集技術を開示している。しかし、特許文献１に開示の技術の場合、１つの動画から１パターンの要約テキストしか生成できない。好みは人それぞれであるため、例えば複数の視聴者に向けたコンテンツ（ハイライト動画、サムネイル画像、要約テキスト等）を生成する場面においては、１パターンのコンテンツのみを生成して提供するのでは複数の視聴者の満足度を高めることは難しい。
　この開示の目的の一例は、新たな動画編集技術を提供することにある。
　この開示の一側面によれば、
　少なくとも１つの動画である処理対象動画を取得する動画取得手段と、
　前記処理対象動画の中の少なくとも１つの一部分各々の内容に関するメタデータを生成するメタデータ生成手段と、
　抽出するシーンの内容を指定した指示情報を取得する指示情報取得手段と、
　前記メタデータに基づき、前記指示情報で示される抽出するシーンに内容が関係する前記一部分を特定する編集手段と、
を有する情報処理装置が提供される。
　また、この開示の一側面によれば、
　１つ以上のコンピュータが、
　　少なくとも１つの動画である処理対象動画を取得し、
　　前記処理対象動画の中の少なくとも１つの一部分各々の内容に関するメタデータを生成し、
　　抽出するシーンの内容を指定した指示情報を取得し、
　　前記メタデータに基づき、前記指示情報で示される抽出するシーンに内容が関係する前記一部分を特定する情報処理方法が提供される。
　また、この開示の一側面によれば、
　コンピュータを、
　　少なくとも１つの動画である処理対象動画を取得する動画取得手段、
　　前記処理対象動画の中の少なくとも１つの一部分各々の内容に関するメタデータを生成するメタデータ生成手段、
　　抽出するシーンの内容を指定した指示情報を取得する指示情報取得手段、
　　前記メタデータに基づき、前記指示情報で示される抽出するシーンに内容が関係する前記一部分を特定する編集手段、
として機能させるプログラムが提供される。
　この開示の一例によれば、新たな動画編集技術が提供される。
図１は、情報処理装置の機能ブロック図の一例を示す図である。 図２は、情報処理装置の処理の流れの一例を示すフローチャートである。 図３は、情報処理装置のハードウエア構成の一例を示す図である。 図４は、情報処理装置の機能ブロック図の他の一例を示す図である。 図５は、情報処理装置が処理する情報の一例を模式的に示す図である。 図６は、情報処理装置が処理する情報の他の一例を模式的に示す図である。 図７は、情報処理装置が生成するタイムテーブルの一例を模式的に示す図である。 図８は、情報処理装置の処理の流れの他の一例を示すフローチャートである。
　以下、この開示の実施形態について、図面を用いて説明する。この開示において図面は、１以上の実施形態に関連付けられる。また、全ての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
＜＜第１の実施形態＞＞
　図１は、情報処理装置１０の概要を示す機能ブロック図である。図２は、情報処理装置１０が実行する処理の流れの一例を示すフローチャートである。
　図１に示すように、情報処理装置１０は、動画取得部１１と、メタデータ生成部１２と、指示情報取得部１３と、編集部１４を有する。これらの機能部により、図２のフローチャートの処理が実行される。
　Ｓ１０では、動画取得部１１は、少なくとも１つの動画である処理対象動画を取得する。
　Ｓ１１では、メタデータ生成部１２は、処理対象動画の中の少なくとも１つの一部分各々の内容に関するメタデータを生成する。
　Ｓ１２では、指示情報取得部１３は、抽出するシーンの内容を指定した指示情報を取得する。
　Ｓ１３では、編集部１４は、上記メタデータに基づき、処理対象動画の中の少なくとも１つの一部分の中から、上記指示情報で示される「抽出するシーン」に内容が関係する一部分を特定する。
　なお、処理の順は図２のフローチャートで示す順に限定されず、適宜変更可能である。例えば、Ｓ１１のメタデータ生成の前に、Ｓ１２の指示情報の取得を行ってもよい。また、Ｓ１０の処理対象動画の取得の前にＳ１２の指示情報の取得を行ってもよいし、これらを並行して行ってもよい。
　このように、情報処理装置１０は、編集の対象である処理対象動画に加えて、抽出するシーンの内容を指定した「指示情報」を取得する。そして、情報処理装置１０は、取得した指示情報に基づき、処理対象動画の中の一部分を特定する。
　このような情報処理装置１０によれば、指示情報の内容に応じた一部分を処理対象動画の中から特定することができる。同じ動画を処理対象動画とする場合であっても、異なる内容の指示情報を情報処理装置１０に入力することで、異なる内容の一部分を処理対象動画の中から特定することができる。すなわち、様々な内容の指示情報を入力することで、処理対象動画の中から様々なパターンの一部分を特定することができる。また、複数パターンの指示情報を入力することで、処理対象動画の中から複数のパターンの一部分を特定することができる。
　このようにして特定された処理対象動画の中の一部分を用いて、各種編集画像（ハイライト動画、サムネイル画像等）を生成したり、タイムテーブルを生成したりできる。
　また、情報処理装置１０は、処理対象動画の中の少なくとも一部分毎に、動画の内容に関するメタデータを生成する。そして、情報処理装置１０は、当該メタデータと上記指示情報に基づき、処理対象動画の中から抽出するシーンを特定する。このような情報処理装置１０によれば、指示情報で示される抽出するシーンを効率的、かつ高精度に特定することができる。
　このように、情報処理装置１０によれば、新たな動画編集技術が提供される。
＜＜第２の実施形態＞＞
＜概要＞
　第２の実施形態の情報処理装置１０は、第１の実施形態の情報処理装置１０の構成を具体化したものである。以下、詳細に説明する。
＜ハードウエア構成＞
　まず、情報処理装置１０のハードウエア構成の一例を説明する。情報処理装置１０の各機能部は、ハードウエアとソフトウエアの任意の組合せによって実現される。その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。ソフトウエアは、予め装置を出荷する段階から格納されているプログラムや、ＣＤ（Compact Disc）等の記録媒体やインターネット上のサーバ等からダウンロードされたプログラム等を含む。
　図３は、情報処理装置１０のハードウエア構成を例示するブロック図である。図３に示すように、情報処理装置１０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェース３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。情報処理装置１０は周辺回路４Ａを有さなくてもよい。なお、情報処理装置１０は物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が上記ハードウエア構成を備えることができる。
　バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェース３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリである。入出力インターフェース３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェースや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェース等を含む。また、入出力インターフェース３Ａはインターネット等の通信ネットワークに接続するためのインターフェースを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、投影装置、スピーカ、プリンタ、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
＜機能構成＞
　次に、情報処理装置１０の機能構成を詳細に説明する。図１は、情報処理装置１０の機能ブロック図の一例である。図示するように、情報処理装置１０は、動画取得部１１と、メタデータ生成部１２と、指示情報取得部１３と、編集部１４と、出力部１５とを有する。
　動画取得部１１は、少なくとも１つの動画である処理対象動画を取得する。
　１つの動画ファイルに記録された動画の全体が、「１つの動画」であってもよい。その他、１つの動画ファイルに記録された動画の中の連続した一部分が、「１つの動画」であってもよい。
　動画取得部１１は、以下の取得例１及び２の少なくとも一方の処理により、処理対象動画を取得することができる。
　取得例１では、ユーザが、少なくとも１つの動画を指定又は入力する。動画取得部１１は、ユーザが指定又は入力した少なくとも１つの動画を処理対象動画として取得する。
　ユーザは、情報処理装置１０を利用して処理対象動画から編集画像を生成する人物又は団体である。様々な人物又は団体がユーザになり得る。
　例えば、長尺の動画や編集画像等のコンテンツを生成し、視聴者に提供するコンテンツ提供者が、ユーザであってもよい。その他、コンテンツ提供者から提供されたコンテンツを視聴する視聴者が、ユーザであってもよい。その他、自身が所有する動画を視聴する視聴者が、ユーザであってもよい。その他、コンテンツ提供者からの依頼に基づきコンテンツ提供者が生成した動画から編集画像を生成する事業者が、ユーザであってもよい。なお、ここでのユーザの例はあくまで一例であり、これらに限定されない。
　ユーザは、情報処理装置１０からアクセス可能な記憶装置に記憶されている動画ファイルの中から、少なくとも１つの動画ファイルを処理対象動画として指定する入力を行ってもよい。そして、動画取得部１１は、当該入力で指定された少なくとも１つの動画ファイルを処理対象動画として取得してもよい。その他、ユーザは、所定の記憶装置に記憶されている少なくとも１つの動画ファイルを、情報処理装置１０に送信（例：アップロード等）する操作を行ってもよい。そして、動画取得部１１は、当該操作で送信された少なくとも１つの動画ファイルを処理対象動画として取得してもよい。これらの例の場合、指定又は送信された１つ又は複数の動画ファイル各々に記録された動画の全体が、処理対象動画となる。所定の記憶装置は情報処理装置１０内に設けられてもよいし、情報処理装置１０からアクセス可能な外部装置内に設けられてもよい。所定の記憶装置に関する当該前提は、以下同様である。
　その他、ユーザは、上述した動画ファイルを指定したり送信したりする操作に加えて、動画ファイルに記録された動画の中の一部分を指定する操作を行ってもよい。そして、動画取得部１１は、当該操作で指定された一部分の動画を、処理対象動画として取得してもよい。動画ファイルに記録された動画の中の一部分の指定は、広く知られた技術を利用して実現できる。
　ユーザは、上述のような操作を、情報処理装置１０の入力装置を介して行ってもよい。その他、情報処理装置１０はサーバであってもよい。そして、ユーザは、クライアント端末を介して上述のような操作を行ってもよい。クライアント端末は、スマートフォン、タブレット端末、パーソナルコンピュータ、テレビ、携帯電話、スマートウォッチ、スマートグラス、ゲーム端末等が例示されるが、これらに限定されない。
　取得例２では、動画取得部１１は、所定の記憶装置に蓄積されている動画の中から所定のルールで選択した少なくとも１つの動画を処理対象動画として取得する。
　所定のルールは、動画の属性情報で選択する動画を定義してもよい。動画の属性情報は、撮影日時、動画長、撮影場所、ファイル名、動画のタイトル、動画のタグ、カメラアングル（ハイアングル、ローアングル、水平アングル等）等が例示されるが、これらに限定されない。所定のルールの一例は、「当日に撮影された動画を処理対象動画として選択」や「当日の９時～１２時に撮影された動画を処理対象動画として選択」であるが、これらに限定されない。
　取得例２の場合、動画取得部１１は、予め定められたタイミングで、少なくとも１つの動画を処理対象動画として取得する。予め定められたタイミングは、Ｘ時のように、１日の中の予め定められた時刻であってもよい。その他、動画取得部１１は、１週間毎、１か月毎等のようにその他の時間おきに、少なくとも１つの動画を処理対象動画として取得してもよい。また、動画取得部１１は、ユーザからの指示入力があったタイミングで、少なくとも１つの動画を処理対象動画として取得してもよい。
　メタデータ生成部１２は、処理対象動画の中の少なくとも１つの一部分各々の内容に関するメタデータを生成する。例えば、メタデータ生成部１２は、処理対象動画の中の複数の一部分各々の内容に関するメタデータを生成することができる。
　まず、処理対象動画を複数の一部分に分割する処理を説明する。以下、処理対象動画の中の一部分を「処理対象動画一部分」と呼ぶ場合がある。
　複数の処理対象動画一部分の動画の長さは、同じであってもよいし、互いに異なってもよい。また、処理対象動画の全てがいずれかの処理対象動画一部分に含まれるように分割してもよい。その他、処理対象動画のいずれかの部分がいずれの処理対象動画一部分にも含まれなくてもよい。また、複数の処理対象動画一部分に重複して含まれる部分が存在するように分割してもよいし、複数の処理対象動画一部分に重複して含まれる部分が存在しないように分割してもよい。
　一例では、メタデータ生成部１２は、所定のルールに従い、処理対象動画を予め定められたフレーム数毎（例：１フレーム毎、１０フレーム毎）の複数の処理対象動画一部分に分割する。
　他の例では、メタデータ生成部１２は、動画像を解析して複数のセグメントに分割する技術を利用して、処理対象動画を複数の処理対象動画一部分（セグメント）に分割する。動画像を解析して複数のセグメントに分割する技術としては、動画像を複数のシーン（セグメント）に分割する技術が例示される。例えば、メタデータ生成部１２は、当該技術を利用して、処理対象動画のシーンの変わり目を検出する。そして、メタデータ生成部１２は、シーンの変わり目から直後の変わり目までの１つのシーンを１つの処理対象動画一部分として決定する。なお、動画像を複数のシーンに分割する技術の利用はあくまで一例であり、メタデータ生成部１２は、その他の技術を利用して、処理対象動画を複数の処理対象動画一部分（セグメント）に分割してもよい。この例の場合、複数の処理対象動画一部分の動画の長さは互いに異なり得る。
　処理対象動画を複数の一部分に分割した後、メタデータ生成部１２は、動画ファイルの冒頭からの経過時間により、複数の処理対象動画一部分各々の動画ファイル内での表示タイミングを示す情報を生成し、所定の記憶装置内に記憶させることができる。
　次に、複数の処理対象動画一部分各々のメタデータを生成する処理を説明する。
　複数の処理対象動画一部分各々のメタデータは、各処理対象動画一部分の内容に関する。
　メタデータは、例えば登場人物、登場する物体、カメラアングル（ハイアングル、ローアングル、水平アングル等）、撮影手法（寄り画像、引き画像）、及び説明文の中の少なくとも１つを含む。なお、メタデータは、その他の情報を含んでもよい。
　メタデータ生成部１２は、複数の処理対象動画一部分各々の動画を解析することで、上述のようなメタデータを生成する。例えば、メタデータ生成部１２は、顔認証技術等を利用して、登場人物を特定することができる。メタデータ生成部１２は、予め登録されている複数の人物各々の外観の特徴量を用いて、複数の処理対象動画一部分各々における登場人物を特定することができる。
　また、メタデータ生成部１２は、物体検出技術や分類器等を利用して、登場する物体を特定することができる。物体は、自動車、自転車、ボール、マイク、ゴール、バックスクリーン、観客席、犬、猫等であるが、これらに限定されない。例えば、メタデータ生成部１２は、予め機械学習で生成された物体検出モデルや分類器等を利用して、複数の処理対象動画一部分各々に登場する物体を特定することができる。
　また、メタデータ生成部１２は、例えば予め機械学習で生成された推定モデルを用いて、複数の処理対象動画一部分各々のカメラアングル（ハイアングル、ローアングル、水平アングル等）や撮影手法（寄り画像、引き画像）を特定することができる。
　また、メタデータ生成部１２は、大規模言語モデル(Large Language Model)と映像認識ＡＩ（Artificial Intelligence）を組み合わせた大規模視覚言語モデルを用いて、複数の処理対象動画一部分各々の内容を示す説明文を生成することができる。説明文は、自然言語で構成されてもよい。
　図５に、メタデータ生成部１２が生成したメタデータの一例を模式的に示す。図示する例では、一部分識別情報、範囲、人物、及び説明文の項目が、互いに紐付けられている。
　一部分識別情報の項目は、複数の処理対象動画一部分を互いに識別する情報を示す。
　範囲の項目は、複数の処理対象動画一部分各々を特定する情報を示す。図のカッコ内の情報が、動画ファイルの識別情報である。そして、動画ファイルの冒頭からの経過時間により、処理対象動画一部分の動画ファイル内での範囲が特定されている。
　人物の項目は、各処理対象動画一部分に登場する人物を示す。
　説明文の項目は、各処理対象動画一部分の内容の説明文を示す。
　図４に戻り、指示情報取得部１３は、抽出するシーンの内容を指定した指示情報を取得する。
　指示情報取得部１３は、動画取得部１１が取得した処理対象動画に対応して指示情報を取得することができる。指示情報取得部１３は、動画取得部１１が取得した処理対象動画に対応して１つの指示情報を取得してもよいし、複数の指示情報を取得してもよい。
　一例では、ユーザが指示情報の内容を決定し、決定した内容の指示情報を情報処理装置１０に入力する。ユーザは、１つの指示情報を情報処理装置１０に入力してもよいし、複数の指示情報を情報処理装置１０に入力してもよい。
　ユーザは、少なくとも１つの指示情報を入力する操作を、情報処理装置１０の入力装置を介して行ってもよい。その他、情報処理装置１０はサーバであってもよい。そして、ユーザは、クライアント端末を介して上述のような操作を行ってもよい。
　他の例では、図６に示すように、予め少なくとも１つの指示情報が所定の記憶装置に記憶されている。指示情報取得部１３は、所定の記憶装置に記憶されている少なくとも１つの指示情報を取得する。予めユーザが、所定の記憶装置に少なくとも１つの指示情報を登録しておくことができる。この予め登録されている少なくとも１つの指示情報が、複数の処理対象動画の編集において汎用的に繰り返し利用される。
　ここで、指示情報の構成について説明する。指示情報は、自然言語で構成されてもよい。このような指示情報の一例は、「東京太郎選手のハイライトシーン」や、「ゲームのハイライトシーン」等であるが、これらに限定されない。
　また、指示情報は、画像を含んでもよい。例えば、指示情報は、自然言語と画像で構成されてもよい。当該例の指示情報に含める自然言語の一例は、「入力した画像に写っている選手のハイライトシーン」が考えられる。また、当該例の指示情報に含める自然言語の他の一例は、「入力した画像と同様のカメラアングルで撮影されているシーン」、「入力した画像の背景と同様の背景が写っているシーン」等が例示される。なお、ここでの例はあくまで一例であり、これらに限定されない。
　図４に戻り、編集部１４は、メタデータ生成部１２が生成したメタデータに基づき、少なくとも１つの処理対象動画一部分の中から、指示情報取得部１３が取得した指示情報で示される「抽出するシーン」に内容が関係する処理対象動画一部分を特定する。指示情報取得部１３が複数の指示情報を取得した場合、編集部１４は、複数の指示情報各々を用いて、上記処理対象動画一部分を特定する処理を行うことができる。
　編集部１４は、自然言語で構成される指示情報を大規模言語モデルで処理することで、抽出するシーンの内容を特定してもよい。この処理を行うことで、指示情報で示される指示内容から、抽出するシーンを具体化することができる。
　例えば、編集部１４は、自然言語で構成された指示情報とともに、「この指示情報で指定されている抽出するシーンの具体例を５個例示してください。」等の予め用意されたプロンプトを大規模言語モデルに入力してもよい。「バスケットボールの試合のハイライトシーン」という指示情報が上記プロンプトとともに大規模言語モデルに入力された場合、「得点シーン」、「ブロックシーン」、「逆転シーン」等が抽出するシーンの具体例として例示されることが期待される。その他、指示情報の内容によっては、「東京太郎選手の得点シーン」、「チームＡのマスコットキャラクタが写っているシーン」、「ハイアングルのシーン」、「寄り画像のシーン」等のように、抽出するシーンが決定されることが期待される。
　編集部１４は、このようにして特定された抽出するシーンの内容と、メタデータで示される少なくとも１つの処理対象動画一部分各々の内容とを照合し、抽出するシーンに内容が関係する処理対象動画一部分を特定する。
　例えば、編集部１４は、特定された抽出するシーンの内容が「得点シーン」である場合、メタデータの説明文において得点シーンと説明されている処理対象動画一部分を特定することができる。編集部１４は、メタデータの説明文の中に「得点シーン」又はそれに類似する単語が含まれる処理対象動画一部分を特定してもよい。類似する単語は、予め所定の記憶装置に記憶されている類似語辞書を用いて特定することができる。
　また、例えば、編集部１４は、特定された抽出するシーンの内容の中に人物の名前が含まれる場合、メタデータを参照し、登場人物の中にその人物が含まれる処理対象動画一部分を特定することができる。
　また、例えば、編集部１４は、特定された抽出するシーンの内容の中に所定の物体の名称（例：チームＡのマスコットキャラクタ）が含まれる場合、メタデータを参照し、登場する物体の中にその物体が含まれる処理対象動画一部分を特定することができる。
　また、例えば、編集部１４は、特定された抽出するシーンの内容においてカメラアングルが指定されている場合、メタデータを参照し、指定されたカメラアングルが紐付けられている処理対象動画一部分を特定することができる。
　また、例えば、編集部１４は、特定された抽出するシーンの内容において撮影手法が指定されている場合、メタデータを参照し、指定された撮影手法が紐付けられている処理対象動画一部分を特定することができる。
　また、編集部１４は、上述のような特定手法の中の複数を組み合わせて、処理対象動画一部分を特定することができる。例えば、特定された抽出するシーンが「東京太郎選手の得点シーン」である場合、編集部１４は、メタデータの説明文において得点シーンと説明されており、かつ登場人物に東京太郎選手が含まれる処理対象動画一部分を特定することができる。
　編集部１４は、処理対象動画一部分のメタデータ及び指示情報に基づき「抽出するシーン」に内容が関係する処理対象動画一部分を特定した後、以下の２つの処理の内の少なくとも一方を実行することができる。
・特定した処理対象動画一部分に基づき、処理対象動画の編集画像を生成する処理
・特定した処理対象動画一部分の処理対象動画の中での表示タイミングを示すタイムテーブルを生成する処理
　まず、編集画像を生成する処理を説明する。編集画像は、処理対象動画を短尺化したハイライト画像、又はサムネイル画像である。例えば、編集部１４は、特定した複数の処理対象動画一部分を、処理対象動画内での時系列順に繋ぎ合わせてハイライト画像を生成することができる。
　なお、編集部１４は、広く知られたハイライト画像生成技術を利用して、特定した複数の処理対象動画一部分の中からさらに一部分を抽出し、抽出した一部分を処理対象動画内での時系列順に繋ぎ合わせてハイライト画像を生成してもよい。
　また、編集部１４は、特定した複数の処理対象動画一部分の中の少なくとも１つのフレーム画像をサムネイル画像として特定することができる。特定した複数の処理対象動画一部分の中の少なくとも１つのフレーム画像をサムネイル画像として特定する手段は様々である。編集部１４は、予め定められルールに従い、当該特定を実行することができる。ルールの一例は、「人物の顔が閾値以上の大きさで写っている」等であるが、これに限定されない。
　なお、編集部１４は、大規模視覚言語モデルを用いて、生成した編集画像の説明文、タイトル、及び見出し文の中の少なくとも１つを生成してもよい。例えば、編集部１４は、生成した編集画像とともに、「この画像のタイトルを決定してください。」等の予め用意されたプロンプトを大規模視覚言語モデルに入力することで、当該生成を実現することができる。
　次に、タイムテーブルを生成する処理を説明する。タイムテーブルは、図７に示すように、特定した処理対象動画一部分の処理対象動画の中での表示タイミングを示す。図では、動画ファイルの冒頭からの経過時間により、各処理対象動画一部分の表示タイミングを示している。なお、複数の動画ファイルで処理対象動画が構成される場合、タイムテーブルは、動画ファイル毎に、各動画ファイルの冒頭からの経過時間により、各処理対象動画一部分の表示タイミングを示すことができる。
　上述の通り、メタデータ生成部１２は、メタデータを生成する際に、処理対象動画を複数の処理対象動画一部分に分割する。そして、メタデータ生成部１２は、動画ファイルの冒頭からの経過時間により、複数の処理対象動画一部分各々の動画ファイル内での表示タイミングを示す情報を生成することができる。編集部１４は、当該情報を利用して、上記タイムテーブルを生成することができる。
　なお、編集部１４は、大規模視覚言語モデルを用いて、特定した処理対象動画一部分各々の説明文、タイトル、及び見出し文の中の少なくとも１つを生成してもよい。例えば、編集部１４は、特定した処理対象動画一部分各々とともに、「この動画のタイトルを決定してください。」等の予め用意されたプロンプトを大規模視覚言語モデルに入力することで、当該生成を実現することができる。
　そして、編集部１４は、図７に示すように、タイムテーブルにおいて、特定した処理対象動画一部分各々に、説明文、タイトル、及び見出し文の中の少なくとも１つを付与してもよい。
　なお、指示情報取得部１３が複数の指示情報を取得した場合、編集部１４は、各指示情報を用いて、処理対象動画の中から処理対象動画一部分を特定する処理を実行することができる。すなわち、編集部１４は、指示情報毎に、処理対象動画の中から処理対象動画一部分を特定する処理を実行することができる。そして、編集部１４は、指示情報毎に、編集画像を生成したり、タイムテーブルを生成したりできる。１つの処理対象動画に対応して複数の指示情報が取得された場合、編集部１４は、その１つの処理対象動画に対応して複数の編集画像や複数のタイムテーブルを生成することができる。
　図４に戻り、出力部１５は、編集部１４が生成した編集画像及びタイムテーブルの少なくとも一方を出力する。指示情報取得部１３が複数の指示情報を取得した場合、出力部１５は、指示情報毎に、編集部１４が生成した編集画像及びタイムテーブルの少なくとも一方を出力する。
　また、出力部１５は、編集部１４が生成した編集画像の説明文、タイトル、及び見出し文の中の少なくとも１つを編集画像とともに出力することができる。また、出力部１５は、編集部１４が生成したタイムテーブルにおいて表示タイミングが示される処理対象動画一部分の説明文、タイトル、及び見出し文の中の少なくとも１つを含むタイムテーブル（図７参照）を出力することができる。
　例えば、出力部１５は、情報処理装置１０が備える出力装置を介して、編集画像及びタイムテーブルの少なくとも一方を出力することができる。また、出力部１５は、編集画像及びタイムテーブルの少なくとも一方を他の装置に送信することができる。また、出力部１５は、編集画像及びタイムテーブルの少なくとも一方を所定の記憶装置に記憶させることができる。
　一例では、情報処理装置１０は、情報処理装置１０が備える入力装置を介して指示情報の入力を受付ける。そして、情報処理装置１０は、その入力された指示情報に基づき、編集画像及びタイムテーブルの少なくとも一方を生成する。この場合、出力部１５は、情報処理装置１０が備える出力装置を介して、編集画像及びタイムテーブルの少なくとも一方を出力することができる。
　他の例では、情報処理装置１０はサーバである。そして、情報処理装置１０は、クライアント端末から送信されてきた指示情報に基づき、編集画像及びタイムテーブルの少なくとも一方を生成する。この場合、出力部１５は、クライアント端末に、編集画像及びタイムテーブルの少なくとも一方を送信することができる。
　他の例では、情報処理装置１０は、予め所定の記憶装置に記憶されている指示情報を取得する。そして、情報処理装置１０は、その取得した指示情報に基づき、編集画像及びタイムテーブルの少なくとも一方を生成する。この場合、出力部１５は、編集画像及びタイムテーブルの少なくとも一方を所定の記憶装置に向けて出力し、編集画像及びタイムテーブルの少なくとも一方を所定の記憶装置に記憶させる。
　次に、情報処理装置１０の処理の流れの一例を説明する。なお、ここでは処理の流れを説明することを目的とする。各処理の詳細は上述したので、ここでの説明は省略する。
　まず、情報処理装置１０は、少なくとも１つの動画である処理対象動画を取得する（Ｓ２０）。
　次に、情報処理装置１０は、処理対象動画の中の少なくとも１つの処理対象動画一部分各々の内容に関するメタデータを生成する（Ｓ２１）。
　次に、情報処理装置１０は、抽出するシーンの内容を指定した指示情報を取得する（Ｓ２２）。
　次に、情報処理装置１０は、Ｓ２１で生成したメタデータに基づき、Ｓ２２で取得した指示情報で示される抽出するシーンに内容が関係する一部分を特定する（Ｓ２３）。
　次に、情報処理装置１０は、Ｓ２３の特定結果に基づき、編集画像及びタイムテーブルの少なくとも一方を生成し、出力する（Ｓ２４）。
　なお、処理の順は図８のフローチャートで示す順に限定されず、適宜変更可能である。例えば、Ｓ２１のメタデータ生成の前に、Ｓ２２の指示情報の取得を行ってもよい。また、Ｓ２０の処理対象動画の取得の前にＳ２２の指示情報の取得を行ってもよいし、これらを並行して行ってもよい。
＜利用場面＞
　次に、情報処理装置１０の利用場面を説明する。なお、ここで例示する利用場面はあくまで一例であり、情報処理装置１０の利用場面はこれらに限定されない。
　第１の利用場面では、情報処理装置１０のユーザは、長尺の動画や編集画像等のコンテンツを生成し、視聴者に提供するコンテンツ提供者である。コンテンツ提供者は、例えば動画配信プラットフォームを利用して、生成したコンテンツを視聴者に提供する。すなわち、コンテンツ提供者は、インターネット等の通信ネットワークを介して、生成したコンテンツを視聴者に提供する。なお、コンテンツ提供者は、コンテンツを記録した記録媒体を郵送で提供、又はコンテンツをテレビ放送で提供等のその他の手段で、生成したコンテンツを視聴者に提供してもよい。
　コンテンツ提供者は、生成した長尺の動画を処理対象動画として情報処理装置１０に入力し、その長尺の動画から編集画像やタイムテーブル等を生成する。
　コンテンツ提供者は、その長尺の動画に対応して複数の指示情報を情報処理装置１０に入力し、その長尺の動画から複数の編集画像や複数のタイムテーブル等を生成することができる。
　その他、コンテンツ提供者は、予め少なくとも１つ（例えば複数）の指示情報を所定の記憶装置に登録しておくことができる。情報処理装置１０は、入力された長尺の動画と、予め登録されている少なくとも１つ（例えば複数）の指示情報に基づき、その長尺の動画から少なくとも１つの編集画像や少なくとも１つ（例えば複数）のタイムテーブル等を生成することができる。
　コンテンツ提供者は、生成した編集画像やタイムテーブルを視聴者に提供する。コンテンツ提供者は、長尺の動画に紐付けて、生成した編集画像やタイムテーブルを視聴者に提供する。コンテンツ提供者は、上述したコンテンツの提供手法と同様の手法で、生成した編集画像やタイムテーブルを視聴者に提供する。例えば、コンテンツ提供者は、動画配信プラットフォームを利用して、生成した編集画像やタイムテーブルを視聴者に提供する。
　なお、コンテンツ提供者は、動画から編集画像やタイムテーブルを生成する事業者に、編集画像やタイムテーブルの生成を依頼してもよい。そして、当該事業者が情報処理装置１０を利用して、編集画像やタイムテーブルを生成してもよい。
　第２の利用場面では、情報処理装置１０のユーザは、コンテンツ提供者からストリーミング配信で提供されたコンテンツを視聴する視聴者である。コンテンツ提供者は、例えばストリーミング配信で動画を配信する動画配信プラットフォームを利用して、生成したコンテンツを視聴者に提供する。そして、視聴者は、動画配信プラットフォーム上で所望の動画を検索し、検索した動画を視聴する。
　一例では、この動画配信プラットフォームが、情報処理装置１０の機能を備える。すなわち、動画配信プラットフォームは、通信ネットワークを介して、視聴者の端末に動画視聴用のＵＩ（User Interface）画面を提供する。例えば、ウェブブラウザや専用のアプリケーション等を利用して、当該ＵＩ画面の提供が実現される。クライアント端末は、スマートフォン、タブレット端末、パーソナルコンピュータ、テレビ、携帯電話、スマートウォッチ、スマートグラス、ゲーム端末等が例示されるが、これらに限定されない。
　視聴者は、当該ＵＩ画面上で所定の操作を行うことで、所望の動画を検索する。そして、視聴者は、当該ＵＩ画面上で、検索した動画の編集画像やタイムテーブルを生成するための操作を行う。視聴者は、編集画像やタイムテーブルを生成するための指示入力とともに、少なくとも１つの指示情報を入力する。
　動画配信プラットフォームは、検索された動画と、入力された少なくとも１つの指示情報に基づき、その検索された動画から少なくとも１つの編集画像や少なくとも１つのタイムテーブルを生成する。そして、動画配信プラットフォームは、生成した少なくとも１つの編集画像や少なくとも１つのタイムテーブルを視聴者の端末に送信する。
　第３の利用場面では、情報処理装置１０のユーザは、自身が所有する動画を自身の端末装置で視聴する視聴者である。動画は、視聴者自身が生成／撮影した動画であってもよいし、ダウンロードやその他の手法で取得した動画であってもよい。
　視聴者は、自身の端末装置に所定のプログラムをインストールすることで、自身の端末装置において情報処理装置１０の機能を実現する。端末装置は、スマートフォン、タブレット端末、パーソナルコンピュータ、テレビ、携帯電話、スマートウォッチ、スマートグラス、ゲーム端末等が例示されるが、これらに限定されない。
　視聴者は、所有する所定の動画と少なくとも１つの指示情報を端末装置に入力し、その動画から編集画像やタイムテーブル等を生成する。
＜作用効果＞
　第２の実施形態の情報処理装置１０によれば、第１の実施形態の情報処理装置１０と同様の作用効果が実現される。
　また、情報処理装置１０は、編集の対象である処理対象動画に加えて、抽出するシーンの内容を指定した「指示情報」を取得する。そして、情報処理装置１０は、取得した指示情報に基づき、処理対象動画の中の一部分を特定する。そして、情報処理装置１０は、特定した一部分に基づき編集画像を生成したり、タイムテーブルを生成したりできる。
　このような情報処理装置１０によれば、指示情報の内容に応じた編集画像やタイムテーブルを生成することができる。同じ動画を処理対象動画とする場合であっても、異なる内容の指示情報を情報処理装置１０に入力することで、異なる内容の編集画像やタイムテーブルを生成することができる。すなわち、様々な内容の指示情報を入力することで、様々な内容の編集画像やタイムテーブルを生成することができる。また、複数パターンの指示情報を入力することで、複数パターンの編集画像やタイムテーブルを生成することができる。
　一例では、動画の視聴者は、所望の指示情報を情報処理装置１０に入力することで、所望の編集画像を作成することができる。このように、視聴者毎にカスタマイズした編集画像を生成して提供することで、好みが互いに異なる複数の視聴者の満足度を高めることができる。
　また、他の一例では、コンテンツを視聴者に提供するコンテンツ提供者は、複数パターンの指示情報を情報処理装置１０に入力するという簡単な作業で、複数パターンの編集画像やタイムテーブルを容易に生成することができる。複数パターンの編集画像やタイムテーブルを複数の視聴者に向けて提供することで、好みが互いに異なる複数の視聴者の満足度を高めることができる。
　また、情報処理装置１０は、生成した編集画像の説明文、タイトル、及び見出し文の中の少なくとも１つを編集画像とともに出力することができる。また、情報処理装置１０は、生成したタイムテーブルにおいて表示タイミングを示される処理対象動画一部分の説明文、タイトル、及び見出し文の中の少なくとも１つを含むタイムテーブルを出力することができる。視聴者は、説明文、タイトル、見出し文等に基づき、編集画像の内容やタイムテーブルで示される処理対象動画の一部分の内容を把握することができる。
　また、情報処理装置１０は、自然言語で構成された指示情報を取得し、自然言語で構成された指示情報を大規模言語モデルで処理することで、抽出するシーンの内容を特定することができる。自然言語で指示情報を入力できるので、ユーザは、容易に指示情報を入力することができる。
＜＜第３の実施形態＞＞
　第３の実施形態の情報処理装置１０は、複数の指示情報に基づき生成された複数の編集画像に対するフィードバック情報を生成する。以下、詳細に説明する。
　指示情報取得部１３は、処理対象動画に対して複数の指示情報を取得する。そして、編集部１４は、複数の指示情報各々に基づき、その処理対象動画から複数の編集画像を生成する。
　例えば、長尺の動画や編集画像等のコンテンツを生成し、視聴者に提供するコンテンツ提供者が、情報処理装置１０を利用して、複数の編集画像を生成する。そして、コンテンツ提供者は、動画配信プラットフォームを利用して、生成した複数の編集画像を視聴者に提供する。
　編集部１４は、このような複数の編集画像各々のフィードバック情報を生成する。編集部１４は、複数の編集画像各々の視聴履歴及び視聴者の入力情報の少なくとも一方に基づき、複数の編集画像各々のフィードバック情報を生成する。例えば、上記動画配信プラットフォームが、配信している動画各々の視聴履歴を記録している。また、上記動画配信プラットフォームが、配信している動画各々に対する評価の入力をユーザから受付け、登録している。編集部１４は、上記動画配信プラットフォームから、複数の編集画像各々の視聴履歴及び視聴者の入力情報の少なくとも一方を取得することができる。
　視聴履歴は、各動画の視聴回数、各動画を視聴した視聴者の属性（性別、年齢層、居住地域、職業、国籍等）やその統計値等を含む。視聴者の属性の統計値は、例えば各動画を視聴した全視聴者の中の各属性を備える視聴者の割合（例：男性の割合等）を示す。なお、視聴履歴は、各属性の視聴者による視聴回数を示してもよい。
　視聴者の入力情報は、各視聴者が入力した各動画の評価値（例：５段階評価）の統計値（例：平均値、最大値、最小値、最頻値、中央値等）、各動画の「ＧＯＯＤ」評価の数や、各動画の「ＢＡＤ」評価の数等を含む。
　編集部１４は、このような視聴履歴や視聴者の入力情報に基づき、フィードバック情報を生成する。フィードバック情報は、複数の編集画像各々の視聴回数、視聴者属性の統計値、及び視聴者からの評価の中の少なくとも１つを示す。
　複数の編集画像各々の視聴回数、及び視聴者属性の統計値は、上記視聴履歴で示される。
　視聴者からの評価は、例えば、上記視聴者の入力情報で示される各視聴者が入力した各動画の評価値の統計値、各動画の「ＧＯＯＤ」評価の数、又は各動画の「ＢＡＤ」評価の数である。なお、視聴者からの評価は、これらの値に基づき所定の演算式で算出された算出評価値であってもよい。例えば、各動画の「ＧＯＯＤ」評価の数から各動画の「ＢＡＤ」評価の数を引いた値が、算出評価値として算出されてもよい。
　編集部１４は、上記フィードバック情報に基づき、複数の編集画像の中から低評価の編集画像を抽出することができる。そして、編集部１４は、抽出した低評価の編集画像の生成に利用された指示情報をユーザに通知することができる。
　一例では、編集部１４は、同じ処理対象動画から生成された複数の編集画像の相対評価により、低評価の編集画像を抽出することができる。例えば、編集部１４は、同じ処理対象動画から生成された複数の編集画像を、上記フィードバック情報に基づきランク付けし、ランクが低い方から所定数の編集画像を低評価の編集画像として抽出してもよい。ランク付けは、視聴回数の多い順、所定の属性の視聴者による視聴回数が多い順、視聴者の評価値が高い順、「ＧＯＯＤ」評価の数が多い順、「ＢＡＤ」評価の数が少ない順、上記算出評価値が高い順等が例示されるが、これらに限定されない。その他、編集部１４は、これらの値の偏差値を編集画像毎に算出し、偏差値が閾値以下の編集画像を低評価の編集画像として抽出してもよい。
　その他、編集部１４は、絶対評価により、低評価の編集画像を抽出してもよい。例えば、編集部１４は、視聴回数、所定の属性の視聴者による視聴回数、視聴者の評価値、「ＧＯＯＤ」評価の数、「ＢＡＤ」評価の数、又は上記算出評価値が所定の条件を満たす編集画像を、低評価の編集画像として抽出してもよい。
　編集部１４は、このようにして抽出した低評価の編集画像の生成に利用された指示情報をユーザに通知することができる。編集部１４は、低評価の指示情報のリストを生成し、ユーザに提示してもよいし、その他の手法で上記ユーザへの通知を実現してもよい。
　ユーザは、当該通知に基づき、低評価の編集画像が生成される指示情報を把握することができる。そして、ユーザは、今後の編集画像の生成にその内容を反映させることができる。例えば、第２の実施形態で説明したように、予め所定の記憶装置に少なくとも１つの指示情報が登録され、複数の処理対象動画の編集において汎用的に繰り返し利用される場合、ユーザは、所定の記憶装置に登録している指示情報を更新することができる。具体的には、ユーザは、低評価の編集画像が生成される指示情報を削除したり、内容を変更したりできる。
　第３の実施形態の情報処理装置１０のその他の構成は、第１及び第２の実施形態の情報処理装置１０と同様である。
　第３の実施形態の情報処理装置１０によれば、第１及び第２の実施形態の情報処理装置１０と同様の作用効果が実現される。
　また、情報処理装置１０は、複数の指示情報各々に基づき処理対象動画から複数の編集画像を生成した場合、複数の編集画像各々のフィードバック情報を生成することができる。そして、情報処理装置１０は、生成したフィードバック情報に基づき、複数の編集画像の中から低評価の編集画像を抽出し、抽出した低評価の編集画像の生成に利用された指示情報をユーザに通知することができる。
　ユーザは、このような通知に基づき、どのような指示情報で生成された編集画像が視聴者に好まれ、どのような指示情報で生成された編集画像が視聴者に好まれないのか把握することができる。そして、ユーザは、把握した内容に基づき、今後の編集画像の生成に利用される指示情報を最適化することができる。結果、ユーザは、視聴者が好む傾向の編集画像を効率的に生成することができる。
＜＜変形例＞＞
　以下、第１乃至第３の実施形態の情報処理装置１０に適用可能な変形例を説明する。
　処理対象動画から抽出可能なシーンは、処理対象動画に含まれるシーンである。処理対象動画に含まれないシーンを抽出するシーンとして指定した指示情報が情報処理装置１０に入力されても、その指定されたシーンを抽出することはできない。
　処理対象動画に含まれるシーンをユーザが把握していない場合、処理対象動画に含まれないシーンを抽出するシーンとして指定した指示情報を情報処理装置１０に入力するという不都合が生じ得る。
　そこで、指示情報取得部１３は、抽出するシーンとして指定可能なシーンに関する情報を、メタデータに基づき生成して出力する。指示情報取得部１３は、指示情報の入力を受付ける処理を実行時に、抽出するシーンとして指定可能なシーンに関する情報をユーザに提示することができる。例えば、指示情報取得部１３は、指示情報の入力を受付けるＵＩ画面において、抽出するシーンとして指定可能なシーンに関する情報を表示してもよい。または、指示情報の入力を受付けるＵＩ画面上のＵＩ部品の操作により、抽出するシーンとして指定可能なシーンに関する情報が画面上に呼び出されてもよい。
　抽出するシーンとして指定可能なシーンに関する情報は、メタデータそのものであってもよい。メタデータの詳細は、第２の実施形態で説明した通りである。その他、指示情報取得部１３は、予め定められたルールでメタデータを整形（データの並び替え等）してもよい。そして、指示情報取得部１３は、整形後のデータを、抽出するシーンとして指定可能なシーンに関する情報としてもよい。
　当該変形例によれば、第１乃至第３の実施形態と同様の作用効果が実現される。また、当該変形例よれば、ユーザは、指示情報の入力時に、抽出するシーンとして指定可能なシーンを把握することができる。結果、処理対象動画に含まれないシーンを抽出するシーンとして指定した指示情報が情報処理装置１０に入力される不都合を抑制できる。
　以上、実施の形態を参照してこの開示を説明したが、この開示は上述の実施の形態に限定されるものではない。この開示の構成や詳細には、この開示のスコープ内で当業者が理解し得る様々な変更をすることができる。そして、各実施の形態は、適宜他の実施の形態と組み合わせることができる。
　また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されている。しかし、各実施の形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施の形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。
　上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．　少なくとも１つの動画である処理対象動画を取得する動画取得手段と、
　前記処理対象動画の中の少なくとも１つの一部分各々の内容に関するメタデータを生成するメタデータ生成手段と、
　抽出するシーンの内容を指定した指示情報を取得する指示情報取得手段と、
　前記メタデータに基づき、前記指示情報で示される抽出するシーンに内容が関係する前記一部分を特定する編集手段と、
を有する情報処理装置。
２．　前記編集手段は、
　　特定した前記一部分に基づき、前記処理対象動画の編集画像を生成する処理、及び、
　　特定した前記一部分の前記処理対象動画の中での表示タイミングを示すタイムテーブルを生成する処理、
の少なくとも一方を実行する１に記載の情報処理装置。
３．　前記編集手段は、
　　前記編集画像の説明文、タイトル、及び見出し文の中の少なくとも１つを生成する処理、及び、
　　前記タイムテーブルで表示タイミングを示される前記一部分の説明文、タイトル、及び見出し文の中の少なくとも１つを生成する処理、
の少なくとも一方を実行する２に記載の情報処理装置。
４．　前記指示情報取得手段は、
　　自然言語で構成された前記指示情報を取得し、
　前記編集手段は、
　　自然言語で構成された前記指示情報を大規模言語モデルで処理することで、抽出するシーンの内容を特定する１から３のいずれかに記載の情報処理装置。
５．　前記指示情報取得手段は、
　　前記処理対象動画に対して複数の前記指示情報を取得し、
　前記編集手段は、
　　複数の前記指示情報各々に基づき、前記処理対象動画から複数の編集画像を生成し、
　　複数の前記編集画像各々の視聴履歴及び視聴者の入力情報の少なくとも一方に基づき、複数の前記編集画像各々のフィードバック情報を生成する１から４のいずれかに記載の情報処理装置。
６．　前記編集手段は、
　　複数の前記編集画像各々の視聴回数、視聴者属性の統計値、及び視聴者からの評価の中の少なくとも１つを示す前記フィードバック情報を生成する５に記載の情報処理装置。
７．　前記編集手段は、
　　前記フィードバック情報に基づき、複数の前記編集画像の中から低評価の前記編集画像を抽出し、抽出した低評価の前記編集画像の生成に利用された前記指示情報をユーザに通知する６に記載の情報処理装置。
８．　前記指示情報取得手段は、
　　抽出するシーンとして指定可能なシーンに関する情報を、前記メタデータに基づき生成して出力する１から７のいずれかに記載の情報処理装置。
９．　１つ以上のコンピュータが、
　　少なくとも１つの動画である処理対象動画を取得し、
　　前記処理対象動画の中の少なくとも１つの一部分各々の内容に関するメタデータを生成し、
　　抽出するシーンの内容を指定した指示情報を取得し、
　　前記メタデータに基づき、前記指示情報で示される抽出するシーンに内容が関係する前記一部分を特定する情報処理方法。
１０．　コンピュータを、
　　少なくとも１つの動画である処理対象動画を取得する動画取得手段、
　　前記処理対象動画の中の少なくとも１つの一部分各々の内容に関するメタデータを生成するメタデータ生成手段、
　　抽出するシーンの内容を指定した指示情報を取得する指示情報取得手段、
　　前記メタデータに基づき、前記指示情報で示される抽出するシーンに内容が関係する前記一部分を特定する編集手段、
として機能させるプログラム。
　この出願は、２０２４年６月７日に出願された日本出願特願２０２４－０９２８６０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１０　　情報処理装置
　１１　　動画取得部
　１２　　メタデータ生成部
　１３　　指示情報取得部
　１４　　編集部
　１５　　出力部
　１Ａ　　プロセッサ
　２Ａ　　メモリ
　３Ａ　　入出力Ｉ／Ｆ
　４Ａ　　周辺回路
　５Ａ　　バス

Claims (20)

  1. 　少なくとも１つの動画である処理対象動画を取得する動画取得手段と、
    　前記処理対象動画の中の少なくとも１つの一部分各々の内容に関するメタデータを生成するメタデータ生成手段と、
    　抽出するシーンの内容を指定した指示情報を取得する指示情報取得手段と、
    　前記メタデータに基づき、前記指示情報で示される抽出するシーンに内容が関係する前記一部分を特定する編集手段と、
    を有する情報処理装置。
  2. 　前記編集手段は、
    　　特定した前記一部分に基づき、前記処理対象動画の編集画像を生成する処理、及び、
    　　特定した前記一部分の前記処理対象動画の中での表示タイミングを示すタイムテーブルを生成する処理、
    の少なくとも一方を実行する請求項１に記載の情報処理装置。
  3. 　前記編集手段は、
    　　前記編集画像の説明文、タイトル、及び見出し文の中の少なくとも１つを生成する処理、及び、
    　　前記タイムテーブルで表示タイミングを示される前記一部分の説明文、タイトル、及び見出し文の中の少なくとも１つを生成する処理、
    の少なくとも一方を実行する請求項２に記載の情報処理装置。
  4. 　前記指示情報取得手段は、
    　　自然言語で構成された前記指示情報を取得し、
    　前記編集手段は、
    　　自然言語で構成された前記指示情報を大規模言語モデルで処理することで、抽出するシーンの内容を特定する請求項１から３のいずれか１項に記載の情報処理装置。
  5. 　前記指示情報取得手段は、
    　　前記処理対象動画に対して複数の前記指示情報を取得し、
    　前記編集手段は、
    　　複数の前記指示情報各々に基づき、前記処理対象動画から複数の編集画像を生成し、
    　　複数の前記編集画像各々の視聴履歴及び視聴者の入力情報の少なくとも一方に基づき、複数の前記編集画像各々のフィードバック情報を生成する請求項１から４のいずれか１項に記載の情報処理装置。
  6. 　前記編集手段は、
    　　複数の前記編集画像各々の視聴回数、視聴者属性の統計値、及び視聴者からの評価の中の少なくとも１つを示す前記フィードバック情報を生成する請求項５に記載の情報処理装置。
  7. 　前記編集手段は、
    　　前記フィードバック情報に基づき、複数の前記編集画像の中から低評価の前記編集画像を抽出し、抽出した低評価の前記編集画像の生成に利用された前記指示情報をユーザに通知する請求項６に記載の情報処理装置。
  8. 　前記指示情報取得手段は、
    　　抽出するシーンとして指定可能なシーンに関する情報を、前記メタデータに基づき生成して出力する請求項１から７のいずれか１項に記載の情報処理装置。
  9. 　１つ以上のコンピュータが、
    　　少なくとも１つの動画である処理対象動画を取得し、
    　　前記処理対象動画の中の少なくとも１つの一部分各々の内容に関するメタデータを生成し、
    　　抽出するシーンの内容を指定した指示情報を取得し、
    　　前記メタデータに基づき、前記指示情報で示される抽出するシーンに内容が関係する前記一部分を特定する情報処理方法。
  10. 　前記１つ以上のコンピュータは、
    　　特定した前記一部分に基づき、前記処理対象動画の編集画像を生成する処理、及び、
    　　特定した前記一部分の前記処理対象動画の中での表示タイミングを示すタイムテーブルを生成する処理、
    の少なくとも一方を実行する請求項９に記載の情報処理方法。
  11. 　前記１つ以上のコンピュータは、
    　　前記編集画像の説明文、タイトル、及び見出し文の中の少なくとも１つを生成する処理、及び、
    　　前記タイムテーブルで表示タイミングを示される前記一部分の説明文、タイトル、及び見出し文の中の少なくとも１つを生成する処理、
    の少なくとも一方を実行する請求項１０に記載の情報処理方法。
  12. 　前記１つ以上のコンピュータは、
    　　自然言語で構成された前記指示情報を取得し、
    　　自然言語で構成された前記指示情報を大規模言語モデルで処理することで、抽出するシーンの内容を特定する請求項９から１１のいずれか１項に記載の情報処理方法。
  13. 　前記１つ以上のコンピュータは、
    　　前記処理対象動画に対して複数の前記指示情報を取得し、
    　　複数の前記指示情報各々に基づき、前記処理対象動画から複数の編集画像を生成し、
    　　複数の前記編集画像各々の視聴履歴及び視聴者の入力情報の少なくとも一方に基づき、複数の前記編集画像各々のフィードバック情報を生成する請求項９から１２のいずれか１項に記載の情報処理方法。
  14. 　１つ以上のコンピュータは、
    　　複数の前記編集画像各々の視聴回数、視聴者属性の統計値、及び視聴者からの評価の中の少なくとも１つを示す前記フィードバック情報を生成する請求項１３に記載の情報処理方法。
  15. 　コンピュータを、
    　　少なくとも１つの動画である処理対象動画を取得する動画取得手段、
    　　前記処理対象動画の中の少なくとも１つの一部分各々の内容に関するメタデータを生成するメタデータ生成手段、
    　　抽出するシーンの内容を指定した指示情報を取得する指示情報取得手段、
    　　前記メタデータに基づき、前記指示情報で示される抽出するシーンに内容が関係する前記一部分を特定する編集手段、
    として機能させるプログラムを記録した記録媒体。
  16. 　前記編集手段は、
    　　特定した前記一部分に基づき、前記処理対象動画の編集画像を生成する処理、及び、
    　　特定した前記一部分の前記処理対象動画の中での表示タイミングを示すタイムテーブルを生成する処理、
    の少なくとも一方を実行する請求項１５に記載の記録媒体。
  17. 　前記編集手段は、
    　　前記編集画像の説明文、タイトル、及び見出し文の中の少なくとも１つを生成する処理、及び、
    　　前記タイムテーブルで表示タイミングを示される前記一部分の説明文、タイトル、及び見出し文の中の少なくとも１つを生成する処理、
    の少なくとも一方を実行する請求項１６に記載の記録媒体。
  18. 　前記指示情報取得手段は、
    　　自然言語で構成された前記指示情報を取得し、
    　前記編集手段は、
    　　自然言語で構成された前記指示情報を大規模言語モデルで処理することで、抽出するシーンの内容を特定する請求項１５から１７のいずれか１項に記載の記録媒体。
  19. 　前記指示情報取得手段は、
    　　前記処理対象動画に対して複数の前記指示情報を取得し、
    　前記編集手段は、
    　　複数の前記指示情報各々に基づき、前記処理対象動画から複数の編集画像を生成し、
    　　複数の前記編集画像各々の視聴履歴及び視聴者の入力情報の少なくとも一方に基づき、複数の前記編集画像各々のフィードバック情報を生成する請求項１５から１８のいずれか１項に記載の記録媒体。
  20. 　前記編集手段は、
    　　複数の前記編集画像各々の視聴回数、視聴者属性の統計値、及び視聴者からの評価の中の少なくとも１つを示す前記フィードバック情報を生成する請求項１９に記載の記録媒体。
PCT/JP2025/019256 2024-06-07 2025-05-28 情報処理装置、情報処理方法、及び記録媒体 Pending WO2025253993A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024-092860 2024-06-07
JP2024092860 2024-06-07

Publications (1)

Publication Number Publication Date
WO2025253993A1 true WO2025253993A1 (ja) 2025-12-11

Family

ID=97961046

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/019256 Pending WO2025253993A1 (ja) 2024-06-07 2025-05-28 情報処理装置、情報処理方法、及び記録媒体

Country Status (1)

Country Link
WO (1) WO2025253993A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050812A (ja) * 2001-08-08 2003-02-21 Ricoh Co Ltd ダイジェスト提供システム、ダイジェスト提供サーバ、インデックス作成端末、ダイジェスト提供方法、そのプログラム、及びそのプログラムを記憶した記憶媒体
JP2004295568A (ja) * 2003-03-27 2004-10-21 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2012249156A (ja) * 2011-05-30 2012-12-13 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP2017091401A (ja) * 2015-11-16 2017-05-25 富士通株式会社 放送番組のシーン特定方法、評価方法、放送番組のシーン特定装置、及びプログラム
CN118138854A (zh) * 2024-03-28 2024-06-04 云知声智能科技股份有限公司 视频生成方法、装置、计算机设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050812A (ja) * 2001-08-08 2003-02-21 Ricoh Co Ltd ダイジェスト提供システム、ダイジェスト提供サーバ、インデックス作成端末、ダイジェスト提供方法、そのプログラム、及びそのプログラムを記憶した記憶媒体
JP2004295568A (ja) * 2003-03-27 2004-10-21 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2012249156A (ja) * 2011-05-30 2012-12-13 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP2017091401A (ja) * 2015-11-16 2017-05-25 富士通株式会社 放送番組のシーン特定方法、評価方法、放送番組のシーン特定装置、及びプログラム
CN118138854A (zh) * 2024-03-28 2024-06-04 云知声智能科技股份有限公司 视频生成方法、装置、计算机设备及介质

Similar Documents

Publication Publication Date Title
JP7734772B2 (ja) 埋め込まれた情報カードコンテンツを認識および解釈するための機械学習
CN108965956B (zh) 提供视频呈现评论的方法、介质、服务器和系统
US9374411B1 (en) Content recommendations using deep data
US8990690B2 (en) Methods and apparatus for media navigation
US20150172787A1 (en) Customized movie trailers
JP2020504475A (ja) ビデオデータ再生中の関連オブジェクトの提供
KR102316822B1 (ko) 영상과 관련된 사용자 반응에 기반하여 컨텐츠를 제공하는 방법, 장치, 및 컴퓨터 프로그램
US9402050B1 (en) Media content creation application
KR102818397B1 (ko) 계층화된 미디어를 생성, 배급 및 상호작용하는 플랫폼, 시스템 및 방법
WO2016109450A1 (en) Selecting a high-valence representative image
KR20150135544A (ko) 동영상 동시발생 통계에 기반한 동영상 추천
US9635337B1 (en) Dynamically generated media trailers
US12155904B2 (en) Systems and methods for recommending content using progress bars
JP6328865B1 (ja) 動画作成システム、動画作成方法、動画作成プログラム
CN114727143A (zh) 多媒体资源展示方法及装置
US20250254402A1 (en) Systems and methods for generating sports media content for an interactive display
KR102640214B1 (ko) 콘텐츠 제공 서비스 방법, 장치 및 기록매체
US10242252B2 (en) Expression recognition tag
KR20180041879A (ko) 동영상 서비스 편집 장치 및 이를 이용한 동영상 서비스 편집 방법
US11481098B2 (en) Video previews for interactive videos using a markup language
KR101396020B1 (ko) 컨텐츠 편집툴을 이용한 멀티미디어 컨텐츠 편집 서비스제공 방법
KR102615377B1 (ko) 방송 체험 서비스의 제공 방법
JP7845690B2 (ja) 質問作成装置、質問作成システム及び質問作成方法
CN116204678B (zh) 视频特征表示的构建方法、装置、设备及存储介质
CN120151580B (zh) 基于电视视频信息的多模式交互方法、装置及带屏设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25819752

Country of ref document: EP

Kind code of ref document: A1