WO2024084773A1 - 動画生成装置 - Google Patents

動画生成装置 Download PDF

Info

Publication number
WO2024084773A1
WO2024084773A1 PCT/JP2023/027805 JP2023027805W WO2024084773A1 WO 2024084773 A1 WO2024084773 A1 WO 2024084773A1 JP 2023027805 W JP2023027805 W JP 2023027805W WO 2024084773 A1 WO2024084773 A1 WO 2024084773A1
Authority
WO
WIPO (PCT)
Prior art keywords
frames
video
scene
moving image
acquisition unit
Prior art date
Application number
PCT/JP2023/027805
Other languages
English (en)
French (fr)
Inventor
航 明石
Original Assignee
株式会社Nttドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Nttドコモ filed Critical 株式会社Nttドコモ
Publication of WO2024084773A1 publication Critical patent/WO2024084773A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer

Definitions

  • the present invention relates to a video generation device that processes video content.
  • Patent Document 1 describes an information providing device that can calculate similarity with high accuracy and provide content that matches the preferences of a user.
  • information about the content such as the name of the content, is provided to the user as recommendation information.
  • Patent Document 1 information about the content to be recommended is notified to the user, but it is difficult for the user to understand if only the name of the content is notified. Furthermore, general video distribution services recommend works based on the user's viewing history. Here, several scenes from the work are displayed as thumbnails, but as the thumbnails show only representative scenes, there is also the problem that the content is difficult to understand.
  • the present invention aims to provide a video generation device that provides a scene of video content in a format that is easy for the user to understand.
  • the video generating device of the present invention includes a frame acquisition unit that acquires a plurality of frames from a scene video acquired from video content, and a generation unit that generates a digest video based on the plurality of frames and the number of frames of the plurality of frames.
  • FIG. 1 is a diagram showing a system configuration including a video distribution server 100 corresponding to a video processing device of the present disclosure.
  • FIG. 2 is a diagram showing a specific example of a recommended video information menu 201.
  • FIG. 2 is a block diagram showing the functional configuration of the video distribution server 100.
  • FIG. 1 is a schematic diagram showing collaborative filtering processing.
  • 10 is a flowchart showing a display process of the recommended video information menu 201 of the user terminal 200.
  • 1A and 1B are diagrams showing example screens when a user operates user terminal 200 using a mouse or the like.
  • 11A and 11B are schematic diagrams showing a playback process of GIF files in a carousel display or a slideshow display.
  • 11 is a flowchart showing a process of generating a GIF file.
  • 11 is a flowchart showing detailed processing of a GIF file generation process.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of a video distribution server 100
  • FIG. 1 is a diagram showing a system configuration including a video distribution server 100 that corresponds to the video generation device of the present disclosure.
  • the video distribution server 100 distributes video content to a user terminal 200.
  • the video distribution server 100 sends a video distribution menu, a recommended video information menu, and the like, to the user terminal 200.
  • the user of the user terminal 200 can select whether or not to view the video content while looking at the video distribution menu, etc., and can then play and view the video content.
  • FIG. 2 shows a specific example of a recommended video information menu 201.
  • the recommended video information menu 201 provides recommended videos based on the user's viewing history and the user's favorite scene registration information.
  • This recommended video information menu 201 includes a representative screen 201a showing the selected recommended video content, a work introduction section 201b, and a thumbnail 201c showing a scene recommended to the user.
  • a GIF file is associated with this thumbnail 201c.
  • thumbnail 201c is a still image prepared for each scene of the video content and other video content shown on screen 201a, and when the user selects it (by hovering the mouse over or tapping), a GIF file (digest video) is played.
  • GIF file digest video
  • the present disclosure in addition to the video content, it also includes scenes from other works (other video content) identified based on the favorite registrations of other users.
  • thumbnails 201c are listed beyond the works.
  • FIG. 2 includes a screen 201a and a work introduction section 201b, but this information is not essential. In the present disclosure, it is sufficient to present thumbnails 201c that include scenes that are recommended to the user.
  • the video distribution server 100 performs a process in advance to compose the above information in the recommended video information menu 201. In other words, the video distribution server 100 generates a GIF file (digest video) from the video content of each work.
  • GIF file digest video
  • FIG. 3 is a block diagram showing the functional configuration of the video distribution server 100.
  • This video distribution server 100 includes a video content storage unit 101, a favorite scene registration information storage unit 102, a GIF file storage unit 103, a scene acquisition unit 104, a collaborative filtering processing unit 104a, a frame acquisition unit 105, a GIF processing unit 106, and a distribution unit 107.
  • the video content storage unit 101 is a part that stores the recommended video information menu and video content.
  • the favorite scene registration information storage unit 102 is a part that stores favorite scenes of video content for each user.
  • the video distribution server 100 distributes video content to the multiple user terminals 200 and accepts favorite registrations of video content.
  • the GIF file storage unit 103 is a unit that stores the GIF file (digest video) generated by the GIF processing unit 106 based on video content.
  • the collaborative filtering processing unit 104a identifies other users who have similar registration tendencies to the target user based on the favorite scene registration information registered by other users and the favorite scene registration information registered by the target user. The collaborative filtering processing unit 104a then identifies favorite scenes not registered by the target user among the favorite scenes registered by the other users based on the favorite scene registration information as files to be converted to GIF.
  • the scene acquisition unit 104 is a part that acquires scene videos of favorite scenes identified by the collaborative filtering processing unit 104a. This scene acquisition unit 104 analyzes multiple frames (still images) that make up the video content, extracts scene turning points, divides the scene into multiple scene videos, and acquires the scene videos. A scene turning point indicates the timing at which the scene in the video content changes. If there are very few points of agreement between two frames in a series of frames that make up a video, the second frame is extracted as the turning point.
  • the scene acquisition unit 104 acquires one or more scene videos corresponding to the favorite scenes identified by the collaborative filtering processing unit 104a.
  • the frame acquisition unit 105 is a part that acquires multiple frames from each of one or more scene videos acquired by the scene acquisition unit 104.
  • the GIF conversion processing unit 106 is a unit that performs GIF conversion processing based on multiple frames acquired by the frame acquisition unit 105.
  • the GIF conversion processing corresponds to generating a digest video.
  • a digest video is a video constructed by thinning out some of the frames that make up a scene of video content.
  • a digest video is referred to as a GIF file.
  • the GIF file (digest video) generated by the GIF conversion processing unit 106 is stored in the GIF file storage unit 103 in association with the video content.
  • the distribution unit 107 is a part that distributes the recommended video information menu and video content stored in the video content storage unit 101.
  • the distribution unit 107 transmits the recommended video information menu 201 including thumbnails and GIF files in response to an instruction from the user terminal 200. It should be noted that the distribution unit 107 may also distribute other video content.
  • Fig. 4 is a schematic diagram showing collaborative filtering processing. As shown in the figure, works A and B are video contents. Scene change points are extracted by frame analysis. In Fig. 4(a), scenes S A,1 , S A,2 , etc. are extracted from work A, and scenes S B,1 , S B,2 , etc. are extracted from work B.
  • 4B shows a table of favorite registrations of scenes Sj ,k for each user ui .
  • a check mark indicates a favorite, and a question mark indicates that the scene is not registered. If the target user is user u1, similar users who have similar tendencies to register favorites for each scene to user u1 and other users such as user u2 are extracted.
  • the collaborative filtering processing unit 104a identifies, among the scenes registered as favorites by similar users, scenes that the target user has not registered as favorites or has not viewed, as scenes to be converted into GIFs.
  • the collaborative filtering processing unit 104a may calculate a score for each scene that the target user has not registered or has not viewed, and identify scenes to be converted into GIFs based on the score (e.g., a score equal to or greater than a predetermined value).
  • FIG. 5 is a flowchart showing the display process of the recommended video information menu 201 of the user terminal 200.
  • the user terminal 200 receives and displays the recommended video information menu from the video distribution server 100 (S101).
  • this recommended video information menu includes thumbnails prepared for each scene of the video content.
  • the user terminal 200 accepts the selection of one thumbnail through a user operation (such as mouse over) (S102).
  • the user terminal 200 reads the GIF file associated with the selected thumbnail (S103) and plays the GIF file (S104).
  • FIG. 6 shows an example of a screen when a user is operating the user terminal 200 using a mouse or the like.
  • thumbnails A, B, etc. are displayed as recommendations in the recommended video information menu 201 (see FIG. 2).
  • This recommended video information menu 201 is configured such that a corresponding GIF file is associated with each thumbnail A, etc.
  • the user when a user views video content, the user can select one thumbnail from multiple thumbnails associated with the video content, and can view a GIF file (digest video), allowing the user to easily understand the details of the video content.
  • collaborative filtering processing can be used to provide scenes that the user has not viewed or registered, and personalized thumbnails and GIF files can be provided.
  • by simply presenting scenes that are likely to interest the user it is possible to increase the user's desire to view and reduce the effort required to search for works.
  • GIF files can also be played back using a carousel display or slideshow display.
  • a schematic diagram of this is shown in Figure 7.
  • Figure 7 multiple scenes have been identified in each of works A, B, C, and D, and GIF files have been generated.
  • the GIF candidates are shown as 1, 2, etc.
  • FIG. 7(b) shows a part of the recommended video information menu, and when the mouse is placed over thumbnail A, as shown in FIG. 7(c), GIF file candidate 1 is read out and played.
  • GIF file candidate 2 is played next (FIG. 7(d)).
  • pointer 202 is in the mouse-over state, the next GIF file is automatically played in sequence.
  • These GIF file candidates show different scenes from the same work.
  • the next GIF file to be played may be switched using a carousel display, or may be configured like a slide show.
  • FIG. 8 is a flowchart showing the generation process.
  • the collaborative filtering processing unit 104a acquires favorite scene information (identifiers) of all video content registered by each user (including the user himself) from the favorite scene registration information storage unit 102 (S201).
  • the collaborative filtering processing unit 104a performs collaborative filtering processing to search for other users who have similar favorite registration tendencies to the user using the favorite scene registration information (S202). More specifically, the collaborative filtering processing unit 104a searches for other users whose favorite registration scenes are similar to the user's from the favorite registration scene tendencies of other users, and calculates the correlation for scenes that the user has not registered as favorite scenes. The score is then calculated by averaging the presence or absence of favorite scene registrations for multiple other users with high correlation. In the present disclosure, this score is treated as the recommendation level of the scene. Based on this score, the collaborative filtering processing unit 104a identifies one or more scenes that the user has not registered as favorites as scenes to be converted into GIF.
  • the collaborative filtering processing unit 104a performs collaborative filtering processing by treating each scene of all video content (video works) on an equal footing. It is advisable to perform adjustment processing, such as multiplying the score by a predetermined coefficient (1 or more), so that the score is especially high for scenes of video content (works) that the user has not watched.
  • the scene acquisition unit 104 retrieves video content including the scene to be converted into GIF identified by the collaborative filtering processing unit 104a from the video content storage unit 101, and performs a division process based on the scene turning points (S203). Then, the scene acquisition unit 104 acquires one or more scenes to be converted into GIF identified by the collaborative filtering processing unit 104a from the divided scenes (S204).
  • the frame acquisition unit 105 and the GIF processing unit 106 perform a process of generating a GIF file for the scene to be converted into a GIF (S205). This will be described in detail later.
  • the GIF conversion processor 106 generates a still image for thumbnail display from the GIF file (S206). The GIF conversion processor 106 then associates the still image and the GIF file and stores them in the GIF file storage unit 103 (S207).
  • FIG. 9 is a flowchart of the GIF file generation process in the video distribution server 100.
  • the frame acquisition unit 105 acquires the frames of the scene video that is the scene to be converted into GIF and the number of frames N (S301).
  • the GIF processing unit 106 determines whether Nmin (minimum number of frames) ⁇ number of frames N ⁇ Nmax (maximum number of frames) (S302). If Nmax ⁇ number of frames N, the GIF processing unit 106 obtains frames from the first frame to the Nmaxth frame from the scene video (S304). The GIF processing unit 106 generates a GIF file (digest video) using frames from the first frame to the Nmaxth frame (e.g., frames thinned out by a predetermined number) (S305).
  • Nmin minimum number of frames
  • Nmax maximum number of frames
  • the GIF processing unit 106 determines that Nmin ⁇ number of frames N ⁇ Nmax, it generates a GIF file using a predetermined number of frames thinned out from the scene video (S306). For example, the number of frames that make up the GIF file is determined in advance, and frames are obtained at equal intervals so as to achieve that number of frames, and these are converted into a GIF file.
  • process S302 if the GIF processing unit 106 determines that the number of frames N is less than Nmin, the scene acquisition unit 104 acquires the next scene video following the scene to be converted into GIF (S307), and the frame acquisition unit 105 acquires a predetermined number of frames from the next scene video (S308).
  • the predetermined number of frames extracted from the next scene video is adjusted, for example, so that all frames of the scene to be converted into GIF become Nmin.
  • the GIF processing unit 106 generates a GIF file from each frame of the scene video and the next scene video (S309). Note that a predetermined number of frames removed from the scene video and the next scene video may be used.
  • a GIF file (digest video) can be generated according to the length of the scene. Therefore, even if a scene is too short and it is difficult to understand the content, an appropriate GIF file (digest video) can be generated by combining it with the next scene. If a scene is too long, an appropriate GIF file can be generated by setting an upper limit on the number of frames. If a scene is too long, there is a risk that the GIF file will reveal spoilers, but by setting an upper limit on the number of frames, this risk can be prevented.
  • the video distribution server 100 of the present disclosure includes a video content storage unit 101 that stores video content, a scene acquisition unit 104 that acquires scene videos from the video content, a frame acquisition unit 105 that acquires multiple frames from the scene videos, and a GIF processing unit 106 that functions as a generation unit that generates a GIF file (digest video) according to the multiple frames and the length of the scene video.
  • a video content storage unit 101 that stores video content
  • a scene acquisition unit 104 that acquires scene videos from the video content
  • a frame acquisition unit 105 that acquires multiple frames from the scene videos
  • GIF processing unit 106 that functions as a generation unit that generates a GIF file (digest video) according to the multiple frames and the length of the scene video.
  • the scene acquisition unit 104 acquires multiple scene videos based on scene turning points in the video content.
  • the frame acquisition unit 105 then changes the frames to be acquired depending on the length of the scene video. For example, the frame acquisition unit 105 acquires frames based on the number of frames that make up the scene video, which is the length of the scene video.
  • the frame acquisition unit 105 acquires frames based on a predetermined upper limit frame number Nmax and a lower limit frame number Nmin.
  • the GIF processing unit 106 When the number of frames in a scene video is between the upper limit frame number Nmax and the lower limit frame number Nmin, the GIF processing unit 106 generates a GIF file (digest video) based on that scene video. When the number of frames is appropriate, the frames can be used to generate an appropriate GIF file.
  • the frame acquisition unit 105 acquires frames from either the scene video positioned before or after the scene video.
  • the frame acquisition unit 105 acquires frames from the next scene video that is placed after the scene video.
  • the frame acquisition unit 105 may acquire frames from the previous scene video that is placed before the scene video. This makes it possible to generate a GIF file (digest video) that is not too short.
  • the GIF processing unit 106 acquires frames up to the upper limit frame number Nmax.
  • the distribution unit 107 also distributes a recommended video information menu 201 including the generated multiple GIF files to the user terminal 200.
  • This recommended video information menu 201 is a menu screen, and is configured to automatically play the GIF files sequentially in accordance with a user operation on the user terminal 200.
  • the GIF files are played sequentially when the user of the user terminal 200 performs a predetermined operation such as hovering the mouse over a thumbnail.
  • the display may switch to the next GIF file in sequence, such as in a carousel display or slideshow display.
  • the video generation device which is the video distribution server 100 of the present disclosure, has the following configuration.
  • a moving image generating device comprising:
  • the scene video is selected and acquired based on the actions of other similar users.
  • the video generating device according to [1].
  • the frame acquisition unit acquiring frames based on the number of frames constituting the scene moving image as the length of the scene moving image;
  • the video generating device according to [3].
  • the frame acquisition unit acquiring frames based on a predetermined upper limit and lower limit of frame numbers;
  • the video generating device according to [4].
  • the frame acquisition unit if the number of frames of the scene video is less than a lower limit number of frames, frames are acquired from either one of the scene videos arranged before or after the scene video;
  • the video generating device according to [5] or [6].
  • the frame acquisition unit if the number of frames of the scene video is less than a lower limit number of frames, frames are acquired from a next scene video arranged next to the scene video, and if the next scene video does not exist, frames are acquired from a previous scene video arranged before the scene video.
  • the video generating device according to [7].
  • the frame acquisition unit if the number of frames of the scene moving image is greater than the upper limit number of frames, frames up to the upper limit number of frames are acquired;
  • the video generating device according to any one of [5] to [8].
  • a distribution unit that distributes a menu screen including the plurality of generated digest movies to a user terminal; the menu screen is configured to automatically play back the digest movies in sequence in accordance with a user operation on the user terminal;
  • the video generating device according to any one of [1] to [9].
  • each functional block may be realized using one device that is physically or logically coupled, or may be realized using two or more devices that are physically or logically separated and connected directly or indirectly (e.g., using wires, wirelessly, etc.) and these multiple devices.
  • the functional blocks may be realized by combining the one device or the multiple devices with software.
  • Functions include, but are not limited to, judgement, determination, judgment, calculation, computation, processing, derivation, investigation, search, confirmation, reception, transmission, output, access, resolution, selection, election, establishment, comparison, assumption, expectation, regard, broadcasting, notifying, communicating, forwarding, configuring, reconfiguring, allocating, mapping, and assignment.
  • a functional block (component) that performs the transmission function is called a transmitting unit or transmitter.
  • the video distribution server 100 in one embodiment of the present disclosure may function as a computer that performs processing of the video generation method of the present disclosure.
  • FIG. 10 is a diagram showing an example of the hardware configuration of the video distribution server 100 in one embodiment of the present disclosure.
  • the video distribution server 100 described above may be physically configured as a computer device including a processor 1001, memory 1002, storage 1003, a communication device 1004, an input device 1005, an output device 1006, a bus 1007, etc.
  • the hardware configuration of the video distribution server 100 may be configured to include one or more of the devices shown in the figure, or may be configured to exclude some of the devices.
  • Each function of the video distribution server 100 is realized by loading specific software (programs) onto hardware such as the processor 1001 and memory 1002, causing the processor 1001 to perform calculations, control communications via the communication device 1004, and control at least one of the reading and writing of data in the memory 1002 and storage 1003.
  • the processor 1001 operates an operating system to control the entire computer.
  • the processor 1001 may be configured with a central processing unit (CPU) including an interface with peripheral devices, a control unit, an arithmetic unit, registers, etc.
  • CPU central processing unit
  • the above-mentioned collaborative filtering processing unit 104a, scene acquisition unit 104, frame acquisition unit 105, GIF processing unit 106, etc. may be realized by the processor 1001.
  • the processor 1001 also reads out programs (program codes), software modules, data, etc. from at least one of the storage 1003 and the communication device 1004 into the memory 1002, and executes various processes according to these.
  • the programs used are those that cause a computer to execute at least some of the operations described in the above-mentioned embodiments.
  • the collaborative filtering processing unit 104a, the scene acquisition unit 104, the frame acquisition unit 105, the GIF processing unit 106, etc. may be stored in the memory 1002 and realized by a control program that runs on the processor 1001, and other functional blocks may be similarly realized.
  • the above-mentioned various processes have been described as being executed by one processor 1001, they may be executed simultaneously or sequentially by two or more processors 1001.
  • the processor 1001 may be implemented by one or more chips.
  • the programs may be transmitted from a network via a telecommunications line.
  • Memory 1002 is a computer-readable recording medium, and may be composed of at least one of, for example, ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), RAM (Random Access Memory), etc. Memory 1002 may also be called a register, cache, main memory (primary storage device), etc. Memory 1002 can store executable programs (program codes), software modules, etc. for implementing the video generation method according to one embodiment of the present disclosure.
  • ROM Read Only Memory
  • EPROM Erasable Programmable ROM
  • EEPROM Electrical Erasable Programmable ROM
  • RAM Random Access Memory
  • Memory 1002 may also be called a register, cache, main memory (primary storage device), etc.
  • Memory 1002 can store executable programs (program codes), software modules, etc. for implementing the video generation method according to one embodiment of the present disclosure.
  • Storage 1003 is a computer-readable recording medium, and may be, for example, at least one of an optical disk such as a CD-ROM (Compact Disc ROM), a hard disk drive, a flexible disk, a magneto-optical disk (e.g., a compact disk, a digital versatile disk, a Blu-ray (registered trademark) disk), a smart card, a flash memory (e.g., a card, a stick, a key drive), a floppy (registered trademark) disk, a magnetic strip, etc.
  • Storage 1003 may also be referred to as an auxiliary storage device.
  • the above-mentioned storage medium may be, for example, a database, a server, or other suitable medium including at least one of memory 1002 and storage 1003.
  • the communication device 1004 is hardware (transmitting/receiving device) for communicating between computers via at least one of a wired network and a wireless network, and is also called, for example, a network device, a network controller, a network card, or a communication module.
  • the communication device 1004 may be configured to include a high-frequency switch, a duplexer, a filter, a frequency synthesizer, etc., to realize at least one of, for example, Frequency Division Duplex (FDD) and Time Division Duplex (TDD).
  • FDD Frequency Division Duplex
  • TDD Time Division Duplex
  • the above-mentioned distribution unit 107 may be realized by the communication device 1004.
  • the distribution unit 107 may be implemented as a transmission unit and a reception unit that are physically or logically separated.
  • the input device 1005 is an input device (e.g., a keyboard, a mouse, a microphone, a switch, a button, a sensor, etc.) that accepts input from the outside.
  • the output device 1006 is an output device (e.g., a display, a speaker, an LED lamp, etc.) that performs output to the outside. Note that the input device 1005 and the output device 1006 may be integrated into one structure (e.g., a touch panel).
  • each device such as the processor 1001 and memory 1002 is connected by a bus 1007 for communicating information.
  • the bus 1007 may be configured using a single bus, or may be configured using different buses between each device.
  • the video distribution server 100 may also be configured to include hardware such as a microprocessor, a digital signal processor (DSP), an application specific integrated circuit (ASIC), a programmable logic device (PLD), or a field programmable gate array (FPGA), and some or all of the functional blocks may be realized by the hardware.
  • the processor 1001 may be implemented using at least one of these pieces of hardware.
  • the notification of information is not limited to the aspects/embodiments described in this disclosure, and may be performed using other methods.
  • the notification of information may be performed by physical layer signaling (e.g., DCI (Downlink Control Information), UCI (Uplink Control Information)), higher layer signaling (e.g., RRC (Radio Resource Control) signaling, MAC (Medium Access Control) signaling, broadcast information (MIB (Master Information Block), SIB (System Information Block))), other signals, or a combination of these.
  • the RRC signaling may be referred to as an RRC message, and may be, for example, an RRC Connection Setup message, an RRC Connection Reconfiguration message, etc.
  • the input and output information may be stored in a specific location (e.g., memory) or may be managed using a management table.
  • the input and output information may be overwritten, updated, or added to.
  • the output information may be deleted.
  • the input information may be sent to another device.
  • the determination may be based on a value represented by one bit (0 or 1), a Boolean value (true or false), or a numerical comparison (e.g., with a predetermined value).
  • notification of specific information is not limited to being done explicitly, but may be done implicitly (e.g., not notifying the specific information).
  • Software shall be construed broadly to mean instructions, instruction sets, code, code segments, program code, programs, subprograms, software modules, applications, software applications, software packages, routines, subroutines, objects, executable files, threads of execution, procedures, functions, etc., whether referred to as software, firmware, middleware, microcode, hardware description language, or otherwise.
  • Software, instructions, information, etc. may also be transmitted and received via a transmission medium.
  • a transmission medium For example, if the software is transmitted from a website, server, or other remote source using at least one of wired technologies (such as coaxial cable, fiber optic cable, twisted pair, Digital Subscriber Line (DSL)), and/or wireless technologies (such as infrared, microwave, etc.), then at least one of these wired and wireless technologies is included within the definition of a transmission medium.
  • wired technologies such as coaxial cable, fiber optic cable, twisted pair, Digital Subscriber Line (DSL)
  • wireless technologies such as infrared, microwave, etc.
  • the information, signals, etc. described in this disclosure may be represented using any of a variety of different technologies.
  • the data, instructions, commands, information, signals, bits, symbols, chips, etc. that may be referred to throughout the above description may be represented by voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, optical fields or photons, or any combination thereof.
  • At least one of the channel and the symbol may be a signal (signaling).
  • the signal may be a message.
  • a component carrier (CC) may be called a carrier frequency, a cell, a frequency carrier, etc.
  • a radio resource may be indicated by an index.
  • the names used for the parameters described above are not intended to be limiting in any way. Furthermore, the formulas etc. using these parameters may differ from those explicitly disclosed in this disclosure.
  • the various channels (e.g., PUCCH, PDCCH, etc.) and information elements may be identified by any suitable names, and the various names assigned to these various channels and information elements are not intended to be limiting in any way.
  • MS Mobile Station
  • UE User Equipment
  • a mobile station may also be referred to by those skilled in the art as a subscriber station, mobile unit, subscriber unit, wireless unit, remote unit, mobile device, wireless device, wireless communication device, remote device, mobile subscriber station, access terminal, mobile terminal, wireless terminal, remote terminal, handset, user agent, mobile client, client, or some other suitable terminology.
  • determining may encompass a wide variety of actions.
  • Determining and “determining” may include, for example, judging, calculating, computing, processing, deriving, investigating, looking up, search, inquiry (e.g., searching in a table, database, or other data structure), and considering ascertaining as “judging” or “determining.”
  • determining and “determining” may include receiving (e.g., receiving information), transmitting (e.g., sending information), input, output, accessing (e.g., accessing data in memory), and considering ascertaining as “judging” or “determining.”
  • judgment” and “decision” can include considering resolving, selecting, choosing, establishing, comparing, etc., to have been “judged” or “decided.” In other words, “judgment” and “decision” can include considering some action to have been “judged” or “decided.” Additionally, “judgment (decision)” can be interpreted as “assuming,” “ex
  • connection refers to any direct or indirect connection or coupling between two or more elements, and may include the presence of one or more intermediate elements between two elements that are “connected” or “coupled” to one another.
  • the coupling or connection between elements may be physical, logical, or a combination thereof.
  • “connected” may be read as "access.”
  • two elements may be considered to be “connected” or “coupled” to one another using at least one of one or more wires, cables, and printed electrical connections, as well as electromagnetic energy having wavelengths in the radio frequency range, microwave range, and optical (both visible and invisible) range, as some non-limiting and non-exhaustive examples.
  • the phrase “based on” does not mean “based only on,” unless expressly stated otherwise. In other words, the phrase “based on” means both “based only on” and “based at least on.”
  • any reference to an element using a designation such as "first,” “second,” etc., used in this disclosure does not generally limit the quantity or order of those elements. These designations may be used in this disclosure as a convenient method of distinguishing between two or more elements. Thus, a reference to a first and a second element does not imply that only two elements may be employed or that the first element must precede the second element in some way.
  • a and B are different may mean “A and B are different from each other.”
  • the term may also mean “A and B are each different from C.”
  • Terms such as “separate” and “combined” may also be interpreted in the same way as “different.”
  • 100...video distribution server 200...user terminal, 201...recommended video information menu, 101...video content storage unit, 102...favorite scene registration information storage unit, 103...GIF file storage unit, 104...scene acquisition unit, 104a...collaborative filtering processing unit, 105...frame acquisition unit, 106...GIF processing unit, 107...distribution unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

動画コンテンツの一シーンにおいてユーザにとって把握しやすい形にして提供する動画生成装置を提供することを目的とする。 本開示の動画配信サーバ100は、動画コンテンツを記憶する動画コンテンツ記憶部101と、動画コンテンツからシーン動画を取得するシーン取得部104と、シーン動画から複数のフレームを取得するフレーム取得部105と、複数のフレームおよびシーン動画の長さに応じたダイジェスト動画を生成する生成部として機能するGIF化処理部106と、を備える。

Description

動画生成装置
 本発明は、動画コンテンツを処理する動画生成装置に関する。
 特許文献1には、高い精度で類似度を算出し、一のユーザの嗜好傾向に合致したコンテンツを提供することが可能な情報提供装置についての記載がある。この特許文献1においては、コンテンツに関する情報、例えばコンテンツ名を推薦情報としてユーザに提供する。
特開2017-68547号公報
 特許文献1においては、推薦しようとするコンテンツに関する情報をユーザに通知しているが、コンテンツ名だけを通知しても、ユーザにとって、把握しづらい。また、一般的な動画配信サービスでは、ユーザの視聴履歴に基づいて作品を推薦している。ここでは、作品のいくつかのシーンをサムネイルで表示しているが、やはり、そのシーンの代表的なシーンをサムネイルで表示しているため、内容が分かりづらいという問題がある。
 そこで、上記課題を解決するため、本発明においては、動画コンテンツの一シーンにおいてユーザにとって把握しやすい形にして提供する動画生成装置を提供することを目的とする。
 本発明の動画生成装置は、動画コンテンツから取得されたシーン動画から複数のフレームを取得するフレーム取得部と、前記複数のフレームおよび当該複数のフレームのフレーム数に基づいてダイジェスト動画を生成する生成部と、を備える。
 本発明によると、フレーム数に応じた適切なフレームに基づいて内容を把握しやすいダイジェスト動画を生成することができる。
本開示の動画処理装置に相当する動画配信サーバ100を含むシステム構成を示す図である。 推薦動画情報メニュー201の具体例を示す図である。 動画配信サーバ100の機能構成を示すブロック図である。 協調フィルタリング処理を示す模式図である。 ユーザ端末200の推薦動画情報メニュー201の表示処理を示すフローチャートである。 ユーザがユーザ端末200を、マウス等を用いて操作しているときの画面例を示す図である。 カルーセル表示またはスライドショー表示によりGIF化ファイルの再生処理を示す模式図である。 GIF化ファイルの生成処理を示すフローチャートである。 GIF化ファイル生成処理の詳細処理を示すフローチャートとである。 本開示の一実施の形態に係る動画配信サーバ100のハードウェア構成の一例を示す図である。
 添付図面を参照しながら本開示の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
 図1は、本開示の動画生成装置に相当する動画配信サーバ100を含むシステム構成を示す図である。図に示されるとおり、動画配信サーバ100は、ユーザ端末200に動画コンテンツを配信する。より詳細には、動画配信サーバ100は、動画配信メニュー、そのほか推薦動画情報メニュー等をユーザ端末200に送る。ユーザ端末200のユーザは、その動画配信メニュー等を見ながらその動画コンテンツの視聴の有無を選択し、動画コンテンツを再生し、視聴することができる。
 図2は、推薦動画情報メニュー201の具体例を示す図である。図に示すとおり、推薦動画情報メニュー201は、ユーザの視聴履歴、ユーザのお気に入りシーン登録情報に基づいた推薦動画を提供する。この推薦動画情報メニュー201は、その選択している推薦動画コンテンツを表す代表的な画面201a、作品紹介欄201b、およびユーザに対してお勧めとなるシーンを示すサムネイル201cを含む。このサムネイル201cには、GIF化ファイルが関連付けられている。
 本開示において、サムネイル201cは、画面201aで示される動画コンテンツ、その他の動画コンテンツのシーンごとに用意された静止画像であり、ユーザが選択(マウスオーバまたはタップ)すると、GIF化ファイル(ダイジェスト動画)が再生される。本開示においては、動画コンテンツ以外にも、他のユーザのお気に入り登録に基づいて特定される他の作品(他の動画コンテンツ)のシーンを含む。
 なお、推薦動画情報メニュー201は、図2の事例に限るものではなく、作品を超えて、複数のサムネイル201cが列挙されていてもよい。図2は、画面201a、作品紹介欄201bを含んでいるが、これら情報は必須ではない。本開示においては、ユーザにお勧めしたいシーンを含むサムネイル201cを提示できればよい。
 動画配信サーバ100は、推薦動画情報メニュー201に、上記の情報を構成するための処理を事前に行う。すなわち、動画配信サーバ100は、各作品の動画コンテンツからGIF化ファイル(ダイジェスト動画)を生成する。
 図3は、その動画配信サーバ100の機能構成を示すブロック図である。この動画配信サーバ100は、動画コンテンツ記憶部101、お気に入りシーン登録情報記憶部102、GIF化ファイル記憶部103、シーン取得部104、協調フィルタリング処理部104a、フレーム取得部105、GIF化処理部106、および配信部107を含んで構成される。
 動画コンテンツ記憶部101は、推薦動画情報メニューおよび動画コンテンツを記憶する部分である。
 お気に入りシーン登録情報記憶部102は、各ユーザにおける動画コンテンツのお気に入りシーンを記憶する部分である。本開示においては、複数のユーザのユーザ端末200が存在しており、動画配信サーバ100は、その複数のユーザ端末200に対して動画コンテンツを配信したり、動画コンテンツに対するお気に入り登録を受け付けたりする。
 GIF化ファイル記憶部103は、動画コンテンツに基づいてGIF化処理部106により生成されたGIF化ファイル(ダイジェスト動画)を記憶する部分である。
 協調フィルタリング処理部104aは、他のユーザにより登録されたお気に入りシーン登録情報と、対象ユーザにより登録されたお気に入りシーン登録情報とに基づいて、対象ユーザと登録傾向が似ている他のユーザを特定する。そして、協調フィルタリング処理部104aは、当該他のユーザにより登録されたお気に入りシーン登録情報によるお気に入りシーンのうち、対象ユーザが登録していないお気に入りシーンを、GIF化対象ファイルとして特定する。
 シーン取得部104は、協調フィルタリング処理部104aにより特定されたお気に入りシーンのシーン動画を取得する部分である。このシーン取得部104は、動画コンテンツを構成する複数のフレーム(静止画)を解析し、シーンの転換点を抽出することで、複数のシーン動画に分割して、シーン動画を取得する。シーンの転換点は、その動画コンテンツにおける場面が変わったタイミングを示す。動画を構成する一連のフレームのうち2枚のフレームの一致点が極めて少ない場合、その2枚目のフレームが転換点として抽出される。
 そして、シーン取得部104は、協調フィルタリング処理部104aにおいて特定されたお気に入りシーンに対応する一または複数のシーン動画を取得する。
 フレーム取得部105は、シーン取得部104により取得された一または複数のシーン動画のそれぞれから、複数のフレームを取得する部分である。
 GIF化処理部106は、フレーム取得部105により取得された複数のフレームに基づいて、GIF化処理をする部分である。本開示においてGIF化処理とは、ダイジェスト動画を生成することに相当する。ダイジェスト動画は、動画コンテンツの一シーンを構成しているフレームのいくつかを間引いて構成された動画である。本開示では、ダイジェスト動画をGIF化ファイルと称する。GIF化処理部106が生成したGIF化ファイル(ダイジェスト動画)は、GIF化ファイル記憶部103、その動画コンテンツと関連付けて記憶される。
 配信部107は、動画コンテンツ記憶部101に記憶されている推薦動画情報メニューおよび動画コンテンツを配信する部分である。配信部107は、ユーザ端末200からの指示に応じて、サムネイルおよびGIF化ファイルを含んだ推薦動画情報メニュー201を送信する。なお、そのほか動画コンテンツの配信等を行ってもよい。
 ここで協調フィルタリング処理部104aにおける協調フィルタリング処理について説明する。
 図4は、協調フィルタリング処理を示す模式図である。図に示されるとおり、作品Aおよび作品Bは、動画コンテンツである。それぞれフレーム解析によってシーン転換点が抽出される。図4(a)においては、作品Aから、シーンSA,1、シーンSA,2等が取り出され、作品Bから、シーンSB,1、シーンSB,2等が取り出される。
 図4(b)は、ユーザuごとにシーンSj,kのお気に入り登録の表を示す。レ点がお気に入りを示し、?が登録されていないことを示す。対象ユーザがユーザu1であった場合、ユーザu1と、他のユーザu2等と、シーンごとのお気に入りの登録傾向が似ている類似ユーザが取り出される。
 そして、協調フィルタリング処理部104aは、類似ユーザがお気に入り登録したシーンのうち、対象ユーザがお気に入り登録していない、または視聴していないシーンを、GIF化対象シーンに特定する。なお、協調フィルタリング処理部104aは、対象ユーザが登録していない、または視聴していないシーンごとにスコアを算出し、そのスコアに基づいて(例えば所定値以上のスコア)GIF化対象シーンを特定してもよい。
 つぎに、本開示における推薦動画情報メニュー201からGIF化ファイルを表示する処理について説明する。図5は、ユーザ端末200の推薦動画情報メニュー201の表示処理を示すフローチャートである。ユーザ端末200は、要求に応じて、動画配信サーバ100から推薦動画情報メニューを受信し、表示する(S101)。この推薦動画情報メニューには、図2に示されるとおり、動画コンテンツのシーンごとに用意されたサムネイルが含まれている。
 ユーザ端末200は、ユーザの操作によって(マウスオーバ等)、一のサムネイルの選択を受け付ける(S102)。ユーザ端末200は、選択されたサムネイルに関連付けられているGIF化ファイルを読み出し(S103)、そのGIF化ファイルを再生する(S104)。
 図6は、ユーザがユーザ端末200を、マウス等を用いて操作しているときの画面例を示す図である。図6(a)に示されるとおり、推薦動画情報メニュー201(図2参照)には、サムネイルA、B・・・などが、お勧めとして表示されている。この推薦動画情報メニュー201は、サムネイルA等ごとに、対応するGIF化ファイルが対応付けられて構成されている。
 そして、図6(b)に示されるとおり、ユーザがユーザ端末200上で、サムネイルAに対してマウスオーバ(ポインタ202をサムネイルに重ねつつ、クリックしていない状態)すると、対応するGIF化ファイルが読み出され、再生される。これにより、ユーザは簡易にシーンを把握することができる。
 このようにして、ユーザは、動画コンテンツを視聴するにあたって、その動画コンテンツに付随する複数のサムネイルから一のサムネイルを選択すると、GIF化ファイル(ダイジェスト動画)を視聴することができ、動画コンテンツの内容を簡易に把握することができる。特に、本開示においては、協調フィルタリング処理によって、ユーザが視聴していない、または登録していないシーンを提供することができ、パーソナライズされたサムネイルおよびGIF化ファイルを提供することができる。また、ユーザの興味を惹きそうなシーンを簡易的に提示することで視聴意欲向上させ、作品検索の手間を軽減することもできる。
 なお、マウスによる選択以外にも、カルーセル表示またはスライドショー表示によりGIF化ファイルを再生してもよい。図7にその模式図を示す。図7においては、作品A、B、C、Dにおいて、それぞれ複数のシーンが特定され、GIF化ファイルが生成されている。図7(a)では、GIF化の候補1、候補2・・・と表記されている。
 図7(b)では、推薦動画情報メニューの一部を示しており、サムネイルAに対して、マウスオーバをすると、図7(c)に示されるとおり、GIF化ファイル候補1が読み出され、再生されるこのGIF化ファイルの再生が終了すると、つぎにGIF化ファイル候補2が再生される(図7(d))。ポインタ202がマウスオーバ状態である限り、順次自動的に次のGIF化ファイルが再生される。このGIF化ファイル候補は、同じ作品の中の異なるシーンを示している。GIF化ファイルの再生の仕方として、一のGIF化ファイルの再生が終了すると、次の再生対象となるGIF化ファイルをカルーセル表示により切り替えてもよいし、スライドショーのように構成してもよい。
 つぎに、そのGIF化ファイルの生成について説明する。これらGIF化ファイルの生成は、図5における処理の前に行われている。図5の処理にあわせて行われてもよいし、事前に行われてもよい。図8は、その生成処理を示すフローチャートである。図に示されるとおり、協調フィルタリング処理部104aは、各ユーザ(自分も含む)において登録された全動画コンテンツのお気に入りシーン情報(識別子)をお気に入りシーン登録情報記憶部102から取得する(S201)。
 協調フィルタリング処理部104aは、お気に入りシーン登録情報を使って自分とお気に入り登録傾向が似ている他の類似ユーザを探すために、協調フィルタリング処理を行う(S202)。より詳細には、協調フィルタリング処理部104aは、他ユーザのお気に入り登録シーン傾向から、自分のお気に入り登録シーンと似ている他のユーザを探し、自分がお気に入りシーンとして登録していないシーンに関して、相関関係を計算する。そして、相関関係の高い複数の他のユーザのお気に入りシーンの登録の有無を平均化して、スコアを算出する。本開示では、このスコアは、シーンのお勧め度として扱われる。協調フィルタリング処理部104aは、このスコアに基づいて自分がお気に入り登録していない一または複数のシーンをGIF化対象シーンとして特定する。
 なお、本開示において、協調フィルタリング処理部104aは、全動画コンテンツ(動画の作品)の各シーンを同列に扱って協調フィルタリング処理をしている。自分が視聴していない動画コンテンツ(作品)のシーンについて特にスコアを高くするように、スコアに対して所定係数(1以上)を乗算するなど調整処理することがよい。
 シーン取得部104は、協調フィルタリング処理部104aによって特定されたGIF化対象シーンを含む動画コンテンツを動画コンテンツ記憶部101から取り出し、シーン転換点に基づいた分割処理を行う(S203)。そして、シーン取得部104は、分割されたシーンから、協調フィルタリング処理部104aによって特定された一または複数のGIF化対象シーンを取得する(S204)。
 フレーム取得部105およびGIF化処理部106は、GIF化対象シーンに対するGIF化ファイル生成処理を行う(S205)。この詳細は後述する。
 GIF化処理部106は、GIF化ファイルからサムネイル表記のための静止画像を生成する(S206)。そして、GIF化処理部106は、GIF化ファイル記憶部103に、静止画像およびGIF化ファイルを紐付けて記憶する(S207)。
 つぎに、GIF化ファイル生成処理の詳細について説明する。図9は、動画配信サーバ100におけるGIF化ファイル生成処理のフローチャートである。フレーム取得部105は、GIF化対象シーンであるシーン動画のフレームおよびそのフレーム数Nを取得する(S301)。
 GIF化処理部106は、Nmin(下限フレーム数)<フレーム数N<Nmax(上限フレーム数)であるかを、判断する(S302)。Nmax<フレーム数Nである場合には、GIF化処理部106は、シーン動画から、1フレーム目からNmaxフレーム目までのフレームを取得する(S304)。GIF化処理部106は、1フレーム目からNmaxフレーム目までのフレーム(例えば所定数間引いたフレーム)を使ってGIF化ファイル(ダイジェスト動画)を生成する(S305)。
 また、処理S302において、GIF化処理部106は、Nmin<フレーム数N<Nmaxであると判断すると、シーン動画から所定数間引いたフレームを使ってGIF化ファイルを生成する(S306)。例えば、GIF化ファイルを構成するフレーム数を決めておき、そのフレーム数となるよう等間隔でフレームを取得して、これをGIF化ファイル化する。
 また、処理S302において、GIF化処理部106は、フレーム数N<Nminであると判断すると、シーン取得部104は、GIF化対象シーンのつぎの次シーン動画を取得し(S307)、フレーム取得部105は、その次シーン動画から所定フレーム数のフレームを取得する(S308)。次シーン動画から取り出される所定フレーム数は、例えば、GIF化対象シーンの全フレームがNminになるよう、調整される。
 GIF化処理部106は、シーン動画および次シーン動画のそれぞれのフレームからGIF化ファイルを生成する(S309)。なお、シーン動画および次シーン動画から所定数間引いたフレームを使ってもよい。
 このようにして、シーンの長さに応じたGIF化ファイル(ダイジェスト動画)を生成することができる。したがって、短すぎる場合に内容を把握することが困難な場合があっても、次シーンと組み合わせることで適切なGIF化ファイル(ダイジェスト動画)を生成することができる。長すぎる場合には、上限フレーム数を決めておくことで、適切なGIF化ファイルを生成できる。長すぎるシーンがある場合、このGIF化ファイルでいわゆるネタバレをしてしまうおそれがあるが、上限フレーム数を決めておくことで、そのおそれを防止することができる。
 つぎに、本開示の動画生成装置である動画配信サーバ100の作用効果について説明する。本開示の動画配信サーバ100は、動画コンテンツを記憶する動画コンテンツ記憶部101と、動画コンテンツからシーン動画を取得するシーン取得部104と、シーン動画から複数のフレームを取得するフレーム取得部105と、複数のフレームおよびシーン動画の長さに応じたGIF化ファイル(ダイジェスト動画)を生成する生成部として機能するGIF化処理部106と、を備える。
 これにより動画コンテンツからシーン動画を取得し、そのシーン動画の長さに応じたGIF化ファイル(ダイジェスト動画)を生成することができる。
 シーン取得部104は、動画コンテンツにおいて、シーンの転換点に基づいて、複数のシーン動画を取得する。そして、フレーム取得部105は、シーン動画の長さに応じて、取得するフレームを変える。例えば、フレーム取得部105は、シーン動画の長さとして、シーン動画を構成するフレーム数に基づいて、フレームを取得する。
 フレーム取得部105は、予め定められた上限フレーム数Nmaxおよび下限フレーム数Nminに基づいて、フレームを取得する。
 GIF化処理部106は、シーン動画のフレーム数が、上限フレーム数Nmaxおよび下限フレーム数Nminの間であるときは、そのシーン動画に基づいてGIF化ファイル(ダイジェスト動画)を生成する。適切なフレーム数のときには、そのフレームを使用して適切なGIF化ファイルを生成することができる。
 また、フレーム取得部105は、シーン動画のフレーム数が、下限フレーム数Nmin未満である場合、シーン動画の前後に配置されるシーン動画のいずれかからフレームを取得する。
 例えば、フレーム取得部105は、シーン動画のフレーム数が、下限フレーム数Nmin未満である場合、シーン動画のつぎに配置される次シーン動画からフレームを取得する。また一方で、次シーン動画が存在しない場合には、シーン動画の前に配置される前シーン動画からフレームを取得してもよい。これにより、短すぎないGIF化ファイル(ダイジェスト動画)を生成できる。
 GIF化処理部106は、シーン動画のフレーム数が、上限フレーム数Nmaxより多い場合、上限フレーム数Nmaxまでのフレームを取得する。
 また、配信部107は、生成された複数のGIF化ファイルを含む推薦動画情報メニュー201をユーザ端末200に配信する。この推薦動画情報メニュー201は、メニュー画面であって、ユーザ端末200においてユーザ操作に従って自動的にGIF化ファイルが順次再生されるよう構成されている。例えば、ユーザ端末200のユーザがサムネイルをマウスオーバ等の所定の操作をすることで、GIF化ファイルが順次再生される。その際、一のGIF化ファイルの再生が終了すると、カルーセル表示、スライドショー表示などで、順次次のGIF化ファイルに切り替わってもよい。
 本開示の動画配信サーバ100である動画生成装置は、以下の構成を有する。
[1]
 動画コンテンツから取得されたシーン動画から複数のフレームを取得するフレーム取得部と、
 前記複数のフレームおよび当該複数のフレームのフレーム数に基づいてダイジェスト動画を生成する生成部と、
を備える動画生成装置。
[2]
 前記シーン動画は、他の類似ユーザの行動に基づいてシーン動画を選択して、取得する、
[1]に記載の動画生成装置。
[3]
 前記フレーム取得部は、
 前記シーン動画の長さに応じて、取得するフレームを変える、
[1]または[2]に記載の動画生成装置。
[4]
 前記フレーム取得部は、
 前記シーン動画の長さとして、前記シーン動画を構成するフレーム数に基づいて、フレームを取得する、
[3]に記載の動画生成装置。
[5]
 前記フレーム取得部は、
 予め定められた上限フレーム数および下限フレーム数に基づいて、フレームを取得する、
[4]に記載の動画生成装置。
[6]
 前記フレーム取得部は、
 前記シーン動画のフレーム数が、上限フレーム数および下限フレーム数の間であるときは、そのシーン動画に基づいてダイジェスト動画を生成する、
[5]に記載の動画生成装置。
[7]
 前記フレーム取得部は、
 前記シーン動画のフレーム数が、下限フレーム数未満である場合、前記シーン動画の前後に配置されるシーン動画のいずれかからフレームを取得する、
[5]または[6]に記載の動画生成装置。
[8]
 前記フレーム取得部は、
 前記シーン動画のフレーム数が、下限フレーム数未満である場合、前記シーン動画のつぎに配置される次シーン動画からフレームを取得し、前記次シーン動画が存在しない場合には、前記シーン動画の前に配置される前シーン動画からフレームを取得する、
[7]に記載の動画生成装置。
[9]
 前記フレーム取得部は、
 前記シーン動画のフレーム数が、上限フレーム数より多い場合、上限フレーム数までのフレームを取得する、
[5]から[8]のいずれか一つに記載の動画生成装置。
[10]
 前記生成された複数のダイジェスト動画を含んだメニュー画面をユーザ端末に配信する配信部をさらに備え、
 前記メニュー画面は、前記ユーザ端末においてユーザ操作に従って自動的に前記ダイジェスト動画が順次再生されるよう構成されている、
[1]から[9]のいずれか一つに記載の動画生成装置。
 上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェアおよびソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的または論理的に結合した1つの装置を用いて実現されてもよいし、物理的または論理的に分離した2つ以上の装置を直接的または間接的に(例えば、有線、無線などを用いて)接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記1つの装置または上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
 機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知(broadcasting)、通知(notifying)、通信(communicating)、転送(forwarding)、構成(configuring)、再構成(reconfiguring)、割り当て(allocating、mapping)、割り振り(assigning)などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック(構成部)は、送信部(transmitting unit)や送信機(transmitter)と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。
 例えば、本開示の一実施の形態における動画配信サーバ100は、本開示の動画生成方法の処理を行うコンピュータとして機能してもよい。図10は、本開示の一実施の形態に係る動画配信サーバ100のハードウェア構成の一例を示す図である。上述の動画配信サーバ100は、物理的には、プロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006、バス1007などを含むコンピュータ装置として構成されてもよい。
 なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。動画配信サーバ100のハードウェア構成は、図に示した各装置を1つまたは複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
 動画配信サーバ100における各機能は、プロセッサ1001、メモリ1002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることによって、プロセッサ1001が演算を行い、通信装置1004による通信を制御したり、メモリ1002およびストレージ1003におけるデータの読み出しおよび書き込みの少なくとも一方を制御したりすることによって実現される。
 プロセッサ1001は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ1001は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)によって構成されてもよい。例えば、上述の協調フィルタリング処理部104a、シーン取得部104、」フレーム取得部105、GIF化処理部106などは、プロセッサ1001によって実現されてもよい。
 また、プロセッサ1001は、プログラム(プログラムコード)、ソフトウェアモジュール、データなどを、ストレージ1003および通信装置1004の少なくとも一方からメモリ1002に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、協調フィルタリング処理部104a、シーン取得部104、」フレーム取得部105、GIF化処理部106などは、メモリ1002に格納され、プロセッサ1001において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、1つのプロセッサ1001によって実行される旨を説明してきたが、2以上のプロセッサ1001により同時または逐次に実行されてもよい。プロセッサ1001は、1以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
 メモリ1002は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)などの少なくとも1つによって構成されてもよい。メモリ1002は、レジスタ、キャッシュ、メインメモリ(主記憶装置)などと呼ばれてもよい。メモリ1002は、本開示の一実施の形態に係る動画生成方法を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュールなどを保存することができる。
 ストレージ1003は、コンピュータ読み取り可能な記録媒体であり、例えば、CD-ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つによって構成されてもよい。ストレージ1003は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ1002およびストレージ1003の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。
 通信装置1004は、有線ネットワークおよび無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置1004は、例えば周波数分割複信(FDD:Frequency Division Duplex)および時分割複信(TDD:Time Division Duplex)の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。例えば、上述の配信部107は、通信装置1004によって実現されてもよい。配信部107は、送信部と受信部とで、物理的に、または論理的に分離された実装がなされてもよい。
 入力装置1005は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど)である。出力装置1006は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカー、LEDランプなど)である。なお、入力装置1005および出力装置1006は、一体となった構成(例えば、タッチパネル)であってもよい。
 また、プロセッサ1001、メモリ1002などの各装置は、情報を通信するためのバス1007によって接続される。バス1007は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
 また、動画配信サーバ100は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部または全てが実現されてもよい。例えば、プロセッサ1001は、これらのハードウェアの少なくとも1つを用いて実装されてもよい。
 情報の通知は、本開示において説明した態様/実施形態に限られず、他の方法を用いて行われてもよい。例えば、情報の通知は、物理レイヤシグナリング(例えば、DCI(Downlink Control Information)、UCI(Uplink Control Information))、上位レイヤシグナリング(例えば、RRC(Radio Resource Control)シグナリング、MAC(Medium Access Control)シグナリング、報知情報(MIB(Master Information Block)、SIB(System Information Block)))、その他の信号またはこれらの組み合わせによって実施されてもよい。また、RRCシグナリングは、RRCメッセージと呼ばれてもよく、例えば、RRC接続セットアップ(RRC Connection Setup)メッセージ、RRC接続再構成(RRC Connection Reconfiguration)メッセージなどであってもよい。
 本開示において説明した各態様/実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
 入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
 判定は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:trueまたはfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
 本開示において説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
 以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨および範囲を逸脱することなく修正および変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
 ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
 また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術(同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL:Digital Subscriber Line)など)および無線技術(赤外線、マイクロ波など)の少なくとも一方を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、これらの有線技術および無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
 本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、またはこれらの任意の組み合わせによって表されてもよい。
 なお、本開示において説明した用語および本開示の理解に必要な用語については、同一のまたは類似する意味を有する用語と置き換えてもよい。例えば、チャネルおよびシンボルの少なくとも一方は信号(シグナリング)であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア(CC:Component Carrier)は、キャリア周波数、セル、周波数キャリアなどと呼ばれてもよい。
 また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。例えば、無線リソースはインデックスによって指示されるものであってもよい。
 上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。様々なチャネル(例えば、PUCCH、PDCCHなど)および情報要素は、あらゆる好適な名称によって識別できるので、これらの様々なチャネルおよび情報要素に割り当てている様々な名称は、いかなる点においても限定的な名称ではない。
 本開示においては、「移動局(MS:Mobile Station)」、「ユーザ端末(user terminal)」、「ユーザ装置(UE:User Equipment)」、「端末」などの用語は、互換的に使用され得る。
 移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。
 本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)(例えば、テーブル、データベースまたは別のデータ構造での探索)、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断(決定)」は、「想定する(assuming)」、「期待する(expecting)」、「みなす(considering)」などで読み替えられてもよい。
 「接続された(connected)」、「結合された(coupled)」という用語、またはこれらのあらゆる変形は、2またはそれ以上の要素間の直接的または間接的なあらゆる接続または結合を意味し、互いに「接続」または「結合」された2つの要素間に1またはそれ以上の中間要素が存在することを含むことができる。要素間の結合または接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、2つの要素は、1またはそれ以上の電線、ケーブルおよびプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域および光(可視および不可視の両方)領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」または「結合」されると考えることができる。
 本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
 本開示において使用する「第1の」、「第2の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量または順序を全般的に限定しない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第1および第2の要素への参照は、2つの要素のみが採用され得ること、または何らかの形で第1の要素が第2の要素に先行しなければならないことを意味しない。
 本開示において、「含む(include)」、「含んでいる(including)」およびそれらの変形が使用されている場合、これらの用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「または(or)」は、排他的論理和ではないことが意図される。
 本開示において、例えば、英語でのa, anおよびtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
 本開示において、「AとBが異なる」という用語は、「AとBが互いに異なる」ことを意味してもよい。なお、当該用語は、「AとBがそれぞれCと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
100…動画配信サーバ、200…ユーザ端末、201…推薦動画情報メニュー、101…動画コンテンツ記憶部、102…お気に入りシーン登録情報記憶部、103…GIF化ファイル記憶部、104…シーン取得部、104a…協調フィルタリング処理部、105…フレーム取得部、106…GIF化処理部、107…配信部。

Claims (10)

  1.  動画コンテンツから取得されたシーン動画から複数のフレームを取得するフレーム取得部と、
     前記複数のフレームおよび当該複数のフレームのフレーム数に基づいてダイジェスト動画を生成する生成部と、
    を備える動画生成装置。
  2.  前記シーン動画は、他の類似ユーザの行動に基づいてシーン動画を選択して、取得する、
    請求項1に記載の動画生成装置。
  3.  前記フレーム取得部は、
     前記シーン動画の長さに応じて、取得するフレームを変える、
    請求項1に記載の動画生成装置。
  4.  前記フレーム取得部は、
     前記シーン動画の長さとして、前記シーン動画を構成するフレーム数に基づいて、フレームを取得する、
    請求項3に記載の動画生成装置。
  5.  前記フレーム取得部は、
     予め定められた上限フレーム数および下限フレーム数に基づいて、フレームを取得する、
    請求項4に記載の動画生成装置。
  6.  前記フレーム取得部は、
     前記シーン動画のフレーム数が、上限フレーム数および下限フレーム数の間であるときは、そのシーン動画に基づいてダイジェスト動画を生成する、
    請求項5に記載の動画生成装置。
  7.  前記フレーム取得部は、
     前記シーン動画のフレーム数が、下限フレーム数未満である場合、前記シーン動画の前後に配置されるシーン動画のいずれかからフレームを取得する、
    請求項5に記載の動画生成装置。
  8.  前記フレーム取得部は、
     前記シーン動画のフレーム数が、下限フレーム数未満である場合、前記シーン動画のつぎに配置される次シーン動画からフレームを取得し、前記次シーン動画が存在しない場合には、前記シーン動画の前に配置される前シーン動画からフレームを取得する、
    請求項7に記載の動画生成装置。
  9.  前記フレーム取得部は、
     前記シーン動画のフレーム数が、上限フレーム数より多い場合、上限フレーム数までのフレームを取得する、
    請求項5に記載の動画生成装置。
  10.  前記生成された複数のダイジェスト動画を含んだメニュー画面をユーザ端末に配信する配信部をさらに備え、
     前記メニュー画面は、前記ユーザ端末においてユーザ操作に従って自動的に前記ダイジェスト動画が順次再生されるよう構成されている、
    請求項1に記載の動画生成装置。
     
PCT/JP2023/027805 2022-10-19 2023-07-28 動画生成装置 WO2024084773A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-167693 2022-10-19
JP2022167693 2022-10-19

Publications (1)

Publication Number Publication Date
WO2024084773A1 true WO2024084773A1 (ja) 2024-04-25

Family

ID=90737346

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/027805 WO2024084773A1 (ja) 2022-10-19 2023-07-28 動画生成装置

Country Status (1)

Country Link
WO (1) WO2024084773A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085207A (ja) * 2001-09-07 2003-03-20 Nippon Telegr & Teleph Corp <Ntt> 映像情報レコメンドシステム、方法及び装置、並びに、映像情報レコメンドプログラム及びプログラムの記録媒体
JP2012253712A (ja) * 2011-06-07 2012-12-20 Sharp Corp 映像コンテンツ再生装置、映像コンテンツ再生方法、プログラム、及び記録媒体
US20190303682A1 (en) * 2018-03-27 2019-10-03 International Business Machines Corporation Automatic video summary generation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085207A (ja) * 2001-09-07 2003-03-20 Nippon Telegr & Teleph Corp <Ntt> 映像情報レコメンドシステム、方法及び装置、並びに、映像情報レコメンドプログラム及びプログラムの記録媒体
JP2012253712A (ja) * 2011-06-07 2012-12-20 Sharp Corp 映像コンテンツ再生装置、映像コンテンツ再生方法、プログラム、及び記録媒体
US20190303682A1 (en) * 2018-03-27 2019-10-03 International Business Machines Corporation Automatic video summary generation

Similar Documents

Publication Publication Date Title
US20130226996A1 (en) Network terminal system and terminal device
EP2745530B1 (en) Display device and method for providing content using the same
US20060143653A1 (en) Broadcasting receiver with functions of recommending broadcasting program and reservation-recording recommended program on network, and method for performing the functions
JPH09322089A (ja) 放送番組送信装置と情報送信装置と文書作成機能を持つ装置と端末装置
CN111263176B (zh) 直播间页面的加载方法、装置、终端、服务器及存储介质
WO2017039243A1 (en) Content viewing device and method for displaying content viewing options thereon
CN110309357B (zh) 应用数据推荐的方法、模型训练的方法、装置及存储介质
CN108363817B (zh) 文件处理方法、装置、移动终端及计算机可读存储介质
CN104221025A (zh) 控制给便携式终端中的应用的权限的装置和方法
US9361787B2 (en) Information processing apparatus, information processing method, program control target device, and information processing system
JP7054732B2 (ja) 対話システム
KR101919257B1 (ko) 애플리케이션 프로그램 전환 방법, 장치 및 전자 단말기
JPWO2020054451A1 (ja) 対話装置
CN110647827A (zh) 评论信息处理方法、装置以及电子设备、存储介质
WO2024084773A1 (ja) 動画生成装置
US11971977B2 (en) Service providing apparatus
JP7087095B2 (ja) 対話情報生成装置
CN115756683A (zh) 一种画面展示方法、装置、存储介质及电子设备
KR20230114839A (ko) 이미지 기반 검색 장치 및 방법
WO2024147222A1 (ja) レコメンド装置および学習装置
US8942534B2 (en) Information processing apparatus, information processing method, program, and information processing system
JP2023525205A (ja) 情報処理方法、装置及び記憶媒体
JP6937351B2 (ja) 情報提供システム
JP2023063034A (ja) 情報提供装置
US20100306794A1 (en) Method and device for channel management

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23879426

Country of ref document: EP

Kind code of ref document: A1