WO2022176633A1 - 映像編集装置、映像編集方法、及びコンピュータプログラム - Google Patents

映像編集装置、映像編集方法、及びコンピュータプログラム Download PDF

Info

Publication number
WO2022176633A1
WO2022176633A1 PCT/JP2022/004267 JP2022004267W WO2022176633A1 WO 2022176633 A1 WO2022176633 A1 WO 2022176633A1 JP 2022004267 W JP2022004267 W JP 2022004267W WO 2022176633 A1 WO2022176633 A1 WO 2022176633A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
editing
edited
user
event
Prior art date
Application number
PCT/JP2022/004267
Other languages
English (en)
French (fr)
Inventor
貴司 田所
Original Assignee
株式会社Gravitas
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Gravitas filed Critical 株式会社Gravitas
Priority to CN202280004882.1A priority Critical patent/CN115699723B/zh
Priority to KR1020237011287A priority patent/KR102625045B1/ko
Priority to EP22755954.9A priority patent/EP4203460A1/en
Priority to US18/001,108 priority patent/US11942115B2/en
Priority to KR1020247000994A priority patent/KR20240010578A/ko
Publication of WO2022176633A1 publication Critical patent/WO2022176633A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Definitions

  • the present invention relates to a video editing device for editing a plurality of videos used to create a commercial video work to create another video.
  • Patent Literature 1 discloses a technique for creating a video work by editing shot materials based on a scenario.
  • the multiple material images obtained from multiple video cameras are not used except for the images that will become the video work.
  • Material images that are not used in video works never see the light of day and are usually stored as they are.
  • a portion of the material video that is not included in the video work may include video that the user desires.
  • an object of the present invention is to provide a video editing device that allows a user to edit material video to create a unique video work.
  • a video editing apparatus of the present invention comprises video storage means for storing a plurality of unedited material videos obtained by shooting one event with a plurality of shooting devices and used to create a video work related to the event; and editing means for creating an edited video relating to the event according to a user's request using a plurality of material videos, wherein the editing means edits each of the plurality of material videos stored in the video storage means.
  • metadata is added to each scene so that the contents of the image can be understood, and when an editing standard is input from the outside, the degree of matching between the editing standard and the plurality of material videos is determined based on the metadata. , and the edited video is created using some of the material videos extracted according to the degree of matching.
  • FIG. 1 is a configuration explanatory diagram of a video editing system
  • FIG. 2 is a functional block diagram of a video editing device
  • (a) to (d) are illustrative diagrams of data structures.
  • FIG. 4 is an exemplary diagram of a selection screen;
  • FIG. 4 is an exemplary diagram of an operation screen; Illustration of tagging.
  • (a) and (b) are explanatory diagrams of scene extraction. Explanatory drawing of an edited image.
  • FIG. 4 is a sequence diagram of a video editing sequence;
  • FIG. 4 is an exemplary diagram of a home screen;
  • FIG. 4 is an exemplary diagram of a display screen;
  • (a) and (b) are configuration explanatory diagrams of a video editing apparatus according to a modification.
  • FIG. 1 is a configuration explanatory diagram of a video editing system including a video editing device to which the present invention is applied.
  • This video editing system 1 is configured such that a video editing device 10 and a user terminal 20 can communicate with each other via a network N.
  • FIG. A video editing device 10 is a server that stores a plurality of video data.
  • the user terminal 20 is an information processing terminal such as a personal computer, a smart phone, a tablet terminal, etc., which can be operated under the user's own control. Although two user terminals 20 are shown in FIG. 1, the number of user terminals 20 is arbitrary and may be one or three or more.
  • the video editing device 10 includes computer components including a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, and a storage 104, and a communication interface (I/F) 105.
  • Computer components and communication I/F 105 are communicably connected via bus 106 .
  • the CPU 101 controls operations of the video editing apparatus 10 by executing computer programs stored in the ROM 102 .
  • a RAM 103 provides a work area for the CPU 101 to execute processing.
  • the storage 104 is a large-capacity storage device such as a HDD (Hard Disk Drive) or SSD (Solid State Drive).
  • the storage 104 stores a plurality of image data including material images of performers (artists) of events such as concerts and plays.
  • the storage 104 also stores audio data including sounds collected at events where a plurality of pieces of video data were obtained.
  • the communication interface 105 performs communication with the user terminal 20 according to the communication protocol of the network N. FIG.
  • the user terminal 20 includes a CPU 201, a ROM 202, a RAM 203, a communication interface (I/F) 204, an operation section 205, a display 206, and a speaker 207. Each unit is communicably connected via a bus 208 .
  • the CPU 201 controls operations of the user terminal 20 by executing computer programs stored in the ROM 202 .
  • a RAM 203 provides a work area for the CPU 201 to execute processing.
  • the operation unit 205 is an input interface and receives various operation inputs from the user, which will be described later.
  • the received operation inputs are, for example, instructions for editing a plurality of video data stored in the video editing apparatus 10 and other information processing instructions. Instructions input through the operation unit 205 are transmitted to the CPU 201 .
  • the CPU 201 performs information processing according to instructions obtained from the operation unit 205 .
  • the display 206 displays an input screen for inputting instructions by the user and images obtained from the image editing apparatus 10 .
  • a speaker 207 outputs audio obtained from the video editing apparatus 10 under the control of the CPU 201 .
  • the communication interface 204 performs communication with the video editing apparatus 10 according to the communication protocol of the network N.
  • the user terminal 20 In the video editing system 1 configured as described above, the user terminal 20 generates an editing instruction including an editing standard based on the user's preference, according to the content of the instruction input from the operation unit 205 .
  • the user terminal 20 transmits the generated editing instruction to the video editing apparatus 10 via the network N using the communication interface 204 .
  • the video editing device 10 acquires the editing instruction transmitted from the user terminal 20 via the communication interface 105.
  • the video editing apparatus 10 edits a plurality of video data in the storage 104 based on the acquired editing instruction to generate edited video data representing one edited video.
  • the video editing apparatus 10 transmits the edited video data and the audio data synchronized with the edited video data to the user terminal 20 via the network N through the communication interface 105 .
  • the user terminal 20 acquires the edited video data and audio data transmitted from the video editing device 10 via the communication interface 204 .
  • the user terminal 20 displays the edited video obtained by processing the acquired edited video data on the display 206 and outputs the audio obtained by processing the acquired audio data from the speaker 207 . In this way, the user of the user terminal 20 can view video and audio that suit his/her taste.
  • FIG. 2 is a functional block diagram of the video editing device 10. As shown in FIG. Each functional block may be implemented by CPU 101 executing a computer program, or at least a part thereof may be implemented by hardware.
  • the video editing apparatus 10 includes a video storage unit 110, an audio storage unit 111, a registration information storage unit 112, an edited video storage unit 113, a video editing unit 114, a user management unit 115, a preference learning unit 116, an input unit 117, and an output unit. 118.
  • computer components are operated as such functional blocks.
  • the video storage unit 110, the audio storage unit 111, the registration information storage unit 112, and the edited video storage unit 113 are realized by the CPU 101 and the storage 104.
  • Video editing unit 114 , user management unit 115 , and preference learning unit 116 are implemented by CPU 101 .
  • the input unit 117 and output unit 118 are implemented by the CPU 101 and the communication interface 105 .
  • the video storage unit 110 stores a plurality of video data.
  • a plurality of video data includes material video captured by a plurality of video cameras installed at one event venue. These material images are material images used when creating (editing) a commercial video work related to the event, and are used in the edited video (first edited video) edited based on professional editing standards by the creator. It is a raw material video in an unedited state. Conventionally, such unedited material images have generally been discarded after the creation of the video work.
  • FIG. 3 is an explanatory diagram of video data acquisition.
  • FIG. 3 shows an arrangement example of a plurality of photographing devices (video cameras C1 to C25) used at a concert hall.
  • Each of the video cameras C1 to C25 is arranged so as to photograph the stage 300 from various angles.
  • the video cameras C1 to C16 shoot the stage 300 from the audience seats.
  • Video cameras C 17 -C 19 are used on stage 300 .
  • the video cameras C20-C22 are installed on special equipment such as a crane and photograph the stage 300.
  • the video camera C23 photographs the stage 300 from the center
  • the video camera C24 photographs the stage 300 from the right side
  • the video camera C25 photographs the stage 300 from the left side.
  • a role is assigned to each of the video cameras C1 to C25.
  • the video cameras C1, C3, C5, C7, and C9 each capture a close-up of a particular performer's face.
  • the video cameras C2, C4, C6, C8, and C10 respectively photograph the entire body of specific performers.
  • Video cameras C11 to C13 shoot all performers.
  • the video cameras C14 to C16 shoot the performers who are singing the main part.
  • Video cameras C17 and C18 shoot other performers (members) on stage 300 from a short distance.
  • a video camera C19 photographs the performer.
  • a video camera for photographing the members in the dressing room may be used.
  • the videos shot by the video cameras C1 to C25 are stored in the video storage unit 110 of the storage 104 after being used by the creator to create video works as material videos.
  • sounds are recorded by a sound collector at the concert venue (event venue). Audio data including recorded audio is stored in the audio storage unit 111 .
  • the registration information storage unit 112 stores registration data including registration information of a user who instructs editing of the material video stored in the video storage unit 110 by the user terminal 20 .
  • the edited video storage unit 113 stores edited video data including edited video created according to user instructions.
  • FIG. 4 is an exemplary diagram of the data structure of each data stored in the video storage unit 110, the audio storage unit 111, the registration information storage unit 112, and the edited video storage unit 113.
  • FIG. FIG. 4( a ) is an exemplary configuration diagram of video data stored in the video storage unit 110 .
  • FIG. 4(b) is an exemplary configuration diagram of audio data stored in the audio storage unit 111.
  • FIG. 4(c) is an exemplary configuration diagram of registration data stored in the registration information storage unit 112.
  • FIG. 4D is a diagram illustrating the configuration of edited video data stored in the edited video storage unit 113. As shown in FIG.
  • the video data shown in FIG. 4A has a structure in which an event ID for identifying the event in which the material video was shot and a camera ID for identifying the video camera that shot the material video are added to the material video.
  • the material video can be identified by the event ID and the camera ID as the video captured by which video camera of which event.
  • the audio data in FIG. 4(b) has a structure in which an event ID that identifies the event in which the audio was recorded is added to the audio. Video data and audio data are linked by an event ID. During playback, video and audio are played back in sync. A synchronization signal for that purpose is included in the video data and the audio data.
  • the registration data in FIG. 4(c) has a structure in which a user's personal information (registration information) is given a user ID that identifies the user and an edited video ID that identifies the edited video created by the user. Preference data, which will be described later, representing the user's preference is added to the registration data.
  • the user's personal information is input by the user through the operation unit 205 of the user terminal 20 .
  • the video editing device 10 manages the registration information storage section 112 by means of the user management section 115 .
  • the user management unit 115 creates registration data by adding a user ID to the user's personal information acquired from the user terminal 20 , and stores the registration data in the registration information storage unit 112 .
  • the personal information includes the user's name, contact information, login password, and the like.
  • the edited video ID is assigned to identify the edited video when the user creates the edited video by independently editing the material video.
  • the edited video ID is added to the registration data each time the user creates an edited video.
  • the edited video data in FIG. 4(d) has a structure in which an edited video ID is assigned to an edited video created by the user.
  • the video editing unit 114 stores the edited video data created by assigning an edited video ID to the edited video in the edited video storage unit 113 .
  • the user management unit 115 adds the edited video ID to the registration data of the user who created the edited video.
  • the registered data and the edited video are linked by the edited video ID.
  • the edited video only needs to be reproducible, and may be configured by combining the video itself and, for example, information indicating the scene of the material video used in the edited video.
  • the scene of the first material video is indicated when the playback time is 0 to 5 seconds
  • the scene of the second material video is indicated when the playback time is 5 to 8 seconds
  • the image editing unit 114 edits the plurality of material images stored in the image storage unit 110 based on the editing standard (second editing standard) included in the editing instruction obtained from the user terminal 20, and edits the material images according to the user's preference. Create an edited video.
  • the video editing unit 114 analyzes the material video before creating the edited video, and identifies performers in the video for each scene by, for example, face recognition technology.
  • the video editing unit 114 tags the material video as described above so that the specified performer can be identified.
  • the video editing unit 114 determines a video that matches the editing standard based on the editing standard and the tag added to each material video, and extracts the video from a plurality of material videos.
  • the video editing unit 114 creates one edited video by combining the extracted videos.
  • the video editing unit 114 calculates, for example, the degree of matching with the editing standard for each scene of each material video.
  • the video editing unit 114 extracts the material video with the highest matching degree for each scene to create an edited video.
  • the video editing unit 114 may calculate the matching degree using the preference data and the editing standard. By adding preference data, it is possible to automatically obtain an edited video that more closely matches the user's preference.
  • the edited video is transmitted to the user terminal 20 and stored in the edited video storage unit 113 with an edited video ID.
  • the preference learning unit 116 learns the user's preferences using editing standards and edited video as teacher data.
  • the preference learning unit 116 acquires the editing standard acquired from the user terminal 20 and the edited video created based on the editing standard.
  • the preference learning unit 116 performs machine learning based on the obtained editing criteria and edited video, and creates preference data for the user.
  • the user management unit 115 adds the preference data to the registered data of the user.
  • the preference learning unit 116 performs machine learning and updates preference data each time the user instructs to create an edited video. Therefore, by creating a large number of edited videos by the user, it is possible to create an edited video that is more suited to the user's taste.
  • the input unit 117 acquires instructions such as editing instructions transmitted from the user terminal 20 .
  • the output unit 118 transmits edited video data representing the edited video and audio data corresponding to the edited video to the user terminal 20 .
  • FIG. 5 is a functional block diagram of the user terminal 20. As shown in FIG. Each function may be implemented by CPU 201 executing a computer program, or may be implemented at least partially by hardware. In this embodiment, an example in which each function is realized by installing and executing application software for creating an edited video using the video editing apparatus 10 in the user terminal 20 will be described.
  • the user terminal 20 functions as an input unit 210, an output unit 211, an output control unit 212, a transmission data generation unit 213, and a communication control unit 214. That is, it operates as such a functional block.
  • the input unit 210 is implemented by the CPU 201 and the operation unit 205 .
  • the output unit 211 is implemented by the CPU 201 , the display 206 and the speaker 207 .
  • the output control unit 212 and the transmission data generation unit 213 are implemented by the CPU 201 .
  • a communication control unit 214 is realized by the CPU 201 and the communication interface 204 .
  • the input unit 210 receives instructions and the like input by the user through the operation unit 205 .
  • the output unit 211 displays a screen on the display 206 and outputs sound from the speaker 207 under the control of the output control unit 212 .
  • the transmission data generation unit 213 generates transmission data to be transmitted to the video editing apparatus 10 based on the instructions received by the input unit 210 .
  • the output control unit 212 causes the display 206 to display an operation screen for creating an edited video using the video editing device 10 .
  • display 206 first displays a selection screen for selecting the material video of which event to edit.
  • FIG. 6 is an exemplary view of the selection screen. The selection screen displays the event name and the date of the event. The user selects an event to be edited from the selection screen using the operation unit 205 .
  • FIG. 7 is an exemplary diagram of an operation screen in this case.
  • the operation screen includes a main viewer 701, a member selection button 702, a parameter adjustment bar 703, a sales field 704, a share button 705, and a save button 706.
  • An edited video is displayed on the main viewer 701 .
  • Member selection buttons 702 and parameter adjustment bar 703 are used by the user to enter desired editing criteria.
  • a product sales field 704 is a field for introducing goods related to the event selected on the selection screen, and is linked to the sales site of the related goods.
  • the user selects the desired member using the member selection button 702.
  • Members selected by the member selection button 702 are performers of the event.
  • the user can use the parameter adjustment bar 703 to set the appearance (attraction/pulling) of the desired member, the appearance of other members, recommended images, and the like.
  • the transmission data generation unit 213 creates an edit instruction using these settings as edit criteria.
  • the communication control unit 214 communicates with the video editing device 10. For example, the communication control unit 214 transmits an editing instruction to the video editing device 10 .
  • the communication control unit 214 acquires the edited video data and audio data edited based on the editing instruction from the video editing apparatus 10 and transmits them to the output control unit 212 .
  • the output control unit 212 displays the edited video based on the acquired edited video data on the main viewer 701 and outputs audio based on the acquired audio data from the speaker 207 . This allows the user to view edited video that matches his or her taste.
  • Video editing An example of video editing by the video editing system 1 as described above will be described. Video editing is performed by the video editing unit 114 as described above. Here, a case where a shifted image of "member A" is set as an editing standard will be described.
  • the video editing unit 114 learns each member's face image in advance, and extracts the member from each material video using face recognition technology. For example, the video editing unit 114 extracts members for each scene of the material video. The video editing unit 114 determines that the scene has changed, for example, each time the member included in the video changes. The video editing unit 114 tags the extracted member to the scene of the material video.
  • FIG. 8 is an explanatory diagram of the case where members are tagged to the material video.
  • the material images in Fig. 8 are images shot mainly by a video camera that shoots member A.
  • the first scene (playback time t0-t1) is tagged with "members A, C, and D”.
  • the second scene (playback time t1-t2) is tagged with "Members A, B”.
  • the third scene (playback time t2-t3) is tagged with "all members”.
  • “Member A” is tagged to the fourth scene (playback time t3-t4).
  • “Members A, F” are tagged to the fifth scene (from playback time t5).
  • the video editing unit 114 that has tagged all the material videos edits the edited video based on the editing standards.
  • member A is specified as an editing reference
  • a video (scene) including member A is extracted from each material video to create an edited video.
  • FIG. 9 is an explanatory diagram of scene extraction. 9(a) and 9(b) are images shot by different video cameras at the same timing. Each video contains members A, B, and C.
  • the image in FIG. 9(a) shows member A in the largest size
  • the image in FIG. 9(b) shows member A in the second largest size.
  • the video editing unit 114 calculates the degree of matching with the editing standard for each video. Since the editing standard is the shifted image of "member A", the degree of matching in FIG. 9A is higher than the degree of matching in FIG. 9B. Therefore, the video editing unit 114 extracts a scene including the video shown in FIG. 9(a). At this time, the video editing unit 114 may add the user's preference data to the degree of matching criteria. For example, if the user prefers member A to appear in the center of the video, the matching degree includes the position of member A in addition to the size of member A in the video.
  • the video editing unit 114 creates an edited video by combining the scenes extracted from each material video in this way.
  • FIG. 10 is an explanatory diagram of an edited video in which scenes are combined.
  • members appearing in a plurality of material videos obtained from a plurality of video cameras are tagged for each scene. automatically create.
  • the video editing unit 114 captures and combines scenes tagged with "member A” from each material video to create an edited video.
  • member A is tagged at the same timing in a plurality of material videos
  • the video editing unit 114 selects a scene to be captured according to the degree of matching as described with reference to FIG.
  • the edited video in FIG. 10 is constructed by selecting scenes indicated by shading from each material video. With conventional professional editing standards, scenes are selected evenly by each member and the video work is completed.
  • an edited video with biased members is created.
  • FIG. 11 is a sequence diagram of a video editing sequence.
  • the user has been registered as a user, and a plurality of material videos are stored in the video storage unit 110 .
  • FIG. 12 is an exemplary view of the home screen.
  • the home screen includes a 'login ID' field 1201 , a 'password' field 1202 , a 'edit video' button 1203 , and a 'watch' button 1204 .
  • the user enters a login ID in a “login ID” field 1201 and a password in a “password” field 1202 using the operation unit 205 .
  • the user selects either the “edit video” button 1203 or the “watch” button 1204 using the operation unit 205 .
  • the user selects the “edit video” button 1203 .
  • the selection screen in FIG. 6 is displayed on the display 206 (S103).
  • the user terminal 20 requests a list of event names and holding dates of material videos stored in the video storage unit 110 from the video editing device 10 .
  • the video editing device 10 transmits the event name and date list to the user terminal 20 (S201).
  • the user terminal 20 acquires the event name and date list.
  • the user selects an event to be edited from the selection screen using the operation unit 205 .
  • the operation screen shown in FIG. 7 is displayed on the display 206 (S104).
  • the user selects desired editing conditions from the operation screen using the operation unit 205 .
  • the user sets the desired member and the image quality of the desired member using the member selection button 702 and the parameter adjustment bar 703 .
  • the transmission data generation unit 213 creates an edit instruction using these settings as edit criteria.
  • the transmission data generating unit 213 generates an editing instruction including editing criteria based on the selected conditions (S105).
  • the edit instruction also includes the user's user ID and password entered on the home screen.
  • the user terminal 20 transmits the editing instruction generated by the transmission data generation unit 213 to the video editing apparatus 10 via the network N by the communication control unit 214 (S106).
  • the video editing device 10 acquires the editing instruction transmitted from the user terminal 20 by the input unit 117 (S202).
  • the video editing apparatus 10 refers to the registration data by the user management unit 115, and performs user authentication using the user ID and password included in the editing instruction (S203). The following processing is executed when user authentication is successful. If the user authentication fails, the video editing apparatus 10 transmits a notification to the user terminal 20 requesting re-entry of the user ID and password, and performs user authentication again.
  • the video editing device 10 edits the material video as described above based on the editing criteria included in the editing instruction by the video editing unit 114, and creates an edited video (S204).
  • the video editing apparatus 10 transmits the edited video data representing the edited video and the audio data of the corresponding audio to the user terminal 20 via the network N by the output unit 118 (S205).
  • the video editing unit 114 adds the user ID to the created edited video and stores it in the edited video storage unit 113 (S206).
  • the video editing apparatus 10 learns the editing criteria acquired in this process and the edited video created by the preference learning unit 116 to generate preference data, and adds the preference data to the corresponding registration data in the registration information storage unit 112 . If the preference data has already been added to the registration data, the preference data is updated (S207).
  • the user terminal 20 acquires the edited video data and audio data transmitted from the video editing device 10 by the communication control unit 214 (S107).
  • the output control unit 212 of the user terminal 20 converts the edited video data and audio data into a format that can be output, and outputs the converted data from the output unit 211 (S108).
  • the output unit 211 displays the edited video on the display 206 and outputs audio from the speaker 207 .
  • the edited video may be displayed on the main viewer 701 of the operation screen in FIG. 7, but may also be displayed on another display screen.
  • FIG. 13 is an exemplary view of a display screen displaying an edited video. This display screen is displayed by switching from the operation screen of FIG. 7 after the editing instruction is transmitted from the user terminal 20 to the video editing apparatus 10 in the process of S106.
  • the display screen includes a main viewer 701 , a comment column 1301 , a share button 1302 and a save button 1303 .
  • the edited video is displayed on the main viewer 701 .
  • the user can share the edited video being displayed with other users.
  • comments of the user and other users can be displayed in the comment field 1301 .
  • the user can save the edited video being displayed in the user terminal 20 by pressing a save button 1303 . It should be noted that whether or not the video editing apparatus 10 stores the edited video in the process of S206 may be determined by pressing the save button 1303 .
  • the display screen in FIG. 13 is also displayed when the "view" button 1204 in FIG. 12 is selected.
  • the user can view not only the edited video created by himself/herself, but also the edited video created by other users and set to be shared.
  • FIG. 14 is an explanatory diagram of the configuration of a modified video editing device.
  • 14(a) shows the hardware configuration of the video editing device 30, and
  • FIG. 14(b) shows the functional blocks of the video editing device 30.
  • the video editing device 30 has a configuration in which the video editing device 10 and the user terminal 20 shown in FIG. 1 are integrated.
  • the video editing device 30 has a configuration in which an operation unit 107, a display 108, and a speaker 109 are added to the video editing device 10 of FIG.
  • An operation unit 107 is an input interface having the same functions as the operation unit 205 of the user terminal 20 in FIG.
  • the display 108 has the same function as the display 206 of the user terminal 20 in FIG. 1, but is a display device with improved screen size, image quality, and the like.
  • the speaker 109 has the same function as the speaker 207 of the user terminal 20 of FIG. 1, but has higher sound quality.
  • the video editing device 30 has the same configuration as the functional blocks of the video editing device 10 in FIG. 2, but the functions of the input section 119 and the output section 120 are different. That is, the input unit 119 receives instructions such as editing instructions directly from the operation unit 107 without going through the network N. FIG. The output unit 120 outputs the edited video and audio directly from the display 108 and the speaker 109 without transmitting the edited video data and audio data via the network N.
  • the video editing device 30 may record the edited video on a recording medium and provide it to the user.
  • the video editing device 30 includes a device for writing to recording media such as USB memory, DVD, and Blu-ray (registered trademark).
  • the user instructs to write the edited video to the recording medium.
  • the video editing device 30 writes the edited video to the recording medium according to this instruction.
  • the recording medium thus created is provided to the user and used by the user.
  • Such a video editing device 30 is installed, for example, in a dedicated facility equipped with the latest display 108 and speaker 109. Even if the user terminal 20 uses a high-performance personal computer, there is a limit to the sense of realism. On the other hand, when the video editing device 30 is installed in a dedicated facility, for example, the user can enjoy the edited video with high image quality and high sound quality and a high sense of presence.
  • the video editing system 1 it is possible to effectively utilize unedited material video that has conventionally had no choice but to be discarded or hoarded.
  • the user can edit the material video according to his/her own editing standard different from the professional editing standard, so that he/she can customize and enjoy an event such as a concert as his or her own original video work. Therefore, the user can continuously enjoy the same event from different viewpoints.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Studio Devices (AREA)

Abstract

映像編集装置は、一つのイベントを複数の撮影装置で撮影して得られ、イベントに関する映像作品の作成に用いられた未編集の複数の素材映像を格納する映像格納部と、複数の素材映像を用いてユーザの要求に応じたイベントに関する編集映像を作成する映像編集部と、を備える。映像編集部、映像格納部に格納されている複数の素材映像の各々に対して、シーン毎に、映っている内容がわかるようにメタデータを付加し、外部から編集基準が入力されたときに当該編集基準と複数の素材映像との合致度をメタデータに基づいて算出するとともに、合致度に応じて抽出したいくつかの素材映像を用いて編集映像を作成する。

Description

映像編集装置、映像編集方法、及びコンピュータプログラム
　本発明は、商用の映像作品の作成に用いられた複数の映像を編集して別の映像を作成するための映像編集装置に関する。
　コンサートのようなイベントを映像作品として商品化する場合、複数台、例えば３０台程度のビデオカメラにより様々なアングルから撮影された映像を編集して一本の映像作品とすることが多い。編集前の映像を「素材映像」と呼ぶ。映像作品は、記録媒体に記録されて販売あるいは配信される。商用の映像作品は、複数のビデオカメラから得られる複数の素材映像が、特定の編集基準、例えば特定目的に適合するプロフェッショナルな基準に基づいて一つの映像に選別・編集されて作成されるのが通常である。また、撮影前に所定のシナリオを作成し、このシナリオに基づいて自動的に素材映像を編集する装置もある。特許文献１には、シナリオに基づいて撮影素材を編集することで映像作品を作成する技術が開示されている。
特開２００２－０１６８７１号公報
　複数のビデオカメラから得られた複数の素材映像は、映像作品となる映像以外の部分が使用されない。映像作品に使用されない素材映像は日の目を見ることが無く、通常はそのまま死蔵される。しかし、ユーザにとっては素材映像の映像作品に含まれない部分に自身が欲する映像が含まれる場合がある。素材映像の映像作品に含まれない部分をユーザに開放するサービスは、現状提供されていない。
　本発明は、上述の問題に鑑み、素材映像をユーザが編集して独自の映像作品を作成することが可能な映像編集装置を提供することを目的とする。
　本発明の映像編集装置は、一つのイベントを複数の撮影装置で撮影して得られ、前記イベントに関する映像作品の作成に用いられた未編集の複数の素材映像を格納する映像格納手段と、前記複数の素材映像を用いてユーザの要求に応じた前記イベントに関する編集映像を作成する編集手段と、を備え、前記編集手段は、前記映像格納手段に格納されている前記複数の素材映像の各々に対して、シーン毎に、映っている内容がわかるようにメタデータを付加し、外部から編集基準が入力されたときに当該編集基準と前記複数の素材映像との合致度を前記メタデータに基づいて算出するとともに、前記合致度に応じて抽出したいくつかの素材映像を用いて前記編集映像を作成することを特徴とする。
　本発明によれば、第１編集基準の下では使用されなかった素材映像をユーザが第２編集基準の下で編集して独自の映像作品を作成することが可能となる。
映像編集システムの構成説明図。 映像編集装置の機能ブロック図。 映像データ取得の説明図。 （ａ）～（ｄ）は、データ構成の例示図。 ユーザ端末の機能ブロック図。 選択画面の例示図。 操作画面の例示図。 タグ付けの説明図。 （ａ）、（ｂ）は、シーン抽出の説明図。 編集映像の説明図。 映像編集シーケンスのシーケンス図。 ホーム画面の例示図。 表示画面の例示図。 （ａ）、（ｂ）は、変形例の映像編集装置の構成説明図。
　以下に、本発明の実施形態について図面を用いて説明する。
（全体構成）
　図１は、本発明を適用した、映像編集装置を含む映像編集システムの構成説明図である。この映像編集システム１は、映像編集装置１０とユーザ端末２０とがネットワークＮを介して通信可能に構成される。映像編集装置１０は、複数の映像データを格納したサーバである。ユーザ端末２０は、パーソナルコンピュータ、スマートフォン、タブレット端末等、ユーザが自己の管理下で操作可能な情報処理端末である。ユーザ端末２０は、図１では二台示しているが、台数は任意であり、一台であっても良く、あるいは三台以上であってもよい。
　映像編集装置１０は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ストレージ１０４を含むコンピュータ部品と、通信インタフェース（Ｉ／Ｆ）１０５とを備える。コンピュータ部品と通信Ｉ／Ｆ１０５は、バス１０６を介して通信可能に接続される。ＣＰＵ１０１は、ＲＯＭ１０２に格納されたコンピュータプログラムを実行することで映像編集装置１０の動作を制御する。ＲＡＭ１０３は、ＣＰＵ１０１が処理を実行する際の作業領域を提供する。
　ストレージ１０４は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の大容量記憶装置である。ストレージ１０４には、コンサート、演劇等のイベントの出演者（アーティスト）を撮影した素材映像を含む複数の映像データが格納される。ストレージ１０４には、また、複数の映像データが得られたイベントで集音された音声を含む音声データも格納される。通信インタフェース１０５は、ネットワークＮの通信プロトコルに応じた通信をユーザ端末２０との間で行う。
　ユーザ端末２０は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、通信インタフェース（Ｉ／Ｆ）２０４、操作部２０５、ディスプレイ２０６、及びスピーカ２０７を備える。各部は、バス２０８を介して通信可能に接続される。ＣＰＵ２０１は、ＲＯＭ２０２に格納されたコンピュータプログラムを実行することにより、ユーザ端末２０の動作を制御する。ＲＡＭ２０３は、ＣＰＵ２０１が処理を実行する際の作業領域を提供する。
　操作部２０５は、入力インタフェースであり、後述するユーザからの様々な操作入力を受け付ける。受け付ける操作入力は、例えば映像編集装置１０に格納される複数の映像データを編集するための指示、その他の情報処理の指示である。操作部２０５を通じて入力された指示はＣＰＵ２０１へ送信される。ＣＰＵ２０１は、操作部２０５から取得した指示に応じた情報処理を行う。ディスプレイ２０６は、ＣＰＵ２０１の制御により、ユーザによる指示の入力を行う際の入力画面や、映像編集装置１０から取得した映像を表示する。スピーカ２０７は、ＣＰＵ２０１の制御により、映像編集装置１０から取得した音声を出力する。通信インタフェース２０４は、ネットワークＮの通信プロトコルに応じた通信を映像編集装置１０との間で行う。
　このような構成の映像編集システム１では、ユーザ端末２０が、操作部２０５から入力された指示の内容に応じて、ユーザの嗜好に基づく編集基準を含む編集指示を生成する。ユーザ端末２０は、生成した編集指示を、通信インタフェース２０４によりネットワークＮを介して映像編集装置１０へ送信する。
　映像編集装置１０は、通信インタフェース１０５によりユーザ端末２０から送信された編集指示を取得する。映像編集装置１０は、取得した編集指示に基づいてストレージ１０４内の複数の映像データを編集して一つの編集映像を表す編集映像データを生成する。映像編集装置１０は、編集映像データ及び該編集映像データに同期した音声データを、通信インタフェース１０５によりネットワークＮを介してユーザ端末２０へ送信する。
　ユーザ端末２０は、通信インタフェース２０４により映像編集装置１０から送信された編集映像データ及び音声データを取得する。ユーザ端末２０は、取得した編集映像データを処理して得られた編集映像をディスプレイ２０６に表示し、且つ取得した音声データを処理して得られた音声をスピーカ２０７から出力する。このようにしてユーザ端末２０のユーザは、自身の嗜好に合った映像及び音声を視聴することができる。
　次に、映像編集装置１０及びユーザ端末２０について詳細に説明する。
（映像編集装置）
　図２は、映像編集装置１０の機能ブロック図である。各機能ブロックは、ＣＰＵ１０１がコンピュータプログラムを実行することで実現されるほか、少なくとも一部がハードウェアにより実現されてもよい。映像編集装置１０は、映像格納部１１０、音声格納部１１１、登録情報格納部１１２、編集映像格納部１１３、映像編集部１１４、ユーザ管理部１１５、嗜好学習部１１６、入力部１１７、及び出力部１１８として機能する。つまり、コンピュータ部品をこのような機能ブロックとして動作させる。
　映像格納部１１０、音声格納部１１１、登録情報格納部１１２、及び編集映像格納部１１３は、ＣＰＵ１０１及びストレージ１０４により実現される。映像編集部１１４、ユーザ管理部１１５、及び嗜好学習部１１６は、ＣＰＵ１０１により実現される。入力部１１７及び出力部１１８は、ＣＰＵ１０１及び通信インタフェース１０５により実現される。
　映像格納部１１０は、複数の映像データを格納する。複数の映像データは、一つのイベント会場に設置された複数のビデオカメラにより撮影された素材映像を含む。これらの素材映像は、イベントに関する商用の映像作品を作成（編集）する際に用いられた素材映像であり、クリエータによるプロフェッショナルな編集基準に基づいて編集された編集映像（第１編集映像）に用いられた未編集状態の素材映像である。このような未編集の素材映像は、従来は映像作品の作成後に廃棄されるのが一般的であった。
　図３は、映像データ取得の説明図である。図３はコンサート会場で用いられる複数の撮影装置（ビデオカメラＣ１～Ｃ２５）の配置例を示す。各ビデオカメラＣ１～Ｃ２５は、ステージ３００上を様々なアングルから撮影するように配置されている。本例の場合、ビデオカメラＣ１～Ｃ１６は、客席からステージ３００を撮影する。ビデオカメラＣ１７～Ｃ１９は、ステージ３００上で使用される。ビデオカメラＣ２０～Ｃ２２は、クレーン等の特別機材に設置されてステージ３００を撮影する。ビデオカメラＣ２３はステージ３００を中央から撮影し、ビデオカメラＣ２４はステージ３００を右側から撮影し、ビデオカメラＣ２５はステージ３００を左側から撮影する。
　各ビデオカメラＣ１～Ｃ２５には、それぞれ役割が与えられている。本例では、ビデオカメラＣ１、Ｃ３、Ｃ５、Ｃ７、Ｃ９は、それぞれ特定の出演者の顔のアップを撮影する。ビデオカメラＣ２、Ｃ４、Ｃ６、Ｃ８、Ｃ１０は、それぞれ特定の出演者の全身を撮影する。ビデオカメラＣ１１～Ｃ１３は、全出演者を撮影する。ビデオカメラＣ１４～Ｃ１６は、メインで歌っている出演者を撮影する。ビデオカメラＣ１７、Ｃ１８は、ステージ３００で近距離から他の出演者（メンバー）を撮影する。ビデオカメラＣ１９は、演奏者を撮影する。また、ビデオカメラＣ１～Ｃ２５の他に、楽屋でメンバーを撮影するためのビデオカメラが用いられてもよい。
　各ビデオカメラＣ１～Ｃ２５で撮影された映像は、素材映像としてクリエータにより映像作品の作成に用いられた後に、ストレージ１０４の映像格納部１１０に格納される。なお、ビデオカメラＣ１～Ｃ２５の撮影と同時に、コンサート会場（イベント会場）では、集音装置により音声が録音される。録音された音声を含む音声データは、音声格納部１１１に格納される。
　登録情報格納部１１２は、ユーザ端末２０により映像格納部１１０に格納された素材映像の編集の指示を行うユーザの登録情報を含む登録データを格納する。編集映像格納部１１３は、ユーザの指示により編集作成された編集映像を含む編集映像データを格納する。
　図４は、映像格納部１１０、音声格納部１１１、登録情報格納部１１２、及び編集映像格納部１１３に格納される各データのデータ構成の例示図である。図４（ａ）は、映像格納部１１０に格納される映像データの構成例示図である。図４（ｂ）は、音声格納部１１１に格納される音声データの構成例示図である。図４（ｃ）は、登録情報格納部１１２に格納される登録データの構成例示図である。図４（ｄ）は、編集映像格納部１１３に格納される編集映像データの構成例示図である。
　図４（ａ）の映像データは、素材映像に、その素材映像が撮影されたイベントを識別するイベントＩＤ及び該素材映像を撮影したビデオカメラを識別するカメラＩＤが付与された構造のものである。素材映像は、イベントＩＤ及びカメラＩＤにより、どのイベントのどのビデオカメラで撮影された映像であるかを特定することができる。
　コンサートを撮影した素材映像の多くは、再生時間が２時間程度である。素材映像に映る出演者は、シーンに応じて変化する。そのために素材映像には、シーン毎に映っている出演者及びその表情がわかるようにタグ付けされる。その際、一画面に映る出演者が複数であれば、できるだけ中央に位置し且つ大きく映る出演者がわかるようなタグ付けや、全ての出演者がわかるようなタグ付けが行われる。素材映像には、このようなタグや再生時間がメタデータとして付加されている。
　図４（ｂ）の音声データは、音声に、その音声が録音されたイベントを識別するイベントＩＤが付与された構造のものである。映像データと音声データとはイベントＩＤにより紐付けされる。再生時には、映像と音声が同期して再生される。そのための同期信号が映像データと音声データに含まれる。
　図４（ｃ）の登録データは、ユーザの個人情報（登録情報）に、ユーザを識別するユーザＩＤ及びそのユーザが作成した編集映像を識別する編集映像ＩＤが付与された構造のものである。登録データには、そのユーザの嗜好を表す後述の嗜好データが付加される。ユーザの個人情報は、ユーザがユーザ端末２０の操作部２０５から入力する。
　映像編集装置１０は、ユーザ管理部１１５により登録情報格納部１１２を管理する。ユーザ管理部１１５は、ユーザ端末２０から取得したユーザの個人情報にユーザＩＤを付与して登録データを作成し、登録情報格納部１１２に格納する。個人情報は、ユーザの名前や連絡先、ログイン時のパスワード等である。編集映像ＩＤは、該ユーザが素材映像を独自に編集して編集映像を作成した際に、該編集映像を識別するために付与される。編集映像ＩＤは、ユーザが編集映像を作成するたびに登録データに追加される。
　図４（ｄ）の編集映像データは、ユーザが作成した編集映像に編集映像ＩＤが付与された構造のものである。映像編集部１１４は、編集映像に編集映像ＩＤを付与して作成した編集映像データを編集映像格納部１１３に格納する。ユーザ管理部１１５は、編集映像に編集映像ＩＤが付与されると、該編集映像を作成したユーザの登録データに該編集映像ＩＤを追加する。編集映像ＩＤにより、登録データと編集映像が紐付けられる。編集映像は、映像が再生可能であればよく、映像そのものの他に、例えば編集映像に使用された素材映像のシーンを指示する情報を組み合わせて構成されていてもよい。例えば、編集映像は、再生時間が０秒～５秒は第１の素材映像のシーンを指示し、再生時間が５秒～８秒は第２の素材映像のシーンを指示し、…といったように、再生時間と使用する素材映像のシーンが明確になるような情報の組み合わせであってもよい。
　映像編集部１１４は、映像格納部１１０に格納された複数の素材映像をユーザ端末２０から取得する編集指示に含まれる編集基準（第２編集基準）に基づいて編集し、ユーザの嗜好に合った編集映像を作成する。映像編集部１１４は、編集映像の作成前に素材映像を解析し、例えば顔認証技術により、シーン毎の映像内の出演者を特定する。映像編集部１１４は、特定した出演者がわかるように、上記の通り素材映像にタグ付けを行う。
　映像編集部１１４は、編集基準と各素材映像に付加されたタグにより、編集基準に合致する映像を判定して複数の素材映像から抽出する。映像編集部１１４は、抽出した映像を組み合わせることで、一つの編集映像を作成する。映像編集部１１４は、例えば編集基準との合致度を各素材映像のシーン毎に算出する。映像編集部１１４は、シーン毎に合致度が最も高い素材映像を抽出して編集映像を作成する。その際、映像編集部１１４は、該ユーザの嗜好データがあれば、嗜好データと編集基準を用いて合致度を算出してもよい。嗜好データを加味することで、よりユーザの嗜好に合致した編集映像が自動的に得られる。
　編集映像は、ユーザ端末２０へ送信されるとともに、編集映像ＩＤを付与されて編集映像格納部１１３へ格納される。
　嗜好学習部１１６は、編集基準及び編集映像を教師データとしてユーザの嗜好を学習する。嗜好学習部１１６は、ユーザ端末２０から取得した編集基準と、該編集基準基づいて作成された編集映像とを取得する。嗜好学習部１１６は、取得した編集基準と編集映像により機械学習を行い、該ユーザの嗜好データを作成する。嗜好データは、ユーザ管理部１１５により当該ユーザの登録データに付加される。嗜好学習部１１６は、ユーザが編集映像の作成を指示するたびに機械学習を行い、嗜好データを更新する。そのため、ユーザが編集映像を多数作成することで、よりユーザの嗜好に合った編集映像が作成される。
　入力部１１７は、ユーザ端末２０から送信される編集指示等の指示を取得する。出力部１１８は、編集映像を表す編集映像データと該編集映像に対応する音声データをユーザ端末２０へ送信する。
（ユーザ端末）
　次に、ユーザ端末２０の構成例を説明する。図５は、ユーザ端末２０の機能ブロック図である。各機能は、ＣＰＵ２０１がコンピュータプログラムを実行することで実現されるほか、少なくとも一部がハードウェアにより実現されてもよい。本実施形態では、ユーザ端末２０に映像編集装置１０を用いて編集映像を作成するためのアプリケーションソフトウェアをインストールして実行することで、各機能が実現される例を説明する。
　ユーザ端末２０は、入力部２１０、出力部２１１、出力制御部２１２、送信データ生成部２１３、及び通信制御部２１４として機能する。つまり、このような機能ブロックとして動作する。入力部２１０は、ＣＰＵ２０１及び操作部２０５により実現される。出力部２１１は、ＣＰＵ２０１、ディスプレイ２０６、及びスピーカ２０７により実現される。出力制御部２１２及び送信データ生成部２１３は、ＣＰＵ２０１により実現される。通信制御部２１４は、ＣＰＵ２０１及び通信インタフェース２０４により実現される。
　入力部２１０は、操作部２０５によりユーザが入力した指示等を受け付ける。出力部２１１は、出力制御部２１２の制御により、ディスプレイ２０６に画面を表示し、スピーカ２０７から音を出力する。送信データ生成部２１３は、入力部２１０で受け付けた指示等に基づいて、映像編集装置１０へ送信する送信データを生成する。
　映像編集装置１０への送信データとして編集指示を生成する処理について説明する。この場合、出力制御部２１２は、映像編集装置１０を用いて編集映像を作成するための操作画面をディスプレイ２０６に表示させる。映像編集装置１０を用いて編集映像を作成するためのアプリケーションソフトウェアが実行されると、ディスプレイ２０６には、まず、どのイベントの素材映像を編集するかを選択する選択画面が表示される。図６は選択画面の例示図である。選択画面には、イベント名とイベントの開催日が表示される。ユーザは、操作部２０５により、選択画面から編集するイベントを選択する。
　イベントが選択されると、ディスプレイ２０６には、編集基準を設定するための操作画面が表示される。図７は、この場合の操作画面の例示図である。操作画面は、メインビューワ７０１、メンバー選択ボタン７０２、パラメータ調整バー７０３、物販フィールド７０４、共有ボタン７０５、及び保存ボタン７０６を含む。メインビューワ７０１には、編集映像が表示される。メンバー選択ボタン７０２及びパラメータ調整バー７０３は、ユーザが所望の編集基準を入力するために用いられる。物販フィールド７０４は、選択画面で選択されたイベントの関連グッズを紹介するフィールドであり、関連グッズの販売サイトにリンクされている。
　ユーザは、メンバー選択ボタン７０２により希望のメンバーを選択する。メンバー選択ボタン７０２により選択されるメンバーは、当該イベントの出演者である。ユーザは、パラメータ調整バー７０３により希望メンバーの映り具合（引き／寄せ）、他のメンバーの映り具合、おすすめの映像等を設定することができる。送信データ生成部２１３は、これらの設定を編集基準として編集指示を作成する。
　通信制御部２１４は、映像編集装置１０との間で通信を行う。例えば通信制御部２１４は、映像編集装置１０へ編集指示を送信する。通信制御部２１４は、編集指示に基づいて編集された編集映像データ及び音声データを映像編集装置１０から取得して出力制御部２１２へ送信する。出力制御部２１２は、取得した編集映像データに基づく編集映像をメインビューワ７０１に表示し、取得した音声データに基づく音声をスピーカ２０７から出力する。これによりユーザは、自身の嗜好に合った編集映像を視聴することができる。
（映像編集）
　以上のような映像編集システム１による映像編集の一例について説明する。上記の通り映像編集は映像編集部１１４により行われる。ここでは、編集基準として「メンバーＡ」の寄せ画像が設定された場合について説明する。
　映像編集部１１４は、予め各メンバーの顔画像を学習しており、各素材映像から顔認証技術によりメンバーを抽出する。例えば、映像編集部１１４は、素材映像のシーン毎にメンバーを抽出する。映像編集部１１４は、例えば映像に含まれるメンバーが変化するたびにシーンが切り替わったと判断する。映像編集部１１４は、抽出したメンバーを素材映像の該シーンにタグ付けする。図８は、素材映像にメンバーのタグ付けを行った場合の説明図である。
　図８の素材映像は、主にメンバーＡを撮影するビデオカメラで撮影された映像である。図８では、第１シーン（再生時間ｔ０～ｔ１）に、「メンバーＡ、Ｃ、Ｄ」がタグ付けされる。第２シーン（再生時間ｔ１～ｔ２）に、「メンバーＡ、Ｂ」がタグ付けされる。第３シーン（再生時間ｔ２～ｔ３）に、「メンバー全員」がタグ付けされる。第４シーン（再生時間ｔ３～ｔ４）に、「メンバーＡ」がタグ付けされる。第５シーン（再生時間ｔ５～）に、「メンバーＡ、Ｆ」がタグ付けされる。
　すべての素材映像にタグ付けした映像編集部１１４は、編集基準に基づいて編集映像を編集する。編集基準としてメンバーＡが指定されている場合には、各素材映像からメンバーＡが含まれる映像（シーン）が抽出されて編集映像が作成される。図９は、シーン抽出の説明図である。図９（ａ）、図９（ｂ）は、同じタイミングで異なるビデオカメラにより撮影された映像である。いずれの映像にもメンバーＡ、Ｂ、Ｃの三人が含まれる。
　この場合、図９（ａ）の映像ではメンバーＡが最も大きく映し出され、図９（ｂ）の映像ではメンバーＡが二番目に大きく映し出される。映像編集部１１４は、それぞれの映像に対して編集基準との合致度を算出する。編集基準が「メンバーＡ」の寄せ画像であるため、図９（ａ）の合致度が図９（ｂ）の合致度よりも高い値となる。そのために映像編集部１１４は、図９（ａ）の映像を含むシーンを抽出することになる。この際、映像編集部１１４は、ユーザの嗜好データを合致度の基準に付加してもよい。例えばユーザが映像の中心にメンバーＡが映されることを好む場合、映像中のメンバーＡの大きさの他に、メンバーＡの位置も合致度に含まれることになる。
　映像編集部１１４は、このように各素材映像から抽出したシーンを組み合わせて編集映像を作成する。図１０は、シーンを組み合わせた編集映像の説明図である。図１０では、複数のビデオカメラから得られた複数の素材映像に対して映っているメンバーのタグ付けがシーン毎に行われており、映像編集部１１４は、タグにより編集基準に合致した編集映像を自動的に作成する。
　映像編集部１１４は、編集基準が「メンバーＡ」である場合に、各素材映像から「メンバーＡ」のタグが付加されたシーンを取り込んで組み合わせ、編集映像を作成する。複数の素材映像で同じタイミングでメンバーＡがタグ付けされている場合、映像編集部１１４は、図９で説明したような合致度に応じて取り込むシーンを選択する。図１０の編集映像は、各素材映像から網掛けで示されるシーンが選択されて構成される。従来のプロフェッショナルな編集基準では各メンバーに偏りなくシーンが選択されて映像作品が完成する。これに対して本実施形態のようにユーザの嗜好に基づく編集基準では、メンバーに偏りのある編集映像が作成される。
（映像編集シーケンス）
　以上のような構成の映像編集システム１による映像編集シーケンスについて説明する。図１１は、映像編集シーケンスのシーケンス図である。前提として、ユーザはユーザ登録されており、複数の素材映像は映像格納部１１０に格納されている。
　ユーザは、ユーザ端末２０により、映像編集装置１０を用いて編集映像を作成するためのアプリケーションソフトウェアを起動する（Ｓ１０１）。アプリケーションソフトウェアの起動により、ユーザ端末２０のディスプレイ２０６には、ホーム画面が表示される（Ｓ１０２）。図１２は、ホーム画面の例示図である。ホーム画面は、「ログインＩＤ」フィールド１２０１、「パスワード」フィールド１２０２、「映像編集」ボタン１２０３、及び「視聴」ボタン１２０４を含む。ユーザは、操作部２０５により「ログインＩＤ」フィールド１２０１にログインＩＤを入力し、「パスワード」フィールド１２０２にパスワードを入力する。その後、ユーザは、操作部２０５により「映像編集」ボタン１２０３と「視聴」ボタン１２０４のいずれかを選択する。映像編集を行う場合、ユーザは「映像編集」ボタン１２０３を選択する。
　ユーザが操作部２０５によりホーム画面から「映像編集」ボタン１２０３を選択することで、ディスプレイ２０６に図６の選択画面が表示される（Ｓ１０３）。この際、ユーザ端末２０は、映像編集装置１０から映像格納部１１０に格納された素材映像のイベント名及び開催日の一覧を要求する。映像編集装置１０は、この要求に応じてイベント名及び開催日一覧をユーザ端末２０へ送信する（Ｓ２０１）。これによりユーザ端末２０は、イベント名及び開催日一覧を取得する。ユーザは、操作部２０５により選択画面から編集を行うイベントを選択する。ユーザが操作部２０５により選択画面から編集対象のイベントを選択することで、ディスプレイ２０６に図７の操作画面が表示される（Ｓ１０４）。
　ユーザは、操作部２０５により操作画面から所望の編集条件を選択する。図７の例では、ユーザは、メンバー選択ボタン７０２及びパラメータ調整バー７０３により、希望のメンバー及び希望メンバーの映り具合等を設定する。送信データ生成部２１３は、これらの設定を編集基準として編集指示を作成する。送信データ生成部２１３は、選択された条件に基づく編集基準を含んだ編集指示を生成する（Ｓ１０５）。編集指示には、ホーム画面で入力されたユーザのユーザＩＤ及びパスワードも含まれる。ユーザ端末２０は、送信データ生成部２１３で生成した編集指示を、通信制御部２１４によりネットワークＮを介して映像編集装置１０へ送信する（Ｓ１０６）。
　映像編集装置１０は、入力部１１７によりユーザ端末２０から送信された編集指示を取得する（Ｓ２０２）。映像編集装置１０は、ユーザ管理部１１５により登録データを参照し、編集指示に含まれるユーザＩＤ及びパスワードによるユーザ認証を行う（Ｓ２０３）。以下の処理は、ユーザ認証が成功した場合に実行される。ユーザ認証が失敗した場合、映像編集装置１０は、ユーザＩＤ及びパスワードの再度の入力を促す通知をユーザ端末２０へ送信し、ユーザ認証を再度行う。
　映像編集装置１０は、映像編集部１１４により編集指示に含まれる編集基準に基づいて上記のような素材映像の編集を行い、編集映像を作成する（Ｓ２０４）。映像編集装置１０は、編集映像を表す編集映像データ及び該当する音声の音声データを、出力部１１８によりネットワークＮを介してユーザ端末２０へ送信する（Ｓ２０５）。
　また、映像編集部１１４は、作成した編集映像にユーザＩＤを付加して編集映像格納部１１３に格納する（Ｓ２０６）。映像編集装置１０は、嗜好学習部１１６により、今回の処理で取得した編集基準と作成した編集映像を学習して嗜好データを生成し、登録情報格納部１１２の該当する登録データに付加する。既に登録データに嗜好データが付加されている場合には、嗜好データを更新する（Ｓ２０７）。
　ユーザ端末２０は、通信制御部２１４により映像編集装置１０から送信された編集映像データ及び音声データを取得する（Ｓ１０７）。ユーザ端末２０の出力制御部２１２は、編集映像データ及び音声データを出力可能な形式に変換し、出力部２１１により出力する（Ｓ１０８）。出力部２１１は、ディスプレイ２０６により編集映像を表示し、スピーカ２０７により音声を出力する。
　編集映像は、図７の操作画面のメインビューワ７０１に表示されてもよいが、別の表示画面に表示されてもよい。図１３は、編集映像を表示する表示画面の例示図である。この表示画面は、Ｓ１０６の処理で編集指示がユーザ端末２０から映像編集装置１０へ送信された後に、図７の操作画面から切り替わって表示される。表示画面は、メインビューワ７０１、コメント欄１３０１、共有ボタン１３０２、及び保存ボタン１３０３を含む。編集映像は、メインビューワ７０１に表示される。
　ユーザは、共有ボタン１３０２を押下することで、表示中の編集映像を他のユーザと共有することが可能となる。共有された場合、コメント欄１３０１には、自身と他のユーザのコメントが表示可能となる。ユーザは、保存ボタン１３０３を押下することで、表示中の編集映像をユーザ端末２０内に保存することができる。なお、映像編集装置１０がＳ２０６の処理で編集映像を格納するか否かは、保存ボタン１３０３の押下により決められてもよい。
　図１３の表示画面は、図１２の「視聴」ボタン１２０４が選択された場合にも表示される。この場合、ユーザは、自身が作成した編集映像の他に、他のユーザが作成して共有に設定された編集映像を視聴することができる。
　図１４は、変形例の映像編集装置の構成説明図である。図１４（ａ）は、映像編集装置３０のハードウェア構成を示し、図１４（ｂ）は、映像編集装置３０の機能ブロックを示す。映像編集装置３０は、図１の映像編集装置１０とユーザ端末２０を一体にした構成である。
　映像編集装置３０は、図１の映像編集装置１０に操作部１０７、ディスプレイ１０８、及びスピーカ１０９を追加した構成である。操作部１０７は、図１のユーザ端末２０の操作部２０５と同様の機能を有する入力インタフェースである。ディスプレイ１０８は、図１のユーザ端末２０のディスプレイ２０６と同様の機能であるが、画面サイズ、画質等が向上した表示装置である。スピーカ１０９は、図１のユーザ端末２０のスピーカ２０７と同様の機能であるが、より高音質である。
　映像編集装置３０は、図２の映像編集装置１０の機能ブロックと同様の構成であるが、入力部１１９及び出力部１２０の機能が異なる。すなわち、入力部１１９はネットワークＮを介すことなく、操作部１０７から直接、編集指示等の指示を受け付けることになる。出力部１２０は、ネットワークＮを介して編集映像データ及び音声データを送信することなく、ディスプレイ１０８及びスピーカ１０９から直接、編集映像及び音声を出力することになる。
　また、映像編集装置３０は、記録媒体に編集映像を記録してユーザに提供可能としてもよい。この場合、映像編集装置３０は、ＵＳＢメモリ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）等の記録媒体への書込装置を備える。ユーザは、映像編集装置３０により編集映像を作成した後に、該編集映像の記録媒体への書き込みを指示する。映像編集装置３０は、この指示に応じて編集映像を記録媒体へ書き込む。このように作成された記録媒体はユーザに提供され、ユーザにより使用される。
　このような映像編集装置３０は、例えば最新のディスプレイ１０８やスピーカ１０９を備えた専用の施設に設置される。ユーザ端末２０は、高性能のパーソナルコンピュータを用いる場合であっても、臨場感には限界がある。それに対して例えば専用の施設に映像編集装置３０を設置する場合には、ユーザは、高画質、高音質の高臨場感で編集映像を楽しむことができるようになる。
　以上のような映像編集システム１により、従来、廃棄あるいは死蔵されるしかなかった未編集状態の素材映像の有効活用が可能となる。ユーザは、例えばプロフェッショナルな編集基準とは異なる独自の編集基準で素材映像を編集することができるため、コンサート等のイベントを、自分好みの独自の映像作品としてカスタマイズして楽しむことができる。そのため、ユーザは、同じイベントであっても、異なる見方で継続的に楽しむことができる。また、自分が編集した映像作品と他のユーザが編集した映像作品とを比べあったり、評価しあったりすることもできるようになる。

Claims (9)

  1. 　一つのイベントを複数の撮影装置で撮影して得られ、前記イベントに関する映像作品の作成に用いられた未編集の複数の素材映像を格納する映像格納手段と、
    　前記複数の素材映像を用いてユーザの要求に応じた前記イベントに関する編集映像を作成する編集手段と、を備え、
    　前記編集手段は、前記映像格納手段に格納されている前記複数の素材映像の各々に対して、シーン毎に、映っている内容がわかるようにメタデータを付加し、外部から編集基準が入力されたときに当該編集基準と前記複数の素材映像との合致度を前記メタデータに基づいて算出するとともに、前記合致度に応じて抽出したいくつかの素材映像を用いて前記編集映像を作成することを特徴とする、
    　映像編集装置。
  2. 　前記編集手段は、前記複数の素材映像のそれぞれについてシーン毎に前記編集基準への合致度を算出し、シーン毎に合致度が最も高い素材映像を抽出し、抽出した素材映像を用いて前記編集映像を作成することを特徴とする、
    　請求項１記載の映像編集装置。
  3. 　前記編集手段は、予め素材映像に映っている人物の顔画像を学習しており、各素材映像から顔認証技術によりシーン毎の人物を抽出し、抽出した人物を該シーンにタグ付けしておき、前記編集基準への合致度をシーン毎のタグに基づいて算出することを特徴とする、
    　請求項１記載の映像編集装置。
  4. 　前記編集基準を入力するユーザ端末を操作するユーザの登録情報を格納する登録情報格納手段と、
    　前記編集映像を、該編集映像を作成するための前記編集基準を入力したユーザの登録情報に紐付けて格納する編集映像格納手段と、
    　前記編集映像を他のユーザのユーザ端末へ出力可能にする映像出力手段と、をさらに備えることを特徴とする、
    　請求項１記載の映像編集装置。
  5. 　前記登録情報格納手段は、前記登録情報に該ユーザの嗜好を表す嗜好データを付加して格納しており、
    　前記編集手段は、前記編集基準及び前記嗜好データに基づいて前記編集映像を作成することを特徴とする、
    　請求項４記載の映像編集装置。
  6. 　前記編集映像と該編集映像の作成に用いられた前記編集基準に基づいて、該編集基準を入力したユーザの嗜好データを学習する学習手段をさらに備えることを特徴とする、
    　請求項５記載の映像編集装置。
  7. 　前記素材映像と同期して録音された録音データを格納する録音データ格納手段と、
    　作成された前記編集映像を表示する表示手段と、
    　前記編集映像を前記表示手段に表示させる際に、前記編集映像に含まれる録音データを前記録音データ格納手段から抽出して所定のスピーカへ出力する音出力手段と、をさらに備えることを特徴とする、
    　請求項１記載の映像編集装置。
  8. 　一つのイベントを複数の撮影装置で撮影して得られ、前記イベントに関する映像作品の作成に用いられた未編集の複数の素材映像を格納する映像格納手段を備えた装置により実行される方法であって、
    　前記映像格納手段に格納されている前記複数の素材映像の各々に対して、シーン毎に、映っている内容がわかるようにメタデータを付加するステップと、
    　外部から編集基準を取得するステップと、
    　前記編集基準と前記素材映像との合致度を前記メタデータに基づいて算出するステップと、
    　算出された前記合致度に応じたいくつかの素材映像を前記映像格納手段から抽出するステップと、
    　抽出した素材映像を用いてユーザの要求に応じた前記イベントに関する編集映像を作成するステップと、を含む、
    　映像編集方法。
  9. 　コンピュータを、
    　一つのイベントを複数の撮影装置で撮影して得られ、前記イベントに関する映像作品の作成に用いられた未編集の複数の素材映像を格納する映像格納手段と、
    　前記複数の素材映像を用いてユーザの要求に応じた前記イベントに関する編集映像を作成する編集手段と、して機能させ、
    　前記編集手段に、前記映像格納手段に格納されている前記複数の素材映像の各々に対して、シーン毎に、映っている内容がわかるようにメタデータを付加し、外部から編集基準が入力されたときに当該編集基準と前記複数の素材映像との合致度を前記メタデータに基づいて算出するとともに、前記合致度に応じて抽出したいくつかの素材映像を用いて前記編集映像を作成させる、
    　コンピュータプログラム。
PCT/JP2022/004267 2021-02-19 2022-02-03 映像編集装置、映像編集方法、及びコンピュータプログラム WO2022176633A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202280004882.1A CN115699723B (zh) 2021-02-19 2022-02-03 影像编辑装置、影像编辑方法以及记录介质
KR1020237011287A KR102625045B1 (ko) 2021-02-19 2022-02-03 영상 편집 장치, 영상 편집 방법 및 컴퓨터 프로그램
EP22755954.9A EP4203460A1 (en) 2021-02-19 2022-02-03 Video editing device, video editing method, and computer program
US18/001,108 US11942115B2 (en) 2021-02-19 2022-02-03 Video editing device, video editing method, and computer program
KR1020247000994A KR20240010578A (ko) 2021-02-19 2022-02-03 영상 편집 장치 및 컴퓨터 프로그램

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021025637A JP7118379B1 (ja) 2021-02-19 2021-02-19 映像編集装置、映像編集方法、及びコンピュータプログラム
JP2021-025637 2021-02-19

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US18/001,108 A-371-Of-International US11942115B2 (en) 2021-02-19 2022-02-03 Video editing device, video editing method, and computer program
US18/584,145 Continuation US20240194226A1 (en) 2021-02-19 2024-02-22 Video editing device, video editing method, and computer program

Publications (1)

Publication Number Publication Date
WO2022176633A1 true WO2022176633A1 (ja) 2022-08-25

Family

ID=82849854

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/004267 WO2022176633A1 (ja) 2021-02-19 2022-02-03 映像編集装置、映像編集方法、及びコンピュータプログラム

Country Status (6)

Country Link
US (1) US11942115B2 (ja)
EP (1) EP4203460A1 (ja)
JP (2) JP7118379B1 (ja)
KR (2) KR102625045B1 (ja)
CN (1) CN115699723B (ja)
WO (1) WO2022176633A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012195811A (ja) * 2011-03-17 2012-10-11 Fujitsu Ltd ダイジェスト映像生成装置およびプログラム
JP2018117312A (ja) * 2017-01-20 2018-07-26 パナソニックＩｐマネジメント株式会社 映像配信システム、ユーザ端末装置および映像配信方法
US20190076741A1 (en) * 2013-05-22 2019-03-14 David S. Thompson Interaction Interleaver
JP2019169851A (ja) * 2018-03-23 2019-10-03 株式会社日立国際電気 放送システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3826686B2 (ja) 2000-06-30 2006-09-27 セイコーエプソン株式会社 映像編集方法および映像編集装置、並びに映像編集を行なうためのコンピュータプログラムを記録した記録媒体
JP2003134446A (ja) 2001-10-19 2003-05-09 Sharp Corp 映像編集配信システム及びその課金方法
JP4426623B2 (ja) 2005-06-01 2010-03-03 パイオニア株式会社 映像配信装置、映像配信方法、映像配信プログラム、および記録媒体
US9196304B2 (en) 2006-01-26 2015-11-24 Sony Corporation Method and system for providing dailies and edited video to users
JP2008131617A (ja) 2006-11-27 2008-06-05 Hitachi Ltd 映像処理装置
JP4600521B2 (ja) 2008-06-03 2010-12-15 ソニー株式会社 情報処理装置、情報処理方法、プログラム
JP2010232814A (ja) 2009-03-26 2010-10-14 Nikon Corp 映像編集プログラムおよび映像編集装置
JP5532645B2 (ja) 2009-03-26 2014-06-25 株式会社ニコン 映像編集プログラムおよび映像編集装置
JP5709359B2 (ja) 2009-04-07 2015-04-30 ソニー株式会社 通信装置、通信方法、及び通信システム
JP6267961B2 (ja) 2012-08-10 2018-01-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 映像提供方法および送信装置
WO2015125815A1 (ja) 2014-02-20 2015-08-27 シャープ株式会社 映像編集装置
US11710392B2 (en) * 2020-09-11 2023-07-25 IDEMIA National Security Solutions LLC Targeted video surveillance processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012195811A (ja) * 2011-03-17 2012-10-11 Fujitsu Ltd ダイジェスト映像生成装置およびプログラム
US20190076741A1 (en) * 2013-05-22 2019-03-14 David S. Thompson Interaction Interleaver
JP2018117312A (ja) * 2017-01-20 2018-07-26 パナソニックＩｐマネジメント株式会社 映像配信システム、ユーザ端末装置および映像配信方法
JP2019169851A (ja) * 2018-03-23 2019-10-03 株式会社日立国際電気 放送システム

Also Published As

Publication number Publication date
US20230215468A1 (en) 2023-07-06
US11942115B2 (en) 2024-03-26
CN115699723A (zh) 2023-02-03
KR20240010578A (ko) 2024-01-23
EP4203460A1 (en) 2023-06-28
JP7118379B1 (ja) 2022-08-16
KR102625045B1 (ko) 2024-01-16
JP2022127469A (ja) 2022-08-31
JP2022127633A (ja) 2022-08-31
KR20230051308A (ko) 2023-04-17
CN115699723B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
JP4261644B2 (ja) マルチメディア編集方法及び装置
US10079993B2 (en) System for juxtaposition of separately recorded videos
US8363056B2 (en) Content generation system, content generation device, and content generation program
JP3664132B2 (ja) ネットワーク情報処理システム及び情報処理方法
US20120265859A1 (en) Synchronized Video System
JP2008293219A (ja) コンテンツ管理システム、コンテンツ管理システムにおける情報処理装置、情報処理装置におけるリンク情報生成方法、情報処理装置におけるリンク情報生成プログラム、及びリンク情報生成プログラムを記録した記録媒体
JP2008286912A (ja) カラオケシステム
JP2010157961A (ja) 字幕作成システム及びプログラム
JP2002109099A (ja) 資料と映像・音声の記録システム、装置及びコンピュータ読み取り可能な記録媒体
WO2022176633A1 (ja) 映像編集装置、映像編集方法、及びコンピュータプログラム
JPH11266422A (ja) 放送番組管理装置、放送番組管理方法、及び放送番組管理処理プログラムを記録した記録媒体
JP2010010736A (ja) 映像コンテンツ再生装置
JP5310682B2 (ja) カラオケ装置
US20240194226A1 (en) Video editing device, video editing method, and computer program
JP6110731B2 (ja) ジェスチャーによるコマンド入力識別システム
JP6715907B2 (ja) 画像編集装置、画像編集方法、及びプログラム
CN118118746A (zh) 影像编辑装置以及计算机程序
JP2003289499A (ja) データ編集方法、データ編集装置、データ記録装置および記録媒体
JP6610030B2 (ja) 映像処理装置および映像処理方法
WO2022209648A1 (ja) 情報処理装置、情報処理方法および非一時的なコンピュータ可読記憶媒体
JP6909904B1 (ja) 画像管理装置、画像管理システム及び画像管理方法
US20230262200A1 (en) Display system, display method, and non-transitory recording medium
JP4330905B2 (ja) 情報編集装置、情報編集方法、および情報編集プログラム
WO2013014754A1 (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP2022006724A (ja) 画像管理装置、画像管理システム及び画像管理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22755954

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022755954

Country of ref document: EP

Effective date: 20230320

ENP Entry into the national phase

Ref document number: 20237011287

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE