JP7133433B2 - Generation device, generation method, generation program - Google Patents
Generation device, generation method, generation program Download PDFInfo
- Publication number
- JP7133433B2 JP7133433B2 JP2018200375A JP2018200375A JP7133433B2 JP 7133433 B2 JP7133433 B2 JP 7133433B2 JP 2018200375 A JP2018200375 A JP 2018200375A JP 2018200375 A JP2018200375 A JP 2018200375A JP 7133433 B2 JP7133433 B2 JP 7133433B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- scenes
- weight
- unit
- weights
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 25
- 230000008859 change Effects 0.000 claims description 25
- 241001465754 Metazoa Species 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 29
- 241000282412 Homo Species 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
Images
Description
本発明は、生成装置、生成方法、生成プログラムに関する。 The present invention relates to a generating device, a generating method, and a generating program.
従来、動画情報を表示時間等に応じて編集する技術が提供されている。 Conventionally, techniques for editing moving image information according to display time and the like have been provided.
しかしながら、上記の従来技術では、適切に編集された動画をユーザに提供することができるとは限らない。例えば、上記の従来技術では、単純に動画情報の時間を短縮する編集をした場合、動画情報に含まれる重要箇所の内容をユーザに提供することが困難になる場合がある。そのため、上記の従来技術では、適切に編集された動画をユーザに提供することができるとは限らない。 However, with the above-described conventional technology, it is not always possible to provide a user with an appropriately edited moving image. For example, with the above-described conventional technology, if the video information is simply edited to shorten the time, it may be difficult to provide the user with the content of the important parts included in the video information. Therefore, with the above-described conventional technology, it is not always possible to provide a user with an appropriately edited moving image.
本願は、上記に鑑みてなされたものであって、適切に編集された動画をユーザに提供することができる生成装置、生成方法、生成プログラムを提供することを目的とする。 The present application has been made in view of the above, and an object thereof is to provide a generating apparatus, a generating method, and a generating program capable of providing a user with an appropriately edited moving image.
本願に係る生成装置は、動画に表示される対象物が所定の条件を満たす場合に、当該対象物に対応するシーンであって、動画を構成する複数のシーンの重要度を示す重みを加算する加算部と、前記加算部によって加算された重みに基づいて、前記複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成部と、を備えたことを特徴とする。 The generation device according to the present application adds a weight indicating the importance of a plurality of scenes that constitute a moving image when an object displayed in the moving image satisfies a predetermined condition. and an adding unit, and a generating unit that generates an edited moving image composed of a predetermined number of scenes among the plurality of scenes based on the weights added by the adding unit.
実施形態の一態様によれば、適切に編集された動画をユーザに提供することができるという効果を奏する。 According to one aspect of the embodiment, it is possible to provide a user with an appropriately edited moving image.
以下に、本願に係る生成装置、生成方法、生成プログラムの実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る生成装置、生成方法、生成プログラムが限定されるものではない。また、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Embodiments (hereinafter referred to as "embodiments") for implementing the generation device, generation method, and generation program according to the present application will be described in detail below with reference to the drawings. Note that the generation device, generation method, and generation program according to the present application are not limited to this embodiment. Further, each embodiment can be appropriately combined within a range that does not contradict the processing contents. Also, in each of the following embodiments, the same parts are denoted by the same reference numerals, and overlapping descriptions are omitted.
〔1.生成装置が示す生成処理の一例〕
図1を用いて、実施形態に係る生成装置が実行する生成処理の一例について説明する。図1は、実施形態に係る生成装置が実行する生成処理の一例を示す図である。具体的には、生成装置100は、ユーザから受け付けた動画を編集し、編集された編集動画をユーザに提供する。なお、以下では、ユーザによって撮影された動画を編集する例を示す。
[1. Example of generation processing indicated by generation device]
An example of generation processing executed by the generation device according to the embodiment will be described with reference to FIG. FIG. 1 is a diagram illustrating an example of generation processing executed by a generation device according to an embodiment. Specifically, the generating
図1に示すように、生成システム1は、端末装置10と、生成装置100とを含む。端末装置10及び生成装置100は、図示しない所定の通信網を介して、有線又は無線により通信可能に接続される。なお、図1に示す生成システム1には、複数台の端末装置10や、複数台の生成装置100が含まれてもよい。
As shown in FIG. 1 , the
実施形態に係る端末装置10は、ブラウザに表示されるウェブページやアプリケーション用のコンテンツ等のコンテンツにアクセスするユーザによって利用される情報処理装置である。例えば、端末装置10は、デスクトップ型PC(Personal Computer)や、ノート型PCや、タブレット端末や、携帯電話機や、PDA(Personal Digital Assistant)等である。図1の例では、端末装置10がユーザによって利用されるスマートフォンである場合を示す。なお、以下では、端末装置10をユーザと表記する場合がある。すなわち、以下では、ユーザを端末装置10と読み替えることもできる。
The
実施形態に係る生成装置100は、例えば、サーバ装置等により実現される。具体的には、生成装置100は、動画に表示される対象物が所定の条件を満たす場合に、対象物に対応するシーンであって、動画を構成する複数のシーンの重要度を示す重みを加算する。そして、生成装置100は、かかる重みに基づいて、複数のシーンのうち、所定数のシーンから構成される編集動画を生成する。
The
以下、図1を用いて、生成装置100による生成処理の一例を流れに沿って説明する。
An example of generation processing by the
まず、図1に示すように、生成装置100は、ユーザU1によって利用される端末装置10から動画MO1に関する情報を受け付ける(ステップS1)。例えば、生成装置100は、ユーザU1に提供されるアプリケーション等を介して、ユーザU1から動画MO1に関する情報を受け付ける。
First, as shown in FIG. 1, the generating
続いて、生成装置100は、ユーザU1から受け付けた動画MO1に表示される対象物を人と人以外の物体とに分類する(ステップS2)。具体的には、生成装置100は、機械学習等の従来技術により、動画MO1に表示される対象物を人と人以外の物体とに分類する。なお、ここでいう人以外の物体とは、動物、生物、移動体、食べ物、玩具等を含む。
Next, the
例えば、人以外の物体が、食べ物であるとする。この場合、生成装置100は、人と食べ物とを学習させた学習モデルに動画MO1を入力することにより、動画MO1に表示される対象物を人と食べ物とに分類した結果を出力する。
For example, assume that an object other than a person is food. In this case, the
そして、生成装置100は、辞書情報記憶部を参照して、動画MO1を構成するシーンの重みを加算する(ステップS3)。具体的には、生成装置100は、人や人以外の物体等の対象物と重みとが対応付られた情報が記憶された辞書情報記憶部を参照して、動画MO1を構成するシーンに表示される対象物の重みを、動画MO1のフレーム毎に加算する。これにより、生成装置100は、動画MO1のフレーム毎の重みを累積することで、動画MO1の時間に対応する累積された重みを算出する。
The
例えば、動画MO1が、人及び食べ物が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「+7」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、食べ物の重みが「+5」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人が動画に表示されていない場合の重みが「-5」であるとする。この場合、生成装置100は、はじめのシーンが、食べ物が表示されるシーンの場合に、重みとして「+5」を加算する。これにより、累積された重みは、はじめの重みである「0」に「+5」を加えることで「+5」となる。
For example, it is assumed that the moving image MO1 is a moving image in which people and food are displayed. It is also assumed that the human weight is "+7" as the weight corresponding to the object stored in the dictionary information storage unit. It is also assumed that the weight of food is "+5" as the weight corresponding to the object stored in the dictionary information storage unit. It is also assumed that the weight corresponding to the object stored in the dictionary information storage unit is "-5" when the person is not displayed in the moving image. In this case, the
そして、生成装置100は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+5」に「+7」を加えることで「+12」となる。そして、生成装置100は、次のシーンが、人が表示されないシーンである場合に、重みとして「-5」を加算する。これにより、累積された重みは、「+12」に「-5」を加えることで「+7」となる。そして、生成装置100は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+7」に「+7」を加えることで「+14」となる。そして、生成装置100は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+14」に「+7」を加えることで「+21」となる。このように、生成装置100は、動画MO1のフレーム毎の重みを累積することで、動画MO1の時間に対応する累積された重みを算出する。
Then, the
また、例えば、動画MO1が、複数の人が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「+7」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、所定数の人の重みが「0」であるとする。この場合、生成装置100は、はじめのシーンが、人が表示されるシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、はじめの重みである「0」に「+7」を加えることで「+7」となる。
Also, for example, it is assumed that the moving image MO1 is a moving image in which a plurality of people are displayed. It is also assumed that the human weight is "+7" as the weight corresponding to the object stored in the dictionary information storage unit. It is also assumed that the weight of a predetermined number of people is "0" as the weight corresponding to the object stored in the dictionary information storage unit. In this case, the
そして、生成装置100は、次のシーンが、所定数の人が表示されるシーンの場合に、重みとして「0」を加算する。これにより、累積された重みは、「+7」に「0」を加えることで「+7」となる。そして、生成装置100は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+7」に「+7」を加えることで「+14」となる。そして、生成装置100は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+14」に「+7」を加えることで「+21」となる。このように、生成装置100は、動画MO1のフレーム毎の重みを累積することで、動画MO1の時間に対応する累積された重みを算出する。
Then, the
また、例えば、動画MO1が、人が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「+7」であるとする。また、人の座標が変化しないシーンが3回連続で続く場合に、重みをさらに「+10」加算するとする。この場合、生成装置100は、はじめのシーンが、人が表示されるシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、はじめの重みである「0」に「+7」を加えることで「+7」となる。
Also, for example, it is assumed that the moving image MO1 is a moving image in which a person is displayed. It is also assumed that the human weight is "+7" as the weight corresponding to the object stored in the dictionary information storage unit. Also, if a scene in which the coordinates of a person do not change continues three times in a row, the weight is further increased by "+10". In this case, the
そして、生成装置100は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+7」に「+7」を加えることで「+14」となる。そして、生成装置100は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+14」に「+7」を加えることで「+21」となる。そして、生成装置100は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+21」に「+7」を加えることで「+28」となる。また、生成装置100は、人の座標が変化しないシーンが3回連続で続いた場合に、さらに重み「+10」を加算する。これにより、累積された重みは、「+28」に「+10」を加えることで「+38」となる。このように、生成装置100は、動画MO1のフレーム毎の重みを累積することで、動画MO1の時間に対応する累積された重みを算出する。
Then, the
なお、生成装置100は、動画MO1のフレーム毎に重みを累積することで、動画MO1の時間に対応する累積された重みを算出する算出処理に限らず、動画内の時間毎に重みを累積することで、動画MO1の時間に対応する累積された重みを算出してもよい。例えば、生成装置100は、1秒毎に重みを累積することで、動画MO1の時間に対応する累積された重みを算出してもよい。
Note that the generating
続いて、生成装置100は、各シーンの重みに基づいて、シーンを選択し、編集動画EM1を生成する(ステップS4)。具体的には、生成装置100は、重みが所定の閾値以上であるシーンを選択する。そして、生成装置100は、選択されたシーンによって構成される編集動画EM1を生成する。
Subsequently, the generating
ここで、図2を用いて編集動画EM1の生成方法について説明する。図2は、実施形態に係る生成装置100が実行する編集動画の生成方法の処理の一例を示す図である。図2に示すように、図FG1は、動画MO1の時間に対応する重みの変化を示す。図FG1の縦軸は、加算された重みの値を示す。図FG1の横軸は、動画MO1の動画内の時間を示す。図FG1は、所定の重みの閾値の表示を含む。例えば、図FG1では、所定の範囲内の複数のシーンSE1、SE2、SE3が所定の重みの閾値以上であるシーンである。
Here, a method for generating the edited moving image EM1 will be described with reference to FIG. FIG. 2 is a diagram illustrating an example of processing of a method for generating an edited moving image executed by the generating
また、図2に示すように、図FG2は、所定の重みの閾値以上である所定の範囲内の複数のシーンSE1、SE2、SE3を合わせた動画を示す。すなわち、かかる動画は、編集動画EM1に対応する。 Also, as shown in FIG. 2, FIG. FG2 shows a moving image including a plurality of scenes SE1, SE2, and SE3 within a predetermined range that are equal to or greater than a predetermined weight threshold. That is, this moving image corresponds to the edited moving image EM1.
例えば、生成装置100は、重みの閾値が「70」であるとする。この場合、生成装置100は、動画MO1から、重みの閾値以上である所定の範囲内の複数のシーンSE1、SE2、SE3を選択する。そして、生成装置100は、選択された複数のシーンに基づいて、編集動画EM1を生成する。
For example, the generating
図1に戻り、実施形態に係る生成処理の一例を説明する。生成装置100は、ユーザU1に対して、動画MO1に対応する編集された動画として編集動画EM1に関する情報を提供する(ステップS5)。
Returning to FIG. 1, an example of generation processing according to the embodiment will be described. The generating
このように、実施形態に係る生成装置100は、動画に表示される対象物が所定の条件を満たす場合に、動画を構成する複数のシーンの重要度を示す重みを加算する。そして、生成装置100は、かかる重みに基づいて、複数のシーンのうち、所定数のシーンから構成される編集動画を生成する。これにより、実施形態に係る生成装置100は、特定の対象物が表示されるシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。この点について説明する。図1の例を用いて説明すると、生成装置100は、ユーザU1から受け付けた動画MO1に含まれる特定の対象物に対して重みを大きくすることで、特定の対象物が表示されるシーンを選択する。そして、生成装置100は、選択されたシーンによって構成される編集動画EM1を生成する。また、図2の例を用いて説明すると、生成装置100は、動画MO1を構成する複数のシーンの重みを動画MO1のフレーム毎に累積するように加算する。これにより、生成装置100は、所定の閾値以上である重みを示す複数のシーンを選択することで、編集動画内のシーンが飛び飛びになることを防ぎ、編集動画の質の低下を低減することができる。このことから、生成装置100は、特定の対象物が表示されるシーンを高精度に選択することができる。したがって、実施形態に係る生成装置100は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。
In this way, the
〔2.生成装置の構成〕
次に、図3を用いて、実施形態に係る生成装置100の構成について説明する。図3は、実施形態に係る生成装置100の構成例を示す図である。図3に示すように、生成装置100は、通信部110と、記憶部120と、制御部130とを有する。
[2. Configuration of generation device]
Next, the configuration of the
(通信部110について)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークと有線又は無線で接続され、端末装置10との間で情報の送受信を行う。
(Regarding communication unit 110)
The communication unit 110 is realized by, for example, a NIC (Network Interface Card) or the like. The communication unit 110 is connected to a network by wire or wirelessly, and transmits and receives information to and from the
(記憶部120について)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、動画情報記憶部121と、辞書情報記憶部122と、重み情報記憶部123とを有する。
(Regarding storage unit 120)
The storage unit 120 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or flash memory, or a storage device such as a hard disk or an optical disk. Storage unit 120 has moving image
(動画情報記憶部121について)
実施形態に係る動画情報記憶部121は、ユーザから受け付けられた動画に関する情報を記憶する。ここで、図4に、実施形態に係る動画情報記憶部121の一例を示す。図4に示した例では、動画情報記憶部121は、「動画ID」、「ユーザID」、「動画」といった項目を有する。
(Regarding the moving image information storage unit 121)
The moving image
「動画ID」は、動画を識別する識別子である。「ユーザID」は、ユーザを識別する識別子である。「動画」は、「ユーザID」と対応付けられたユーザから受け付けられた動画に関する情報である。例えば、図4では、動画IDによって識別された「M1」は、ユーザIDによって識別される「U1」から受け付けられた動画が「MO1」である。なお、図4に示した例では、動画を「MO1」等の抽象的な符号で表現したが、動画は、具体的な動画のファイル形式を示す情報等であってもよい。 “Movie ID” is an identifier for identifying a movie. "User ID" is an identifier that identifies a user. “Movie” is information about a movie received from the user associated with the “user ID”. For example, in FIG. 4, "M1" identified by the movie ID has "MO1" as the movie received from "U1" identified by the user ID. In the example shown in FIG. 4, moving images are represented by abstract codes such as "MO1", but the moving images may be information or the like indicating a specific file format of the moving images.
(辞書情報記憶部122について)
実施形態に係る辞書情報記憶部122は、対象物に対応する重みに関する情報を記憶する。ここで、図5に、実施形態に係る辞書情報記憶部122の一例を示す。図5に示した例では、辞書情報記憶部122は、「辞書ID」、「項目」、「重み」といった項目を有する。
(Regarding dictionary information storage unit 122)
The dictionary
「辞書ID」は、辞書に記憶された対象物の項目を識別する識別子である。「項目」は、「辞書ID」と対応付けられた対象物の種類の項目に関する情報である。また、「項目」は、対象物が動画に表示される態様に関する情報を含む。「重み」は、「辞書ID」と対応付けられた対象物の項目に対応する重みに関する情報である。例えば、図5では、辞書IDによって識別される「D1」は、項目が「食べ物」であり、重みが「+5」である。 "Dictionary ID" is an identifier that identifies an item of an object stored in the dictionary. The “item” is information about the item of the type of object associated with the “dictionary ID”. Also, "item" includes information about the manner in which the object is displayed in the moving image. "Weight" is information about the weight corresponding to the item of the object associated with the "dictionary ID". For example, in FIG. 5, "D1" identified by the dictionary ID has an item of "food" and a weight of "+5".
(重み情報記憶部123について)
実施形態に係る重み情報記憶部123は、ユーザから受け付けられた動画の加算された重みに関する情報を記憶する。ここで、図6に、実施形態に係る重み情報記憶部123の一例を示す。図6に示した例では、重み情報記憶部123は、「重みID」、「動画ID」、「時間」、「重み」といった項目を有する。
(Regarding weight information storage unit 123)
The weight
「重みID」は、重みを識別する識別子である。「動画ID」は、ユーザから受け付けられた動画を識別する識別子である。「時間」は、動画内の時間に関する情報である。「重み」は、動画MO1のフレーム毎に累積するように加算された重みに関する情報である。例えば、図6では、重みIDによって識別される「W1」は、動画IDによって識別される「M1」に対応する時間が「T1」であり、重みが「0」である。 "Weight ID" is an identifier for identifying a weight. “Movie ID” is an identifier for identifying a movie received from the user. "Time" is information about the time in the moving image. “Weight” is information about the weight added so as to be accumulated for each frame of the moving image MO1. For example, in FIG. 6, "W1" identified by the weight ID has a time "T1" corresponding to "M1" identified by the moving image ID, and the weight is "0".
(制御部130について)
制御部130は、コントローラ(Controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、生成装置100内部の記憶装置に記憶されている各種プログラム(生成プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部130は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
(Regarding the control unit 130)
The control unit 130 is a controller, and for example, various programs (an example of a generation program) stored in a storage device inside the
図3に示すように、制御部130は、受付部131と、分類部132と、加算部133と、選択部134と、生成部135と、提供部136とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図3に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部130が有する各処理部の接続関係は、図3に示した接続関係に限られず、他の接続関係であってもよい。 As shown in FIG. 3 , the control unit 130 includes a reception unit 131, a classification unit 132, an addition unit 133, a selection unit 134, a generation unit 135, and a provision unit 136, and includes information described below. Realize or perform the function or action of a process. Note that the internal configuration of the control unit 130 is not limited to the configuration shown in FIG. 3, and may be another configuration as long as it performs information processing described later. Moreover, the connection relationship between the processing units of the control unit 130 is not limited to the connection relationship shown in FIG. 3, and may be another connection relationship.
(受付部131について)
受付部131は、ユーザによって利用される端末装置10から動画に関する情報を受け付ける。例えば、受付部131は、ユーザに提供されるアプリケーション等を介して、ユーザから動画に関する情報を受け付ける。そして、受付部131は、かかる動画に関する情報を動画情報記憶部121に格納する。
(Regarding the reception unit 131)
The reception unit 131 receives information about moving images from the
(分類部132について)
分類部132は、受付部131によって受け付けられた動画に表示される対象物を人と人以外の物体とに分類する。具体的には、分類部132は、機械学習等の従来技術により、動画に表示される対象物を人と人以外の物体とに分類する。例えば、人以外の物体が、食べ物であるとする。この場合、分類部132は、人と食べ物とを学習させた学習モデルに動画を入力することにより、動画に表示される対象物を人と食べ物とに分類した結果を出力する。
(Regarding the classification unit 132)
The classification unit 132 classifies objects displayed in the moving image received by the reception unit 131 into humans and non-human objects. Specifically, the classification unit 132 classifies the objects displayed in the moving image into humans and non-human objects by conventional techniques such as machine learning. For example, assume that an object other than a person is food. In this case, the classification unit 132 outputs a result of classifying the objects displayed in the moving image into the human and the food by inputting the moving image to the learning model that has learned the person and the food.
(加算部133について) (Regarding the adder 133)
加算部133は、動画に表示される対象物が所定の条件を満たす場合に、対象物に対応するシーンであって、動画を構成する複数のシーンの重要度を示す重みを加算する。具体的には、加算部133は、動画に表示される対象物が所定の条件を満たす第1のシーンの重みに、動画に表示される対象物が所定の条件を満たす第2のシーンの重みを累積するように加算する。より具体的には、加算部133は、人や人以外の物体等の対象物と重みとが対応付られた情報が記憶された辞書情報記憶部122を参照して、動画を構成するシーンに表示される対象物の重みを算出することで、かかるシーンの重みを加算する。
The addition unit 133 adds weights indicating the importance of a plurality of scenes that constitute the moving image and are scenes corresponding to the object when the object displayed in the moving image satisfies a predetermined condition. Specifically, the adding unit 133 adds the weight of the first scene in which the object displayed in the moving image satisfies a predetermined condition to the weight of the second scene in which the object displayed in the moving image satisfies the predetermined condition. are cumulatively added. More specifically, the addition unit 133 refers to the dictionary
例えば、動画MO1が、人及び食べ物が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「+7」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、食べ物の重みが「+5」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人が動画に表示されていない場合の重みが「-5」であるとする。この場合、加算部133は、はじめのシーンが、食べ物が表示されるシーンの場合に、重みとして「+5」を加算する。これにより、累積された重みは、はじめの重みである「0」に「+5」を加えることで「+5」となる。 For example, it is assumed that the moving image MO1 is a moving image in which people and food are displayed. It is also assumed that the human weight is "+7" as the weight corresponding to the object stored in the dictionary information storage unit. It is also assumed that the weight of food is "+5" as the weight corresponding to the object stored in the dictionary information storage unit. It is also assumed that the weight corresponding to the object stored in the dictionary information storage unit is "-5" when the person is not displayed in the moving image. In this case, the addition unit 133 adds “+5” as the weight when the first scene is a scene in which food is displayed. As a result, the accumulated weight becomes "+5" by adding "+5" to the initial weight "0".
そして、加算部133は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+5」に「+7」を加えることで「+12」となる。そして、加算部133は、次のシーンが、人が表示されないシーンである場合に、重みとして「-5」を加算する。これにより、累積された重みは、「+12」に「-5」を加えることで「+7」となる。そして、加算部133は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+7」に「+7」を加えることで「+14」となる。そして、加算部133は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+14」に「+7」を加えることで「+21」となる。このように、加算部133は、動画MO1のフレーム毎の重みを累積することで、動画MO1の時間に対応する累積された重みを算出する。そして、加算部133は、かかる動画の重みを動画の時間に対応する形式で重み情報記憶部123に格納する。
Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed. Thus, the accumulated weight becomes "+12" by adding "+7" to "+5". Then, the addition unit 133 adds “−5” as the weight when the next scene is a scene in which no person is displayed. As a result, the accumulated weight becomes "+7" by adding "-5" to "+12". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed. As a result, the accumulated weight becomes "+14" by adding "+7" to "+7". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed. Thus, the accumulated weight becomes "+21" by adding "+7" to "+14". In this way, the addition unit 133 accumulates the weights for each frame of the moving image MO1, thereby calculating the accumulated weight corresponding to the time of the moving image MO1. Then, the addition unit 133 stores the weight of the moving image in the weight
また、例えば、動画MO1が、複数の人が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「+7」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、所定数の人の重みが「0」であるとする。この場合、加算部133は、はじめのシーンが、人が表示されるシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、はじめの重みである「0」に「+7」を加えることで「+7」となる。 Also, for example, it is assumed that the moving image MO1 is a moving image in which a plurality of people are displayed. It is also assumed that the human weight is "+7" as the weight corresponding to the object stored in the dictionary information storage unit. It is also assumed that the weight of a predetermined number of people is "0" as the weight corresponding to the object stored in the dictionary information storage unit. In this case, the addition unit 133 adds “+7” as the weight when the first scene is a scene in which a person is displayed. As a result, the accumulated weight becomes "+7" by adding "+7" to the initial weight "0".
そして、加算部133は、次のシーンが、所定数の人が表示されるシーンの場合に、重みとして「0」を加算する。これにより、累積された重みは、「+7」に「0」を加えることで「+7」となる。そして、加算部133は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+7」に「+7」を加えることで「+14」となる。そして、加算部133は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+14」に「+7」を加えることで「+21」となる。このように、加算部133は、動画MO1のフレーム毎の重みを累積することで、動画MO1の時間に対応する累積された重みを算出する。そして、加算部133は、かかる動画の重みを動画の時間に対応する形式で重み情報記憶部123に格納する。
Then, the addition unit 133 adds “0” as the weight when the next scene is a scene in which a predetermined number of people are displayed. As a result, the accumulated weight becomes "+7" by adding "0" to "+7". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed. As a result, the accumulated weight becomes "+14" by adding "+7" to "+7". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed. Thus, the accumulated weight becomes "+21" by adding "+7" to "+14". In this way, the addition unit 133 accumulates the weights for each frame of the moving image MO1, thereby calculating the accumulated weight corresponding to the time of the moving image MO1. Then, the addition unit 133 stores the weight of the moving image in the weight
また、例えば、動画MO1が、人が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「+7」であるとする。また、人の座標が変化しないシーンが3回連続で続く場合に、重みをさらに「+10」加算するとする。この場合、加算部133は、はじめのシーンが、人が表示されるシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、はじめの重みである「0」に「+7」を加えることで「+7」となる。 Also, for example, it is assumed that the moving image MO1 is a moving image in which a person is displayed. It is also assumed that the human weight is "+7" as the weight corresponding to the object stored in the dictionary information storage unit. Also, if a scene in which the coordinates of a person do not change continues three times in a row, the weight is further increased by "+10". In this case, the addition unit 133 adds “+7” as the weight when the first scene is a scene in which a person is displayed. As a result, the accumulated weight becomes "+7" by adding "+7" to the initial weight "0".
そして、加算部133は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+7」に「+7」を加えることで「+14」となる。そして、加算部133は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+14」に「+7」を加えることで「+21」となる。そして、加算部133は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+21」に「+7」を加えることで「+28」となる。また、加算部133は、人の座標が変化しないシーンが3回連続で続いた場合に、さらに重み「+10」を加算する。これにより、累積された重みは、「+28」に「+10」を加えることで「+38」となる。このように、加算部133は、動画MO1のフレーム毎の重みを累積することで、動画MO1の時間に対応する累積された重みを算出する。そして、加算部133は、かかる動画の重みを動画の時間に対応する形式で重み情報記憶部123に格納する。
Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed and the coordinates of the person do not change from the previous scene. As a result, the accumulated weight becomes "+14" by adding "+7" to "+7". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed and the coordinates of the person do not change from the previous scene. Thus, the accumulated weight becomes "+21" by adding "+7" to "+14". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed and the coordinates of the person do not change from the previous scene. Thus, the accumulated weight becomes "+28" by adding "+7" to "+21". In addition, the adding unit 133 further adds the weight “+10” when scenes in which the coordinates of the person do not change continue three times. As a result, the accumulated weight becomes "+38" by adding "+10" to "+28". In this way, the addition unit 133 accumulates the weights for each frame of the moving image MO1, thereby calculating the accumulated weight corresponding to the time of the moving image MO1. Then, the addition unit 133 stores the weight of the moving image in the weight
(選択部134について)
選択部134は、加算部133によって加算された重みに基づいて、所定数のシーンを複数のシーンから選択する。具体的には、選択部134は、加算部133によって加算された重みが所定の閾値以上である場合に、所定数のシーンを複数のシーンから選択する。例えば、選択部134は、重み情報記憶部123に記憶される重みが所定の閾値以上であるシーンを選択する。例えば、選択部134は、重みの閾値が「70」であるとする。この場合、選択部134は、動画から、重みの閾値以上である複数のシーンを選択する。
(Regarding the selection unit 134)
The selection unit 134 selects a predetermined number of scenes from the plurality of scenes based on the weights added by the addition unit 133 . Specifically, the selection unit 134 selects a predetermined number of scenes from a plurality of scenes when the weight added by the addition unit 133 is equal to or greater than a predetermined threshold. For example, the selection unit 134 selects scenes whose weights stored in the weight
(生成部135について)
生成部135は、選択部134によって選択された所定数のシーンから構成される編集動画を生成する。例えば、生成部135は、選択部134によって選択された複数のシーンに基づいて、編集動画を生成する。
(Regarding the generation unit 135)
The generation unit 135 generates an edited moving image composed of the predetermined number of scenes selected by the selection unit 134 . For example, the generation unit 135 generates an edited moving image based on multiple scenes selected by the selection unit 134 .
(提供部136について)
提供部136は、ユーザに対して、動画に対応する編集された動画として編集動画に関する情報を提供する。例えば、提供部136は、重み情報記憶部123を参照して、動画に対応する編集された動画として編集動画に関する情報をユーザに提供する。
(Regarding the providing unit 136)
The providing unit 136 provides the user with information on the edited moving image as an edited moving image corresponding to the moving image. For example, the providing unit 136 refers to the weight
〔3.生成処理のフローチャート〕
次に、図7を用いて、実施形態に係る生成装置100が実行する生成処理の手順について説明する。図7は、実施形態に係る生成装置が実行する生成処理の流れの一例を示すフローチャートである。
[3. Flowchart of generation processing]
Next, with reference to FIG. 7, a procedure of generation processing executed by the
図7に示すように、受付部131は、ユーザU1から動画MO1に関する情報を受け付ける(ステップS101)。そして、分類部132は、受付部131がユーザU1から動画MO1を受け付けていない場合(ステップS101;No)、ユーザU1から動画MO1を受け付けるまで待機する。 As shown in FIG. 7, the reception unit 131 receives information about the moving image MO1 from the user U1 (step S101). Then, if the accepting unit 131 has not accepted the moving image MO1 from the user U1 (step S101; No), the classifying unit 132 waits until accepting the moving image MO1 from the user U1.
一方、分類部132は、受付部131がユーザU1から動画MO1を受け付けた場合(ステップS101;Yes)、動画MO1に表示される対象物を人と人以外の物体とに分類する(ステップS102)。例えば、人以外の物体が、食べ物であるとする。この場合、分類部132は、人と食べ物とを学習させた学習モデルに動画を入力することにより、動画に表示される対象物を人と食べ物とに分類した結果を出力する。 On the other hand, when the receiving unit 131 receives the moving image MO1 from the user U1 (step S101; Yes), the classifying unit 132 classifies the objects displayed in the moving image MO1 into people and objects other than people (step S102). . For example, assume that an object other than a person is food. In this case, the classification unit 132 outputs a result of classifying the objects displayed in the moving image into the human and the food by inputting the moving image to the learning model that has learned the person and the food.
そして、加算部133は、辞書情報記憶部122を参照して、動画MO1を構成する各シーンの重みを加算する(ステップS103)。例えば、動画MO1が、人及び食べ物が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「+7」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、食べ物の重みが「+5」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人が動画に表示されていない場合の重みが「-5」であるとする。この場合、加算部133は、はじめのシーンが、食べ物が表示されるシーンの場合に、重みとして「+5」を加算する。これにより、累積された重みは、はじめの重みである「0」に「+5」を加えることで「+5」となる。
The addition unit 133 then refers to the dictionary
そして、加算部133は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+5」に「+7」を加えることで「+12」となる。そして、加算部133は、次のシーンが、人が表示されないシーンである場合に、重みとして「-5」を加算する。これにより、累積された重みは、「+12」に「-5」を加えることで「+7」となる。そして、加算部133は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+7」に「+7」を加えることで「+14」となる。そして、加算部133は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+14」に「+7」を加えることで「+21」となる。このように、加算部133は、動画MO1のフレーム毎の重みを累積することで、動画MO1の時間に対応する累積された重みを算出する。そして、加算部133は、かかる動画の重みを動画の時間に対応する形式で重み情報記憶部123に格納する。
Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed. Thus, the accumulated weight becomes "+12" by adding "+7" to "+5". Then, the addition unit 133 adds “−5” as the weight when the next scene is a scene in which no person is displayed. As a result, the accumulated weight becomes "+7" by adding "-5" to "+12". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed. As a result, the accumulated weight becomes "+14" by adding "+7" to "+7". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed. Thus, the accumulated weight becomes "+21" by adding "+7" to "+14". In this way, the addition unit 133 accumulates the weights for each frame of the moving image MO1, thereby calculating the accumulated weight corresponding to the time of the moving image MO1. Then, the addition unit 133 stores the weight of the moving image in the weight
また、例えば、動画MO1が、複数の人が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「+7」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、所定数の人の重みが「0」であるとする。この場合、加算部133は、はじめのシーンが、人が表示されるシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、はじめの重みである「0」に「+7」を加えることで「+7」となる。 Also, for example, it is assumed that the moving image MO1 is a moving image in which a plurality of people are displayed. It is also assumed that the human weight is "+7" as the weight corresponding to the object stored in the dictionary information storage unit. It is also assumed that the weight of a predetermined number of people is "0" as the weight corresponding to the object stored in the dictionary information storage unit. In this case, the addition unit 133 adds “+7” as the weight when the first scene is a scene in which a person is displayed. As a result, the accumulated weight becomes "+7" by adding "+7" to the initial weight "0".
そして、加算部133は、次のシーンが、所定数の人が表示されるシーンの場合に、重みとして「0」を加算する。これにより、累積された重みは、「+7」に「0」を加えることで「+7」となる。そして、加算部133は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+7」に「+7」を加えることで「+14」となる。そして、加算部133は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+14」に「+7」を加えることで「+21」となる。このように、加算部133は、動画MO1のフレーム毎の重みを累積することで、動画MO1の時間に対応する累積された重みを算出する。そして、加算部133は、かかる動画の重みを動画の時間に対応する形式で重み情報記憶部123に格納する。
Then, the addition unit 133 adds “0” as the weight when the next scene is a scene in which a predetermined number of people are displayed. As a result, the accumulated weight becomes "+7" by adding "0" to "+7". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed. As a result, the accumulated weight becomes "+14" by adding "+7" to "+7". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed. Thus, the accumulated weight becomes "+21" by adding "+7" to "+14". In this way, the addition unit 133 accumulates the weights for each frame of the moving image MO1, thereby calculating the accumulated weight corresponding to the time of the moving image MO1. Then, the addition unit 133 stores the weight of the moving image in the weight
また、例えば、動画MO1が、人が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「+7」であるとする。また、人の座標が変化しないシーンが3回連続で続く場合に、重みをさらに「+10」加算するとする。この場合、加算部133は、はじめのシーンが、人が表示されるシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、はじめの重みである「0」に「+7」を加えることで「+7」となる。 Also, for example, it is assumed that the moving image MO1 is a moving image in which a person is displayed. It is also assumed that the human weight is "+7" as the weight corresponding to the object stored in the dictionary information storage unit. Also, if a scene in which the coordinates of a person do not change continues three times in a row, the weight is further increased by "+10". In this case, the addition unit 133 adds “+7” as the weight when the first scene is a scene in which a person is displayed. As a result, the accumulated weight becomes "+7" by adding "+7" to the initial weight "0".
そして、加算部133は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+7」に「+7」を加えることで「+14」となる。そして、加算部133は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+14」に「+7」を加えることで「+21」となる。そして、加算部133は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+21」に「+7」を加えることで「+28」となる。また、加算部133は、人の座標が変化しないシーンが3回連続で続いた場合に、さらに重み「+10」を加算する。これにより、累積された重みは、「+28」に「+10」を加えることで「+38」となる。このように、加算部133は、動画MO1のフレーム毎の重みを累積することで、動画MO1の時間に対応する累積された重みを算出する。そして、加算部133は、かかる動画の重みを動画の時間に対応する形式で重み情報記憶部123に格納する。
Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed and the coordinates of the person do not change from the previous scene. As a result, the accumulated weight becomes "+14" by adding "+7" to "+7". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed and the coordinates of the person do not change from the previous scene. Thus, the accumulated weight becomes "+21" by adding "+7" to "+14". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed and the coordinates of the person do not change from the previous scene. Thus, the accumulated weight becomes "+28" by adding "+7" to "+21". In addition, the adding unit 133 further adds the weight “+10” when scenes in which the coordinates of the person do not change continue three times. As a result, the accumulated weight becomes "+38" by adding "+10" to "+28". In this way, the addition unit 133 accumulates the weights for each frame of the moving image MO1, thereby calculating the accumulated weight corresponding to the time of the moving image MO1. Then, the addition unit 133 stores the weight of the moving image in the weight
そして、選択部134は、加算部133によって加算された各シーンの重みに基づいて、シーンを選択する(ステップS104)。例えば、選択部134は、重み情報記憶部123に記憶される重みが所定の閾値以上であるシーンを選択する。例えば、選択部134は、重みの閾値が「70」であるとする。この場合、選択部134は、動画から、重みの閾値以上である複数のシーンを選択する。そして、生成部135は、選択部134によって選択された複数のシーンから構成される編集動画EM1を生成する(ステップS105)。
Then, the selection unit 134 selects a scene based on the weight of each scene added by the addition unit 133 (step S104). For example, the selection unit 134 selects scenes whose weights stored in the weight
〔4.変形例〕
上述した生成装置100は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、生成装置100の他の実施形態について説明する。
[4. Modification]
The generating
〔4-1.対象物〕
上記実施形態では、生成装置100の辞書情報記憶部122には、人や人以外の物体等の対象物と重みとが対応付られた情報が記憶される一例を説明したが、辞書情報記憶部122に記憶される重みは対象物のみに限定されなくてもよい。例えば、対象物ではない人の音声等に対応する重みに関する情報が辞書情報記憶部122に記憶されてもよい。
[4-1. Object〕
In the above embodiment, an example was described in which information in which objects such as humans and objects other than humans are associated with weights is stored in the dictionary
〔4-2.加算処理 目的に応じて重みを変更〕
上記実施形態では、生成装置100の加算部133が人や人以外の物体等の対象物と重みとが対応付られた情報が記憶された辞書情報記憶部122を参照して、動画を構成するシーンに表示される対象物の重みを算出することで、かかるシーンの重みを加算する加算処理の一例を説明したが、辞書情報記憶部122に記憶される重みであって、編集動画の提供先に応じて変動される重みを参照して、重みを加算してもよい。具体的には、加算部133は、編集動画の提供先に応じて変動される重みに基づいて、動画のフレーム毎の重みを累積するように加算してもよい。例えば、ユーザがSNS(Social Networking Service)に登録しているものとする。また、ユーザによって利用されるSNSでは食べ物の動画が頻繁に投稿されているものとする。この場合、加算部133は、SNSに対応して食べ物の重みを一律に「+5」大きくした重みが記憶された辞書情報記憶部122を参照して、動画のフレーム毎の重みを累積するように加算してもよい。
[4-2. Addition processing Change the weight according to the purpose]
In the above-described embodiment, the addition unit 133 of the
これにより、実施形態に係る生成装置100の加算部133は、ユーザによって投稿されるSNS毎に最適化された重みに基づいて動画のフレーム毎に重みを累積するように加算することができるため、ユーザによって編集動画が投稿される態様に適した重みを加算することができる。
As a result, the addition unit 133 of the
〔4-3.選択処理(1)特定の物体のシーンが続く場合に倍速〕
上記実施形態では、生成装置100の選択部134が加算部133によって加算された重みが所定の閾値以上である場合に、所定数のシーンを複数のシーンから選択する選択処理の一例を説明したが、加算部133によって加算された重みが動画のうち、前後のシーンで変化しない場合に、かかるシーンに対して動画の表示速度を早くしたシーンを含む所定数のシーンを複数のシーンから選択してもよい。例えば、選択部134は、重み情報記憶部123に記憶される重みが変化しないシーンに対して動画の表示速度を倍速にしたシーンを含む所定数のシーンを選択する。
[4-3. Selection processing (1) Double speed when scenes of a specific object continue]
In the above-described embodiment, an example of selection processing in which the selection unit 134 of the
これにより、実施形態に係る生成装置100の選択部134は、前後のシーンで変化しない場合に、かかるシーンに対して動画の表示速度を倍速にしたシーンを含む所定数のシーンを複数のシーンから選択することができるため、冗長なシーンを編集動画から除くことができる。
As a result, the selection unit 134 of the
〔4-4.選択処理(2)動画時間の選択〕
上記実施形態では、生成装置100の選択部134が加算部133によって加算された重みが所定の閾値以上である場合に、所定数のシーンを複数のシーンから選択する選択処理の一例を説明したが、加算部133によって加算された重みに基づいて、動画の時間に対応する所定数のシーンを複数のシーンから選択してもよい。例えば、ユーザから受け付けられた動画の総時間が「5分」であるものとする。また、ユーザによって動画の総時間を「3分」と指定されたものとする。この場合、選択部134は、重み情報記憶部123に記憶される重みが変化しないシーンを除くことで、動画の総時間が「3分」の編集動画を生成できるように、所定数のシーンを選択する。
[4-4. Selection processing (2) Selection of video time]
In the above-described embodiment, an example of selection processing in which the selection unit 134 of the
これにより、実施形態に係る生成装置100の選択部134は、動画の時間に対応する所定数のシーンを複数のシーンから選択することができるため、冗長なシーンを編集動画から除くことができる。
As a result, the selection unit 134 of the
〔4-5.選択処理(3)重みが加算された場合に選択〕
上記実施形態では、生成装置100の選択部134が加算部133によって加算された重みが所定の閾値以上である場合に、所定数のシーンを複数のシーンから選択する選択処理の一例を説明したが、加算部133によって加算された重みに対応する所定数のシーンを複数のシーンから選択してもよい。
[4-5. Selection processing (3) Selection when weight is added]
In the above-described embodiment, an example of selection processing in which the selection unit 134 of the
ここで、図8を用いて編集動画EM21の生成方法について説明する。図8は、変形例に係る生成装置100が実行する編集動画の生成方法の処理の一例を示す図である。図8に示すように、図FG21は、動画MO1の時間に対応する重みの変化を示す。図FG21の縦軸は、加算された重みの値を示す。図FG21の横軸は、動画MO1の動画内の時間を示す。図FG21は、所定の重みの閾値の表示を含む。例えば、図FG21では、所定の範囲内の複数のシーンSE1、SE2、SE3が所定の重みの閾値以上であるシーンである。
Here, a method for generating the edited moving image EM21 will be described with reference to FIG. FIG. 8 is a diagram showing an example of the process of the edited moving image generation method executed by the
また、図8に示すように、図FG22は、所定の重みの閾値以上である所定の範囲内の複数のシーンSE21、SE22、SE23を合わせた動画を示す。すなわち、かかる動画は、編集動画EM1に対応する。 Also, as shown in FIG. 8, FIG. FG22 shows a moving image including a plurality of scenes SE21, SE22, and SE23 within a predetermined range that are equal to or greater than a predetermined weight threshold. That is, this moving image corresponds to the edited moving image EM1.
例えば、選択部134は、重みの閾値が「70」であるとする。この場合、選択部134は、動画MO1から、重みの閾値以上である所定の範囲内の複数のシーンSE21、SE22、SE23を選択する。 For example, the selection unit 134 assumes that the weight threshold is "70". In this case, the selection unit 134 selects a plurality of scenes SE21, SE22, and SE23 within a predetermined range that is equal to or greater than the weight threshold from the moving image MO1.
これにより、実施形態に係る生成装置100の選択部134は、所定の閾値以上である重みを示す複数のシーンであって、重みが増加する範囲内の複数のシーンを選択することができるため、編集動画内のシーンが飛び飛びになることを防ぐだけでなく、間延びする冗長なシーンをも除くことができる。
As a result, the selection unit 134 of the
〔4-6.重み〕
上記実施形態では、生成装置100の辞書情報記憶部122には、人がいないシーンの場合に重みとして「-5」に関する情報が記憶される一例を説明したが、辞書情報記憶部122に記憶される重みは上記に限定されなくてもよい。例えば、人がいないシーンの場合に重みとして「0」に関する情報が辞書情報記憶部122に記憶されてもよい。
[4-6. weight〕
In the above embodiment, an example has been described in which the dictionary
〔4-7.動画〕
上記実施形態では、生成装置100の受付部131が、ユーザによって端末装置10で撮影された動画を受け付ける処理の一例を説明したが、受付部131によって受け付けられる動画は、ユーザによって撮影された動画に限定されず、如何なる動画であってもよい。
[4-7. movie〕
In the above-described embodiment, an example of the processing in which the reception unit 131 of the
〔5.ハードウェア構成〕
また、上述してきた実施形態に係る端末装置10及び生成装置100は、例えば図9に示すような構成のコンピュータ1000によって実現される。以下、生成装置100を例に挙げて説明する。図9は、生成装置100の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
[5. Hardware configuration]
Also, the
CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
The
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、ネットワークNを介して他の機器からデータを受信してCPU1100へ送り、CPU1100がネットワークNを介して生成したデータを他の機器へ送信する。
The
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、入出力インターフェイス1600を介して生成したデータを出力装置へ出力する。
The
メディアインターフェイス1700は、記録媒体1800に格納されたプログラム又はデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が実施形態に係る生成装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部130の機能を実現する。また、HDD1400には、記憶部120内のデータが格納される。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置からネットワークNを介してこれらのプログラムを取得してもよい。
For example, when the
〔6.その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[6. others〕
Further, among the processes described in the above embodiments and modifications, all or part of the processes described as being performed automatically can be performed manually, or described as being performed manually. All or part of the processing can also be performed automatically by known methods. In addition, information including processing procedures, specific names, various data and parameters shown in the above documents and drawings can be arbitrarily changed unless otherwise specified. For example, the various information shown in each drawing is not limited to the illustrated information.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Also, each component of each device illustrated is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution and integration of each device is not limited to the one shown in the figure, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Also, the above-described embodiments and modifications can be appropriately combined within a range that does not contradict the processing content.
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、生成部は、生成手段や生成回路に読み替えることができる。 Also, the above-mentioned "section, module, unit" can be read as "means" or "circuit". For example, the generating unit can be read as generating means or a generating circuit.
〔7.効果〕
上述してきたように、実施形態に係る生成装置100は、加算部133と、生成部135とを有する。加算部133は、動画に表示される対象物が所定の条件を満たす場合に、動画を構成する複数のシーンの重要度を示す重みを加算する。生成部135は、加算部133によって加算された重みに基づいて、複数のシーンのうち、所定数のシーンから構成される編集動画を生成する。
[7. effect〕
As described above, the generating
これにより、実施形態に係る生成装置100は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。
As a result, the
また、実施形態に係る生成装置100において、加算部133は、動画に表示される対象物が所定の条件を満たす第1のシーンの重みに、動画に表示される対象物が所定の条件を満たす第2のシーンの重みを加算し、加算部133によって加算された重みに基づいて、所定数のシーンを複数のシーンから選択する選択部134をさらに備え、生成部135は、選択部134によって選択された所定数のシーンから構成される編集動画を生成する。
In addition, in the
これにより、実施形態に係る生成装置100は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。
As a result, the
また、実施形態に係る生成装置100において、選択部134は、加算部133によって加算された重みが所定の閾値以上である場合に、所定数のシーンを複数のシーンから選択する。
Further, in the
これにより、実施形態に係る生成装置100は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。
As a result, the
また、実施形態に係る生成装置100において、選択部134は、加算部133によって加算された重みに対応する所定数のシーンを複数のシーンから選択する。
In addition, in the
これにより、実施形態に係る生成装置100は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。
As a result, the
また、実施形態に係る生成装置100において、選択部134は、加算部133によって加算された重みが動画のうち、前後のシーンで変化しない場合に、当該シーンを含まない所定数のシーンを複数のシーンから選択する。
In addition, in the
これにより、実施形態に係る生成装置100は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。
As a result, the
また、実施形態に係る生成装置100において、選択部134は、加算部133によって加算された重みに基づいて、動画の時間に対応する所定数のシーンを複数のシーンから選択する。
In addition, in the
これにより、実施形態に係る生成装置100は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。
As a result, the
また、実施形態に係る生成装置100において、加算部133は、動画に表示される対象物が所定の条件を満たす場合に、対象物と重みとが対応付られた情報が記憶される記憶部を参照して、重みを加算する。
In addition, in the
これにより、実施形態に係る生成装置100は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。
As a result, the
また、実施形態に係る生成装置100において、加算部133は、動画に表示される対象物が所定の条件を満たす場合に、記憶部に記憶される重みであって、編集動画の提供先に応じて変動される重みを参照して、重みを加算する。
In addition, in the
これにより、実施形態に係る生成装置100は、編集動画の提供先に応じた適切なシーンを動画から選択することができるため、適切に編集された動画をユーザに提供することができる。
As a result, the
また、実施形態に係る生成装置100において、加算部133は、所定の条件として、動画に表示される対象物が、人、人の音声、動物、生物、移動体、食べ物、玩具である場合に、重みを加算する。
In addition, in the
これにより、実施形態に係る生成装置100は、様々な対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。
As a result, the generating
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 As described above, some of the embodiments of the present application have been described in detail based on the drawings. It is possible to carry out the invention in other forms with modifications.
1 生成システム
10 端末装置
100 生成装置
110 通信部
120 記憶部
121 動画情報記憶部
122 辞書情報記憶部
123 重み情報記憶部
130 制御部
131 受付部
132 分類部
133 加算部
134 選択部
135 生成部
136 提供部
1
Claims (17)
前記加算部によって加算された重みに基づいて、前記動画を構成する複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成部と、
を備え、
前記加算部は、
前記動画に表示される対象物が所定の条件を満たす場合に、対象物と重みとが対応付けられた情報が記憶される記憶部を参照して、当該対象物に対応付けられた重みを前記重みとして加算する、
ことを特徴とする生成装置。 an addition unit for adding a weight indicating the importance of a scene corresponding to each frame of a moving image when an object displayed in the moving image satisfies a predetermined condition;
a generating unit that generates an edited moving image composed of a predetermined number of scenes among a plurality of scenes that constitute the moving image based on the weights added by the adding unit;
with
The addition unit
When an object displayed in the moving image satisfies a predetermined condition, the weight associated with the object is obtained by referring to the storage unit that stores information in which the object and the weight are associated with each other. add as weights,
A generating device characterized by:
前記加算部によって加算された重みのうち、所定の閾値以上である重みに対応する複数のシーンのうちから、前記動画を示す全てのシーンの数未満である所定数のシーンを選択する選択部をさらに備え、
前記生成部は、
前記選択部によって選択された所定数のシーンから構成される前記編集動画を生成する、
ことを特徴とする請求項1に記載の生成装置。 The weight of a first scene in which an object displayed in the moving image satisfies a predetermined condition is added so as to accumulate the weight of a second scene in which an object displayed in the moving image satisfies a predetermined condition. death,
a selection unit that selects a predetermined number of scenes, which is less than the number of all scenes showing the moving image, from among a plurality of scenes corresponding to weights equal to or greater than a predetermined threshold among the weights added by the addition unit; further prepared,
The generating unit
generating the edited video composed of a predetermined number of scenes selected by the selection unit;
The generation device according to claim 1, characterized in that:
前記加算部によって加算された重みが所定の閾値以上である場合に、前記所定数のシーンを前記複数のシーンから選択する、
ことを特徴とする請求項2に記載の生成装置。 The selection unit
selecting the predetermined number of scenes from the plurality of scenes when the weight added by the adding unit is equal to or greater than a predetermined threshold;
3. The generator according to claim 2, characterized by:
前記加算部によって加算された重みに対応する前記所定数のシーンを前記複数のシーンから選択する、
ことを特徴とする請求項2又は3に記載の生成装置。 The selection unit
selecting the predetermined number of scenes corresponding to the weights added by the adding unit from the plurality of scenes;
4. The generator according to claim 2 or 3, characterized in that:
前記加算部によって加算された重みが前記動画のうち、前後のシーンで変化しない場合に、動画の表示速度を早くした当該シーンを含む前記所定数のシーンを前記複数のシーンから選択する、
ことを特徴とする請求項2~4のいずれか1つに記載の生成装置。 The selection unit
selecting from the plurality of scenes the predetermined number of scenes including the scene in which the display speed of the moving image is increased when the weight added by the adding unit does not change between the scenes before and after the moving image;
The generator according to any one of claims 2 to 4, characterized in that:
前記加算部によって加算された重みに基づいて、前記動画の時間に対応する前記所定数のシーンを前記複数のシーンから選択する、
ことを特徴とする請求項2~5のいずれか1つに記載の生成装置。 The selection unit
Selecting the predetermined number of scenes corresponding to the time of the moving image from the plurality of scenes based on the weights added by the adding unit;
The generator according to any one of claims 2 to 5, characterized in that:
前記動画に表示される対象物が所定の条件を満たす場合に、前記記憶部に記憶される重みであって、前記編集動画の提供先に応じて変動される重みを参照して、前記重みを加算する、
ことを特徴とする請求項1に記載の生成装置。 The addition unit
When the object displayed in the moving image satisfies a predetermined condition, the weight stored in the storage unit and changed according to the provider of the edited moving image is referenced, and the weight is calculated by referring to the weight stored in the storage unit. to add,
The generation device according to claim 1 , characterized in that:
前記所定の条件として、前記動画に表示される対象物が、人、人の音声、動物、生物、移動体、食べ物、玩具である場合に、前記重みを加算する、
ことを特徴とする請求項1~7のいずれか1つに記載の生成装置。 The addition unit
As the predetermined condition, the weight is added when the object displayed in the moving image is a person, a human voice, an animal, a creature, a moving object, food, or a toy.
The generator according to any one of claims 1 to 7 , characterized in that:
前記加算部によって加算された重みに基づいて、前記複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成部と、
を備え、
前記動画に表示される対象物が所定の条件を満たす第1のシーンの前記重みに、前記動画に表示される対象物が所定の条件を満たす第2のシーンの前記重みを累積するように加算し、
前記加算部によって加算された重みのうち、所定の閾値以上である重みに対応する複数のシーンのうちから、前記動画を示す全てのシーンの数未満である所定数のシーンを選択する選択部をさらに備え、
前記生成部は、
前記選択部によって選択された所定数のシーンから構成される前記編集動画を生成する
ことを特徴とする生成装置。 an addition unit that adds weights indicating the importance of a plurality of scenes that constitute a moving image and are scenes corresponding to the target object displayed in the moving image when the target object satisfies a predetermined condition;
a generation unit that generates an edited video composed of a predetermined number of scenes among the plurality of scenes based on the weights added by the addition unit;
with
The weight of a first scene in which an object displayed in the moving image satisfies a predetermined condition is added so as to accumulate the weight of a second scene in which an object displayed in the moving image satisfies a predetermined condition. death,
a selection unit that selects a predetermined number of scenes, which is less than the number of all scenes showing the moving image, from among a plurality of scenes corresponding to weights equal to or greater than a predetermined threshold among the weights added by the addition unit; further prepared,
The generating unit
A generation device that generates the edited moving image composed of a predetermined number of scenes selected by the selection unit.
前記加算部によって加算された重みに基づいて、前記複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成部と、
を備え、
前記動画に表示される対象物が所定の条件を満たす第1のシーンの前記重みに、前記動画に表示される対象物が所定の条件を満たす第2のシーンの前記重みを累積するように加算し、
前記加算部によって加算された重みのうち、所定の閾値以上である重みに対応する複数のシーンのうちから、前記動画を示す全てのシーンの数未満である所定数のシーンを選択する選択部をさらに備え、
前記生成部は、
前記選択部によって選択された所定数のシーンから構成される前記編集動画を生成し、
前記選択部は、
前記加算部によって加算された重みが所定の閾値以上である場合に、前記所定数のシーンを前記複数のシーンから選択する
ことを特徴とする生成装置。 an addition unit that adds weights indicating the importance of a plurality of scenes that constitute a moving image and are scenes corresponding to the target object displayed in the moving image when the target object satisfies a predetermined condition;
a generation unit that generates an edited video composed of a predetermined number of scenes among the plurality of scenes based on the weights added by the addition unit;
with
The weight of a first scene in which an object displayed in the moving image satisfies a predetermined condition is added so as to accumulate the weight of a second scene in which an object displayed in the moving image satisfies a predetermined condition. death,
a selection unit that selects a predetermined number of scenes, which is less than the number of all scenes showing the moving image, from among a plurality of scenes corresponding to weights equal to or greater than a predetermined threshold among the weights added by the addition unit; further prepared,
The generating unit
generating the edited video composed of a predetermined number of scenes selected by the selection unit;
The selection unit
The generation device, wherein the predetermined number of scenes are selected from the plurality of scenes when the weight added by the addition unit is equal to or greater than a predetermined threshold.
前記加算部によって加算された重みに基づいて、前記複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成部と、
を備え、
前記動画に表示される対象物が所定の条件を満たす第1のシーンの前記重みに、前記動画に表示される対象物が所定の条件を満たす第2のシーンの前記重みを累積するように加算し、
前記加算部によって加算された重みのうち、所定の閾値以上である重みに対応する複数のシーンのうちから、前記動画を示す全てのシーンの数未満である所定数のシーンを選択する選択部をさらに備え、
前記生成部は、
前記選択部によって選択された所定数のシーンから構成される前記編集動画を生成し、
前記選択部は、
前記加算部によって加算された重みに対応する前記所定数のシーンを前記複数のシーンから選択する
ことを特徴とする生成装置。 an addition unit that adds weights indicating the importance of a plurality of scenes that constitute a moving image and are scenes corresponding to the target object displayed in the moving image when the target object satisfies a predetermined condition;
a generation unit that generates an edited video composed of a predetermined number of scenes among the plurality of scenes based on the weights added by the addition unit;
with
The weight of a first scene in which an object displayed in the moving image satisfies a predetermined condition is added so as to accumulate the weight of a second scene in which an object displayed in the moving image satisfies a predetermined condition. death,
a selection unit that selects a predetermined number of scenes, which is less than the number of all scenes showing the moving image, from among a plurality of scenes corresponding to weights equal to or greater than a predetermined threshold among the weights added by the addition unit; further prepared,
The generating unit
generating the edited video composed of a predetermined number of scenes selected by the selection unit;
The selection unit
The generation device, wherein the predetermined number of scenes corresponding to the weights added by the addition unit are selected from the plurality of scenes.
前記加算部によって加算された重みに基づいて、前記複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成部と、
を備え、
前記動画に表示される対象物が所定の条件を満たす第1のシーンの前記重みに、前記動画に表示される対象物が所定の条件を満たす第2のシーンの前記重みを累積するように加算し、
前記加算部によって加算された重みのうち、所定の閾値以上である重みに対応する複数のシーンのうちから、前記動画を示す全てのシーンの数未満である所定数のシーンを選択する選択部をさらに備え、
前記生成部は、
前記選択部によって選択された所定数のシーンから構成される前記編集動画を生成し、
前記選択部は、
前記加算部によって加算された重みが前記動画のうち、前後のシーンで変化しない場合に、動画の表示速度を早くした当該シーンを含む前記所定数のシーンを前記複数のシーンから選択する
ことを特徴とする生成装置。 an addition unit that adds weights indicating the importance of a plurality of scenes that constitute a moving image and are scenes corresponding to the target object displayed in the moving image when the target object satisfies a predetermined condition;
a generation unit that generates an edited video composed of a predetermined number of scenes among the plurality of scenes based on the weights added by the addition unit;
with
The weight of a first scene in which an object displayed in the moving image satisfies a predetermined condition is added so as to accumulate the weight of a second scene in which an object displayed in the moving image satisfies a predetermined condition. death,
a selection unit that selects a predetermined number of scenes, which is less than the number of all scenes showing the moving image, from among a plurality of scenes corresponding to weights equal to or greater than a predetermined threshold among the weights added by the addition unit; further prepared,
The generating unit
generating the edited video composed of a predetermined number of scenes selected by the selection unit;
The selection unit
When the weight added by the addition unit does not change between the scenes before and after the moving image, the predetermined number of scenes including the scene whose moving image display speed is increased are selected from the plurality of scenes. generator.
前記加算部によって加算された重みに基づいて、前記複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成部と、
を備え、
前記動画に表示される対象物が所定の条件を満たす第1のシーンの前記重みに、前記動画に表示される対象物が所定の条件を満たす第2のシーンの前記重みを累積するように加算し、
前記加算部によって加算された重みのうち、所定の閾値以上である重みに対応する複数のシーンのうちから、前記動画を示す全てのシーンの数未満である所定数のシーンを選択する選択部をさらに備え、
前記生成部は、
前記選択部によって選択された所定数のシーンから構成される前記編集動画を生成し、
前記選択部は、
前記加算部によって加算された重みに基づいて、前記動画の時間に対応する前記所定数のシーンを前記複数のシーンから選択する
ことを特徴とする生成装置。 an addition unit that adds weights indicating the importance of a plurality of scenes that constitute a moving image and are scenes corresponding to the target object displayed in the moving image when the target object satisfies a predetermined condition;
a generation unit that generates an edited video composed of a predetermined number of scenes among the plurality of scenes based on the weights added by the addition unit;
with
The weight of a first scene in which an object displayed in the moving image satisfies a predetermined condition is added so as to accumulate the weight of a second scene in which an object displayed in the moving image satisfies a predetermined condition. death,
a selection unit that selects a predetermined number of scenes, which is less than the number of all scenes showing the moving image, from among a plurality of scenes corresponding to weights equal to or greater than a predetermined threshold among the weights added by the addition unit; further prepared,
The generating unit
generating the edited video composed of a predetermined number of scenes selected by the selection unit;
The selection unit
The generation device, wherein the predetermined number of scenes corresponding to the time of the moving image are selected from the plurality of scenes based on the weights added by the addition unit.
前記加算部によって加算された重みに基づいて、前記複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成部と、
を備え、
前記加算部は、
前記動画に表示される対象物が所定の条件を満たす場合に、対象物と重みとが対応付けられた情報が記憶される記憶部を参照して、当該対象物に対応付けられた重みを前記重みとして加算し、
前記加算部は、
前記動画に表示される対象物が所定の条件を満たす場合に、前記記憶部に記憶される重みであって、前記編集動画の提供先に応じて変動される重みを参照して、前記重みを加算する
ことを特徴とする生成装置。 an addition unit that adds weights indicating the importance of a plurality of scenes that constitute a moving image and are scenes corresponding to the target object displayed in the moving image when the target object satisfies a predetermined condition;
a generation unit that generates an edited video composed of a predetermined number of scenes among the plurality of scenes based on the weights added by the addition unit;
with
The addition unit
When an object displayed in the moving image satisfies a predetermined condition, the weight associated with the object is obtained by referring to the storage unit that stores information in which the object and the weight are associated with each other. Add as a weight,
The addition unit
When the object displayed in the moving image satisfies a predetermined condition, the weight stored in the storage unit and changed according to the provider of the edited moving image is referenced, and the weight is calculated by referring to the weight stored in the storage unit. A generating device characterized by adding.
前記加算部によって加算された重みに基づいて、前記複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成部と、
を備え、
前記加算部は、
前記動画に表示される対象物が所定の条件を満たす場合に、対象物と重みとが対応付けられた情報が記憶される記憶部を参照して、当該対象物に対応付けられた重みを前記重みとして加算し、
前記加算部は、
前記所定の条件として、前記動画に表示される対象物が、人、人の音声、動物、生物、移動体、食べ物、玩具である場合に、前記重みを加算する
ことを特徴とする生成装置。 an addition unit that adds weights indicating the importance of a plurality of scenes that constitute a moving image and are scenes corresponding to the target object displayed in the moving image when the target object satisfies a predetermined condition;
a generation unit that generates an edited video composed of a predetermined number of scenes among the plurality of scenes based on the weights added by the addition unit;
with
The addition unit
When an object displayed in the moving image satisfies a predetermined condition, the weight associated with the object is obtained by referring to the storage unit that stores information in which the object and the weight are associated with each other. Add as a weight,
The addition unit
The generating device adds the weight when the object displayed in the moving image is a person, a human voice, an animal, a creature, a mobile object, food, or a toy as the predetermined condition.
動画に表示される対象物が所定の条件を満たす場合に、当該対象物に対応するシーンであって、動画のフレーム毎のシーンの重要度を示す重みを加算する加算工程と、
前記加算工程によって加算された重みに基づいて、前記動画を構成する複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成工程と、
を含み、
前記加算工程は、
前記動画に表示される対象物が所定の条件を満たす場合に、対象物と重みとが対応付けられた情報が記憶される記憶部を参照して、当該対象物に対応付けられた重みを前記重みとして加算する、
ことを特徴とする生成方法。 A computer implemented method of generation comprising:
an addition step of, when an object displayed in a moving image satisfies a predetermined condition, adding a weight indicating the importance of a scene corresponding to the object in each frame of the moving image;
a generating step of generating an edited moving image composed of a predetermined number of scenes among a plurality of scenes constituting the moving image based on the weights added in the adding step;
including
The addition step includes
When an object displayed in the moving image satisfies a predetermined condition, the weight associated with the object is obtained by referring to the storage unit that stores information in which the object and the weight are associated with each other. add as weights,
A generation method characterized by:
前記加算手順によって加算された重みに基づいて、前記動画を構成する複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成手順と、
をコンピュータに実行させ、
前記加算手順は、
前記動画に表示される対象物が所定の条件を満たす場合に、対象物と重みとが対応付けられた情報が記憶される記憶部を参照して、当該対象物に対応付けられた重みを前記重みとして加算する、
ことを特徴とする生成プログラム。 an adding step of adding a weight indicating the importance of a scene corresponding to each frame of a moving image when an object displayed in the moving image satisfies a predetermined condition;
a generating procedure for generating an edited moving image composed of a predetermined number of scenes among a plurality of scenes constituting the moving image based on the weights added by the adding procedure;
on the computer, and
The addition procedure includes:
When an object displayed in the moving image satisfies a predetermined condition, the weight associated with the object is obtained by referring to the storage unit that stores information in which the object and the weight are associated with each other. add as weights,
A generating program characterized by:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018200375A JP7133433B2 (en) | 2018-10-24 | 2018-10-24 | Generation device, generation method, generation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018200375A JP7133433B2 (en) | 2018-10-24 | 2018-10-24 | Generation device, generation method, generation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020068468A JP2020068468A (en) | 2020-04-30 |
JP7133433B2 true JP7133433B2 (en) | 2022-09-08 |
Family
ID=70388698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018200375A Active JP7133433B2 (en) | 2018-10-24 | 2018-10-24 | Generation device, generation method, generation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7133433B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002125199A (en) | 2000-06-30 | 2002-04-26 | Toshiba Corp | Frame information description method, frame information generating device and method, video reproducing device and method, and recording medium |
JP2005277531A (en) | 2004-03-23 | 2005-10-06 | Seiko Epson Corp | Moving image processing apparatus |
JP4449216B2 (en) | 1998-12-28 | 2010-04-14 | ソニー株式会社 | Video information editing method and editing apparatus |
JP2010187374A (en) | 2009-01-15 | 2010-08-26 | Victor Co Of Japan Ltd | Summary video-generating apparatus and summary video generating method |
JP2010258768A (en) | 2009-04-24 | 2010-11-11 | Canon Inc | Image display device and control method thereof, program and storage medium |
JP2015099958A (en) | 2013-11-18 | 2015-05-28 | 日本電信電話株式会社 | Digest video generating apparatus, digest video generating method, and digest video generating program |
-
2018
- 2018-10-24 JP JP2018200375A patent/JP7133433B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4449216B2 (en) | 1998-12-28 | 2010-04-14 | ソニー株式会社 | Video information editing method and editing apparatus |
JP2002125199A (en) | 2000-06-30 | 2002-04-26 | Toshiba Corp | Frame information description method, frame information generating device and method, video reproducing device and method, and recording medium |
JP2005277531A (en) | 2004-03-23 | 2005-10-06 | Seiko Epson Corp | Moving image processing apparatus |
JP2010187374A (en) | 2009-01-15 | 2010-08-26 | Victor Co Of Japan Ltd | Summary video-generating apparatus and summary video generating method |
JP2010258768A (en) | 2009-04-24 | 2010-11-11 | Canon Inc | Image display device and control method thereof, program and storage medium |
JP2015099958A (en) | 2013-11-18 | 2015-05-28 | 日本電信電話株式会社 | Digest video generating apparatus, digest video generating method, and digest video generating program |
Also Published As
Publication number | Publication date |
---|---|
JP2020068468A (en) | 2020-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6355800B1 (en) | Learning device, generating device, learning method, generating method, learning program, and generating program | |
CN107924414B (en) | Personal assistance to facilitate multimedia integration and story generation at a computing device | |
US9256826B2 (en) | Predicting reactions to short-text posts | |
US11004036B2 (en) | Content creation, deployment collaboration, and tracking exposure | |
CN112074857A (en) | Combining machine learning and social data to generate personalized recommendations | |
US20120039539A1 (en) | Method and system for classifying one or more images | |
US20190228336A1 (en) | Training apparatus, training method, and non-transitory computer readable storage medium | |
EP3547245A1 (en) | System and method for producing a customized video file | |
US9262044B2 (en) | Methods, systems, and user interfaces for prompting social video content interaction | |
JP6501939B2 (en) | Model generation device, information distribution device, model generation method, information distribution method, model generation program, information distribution program, estimation device and estimation method | |
US11222208B2 (en) | Portrait image evaluation based on aesthetics | |
US20230334090A1 (en) | Searching and ranking modifiable videos in multimedia messaging application | |
JP7133433B2 (en) | Generation device, generation method, generation program | |
KR101423690B1 (en) | Contents recommendation system and method based on social network | |
Battad et al. | Using multiple storylines for presenting large information networks | |
US20220139251A1 (en) | Motivational Extended Reality | |
US11743396B2 (en) | Electronic album generating apparatus, electronic album generating method, and non-transitory computer-readable storage medium | |
JP7387970B2 (en) | Calculation device, calculation method, calculation program | |
JP7117835B2 (en) | Generation device, model, generation method and generation program | |
CN107015733B (en) | Option information presentation system and method | |
JP7457545B2 (en) | Evaluation device, evaluation method and evaluation program | |
US11669951B1 (en) | System for selecting content for a personalized video reel | |
KR102555967B1 (en) | Method for recommending a user character according to the other user's propensity based on artificial intelligence and a digital content providing server including the same | |
JP6979308B2 (en) | Extractor, extraction method and extraction program | |
US20230144461A1 (en) | Dynamically creating and playing a scenario replication for an activity on visual and audio devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191101 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191108 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200917 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220829 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7133433 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |