JP7133433B2 - Generation device, generation method, generation program - Google Patents

Generation device, generation method, generation program Download PDF

Info

Publication number
JP7133433B2
JP7133433B2 JP2018200375A JP2018200375A JP7133433B2 JP 7133433 B2 JP7133433 B2 JP 7133433B2 JP 2018200375 A JP2018200375 A JP 2018200375A JP 2018200375 A JP2018200375 A JP 2018200375A JP 7133433 B2 JP7133433 B2 JP 7133433B2
Authority
JP
Japan
Prior art keywords
moving image
scenes
weight
unit
weights
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018200375A
Other languages
Japanese (ja)
Other versions
JP2020068468A (en
Inventor
直也 中嶋
香乃 中嶋
啓太 水落
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2018200375A priority Critical patent/JP7133433B2/en
Publication of JP2020068468A publication Critical patent/JP2020068468A/en
Application granted granted Critical
Publication of JP7133433B2 publication Critical patent/JP7133433B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、生成装置、生成方法、生成プログラムに関する。 The present invention relates to a generating device, a generating method, and a generating program.

従来、動画情報を表示時間等に応じて編集する技術が提供されている。 Conventionally, techniques for editing moving image information according to display time and the like have been provided.

特開2006-011358号公報JP 2006-011358 A

しかしながら、上記の従来技術では、適切に編集された動画をユーザに提供することができるとは限らない。例えば、上記の従来技術では、単純に動画情報の時間を短縮する編集をした場合、動画情報に含まれる重要箇所の内容をユーザに提供することが困難になる場合がある。そのため、上記の従来技術では、適切に編集された動画をユーザに提供することができるとは限らない。 However, with the above-described conventional technology, it is not always possible to provide a user with an appropriately edited moving image. For example, with the above-described conventional technology, if the video information is simply edited to shorten the time, it may be difficult to provide the user with the content of the important parts included in the video information. Therefore, with the above-described conventional technology, it is not always possible to provide a user with an appropriately edited moving image.

本願は、上記に鑑みてなされたものであって、適切に編集された動画をユーザに提供することができる生成装置、生成方法、生成プログラムを提供することを目的とする。 The present application has been made in view of the above, and an object thereof is to provide a generating apparatus, a generating method, and a generating program capable of providing a user with an appropriately edited moving image.

本願に係る生成装置は、動画に表示される対象物が所定の条件を満たす場合に、当該対象物に対応するシーンであって、動画を構成する複数のシーンの重要度を示す重みを加算する加算部と、前記加算部によって加算された重みに基づいて、前記複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成部と、を備えたことを特徴とする。 The generation device according to the present application adds a weight indicating the importance of a plurality of scenes that constitute a moving image when an object displayed in the moving image satisfies a predetermined condition. and an adding unit, and a generating unit that generates an edited moving image composed of a predetermined number of scenes among the plurality of scenes based on the weights added by the adding unit.

実施形態の一態様によれば、適切に編集された動画をユーザに提供することができるという効果を奏する。 According to one aspect of the embodiment, it is possible to provide a user with an appropriately edited moving image.

図1は、実施形態に係る生成装置が実行する生成処理の一例を示す図である。FIG. 1 is a diagram illustrating an example of generation processing executed by a generation device according to an embodiment. 図2は、実施形態に係る生成装置が実行する編集動画の生成方法の処理の一例を示す図である。FIG. 2 is a diagram illustrating an example of processing of an edited moving image generation method executed by the generation device according to the embodiment. 図3は、実施形態に係る生成装置の構成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of a generating device according to the embodiment; 図4は、実施形態に係る動画情報記憶部の一例を示す図である。4 is a diagram illustrating an example of a moving image information storage unit according to the embodiment; FIG. 図5は、実施形態に係る辞書情報記憶部の一例を示す図である。5 is a diagram illustrating an example of a dictionary information storage unit according to the embodiment; FIG. 図6は、実施形態に係る重み情報記憶部の一例を示す図である。6 is a diagram illustrating an example of a weight information storage unit according to the embodiment; FIG. 図7は、実施形態に係る生成装置が実行する生成処理の流れの一例を示すフローチャートである。FIG. 7 is a flowchart illustrating an example of the flow of generation processing executed by the generation device according to the embodiment. 図8は、変形例に係る生成装置が実行する編集動画の生成方法の処理の一例を示す図である。FIG. 8 is a diagram illustrating an example of processing of an edited moving image generation method executed by a generation device according to a modification. 図9は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。FIG. 9 is a hardware configuration diagram showing an example of a computer that implements the functions of the generation device.

以下に、本願に係る生成装置、生成方法、生成プログラムの実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る生成装置、生成方法、生成プログラムが限定されるものではない。また、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Embodiments (hereinafter referred to as "embodiments") for implementing the generation device, generation method, and generation program according to the present application will be described in detail below with reference to the drawings. Note that the generation device, generation method, and generation program according to the present application are not limited to this embodiment. Further, each embodiment can be appropriately combined within a range that does not contradict the processing contents. Also, in each of the following embodiments, the same parts are denoted by the same reference numerals, and overlapping descriptions are omitted.

〔1.生成装置が示す生成処理の一例〕
図1を用いて、実施形態に係る生成装置が実行する生成処理の一例について説明する。図1は、実施形態に係る生成装置が実行する生成処理の一例を示す図である。具体的には、生成装置100は、ユーザから受け付けた動画を編集し、編集された編集動画をユーザに提供する。なお、以下では、ユーザによって撮影された動画を編集する例を示す。
[1. Example of generation processing indicated by generation device]
An example of generation processing executed by the generation device according to the embodiment will be described with reference to FIG. FIG. 1 is a diagram illustrating an example of generation processing executed by a generation device according to an embodiment. Specifically, the generating device 100 edits the moving image received from the user and provides the edited edited moving image to the user. Note that an example of editing a moving image shot by a user will be shown below.

図1に示すように、生成システム1は、端末装置10と、生成装置100とを含む。端末装置10及び生成装置100は、図示しない所定の通信網を介して、有線又は無線により通信可能に接続される。なお、図1に示す生成システム1には、複数台の端末装置10や、複数台の生成装置100が含まれてもよい。 As shown in FIG. 1 , the generation system 1 includes a terminal device 10 and a generation device 100 . The terminal device 10 and the generating device 100 are communicably connected by wire or wirelessly via a predetermined communication network (not shown). Note that the generation system 1 shown in FIG. 1 may include multiple terminal devices 10 and multiple generation devices 100 .

実施形態に係る端末装置10は、ブラウザに表示されるウェブページやアプリケーション用のコンテンツ等のコンテンツにアクセスするユーザによって利用される情報処理装置である。例えば、端末装置10は、デスクトップ型PC(Personal Computer)や、ノート型PCや、タブレット端末や、携帯電話機や、PDA(Personal Digital Assistant)等である。図1の例では、端末装置10がユーザによって利用されるスマートフォンである場合を示す。なお、以下では、端末装置10をユーザと表記する場合がある。すなわち、以下では、ユーザを端末装置10と読み替えることもできる。 The terminal device 10 according to the embodiment is an information processing device used by a user who accesses content such as web pages displayed on a browser and content for applications. For example, the terminal device 10 is a desktop PC (Personal Computer), a notebook PC, a tablet terminal, a mobile phone, a PDA (Personal Digital Assistant), or the like. The example of FIG. 1 shows a case where the terminal device 10 is a smartphone used by a user. In addition, below, the terminal device 10 may be described as a user. That is, hereinafter, the user can also be read as the terminal device 10 .

実施形態に係る生成装置100は、例えば、サーバ装置等により実現される。具体的には、生成装置100は、動画に表示される対象物が所定の条件を満たす場合に、対象物に対応するシーンであって、動画を構成する複数のシーンの重要度を示す重みを加算する。そして、生成装置100は、かかる重みに基づいて、複数のシーンのうち、所定数のシーンから構成される編集動画を生成する。 The generation device 100 according to the embodiment is realized by, for example, a server device. Specifically, when an object displayed in a moving image satisfies a predetermined condition, the generation device 100 assigns a weight indicating the importance of a plurality of scenes that constitute the moving image and are scenes corresponding to the object. to add. Based on these weights, the generating device 100 generates an edited moving image composed of a predetermined number of scenes among the plurality of scenes.

以下、図1を用いて、生成装置100による生成処理の一例を流れに沿って説明する。 An example of generation processing by the generation device 100 will be described below along the flow with reference to FIG. 1 .

まず、図1に示すように、生成装置100は、ユーザU1によって利用される端末装置10から動画MO1に関する情報を受け付ける(ステップS1)。例えば、生成装置100は、ユーザU1に提供されるアプリケーション等を介して、ユーザU1から動画MO1に関する情報を受け付ける。 First, as shown in FIG. 1, the generating device 100 receives information about the moving image MO1 from the terminal device 10 used by the user U1 (step S1). For example, the generating device 100 receives information about the moving image MO1 from the user U1 via an application or the like provided to the user U1.

続いて、生成装置100は、ユーザU1から受け付けた動画MO1に表示される対象物を人と人以外の物体とに分類する(ステップS2)。具体的には、生成装置100は、機械学習等の従来技術により、動画MO1に表示される対象物を人と人以外の物体とに分類する。なお、ここでいう人以外の物体とは、動物、生物、移動体、食べ物、玩具等を含む。 Next, the generation device 100 classifies objects displayed in the moving image MO1 received from the user U1 into humans and objects other than humans (step S2). Specifically, the generating device 100 classifies the objects displayed in the moving image MO1 into humans and non-human objects using conventional techniques such as machine learning. Objects other than humans as used herein include animals, living things, mobile objects, food, toys, and the like.

例えば、人以外の物体が、食べ物であるとする。この場合、生成装置100は、人と食べ物とを学習させた学習モデルに動画MO1を入力することにより、動画MO1に表示される対象物を人と食べ物とに分類した結果を出力する。 For example, assume that an object other than a person is food. In this case, the generation device 100 inputs the moving image MO1 to the learning model that has learned about people and food, and outputs a result of classifying objects displayed in the moving image MO1 into people and food.

そして、生成装置100は、辞書情報記憶部を参照して、動画MO1を構成するシーンの重みを加算する(ステップS3)。具体的には、生成装置100は、人や人以外の物体等の対象物と重みとが対応付られた情報が記憶された辞書情報記憶部を参照して、動画MO1を構成するシーンに表示される対象物の重みを、動画MO1のフレーム毎に加算する。これにより、生成装置100は、動画MO1のフレーム毎の重みを累積することで、動画MO1の時間に対応する累積された重みを算出する。 The generation device 100 then refers to the dictionary information storage unit and adds the weights of the scenes forming the moving image MO1 (step S3). Specifically, the generation device 100 refers to the dictionary information storage unit that stores information in which objects such as humans and objects other than humans are associated with weights, and displays the weights in the scenes forming the moving image MO1. The weight of the object to be processed is added for each frame of the moving image MO1. Accordingly, the generating device 100 calculates the accumulated weight corresponding to the time of the moving image MO1 by accumulating the weight for each frame of the moving image MO1.

例えば、動画MO1が、人及び食べ物が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「+7」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、食べ物の重みが「+5」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人が動画に表示されていない場合の重みが「-5」であるとする。この場合、生成装置100は、はじめのシーンが、食べ物が表示されるシーンの場合に、重みとして「+5」を加算する。これにより、累積された重みは、はじめの重みである「0」に「+5」を加えることで「+5」となる。 For example, it is assumed that the moving image MO1 is a moving image in which people and food are displayed. It is also assumed that the human weight is "+7" as the weight corresponding to the object stored in the dictionary information storage unit. It is also assumed that the weight of food is "+5" as the weight corresponding to the object stored in the dictionary information storage unit. It is also assumed that the weight corresponding to the object stored in the dictionary information storage unit is "-5" when the person is not displayed in the moving image. In this case, the generation device 100 adds “+5” as the weight when the first scene is a scene in which food is displayed. As a result, the accumulated weight becomes "+5" by adding "+5" to the initial weight "0".

そして、生成装置100は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+5」に「+7」を加えることで「+12」となる。そして、生成装置100は、次のシーンが、人が表示されないシーンである場合に、重みとして「-5」を加算する。これにより、累積された重みは、「+12」に「-5」を加えることで「+7」となる。そして、生成装置100は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+7」に「+7」を加えることで「+14」となる。そして、生成装置100は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+14」に「+7」を加えることで「+21」となる。このように、生成装置100は、動画MO1のフレーム毎の重みを累積することで、動画MO1の時間に対応する累積された重みを算出する。 Then, the generation device 100 adds “+7” as the weight when the next scene is a scene in which a person is displayed. Thus, the accumulated weight becomes "+12" by adding "+7" to "+5". Then, the generation device 100 adds "-5" as the weight when the next scene is a scene in which no person is displayed. As a result, the accumulated weight becomes "+7" by adding "-5" to "+12". Then, the generation device 100 adds “+7” as the weight when the next scene is a scene in which a person is displayed. As a result, the accumulated weight becomes "+14" by adding "+7" to "+7". Then, the generation device 100 adds “+7” as the weight when the next scene is a scene in which a person is displayed. Thus, the accumulated weight becomes "+21" by adding "+7" to "+14". In this way, the generating device 100 calculates the accumulated weight corresponding to the time of the moving image MO1 by accumulating the weight for each frame of the moving image MO1.

また、例えば、動画MO1が、複数の人が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「+7」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、所定数の人の重みが「0」であるとする。この場合、生成装置100は、はじめのシーンが、人が表示されるシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、はじめの重みである「0」に「+7」を加えることで「+7」となる。 Also, for example, it is assumed that the moving image MO1 is a moving image in which a plurality of people are displayed. It is also assumed that the human weight is "+7" as the weight corresponding to the object stored in the dictionary information storage unit. It is also assumed that the weight of a predetermined number of people is "0" as the weight corresponding to the object stored in the dictionary information storage unit. In this case, the generation device 100 adds “+7” as the weight when the first scene is a scene in which a person is displayed. As a result, the accumulated weight becomes "+7" by adding "+7" to the initial weight "0".

そして、生成装置100は、次のシーンが、所定数の人が表示されるシーンの場合に、重みとして「0」を加算する。これにより、累積された重みは、「+7」に「0」を加えることで「+7」となる。そして、生成装置100は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+7」に「+7」を加えることで「+14」となる。そして、生成装置100は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+14」に「+7」を加えることで「+21」となる。このように、生成装置100は、動画MO1のフレーム毎の重みを累積することで、動画MO1の時間に対応する累積された重みを算出する。 Then, the generation device 100 adds "0" as the weight when the next scene is a scene in which a predetermined number of people are displayed. As a result, the accumulated weight becomes "+7" by adding "0" to "+7". Then, the generation device 100 adds “+7” as the weight when the next scene is a scene in which a person is displayed. As a result, the accumulated weight becomes "+14" by adding "+7" to "+7". Then, the generation device 100 adds “+7” as the weight when the next scene is a scene in which a person is displayed. Thus, the accumulated weight becomes "+21" by adding "+7" to "+14". In this way, the generating device 100 calculates the accumulated weight corresponding to the time of the moving image MO1 by accumulating the weight for each frame of the moving image MO1.

また、例えば、動画MO1が、人が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「+7」であるとする。また、人の座標が変化しないシーンが3回連続で続く場合に、重みをさらに「+10」加算するとする。この場合、生成装置100は、はじめのシーンが、人が表示されるシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、はじめの重みである「0」に「+7」を加えることで「+7」となる。 Also, for example, it is assumed that the moving image MO1 is a moving image in which a person is displayed. It is also assumed that the human weight is "+7" as the weight corresponding to the object stored in the dictionary information storage unit. Also, if a scene in which the coordinates of a person do not change continues three times in a row, the weight is further increased by "+10". In this case, the generation device 100 adds “+7” as the weight when the first scene is a scene in which a person is displayed. As a result, the accumulated weight becomes "+7" by adding "+7" to the initial weight "0".

そして、生成装置100は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+7」に「+7」を加えることで「+14」となる。そして、生成装置100は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+14」に「+7」を加えることで「+21」となる。そして、生成装置100は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+21」に「+7」を加えることで「+28」となる。また、生成装置100は、人の座標が変化しないシーンが3回連続で続いた場合に、さらに重み「+10」を加算する。これにより、累積された重みは、「+28」に「+10」を加えることで「+38」となる。このように、生成装置100は、動画MO1のフレーム毎の重みを累積することで、動画MO1の時間に対応する累積された重みを算出する。 Then, the generation device 100 adds "+7" as the weight when the next scene is a scene in which a person is displayed and the coordinates of the person do not change from the previous scene. As a result, the accumulated weight becomes "+14" by adding "+7" to "+7". Then, the generation device 100 adds "+7" as the weight when the next scene is a scene in which a person is displayed and the coordinates of the person do not change from the previous scene. Thus, the accumulated weight becomes "+21" by adding "+7" to "+14". Then, the generation device 100 adds "+7" as the weight when the next scene is a scene in which a person is displayed and the coordinates of the person do not change from the previous scene. Thus, the accumulated weight becomes "+28" by adding "+7" to "+21". In addition, the generation device 100 further adds the weight “+10” when scenes in which the coordinates of the person do not change continue three times in a row. As a result, the accumulated weight becomes "+38" by adding "+10" to "+28". In this way, the generating device 100 calculates the accumulated weight corresponding to the time of the moving image MO1 by accumulating the weight for each frame of the moving image MO1.

なお、生成装置100は、動画MO1のフレーム毎に重みを累積することで、動画MO1の時間に対応する累積された重みを算出する算出処理に限らず、動画内の時間毎に重みを累積することで、動画MO1の時間に対応する累積された重みを算出してもよい。例えば、生成装置100は、1秒毎に重みを累積することで、動画MO1の時間に対応する累積された重みを算出してもよい。 Note that the generating apparatus 100 accumulates the weight for each frame of the moving image MO1, so that the weight is accumulated for each time in the moving image, not limited to the calculation process of calculating the accumulated weight corresponding to the time of the moving image MO1. Thus, the accumulated weight corresponding to the time of the moving image MO1 may be calculated. For example, the generation device 100 may calculate the accumulated weight corresponding to the time of the moving image MO1 by accumulating the weight for each second.

続いて、生成装置100は、各シーンの重みに基づいて、シーンを選択し、編集動画EM1を生成する(ステップS4)。具体的には、生成装置100は、重みが所定の閾値以上であるシーンを選択する。そして、生成装置100は、選択されたシーンによって構成される編集動画EM1を生成する。 Subsequently, the generating device 100 selects scenes based on the weight of each scene and generates the edited moving image EM1 (step S4). Specifically, the generating device 100 selects scenes whose weights are greater than or equal to a predetermined threshold. Then, the generating device 100 generates an edited moving image EM1 composed of the selected scenes.

ここで、図2を用いて編集動画EM1の生成方法について説明する。図2は、実施形態に係る生成装置100が実行する編集動画の生成方法の処理の一例を示す図である。図2に示すように、図FG1は、動画MO1の時間に対応する重みの変化を示す。図FG1の縦軸は、加算された重みの値を示す。図FG1の横軸は、動画MO1の動画内の時間を示す。図FG1は、所定の重みの閾値の表示を含む。例えば、図FG1では、所定の範囲内の複数のシーンSE1、SE2、SE3が所定の重みの閾値以上であるシーンである。 Here, a method for generating the edited moving image EM1 will be described with reference to FIG. FIG. 2 is a diagram illustrating an example of processing of a method for generating an edited moving image executed by the generating device 100 according to the embodiment. As shown in FIG. 2, FIG. FG1 shows the change of the weight corresponding to the time of the moving image MO1. The vertical axis of FIG. FG1 indicates the added weight value. The horizontal axis of FIG. FG1 indicates the time in the movie MO1. Diagram FG1 includes a representation of a predetermined weight threshold. For example, in FIG. FG1, a plurality of scenes SE1, SE2, and SE3 within a predetermined range are scenes having a predetermined weight threshold or more.

また、図2に示すように、図FG2は、所定の重みの閾値以上である所定の範囲内の複数のシーンSE1、SE2、SE3を合わせた動画を示す。すなわち、かかる動画は、編集動画EM1に対応する。 Also, as shown in FIG. 2, FIG. FG2 shows a moving image including a plurality of scenes SE1, SE2, and SE3 within a predetermined range that are equal to or greater than a predetermined weight threshold. That is, this moving image corresponds to the edited moving image EM1.

例えば、生成装置100は、重みの閾値が「70」であるとする。この場合、生成装置100は、動画MO1から、重みの閾値以上である所定の範囲内の複数のシーンSE1、SE2、SE3を選択する。そして、生成装置100は、選択された複数のシーンに基づいて、編集動画EM1を生成する。 For example, the generating device 100 assumes that the weight threshold is "70". In this case, the generating device 100 selects a plurality of scenes SE1, SE2, and SE3 within a predetermined range whose weight is equal to or greater than the weight threshold from the moving image MO1. Then, the generating device 100 generates the edited moving image EM1 based on the multiple selected scenes.

図1に戻り、実施形態に係る生成処理の一例を説明する。生成装置100は、ユーザU1に対して、動画MO1に対応する編集された動画として編集動画EM1に関する情報を提供する(ステップS5)。 Returning to FIG. 1, an example of generation processing according to the embodiment will be described. The generating device 100 provides the user U1 with information on the edited moving image EM1 as an edited moving image corresponding to the moving image MO1 (step S5).

このように、実施形態に係る生成装置100は、動画に表示される対象物が所定の条件を満たす場合に、動画を構成する複数のシーンの重要度を示す重みを加算する。そして、生成装置100は、かかる重みに基づいて、複数のシーンのうち、所定数のシーンから構成される編集動画を生成する。これにより、実施形態に係る生成装置100は、特定の対象物が表示されるシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。この点について説明する。図1の例を用いて説明すると、生成装置100は、ユーザU1から受け付けた動画MO1に含まれる特定の対象物に対して重みを大きくすることで、特定の対象物が表示されるシーンを選択する。そして、生成装置100は、選択されたシーンによって構成される編集動画EM1を生成する。また、図2の例を用いて説明すると、生成装置100は、動画MO1を構成する複数のシーンの重みを動画MO1のフレーム毎に累積するように加算する。これにより、生成装置100は、所定の閾値以上である重みを示す複数のシーンを選択することで、編集動画内のシーンが飛び飛びになることを防ぎ、編集動画の質の低下を低減することができる。このことから、生成装置100は、特定の対象物が表示されるシーンを高精度に選択することができる。したがって、実施形態に係る生成装置100は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。 In this way, the generation device 100 according to the embodiment adds weights indicating the degrees of importance of a plurality of scenes forming the moving image when the object displayed in the moving image satisfies a predetermined condition. Based on these weights, the generating device 100 generates an edited moving image composed of a predetermined number of scenes among the plurality of scenes. As a result, the generation device 100 according to the embodiment can select a scene in which a specific object is displayed, thereby providing a user with an appropriately edited moving image. This point will be explained. To explain using the example of FIG. 1, the generation device 100 selects a scene in which the specific object is displayed by increasing the weight of the specific object included in the moving image MO1 received from the user U1. do. Then, the generating device 100 generates an edited moving image EM1 composed of the selected scenes. Further, to explain using the example of FIG. 2, the generation device 100 adds the weights of the plurality of scenes forming the moving image MO1 so as to accumulate the weights for each frame of the moving image MO1. As a result, the generation device 100 selects a plurality of scenes showing weights equal to or greater than a predetermined threshold, thereby preventing the scenes in the edited moving image from being jumpy and reducing deterioration in the quality of the edited moving image. can. Therefore, the generating device 100 can select a scene in which a specific target object is displayed with high accuracy. Therefore, the generation device 100 according to the embodiment can select an appropriate scene from the moving image by focusing on the weight corresponding to the specific object, and thus can provide the user with an appropriately edited moving image. .

〔2.生成装置の構成〕
次に、図3を用いて、実施形態に係る生成装置100の構成について説明する。図3は、実施形態に係る生成装置100の構成例を示す図である。図3に示すように、生成装置100は、通信部110と、記憶部120と、制御部130とを有する。
[2. Configuration of generation device]
Next, the configuration of the generation device 100 according to the embodiment will be described using FIG. FIG. 3 is a diagram illustrating a configuration example of the generation device 100 according to the embodiment. As shown in FIG. 3, the generation device 100 has a communication unit 110, a storage unit 120, and a control unit .

(通信部110について)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークと有線又は無線で接続され、端末装置10との間で情報の送受信を行う。
(Regarding communication unit 110)
The communication unit 110 is realized by, for example, a NIC (Network Interface Card) or the like. The communication unit 110 is connected to a network by wire or wirelessly, and transmits and receives information to and from the terminal device 10 .

(記憶部120について)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、動画情報記憶部121と、辞書情報記憶部122と、重み情報記憶部123とを有する。
(Regarding storage unit 120)
The storage unit 120 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or flash memory, or a storage device such as a hard disk or an optical disk. Storage unit 120 has moving image information storage unit 121 , dictionary information storage unit 122 , and weight information storage unit 123 .

(動画情報記憶部121について)
実施形態に係る動画情報記憶部121は、ユーザから受け付けられた動画に関する情報を記憶する。ここで、図4に、実施形態に係る動画情報記憶部121の一例を示す。図4に示した例では、動画情報記憶部121は、「動画ID」、「ユーザID」、「動画」といった項目を有する。
(Regarding the moving image information storage unit 121)
The moving image information storage unit 121 according to the embodiment stores information related to moving images received from users. Here, FIG. 4 shows an example of the moving image information storage unit 121 according to the embodiment. In the example shown in FIG. 4, the moving image information storage unit 121 has items such as "moving image ID", "user ID", and "moving image".

「動画ID」は、動画を識別する識別子である。「ユーザID」は、ユーザを識別する識別子である。「動画」は、「ユーザID」と対応付けられたユーザから受け付けられた動画に関する情報である。例えば、図4では、動画IDによって識別された「M1」は、ユーザIDによって識別される「U1」から受け付けられた動画が「MO1」である。なお、図4に示した例では、動画を「MO1」等の抽象的な符号で表現したが、動画は、具体的な動画のファイル形式を示す情報等であってもよい。 “Movie ID” is an identifier for identifying a movie. "User ID" is an identifier that identifies a user. “Movie” is information about a movie received from the user associated with the “user ID”. For example, in FIG. 4, "M1" identified by the movie ID has "MO1" as the movie received from "U1" identified by the user ID. In the example shown in FIG. 4, moving images are represented by abstract codes such as "MO1", but the moving images may be information or the like indicating a specific file format of the moving images.

(辞書情報記憶部122について)
実施形態に係る辞書情報記憶部122は、対象物に対応する重みに関する情報を記憶する。ここで、図5に、実施形態に係る辞書情報記憶部122の一例を示す。図5に示した例では、辞書情報記憶部122は、「辞書ID」、「項目」、「重み」といった項目を有する。
(Regarding dictionary information storage unit 122)
The dictionary information storage unit 122 according to the embodiment stores information about weights corresponding to objects. Here, FIG. 5 shows an example of the dictionary information storage unit 122 according to the embodiment. In the example shown in FIG. 5, the dictionary information storage unit 122 has items such as "dictionary ID", "item", and "weight".

「辞書ID」は、辞書に記憶された対象物の項目を識別する識別子である。「項目」は、「辞書ID」と対応付けられた対象物の種類の項目に関する情報である。また、「項目」は、対象物が動画に表示される態様に関する情報を含む。「重み」は、「辞書ID」と対応付けられた対象物の項目に対応する重みに関する情報である。例えば、図5では、辞書IDによって識別される「D1」は、項目が「食べ物」であり、重みが「+5」である。 "Dictionary ID" is an identifier that identifies an item of an object stored in the dictionary. The “item” is information about the item of the type of object associated with the “dictionary ID”. Also, "item" includes information about the manner in which the object is displayed in the moving image. "Weight" is information about the weight corresponding to the item of the object associated with the "dictionary ID". For example, in FIG. 5, "D1" identified by the dictionary ID has an item of "food" and a weight of "+5".

(重み情報記憶部123について)
実施形態に係る重み情報記憶部123は、ユーザから受け付けられた動画の加算された重みに関する情報を記憶する。ここで、図6に、実施形態に係る重み情報記憶部123の一例を示す。図6に示した例では、重み情報記憶部123は、「重みID」、「動画ID」、「時間」、「重み」といった項目を有する。
(Regarding weight information storage unit 123)
The weight information storage unit 123 according to the embodiment stores information regarding added weights of moving images received from users. Here, FIG. 6 shows an example of the weight information storage unit 123 according to the embodiment. In the example shown in FIG. 6, the weight information storage unit 123 has items such as "weight ID", "video ID", "time", and "weight".

「重みID」は、重みを識別する識別子である。「動画ID」は、ユーザから受け付けられた動画を識別する識別子である。「時間」は、動画内の時間に関する情報である。「重み」は、動画MO1のフレーム毎に累積するように加算された重みに関する情報である。例えば、図6では、重みIDによって識別される「W1」は、動画IDによって識別される「M1」に対応する時間が「T1」であり、重みが「0」である。 "Weight ID" is an identifier for identifying a weight. “Movie ID” is an identifier for identifying a movie received from the user. "Time" is information about the time in the moving image. “Weight” is information about the weight added so as to be accumulated for each frame of the moving image MO1. For example, in FIG. 6, "W1" identified by the weight ID has a time "T1" corresponding to "M1" identified by the moving image ID, and the weight is "0".

(制御部130について)
制御部130は、コントローラ(Controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、生成装置100内部の記憶装置に記憶されている各種プログラム(生成プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部130は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
(Regarding the control unit 130)
The control unit 130 is a controller, and for example, various programs (an example of a generation program) stored in a storage device inside the generation device 100 are controlled by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like. equivalent) is implemented by executing the RAM as a work area. Also, the control unit 130 is a controller, and is implemented by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).

図3に示すように、制御部130は、受付部131と、分類部132と、加算部133と、選択部134と、生成部135と、提供部136とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図3に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部130が有する各処理部の接続関係は、図3に示した接続関係に限られず、他の接続関係であってもよい。 As shown in FIG. 3 , the control unit 130 includes a reception unit 131, a classification unit 132, an addition unit 133, a selection unit 134, a generation unit 135, and a provision unit 136, and includes information described below. Realize or perform the function or action of a process. Note that the internal configuration of the control unit 130 is not limited to the configuration shown in FIG. 3, and may be another configuration as long as it performs information processing described later. Moreover, the connection relationship between the processing units of the control unit 130 is not limited to the connection relationship shown in FIG. 3, and may be another connection relationship.

(受付部131について)
受付部131は、ユーザによって利用される端末装置10から動画に関する情報を受け付ける。例えば、受付部131は、ユーザに提供されるアプリケーション等を介して、ユーザから動画に関する情報を受け付ける。そして、受付部131は、かかる動画に関する情報を動画情報記憶部121に格納する。
(Regarding the reception unit 131)
The reception unit 131 receives information about moving images from the terminal device 10 used by the user. For example, the reception unit 131 receives information about moving images from the user via an application provided to the user. Then, the reception unit 131 stores information about the moving image in the moving image information storage unit 121 .

(分類部132について)
分類部132は、受付部131によって受け付けられた動画に表示される対象物を人と人以外の物体とに分類する。具体的には、分類部132は、機械学習等の従来技術により、動画に表示される対象物を人と人以外の物体とに分類する。例えば、人以外の物体が、食べ物であるとする。この場合、分類部132は、人と食べ物とを学習させた学習モデルに動画を入力することにより、動画に表示される対象物を人と食べ物とに分類した結果を出力する。
(Regarding the classification unit 132)
The classification unit 132 classifies objects displayed in the moving image received by the reception unit 131 into humans and non-human objects. Specifically, the classification unit 132 classifies the objects displayed in the moving image into humans and non-human objects by conventional techniques such as machine learning. For example, assume that an object other than a person is food. In this case, the classification unit 132 outputs a result of classifying the objects displayed in the moving image into the human and the food by inputting the moving image to the learning model that has learned the person and the food.

(加算部133について) (Regarding the adder 133)

加算部133は、動画に表示される対象物が所定の条件を満たす場合に、対象物に対応するシーンであって、動画を構成する複数のシーンの重要度を示す重みを加算する。具体的には、加算部133は、動画に表示される対象物が所定の条件を満たす第1のシーンの重みに、動画に表示される対象物が所定の条件を満たす第2のシーンの重みを累積するように加算する。より具体的には、加算部133は、人や人以外の物体等の対象物と重みとが対応付られた情報が記憶された辞書情報記憶部122を参照して、動画を構成するシーンに表示される対象物の重みを算出することで、かかるシーンの重みを加算する。 The addition unit 133 adds weights indicating the importance of a plurality of scenes that constitute the moving image and are scenes corresponding to the object when the object displayed in the moving image satisfies a predetermined condition. Specifically, the adding unit 133 adds the weight of the first scene in which the object displayed in the moving image satisfies a predetermined condition to the weight of the second scene in which the object displayed in the moving image satisfies the predetermined condition. are cumulatively added. More specifically, the addition unit 133 refers to the dictionary information storage unit 122 that stores information in which objects such as humans and objects other than humans are associated with weights, and adds weights to scenes forming a moving image. The scene weight is added by calculating the weight of the displayed object.

例えば、動画MO1が、人及び食べ物が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「+7」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、食べ物の重みが「+5」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人が動画に表示されていない場合の重みが「-5」であるとする。この場合、加算部133は、はじめのシーンが、食べ物が表示されるシーンの場合に、重みとして「+5」を加算する。これにより、累積された重みは、はじめの重みである「0」に「+5」を加えることで「+5」となる。 For example, it is assumed that the moving image MO1 is a moving image in which people and food are displayed. It is also assumed that the human weight is "+7" as the weight corresponding to the object stored in the dictionary information storage unit. It is also assumed that the weight of food is "+5" as the weight corresponding to the object stored in the dictionary information storage unit. It is also assumed that the weight corresponding to the object stored in the dictionary information storage unit is "-5" when the person is not displayed in the moving image. In this case, the addition unit 133 adds “+5” as the weight when the first scene is a scene in which food is displayed. As a result, the accumulated weight becomes "+5" by adding "+5" to the initial weight "0".

そして、加算部133は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+5」に「+7」を加えることで「+12」となる。そして、加算部133は、次のシーンが、人が表示されないシーンである場合に、重みとして「-5」を加算する。これにより、累積された重みは、「+12」に「-5」を加えることで「+7」となる。そして、加算部133は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+7」に「+7」を加えることで「+14」となる。そして、加算部133は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+14」に「+7」を加えることで「+21」となる。このように、加算部133は、動画MO1のフレーム毎の重みを累積することで、動画MO1の時間に対応する累積された重みを算出する。そして、加算部133は、かかる動画の重みを動画の時間に対応する形式で重み情報記憶部123に格納する。 Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed. Thus, the accumulated weight becomes "+12" by adding "+7" to "+5". Then, the addition unit 133 adds “−5” as the weight when the next scene is a scene in which no person is displayed. As a result, the accumulated weight becomes "+7" by adding "-5" to "+12". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed. As a result, the accumulated weight becomes "+14" by adding "+7" to "+7". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed. Thus, the accumulated weight becomes "+21" by adding "+7" to "+14". In this way, the addition unit 133 accumulates the weights for each frame of the moving image MO1, thereby calculating the accumulated weight corresponding to the time of the moving image MO1. Then, the addition unit 133 stores the weight of the moving image in the weight information storage unit 123 in a format corresponding to the time of the moving image.

また、例えば、動画MO1が、複数の人が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「+7」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、所定数の人の重みが「0」であるとする。この場合、加算部133は、はじめのシーンが、人が表示されるシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、はじめの重みである「0」に「+7」を加えることで「+7」となる。 Also, for example, it is assumed that the moving image MO1 is a moving image in which a plurality of people are displayed. It is also assumed that the human weight is "+7" as the weight corresponding to the object stored in the dictionary information storage unit. It is also assumed that the weight of a predetermined number of people is "0" as the weight corresponding to the object stored in the dictionary information storage unit. In this case, the addition unit 133 adds “+7” as the weight when the first scene is a scene in which a person is displayed. As a result, the accumulated weight becomes "+7" by adding "+7" to the initial weight "0".

そして、加算部133は、次のシーンが、所定数の人が表示されるシーンの場合に、重みとして「0」を加算する。これにより、累積された重みは、「+7」に「0」を加えることで「+7」となる。そして、加算部133は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+7」に「+7」を加えることで「+14」となる。そして、加算部133は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+14」に「+7」を加えることで「+21」となる。このように、加算部133は、動画MO1のフレーム毎の重みを累積することで、動画MO1の時間に対応する累積された重みを算出する。そして、加算部133は、かかる動画の重みを動画の時間に対応する形式で重み情報記憶部123に格納する。 Then, the addition unit 133 adds “0” as the weight when the next scene is a scene in which a predetermined number of people are displayed. As a result, the accumulated weight becomes "+7" by adding "0" to "+7". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed. As a result, the accumulated weight becomes "+14" by adding "+7" to "+7". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed. Thus, the accumulated weight becomes "+21" by adding "+7" to "+14". In this way, the addition unit 133 accumulates the weights for each frame of the moving image MO1, thereby calculating the accumulated weight corresponding to the time of the moving image MO1. Then, the addition unit 133 stores the weight of the moving image in the weight information storage unit 123 in a format corresponding to the time of the moving image.

また、例えば、動画MO1が、人が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「+7」であるとする。また、人の座標が変化しないシーンが3回連続で続く場合に、重みをさらに「+10」加算するとする。この場合、加算部133は、はじめのシーンが、人が表示されるシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、はじめの重みである「0」に「+7」を加えることで「+7」となる。 Also, for example, it is assumed that the moving image MO1 is a moving image in which a person is displayed. It is also assumed that the human weight is "+7" as the weight corresponding to the object stored in the dictionary information storage unit. Also, if a scene in which the coordinates of a person do not change continues three times in a row, the weight is further increased by "+10". In this case, the addition unit 133 adds “+7” as the weight when the first scene is a scene in which a person is displayed. As a result, the accumulated weight becomes "+7" by adding "+7" to the initial weight "0".

そして、加算部133は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+7」に「+7」を加えることで「+14」となる。そして、加算部133は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+14」に「+7」を加えることで「+21」となる。そして、加算部133は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+21」に「+7」を加えることで「+28」となる。また、加算部133は、人の座標が変化しないシーンが3回連続で続いた場合に、さらに重み「+10」を加算する。これにより、累積された重みは、「+28」に「+10」を加えることで「+38」となる。このように、加算部133は、動画MO1のフレーム毎の重みを累積することで、動画MO1の時間に対応する累積された重みを算出する。そして、加算部133は、かかる動画の重みを動画の時間に対応する形式で重み情報記憶部123に格納する。 Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed and the coordinates of the person do not change from the previous scene. As a result, the accumulated weight becomes "+14" by adding "+7" to "+7". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed and the coordinates of the person do not change from the previous scene. Thus, the accumulated weight becomes "+21" by adding "+7" to "+14". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed and the coordinates of the person do not change from the previous scene. Thus, the accumulated weight becomes "+28" by adding "+7" to "+21". In addition, the adding unit 133 further adds the weight “+10” when scenes in which the coordinates of the person do not change continue three times. As a result, the accumulated weight becomes "+38" by adding "+10" to "+28". In this way, the addition unit 133 accumulates the weights for each frame of the moving image MO1, thereby calculating the accumulated weight corresponding to the time of the moving image MO1. Then, the addition unit 133 stores the weight of the moving image in the weight information storage unit 123 in a format corresponding to the time of the moving image.

(選択部134について)
選択部134は、加算部133によって加算された重みに基づいて、所定数のシーンを複数のシーンから選択する。具体的には、選択部134は、加算部133によって加算された重みが所定の閾値以上である場合に、所定数のシーンを複数のシーンから選択する。例えば、選択部134は、重み情報記憶部123に記憶される重みが所定の閾値以上であるシーンを選択する。例えば、選択部134は、重みの閾値が「70」であるとする。この場合、選択部134は、動画から、重みの閾値以上である複数のシーンを選択する。
(Regarding the selection unit 134)
The selection unit 134 selects a predetermined number of scenes from the plurality of scenes based on the weights added by the addition unit 133 . Specifically, the selection unit 134 selects a predetermined number of scenes from a plurality of scenes when the weight added by the addition unit 133 is equal to or greater than a predetermined threshold. For example, the selection unit 134 selects scenes whose weights stored in the weight information storage unit 123 are equal to or greater than a predetermined threshold. For example, the selection unit 134 assumes that the weight threshold is "70". In this case, the selection unit 134 selects a plurality of scenes whose weight is equal to or greater than the threshold value from the moving image.

(生成部135について)
生成部135は、選択部134によって選択された所定数のシーンから構成される編集動画を生成する。例えば、生成部135は、選択部134によって選択された複数のシーンに基づいて、編集動画を生成する。
(Regarding the generation unit 135)
The generation unit 135 generates an edited moving image composed of the predetermined number of scenes selected by the selection unit 134 . For example, the generation unit 135 generates an edited moving image based on multiple scenes selected by the selection unit 134 .

(提供部136について)
提供部136は、ユーザに対して、動画に対応する編集された動画として編集動画に関する情報を提供する。例えば、提供部136は、重み情報記憶部123を参照して、動画に対応する編集された動画として編集動画に関する情報をユーザに提供する。
(Regarding the providing unit 136)
The providing unit 136 provides the user with information on the edited moving image as an edited moving image corresponding to the moving image. For example, the providing unit 136 refers to the weight information storage unit 123 and provides the user with information about the edited moving image as an edited moving image corresponding to the moving image.

〔3.生成処理のフローチャート〕
次に、図7を用いて、実施形態に係る生成装置100が実行する生成処理の手順について説明する。図7は、実施形態に係る生成装置が実行する生成処理の流れの一例を示すフローチャートである。
[3. Flowchart of generation processing]
Next, with reference to FIG. 7, a procedure of generation processing executed by the generation device 100 according to the embodiment will be described. FIG. 7 is a flowchart illustrating an example of the flow of generation processing executed by the generation device according to the embodiment.

図7に示すように、受付部131は、ユーザU1から動画MO1に関する情報を受け付ける(ステップS101)。そして、分類部132は、受付部131がユーザU1から動画MO1を受け付けていない場合(ステップS101;No)、ユーザU1から動画MO1を受け付けるまで待機する。 As shown in FIG. 7, the reception unit 131 receives information about the moving image MO1 from the user U1 (step S101). Then, if the accepting unit 131 has not accepted the moving image MO1 from the user U1 (step S101; No), the classifying unit 132 waits until accepting the moving image MO1 from the user U1.

一方、分類部132は、受付部131がユーザU1から動画MO1を受け付けた場合(ステップS101;Yes)、動画MO1に表示される対象物を人と人以外の物体とに分類する(ステップS102)。例えば、人以外の物体が、食べ物であるとする。この場合、分類部132は、人と食べ物とを学習させた学習モデルに動画を入力することにより、動画に表示される対象物を人と食べ物とに分類した結果を出力する。 On the other hand, when the receiving unit 131 receives the moving image MO1 from the user U1 (step S101; Yes), the classifying unit 132 classifies the objects displayed in the moving image MO1 into people and objects other than people (step S102). . For example, assume that an object other than a person is food. In this case, the classification unit 132 outputs a result of classifying the objects displayed in the moving image into the human and the food by inputting the moving image to the learning model that has learned the person and the food.

そして、加算部133は、辞書情報記憶部122を参照して、動画MO1を構成する各シーンの重みを加算する(ステップS103)。例えば、動画MO1が、人及び食べ物が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「+7」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、食べ物の重みが「+5」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人が動画に表示されていない場合の重みが「-5」であるとする。この場合、加算部133は、はじめのシーンが、食べ物が表示されるシーンの場合に、重みとして「+5」を加算する。これにより、累積された重みは、はじめの重みである「0」に「+5」を加えることで「+5」となる。 The addition unit 133 then refers to the dictionary information storage unit 122 and adds the weights of the scenes forming the moving image MO1 (step S103). For example, it is assumed that the moving image MO1 is a moving image in which people and food are displayed. It is also assumed that the human weight is "+7" as the weight corresponding to the object stored in the dictionary information storage unit. It is also assumed that the weight of food is "+5" as the weight corresponding to the object stored in the dictionary information storage unit. It is also assumed that the weight corresponding to the object stored in the dictionary information storage unit is "-5" when the person is not displayed in the moving image. In this case, the addition unit 133 adds “+5” as the weight when the first scene is a scene in which food is displayed. As a result, the accumulated weight becomes "+5" by adding "+5" to the initial weight "0".

そして、加算部133は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+5」に「+7」を加えることで「+12」となる。そして、加算部133は、次のシーンが、人が表示されないシーンである場合に、重みとして「-5」を加算する。これにより、累積された重みは、「+12」に「-5」を加えることで「+7」となる。そして、加算部133は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+7」に「+7」を加えることで「+14」となる。そして、加算部133は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+14」に「+7」を加えることで「+21」となる。このように、加算部133は、動画MO1のフレーム毎の重みを累積することで、動画MO1の時間に対応する累積された重みを算出する。そして、加算部133は、かかる動画の重みを動画の時間に対応する形式で重み情報記憶部123に格納する。 Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed. Thus, the accumulated weight becomes "+12" by adding "+7" to "+5". Then, the addition unit 133 adds “−5” as the weight when the next scene is a scene in which no person is displayed. As a result, the accumulated weight becomes "+7" by adding "-5" to "+12". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed. As a result, the accumulated weight becomes "+14" by adding "+7" to "+7". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed. Thus, the accumulated weight becomes "+21" by adding "+7" to "+14". In this way, the addition unit 133 accumulates the weights for each frame of the moving image MO1, thereby calculating the accumulated weight corresponding to the time of the moving image MO1. Then, the addition unit 133 stores the weight of the moving image in the weight information storage unit 123 in a format corresponding to the time of the moving image.

また、例えば、動画MO1が、複数の人が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「+7」であるとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、所定数の人の重みが「0」であるとする。この場合、加算部133は、はじめのシーンが、人が表示されるシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、はじめの重みである「0」に「+7」を加えることで「+7」となる。 Also, for example, it is assumed that the moving image MO1 is a moving image in which a plurality of people are displayed. It is also assumed that the human weight is "+7" as the weight corresponding to the object stored in the dictionary information storage unit. It is also assumed that the weight of a predetermined number of people is "0" as the weight corresponding to the object stored in the dictionary information storage unit. In this case, the addition unit 133 adds “+7” as the weight when the first scene is a scene in which a person is displayed. As a result, the accumulated weight becomes "+7" by adding "+7" to the initial weight "0".

そして、加算部133は、次のシーンが、所定数の人が表示されるシーンの場合に、重みとして「0」を加算する。これにより、累積された重みは、「+7」に「0」を加えることで「+7」となる。そして、加算部133は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+7」に「+7」を加えることで「+14」となる。そして、加算部133は、次のシーンが、人が表示されるシーンである場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+14」に「+7」を加えることで「+21」となる。このように、加算部133は、動画MO1のフレーム毎の重みを累積することで、動画MO1の時間に対応する累積された重みを算出する。そして、加算部133は、かかる動画の重みを動画の時間に対応する形式で重み情報記憶部123に格納する。 Then, the addition unit 133 adds “0” as the weight when the next scene is a scene in which a predetermined number of people are displayed. As a result, the accumulated weight becomes "+7" by adding "0" to "+7". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed. As a result, the accumulated weight becomes "+14" by adding "+7" to "+7". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed. Thus, the accumulated weight becomes "+21" by adding "+7" to "+14". In this way, the addition unit 133 accumulates the weights for each frame of the moving image MO1, thereby calculating the accumulated weight corresponding to the time of the moving image MO1. Then, the addition unit 133 stores the weight of the moving image in the weight information storage unit 123 in a format corresponding to the time of the moving image.

また、例えば、動画MO1が、人が表示される動画であるものとする。また、辞書情報記憶部に記憶された対象物に対応する重みとして、人の重みが「+7」であるとする。また、人の座標が変化しないシーンが3回連続で続く場合に、重みをさらに「+10」加算するとする。この場合、加算部133は、はじめのシーンが、人が表示されるシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、はじめの重みである「0」に「+7」を加えることで「+7」となる。 Also, for example, it is assumed that the moving image MO1 is a moving image in which a person is displayed. It is also assumed that the human weight is "+7" as the weight corresponding to the object stored in the dictionary information storage unit. Also, if a scene in which the coordinates of a person do not change continues three times in a row, the weight is further increased by "+10". In this case, the addition unit 133 adds “+7” as the weight when the first scene is a scene in which a person is displayed. As a result, the accumulated weight becomes "+7" by adding "+7" to the initial weight "0".

そして、加算部133は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+7」に「+7」を加えることで「+14」となる。そして、加算部133は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+14」に「+7」を加えることで「+21」となる。そして、加算部133は、次のシーンが、人が表示されるシーンであって、前のシーンと人の座標が変化しないシーンの場合に、重みとして「+7」を加算する。これにより、累積された重みは、「+21」に「+7」を加えることで「+28」となる。また、加算部133は、人の座標が変化しないシーンが3回連続で続いた場合に、さらに重み「+10」を加算する。これにより、累積された重みは、「+28」に「+10」を加えることで「+38」となる。このように、加算部133は、動画MO1のフレーム毎の重みを累積することで、動画MO1の時間に対応する累積された重みを算出する。そして、加算部133は、かかる動画の重みを動画の時間に対応する形式で重み情報記憶部123に格納する。 Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed and the coordinates of the person do not change from the previous scene. As a result, the accumulated weight becomes "+14" by adding "+7" to "+7". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed and the coordinates of the person do not change from the previous scene. Thus, the accumulated weight becomes "+21" by adding "+7" to "+14". Then, the addition unit 133 adds “+7” as the weight when the next scene is a scene in which a person is displayed and the coordinates of the person do not change from the previous scene. Thus, the accumulated weight becomes "+28" by adding "+7" to "+21". In addition, the adding unit 133 further adds the weight “+10” when scenes in which the coordinates of the person do not change continue three times. As a result, the accumulated weight becomes "+38" by adding "+10" to "+28". In this way, the addition unit 133 accumulates the weights for each frame of the moving image MO1, thereby calculating the accumulated weight corresponding to the time of the moving image MO1. Then, the addition unit 133 stores the weight of the moving image in the weight information storage unit 123 in a format corresponding to the time of the moving image.

そして、選択部134は、加算部133によって加算された各シーンの重みに基づいて、シーンを選択する(ステップS104)。例えば、選択部134は、重み情報記憶部123に記憶される重みが所定の閾値以上であるシーンを選択する。例えば、選択部134は、重みの閾値が「70」であるとする。この場合、選択部134は、動画から、重みの閾値以上である複数のシーンを選択する。そして、生成部135は、選択部134によって選択された複数のシーンから構成される編集動画EM1を生成する(ステップS105)。 Then, the selection unit 134 selects a scene based on the weight of each scene added by the addition unit 133 (step S104). For example, the selection unit 134 selects scenes whose weights stored in the weight information storage unit 123 are equal to or greater than a predetermined threshold. For example, the selection unit 134 assumes that the weight threshold is "70". In this case, the selection unit 134 selects a plurality of scenes whose weight is equal to or greater than the threshold value from the moving image. Then, the generation unit 135 generates an edited moving image EM1 composed of a plurality of scenes selected by the selection unit 134 (step S105).

〔4.変形例〕
上述した生成装置100は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、生成装置100の他の実施形態について説明する。
[4. Modification]
The generating device 100 described above may be implemented in various different forms other than the above embodiment. Therefore, other embodiments of the generation device 100 will be described below.

〔4-1.対象物〕
上記実施形態では、生成装置100の辞書情報記憶部122には、人や人以外の物体等の対象物と重みとが対応付られた情報が記憶される一例を説明したが、辞書情報記憶部122に記憶される重みは対象物のみに限定されなくてもよい。例えば、対象物ではない人の音声等に対応する重みに関する情報が辞書情報記憶部122に記憶されてもよい。
[4-1. Object〕
In the above embodiment, an example was described in which information in which objects such as humans and objects other than humans are associated with weights is stored in the dictionary information storage unit 122 of the generation device 100. The weights stored in 122 may not be limited to objects only. For example, the dictionary information storage unit 122 may store information about the weight corresponding to the voice of a person who is not the object.

〔4-2.加算処理 目的に応じて重みを変更〕
上記実施形態では、生成装置100の加算部133が人や人以外の物体等の対象物と重みとが対応付られた情報が記憶された辞書情報記憶部122を参照して、動画を構成するシーンに表示される対象物の重みを算出することで、かかるシーンの重みを加算する加算処理の一例を説明したが、辞書情報記憶部122に記憶される重みであって、編集動画の提供先に応じて変動される重みを参照して、重みを加算してもよい。具体的には、加算部133は、編集動画の提供先に応じて変動される重みに基づいて、動画のフレーム毎の重みを累積するように加算してもよい。例えば、ユーザがSNS(Social Networking Service)に登録しているものとする。また、ユーザによって利用されるSNSでは食べ物の動画が頻繁に投稿されているものとする。この場合、加算部133は、SNSに対応して食べ物の重みを一律に「+5」大きくした重みが記憶された辞書情報記憶部122を参照して、動画のフレーム毎の重みを累積するように加算してもよい。
[4-2. Addition processing Change the weight according to the purpose]
In the above-described embodiment, the addition unit 133 of the generation device 100 constructs a moving image by referring to the dictionary information storage unit 122 that stores information in which objects such as humans and objects other than humans are associated with weights. An example of addition processing for adding the weight of a scene by calculating the weight of an object displayed in the scene has been described. Weights may be added with reference to weights that vary according to . Specifically, the adding unit 133 may accumulate the weight of each frame of the moving image based on the weight that varies according to the provider of the edited moving image. For example, it is assumed that the user has registered with SNS (Social Networking Service). It is also assumed that videos of food are frequently posted on SNSs used by users. In this case, the addition unit 133 refers to the dictionary information storage unit 122 that stores weights that are uniformly increased by “+5” to the food weights corresponding to the SNS, and accumulates the weights for each frame of the moving image. may be added.

これにより、実施形態に係る生成装置100の加算部133は、ユーザによって投稿されるSNS毎に最適化された重みに基づいて動画のフレーム毎に重みを累積するように加算することができるため、ユーザによって編集動画が投稿される態様に適した重みを加算することができる。 As a result, the addition unit 133 of the generation device 100 according to the embodiment can perform addition so as to accumulate the weight for each frame of the video based on the weight optimized for each SNS posted by the user. A weight suitable for the mode in which the edited moving image is posted by the user can be added.

〔4-3.選択処理(1)特定の物体のシーンが続く場合に倍速〕
上記実施形態では、生成装置100の選択部134が加算部133によって加算された重みが所定の閾値以上である場合に、所定数のシーンを複数のシーンから選択する選択処理の一例を説明したが、加算部133によって加算された重みが動画のうち、前後のシーンで変化しない場合に、かかるシーンに対して動画の表示速度を早くしたシーンを含む所定数のシーンを複数のシーンから選択してもよい。例えば、選択部134は、重み情報記憶部123に記憶される重みが変化しないシーンに対して動画の表示速度を倍速にしたシーンを含む所定数のシーンを選択する。
[4-3. Selection processing (1) Double speed when scenes of a specific object continue]
In the above-described embodiment, an example of selection processing in which the selection unit 134 of the generation device 100 selects a predetermined number of scenes from a plurality of scenes when the weight added by the addition unit 133 is equal to or greater than a predetermined threshold has been described. , when the weight added by the addition unit 133 does not change between the scenes before and after the moving image, a predetermined number of scenes including a scene in which the moving image display speed is increased with respect to the scene are selected from a plurality of scenes. good too. For example, the selection unit 134 selects a predetermined number of scenes including a scene whose moving image display speed is doubled with respect to scenes whose weights stored in the weight information storage unit 123 do not change.

これにより、実施形態に係る生成装置100の選択部134は、前後のシーンで変化しない場合に、かかるシーンに対して動画の表示速度を倍速にしたシーンを含む所定数のシーンを複数のシーンから選択することができるため、冗長なシーンを編集動画から除くことができる。 As a result, the selection unit 134 of the generation device 100 according to the embodiment selects a predetermined number of scenes from a plurality of scenes, including a scene whose moving image display speed is doubled with respect to the scene before and after the scene does not change. Since it can be selected, redundant scenes can be removed from the edited video.

〔4-4.選択処理(2)動画時間の選択〕
上記実施形態では、生成装置100の選択部134が加算部133によって加算された重みが所定の閾値以上である場合に、所定数のシーンを複数のシーンから選択する選択処理の一例を説明したが、加算部133によって加算された重みに基づいて、動画の時間に対応する所定数のシーンを複数のシーンから選択してもよい。例えば、ユーザから受け付けられた動画の総時間が「5分」であるものとする。また、ユーザによって動画の総時間を「3分」と指定されたものとする。この場合、選択部134は、重み情報記憶部123に記憶される重みが変化しないシーンを除くことで、動画の総時間が「3分」の編集動画を生成できるように、所定数のシーンを選択する。
[4-4. Selection processing (2) Selection of video time]
In the above-described embodiment, an example of selection processing in which the selection unit 134 of the generation device 100 selects a predetermined number of scenes from a plurality of scenes when the weight added by the addition unit 133 is equal to or greater than a predetermined threshold has been described. , based on the weights added by the addition unit 133, a predetermined number of scenes corresponding to the time of the moving image may be selected from a plurality of scenes. For example, it is assumed that the total duration of the moving image received from the user is "5 minutes". It is also assumed that the user has designated the total time of the moving image to be "3 minutes". In this case, the selection unit 134 selects a predetermined number of scenes by excluding scenes whose weights stored in the weight information storage unit 123 do not change, so that an edited video with a total video time of “3 minutes” can be generated. select.

これにより、実施形態に係る生成装置100の選択部134は、動画の時間に対応する所定数のシーンを複数のシーンから選択することができるため、冗長なシーンを編集動画から除くことができる。 As a result, the selection unit 134 of the generation device 100 according to the embodiment can select a predetermined number of scenes corresponding to the time of the moving image from a plurality of scenes, so redundant scenes can be removed from the edited moving image.

〔4-5.選択処理(3)重みが加算された場合に選択〕
上記実施形態では、生成装置100の選択部134が加算部133によって加算された重みが所定の閾値以上である場合に、所定数のシーンを複数のシーンから選択する選択処理の一例を説明したが、加算部133によって加算された重みに対応する所定数のシーンを複数のシーンから選択してもよい。
[4-5. Selection processing (3) Selection when weight is added]
In the above-described embodiment, an example of selection processing in which the selection unit 134 of the generation device 100 selects a predetermined number of scenes from a plurality of scenes when the weight added by the addition unit 133 is equal to or greater than a predetermined threshold has been described. , a predetermined number of scenes corresponding to the weights added by the adder 133 may be selected from a plurality of scenes.

ここで、図8を用いて編集動画EM21の生成方法について説明する。図8は、変形例に係る生成装置100が実行する編集動画の生成方法の処理の一例を示す図である。図8に示すように、図FG21は、動画MO1の時間に対応する重みの変化を示す。図FG21の縦軸は、加算された重みの値を示す。図FG21の横軸は、動画MO1の動画内の時間を示す。図FG21は、所定の重みの閾値の表示を含む。例えば、図FG21では、所定の範囲内の複数のシーンSE1、SE2、SE3が所定の重みの閾値以上であるシーンである。 Here, a method for generating the edited moving image EM21 will be described with reference to FIG. FIG. 8 is a diagram showing an example of the process of the edited moving image generation method executed by the generation device 100 according to the modification. As shown in FIG. 8, FIG. FG21 shows changes in weight corresponding to time of the moving image MO1. The vertical axis of FIG. FG21 indicates the added weight value. The horizontal axis of FIG. FG21 indicates the time in the moving image MO1. FIG. FG21 includes a representation of a predetermined weight threshold. For example, in FIG. FG21, a plurality of scenes SE1, SE2, and SE3 within a predetermined range are scenes having a predetermined weight threshold or more.

また、図8に示すように、図FG22は、所定の重みの閾値以上である所定の範囲内の複数のシーンSE21、SE22、SE23を合わせた動画を示す。すなわち、かかる動画は、編集動画EM1に対応する。 Also, as shown in FIG. 8, FIG. FG22 shows a moving image including a plurality of scenes SE21, SE22, and SE23 within a predetermined range that are equal to or greater than a predetermined weight threshold. That is, this moving image corresponds to the edited moving image EM1.

例えば、選択部134は、重みの閾値が「70」であるとする。この場合、選択部134は、動画MO1から、重みの閾値以上である所定の範囲内の複数のシーンSE21、SE22、SE23を選択する。 For example, the selection unit 134 assumes that the weight threshold is "70". In this case, the selection unit 134 selects a plurality of scenes SE21, SE22, and SE23 within a predetermined range that is equal to or greater than the weight threshold from the moving image MO1.

これにより、実施形態に係る生成装置100の選択部134は、所定の閾値以上である重みを示す複数のシーンであって、重みが増加する範囲内の複数のシーンを選択することができるため、編集動画内のシーンが飛び飛びになることを防ぐだけでなく、間延びする冗長なシーンをも除くことができる。 As a result, the selection unit 134 of the generation device 100 according to the embodiment can select a plurality of scenes showing weights equal to or greater than a predetermined threshold and within a range in which the weights increase. In addition to preventing jumpy scenes in the edited moving image, it is also possible to eliminate long and redundant scenes.

〔4-6.重み〕
上記実施形態では、生成装置100の辞書情報記憶部122には、人がいないシーンの場合に重みとして「-5」に関する情報が記憶される一例を説明したが、辞書情報記憶部122に記憶される重みは上記に限定されなくてもよい。例えば、人がいないシーンの場合に重みとして「0」に関する情報が辞書情報記憶部122に記憶されてもよい。
[4-6. weight〕
In the above embodiment, an example has been described in which the dictionary information storage unit 122 of the generation device 100 stores information about “−5” as a weight for scenes in which there is no person. The weights to be used need not be limited to the above. For example, the dictionary information storage unit 122 may store information about "0" as a weight for a scene without people.

〔4-7.動画〕
上記実施形態では、生成装置100の受付部131が、ユーザによって端末装置10で撮影された動画を受け付ける処理の一例を説明したが、受付部131によって受け付けられる動画は、ユーザによって撮影された動画に限定されず、如何なる動画であってもよい。
[4-7. movie〕
In the above-described embodiment, an example of the processing in which the reception unit 131 of the generation device 100 receives a video shot by the user with the terminal device 10 has been described. It is not limited and may be any moving image.

〔5.ハードウェア構成〕
また、上述してきた実施形態に係る端末装置10及び生成装置100は、例えば図9に示すような構成のコンピュータ1000によって実現される。以下、生成装置100を例に挙げて説明する。図9は、生成装置100の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
[5. Hardware configuration]
Also, the terminal device 10 and the generating device 100 according to the above-described embodiments are implemented by a computer 1000 configured as shown in FIG. 9, for example. The generation device 100 will be described below as an example. FIG. 9 is a hardware configuration diagram showing an example of a computer 1000 that implements the functions of the generating device 100. As shown in FIG. The computer 1000 includes a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, a HDD (Hard Disk Drive) 1400, a communication interface (I/F) 1500, an input/output interface (I/F) 1600, and a media interface (I/F). ) 1700.

CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。 The CPU 1100 operates based on programs stored in the ROM 1300 or HDD 1400 and controls each section. The ROM 1300 stores a boot program executed by the CPU 1100 when the computer 1000 is started up, a program depending on the hardware of the computer 1000, and the like.

HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、ネットワークNを介して他の機器からデータを受信してCPU1100へ送り、CPU1100がネットワークNを介して生成したデータを他の機器へ送信する。 The HDD 1400 stores programs executed by the CPU 1100, data used by the programs, and the like. Communication interface 1500 receives data from other devices via network N, sends the data to CPU 1100, and transmits data generated by CPU 1100 via network N to other devices.

CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、入出力インターフェイス1600を介して生成したデータを出力装置へ出力する。 The CPU 1100 controls output devices such as displays and printers, and input devices such as keyboards and mice, through an input/output interface 1600 . CPU 1100 acquires data from an input device via input/output interface 1600 . Also, CPU 1100 outputs the generated data to an output device via input/output interface 1600 .

メディアインターフェイス1700は、記録媒体1800に格納されたプログラム又はデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。 Media interface 1700 reads programs or data stored in recording medium 1800 and provides them to CPU 1100 via RAM 1200 . CPU 1100 loads such a program from recording medium 1800 onto RAM 1200 via media interface 1700, and executes the loaded program. The recording medium 1800 is, for example, an optical recording medium such as a DVD (Digital Versatile Disc) or a PD (Phase change rewritable disc), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. etc.

例えば、コンピュータ1000が実施形態に係る生成装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部130の機能を実現する。また、HDD1400には、記憶部120内のデータが格納される。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置からネットワークNを介してこれらのプログラムを取得してもよい。 For example, when the computer 1000 functions as the generation device 100 according to the embodiment, the CPU 1100 of the computer 1000 implements the functions of the control unit 130 by executing programs loaded on the RAM 1200 . In addition, data in storage unit 120 is stored in HDD 1400 . The CPU 1100 of the computer 1000 reads these programs from the recording medium 1800 and executes them, but as another example, these programs may be acquired via the network N from another device.

〔6.その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[6. others〕
Further, among the processes described in the above embodiments and modifications, all or part of the processes described as being performed automatically can be performed manually, or described as being performed manually. All or part of the processing can also be performed automatically by known methods. In addition, information including processing procedures, specific names, various data and parameters shown in the above documents and drawings can be arbitrarily changed unless otherwise specified. For example, the various information shown in each drawing is not limited to the illustrated information.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Also, each component of each device illustrated is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution and integration of each device is not limited to the one shown in the figure, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Also, the above-described embodiments and modifications can be appropriately combined within a range that does not contradict the processing content.

また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、生成部は、生成手段や生成回路に読み替えることができる。 Also, the above-mentioned "section, module, unit" can be read as "means" or "circuit". For example, the generating unit can be read as generating means or a generating circuit.

〔7.効果〕
上述してきたように、実施形態に係る生成装置100は、加算部133と、生成部135とを有する。加算部133は、動画に表示される対象物が所定の条件を満たす場合に、動画を構成する複数のシーンの重要度を示す重みを加算する。生成部135は、加算部133によって加算された重みに基づいて、複数のシーンのうち、所定数のシーンから構成される編集動画を生成する。
[7. effect〕
As described above, the generating device 100 according to the embodiment has the adding section 133 and the generating section 135 . The addition unit 133 adds weights indicating the degrees of importance of a plurality of scenes forming a moving image when an object displayed in the moving image satisfies a predetermined condition. The generation unit 135 generates an edited moving image composed of a predetermined number of scenes among the plurality of scenes based on the weights added by the addition unit 133 .

これにより、実施形態に係る生成装置100は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。 As a result, the generation device 100 according to the embodiment can select an appropriate scene from the moving image by focusing on the weight corresponding to the specific object, and thus can provide the user with an appropriately edited moving image. can.

また、実施形態に係る生成装置100において、加算部133は、動画に表示される対象物が所定の条件を満たす第1のシーンの重みに、動画に表示される対象物が所定の条件を満たす第2のシーンの重みを加算し、加算部133によって加算された重みに基づいて、所定数のシーンを複数のシーンから選択する選択部134をさらに備え、生成部135は、選択部134によって選択された所定数のシーンから構成される編集動画を生成する。 In addition, in the generation device 100 according to the embodiment, the adding unit 133 adds the weight of the first scene where the object displayed in the moving image satisfies a predetermined condition to the weight of the first scene, and the object displayed in the moving image satisfies the predetermined condition. A selection unit 134 that adds the weights of the second scenes and selects a predetermined number of scenes from a plurality of scenes based on the weights added by the addition unit 133 . An edited moving image is generated from a predetermined number of scenes.

これにより、実施形態に係る生成装置100は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。 As a result, the generation device 100 according to the embodiment can select an appropriate scene from the moving image by focusing on the weight corresponding to the specific object, and thus can provide the user with an appropriately edited moving image. can.

また、実施形態に係る生成装置100において、選択部134は、加算部133によって加算された重みが所定の閾値以上である場合に、所定数のシーンを複数のシーンから選択する。 Further, in the generation device 100 according to the embodiment, the selection unit 134 selects a predetermined number of scenes from a plurality of scenes when the weight added by the addition unit 133 is equal to or greater than a predetermined threshold.

これにより、実施形態に係る生成装置100は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。 As a result, the generation device 100 according to the embodiment can select an appropriate scene from the moving image by focusing on the weight corresponding to the specific object, and thus can provide the user with an appropriately edited moving image. can.

また、実施形態に係る生成装置100において、選択部134は、加算部133によって加算された重みに対応する所定数のシーンを複数のシーンから選択する。 In addition, in the generation device 100 according to the embodiment, the selection unit 134 selects a predetermined number of scenes corresponding to the weights added by the addition unit 133 from a plurality of scenes.

これにより、実施形態に係る生成装置100は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。 As a result, the generation device 100 according to the embodiment can select an appropriate scene from the moving image by focusing on the weight corresponding to the specific object, and thus can provide the user with an appropriately edited moving image. can.

また、実施形態に係る生成装置100において、選択部134は、加算部133によって加算された重みが動画のうち、前後のシーンで変化しない場合に、当該シーンを含まない所定数のシーンを複数のシーンから選択する。 In addition, in the generation device 100 according to the embodiment, when the weight added by the addition unit 133 does not change between the scenes before and after the moving image, the selection unit 134 selects a predetermined number of scenes that do not include the scene as a plurality of scenes. Select from scenes.

これにより、実施形態に係る生成装置100は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。 As a result, the generation device 100 according to the embodiment can select an appropriate scene from the moving image by focusing on the weight corresponding to the specific object, and thus can provide the user with an appropriately edited moving image. can.

また、実施形態に係る生成装置100において、選択部134は、加算部133によって加算された重みに基づいて、動画の時間に対応する所定数のシーンを複数のシーンから選択する。 In addition, in the generation device 100 according to the embodiment, the selection unit 134 selects a predetermined number of scenes corresponding to the time of the moving image from a plurality of scenes based on the weights added by the addition unit 133 .

これにより、実施形態に係る生成装置100は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。 As a result, the generation device 100 according to the embodiment can select an appropriate scene from the moving image by focusing on the weight corresponding to the specific object, and thus can provide the user with an appropriately edited moving image. can.

また、実施形態に係る生成装置100において、加算部133は、動画に表示される対象物が所定の条件を満たす場合に、対象物と重みとが対応付られた情報が記憶される記憶部を参照して、重みを加算する。 In addition, in the generation device 100 according to the embodiment, the addition unit 133 includes a storage unit that stores information in which objects and weights are associated with each other when objects displayed in a moving image satisfy predetermined conditions. Look up and add weights.

これにより、実施形態に係る生成装置100は、特定の対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。 As a result, the generation device 100 according to the embodiment can select an appropriate scene from the moving image by focusing on the weight corresponding to the specific object, and thus can provide the user with an appropriately edited moving image. can.

また、実施形態に係る生成装置100において、加算部133は、動画に表示される対象物が所定の条件を満たす場合に、記憶部に記憶される重みであって、編集動画の提供先に応じて変動される重みを参照して、重みを加算する。 In addition, in the generation device 100 according to the embodiment, the addition unit 133 is a weight stored in the storage unit when the object displayed in the moving image satisfies a predetermined condition, and is a weight according to the provider of the edited moving image. The weights are added with reference to the weights that are varied by

これにより、実施形態に係る生成装置100は、編集動画の提供先に応じた適切なシーンを動画から選択することができるため、適切に編集された動画をユーザに提供することができる。 As a result, the generation device 100 according to the embodiment can select an appropriate scene from the moving image according to the destination of the edited moving image, and thus can provide the user with an appropriately edited moving image.

また、実施形態に係る生成装置100において、加算部133は、所定の条件として、動画に表示される対象物が、人、人の音声、動物、生物、移動体、食べ物、玩具である場合に、重みを加算する。 In addition, in the generation device 100 according to the embodiment, the adding unit 133 may set, as a predetermined condition, when an object displayed in a moving image is a person, a human voice, an animal, a creature, a moving object, food, or a toy. , add the weights.

これにより、実施形態に係る生成装置100は、様々な対象物に対応する重みに着目して動画から適切なシーンを選択することができるため、適切に編集された動画をユーザに提供することができる。 As a result, the generating apparatus 100 according to the embodiment can select appropriate scenes from the moving image by focusing on the weights corresponding to various objects, thereby providing the user with an appropriately edited moving image. can.

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 As described above, some of the embodiments of the present application have been described in detail based on the drawings. It is possible to carry out the invention in other forms with modifications.

1 生成システム
10 端末装置
100 生成装置
110 通信部
120 記憶部
121 動画情報記憶部
122 辞書情報記憶部
123 重み情報記憶部
130 制御部
131 受付部
132 分類部
133 加算部
134 選択部
135 生成部
136 提供部
1 generation system 10 terminal device 100 generation device 110 communication unit 120 storage unit 121 moving image information storage unit 122 dictionary information storage unit 123 weight information storage unit 130 control unit 131 reception unit 132 classification unit 133 addition unit 134 selection unit 135 generation unit 136 provided Department

Claims (17)

動画に表示される対象物が所定の条件を満たす場合に、当該対象物に対応するシーンであって、動画のフレーム毎のシーンの重要度を示す重みを加算する加算部と、
前記加算部によって加算された重みに基づいて、前記動画を構成する複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成部と、
を備え
前記加算部は、
前記動画に表示される対象物が所定の条件を満たす場合に、対象物と重みとが対応付けられた情報が記憶される記憶部を参照して、当該対象物に対応付けられた重みを前記重みとして加算する、
ことを特徴とする生成装置。
an addition unit for adding a weight indicating the importance of a scene corresponding to each frame of a moving image when an object displayed in the moving image satisfies a predetermined condition;
a generating unit that generates an edited moving image composed of a predetermined number of scenes among a plurality of scenes that constitute the moving image based on the weights added by the adding unit;
with
The addition unit
When an object displayed in the moving image satisfies a predetermined condition, the weight associated with the object is obtained by referring to the storage unit that stores information in which the object and the weight are associated with each other. add as weights,
A generating device characterized by:
前記動画に表示される対象物が所定の条件を満たす第1のシーンの前記重みに、前記動画に表示される対象物が所定の条件を満たす第2のシーンの前記重みを累積するように加算し、
前記加算部によって加算された重みのうち、所定の閾値以上である重みに対応する複数のシーンのうちから、前記動画を示す全てのシーンの数未満である所定数のシーンを選択する選択部をさらに備え、
前記生成部は、
前記選択部によって選択された所定数のシーンから構成される前記編集動画を生成する、
ことを特徴とする請求項1に記載の生成装置。
The weight of a first scene in which an object displayed in the moving image satisfies a predetermined condition is added so as to accumulate the weight of a second scene in which an object displayed in the moving image satisfies a predetermined condition. death,
a selection unit that selects a predetermined number of scenes, which is less than the number of all scenes showing the moving image, from among a plurality of scenes corresponding to weights equal to or greater than a predetermined threshold among the weights added by the addition unit; further prepared,
The generating unit
generating the edited video composed of a predetermined number of scenes selected by the selection unit;
The generation device according to claim 1, characterized in that:
前記選択部は、
前記加算部によって加算された重みが所定の閾値以上である場合に、前記所定数のシーンを前記複数のシーンから選択する、
ことを特徴とする請求項2に記載の生成装置。
The selection unit
selecting the predetermined number of scenes from the plurality of scenes when the weight added by the adding unit is equal to or greater than a predetermined threshold;
3. The generator according to claim 2, characterized by:
前記選択部は、
前記加算部によって加算された重みに対応する前記所定数のシーンを前記複数のシーンから選択する、
ことを特徴とする請求項2又は3に記載の生成装置。
The selection unit
selecting the predetermined number of scenes corresponding to the weights added by the adding unit from the plurality of scenes;
4. The generator according to claim 2 or 3, characterized in that:
前記選択部は、
前記加算部によって加算された重みが前記動画のうち、前後のシーンで変化しない場合に、動画の表示速度を早くした当該シーンを含む前記所定数のシーンを前記複数のシーンから選択する、
ことを特徴とする請求項2~4のいずれか1つに記載の生成装置。
The selection unit
selecting from the plurality of scenes the predetermined number of scenes including the scene in which the display speed of the moving image is increased when the weight added by the adding unit does not change between the scenes before and after the moving image;
The generator according to any one of claims 2 to 4, characterized in that:
前記選択部は、
前記加算部によって加算された重みに基づいて、前記動画の時間に対応する前記所定数のシーンを前記複数のシーンから選択する、
ことを特徴とする請求項2~5のいずれか1つに記載の生成装置。
The selection unit
Selecting the predetermined number of scenes corresponding to the time of the moving image from the plurality of scenes based on the weights added by the adding unit;
The generator according to any one of claims 2 to 5, characterized in that:
前記加算部は、
前記動画に表示される対象物が所定の条件を満たす場合に、前記記憶部に記憶される重みであって、前記編集動画の提供先に応じて変動される重みを参照して、前記重みを加算する、
ことを特徴とする請求項に記載の生成装置。
The addition unit
When the object displayed in the moving image satisfies a predetermined condition, the weight stored in the storage unit and changed according to the provider of the edited moving image is referenced, and the weight is calculated by referring to the weight stored in the storage unit. to add,
The generation device according to claim 1 , characterized in that:
前記加算部は、
前記所定の条件として、前記動画に表示される対象物が、人、人の音声、動物、生物、移動体、食べ物、玩具である場合に、前記重みを加算する、
ことを特徴とする請求項1~のいずれか1つに記載の生成装置。
The addition unit
As the predetermined condition, the weight is added when the object displayed in the moving image is a person, a human voice, an animal, a creature, a moving object, food, or a toy.
The generator according to any one of claims 1 to 7 , characterized in that:
動画に表示される対象物が所定の条件を満たす場合に、当該対象物に対応するシーンであって、動画を構成する複数のシーンの重要度を示す重みを加算する加算部と、
前記加算部によって加算された重みに基づいて、前記複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成部と、
を備え、
前記動画に表示される対象物が所定の条件を満たす第1のシーンの前記重みに、前記動画に表示される対象物が所定の条件を満たす第2のシーンの前記重みを累積するように加算し、
前記加算部によって加算された重みのうち、所定の閾値以上である重みに対応する複数のシーンのうちから、前記動画を示す全てのシーンの数未満である所定数のシーンを選択する選択部をさらに備え、
前記生成部は、
前記選択部によって選択された所定数のシーンから構成される前記編集動画を生成する
ことを特徴とする生成装置。
an addition unit that adds weights indicating the importance of a plurality of scenes that constitute a moving image and are scenes corresponding to the target object displayed in the moving image when the target object satisfies a predetermined condition;
a generation unit that generates an edited video composed of a predetermined number of scenes among the plurality of scenes based on the weights added by the addition unit;
with
The weight of a first scene in which an object displayed in the moving image satisfies a predetermined condition is added so as to accumulate the weight of a second scene in which an object displayed in the moving image satisfies a predetermined condition. death,
a selection unit that selects a predetermined number of scenes, which is less than the number of all scenes showing the moving image, from among a plurality of scenes corresponding to weights equal to or greater than a predetermined threshold among the weights added by the addition unit; further prepared,
The generating unit
A generation device that generates the edited moving image composed of a predetermined number of scenes selected by the selection unit.
動画に表示される対象物が所定の条件を満たす場合に、当該対象物に対応するシーンであって、動画を構成する複数のシーンの重要度を示す重みを加算する加算部と、
前記加算部によって加算された重みに基づいて、前記複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成部と、
を備え、
前記動画に表示される対象物が所定の条件を満たす第1のシーンの前記重みに、前記動画に表示される対象物が所定の条件を満たす第2のシーンの前記重みを累積するように加算し、
前記加算部によって加算された重みのうち、所定の閾値以上である重みに対応する複数のシーンのうちから、前記動画を示す全てのシーンの数未満である所定数のシーンを選択する選択部をさらに備え、
前記生成部は、
前記選択部によって選択された所定数のシーンから構成される前記編集動画を生成し、
前記選択部は、
前記加算部によって加算された重みが所定の閾値以上である場合に、前記所定数のシーンを前記複数のシーンから選択する
ことを特徴とする生成装置。
an addition unit that adds weights indicating the importance of a plurality of scenes that constitute a moving image and are scenes corresponding to the target object displayed in the moving image when the target object satisfies a predetermined condition;
a generation unit that generates an edited video composed of a predetermined number of scenes among the plurality of scenes based on the weights added by the addition unit;
with
The weight of a first scene in which an object displayed in the moving image satisfies a predetermined condition is added so as to accumulate the weight of a second scene in which an object displayed in the moving image satisfies a predetermined condition. death,
a selection unit that selects a predetermined number of scenes, which is less than the number of all scenes showing the moving image, from among a plurality of scenes corresponding to weights equal to or greater than a predetermined threshold among the weights added by the addition unit; further prepared,
The generating unit
generating the edited video composed of a predetermined number of scenes selected by the selection unit;
The selection unit
The generation device, wherein the predetermined number of scenes are selected from the plurality of scenes when the weight added by the addition unit is equal to or greater than a predetermined threshold.
動画に表示される対象物が所定の条件を満たす場合に、当該対象物に対応するシーンであって、動画を構成する複数のシーンの重要度を示す重みを加算する加算部と、
前記加算部によって加算された重みに基づいて、前記複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成部と、
を備え、
前記動画に表示される対象物が所定の条件を満たす第1のシーンの前記重みに、前記動画に表示される対象物が所定の条件を満たす第2のシーンの前記重みを累積するように加算し、
前記加算部によって加算された重みのうち、所定の閾値以上である重みに対応する複数のシーンのうちから、前記動画を示す全てのシーンの数未満である所定数のシーンを選択する選択部をさらに備え、
前記生成部は、
前記選択部によって選択された所定数のシーンから構成される前記編集動画を生成し、
前記選択部は、
前記加算部によって加算された重みに対応する前記所定数のシーンを前記複数のシーンから選択する
ことを特徴とする生成装置。
an addition unit that adds weights indicating the importance of a plurality of scenes that constitute a moving image and are scenes corresponding to the target object displayed in the moving image when the target object satisfies a predetermined condition;
a generation unit that generates an edited video composed of a predetermined number of scenes among the plurality of scenes based on the weights added by the addition unit;
with
The weight of a first scene in which an object displayed in the moving image satisfies a predetermined condition is added so as to accumulate the weight of a second scene in which an object displayed in the moving image satisfies a predetermined condition. death,
a selection unit that selects a predetermined number of scenes, which is less than the number of all scenes showing the moving image, from among a plurality of scenes corresponding to weights equal to or greater than a predetermined threshold among the weights added by the addition unit; further prepared,
The generating unit
generating the edited video composed of a predetermined number of scenes selected by the selection unit;
The selection unit
The generation device, wherein the predetermined number of scenes corresponding to the weights added by the addition unit are selected from the plurality of scenes.
動画に表示される対象物が所定の条件を満たす場合に、当該対象物に対応するシーンであって、動画を構成する複数のシーンの重要度を示す重みを加算する加算部と、
前記加算部によって加算された重みに基づいて、前記複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成部と、
を備え、
前記動画に表示される対象物が所定の条件を満たす第1のシーンの前記重みに、前記動画に表示される対象物が所定の条件を満たす第2のシーンの前記重みを累積するように加算し、
前記加算部によって加算された重みのうち、所定の閾値以上である重みに対応する複数のシーンのうちから、前記動画を示す全てのシーンの数未満である所定数のシーンを選択する選択部をさらに備え、
前記生成部は、
前記選択部によって選択された所定数のシーンから構成される前記編集動画を生成し、
前記選択部は、
前記加算部によって加算された重みが前記動画のうち、前後のシーンで変化しない場合に、動画の表示速度を早くした当該シーンを含む前記所定数のシーンを前記複数のシーンから選択する
ことを特徴とする生成装置。
an addition unit that adds weights indicating the importance of a plurality of scenes that constitute a moving image and are scenes corresponding to the target object displayed in the moving image when the target object satisfies a predetermined condition;
a generation unit that generates an edited video composed of a predetermined number of scenes among the plurality of scenes based on the weights added by the addition unit;
with
The weight of a first scene in which an object displayed in the moving image satisfies a predetermined condition is added so as to accumulate the weight of a second scene in which an object displayed in the moving image satisfies a predetermined condition. death,
a selection unit that selects a predetermined number of scenes, which is less than the number of all scenes showing the moving image, from among a plurality of scenes corresponding to weights equal to or greater than a predetermined threshold among the weights added by the addition unit; further prepared,
The generating unit
generating the edited video composed of a predetermined number of scenes selected by the selection unit;
The selection unit
When the weight added by the addition unit does not change between the scenes before and after the moving image, the predetermined number of scenes including the scene whose moving image display speed is increased are selected from the plurality of scenes. generator.
動画に表示される対象物が所定の条件を満たす場合に、当該対象物に対応するシーンであって、動画を構成する複数のシーンの重要度を示す重みを加算する加算部と、
前記加算部によって加算された重みに基づいて、前記複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成部と、
を備え、
前記動画に表示される対象物が所定の条件を満たす第1のシーンの前記重みに、前記動画に表示される対象物が所定の条件を満たす第2のシーンの前記重みを累積するように加算し、
前記加算部によって加算された重みのうち、所定の閾値以上である重みに対応する複数のシーンのうちから、前記動画を示す全てのシーンの数未満である所定数のシーンを選択する選択部をさらに備え、
前記生成部は、
前記選択部によって選択された所定数のシーンから構成される前記編集動画を生成し、
前記選択部は、
前記加算部によって加算された重みに基づいて、前記動画の時間に対応する前記所定数のシーンを前記複数のシーンから選択する
ことを特徴とする生成装置。
an addition unit that adds weights indicating the importance of a plurality of scenes that constitute a moving image and are scenes corresponding to the target object displayed in the moving image when the target object satisfies a predetermined condition;
a generation unit that generates an edited video composed of a predetermined number of scenes among the plurality of scenes based on the weights added by the addition unit;
with
The weight of a first scene in which an object displayed in the moving image satisfies a predetermined condition is added so as to accumulate the weight of a second scene in which an object displayed in the moving image satisfies a predetermined condition. death,
a selection unit that selects a predetermined number of scenes, which is less than the number of all scenes showing the moving image, from among a plurality of scenes corresponding to weights equal to or greater than a predetermined threshold among the weights added by the addition unit; further prepared,
The generating unit
generating the edited video composed of a predetermined number of scenes selected by the selection unit;
The selection unit
The generation device, wherein the predetermined number of scenes corresponding to the time of the moving image are selected from the plurality of scenes based on the weights added by the addition unit.
動画に表示される対象物が所定の条件を満たす場合に、当該対象物に対応するシーンであって、動画を構成する複数のシーンの重要度を示す重みを加算する加算部と、
前記加算部によって加算された重みに基づいて、前記複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成部と、
を備え、
前記加算部は、
前記動画に表示される対象物が所定の条件を満たす場合に、対象物と重みとが対応付けられた情報が記憶される記憶部を参照して、当該対象物に対応付けられた重みを前記重みとして加算し、
前記加算部は、
前記動画に表示される対象物が所定の条件を満たす場合に、前記記憶部に記憶される重みであって、前記編集動画の提供先に応じて変動される重みを参照して、前記重みを加算する
ことを特徴とする生成装置。
an addition unit that adds weights indicating the importance of a plurality of scenes that constitute a moving image and are scenes corresponding to the target object displayed in the moving image when the target object satisfies a predetermined condition;
a generation unit that generates an edited video composed of a predetermined number of scenes among the plurality of scenes based on the weights added by the addition unit;
with
The addition unit
When an object displayed in the moving image satisfies a predetermined condition, the weight associated with the object is obtained by referring to the storage unit that stores information in which the object and the weight are associated with each other. Add as a weight,
The addition unit
When the object displayed in the moving image satisfies a predetermined condition, the weight stored in the storage unit and changed according to the provider of the edited moving image is referenced, and the weight is calculated by referring to the weight stored in the storage unit. A generating device characterized by adding.
動画に表示される対象物が所定の条件を満たす場合に、当該対象物に対応するシーンであって、動画を構成する複数のシーンの重要度を示す重みを加算する加算部と、
前記加算部によって加算された重みに基づいて、前記複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成部と、
を備え、
前記加算部は、
前記動画に表示される対象物が所定の条件を満たす場合に、対象物と重みとが対応付けられた情報が記憶される記憶部を参照して、当該対象物に対応付けられた重みを前記重みとして加算し、
前記加算部は、
前記所定の条件として、前記動画に表示される対象物が、人、人の音声、動物、生物、移動体、食べ物、玩具である場合に、前記重みを加算する
ことを特徴とする生成装置。
an addition unit that adds weights indicating the importance of a plurality of scenes that constitute a moving image and are scenes corresponding to the target object displayed in the moving image when the target object satisfies a predetermined condition;
a generation unit that generates an edited video composed of a predetermined number of scenes among the plurality of scenes based on the weights added by the addition unit;
with
The addition unit
When an object displayed in the moving image satisfies a predetermined condition, the weight associated with the object is obtained by referring to the storage unit that stores information in which the object and the weight are associated with each other. Add as a weight,
The addition unit
The generating device adds the weight when the object displayed in the moving image is a person, a human voice, an animal, a creature, a mobile object, food, or a toy as the predetermined condition.
コンピュータが実行する生成方法であって、
動画に表示される対象物が所定の条件を満たす場合に、当該対象物に対応するシーンであって、動画のフレーム毎のシーンの重要度を示す重みを加算する加算工程と、
前記加算工程によって加算された重みに基づいて、前記動画を構成する複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成工程と、
を含み、
前記加算工程は、
前記動画に表示される対象物が所定の条件を満たす場合に、対象物と重みとが対応付けられた情報が記憶される記憶部を参照して、当該対象物に対応付けられた重みを前記重みとして加算する、
ことを特徴とする生成方法。
A computer implemented method of generation comprising:
an addition step of, when an object displayed in a moving image satisfies a predetermined condition, adding a weight indicating the importance of a scene corresponding to the object in each frame of the moving image;
a generating step of generating an edited moving image composed of a predetermined number of scenes among a plurality of scenes constituting the moving image based on the weights added in the adding step;
including
The addition step includes
When an object displayed in the moving image satisfies a predetermined condition, the weight associated with the object is obtained by referring to the storage unit that stores information in which the object and the weight are associated with each other. add as weights,
A generation method characterized by:
動画に表示される対象物が所定の条件を満たす場合に、当該対象物に対応するシーンであって、動画のフレーム毎のシーンの重要度を示す重みを加算する加算手順と、
前記加算手順によって加算された重みに基づいて、前記動画を構成する複数のシーンのうち、所定数のシーンから構成される編集動画を生成する生成手順と、
をコンピュータに実行させ
前記加算手順は、
前記動画に表示される対象物が所定の条件を満たす場合に、対象物と重みとが対応付けられた情報が記憶される記憶部を参照して、当該対象物に対応付けられた重みを前記重みとして加算する、
ことを特徴とする生成プログラム。
an adding step of adding a weight indicating the importance of a scene corresponding to each frame of a moving image when an object displayed in the moving image satisfies a predetermined condition;
a generating procedure for generating an edited moving image composed of a predetermined number of scenes among a plurality of scenes constituting the moving image based on the weights added by the adding procedure;
on the computer, and
The addition procedure includes:
When an object displayed in the moving image satisfies a predetermined condition, the weight associated with the object is obtained by referring to the storage unit that stores information in which the object and the weight are associated with each other. add as weights,
A generating program characterized by:
JP2018200375A 2018-10-24 2018-10-24 Generation device, generation method, generation program Active JP7133433B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018200375A JP7133433B2 (en) 2018-10-24 2018-10-24 Generation device, generation method, generation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018200375A JP7133433B2 (en) 2018-10-24 2018-10-24 Generation device, generation method, generation program

Publications (2)

Publication Number Publication Date
JP2020068468A JP2020068468A (en) 2020-04-30
JP7133433B2 true JP7133433B2 (en) 2022-09-08

Family

ID=70388698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018200375A Active JP7133433B2 (en) 2018-10-24 2018-10-24 Generation device, generation method, generation program

Country Status (1)

Country Link
JP (1) JP7133433B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002125199A (en) 2000-06-30 2002-04-26 Toshiba Corp Frame information description method, frame information generating device and method, video reproducing device and method, and recording medium
JP2005277531A (en) 2004-03-23 2005-10-06 Seiko Epson Corp Moving image processing apparatus
JP4449216B2 (en) 1998-12-28 2010-04-14 ソニー株式会社 Video information editing method and editing apparatus
JP2010187374A (en) 2009-01-15 2010-08-26 Victor Co Of Japan Ltd Summary video-generating apparatus and summary video generating method
JP2010258768A (en) 2009-04-24 2010-11-11 Canon Inc Image display device and control method thereof, program and storage medium
JP2015099958A (en) 2013-11-18 2015-05-28 日本電信電話株式会社 Digest video generating apparatus, digest video generating method, and digest video generating program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4449216B2 (en) 1998-12-28 2010-04-14 ソニー株式会社 Video information editing method and editing apparatus
JP2002125199A (en) 2000-06-30 2002-04-26 Toshiba Corp Frame information description method, frame information generating device and method, video reproducing device and method, and recording medium
JP2005277531A (en) 2004-03-23 2005-10-06 Seiko Epson Corp Moving image processing apparatus
JP2010187374A (en) 2009-01-15 2010-08-26 Victor Co Of Japan Ltd Summary video-generating apparatus and summary video generating method
JP2010258768A (en) 2009-04-24 2010-11-11 Canon Inc Image display device and control method thereof, program and storage medium
JP2015099958A (en) 2013-11-18 2015-05-28 日本電信電話株式会社 Digest video generating apparatus, digest video generating method, and digest video generating program

Also Published As

Publication number Publication date
JP2020068468A (en) 2020-04-30

Similar Documents

Publication Publication Date Title
JP6355800B1 (en) Learning device, generating device, learning method, generating method, learning program, and generating program
CN107924414B (en) Personal assistance to facilitate multimedia integration and story generation at a computing device
US9256826B2 (en) Predicting reactions to short-text posts
US11004036B2 (en) Content creation, deployment collaboration, and tracking exposure
CN112074857A (en) Combining machine learning and social data to generate personalized recommendations
US20120039539A1 (en) Method and system for classifying one or more images
US20190228336A1 (en) Training apparatus, training method, and non-transitory computer readable storage medium
EP3547245A1 (en) System and method for producing a customized video file
US9262044B2 (en) Methods, systems, and user interfaces for prompting social video content interaction
JP6501939B2 (en) Model generation device, information distribution device, model generation method, information distribution method, model generation program, information distribution program, estimation device and estimation method
US11222208B2 (en) Portrait image evaluation based on aesthetics
US20230334090A1 (en) Searching and ranking modifiable videos in multimedia messaging application
JP7133433B2 (en) Generation device, generation method, generation program
KR101423690B1 (en) Contents recommendation system and method based on social network
Battad et al. Using multiple storylines for presenting large information networks
US20220139251A1 (en) Motivational Extended Reality
US11743396B2 (en) Electronic album generating apparatus, electronic album generating method, and non-transitory computer-readable storage medium
JP7387970B2 (en) Calculation device, calculation method, calculation program
JP7117835B2 (en) Generation device, model, generation method and generation program
CN107015733B (en) Option information presentation system and method
JP7457545B2 (en) Evaluation device, evaluation method and evaluation program
US11669951B1 (en) System for selecting content for a personalized video reel
KR102555967B1 (en) Method for recommending a user character according to the other user's propensity based on artificial intelligence and a digital content providing server including the same
JP6979308B2 (en) Extractor, extraction method and extraction program
US20230144461A1 (en) Dynamically creating and playing a scenario replication for an activity on visual and audio devices

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191101

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20191108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220829

R150 Certificate of patent or registration of utility model

Ref document number: 7133433

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350