JP6201501B2 - Movie editing apparatus, movie editing method and program - Google Patents
Movie editing apparatus, movie editing method and program Download PDFInfo
- Publication number
- JP6201501B2 JP6201501B2 JP2013164439A JP2013164439A JP6201501B2 JP 6201501 B2 JP6201501 B2 JP 6201501B2 JP 2013164439 A JP2013164439 A JP 2013164439A JP 2013164439 A JP2013164439 A JP 2013164439A JP 6201501 B2 JP6201501 B2 JP 6201501B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving image
- decoration
- trajectory
- touch panel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、動画編集装置、動画編集方法およびプログラムに関する。 The present invention relates to a moving image editing apparatus, a moving image editing method, and a program.
近年、いわゆるスマートフォンやタブレット、ファブレットと呼ばれる端末機が爆発的に普及してきている。これらの通信機器は、ほとんどの場合タッチパネルを備える表示部を有しており、ユーザに機器の実行画面を提示するとともにユーザの操作を受け付ける操作画面ともなっている。 In recent years, so-called smartphones, tablets, and so-called fablets have become explosively popular. In most cases, these communication devices have a display unit including a touch panel, and are also an operation screen that presents an execution screen of the device to the user and accepts a user operation.
スマートフォンやタブレットの普及に伴ってこれらの演算能力も飛躍的に向上しており、演算量を要する処理も実行できるようになってきている。例えば、従来であれば専用のサーバやデスクトップＰＣ（Personal Computer）を用いなければ実行することが困難であった動画編集等の処理も、スマートフォンやタブレット等の端末機で実行することも実用段階となった。 With the widespread use of smartphones and tablets, these computing capabilities have improved dramatically, and it has become possible to execute processing that requires computation. For example, video editing and other processes that were difficult to execute without using a dedicated server or desktop PC (Personal Computer) in the past can also be executed on terminals such as smartphones and tablets. became.
動画編集をするためのアプリケーションは種々存在するが、これらは使用の際に専門的な知識が要求されることが多く、また編集作業も煩雑である。このため、スマートフォンやタブレット等を用いるユーザには敷居の高いものとなりがちである。本願の発明者は、ある動画像上に動きのある装飾的な画像を簡便に追加することができる技術を提供できれば、スマートフォンやタブレット等のユーザにとっても容易に利用できる動画編集機能を提供できることについて認識するに至った。 There are various applications for editing a moving image, but these often require specialized knowledge when used, and the editing work is complicated. For this reason, it tends to be a high threshold for a user who uses a smartphone or a tablet. If the inventor of the present application can provide a technique capable of easily adding a decorative image with movement on a certain moving image, it can provide a video editing function that can be easily used for a user such as a smartphone or a tablet. It came to recognize.
本願発明は上記課題に鑑みたもので、素材画像上に動きのある装飾画像を簡便に追加する技術を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique for easily adding a decorative image having movement on a material image.
上記課題を解決するために、本発明のある態様の動画編集装置は、処理対象として設定する素材動画像の指定をタッチパネルを介してユーザから取得する動画像取得部と、素材動画像に装飾として重畳する装飾画像を、素材動画像の映像とともにタッチパネルに表示する装飾画像表示部と、タッチパネルに表示された装飾画像の位置をユーザが変更するとき、変更前の位置から変更後の位置に至るまでタッチパネルにおける装飾画像の位置座標の変化を時系列データとして格納する軌跡記憶部と、時系列データをもとに装飾画像が移動した軌跡をタッチパネルに表示する軌跡表示部と、時系列データにしたがって素材動画像上を装飾画像が移動する映像を生成する際に用いられる、素材動画像を特定する情報、装飾画像を特定する情報、および時系列データを対応づけた出力データを生成する出力部とを備える。 In order to solve the above problems, a moving image editing apparatus according to an aspect of the present invention includes a moving image acquisition unit that acquires designation of a material moving image to be set as a processing target from a user via a touch panel, and decorations on the material moving image. When the user changes the position of the decoration image displayed on the touch panel and the decoration image display unit displaying the decoration image to be superimposed on the touch panel together with the material moving image, from the position before the change to the position after the change A trajectory storage unit that stores changes in the position coordinates of the decoration image on the touch panel as time series data, a trajectory display unit that displays on the touch panel the trajectory that the decoration image has moved based on the time series data, and material according to the time series data Information used to generate a moving image of a decorative image on a moving image, information specifying a material moving image, information specifying a decorative image, and And an output unit for generating output data that associates the time-series data.
本発明の別の態様は、動画編集方法である。この方法は、処理対象として設定する素材動画像の指定をタッチパネルを介してユーザから取得するステップと、素材動画像に装飾として重畳する装飾画像を、素材動画像の映像とともにタッチパネルに表示するステップと、タッチパネルに表示された装飾画像の位置をユーザが変更するとき、変更前の位置から変更後の位置に至るまでタッチパネルにおける装飾画像の位置座標の変化を時系列データとして格納するステップと、時系列データをもとに装飾画像が移動した軌跡をタッチパネルに表示するステップと、時系列データにしたがって素材動画像上を装飾画像が移動する映像を生成する際に用いられる、素材動画像を特定する情報、装飾画像を特定する情報、および時系列データを対応づけた出力データを生成するステップとをプロセッサが実行する。 Another aspect of the present invention is a moving image editing method. In this method, a specification of a material moving image to be set as a processing target is acquired from a user via a touch panel, and a decoration image to be superimposed as a decoration on the material moving image is displayed on the touch panel together with the material moving image. When the user changes the position of the decoration image displayed on the touch panel, the change of the position coordinates of the decoration image on the touch panel from the position before the change to the position after the change is stored as time series data; Information that identifies the material moving image that is used to display the trajectory of the decoration image on the touch panel based on the data, and to generate a video in which the decoration image moves on the material moving image according to time-series data And a step of generating output data that associates information specifying a decoration image and time-series data. Tsu service to be executed.
なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現の少なくとも一部を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体、データ構造などの間で相互に置換したものもまた、本発明の態様として有効である。また、このプログラムが通信回線で伝送されてもよい。 It should be noted that any combination of the above components, or at least a part of the components and expressions of the present invention are mutually replaced between methods, apparatuses, systems, computer programs, recording media storing computer programs, data structures, etc. These are also effective as an embodiment of the present invention. Further, this program may be transmitted through a communication line.
本発明によれば、素材画像上に動きのある装飾画像を簡便に追加する技術を提供することができる。 According to the present invention, it is possible to provide a technique for easily adding a decorative image having movement on a material image.
本発明の実施の形態の概要を述べる。実施の形態に係る動画編集装置１００は、タッチパネル１０を備え、表示機能のみならずＧＵＩ（Graphical User Interface）の技術を利用したユーザの操作画面としても機能する。実施の形態に係る動画編集装置１００は、処理対象とする動画像（以下、「素材動画像」という。）と、その素材動画像を装飾するための装飾画像の指定をユーザから取得する。続いて動画編集装置１００は、タッチパネル１０に表示した装飾画像をユーザが動かす（例えば、装飾画像の位置移動、拡大縮小、回転等）と、その動きを記録する。動画編集装置１００は、記録した装飾画像の動きに追従させて動く装飾画像を、再生中の素材動画像に重畳して表示する。
An outline of an embodiment of the present invention will be described. The moving
実施の形態に係る動画編集装置１００が処理対象とする「素材動画像」は、複数のフレームから構成される一般的な動画のみならず、何らかの動きが定義されており、視聴者に動く画像として認識されるものも含む。例えば、１枚の静止画像であっても、表示部における表示の開始位置と終了位置との座標が定義されており、開始位置から終了位置に至るまで表示位置、大きさ、回転角度等の見た目を変更しながらその画像を表示する場合、実施の形態に係る動画編集装置１００が処理対象とする素材動画像である。
The “material moving image” to be processed by the moving
図１は、実施の形態に係る動画編集装置１００を実現する各構成要素の関係を模式的に示す図である。動画編集装置１００は、ＣＰＵ（Central Processing Unit）やメモリ等のハードウェア１１０を備え、動画編集装置１００を統括的に制御するオペレーティングシステム１２０を実行する。動画編集をするためのアプリケーション１３０は、オペレーティングシステム１２０の制御の下で実行される。以下本明細書において、動画編集装置１００の例としてスマートフォンやタブレット端末を例に説明するが、動画編集装置１００はこれらに限られず、例えばタッチパネル機能のついた表示部を有する電子書籍端末、電子辞書、ワンセグテレビ、携帯ゲーム機等であってもよい。あるいは、必要に応じて撮像した画像をシールにプリントしたり、ネットワークを介してサーバに送信したりすることができる遊技用撮像装置であってもよい。
FIG. 1 is a diagram schematically illustrating the relationship among the components that realize the moving
図２は、実施の形態に係る動画編集装置１００の機能構成を模式的に示す図である。動画編集装置１００は、タッチパネル１０、出力映像生成部２０、出力部３０、送信部４０、動画像操作部２００、装飾画像操作部３００、および軌跡操作部４００を備える。本実施の形態においては、これらの各部はアプリケーション１３０のモジュールとして提供されることを前提とするが、これらの少なくとも一部がオペレーティングシステム１２０が提供する機能として実現できることは、当業者であれば容易に理解できることである。
FIG. 2 is a diagram schematically illustrating a functional configuration of the moving
図３は、実施の形態に係る動画像操作部２００の機能構成を模式的に示す図である。また図４は、実施の形態に係る装飾画像操作部３００の機能構成を模式的に示す図である。さらに、図５は、実施の形態に係る軌跡操作部４００の機能構成を模式的に示す図である。図２、図３、図４、および図５は、実施の形態に係る動画編集装置１００を実現するための機能構成を示しており、その他の構成は省略している。図２〜図５において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア１１０である、ＣＰＵ、メインメモリ、その他のＬＳＩ（Large Scale Integration）で構成することができ、ソフトウェア的には、メインメモリにロードされたオペレーティングシステム１２０を実現するプログラムやアプリケーション１３０等によって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
FIG. 3 is a diagram schematically illustrating a functional configuration of the moving
図２において、タッチパネル１０は、オペレーティングシステム１２０やアプリケーション１３０の実行画面を表示する表示部として機能する。タッチパネル１０はまた、ユーザが動画編集装置１００を操作したりするための入力インタフェースとしても機能する。
In FIG. 2, the
動画編集装置１００において、動画像操作部２００が処理対象とする素材動画像を選択してタッチパネル１０に表示するとともに、装飾画像操作部３００は素材動画像に重畳して装飾するための装飾画像をタッチパネル１０に表示する。ユーザがタッチパネル１０に表示された装飾画像をドラッグ等の操作によって移動すると、軌跡操作部４００は装飾画像の移動の軌跡を記録するとともに、タッチパネル１０に軌跡を表示する。
In the
出力部３０は、動画像操作部２００が取得した素材動画像、装飾画像操作部３００が取得した装飾画像、および軌跡操作部４００が記録した軌跡のデータを関連づけた出力データを生成する。出力映像生成部２０は、出力部３０が出力した出力データを参照して、素材動画像上を装飾画像が軌跡に沿って移動する映像を、動画像の編集者であるユーザに提示する。また送信部４０は、出力部３０が出力した出力データをインターネット等の図示しないネットワークを介して、動画編集装置１００とは異なる外部装置に送信する。出力データを受信した外部装置は例えばサーバであり、受信した出力データを参照することで、出力映像生成部２０が提示する映像と同様の映像を再現することができる。
The
以下、図２〜図５を参照して、実施の形態に係る動画編集装置１００の各部についてより詳細に説明する。
Hereafter, with reference to FIGS. 2-5, each part of the moving
動画像操作部２００は、動画編集装置１００が処理対象とする素材動画像を操作する。動画像操作部２００は、図３に示すように、動画像取得部２１０、動画像記憶部２２０、および画像選択部２３０を備える。
The moving
動画像取得部２１０は、動画編集装置１００の処理対象として設定する素材動画像の指定を、タッチパネル１０を介してユーザから取得する。より具体的に、動画像取得部２１０は、動画像記憶部２２０が記憶している１以上の動画像をタッチパネル１０に表示する。ユーザがタッチパネル１０に表示された動画像をタップして選択すると、動画像取得部２１０は選択された動画像を処理対象の素材動画として選択する。なお、画像選択部２３０と、素材動画像の指定についての詳細は後述する。
The moving
図２に示す装飾画像操作部３００は、素材動画像に重畳して装飾するための装飾画像を操作する。装飾画像操作部３００は、図４に示すように、装飾画像表示部３１０、装飾画像記憶部３２０、装飾画像変換部３３０、重畳指示記憶部３４０、および重畳期間取得部３５０を備える。
A decoration
装飾画像記憶部３２０は、動画像取得部２１０が取得した素材動画像上に装飾として重畳するための装飾画像を格納する。装飾画像表示部３１０は、装飾画像記憶部３２０から取得した装飾画像をタッチパネル１０に表示する。このとき、装飾画像の表示位置は、タッチパネル１０を介してユーザが指定した位置座標をもとに決定される。ユーザがタッチパネル１０に表示された装飾画像をドラッグ等の操作によって移動すると、装飾画像表示部３１０は、ユーザの操作に追従して装飾画像の表示を移動させる。ここでタッチパネル１０には、動画像取得部２１０が取得した素材動画像も表示されている。このため、結果としてタッチパネル１０には素材動画像と装飾画像とが同時に表示される。
The decoration
図２に示す軌跡操作部４００は、素材動画像に重畳する装飾画像の移動を指定する。軌跡操作部４００は、図５に示すように、軌跡表示部４１０、軌跡記憶部４２０、軌跡修正部４３０、および軌跡決定部４４０を備える。
The
軌跡記憶部４２０は、タッチパネル１０に表示された装飾画像が移動するようになっている場合、移動が開始する位置（以下、「開始位置座標」という。）から移動が停止する位置（以下、「終了位置座標」という。）に至るまで、タッチパネル１０における装飾画像の位置座標の変化を時系列データとして格納する。軌跡表示部４１０は、所定のサンプリングレートでタッチパネル１０における装飾画像の位置座標を取得する。ここで「所定のサンプリングレート」とは、タッチパネル１０における装飾画像の位置座標の変化を記録するために定められた周波数であり、タッチパネル１０の画面の広さや、ユーザの指の移動として想定される速度、動画編集装置１００の記憶容量等を勘案して実験により定めればよいが、例えば１０回／秒である。
When the decoration image displayed on the
軌跡記憶部４２０は、軌跡表示部４１０が順次取得する装飾画像の位置座標を、取得した順番で記憶する。軌跡表示部４１０はまた、時系列データをもとに、装飾画像が移動した軌跡をタッチパネル１０に表示する。ここでタッチパネル１０に表示する軌跡とは、例えば軌跡記憶部４２０が記憶する位置座標の時系列データを順番につないだ線である。タッチパネル１０に表示する軌跡の表示態様についての具体例は後述する。
The
図２に示す出力部３０は、少なくとも素材動画像を特定する情報、装飾画像を特定する情報、および時系列データの３つの情報を対応づけた出力データを生成する。ここで、「素材動画像を特定する情報」および「装飾画像を特定する情報」とは、それぞれ素材動画像および装飾画像を一意に特定可能な情報であればどのようなものでもよく、例えばファイル名やＩＤ（IDentification）である。出力データは、時系列データにしたがって素材動画像上を装飾画像が移動する映像を生成する際に、出力映像生成部２０が用いるデータである。出力映像生成部２０は、出力部３０が生成した出力データをもとに、時系列データにしたがって素材動画像上を装飾画像が移動する映像を生成し、タッチパネル１０に表示する。出力部３０が生成する出力データは、素材動画像を特定する情報や、装飾画像を特定する情報、および時系列データを必ずしもひとつのファイルとして作成しなくてもよく、これらが互いに紐づけられたデータであればよい。
The
ここで出力映像生成部２０がタッチパネル１０に表示する映像は、動画像の編集者であるユーザから見て、素材動画像上を装飾画像が移動するように見えればよく、必ずしもひとつの動画ファイルとなっていなくてもよい。すなわち、出力映像生成部２０は、出力データ中の素材動画像を特定する情報を用いて素材動画を取得してタッチパネル１０に再生する。出力映像生成部２０は、出力データ中の装飾画像を特定する情報を用いて装飾画像を取得し、時系列データにしたがって再生中の素材動画上に装飾画像を移動させる。ひとつの動画ファイルを生成する場合と比較して、各フレームを生成する必要がなく、データ容量を低減しうる点で有利である。また、動画ファイル生成の際の画像圧縮に伴う映像の劣化も抑制できる。
Here, the video displayed on the
上述したように、動画編集装置１００のユーザがタッチパネル１０に表示された装飾画像を移動すると、その軌跡もタッチパネル１０上に表示される。これにより、ユーザは処理対象とする素材動画像上に重畳させる装飾画像の動きを直感的かつ簡便に指示することが可能となる。
As described above, when the user of the moving
タッチパネル１０に表示される装飾画像の軌跡は、いわば動画編集装置１００に対して装飾画像の移動を指示する命令である。軌跡表示部４１０は、タッチパネル１０に装飾画像の軌跡が表示されているときに、ユーザがタッチパネル１０が表示する装飾画像に触れた場合、軌跡の表示を消去する。これにより、ユーザは素材動画像上に重畳させる装飾画像の移動の指示を簡便な動作でクリアすることが可能となる。なお、装飾画像の軌跡は装飾画像の移動を指示する命令であるため、出力映像生成部２０が生成する映像中には原則として表示されない。しかしながら、編集者であるユーザが、素材動画像の装飾の一部として表示することを明示した場合、出力映像生成部２０は装飾画像の軌跡も表示する。このため、出力部３０が生成する出力データ中に、装飾画像の軌跡を表示するか否かの指示を格納してもよい。
The trace of the decoration image displayed on the
ユーザがタッチパネル１０が表示する装飾画像に触れた場合、軌跡表示部４１０は軌跡の表示を消去するが、この段階では、軌跡記憶部４２０は、その軌跡に対応する時系列データまでは消去しない。このため、軌跡表示部４１０は、タッチパネル１０による軌跡の表示を消去した後に、ユーザがタッチパネル１０に表示された装飾画像に触れた場合、軌跡記憶部４２０が格納している時系列データをもとに、消去した軌跡を再度表示させる。これにより、例えばユーザが誤操作によって軌跡の表示を消してしまった場合でも、一度消去した軌跡の表示を簡便に復活することができる。
When the user touches the decoration image displayed on the
図５に示すように、軌跡操作部４００は軌跡決定部４４０を備える。軌跡決定部４４０は、素材動画像上に合成させる装飾画像の移動に対するユーザの決定を取得する。具体例は後述するが、タッチパネル１０には、ユーザによる決定を指示するための「保存」ボタンがＧＵＩを用いて作成され、表示されている。軌跡表示部４１０は、ユーザが保存ボタンをタップするまで、すなわち軌跡決定部４４０がユーザの決定を取得するまでは、タッチパネル１０による軌跡の表示を消去した後に装飾画像の位置をユーザが移動させた場合、最新の軌跡をタッチパネル１０に表示する。出力部３０は、軌跡決定部４４０がユーザの決定を取得したときにタッチパネル１０に表示されている軌跡に対応する、最新の時系列データを用いて出力データを生成する。このように、ユーザは最終的に装飾画像の移動を決定するまでに、簡便に何度でも軌跡の設定をやり直すことができる。
As shown in FIG. 5, the
出力映像生成部２０は、ユーザが装飾画像の移動の軌跡を設定する際に、タッチパネル１０上で装飾画像を移動させる速さによって、素材動画像上に重畳して表示する前記装飾画像の移動速度を変更する。より具体的には、ユーザが装飾画像の移動の軌跡を設定する際に、タッチパネル１０上で装飾画像を早く移動させた場合は、遅く移動させた場合と比較して、素材動画像上に重畳して表示する前記装飾画像の移動速度を早くする。
The output
これを実現するために、出力映像生成部２０は、時系列データにおける装飾画像の位置座標の変化率に応じて、素材動画像上に重畳して表示する装飾画像の移動速度を変更する。上述したように、軌跡表示部４１０は、所定のサンプリングレートでタッチパネル１０における装飾画像の位置座標を記録している。したがって、ユーザがタッチパネル１０上で装飾画像を早く移動させた場合は、遅く移動させた場合と比較して、時系列データで隣り合う位置座標間の距離が長くなる。すなわち、時系列データで隣り合う位置座標間の距離は位置座標の変化率を表し、ユーザが装飾画像の移動の軌跡を設定する際の装飾画像の移動速度を反映するデータとなる。
In order to realize this, the output
図４に示すように、装飾画像操作部３００は重畳期間取得部３５０を備える。重畳期間取得部３５０は、動画像取得部２１０が取得した素材動画像中に、装飾画像の重畳を開始するタイミングおよび終了するタイミングの指定をユーザから取得する。出力映像生成部２０は、時系列データにおける装飾画像の位置座標の変化率と、重畳期間取得部３５０が取得した開始および終了のタイミングとをもとに、素材動画像上に重畳させる装飾画像の移動速度を設定する。重畳期間取得部３５０が取得した開始および終了のタイミングは、重畳指示記憶部３４０が記憶する。
As illustrated in FIG. 4, the decorative
例えば、動画像取得部２１０が取得した素材動画像の再生時間が１０秒である場合を考える。このとき、重畳期間取得部３５０が取得した開始のタイミングが、素材動画像の再生から２秒後の時点であり、終了のタイミングが再生から８秒後の時点であるとする。この場合、素材動画像中に装飾画像が重畳される期間は全部で６秒となる。出力映像生成部２０は、重畳開始のタイミングである素材動画像の再生から２秒後に、時系列データの最初の位置座標（上述した「開始位置座標」）に装飾画像を表示させ、重畳終了のタイミングである素材動画像の再生から８秒後に時系列データの最後の位置座標（上述した「終了位置座標」）に装飾画像が到達するように、時系列データの各位置座標をつないだ軌跡に沿って装飾画像を移動させる。出力映像生成部２０は、移動中の装飾画像の速度は、そのときの位置座標の変化率に応じて設定する。
For example, consider a case where the playback time of a material moving image acquired by the moving
したがって、装飾画像の移動経路が同じ場合では、重畳期間取得部３５０が取得した開始のタイミングから終了のタイミングまでの重畳期間が長くなるほど装飾画像の移動速度は遅くなり、短くなるほど装飾画像の移動速度は速くなる。一方で、重畳期間における移動中の装飾画像の速度の配分の仕方は時系列データによって定まるため、重畳期間の長短によらず同じである。これにより、ユーザは素材動画像上に装飾画像を重畳させる期間を簡便に設定できる。ユーザはまた、素材動画像上に重畳させる装飾画像の速度を簡便に設定することもできる。
Therefore, when the movement path of the decoration image is the same, the movement speed of the decoration image becomes slower as the superposition period from the start timing acquired by the superimposition
上述したとおり、タッチパネル１０に表示される装飾画像の軌跡は、装飾画像の移動を指示する命令である。したがって、ユーザが装飾画像を移動した後に、その軌跡自体を修正することで装飾画像の移動を修正できれば便利である。
As described above, the decoration image trajectory displayed on the
そこで装飾画像操作部３００は軌跡修正部４３０を備える。軌跡修正部４３０は、軌跡表示部４１０がタッチパネル１０に装飾画像の軌跡を表示しているときに、当該軌跡の修正をユーザから受け付ける。例えばユーザはタッチパネル１０に表示されている軌跡の位置を変えたり、軌跡の一部を伸ばしたりすることにより、軌跡を修正することができる。この軌跡の修正に基づいて、軌跡記憶部に記憶された時系列データが書き換えられる。なお、ユーザによる装飾画像の軌跡の修正についての詳細は、軌跡の表示態様とともに後述する。
Therefore, the decoration
出力部３０は、軌跡修正部４３０が軌跡の修正を受け付けた場合、修正後の軌跡の時系列データを用いて出力データを生成する。これにより、ユーザは装飾画像の移動ではなくその軌跡を直接修正することで、素材動画像に重畳する装飾画像の動きを簡便に調整することができる。
When the
以上、タッチパネル１０に表示された装飾画像をユーザが移動させることで、素材動画像に重畳する装飾画像の移動を指定する場合について説明した。ここで装飾画像の移動のみならず、装飾画像自体の大きさや回転角等も変更できれば、装飾の幅が広がり便利である。
The case where the user moves the decoration image displayed on the
そこで装飾画像操作部３００は装飾画像変換部３３０を備える。装飾画像変換部３３０は、タッチパネル１０に表示された装飾画像の大きさまたは回転角の少なくとも一方の変更をユーザから取得する。具体的には、ユーザが装飾画像を移動中にタッチパネル１０をピンチイン操作することを契機として装飾画像を縮小したり、ピンチアウト操作を契機として装飾画像を拡大して表示したりする。なお、「ピンチイン操作」とは、タッチパネル１０に２本の指を乗せたまま、その指の間隔を狭める動作のことを意味し、「ピンチアウト操作」とは、タッチパネル１０に２本の指を乗せたまま、その指の間隔を広げる動作のことを示す。
Therefore, the decorative
ユーザはまた、例えば二本の指で装飾画像をタッチしたまま、一方の指を固定したまま他方の指を動かすことで、装飾画像を回転することもできる。この場合、装飾画像変換部３３０は、装飾画像は固定された指を回転中心として、他方の指の動きに追従して装飾画像を回転する。装飾画像表示部３１０は、装飾画像変換部３３０が拡縮や回転した画像を取得して、その画像を軌跡に沿って表示する。
The user can also rotate the decoration image, for example, by touching the decoration image with two fingers and moving the other finger while fixing one finger. In this case, the decoration
重畳指示記憶部３４０は、装飾画像の移動前の位置（開始位置座標）から移動後の位置（終了位置座標）に至るまでの間に、装飾画像変換部３３０が取得した変更の遷移も記憶する。出力部３０は、重畳指示記憶部３４０が記憶する変更の遷移も、出力データに加えて出力データを生成する。これにより、ユーザは装飾画像の移動時における当該装飾画像の大きさや回転を簡便に設定することができる。
The superimposition
上述したとおり、重畳指示記憶部３４０は、重畳期間取得部３５０が取得した開始および終了のタイミングを記憶している。重畳指示記憶部３４０は、重畳期間取得部３５０が取得した開始のタイミングから終了のタイミングの間における装飾画像の大きさおよび回転角度を記憶する。ここで、装飾画像の大きさは、装飾画像記憶部３２０に記憶されている元画像の大きさに対する拡縮率で表すことができる。また、装飾画像の回転角度は０〜２πまでのラジアンで表すことができる。重畳指示記憶部３４０は、開始のタイミングから終了のタイミングまでの長さを１としたときの相対的なタイミングにおける装飾画像の拡縮率および回転角度を記憶する。例えば、ユーザが重畳期間のちょうど中間のタイミングで装飾画像の大きさを１．５倍にし、１８０度回転した場合、重畳指示記憶部３４０は、相対的なタイミングが０．５と、拡縮率１．５および回転角πとを紐づけて格納する。これにより、出力映像生成部２０は、装飾画像の大きさおよび回転角の時間変位を知ることができる。
As described above, the superimposition
以上、実施の形態に係る動画編集装置１００の各部について個別に説明した。次に、動画編集装置１００を用いた動画編集の一連の流れを図６〜図１６を参照して例示する。
Heretofore, each unit of the moving
図６は、素材動画像の指定画面の一例であり、処理対象の素材動画のテーマを選択する画面を例示する図である。図６に示す例では、符号５０で示すように「おしゃれ」や「ホラー」等、処理対象とする素材動画像のテーマがタッチパネル１０上に表示されている。ユーザがタッチパネル１０に表示された複数のテーマの中から所望のテーマをタップすることを契機として、動画像取得部２１０はそのテーマを選択する。ユーザはまた、作成中の動画が存在する場合には、作成中アイコン５２をタップすることで、動画編集を再開することができる。また、お気に入りテンプレアイコン５４をタップすることで、自身で予め選択してストックしておいたお気に入りのテーマ等を集めたテンプレートを開くこともできる。さらに、閉じるアイコン５６をタップすることで、ユーザは動画編集処理を終了することができ、作成履歴アイコン５８をタップすることで過去に作成した編集動画を閲覧することもできる。
FIG. 6 is an example of a material moving image designation screen, and illustrates a screen for selecting a theme of a material moving image to be processed. In the example shown in FIG. 6, as shown by
図６においてユーザがいずれかのテーマを選択すると、タッチパネル１０が表示する画面は図７に示す画面に遷移する。図７は、素材動画像の指定画面の一例であり、選択されたテーマに属する素材画像のデザインを選択する画面を例示する図である。図７に示すデザインは動画像記憶部２２０に格納されており、動画像取得部２１０は動画像記憶部２２０からデザインを読み出してタッチパネル１０に表示する。
When the user selects any theme in FIG. 6, the screen displayed on the
素材画像のデザインは、それぞれ固有の動きが定義されている。例えば図７において符号６０で示すデザイン６０は「ｃｈｕ」という名前がつけられており、額縁を表現するフレーム６２とキスマーク６４とが含まれる。デザイン６０は所定の再生時間（例えば１０秒間）が定義されており、デザイン６０を再生するとはじめの８秒間はフレーム６２のみが表示され、再生から所定の時間（例えば８秒）経過するとキスマーク６４が表示される。ユーザが任意の静止画像と、デザイン６０との組み合わせを選択すると、動画像取得部２１０は、フレーム６２に縁取られた当該静止画にキスマーク６４が追加される動画像を作成する。
Each material image design has its own unique movement. For example, the
なお、デザインに定義される動きはフレーム６２やキスマーク６４の表示のみならず、例えば指定した静止画がスライドインしたり、スライドアウトしたりする等、種々の動きを定義することが可能となる。また、ひとつデザインと組み合わせる静止画像はひとつと限らず、複数であってもよい。
Note that the movement defined in the design is not limited to the display of the
図７においてユーザがいずれかのデザインを選択すると、タッチパネル１０が表示する画面は図８に示す画面に遷移する。また、ユーザは戻るアイコン６６をタップすることで、図６に示すテーマ選択画面に戻ることもできる。
When the user selects any design in FIG. 7, the screen displayed on the
図８は、素材動画像の指定画面の一例であり、選択されたデザインと組み合わせる静止画像を選択する画面を例示する図である。図８は、図７に示すデザイン６０を選択した場合の例を示す図である。ユーザは「画像を選ぶ」アイコン６８をタップすることで、動画像記憶部２２０や、動画編集装置１００中の図示しない静止画記憶部に格納されている静止画を選択することができる。ユーザはプレビューアイコン７４をタップすることで、選択したデザイン６０に対応するサンプル動画像を再生することができる。サンプル動画像は、図７で選択したデザインに応じて決定される。ユーザは選択した静止画を確定する場合は、ＯＫアイコン７２をタップする。また選択した静止画をキャンセルする場合には、キャンセルアイコン７０をタップすればよい。図８において、ユーザがＯＫアイコン７２をタップして静止画像を決定すると、タッチパネル１０が表示する画面は図９に示す画面に遷移する。なお、実施の形態に係る動画編集装置１００において、デザインと静止画像とを組み合わせて生成される動画像が、上述した素材動画像となる。
FIG. 8 is an example of a material moving image designation screen, and illustrates a screen for selecting a still image to be combined with a selected design. FIG. 8 is a diagram illustrating an example when the
なお、図８に示す例は、静止画像を１枚選択する場合の例を示す図である。しかしながら、図７においてユーザが選択するデザインによっては、ユーザは複数枚の静止画像を選択する場合もある。この場合、ユーザは左アイコン６９または右アイコン７１をタップすることで、選択した複数前の静止画像をどの順番で表示するか、あるいは素材動画像のどの位置にそれらの静止画像を配置させるのかを決定することもできる。
The example illustrated in FIG. 8 is a diagram illustrating an example in the case of selecting one still image. However, depending on the design selected by the user in FIG. 7, the user may select a plurality of still images. In this case, the user taps the left icon 69 or the
図９は、装飾画像の設定画面の一例であり、装飾画像を重畳するための素材動画像を拡大して表示する画面を例示する図である。図９に示す例は、図８に示す例とは異なるデザインおよび静止画の組み合わせを示している。具体的には、図９に示す例では、ほぼ画像全体を覆う大きな口を表現するデザイン７６と、女性を正面から写した静止画像７８とが組み合わされている。図９において、複数のサムネイルが表示されている領域８０は、デザイン７６と静止画像７８とを組み合わせて生成される素材動画像の時間経過を示している。図９に示す例では、領域８０は、素材動画像の再生開始の時点においてはデザイン７６の唇が開いているため静止画像７８が表示されるが、時間の経過とともに唇が閉じ、静止画像７８が唇によって遮蔽される様子を示している。
FIG. 9 is an example of a decoration image setting screen, and is a diagram illustrating a screen for enlarging and displaying a material moving image for superimposing a decoration image. The example shown in FIG. 9 shows a combination of a design and a still image different from the example shown in FIG. Specifically, in the example shown in FIG. 9, a
図９において、ユーザが符号８２で示すアイコン８２をタップすると、タッチパネル１０が表示する画面は図１０に示す画面に遷移する。
In FIG. 9, when the user taps the
図１０は、装飾画像の設定画面の一例であり、素材動画像に重畳する装飾画像を選択する画面を例示する図である。図１０に示すように、ユーザがアイコン８２をタップすると、装飾画像表示部３１０は、装飾画像記憶部３２０が格納する装飾画像を、領域８４に一覧表示する。図１０は装飾画像として絵柄を用いる場合の例を示すが、装飾画像は一般的な画像に限られず、活字やペンを用いた手書き文字、写真、ユーザに入力させた文字列等別の種類のデータであってもよい。装飾画像の種類を変更は、符号８６で示す装飾画像の種類選択アイコン６８をタップすることを契機として、装飾画像表示部３１０がタッチパネル１０に表示する装飾画像の種類を変更することで実現できる。
FIG. 10 is an example of a decoration image setting screen and illustrates a screen for selecting a decoration image to be superimposed on the material moving image. As illustrated in FIG. 10, when the user taps the
図１０において、ユーザが領域８４中のいずれかの装飾画像をタップすると、タッチパネル１０が表示する画面は図１１に示す画面に遷移する。
In FIG. 10, when the user taps any decoration image in the
図１１は、装飾画像の設定画面の一例であり、装飾画像の移動を設定する初期画面を例示する図である。図１１に示すように、タッチパネル１０が表示する素材動画像上に、装飾画像８６が重畳して表示されている。図１１では、素材動画像に対して比較的大きな装飾画像８６が、タッチパネル１０の中央に表示されている。ユーザは装飾画像８６を移動したり、大きさや角度を変更したりすることにより、素材動画像の移動の開始位置や、その大きさ等を変更することができる。これは上述した装飾画像変換部３３０等が実現する。
FIG. 11 is an example of a decoration image setting screen and illustrates an initial screen for setting the movement of the decoration image. As shown in FIG. 11, a
図１１において、ユーザが装飾画像８６の移動等の設定中に、装飾画像８６の設定を中止すること、すなわち、選択した装飾画像８６およびそれに指定した移動をキャンセルすることを望む場合、キャンセルを意味するＣａｎｃｅｌアイコン９６をタップする。ユーザがＣａｎｃｅｌアイコン９６をタップすると、画面は図９に示す画面に遷移し、ユーザはあらためて装飾画像を選びなおすことができる。また、ユーザが装飾画像８６の移動等の設定を終え、さらに別の装飾画像を追加することを望む場合、ユーザは追加アイコン９８をタップする。ユーザが追加アイコン９８をタップすると、画面は図９に示す画面に遷移し、ユーザは追加する装飾画像を新規に選択することができる。
In FIG. 11, when the user desires to cancel the setting of the
図１２は、図１１に示す画面から装飾画像８６の位置、大きさ、および回転角度を変更した後の画面を示す図である。装飾画像変換部３３０が、ユーザの指示によって装飾画像８６を縮小した後に、縮小後の装飾画像８６を図１２に示す位置まで移動すると、軌跡表示部４１０は、装飾画像８６の移動に追随して軌跡を表示する。図１２は、軌跡表示部４１０が軌跡を表示した後に、ユーザがタッチパネル１０が表示する装飾画像に触れたため、軌跡表示部４１０が軌跡の表示を消去した場合の画面を示している。装飾画像８６をタッチしたまま移動させると、後述する図１３に示すように当該装飾画像８６に動きを設定することができる。図１２に示す例では、軌跡が消えた状態（動きが設定されていない状態）の装飾画像８６を移動させることにより、装飾画像８６に動きを設定するようにしているが、軌跡がある状態（動きが設定されている状態）の装飾画像８６を移動させた場合、予め設定されている動きに代えて動きを新たに設定することも可能である。
FIG. 12 is a diagram illustrating the screen after the position, size, and rotation angle of the
図１３は、素材動画像上に装飾画像８６および装飾画像８６の移動の軌跡８８を重畳して表示した画面一例を示す図である。図１３は、軌跡表示部４１０がユーザの指示による移動後の装飾画像８６とともに、移動の軌跡８８をタッチパネル１０に曲線として表示した場合の例を示している。軌跡表示部４１０は、ユーザの操作に追従して装飾画像８６を動かすとともに、軌跡に対応する時系列データを軌跡記憶部４２０に格納する。
FIG. 13 is a diagram illustrating an example of a screen in which a
図１３は、装飾画像８６の移動の軌跡８８を単純な曲線で示す場合の例を示している。ここで、軌跡表示部４１０は、軌跡８８に対応する時系列データの位置座標の変化率が異なる場合、タッチパネル１０に表示する軌跡の表示態様を変更して表示してもよい。
FIG. 13 shows an example in which the
図１４（ａ）および（ｂ）は、装飾画像の移動の軌跡の別の表示態様を示す図である。なお、図１４（ａ）および（ｂ）は、簡便のため、素材動画像および装飾画像の図示は省略している。 FIGS. 14A and 14B are diagrams showing another display mode of the locus of movement of the decoration image. In FIGS. 14A and 14B, illustration of the material moving image and the decoration image is omitted for the sake of simplicity.
図１４（ａ）は、時系列データの位置座標の変化率に応じて、軌跡表示部４１０が軌跡を表示する線の種類を変更する場合の例を示す図である。図１４（ａ）に示す例では、時系列データの位置座標の変化率が小さい場合、軌跡表示部４１０は、その領域に対応する部分の軌跡を白抜きの線で表示する。時系列データの位置座標の変化率が所定の第１閾値を超えると、軌跡表示部４１０はその領域に対応する部分の軌跡に斜線を付加した線として表示する。時系列データの位置座標の変化率が第１閾値よりも大きい第２閾値を超えると、軌跡表示部４１０は、その領域に対応する部分の軌跡に網点を付加した線として表示する。
FIG. 14A is a diagram illustrating an example in which the
図示はしないが、軌跡表示部４１０は、時系列データの位置座標の変化率に応じて軌跡を表示する線に着色する色を変更してもよい。例えば軌跡表示部４１０は、時系列データの位置座標の変化率が小さい場合、軌跡表示部４１０は青色の軌跡を表示するが、時系列データの位置座標の変化率が大きくなるにしたがって、軌跡の色を黄色から赤にグラデーションを持たせて変更してもよい。図示はしないが、軌跡表示部４１０は、時系列データの位置座標の変化率とそのときの軌跡の色を示すカラーバーをタッチパネル１０に表示してもよい。あるいはまた、軌跡表示部４１０は、時系列データの位置座標の変化率に応じて軌跡を表示する線の太さを変更してもよい。例えば軌跡表示部４１０は、時系列データの位置座標の変化率が小さい場合、大きい場合と比較して、軌跡を表す線を細く表示してもよい。
Although not shown, the
図１４（ｂ）は、軌跡をドットを用いて表示する場合の例を示す図である。図１４（ｂ）に示す例は、隣り合うドット間の間隔が短い場合は、隣り合うドット間の間隔が長い場合と比較して、時系列データの位置座標の変化率が小さいことを示している。 FIG. 14B is a diagram illustrating an example of displaying a locus using dots. The example shown in FIG. 14B shows that when the interval between adjacent dots is short, the rate of change in the position coordinates of the time-series data is smaller than when the interval between adjacent dots is long. Yes.
図１４（ｂ）に示す例において、ユーザがタッチパネル１０に表示された軌跡を示すドットの位置を変更すると、軌跡修正部４３０は、変更後のドットを用いて時系列データを生成する。これにより、出力映像生成部２０は、変更後のドットの並びに沿って装飾画像が移動するように映像を生成する。また、ユーザがドットの位置を変更することで隣り合うドット間の距離が変更すると、出力映像生成部２０は、変更後のドットの距離に応じて装飾画像が移動速度を変更する。このように、軌跡表示部４１０が時系列データの位置座標の変化率に応じて軌跡の表示態様を変更することで、動画像の編集者であるユーザは、軌跡に沿って装飾画像が移動するときの装飾画像の速さの変化を一見して把握することが可能となる。なお、装飾画像の大きさ、回転角度等に関しても、速さの場合と同様に、軌跡の表示態様を変更するようにすることもできる。これにより、上記した速さの場合と同様の効果が得られる。
In the example shown in FIG. 14B, when the user changes the position of the dot indicating the trajectory displayed on the
動画像の編集者であるユーザが軌跡を修正すると、場合によっては修正後の軌跡の長さが長くなったり短くなったりすることもあり得る。しかしながら、上述したように、重畳指示記憶部３４０は、開始のタイミングから終了のタイミングまでの長さを１としたときの相対的なタイミングにおける装飾画像の拡縮率および回転角度を記憶している。したがって、出力映像生成部２０は、軌跡の実際の長さに関わらず、装飾画像の表示の開始から終了までの間における装飾画像の大きさおよび回転角の時間変位を知ることができる。このため、出力映像生成部２０は、装飾画像の表示途中における装飾画像の大きさおよび回転角の時間変位を必要に応じて補間処理で補って表示すればよい。補間処理は、既知の線形補間やスプライン補間を用いて実現できる。
When a user who is an editor of a moving image corrects a trajectory, the length of the corrected trajectory may become longer or shorter depending on circumstances. However, as described above, the superimposition
図１５は、装飾画像の重畳を開始するタイミングおよび終了するタイミングを指定するためのインタフェースの一例を示す図である。図１５に示すように、重畳期間取得部３５０は、素材動画像の時間経過を示す領域８０の近辺に、装飾画像８６の重畳を開始するタイミングを示す開始アイコン９０ａと、装飾画像８６の重畳を終了するタイミングを示す終了アイコン９０ｂとを表示する。ここで重畳期間取得部３５０は、開始アイコン９０ａおよび終了アイコン９０ｂ中に、それぞれ素材動画像の再生開始からの経過時間を秒を単位とする数字を用いて表示してもよい。例えば図１５に示す例では、装飾画像８６の重畳を開始するタイミングが素材動画像の再生開始から１．１６秒経過後であり、装飾画像８６の重畳を終了するタイミングが素材動画像の再生開始から８．７２秒経過後であることを示している。図１５において、ユーザが追加アイコン９８をタップすることを契機として、軌跡決定部４４０は、素材動画像上に合成させる装飾画像８６の移動に対するユーザの決定を取得し、新たな装飾画像の選択画面に遷移する。また、ユーザが保存アイコン９２をタップすることを契機として、軌跡決定部４４０は、素材動画像上に合成させる装飾画像８６の移動に対するユーザの決定を取得するとともに、編集した動画像をネットワークを介してサーバにアップロードする。なお、ユーザが開始アイコン９０ａまたは終了アイコン９０ｂを動かすと、各アイコンに表示されている時間に対応して、出力映像生成部２０は装飾画像８６、デザイン７６、静止画像７８等を動かした映像を提示してもよい。
FIG. 15 is a diagram illustrating an example of an interface for designating the timing for starting and ending the decoration image superimposition. As shown in FIG. 15, the superimposition
ここで、重畳期間取得部３５０が装飾画像の重畳を開始するタイミングを取得する方法はこれに限られない。別の方法として、画像選択部２３０は、素材動画像の開始から終了までの間に表示される画像のうち、いずれかの画像の選択をユーザから取得する。出力映像生成部２０は、素材動画像のうち、画像選択部２３０が取得した画像が表示される時点から、素材動画像における装飾画像の移動が開始される映像を生成してもよい。図１１を例にすると、表示されている素材画像がタイミング（領域８０における黒色の縦棒で示されるタイミング）が、装飾画像の重畳が開始されるタイミングとなる。ユーザは実際の素材動画の画像を見ながら装飾画像の重畳を開始するタイミングを設定できるため、より直感的な操作が可能となる。
Here, the method for acquiring the timing at which the superimposition
図１６は、実施の形態に係る動画編集装置１００で編集した動画像をネットワークを介して動画編集装置１００とは異なる別の装置に投稿するための画面を示す図である。動画編集装置１００とは異なる別の装置の一例としては、ＳＮＳ（Social Networking Service）を提供するＳＮＳサーバである。ユーザは、図１６に示す投稿アイコン９４をタップすることで、編集した動画像を、ＳＮＳを利用する他の視聴者との間で共有することができる。
FIG. 16 is a diagram illustrating a screen for posting a moving image edited by the moving
図１７は、実施の形態に係る動画編集装置１００が実行する動画編集処理の流れを説明するフローチャートである。本フローチャートにおける処理は、例えば動画編集処理を実現するアプリケーション１３０が起動したときに開始する。
FIG. 17 is a flowchart for explaining the flow of the moving image editing process executed by the moving
動画像取得部２１０は、処理対象として設定する素材動画像の指定をタッチパネル１０を介してユーザから取得する（Ｓ２）。装飾画像表示部３１０は、タッチパネル１０に一覧表示した複数の装飾画像に対するユーザの選択を取得する（Ｓ４）。続いて装飾画像表示部３１０は、選択された装飾画像を素材動画像に重畳して表示する（Ｓ６）。
The moving
装飾画像操作部３００および軌跡操作部４００は、素材動画像に重畳する装飾画像に対するユーザの操作をタッチパネル１０を介して取得する（Ｓ８）。ユーザがステップＳ４において選択した装飾画像に対する操作を終了しない間は（Ｓ１０のＮ）、装飾画像操作部３００および軌跡操作部４００は、装飾画像に対するユーザの操作の取得を継続する。ユーザがステップＳ４において選択した装飾画像に対する操作を終了した後（Ｓ１０のＹ）、素材動画像に重畳する装飾画像をさらに選択する場合（Ｓ１２のＹ）、ステップＳ４に戻ってステップＳ４からステップＳ１０までの処理を継続する。
The decorative
ユーザが素材動画像に重畳する装飾画像の選択を終了すると（Ｓ１２のＮ）、出力部３０は、すくなくとも素材動画像を特定する情報、装飾画像を特定する情報、および各装飾画像の位置座標の変化を示す時系列データを対応づけた出力データを生成する（Ｓ１４）。出力部３０が出力データを生成すると、本フローチャートにおける処理は終了する。出力部３０が生成した出力データは、素材動画像上を装飾画像が移動する映像を生成するために出力映像生成部２０に利用されたり、上述したＳＮＳサーバに送信されて他のユーザとの間で編集後の動画を共有するために使用されたりする。
When the user finishes selecting a decoration image to be superimposed on the material moving image (N in S12), the
図１８は、実施の形態に係る装飾画像操作部３００および軌跡操作部４００が実行する処理の流れを説明するフローチャートの前半部であり、図１７におけるステップＳ８の処理を詳細に説明する図である。
FIG. 18 is a first half of a flowchart illustrating the flow of processing executed by the decorative
ユーザが装飾画像の重畳を開始するタイミングおよび終了するタイミング、すなわち素材動画像中に装飾画像を重畳させる重畳期間を変更する場合（Ｓ２０のＹ）、重畳期間取得部３５０は、装飾画像の重畳を開始するタイミングおよび終了するタイミングの指定をタッチパネル１０を介して取得し、重畳指示記憶部３４０が格納する重畳期間を変更する（Ｓ２４）。重畳期間取得部３５０が重畳期間を変更するか、あるいはユーザが重畳期間を変更しない場合（Ｓ２０のＮ）、軌跡表示部４１０はタッチパネル１０が表示する装飾画像の移動を検出する（Ｓ２６）。軌跡表示部４１０は、装飾画像の変更前の位置から変更後の位置に至るまでタッチパネルにおける記装飾画像の位置座標の変化を時系列データとして軌跡記憶部４２０に格納する（Ｓ２８）。軌跡表示部４１０はさらに、軌跡記憶部４２０に格納した時系列データをもとに、装飾画像が移動した軌跡をタッチパネル１０に表示する（Ｓ３０）。
When the user starts and ends the superimposition of the decoration image, that is, when the superimposition period for superimposing the decoration image on the material moving image is changed (Y in S20), the superimposition
軌跡表示部４１０がタッチパネル１０に装飾画像の軌跡を表示しているときに、当該軌跡をユーザが修正した場合（Ｓ３２のＹ）、ステップＳ２６に戻って、軌跡修正部４３０が軌跡表示部４１０に代わってステップＳ２６からステップＳ３０までの処理を実行する。ユーザが軌跡を修正しない場合（Ｓ３２のＮ）、図１９に示すフローチャートに示す処理に移行する。
When the
図１９は、実施の形態に係る装飾画像操作部３００および軌跡操作部４００が実行する処理の流れを説明するフローチャートの後半部であり、図１７におけるステップＳ８の処理を詳細に説明する図である。
FIG. 19 is a second half of a flowchart illustrating the flow of processing executed by the decorative
軌跡表示部４１０がタッチパネル１０に装飾画像の軌跡を表示しているときに、ユーザがタッチパネル１０が表示する装飾画像に触れた場合、すなわちユーザが軌跡を消去することを指示する操作をした場合（Ｓ３４のＹ）、軌跡表示部４１０は、タッチパネル１０による軌跡の表示を消去する（Ｓ３６）。軌跡表示部４１０がタッチパネル１０による軌跡の表示を消去した後に、ユーザがタッチパネル１０に表示された装飾画像に触れた場合（Ｓ３８のＹ）、軌跡表示部４１０は、消去した軌跡をタッチパネル１０に再度表示する（Ｓ４０）。
When the
ユーザが軌跡を消去することを指示する操作をしない場合（Ｓ３４のＮ）、または軌跡表示部４１０がタッチパネル１０による軌跡の表示を消去した後であってかつユーザがタッチパネル１０に表示された装飾画像に触れない場合（Ｓ３８のＮ）、または軌跡表示部４１０が消去した軌跡をタッチパネル１０に再表示すると、軌跡決定部４４０はユーザが現在タッチパネル１０に表示されている装飾画像についての操作を終了するかどうかを確認する。ユーザが軌跡の操作を終了しない場合（Ｓ４２のＮ）、図１８に示すステップＳ２０に戻って上述の処理を繰り返す。ユーザが軌跡の操作を終了すると（Ｓ４２のＹ）、本フローチャートにおける処理は終了する。
When the user does not perform an operation to instruct to delete the locus (N in S34), or after the
以上説明したとおり、本発明の実施の形態に係る動画編集装置１００によれば、素材動画像上に動きのある装飾画像を重畳した映像を簡便に表示する技術を提供することができる。
As described above, according to the moving
以上、本発明を実施の形態をもとに説明した。この実施の形態はあくまで例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例、変形例の組み合わせも本発明の範囲にあることは当業者に理解されるところである。以下、変形例を挙げる。 The present invention has been described based on the embodiments. This embodiment is merely an example, and various modifications can be made to the combinations of the respective constituent elements and processing processes, and such modifications and combinations of modifications are also within the scope of the present invention. That is understood by the contractor. Hereinafter, modifications will be described.
（第１の変形例）
上記の説明では、動画編集装置１００が動画像記憶部２２０や、装飾画像記憶部３２０をローカルに備える場合について説明した。しかしながら、動画像記憶部２２０や、装飾画像記憶部３２０は動画編集装置１００がローカルに備えている必要はない。これに代えて、またはこれに加えて、動画像記憶部２２０や、装飾画像記憶部３２０はネットワークを介して接続するサーバ上にあってもよい。ユーザは、動画編集装置１００の記憶容量に制限されずに、多数の素材動画像や装飾画像を利用できるようになる点で有利である。また動画編集装置１００とサーバとが同じ素材画像を格納している場合、動画編集装置１００はその素材画像と特定する情報のみをサーバに送ればよく、通信時間や通信コストを抑制することができる。
(First modification)
In the above description, the case where the moving
（第２の変形例）
上記の説明では、出力映像生成部２０は、出力データ中の素材動画像を特定する情報を用いて素材動画を取得してタッチパネル１０に再生し、その上に装飾画像をリアルタイムで重畳する場合について主に説明した。しかしながら、ユーザは専用のアプリケーション１３０を使用せずに動画像を再生することを望む場合には、映像をレンダリングしてＭＰＥＧ（Moving Picture Experts Group）等の公知の動画ファイルを生成してもよい。
(Second modification)
In the above description, the output
（第３の変形例）
上記の説明では、動画編集装置１００は、素材動画像上に動きのある装飾画像を重畳する場合について主に説明した。しかしながら、動画編集装置１００が装飾画像を重畳する対象は動画像に限られず、静止画像であってもよい。この場合であっても、動画編集装置１００は静止画像上に動きのある装飾画像を重畳するため、結果として生成される画像は動きのある動画像となる。
(Third Modification)
In the above description, the moving
（第４の変形例）
上記の説明では、軌跡記憶部４２０が装飾画像の開始位置座標から終了位置座標に至るまでの位置座標の変化を時系列データとして格納し、重畳指示記憶部３４０が装飾画像の重畳の開始のタイミングから終了のタイミングまでの間における装飾画像の拡縮率および回転角度を記憶する場合について説明した。装飾画像の拡縮率および回転角度は、重畳期間と紐づけて格納する場合に限られず、装飾画像の位置座標の時系列データと紐づけて格納してもよい。
(Fourth modification)
In the above description, the
具体的には、装飾画像の拡縮率および回転角度は、軌跡記憶部４２０中に、装飾画像の位置座標の時系列データに紐づけて格納する。この場合、軌跡表示部４１０は、装飾画像の位置座標を取得するとともに、そのときの装飾画像の拡縮率および回転角度を装飾画像変換部３３０から取得し、これらのデータを紐づけて軌跡記憶部４２０に格納することで実現できる。軌跡修正部４３０が動画像の編集者であるユーザによる軌跡を修正を取得した場合、軌跡修正部４３０は、装飾画像変換部３３０から取得した装飾画像の拡縮率および回転角度を、軌跡の修正に応じて補間処理によって算出し、軌跡記憶部４２０に格納する。これにより、ユーザの修正によって軌跡の長さが変化しても、装飾画像の拡縮および回転を、修正後の軌跡に追従させることができる。
Specifically, the enlargement / reduction ratio and rotation angle of the decoration image are stored in the
１０ タッチパネル、 ２０ 出力映像生成部、 ３０ 出力部、 ４０ 送信部、 １００ 動画編集装置、 １１０ ハードウェア、 １２０ オペレーティングシステム、 １３０ アプリケーション、 ２００ 動画像操作部、 ２１０ 動画像取得部、 ２２０ 動画像記憶部、 ２３０ 画像選択部、 ３００ 装飾画像操作部、 ３１０ 装飾画像表示部、 ３２０ 装飾画像記憶部、 ３３０ 装飾画像変換部、 ３４０ 重畳指示記憶部、 ３５０ 重畳期間取得部、 ４００ 軌跡操作部、 ４１０ 軌跡表示部、 ４２０ 軌跡記憶部、 ４３０ 軌跡修正部、 ４４０ 軌跡決定部。
DESCRIPTION OF
Claims (12)
前記素材動画像に装飾として重畳する装飾画像を、前記素材動画像の映像とともに前記タッチパネルに表示する装飾画像表示部と、
前記タッチパネルに表示された前記装飾画像の位置をユーザが変更するとき、変更前の位置から変更後の位置に至るまで前記タッチパネルにおける前記装飾画像の位置座標の変化を時系列データとして格納する軌跡記憶部と、
前記時系列データをもとに前記装飾画像が移動した軌跡を前記タッチパネルに表示する軌跡表示部と、
前記時系列データにしたがって前記素材動画像上を前記装飾画像が移動する映像を生成する際に用いられる、前記素材動画像を特定する情報、前記装飾画像を特定する情報、および前記時系列データを対応づけた出力データを生成する出力部とを備えることを特徴とする動画編集装置。 A moving image acquisition unit that acquires designation of a material moving image to be set as a processing target from a user via a touch panel;
A decoration image display unit that displays a decoration image superimposed on the material moving image as a decoration on the touch panel together with a video of the material moving image;
When the user changes the position of the decoration image displayed on the touch panel, the trajectory memory stores the change in the position coordinates of the decoration image on the touch panel as time-series data from the position before the change to the position after the change. And
A trajectory display unit that displays a trajectory on which the decoration image has moved based on the time-series data on the touch panel;
The information for specifying the material moving image, the information for specifying the decoration image, and the time series data used when generating a video in which the decoration image moves on the material moving image according to the time series data. An animation editing apparatus comprising: an output unit that generates output data associated with each other.
前記軌跡表示部は、前記軌跡決定部がユーザの決定を取得するまでは、前記タッチパネルによる軌跡の表示を消去した後に前記装飾画像の位置をユーザが移動させた場合、最新の軌跡を前記タッチパネルに表示し、
前記出力部は、前記軌跡決定部がユーザの決定を取得したときに前記タッチパネルに表示されている軌跡の前記時系列データを用いて出力データを生成することを特徴とする請求項１から３のいずれかに記載の動画編集装置。 A trajectory determination unit for acquiring a user's determination on the movement of the decoration image to be combined on the material moving image;
The trajectory display unit displays the latest trajectory on the touch panel when the user moves the position of the decorative image after erasing the trajectory display on the touch panel until the trajectory determination unit acquires the user's determination. Display
4. The output unit according to claim 1, wherein the output unit generates output data by using the time-series data of a trajectory displayed on the touch panel when the trajectory determination unit acquires a user's determination. The video editing device according to any one of the above.
前記出力映像生成部は、前記時系列データにおける前記装飾画像の位置座標の変化率に応じて、前記素材動画像上に重畳して表示する前記装飾画像の移動速度を変更することを特徴とする請求項１から４のいずれかに記載の動画編集装置。 Based on the output data, further comprising an output video generation unit for generating a video in which the decoration image moves on the material moving image according to the time series data,
The output video generation unit is configured to change a moving speed of the decoration image displayed to be superimposed on the material moving image according to a change rate of a position coordinate of the decoration image in the time series data. The moving image editing apparatus according to claim 1.
前記出力映像生成部は、前記時系列データにおける前記装飾画像の位置座標の変化率と、前記重畳期間取得部が取得した開始および終了のタイミングとをもとに、前記素材動画像上に重畳させる前記装飾画像の移動速度を設定することを特徴とする請求項５に記載の動画編集装置。 In the moving image acquired by the moving image acquisition unit, further comprising a superimposition period acquisition unit for acquiring from the user the designation of the timing to start and end the superimposition of the decoration image
The output video generation unit superimposes on the material moving image based on the change rate of the position coordinates of the decoration image in the time-series data and the start and end timings acquired by the superimposition period acquisition unit. 6. The moving image editing apparatus according to claim 5, wherein a moving speed of the decoration image is set.
前記出力映像生成部は、前記素材動画像のうち、前記画像選択部が取得した画像が表示される時点から、前記素材動画像における前記装飾画像の移動が開始される映像を生成することを特徴とする請求項５または６に記載の動画編集装置。 An image selection unit that acquires from the user a selection of any of the images displayed between the start and end of the material moving image;
The output video generation unit generates a video in which movement of the decoration image in the material moving image is started from a point in time when an image acquired by the image selection unit is displayed among the material moving images. The moving image editing apparatus according to claim 5 or 6.
前記出力部は、前記軌跡修正部が軌跡の修正を受け付けた場合、修正後の軌跡の時系列データを用いて出力データを生成することを特徴とする請求項５から７のいずれかに記載の動画編集装置。 When the locus display unit displays the locus of the decoration image on the touch panel, the locus display unit further includes a locus correction unit that receives correction of the locus from the user,
The said output part produces | generates output data using the time-sequential data of the locus | trajectory after correction | amendment, when the said locus | trajectory correction part receives correction | amendment of a locus | trajectory, The output data are generated. Movie editing device.
前記装飾画像の移動前の位置から移動後の位置に至るまでの間に、前記装飾画像変換部が取得した変更の遷移も記憶する重畳指示記憶部とをさらに備え、
前記出力部は、前記重畳指示記憶部が記憶する変更の遷移も前記出力データに対応づけて生成することを特徴とする請求項５から８のいずれかに記載の動画編集装置。 A decoration image conversion unit that acquires a change of at least one of the size or the rotation angle of the decoration image displayed on the touch panel;
A superimposition instruction storage unit that also stores transitions of changes acquired by the decoration image conversion unit from the position before the movement of the decoration image to the position after the movement;
The moving image editing apparatus according to claim 5, wherein the output unit also generates a change transition stored in the superimposition instruction storage unit in association with the output data.
前記素材動画像に装飾として重畳する装飾画像を、前記素材動画像の映像とともに前記タッチパネルに表示するステップと、
前記タッチパネルに表示された前記装飾画像の位置をユーザが変更するとき、変更前の位置から変更後の位置に至るまで前記タッチパネルにおける前記装飾画像の位置座標の変化を時系列データとして格納するステップと、
前記時系列データをもとに前記装飾画像が移動した軌跡を前記タッチパネルに表示するステップと、
前記時系列データにしたがって前記素材動画像上を前記装飾画像が移動する映像を生成する際に用いられる、前記素材動画像を特定する情報、前記装飾画像を特定する情報、および前記時系列データを対応づけた出力データを生成するステップとをプロセッサが実行することを特徴とする動画編集方法。 Obtaining a designation of a material moving image to be set as a processing target from a user via a touch panel;
Displaying a decoration image superimposed as a decoration on the material moving image on the touch panel together with a video of the material moving image;
When the user changes the position of the decoration image displayed on the touch panel, the change of the position coordinates of the decoration image on the touch panel from the position before the change to the position after the change is stored as time series data; ,
Displaying a trajectory on which the decoration image has moved based on the time series data on the touch panel;
The information for specifying the material moving image, the information for specifying the decoration image, and the time series data used when generating a video in which the decoration image moves on the material moving image according to the time series data. A moving image editing method, wherein a processor executes a step of generating associated output data.
前記素材動画像に装飾として重畳する装飾画像を、前記素材動画像の映像とともに前記タッチパネルに表示する機能と、
前記タッチパネルに表示された前記装飾画像の位置をユーザが変更するとき、変更前の位置から変更後の位置に至るまで前記タッチパネルにおける前記装飾画像の位置座標の変化を時系列データとして格納する機能と、
前記時系列データをもとに前記装飾画像が移動した軌跡を前記タッチパネルに表示する機能と、
前記時系列データにしたがって前記素材動画像上を前記装飾画像が移動する映像を生成する際に用いられる、前記素材動画像を特定する情報、前記装飾画像を特定する情報、および前記時系列データを対応づけた出力データを生成する機能とをコンピュータに実現させることを特徴とするプログラム。 A function for acquiring designation of a material moving image to be set as a processing target from a user via a touch panel;
A function of displaying a decoration image superimposed as a decoration on the material moving image on the touch panel together with a video of the material moving image;
When the user changes the position of the decoration image displayed on the touch panel, the function stores the change in the position coordinates of the decoration image on the touch panel as time-series data from the position before the change to the position after the change. ,
A function for displaying on the touch panel a trajectory that the decoration image has moved based on the time-series data;
The information for specifying the material moving image, the information for specifying the decoration image, and the time series data used when generating a video in which the decoration image moves on the material moving image according to the time series data. A program for causing a computer to realize a function of generating associated output data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013164439A JP6201501B2 (en) | 2013-08-07 | 2013-08-07 | Movie editing apparatus, movie editing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013164439A JP6201501B2 (en) | 2013-08-07 | 2013-08-07 | Movie editing apparatus, movie editing method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015035663A JP2015035663A (en) | 2015-02-19 |
| JP6201501B2 true JP6201501B2 (en) | 2017-09-27 |
Family
ID=52543914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013164439A Active JP6201501B2 (en) | 2013-08-07 | 2013-08-07 | Movie editing apparatus, movie editing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6201501B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7070533B2 (en) * | 2019-11-26 | 2022-05-18 | セイコーエプソン株式会社 | Image data generation method, program and information processing equipment |
| JP6939927B2 (en) * | 2020-02-20 | 2021-09-22 | 株式会社セガ | Amusement imaging equipment and programs |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004015752A (en) * | 2002-06-11 | 2004-01-15 | Ntt Comware Corp | Decorative moving image creation apparatus and method, decorative moving image creation program, and recording medium with program recorded thereon |
| JP2006331039A (en) * | 2005-05-25 | 2006-12-07 | Make Softwear:Kk | Photographic sticker creation device |
| JP2008070954A (en) * | 2006-09-12 | 2008-03-27 | Zentcom Inc | Sticker printer with blog use support function |
| JP5118609B2 (en) * | 2008-11-20 | 2013-01-16 | キヤノン株式会社 | Object processing apparatus, processing method thereof, and program |
| JP4752921B2 (en) * | 2009-01-28 | 2011-08-17 | ソニー株式会社 | Information processing apparatus, animation adding method, and program |
| JP5343676B2 (en) * | 2009-04-08 | 2013-11-13 | ソニー株式会社 | Image processing apparatus, image processing method, and computer program |
| JP2011091725A (en) * | 2009-10-26 | 2011-05-06 | Qolp Inc | Server apparatus, cellular phone and composite motion picture creation system |
| JP5618531B2 (en) * | 2009-12-17 | 2014-11-05 | キヤノン株式会社 | Imaging apparatus, image processing apparatus, and image processing method |
| JP5846075B2 (en) * | 2011-08-31 | 2016-01-20 | 辰巳電子工業株式会社 | Image data providing device, photography game device, image data providing system, and image generation method |
-
2013
- 2013-08-07 JP JP2013164439A patent/JP6201501B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015035663A (en) | 2015-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10547778B2 (en) | Image display device for displaying an image in an image display area, and storage medium storing image display program for displaying an image in an image display area | |
| US11042260B2 (en) | Method for providing graphical user interface (GUI), and multimedia apparatus applying the same | |
| US11417367B2 (en) | Systems and methods for reviewing video content | |
| US11689686B2 (en) | Fast and/or slowmotion compensating timer display | |
| JP6329230B2 (en) | Fan-editing user interface controls for media editing applications | |
| WO2018051688A1 (en) | Information processing device, method and program related to generation of virtual viewpoint image | |
| US20170024110A1 (en) | Video editing on mobile platform | |
| US20130097552A1 (en) | Constructing an animation timeline via direct manipulation | |
| US20140376887A1 (en) | Mobile device video selection and edit | |
| CN107391152B (en) | Method for realizing focal point alternate-playing animation effect on Mac | |
| WO2022040308A1 (en) | Real time video special effects system and method | |
| JP5875262B2 (en) | Display control device | |
| JP6201501B2 (en) | Movie editing apparatus, movie editing method and program | |
| CN109656463A (en) | The generation method of individual character expression, apparatus and system | |
| JP2013162221A (en) | Information processor, information processing method, and information processing program | |
| JP5174735B2 (en) | Operation control device, operation control method, and operation control program | |
| US10270721B2 (en) | Method and apparatus for uploading an attachment | |
| CN108876866B (en) | Media data processing method, device and storage medium | |
| CN115460448A (en) | Media resource editing method and device, electronic equipment and storage medium | |
| US11287964B2 (en) | Systems and methods for navigating content | |
| JP2009290476A (en) | Image editing device, recording medium, and image editing method | |
| CN114500844A (en) | Shooting method and device and electronic equipment | |
| KR102092156B1 (en) | Encoding method for image using display device | |
| KR101399234B1 (en) | Enhanced user interface based on gesture input for motion picture authoring tool on a mobile device | |
| JP2017223766A (en) | Display controller and control method for the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160707 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170801 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170814 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6201501 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |