JPWO2008136466A1 - Movie editing device - Google Patents

Movie editing device Download PDF

Info

Publication number
JPWO2008136466A1
JPWO2008136466A1 JP2009513012A JP2009513012A JPWO2008136466A1 JP WO2008136466 A1 JPWO2008136466 A1 JP WO2008136466A1 JP 2009513012 A JP2009513012 A JP 2009513012A JP 2009513012 A JP2009513012 A JP 2009513012A JP WO2008136466 A1 JPWO2008136466 A1 JP WO2008136466A1
Authority
JP
Japan
Prior art keywords
shot
shots
unit
moving image
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009513012A
Other languages
Japanese (ja)
Inventor
富康 大出
富康 大出
Original Assignee
株式会社Dep
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2007120935 priority Critical
Priority to JP2007120935 priority
Application filed by 株式会社Dep filed Critical 株式会社Dep
Priority to PCT/JP2008/058208 priority patent/WO2008136466A1/en
Publication of JPWO2008136466A1 publication Critical patent/JPWO2008136466A1/en
Granted legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements

Abstract

あるテーマに沿って面白みのあるストーリー展開をする動画を自動的に作成できる動画編集装置を提供する。動画編集装置は、複数の動画素材それぞれのシーンの内容を示す情報が含まれたメタデータとそれぞれの画像データとを含む画像データベース、前記複数の動画素材同士の関連性が記憶された関連性データベース、および前記複数の動画素材同士を組み合わせた場合の効果が記憶された効果データベースを有する記憶部13と、1以上の検索条件が入力される入力部11と、前記入力部に前記検索条件が入力されると、前記効果データベースを検索し所定の順で並ぶ複数の動画素材を抽出する処理部12とを有する。Provided is a video editing device capable of automatically creating a video that develops an interesting story along a certain theme. The video editing apparatus includes an image database including metadata including information indicating scene contents of each of a plurality of video materials and each image data, and a relevance database storing relationships between the plurality of video materials. , And a storage unit 13 having an effect database in which the effect of combining a plurality of moving image materials is stored, an input unit 11 to which one or more search conditions are input, and the search condition is input to the input unit Then, it has a processing unit 12 that searches the effect database and extracts a plurality of moving picture materials arranged in a predetermined order.

Description

本発明は、動画編集装置に関し、特にメタデータを付与された画像データを編集する装置に関する。   The present invention relates to a moving image editing apparatus, and more particularly to an apparatus for editing image data provided with metadata.
従来、動画像や静止画像を編集してストーリー性のある動画(映画やテレビ番組、ビデオクリップ等を含む)が作成されている。近年、デジタル技術の普及に伴い、動画の一部となる動画像や静止画像(以下「動画素材」または「クリップ」と称する)がデジタルデータとしてデータ化されるようになっている。   Conventionally, moving images and still images have been edited to create moving images (including movies, TV programs, video clips, etc.) with a story. In recent years, with the spread of digital technology, moving images and still images (hereinafter referred to as “moving image material” or “clips”) that become a part of moving images are converted into digital data.
近年、動画素材のデジタルデータには、表示装置に画像を表示させるための情報(画像データ)に加え、メタデータと呼ばれる付加情報を含まれる。メタデータとしては、動画素材の識別用の符合、タイトル、内容、撮影日時、出演者、その役柄、および著作権情報などがある。   In recent years, digital data of moving image material includes additional information called metadata in addition to information (image data) for displaying an image on a display device. The metadata includes a code for identifying moving image material, a title, contents, a shooting date and time, a performer, its role, and copyright information.
メタデータは、近年、複数の動画を編集するために利用されている。例えば、特許文献1には、動画素材の制作日時、出演者名、その内容を示すキーワード等をメタデータとして登録することで、動画の各シーンに用いられる動画素材を容易に検索できるようにした動画編集装置が開示されている。   In recent years, metadata has been used for editing a plurality of moving images. For example, in Patent Document 1, it is possible to easily search for moving image material used for each scene of a moving image by registering the production date and time of the moving image material, names of performers, keywords indicating the contents, and the like as metadata. A video editing device is disclosed.
また、特許文献2には、動画素材のデータの他に、複数の動画素材の接続規則に関するデータを記憶装置に記憶させ、接続規則に関する情報を各動画素材について登録しておくことで、自動的な動画編集を可能とする動画編集装置が開示されている。
特開2005−303840号公報 特開平9−149318号公報
Patent Document 2 automatically stores data related to connection rules of a plurality of moving image materials in a storage device in addition to moving image material data, and registers information related to connection rules for each moving image material. A moving image editing apparatus that enables easy moving image editing is disclosed.
JP 2005-303840 A JP-A-9-149318
特許文献1の動画編集装置は、複数の動画素材をどのような順序で並べ、組み合わせるかが予め決定されている場合に、複数の動画素材を自動的に並べ替え、編集作業を容易かつ迅速にすることに寄与する。   The moving image editing apparatus of Patent Document 1 automatically arranges a plurality of moving image materials in an order in which a plurality of moving image materials are arranged and combined in advance. Contributes to
ところで、ある動画素材をどのような他の動画素材と組み合わせ、どのような順序でつなげるかは、動画の出来栄えを左右する。しかし、どのような動画素材をどのような動画素材と組み合わせれば、どのような動画の効果が得られるかは、これまで編集者の技能、ノウハウに依存しており、自動化されていない。このため、動画の編集技能やノウハウを持たない、いわゆる素人にとって、鑑賞に堪える面白い動画を作製することは容易ではない。   By the way, what kind of other moving picture material is combined with what kind of moving picture material, and in what order, the quality of the moving picture is influenced. However, what kind of moving picture material can be combined with what kind of moving picture material and what kind of moving picture effect can be obtained depend on the skill and know-how of the editor so far and have not been automated. For this reason, it is not easy for a so-called amateur who does not have editing skills or know-how to create an interesting movie that can be appreciated.
特許文献1の編集装置は、他の動画素材との組み合わせや並び順が決定されていない動画素材を自動的に編集できない。このため、特許文献1の編集装置では複数の動画素材を並べて鑑賞に堪える動画を自動的に作成することはできない。   The editing apparatus of Patent Document 1 cannot automatically edit a moving image material for which the combination and arrangement order with other moving image materials are not determined. For this reason, the editing apparatus of Patent Document 1 cannot automatically create a moving image that can be enjoyed by arranging a plurality of moving image materials.
また、特許文献2の動画編集装置では、人や物等に焦点を合わせて画面がスムーズに連続した動画を自動編集することが可能となる。しかし、編集された動画に面白みのあるストーリー展開を与えることはできない。   In addition, the moving image editing apparatus disclosed in Patent Document 2 can automatically edit a moving image having a smooth screen with a focus on a person or an object. However, an interesting storyline cannot be given to the edited video.
本発明は上記課題に鑑み、あるテーマに沿って面白みのあるストーリー展開をする動画を自動的に作成できる動画編集装置を提供することを目的とする。   In view of the above problems, an object of the present invention is to provide a moving image editing apparatus that can automatically create a moving image that develops an interesting story along a certain theme.
具体的には、本発明は、複数の連続する映像素材であるショットのそれぞれの内容を示す情報であるショットメタデータを記憶するショットメタデータ・データベースと、前記複数の連続する映像素材のそれぞれの画像データを記憶する画像データベースと、複数の前記ショット同士の関連性データを記憶する関連性データベースとを有する記憶部と、前記複数の連続する映像素材を入力し、且つ1以上の検索条件を入力するための入力部と、前記検索条件に対応する結果を出力表示するための出力表示部と、前記入力部に前記検索条件が入力されると、記憶された1以上の前記ショット及び1以上の前記ショットと関連する映像素材を前記記憶部から抽出して、所定の順に配列して前記出力表示部に再生表示させる処理部と、を有する動画編集装置を提供する。   Specifically, the present invention provides a shot metadata database that stores shot metadata that is information indicating the content of each shot that is a plurality of continuous video materials, and each of the plurality of continuous video materials. A storage unit having an image database for storing image data and a relevance database for storing relevance data between the plurality of shots, and inputting the plurality of continuous video materials and inputting one or more search conditions An input display unit for outputting, an output display unit for outputting and displaying a result corresponding to the search condition, and when the search condition is input to the input unit, the one or more shots and one or more stored A processing unit that extracts video material related to the shot from the storage unit, arranges the video material in a predetermined order, and reproduces and displays it on the output display unit To provide a collection apparatus.
本発明の動画編集装置は、ディスプレイ装置を含むデスクトップ・タイプ・パーソナルコンピュータ又は、ノート・タイプ・パーソナルコンピュータであっても良い。   The moving image editing apparatus of the present invention may be a desktop type personal computer or a notebook type personal computer including a display device.
本発明の動画編集装置の前記処理部は、前記入力部に前記検索条件が入力されると、前記効果データベース、前記関連性データベース、前記カット構成パターン・データベース及び前記ショットメタデータ・データベースを検索し、検索された1以上の前記ショットを前記所定の順に配列して前記出力表示部に表示させるための配列順序を、前記ショットメタデータに基づいて記述するシーン構成部を有しても良い。   When the search condition is input to the input unit, the processing unit of the video editing apparatus of the present invention searches the effect database, the relevance database, the cut composition pattern database, and the shot metadata database. A scene configuration unit may be provided that describes an arrangement order for arranging the retrieved one or more shots in the predetermined order and displaying the shots on the output display unit based on the shot metadata.
本発明の動画編集装置の前記シーン構成部は、検索された1以上の前記ショットを検索条件に合致する項目の多い順に、且つ合致する項目数が同じ場合には前記効果順に配列して前記出力表示部に表示させるための配列順序を、前記ショットメタデータに基づいて記述しても良い。   The scene composition unit of the video editing device of the present invention arranges the one or more searched shots in the order of the number of items matching the search condition, and in the order of the effects when the number of matching items is the same, the output An arrangement order for display on the display unit may be described based on the shot metadata.
本発明の動画編集装置の前記所定の順は、画像編集のために前記複数のショットのそれぞれのショットがユーザによって選択された選択回数をパラメータとする評価データの数値の大きい順であり、前記動画編集装置は、前記評価データを含む効果データを記憶する効果データベースを前記記憶部内にさらに有しても良い。   The predetermined order of the moving image editing apparatus of the present invention is the order in which the numerical value of the evaluation data having the parameter the number of times each of the plurality of shots has been selected by the user for image editing is ascending, The editing apparatus may further include an effect database that stores effect data including the evaluation data in the storage unit.
本発明の動画編集装置は、前記シーン構成部の作成した前記記述に従って、前記画像データベースから所望の1以上の前記ショットの画像データを抽出して配列し、前記出力表示部に出力表示させるシーン再生部をさらに有しても良い。   In accordance with the description created by the scene composition unit, the moving image editing apparatus of the present invention extracts and arranges image data of one or more desired shots from the image database, and reproduces the scene for output display on the output display unit It may further have a part.
本発明の動画編集装置は、前記入力部から入力された複数の連続する映像素材を連続する複数の画像に分割して一つひとつの画像の内容を示す情報であるメタデータを抽出し、前後する2つの画像のそれぞれの前記メタデータの差分に基づいて前記複数の連続する映像素材を複数のショットに分割するショット自動認識部と、分割された前記複数のショット毎の前記ショットメタデータを抽出するショットメタデータ抽出部とを有するショット情報自動抽出部をさらに備えても良い。   The moving image editing apparatus of the present invention divides a plurality of continuous video materials input from the input unit into a plurality of continuous images, extracts metadata that is information indicating the contents of each image, A shot automatic recognition unit that divides the plurality of continuous video materials into a plurality of shots based on the difference of the metadata of each of the two images, and a shot that extracts the shot metadata for each of the divided shots You may further provide the shot information automatic extraction part which has a metadata extraction part.
本発明の動画編集装置の前記ショット自動認識部は、顔認識技術及び画像認識技術に基づいて、一つの画像の主な被写体と背景とを分離して前記メタデータを抽出しても良い。   The automatic shot recognition unit of the moving image editing apparatus of the present invention may extract the metadata by separating a main subject and a background of one image based on a face recognition technique and an image recognition technique.
本発明の動画編集装置の前記ショットメタデータ抽出部は、前記入力部から前記複数の連続する映像素材を入力する際にユーザによって入力された所定の情報を、自動的に前記ショットメタデータに反映しても良い。   The shot metadata extraction unit of the video editing apparatus of the present invention automatically reflects predetermined information input by a user when inputting the plurality of continuous video materials from the input unit in the shot metadata. You may do it.
前記ユーザからの入力情報は、少なくともシーンタイトル、シーンタイプ及びシーン効果を含むシーン情報であっても良い。   The input information from the user may be scene information including at least a scene title, a scene type, and a scene effect.
本発明の動画編集装置は、前記ショット情報自動抽出部においてユーザが指定した既存の映画のシーンから前記ショットメタデータを作成し、作成された前記ショットメタデータとユーザによって入力された前記既存の映画のシーンの前記シーン情報とによって、前記既存の映画のシーンの構成パターンを分析して蓄積し、蓄積された複数の前記構成パターンから所望の映像効果に合わせシーンを構成するための前記ショットの組合せパターンを生成するカット構成パターン生成部をさらに有しても良い。   The moving image editing apparatus of the present invention creates the shot metadata from a scene of an existing movie specified by the user in the shot information automatic extraction unit, and creates the shot metadata and the existing movie input by the user The combination of shots for analyzing and accumulating the composition pattern of the existing movie scene according to the scene information of the scene, and composing the scene according to the desired video effect from the plurality of accumulated composition patterns You may further have the cut structure pattern production | generation part which produces | generates a pattern.
本発明の動画編集装置の前記入力部はグラフィック・ユーザ・インタフェースによって構成され、ユーザの操作により、少なくとも検索条件入力画面と前記複数の連続する映像素材及び前記シーン情報を入力する映像素材入力画面とを選択できても良い。   The input unit of the video editing apparatus of the present invention is configured by a graphic user interface, and at least a search condition input screen and a video material input screen for inputting the plurality of continuous video materials and the scene information by a user operation, It may be possible to select.
本発明の動画編集装置の前記出力表示部は、ユーザの操作によって前記検索された1以上のショットの配列順序が変更された場合に、前記変更された順序に従ってショットを表示し、且つユーザの操作によって前記検索された1以上のショットの配列中に前記検索された結果以外の画像又はショットが任意に追加された場合に、前記検索された1以上のショットの中に前記追加されたショット又は画像を並べて表示する表示部と、前記関連性データに基づいて前記検索された1以上のショットと関連する前記検索された1以上のショット以外の画像又はショットを一覧表示する動画素材リスト部と、ユーザが選択した任意の前記画像上にユーザがキーボードからコメントを入力した場合に、前記選択された任意の画像上に前記コメントを併せて表示するコメント枠部とのうち少なくとも一つ以上を有しても良い。   The output display unit of the moving image editing apparatus of the present invention displays shots according to the changed order when the arrangement order of the one or more searched shots is changed by a user operation, and the user operation When an image or shot other than the searched result is arbitrarily added to the searched one or more shots array, the added shot or image is added to the searched one or more shots. A display unit that displays images side by side, a moving image material list unit that displays a list of images or shots other than the one or more searched shots related to the one or more searched shots based on the relevance data, and a user When the user inputs a comment on the arbitrary image selected by the user, the comment is combined with the selected arbitrary image. It may have at least one or more of the comments frame unit to be displayed.
本発明の動画編集装置は、前記検索された1以上のショット以外の画像又はショットが前記1以上のショットの配列中に任意に追加された場合に、前記追加された画像又はショットの情報及び前記入力された検索条件を前記検索された1以上のショットのそれぞれの前記関連性データ中に反映し、且つ、前記検索された1以上のショットの情報及び前記入力された検索条件を前記追加された画像又はショットのそれぞれの前記関連性データ中に反映しても良い。   The moving image editing apparatus according to the present invention, when an image or shot other than the searched one or more shots is arbitrarily added to the arrangement of the one or more shots, and the information of the added image or shot and the The input search condition is reflected in the relevance data of each of the one or more searched shots, and the information of the one or more searched shots and the input search condition are added. You may reflect in the said relevance data of each image or shot.
本発明の動画編集装置は、前記検索された1以上のショット以外の画像又はショットが前記1以上のショットの配列中に任意に追加された場合に、前記追加された画像又はショットの前記効果データ中に前記入力された検索条件を反映しても良い。   The moving image editing apparatus according to the present invention provides the effect data of the added image or shot when an image or shot other than the searched one or more shots is arbitrarily added to the array of the one or more shots. The inputted search condition may be reflected in the inside.
本発明の動画編集装置は、前記検索された1以上のショット以外の画像又はショットが前記1以上のショットの配列中に任意に追加された場合に、前記入力された検索条件において前記画像又はショットが追加のために採用された回数を、前記追加された画像又はショットの前記入力された検索条件における評価として反映しても良い。   The moving image editing apparatus according to the present invention provides the image or the shot in the input search condition when an image or shot other than the searched one or more shots is arbitrarily added to the array of the one or more shots. May be reflected as an evaluation of the added image or shot in the input search condition.
本発明の動画編集装置は、前記検索された1以上のショットの配列順序がユーザによって任意に変更された場合に、変更後の前記複数のショットの配列順番を前記カット構成パターンとして前記カット構成パターン・データベースに記憶しても良い。   In the moving image editing apparatus according to the present invention, when the arrangement order of the one or more searched shots is arbitrarily changed by a user, the cut arrangement pattern is obtained by using the arrangement order of the plurality of shots after the change as the cut arrangement pattern. -You may memorize | store in a database.
本発明は、複数の連続する映像素材の一区切りであるショットのそれぞれの内容を示す情報であるショットメタデータを記憶するショットメタデータ・データベースと、前記複数の連続する映像素材のそれぞれの画像データを記憶する画像データベースと、複数の前記ショット同士の関連性データを記憶する関連性データベースと、および複数の前記ショ
ット同士を組み合わせた場合の効果データを記憶する効果データベースとを有する記憶部を備えるサーバと、前記複数の連続する映像素材を入力し、且つ1以上の検索条件を入力するための入力部と、前記検索条件に対応する結果を出力表示するための出力表示部と、前記入力部に前記検索条件が入力されると、記憶された1以上の前記ショット及び1以上の前記ショットと関連する映像素材を前記効果データベース、前記関連性データベース、前記カット構成パターン・データベース及び前記ショットメタデータ・データベースから検索し、検索された1以上の前記ショットを所定の順に配列して前記出力表示部に表示させるための配列順序を、前記ショットメタデータに基づいて記述するシーン構成部を有する処理部とを備えるクライアントと、から構成されることを特徴とする動画編集装置を提供する。
The present invention relates to a shot metadata database that stores shot metadata that is information indicating the content of each shot that is a segment of a plurality of continuous video materials, and image data of each of the plurality of continuous video materials. A server including a storage unit having an image database to be stored, a relevance database for storing relevance data between the plurality of shots, and an effect database for storing effect data when the plurality of shots are combined; An input unit for inputting the plurality of continuous video materials and inputting one or more search conditions; an output display unit for outputting and displaying a result corresponding to the search conditions; and When a search condition is input, the one or more stored shots and the video associated with the one or more shots A material is searched from the effect database, the relevance database, the cut composition pattern database, and the shot metadata database, and the one or more searched shots are arranged in a predetermined order and displayed on the output display unit. A moving image editing apparatus comprising: a client including a processing unit having a scene configuration unit that describes an arrangement order for the data based on the shot metadata.
本発明の動画編集装置の前記サーバは、前記入力部に前記検索条件が入力されると、記憶された1以上の前記ショット及び1以上の前記ショットと関連する映像素材を前記効果データベース、前記関連性データベース及び前記ショットメタデータ・データベースから検索し、検索された1以上の前記ショットを前記所定の順に配列して前記出力表示部に表示させるための配列順序を、前記ショットメタデータに基づいて記述するシーン構成部を有する処理部を備え、前記クライアントの前記処理部は、入力部から入力された検索条件を前記サーバの前記処理部に転送し、且つ、前記サーバの前記処理部から転送された前記所定の順に配列された前記検索された1以上のショットの画像データを前記出力表示部に表示させることを制御しても良い。   When the search condition is input to the input unit, the server of the video editing apparatus according to the present invention stores the one or more shots and the video material associated with the one or more shots stored in the effect database, the relation A description is made on the basis of the shot metadata for searching from the sex database and the shot metadata database and arranging the one or more searched shots in the predetermined order and displaying them on the output display unit. A processing unit having a scene configuration unit that transfers the search condition input from the input unit to the processing unit of the server and the processing unit of the server. The display of the image data of the one or more searched shots arranged in the predetermined order may be controlled to be displayed on the output display unit. .
本発明の動画編集装置の前記サーバは、インターネット上の動画投稿サイトから所定の映像素材をダウンロードして前記映像素材を複数のショットに分割し、前記複数のショットから画像データ及びショットメタデータを作成し、前記記憶部に記憶された画像データ及びショットメタデータと、前記分割された複数のショットの前記画像データ及びショットメタデータとを比較し、前記比較結果に基づいて同一のショットメタデータを有する前記所定の映像素材の所在情報をクライアントの出力表示部に表示することで動画投稿サイト検索方法及び動画投稿サイト検索サービスを提供しても良い。   The server of the video editing apparatus of the present invention downloads predetermined video material from a video posting site on the Internet, divides the video material into a plurality of shots, and creates image data and shot metadata from the plurality of shots And comparing the image data and shot metadata stored in the storage unit with the image data and shot metadata of the plurality of divided shots, and having the same shot metadata based on the comparison result The moving image posting site search method and the moving image posting site search service may be provided by displaying the location information of the predetermined video material on the output display unit of the client.
本発明では、複数の動画素材それぞれに、その内容を示す情報(例えば、場面や登場人物、その動作についての情報)をメタデータとして記憶させる。また、複数の動画素材同士を特定の順序で並べてあるテーマの動画にした場合の、これら複数の動画素材の並び順を関連性データベースとして記憶させる。さらに、複数の動画素材同士を特定の順序で並べた場合に得られる表現上の効果を効果データベースとして記憶させる。   In the present invention, information indicating the contents (for example, information about scenes, characters, and actions) is stored as metadata in each of the plurality of moving image materials. In addition, the arrangement order of the plurality of moving image materials when a plurality of moving image materials are arranged in a specific order as a moving image is stored as a relevance database. Further, the effect on expression obtained when a plurality of moving picture materials are arranged in a specific order is stored as an effect database.
これにより、入力部に検索条件が入力されると、処理部は効果データベース、関連性データベース、および各動画素材のメタデータを検索して、検索条件に合致する複数の動画素材が面白みのあるストーリー展開をするように並べられて表示される。   As a result, when the search condition is input to the input unit, the processing unit searches the metadata of the effect database, the relevance database, and each video material, and a plurality of video materials that match the search condition are interesting stories. They are arranged and displayed so as to be expanded.
本発明によれば、視聴者にとって面白みを感じさせるようにストーリー展開される動画が自動的に編集される。   According to the present invention, a moving image that is developed in a story is automatically edited so as to make the viewer feel interesting.
ショットの構成要素を示す概略図である。It is the schematic which shows the component of a shot. ショット情報に含まれる情報要素であるメタデータの一例を示す図である。It is a figure which shows an example of the metadata which is the information element contained in shot information. 本発明の一実施態様に係る動画編集装置のブロック図。1 is a block diagram of a moving image editing apparatus according to an embodiment of the present invention. 本発明の一実施形態に係る動画編集装置のより詳細な構成を示すブロック図である。It is a block diagram which shows the more detailed structure of the moving image editing apparatus which concerns on one Embodiment of this invention. 関連性データベースの内容の一例を示す図である。It is a figure which shows an example of the content of a relevance database. 画像データベースの内容の一例を示す図である。It is a figure which shows an example of the content of an image database. 効果データベースの内容の一例を示す図である。It is a figure which shows an example of the content of an effect database. 本発明の一実施形態に係る画像編集装置における、ショット抽出の一例を示す図である。It is a figure which shows an example of shot extraction in the image editing apparatus which concerns on one Embodiment of this invention. ショットメタデータの一例を示す図である。It is a figure which shows an example of shot metadata. 入力部(GUI)の一例を示す図である。It is a figure which shows an example of an input part (GUI). シーン構成ルールの一例を示す図である。It is a figure which shows an example of a scene structure rule. 本発明の一実施形態に係る動画編集装置におけるカット構成パターン自動生成を示す概略図である。It is the schematic which shows the cut structure pattern automatic generation in the moving image editing apparatus which concerns on one Embodiment of this invention. 上記動画編集装置を用いた動画編集手順の一例を示すフロー図である。It is a flowchart which shows an example of the moving image editing procedure using the said moving image editing apparatus. 本発明の一実施形態に係る動画編集装置における動画編集動作のフローの詳細図である。It is a detailed view of a flow of a moving image editing operation in the moving image editing apparatus according to an embodiment of the present invention. 入力部への入力に応じた検索結果が表示された状態の一例を示す図である。It is a figure which shows an example of the state where the search result according to the input to an input part was displayed. 出力表示部に動画素材が表示された状態の一例を示す図である。It is a figure which shows an example of the state by which the moving image material was displayed on the output display part.
符号の説明Explanation of symbols
10 動画編集装置
11 入力部
12 処理部
13 記憶部
14 出力表示部
20 ショット情報自動抽出部
21 ショット自動認識部
22 ショットメタデータ抽出部
23 シーン構成部
30 ショットメタデータDB
34 関連性DB
35 効果DB
40 ショット情報自動抽出システム
50 シーン構成システム
60 シーン再生システム
DESCRIPTION OF SYMBOLS 10 Movie editing apparatus 11 Input part 12 Processing part 13 Storage part 14 Output display part 20 Shot information automatic extraction part 21 Shot automatic recognition part 22 Shot metadata extraction part 23 Scene composition part 30 Shot metadata DB
34 Relevance DB
35 Effect DB
40 Automatic shot information extraction system 50 Scene composition system 60 Scene playback system
以下、図面を用いて本発明について詳細に説明するが、まず、動画編集に関する用語について、以下に説明する。但し、用語の意義はこれに限定されるものではない。   Hereinafter, the present invention will be described in detail with reference to the drawings. First, terms relating to moving image editing will be described. However, the meaning of the term is not limited to this.
本明細書において、一つの主題(テーマ)に沿って、内容が異なる2以上の画像が展開してなる映像を「動画」と称する。動画は、2以上の静止画像または1以上の動画により構成され、映画を構成する静止画像のそれぞれ、または連続して展開される画像の一つ一つを「動画素材」と称する(以下において、映像素材という場合もある。)。   In the present specification, a video obtained by developing two or more images having different contents along one theme (theme) is referred to as “moving image”. The moving image is composed of two or more still images or one or more moving images, and each of the still images constituting the movie or each continuously developed image is referred to as “moving image material” (in the following, Sometimes referred to as video material.)
本明細書において、一回の撮影で撮影された連続的な映像素材(即ち、画像の連続。)を「ショット」と称する。また、連続して視聴することが期待されている作品全体を「コンテンツ」といい、一定の場所の中での一区切りの動作を「シーン」といい、連続した撮影シーン内での一区切りを「カット」という。即ち、複数のカットを時系列に並べることによりシーンが構成され、複数のシーンを時系列に並べることによりコンテンツが構成される。また、「ショット」と「カット」の関係は、連続的な映像素材である「ショット」から、連続する一区切りの映像として構成したものが「カット」である。なお、本発明の一実施形態に係る動画編集装置においては、「一区切り」とは、連続する画像から構成さ
れる一場面をいい、連続する2つの画像間において、画像の内容を示すデータであるメタデータに含まれる情報要素の差分が所定の閾値を超える場合に、当該2つの画像の間で一区切りとされる。ここで、前記情報要素とは、オブジェクトリストや映像空間対応、カメラ移動等のショット情報及び、オブジェクトタイプ、オブジェクトネーム、オブジェクトの位置等のキーオブジェクト情報である。また、前記所定の閾値は、ユーザが任意に設定することができる。
In the present specification, a continuous video material (that is, a series of images) taken by one shooting is referred to as a “shot”. In addition, the entire work that is expected to be viewed continuously is called “content”, a single segment operation in a certain place is called a “scene”, and a single segment in a continuous shooting scene is “cut” " That is, a scene is configured by arranging a plurality of cuts in time series, and a content is configured by arranging a plurality of scenes in time series. In addition, regarding the relationship between “shot” and “cut”, “cut” is configured as a continuous segment of video from “shot” which is a continuous video material. In the moving image editing apparatus according to the embodiment of the present invention, “one segment” refers to one scene composed of continuous images, and is data indicating the content of an image between two consecutive images. When the difference between the information elements included in the metadata exceeds a predetermined threshold, the two images are separated from each other. Here, the information elements are shot information such as object list, video space correspondence, camera movement, and key object information such as object type, object name, and object position. The predetermined threshold can be arbitrarily set by the user.
また、本明細書において、「カメラ」とは、ビデオカメラ、映画撮影用カメラ等の動画撮影用のカメラを総称する。そして、映像をカメラで撮影した場合にカメラで撮影された範囲(即ち、映像の枠)を「画像フレーム」といい、一方、動画は連続した画像から構成されているが、この映像の1コマ(即ち、それぞれの画像)を単に「フレーム」という。   Further, in this specification, the “camera” is a generic term for a video camera such as a video camera or a movie camera. When a video is shot with a camera, the range shot by the camera (that is, the frame of the video) is called an “image frame”. On the other hand, a moving image is composed of continuous images. (That is, each image) is simply referred to as a “frame”.
さらに、撮影者が目的を持って撮影を行っている限り、ショットは、概略次のような構成要素を含む。即ち、「キーオブジェクト」、「背景」、「映像空間」である。「キーオブジェクト」とは、撮影の主体となっている人物、動物、モノ(例えば、自動車、飛行機、列車等)をいい、山や建物等の静止物の場合もあるが、一般的にはカメラのフレームにあって動くものが対象とされる。「背景」とは、撮影された空間上でカメラに映っているが、撮影者の主たる撮影対象でないものをいい、「映像空間」とは、撮影された映像を人間が認識する場合にフレーム内外に想定される3次元の空間をいう。   Further, as long as the photographer is shooting for the purpose, the shot generally includes the following components. That is, “key object”, “background”, and “video space”. A “key object” refers to a person, animal, or object (for example, an automobile, an airplane, a train, etc.) that is the subject of shooting, and may be a stationary object such as a mountain or a building. Anything that moves in the frame will be targeted. “Background” refers to what is reflected in the camera in the captured space, but is not the subject of the photographer's main image. “Image space” refers to the inside and outside of the frame when the captured image is recognized by humans. A three-dimensional space assumed in
これを、図を基に説明する。図1は、ショットの構成要素を示す概略図である。図1においては、キーオブジェクト101として、人物を表示している。画面の枠が画像フレーム102である。画像フレーム102内のキーオブジェクト101の以外が背景103であり、図1においては、人物の後ろの壁や床が背景103に該当する。また、図1からは把握しにくいが、画像フレーム102の内外に想定される3次元の空間が映像空間104である。そして、一つのショットは、上述したように一回の撮影で撮影された連続的な映像であり(即ち、画像の連続)、従って、そこにおいてはキーオブジェクト102の移動が生じる場合がある。図1において、キーオブジェクト102の移動を矢印で示している。   This will be described with reference to the drawings. FIG. 1 is a schematic diagram showing components of a shot. In FIG. 1, a person is displayed as the key object 101. The frame of the screen is the image frame 102. A background 103 other than the key object 101 in the image frame 102 corresponds to the background 103 in FIG. Although it is difficult to grasp from FIG. 1, a three-dimensional space assumed inside and outside the image frame 102 is the video space 104. One shot is a continuous video shot by one shooting as described above (that is, a sequence of images). Therefore, the key object 102 may move there. In FIG. 1, the movement of the key object 102 is indicated by an arrow.
図1に示したような構成要素からなるショットには、多数の情報要素が含まれる。例えば、ショット全体に関する情報要素であるショット情報であり、また、撮影者の主な撮影対象であるキーオブジェクトに関する情報要素であるキーオブジェクト情報である。かかるショット情報及びキーオブジェクト情報等を総称してメタデータという。図2は、ショットに含まれる情報要素であるメタデータの概略である。図2に示すように、ショット情報には、概略、オブジェクトリスト、映像キー、映像空間タイプ及びカメラ移動が含まれる。キーオブジェクト情報には、概略、オブジェクトタイプ、オブジェクトネーム、オブジェクトショット、オブジェクトの位置、オブジェクト移動等が含まれる。   A shot composed of components as shown in FIG. 1 includes a large number of information elements. For example, it is shot information that is an information element related to the entire shot, and key object information that is an information element related to a key object that is a main shooting target of the photographer. Such shot information and key object information are collectively referred to as metadata. FIG. 2 is an outline of metadata that is an information element included in a shot. As shown in FIG. 2, the shot information includes an outline, an object list, a video key, a video space type, and camera movement. The key object information includes an outline, an object type, an object name, an object shot, an object position, an object movement, and the like.
[動画編集装置のシステム構成]
以下に、本発明の一実施形態に係る動画編集装置のシステム構成について、図を基に説明する。図3は、本発明の一実施態様に係る動画編集装置の構成を示すブロック図である。図4は、本発明の一実施形態に係る動画編集装置のより詳細な構成を示すブロック図である。
[System configuration of video editing device]
Hereinafter, a system configuration of a moving image editing apparatus according to an embodiment of the present invention will be described with reference to the drawings. FIG. 3 is a block diagram showing the configuration of the moving image editing apparatus according to an embodiment of the present invention. FIG. 4 is a block diagram showing a more detailed configuration of the moving image editing apparatus according to the embodiment of the present invention.
図3に示すように、本発明の一実施態様に係る動画編集装置10は、入力部11、処理部12、記憶部13、および出力表示部14を有する。   As shown in FIG. 3, the moving image editing apparatus 10 according to an embodiment of the present invention includes an input unit 11, a processing unit 12, a storage unit 13, and an output display unit 14.
入力部11は、表示装置等に表示されるGUI(Graphical_User_Interface)からなる入力画面である。入力部11は、図示はしないが、撮影した映
像素材をエントリーする映像素材エントリー画面、検索条件を入力する検索条件入力画面等からなり、それぞれの画面は、ファンクションキーや選択ボタンを選択することで表示可能とされており、ユーザの選択によって目的の入力画面が表示される。映像素材エントリー画面には、後の編集に必要なデータ、例えば、「内容」、「撮影場所」、「撮影日時」等を入力するフィールドが設けられ、ユーザが必要な情報を入力できる。また、検索条件画面には、ユーザの検索を容易にするために、一例として、テーマ選択部、効果選択部等の各種選択部が設けられる。各選択部は、入力フィールドにカーソルが移動すると所定のプルダウンメニューが表示されるように構成されても良い。また、チェックボックス形式のメニューであっても良い。
The input unit 11 is an input screen including a GUI (Graphical_User_Interface) displayed on a display device or the like. Although not shown, the input unit 11 includes a video material entry screen for entering photographed video material, a search condition input screen for inputting search conditions, and the like. Each screen can be selected by selecting a function key or a selection button. Display is possible, and a target input screen is displayed by the user's selection. The video material entry screen is provided with fields for inputting data necessary for later editing, for example, “content”, “photographing location”, “photographing date / time”, etc., and the user can input necessary information. In addition, the search condition screen is provided with various selection units such as a theme selection unit and an effect selection unit as an example in order to facilitate a user search. Each selection unit may be configured such that a predetermined pull-down menu is displayed when the cursor moves to the input field. Also, a check box type menu may be used.
処理部12は、CPUやRAM等から構成され、図4に示すように、内部にショット情報自動抽出部20、シーン構成部(シーン構成エンジンという場合がある。)23、シーン再生部(シーン再生エンジンという場合がある。)24、シーン構成ルール部25及びカット構成パターン生成部(カット構成パターン生成エンジンという場合がある。)26を備える。そして、ショット情報自動抽出部20は、さらに内部にショット自動認識部(ショット自動認識エンジンという場合がある。)21及びショットメタデータ抽出部22を備える。   The processing unit 12 includes a CPU, a RAM, and the like. As shown in FIG. 4, the shot information automatic extraction unit 20, a scene configuration unit (sometimes referred to as a scene configuration engine) 23, a scene playback unit (scene playback). 24), a scene configuration rule unit 25, and a cut configuration pattern generation unit (also referred to as a cut configuration pattern generation engine) 26. The shot information automatic extraction unit 20 further includes a shot automatic recognition unit (sometimes referred to as a shot automatic recognition engine) 21 and a shot metadata extraction unit 22 therein.
ショット自動認識部21は、顔認識技術や画像認識技術に基づいて、連続した複数の画像を分析する。即ち、連続する映像を、個々のフレームに分割して、フレーム毎にメタデータ(ショット情報及びキーオブジェクト情報)等の映像情報を抽出する。そして、連続する画像から前後の映像情報の差分を抽出し、時間の前後で大きく映像情報が異なる場合、その時点で1ショットが終了したとみなして連続する映像をショット単位に切り分ける。より具体的には、フレーム毎のメタデータを比較して、データの内容が大きく異なる場合、その時点で1ショットが終了したとみなしても良い。その上で、ショット毎に「ショット番号」と「ショットの開始・終了時間」の情報を付加する。   The automatic shot recognition unit 21 analyzes a plurality of continuous images based on a face recognition technique or an image recognition technique. That is, a continuous video is divided into individual frames, and video information such as metadata (shot information and key object information) is extracted for each frame. Then, the difference between the previous and next video information is extracted from the continuous images, and when the video information is greatly different before and after the time, it is considered that one shot has been completed at that time, and the continuous video is divided into shot units. More specifically, if the contents of the data are greatly different by comparing the metadata for each frame, it may be considered that one shot has been completed at that time. Then, information of “shot number” and “shot start / end time” is added for each shot.
ショットメタデータ抽出部22は、ショット自動認識部21からのフレーム毎のメタデータ、ショット番号及びショットの開始・終了時間から、1ショット中の各フレームに共通するメタデータである「ショットメタデータ」を抽出する。   The shot metadata extraction unit 22 uses “shot metadata” which is metadata common to each frame in one shot from the metadata for each frame from the automatic shot recognition unit 21, the shot number, and the start / end time of the shot. To extract.
シーン構成部23は、入力部11からの入力に基づいて、記憶部13に保存された膨大な映像データから目的に沿ったシーンを抽出して表示するためのシーン記述情報を作成して、シーン再生部24に転送する。この時、詳細は後述するが、記憶部13内の、効果データベース(以下、効果DBと記す。)35を参照し、次いで関連性データベース(以下、関連性DBと記す。)34を参照することで、出力表示部14に効果順にシーンを表示し、且つ関連するシーンも合わせて表示することを可能とし、ユーザの任意編集を可能にしている。具体的なシーン記述情報の作成方法については後述する。   Based on the input from the input unit 11, the scene configuration unit 23 creates scene description information for extracting and displaying a scene according to the purpose from the enormous video data stored in the storage unit 13. Transfer to the playback unit 24. At this time, as will be described in detail later, refer to an effect database (hereinafter referred to as an effect DB) 35 in the storage unit 13, and then refer to an association database (hereinafter referred to as an association DB) 34. Thus, it is possible to display the scenes in the order of effect on the output display unit 14 and to display related scenes together, and the user can arbitrarily edit the scenes. A specific method for creating scene description information will be described later.
シーン再生部24は、シーン構成部23からのシーン記述情報に基づいて、記憶部13に保存された膨大な映像データから、目的のシーンを抽出して出力表示部14に転送する。   Based on the scene description information from the scene configuration unit 23, the scene playback unit 24 extracts a target scene from the enormous amount of video data stored in the storage unit 13 and transfers it to the output display unit 14.
シーン構成ルール部25は、自動編集を行い、シーンを作成するためのルール記述(以下、これをシーン構成ルールという。)を保存する。シーン構成部23の要求に応じて、シーン構成ルールを提供する。   The scene composition rule unit 25 performs automatic editing and stores a rule description for creating a scene (hereinafter referred to as a scene composition rule). A scene configuration rule is provided in response to a request from the scene configuration unit 23.
カット構成パターン生成部26は、ショットを選択する場合にテーマに沿って効果的に演出できるように予め決められたショットの組合せパターン(以下、これをカット構成パターンという。)を記述する。カット構成パターンを作成するには、映画の編集ノウハウ
が必要であり、誰もが簡単に作れるものではない。本発明の一実施形態に係る動画編集装置10は、詳細は後述するが、かかるカット構成パターンを自動生成する機能を有する。カット構成パターン生成部26は、このカット構成パターン自動生成において中心的な役割を果す。なお、カット構成パターンは、映画で使用されているカット割等のノウハウに基づいて、予め一定のパターンが提供される。
The cut composition pattern generation unit 26 describes a shot combination pattern (hereinafter referred to as a cut composition pattern) that is determined in advance so that the shot can be effectively produced according to the theme. In order to create a cut composition pattern, movie editing know-how is required, and not everyone can make it easily. Although the details will be described later, the moving image editing apparatus 10 according to an embodiment of the present invention has a function of automatically generating such a cut composition pattern. The cut composition pattern generation unit 26 plays a central role in the automatic generation of the cut composition pattern. The cut composition pattern is provided in advance based on know-how such as cut percent used in movies.
記憶部13には、複数の動画素材の画像データとそれらのメタデータ、特定のテーマで複数の動画素材を組み合わせる場合の並び順が記憶された関連性データ、および複数の動画素材がつなぎ合されてなる動画の評価を示す情報が記憶された効果データ等が記憶されている。 In the storage unit 13, image data of a plurality of moving image materials and their metadata, relevance data storing arrangement order when combining a plurality of moving image materials with a specific theme, and a plurality of moving image materials are connected. Effect data in which information indicating the evaluation of the moving image is stored is stored.
記憶部13は、エントリーされた映像データを記憶するとともに、処理部12で処理された結果である各種データを記憶する。図4に示すように、記憶部13内部には、ショットメタデータ・データベース(以下、データベースを「DB」と記す。)30、画像DB31、カット構成パターンDB33、関連性DB34、効果DB35を備え、さらに画像DB31内部には、ショットデータファイル32を有する。但し、これは一例であり、複数のデータが1つのデータベースに記憶されても良い。   The storage unit 13 stores the entered video data and also stores various data that are the results processed by the processing unit 12. As shown in FIG. 4, the storage unit 13 includes a shot metadata database (hereinafter referred to as “DB”) 30, an image DB 31, a cut composition pattern DB 33, a relevance DB 34, and an effect DB 35. Further, the image DB 31 includes a shot data file 32. However, this is an example, and a plurality of data may be stored in one database.
ショットメタデータDB30は、ショットメタデータ抽出部22で抽出されたショットメタデータを記憶する。画像DB31は、エントリーされた全ての映像データを記憶し、ショットデータファイル32は、ショットデータを記憶する。さらに、カット構成パターン33は、カット構成パターン生成部26で生成されたカット構成パターンを記憶し、関連性DB34は、以前に特定のテーマに沿って複数の動画素材を組み合わせて映像を構成した際の動画素材の並び順である関連性データを、ショット毎に記憶する。また、効果DB35は、関連性データにより記述される順番で展開される動画の表現効果を記憶する。そして、記憶されたこれらの効果に基づいて、効果の高い順に自動編集されるが、詳細は後述する。   The shot metadata DB 30 stores shot metadata extracted by the shot metadata extraction unit 22. The image DB 31 stores all entered video data, and the shot data file 32 stores shot data. Furthermore, the cut composition pattern 33 stores the cut composition pattern generated by the cut composition pattern generation unit 26, and the relevance DB 34 previously configured a video by combining a plurality of moving image materials along a specific theme. Relevance data, which is the order of the moving image materials, is stored for each shot. In addition, the effect DB 35 stores a moving image expression effect developed in the order described by the relevance data. And based on these memorize | stored effects, although it edits automatically in order with a high effect, the detail is mentioned later.
図5に、関連性DB34に記憶された関連性データの一例を示す。関連性データは、特定のテーマに基づいて展開する複数の動画素材の展開順序を少なくとも含む。一つの関連性データは、2以上の動画素材を含み、一の関連性データはこの中に含まれている動画素材同士の関連性(より具体的には、並び順等。)を記述している。例えば、図5においてパターン1とされた関連性データは、N1、N2、N3、N4という動画素材識別用の番号が付与された4つの動画素材相互の関連性を記述している。   FIG. 5 shows an example of relevance data stored in the relevance DB 34. The relevance data includes at least a development order of a plurality of moving image materials developed based on a specific theme. One relevance data includes two or more moving image materials, and one relevance data describes the relevance (more specifically, the order of arrangement, etc.) between the moving image materials included therein. Yes. For example, the relevance data set as pattern 1 in FIG. 5 describes the relevance between four moving image materials to which the moving image material identification numbers N1, N2, N3, and N4 are assigned.
関連性データは、好ましくは各動画素材について、それぞれのシーンの内容を示す情報(動画素材内容情報)を含む。動画素材内容情報としては、ある動画素材に描かれた一定の場所、その動画素材に登場する(人)物、またはその動画素材の中での動作の一区切りを示す情報等が挙げられる。動画素材内容情報は、画像DB31に、各動画素材のメタデータとしても記憶されている。   The relevance data preferably includes information (video material content information) indicating the contents of each scene for each video material. The moving image material content information includes a certain place drawn on a moving image material, a (person) thing appearing on the moving image material, information indicating a break of operation in the moving image material, or the like. The moving image material content information is also stored in the image DB 31 as metadata of each moving image material.
図6は、画像DB31の内容の一例を示す図であり、ある動画素材について、画像データにより表示される画像と、この動画素材のメタデータとを示している。この例では、動画素材内容情報として、その動画素材に登場する人(物)の数、種類(タイプ)、シチュエーション、およびショットがメタデータとされている。但しこれは一例であり、画像DB31の内容は、これに限定されない。   FIG. 6 is a diagram showing an example of the contents of the image DB 31, and shows an image displayed by image data and metadata of the moving image material for a certain moving image material. In this example, as the moving image material content information, the number, type (type), situation, and shot of people (things) appearing in the moving image material are metadata. However, this is an example, and the content of the image DB 31 is not limited to this.
なお、メタデータには、動画素材内容情報以外にも各動画素材に関する情報が含まれてもよい。動画素材内容情報以外の情報としては、各動画素材の識別用の番号または記号(以下、「識別符号」)、取得日時、著作権の有無や著作権管理者名等の著作権情報等が挙
げられる。また、各動画素材のタイトル、表現スタイル(アニメ、実写等)、表現効果(驚き、笑い等)等が挙げられる。さらに、各動画素材についての採用回数もメタデータとして記憶されるようにしておいてもよい。
Note that the metadata may include information on each moving picture material in addition to the moving picture material content information. Examples of information other than video material content information include copyright information such as identification numbers or symbols (hereinafter referred to as “identification codes”), acquisition date and time, presence / absence of copyright, and name of copyright manager. It is done. In addition, the title of each moving picture material, expression style (animation, live action, etc.), expression effect (surprise, laughter, etc.), etc. can be mentioned. Further, the number of times of adoption for each moving picture material may be stored as metadata.
関連性データにより記述された順番で展開される動画の表現効果は、図7に示すように効果DB35に記憶される。図7では、「お笑い」というテーマに分類される3パターンの動画の組み合わせについて、表現効果の種類が「効果」として「シリアス」、「コミカル」、「奇妙」等と記述され、その優劣が「評価」として数値化されて記述されている。但しこれは一例であり、効果DB35の内容は、これに限定されない。   The moving image expression effect developed in the order described by the relevance data is stored in the effect DB 35 as shown in FIG. In FIG. 7, for the combination of three patterns of movies classified under the theme of “comedy”, the expression effect type is described as “effect” as “serious”, “comical”, “strange”, etc. It is described numerically as “evaluation”. However, this is an example, and the content of the effect DB 35 is not limited to this.
出力表示部14は、検索条件に従って抽出された動画素材を表示する、表示装置に表示される画面である。詳細は後述するが、検索された動画素材を表示する動画素材リスト部、ユーザが任意に動画素材の配列を変更し、また任意に他の画像を追加できる動画素材順番表示部、及びユーザが動画素材にコメントを記載するためのコメント枠等を有する。   The output display unit 14 is a screen displayed on the display device that displays the moving image material extracted according to the search condition. As will be described in detail later, a moving image material list portion that displays the searched moving image material, a moving image material order display portion that allows the user to arbitrarily change the arrangement of the moving image material, and optionally add other images, and a user to move the moving image It has a comment frame or the like for writing a comment on the material.
以上説明したように、本発明の一実施形態に係る動画編集装置10は、上述したシステム構成を有し、また、記憶部13のそれぞれのDBに、上述の各種データを記憶する。そして、動画編集装置10では、これらのDBを備えることにより、あるテーマ等が検索条件として入力されると、その検索条件に合致して展開される面白みのある複数の動画素材が自動的に選択され、リスト化されて表示される。   As described above, the moving image editing apparatus 10 according to an embodiment of the present invention has the above-described system configuration, and stores the above-described various data in each DB of the storage unit 13. In the video editing apparatus 10, by providing these DBs, when a certain theme or the like is input as a search condition, a plurality of interesting video materials that are developed in accordance with the search condition are automatically selected. Are displayed in a list.
なお、本発明の一実施形態に係る動画編集装置10は、上記システム構成を充足するディスプレイ装置とパーソナルコンピュータ(以下、パソコンと記す場合がある。)本体が分離したデスクトップ・タイプ・パソコン、又はディスプレイとパソコン本体が一つになった、いわゆるノート・タイプ・パソコンのいずれであっても良い。この場合、ディスプレイ装置又はディスプレイ部の画面が、入力部11及び出力表示部14を兼ねる。一方、パソコン本体が処理部12及び記憶部13である。さらに、本発明の一実施形態に係る動画編集装置10は、ディスプレイを有する携帯型情報端末(Personal_Digital_Assistants)や携帯電話であっても良く、また、上記要件を充足するディスプレイを有する他の情報端末であっても良い。   Note that the moving image editing apparatus 10 according to an embodiment of the present invention is a desktop type personal computer or display in which a display device and a personal computer (hereinafter sometimes referred to as a personal computer) satisfying the above system configuration are separated. And a so-called notebook type personal computer in which the personal computer body is united. In this case, the screen of the display device or the display unit also serves as the input unit 11 and the output display unit 14. On the other hand, the personal computer main body is the processing unit 12 and the storage unit 13. Furthermore, the moving image editing apparatus 10 according to an embodiment of the present invention may be a portable information terminal (Personal_Digital_Assistants) or a mobile phone having a display, or another information terminal having a display that satisfies the above requirements. There may be.
以下、動画編集装置10を用いた動画編集動作について説明する。本発明の一実施形態に係る動画編集装置10の動画編集動作は、大きくシーン構成動作と、シーン再生動作に区分される。また、これらの動作の前提として、動画編集装置10に読み込まれる映像素材から連続する複数のショットを抽出し、ショットメタデータを抽出してショットメタデータDB30に記憶するショット情報自動抽出動作、及び、シーンを構成する際に、映画の編集ノウハウを有しないユーザであってもカット構成パターンを作成できるようにするカット構成パターン自動生成動作が含まれる。以下、それぞれの動作を各部の動作を基に説明する。   Hereinafter, a moving image editing operation using the moving image editing apparatus 10 will be described. The moving image editing operation of the moving image editing apparatus 10 according to the embodiment of the present invention is roughly divided into a scene composition operation and a scene reproduction operation. Further, as a premise of these operations, a shot information automatic extraction operation of extracting a plurality of continuous shots from video material read into the video editing device 10, extracting shot metadata, and storing it in the shot metadata DB 30, and When a scene is composed, an automatic cut composition pattern generation operation is included that enables a user who does not have movie editing know-how to create a cut composition pattern. Hereinafter, each operation will be described based on the operation of each unit.
[ショット自動抽出動作]
上述したように、映像素材には、1つの映像素材の中に複数のショットが存在することが多い。例えば、子供の運動会を撮影したテープにおいては、学校の全景ショット、開会式のショット、徒競走のショット、家族みんなでの昼食のショット等、様々なショットが含まれるのが一般的である。従って、例えば子供の成長を、毎年の運動会の様子によって編集して表現する場合、何年分ものテープから必要な箇所を抽出し、それぞれを編集で繋げる作業は、編集ノウハウを有しない者には非常に困難である。本発明の一実施形態に係る動画編集装置10は、かかる編集を容易にするために、映像素材をショット毎に自動的に分割してデータベースに記録し、且つ、後に目的の編集が自動的に行えるように、ショット毎のショットメタデータを自動的に作成する機能を有する。この機能を果すのが、処
理部12のショット自動認識部21及びショットメタデータ抽出部22と、記憶部13のショットメタデータDB30及び画像DB31である。図4に破線で示すように、便宜上、これらをショット情報自動抽出システム40という。図4を基に説明する。
[Automatic shot extraction]
As described above, a video material often includes a plurality of shots in one video material. For example, a tape shot of a children's athletic meet generally includes various shots such as a panoramic shot of a school, an opening ceremony shot, a race run shot, and a lunch shot for the whole family. Therefore, for example, when expressing the growth of a child by editing it according to the state of the athletic meet every year, the work of extracting the necessary parts from the tapes for years and connecting them by editing is for those who do not have editing know-how. It is very difficult. In order to facilitate such editing, the moving image editing apparatus 10 according to an embodiment of the present invention automatically divides video material into shots and records them in a database, and later, target editing is automatically performed. It has a function to automatically create shot metadata for each shot so that it can be performed. The automatic shot recognition unit 21 and the shot metadata extraction unit 22 of the processing unit 12 and the shot metadata DB 30 and the image DB 31 of the storage unit 13 fulfill this function. As indicated by broken lines in FIG. 4, these are referred to as a shot information automatic extraction system 40 for convenience. This will be described with reference to FIG.
映像素材が入力部11の映像素材エントリー画面からエントリーされる。この時、映像素材エントリー画面には、少なくとも撮影された内容、撮影場所、撮影日時を入力するフィールドが表示される。さらに、撮影の対象となったキーオブジェクトの名称等を入力できるようにしても良い。エントリーされた映像素材は、ショット情報自動抽出部20のショット情報自動認識部21において分析されて、ショット毎に分割される。映像は複数の連続した画像から構成されている。デジタルカメラ等において、人間の顔を抽出したり、それぞれの顔の特徴を分析したりすることができることは良く知られている。いわゆる顔認識技術である。また、画像をドットの集合と認識し、各ドットの色彩、配列等から山や海といった背景を抽出する画像認識技術もよく知られている。ショット自動認識部21は、かかる技術に基づいて映像素材を1つずつの画像に分割し、それぞれの画像からキーオブジェクトと背景を分離する。これによって、画像ごとの情報記述であるメタデータを抽出する。メタデータの内容の概略については、既に述べているので詳細は省略する。   The video material is entered from the video material entry screen of the input unit 11. At this time, on the video material entry screen, fields for inputting at least the captured content, the shooting location, and the shooting date and time are displayed. Further, it may be possible to input the name of the key object to be photographed. The entered video material is analyzed by the shot information automatic recognition unit 21 of the shot information automatic extraction unit 20 and divided for each shot. The video is composed of a plurality of continuous images. It is well known that a digital camera or the like can extract human faces and analyze the characteristics of each face. This is so-called face recognition technology. An image recognition technique for recognizing an image as a set of dots and extracting a background such as a mountain or the sea from the color or arrangement of each dot is also well known. The automatic shot recognition unit 21 divides the video material into images one by one based on this technique, and separates the key object and the background from each image. Thus, metadata that is an information description for each image is extracted. Since the outline of the content of the metadata has already been described, the details are omitted.
次に、ショット情報自動認識部21は、連続する2つの画像ごとに、メタデータを比較し、前後の画像のメタデータの差分を取る。この時、前後の画面でメタデータの内容が大きく異なっている場合、前の画像と後の画像は、異なるショットの画像であると判断し、この箇所で1ショットが終了したと判断する。上述した映像素材からショットを抜き出す例を、図を基に説明する。図8は、本発明の一実施形態に係る画像編集装置10における、ショット抽出の一例を示す図である。図8の第3画面と、第4画面では、キーオブジェクトの位置が大きく異なり、従って、第3画面で前のショットが終了し、第4画面から新たなショットが開始していることが判別できる。これを映像素材全体について実施することで、映像素材をショット毎に分割する。分割されたショットには、それぞれショット番号及びショットの開始・終了時間のデータが付与され、ショットメタデータ抽出部22に転送される。   Next, the shot information automatic recognition unit 21 compares the metadata for every two consecutive images, and obtains the difference between the metadata of the preceding and succeeding images. At this time, if the contents of the metadata are largely different between the previous and next screens, it is determined that the previous image and the subsequent image are images of different shots, and it is determined that one shot has been completed at this location. An example of extracting a shot from the above-described video material will be described with reference to the drawings. FIG. 8 is a diagram showing an example of shot extraction in the image editing apparatus 10 according to an embodiment of the present invention. The position of the key object is greatly different between the third screen in FIG. 8 and the fourth screen. Therefore, it can be determined that the previous shot is finished on the third screen and a new shot is started from the fourth screen. . By performing this for the entire video material, the video material is divided for each shot. Each of the divided shots is given a shot number and shot start / end time data, and is transferred to the shot metadata extraction unit 22.
ショットメタデータ抽出部22は、ショット番号によって1ショットを認識し、1ショット毎に、そのショットの連続する画像に共通するデータであるショットメタデータを作成する。1ショット内のそれぞれ画像のメタデータを比較し、また連続する2つの画像におけるキーオブジェクトの位置や大きさ等から、撮影しているカメラが何れの方向に移動しているかの情報(カメラ移動データ)や、アップやフルショットといった、いわゆるショットのタイプ情報(オブジェクトショットデータ)を得る。図9は、ショットメタデータの一例である。上述した方法によって、ショット毎のショットメタデータを作成するが、ショットメタデータのキーオブジェクト情報は、オブジェクトリストに記述されているオブジェクトごとに作成する。ショットメタデータのうち、内容、撮影場所、撮影日時、オブジェクトネームは、ユーザによって映像素材のエントリー時に入力フィールドから入力されたデータである。   The shot metadata extraction unit 22 recognizes one shot based on the shot number, and creates shot metadata that is data common to consecutive images of the shot for each shot. Compare the metadata of each image in one shot, and information on which direction the camera is moving based on the position and size of the key object in two consecutive images (camera movement data ) And so-called shot type information (object shot data) such as up shot and full shot. FIG. 9 is an example of shot metadata. The shot metadata for each shot is created by the above-described method. The key object information of the shot metadata is created for each object described in the object list. Among the shot metadata, the content, shooting location, shooting date and time, and object name are data input from the input field by the user when the video material is entered.
作成されたショットメタデータは、記憶部13のショットメタデータDB30に記憶され、また、画像データ自体は、画像DB31に保存される。なお、画像DB31には、膨大な画像データの中から、目的の画像を素早く抽出できるように、ショットの主要なデータだけを記録するショットデータファイル32が設けられ、所要なショットデータが保存される。   The created shot metadata is stored in the shot metadata DB 30 of the storage unit 13, and the image data itself is stored in the image DB 31. The image DB 31 is provided with a shot data file 32 that records only main data of a shot so that a target image can be quickly extracted from a large amount of image data, and necessary shot data is stored. .
なお、本実施形態においては、画像編集装置10に既にたくさんの映像素材がエントリーされている場合において新たに映像素材がエントリーされた場合に、ショット自動認識部21及びショットメタデータ抽出部22が、ショットメタデータDB30及び画像DB
31を検索するようにしても良い。即ち、映像素材がエントリーされた場合、ショット自動認識部21及びショットメタデータ抽出部22は、分割した各画像や各ショットについて、抽出された画像毎のメタデータやショット毎のショットメタデータに基づいて、近似するメタデータ又はショットメタデータを有する画像やショットを検索する。検索された画像又はショットのキーオブジェクトと分割された画像やショットのキーオブジェクトとを比較することで、同一のキーオブジェクトを検索できる。従って、映像素材のエントリーに際して、例えばオブジェクトネームが入力されなかった場合でも、欠落しているオブジェクトネームを自動的に付加することができる。これは一例であるが、このように既に蓄積されたデータを検索し、不足しているデータを自動的に付加することで、映像素材エントリー時のユーザの操作を軽減できる。付加に際して確認画面を表示し、ユーザの確認を得ることでより精度を向上できる。従って、ショット情報自動抽出システム40には、ショットメタデータDB30に加えて画像DB31が含められる。
In the present embodiment, when a large number of video materials have already been entered in the image editing apparatus 10 and a new video material has been entered, the automatic shot recognition unit 21 and the shot metadata extraction unit 22 Shot metadata DB 30 and image DB
31 may be searched. That is, when the video material is entered, the automatic shot recognition unit 21 and the shot metadata extraction unit 22 are based on the extracted image metadata and shot shot metadata for each divided image and each shot. Thus, an image or shot having approximate metadata or shot metadata is searched. The same key object can be searched by comparing the searched image or shot key object with the divided image or shot key object. Therefore, when an image material is entered, for example, even if an object name is not input, a missing object name can be automatically added. This is an example, but by searching the already accumulated data and automatically adding the missing data in this way, the user's operation at the time of video material entry can be reduced. The accuracy can be improved by displaying a confirmation screen upon addition and obtaining confirmation from the user. Therefore, the shot information automatic extraction system 40 includes the image DB 31 in addition to the shot metadata DB 30.
[シーン構成動作]
入力部11に検索条件が入力されると、本画像編集装置10のシーン構成部23は、検索条件を基に、記憶部13の各DBに記憶されているデータを検出して、その検索条件に合致して展開される複数の動画素材を選択し、シーン記述情報としてシーン再生部24に転送する。そして、本発明の一実施形態に係る動画編集装置10は、動画素材の自動選択に際して、複数の検索条件が入力された場合には、効果DB、関連性DB、そして画像DBの順で検索を行い、検索条件にマッチする関連性データ(すなわち、動画素材の並びを指定するデータ)、または/および動画素材を選び、検索条件に対してマッチする項目が多い順に並べるように構成されている。
[Scene composition operation]
When a search condition is input to the input unit 11, the scene composition unit 23 of the image editing apparatus 10 detects data stored in each DB of the storage unit 13 based on the search condition, and the search condition A plurality of moving image materials developed in conformity with the above are selected and transferred to the scene reproduction unit 24 as scene description information. Then, the moving image editing apparatus 10 according to an embodiment of the present invention performs a search in the order of the effect DB, the relevance DB, and the image DB when a plurality of search conditions are input during automatic selection of the moving image material. The relevance data that matches the search condition (that is, data that specifies the arrangement of moving picture materials) and / or moving picture material is selected, and the relevance data is arranged in descending order of the items that match the search conditions.
より具体的には、検索条件にマッチする動画素材が複数検索された場合には、動画素材の展開パターンを記憶部13の効果DB35に記憶されている評価の高い順に表示することを特徴とする。また、複数の検索条件が入力された場合には、まず全ての条件を満たすデータが先に並べられ、以下検索条件にマッチする項目の多いデータ順に並べられる。そして、検索条件にマッチする項目数が同じデータ同士については、前述の効果DB35に記憶された評価の高い順に並べられることを特徴とする。しかも、表示順の基準となる効果は、ユーザによって選択された回数等に応じて自動的に更新されることを特徴とする。さらに、動画編集の知識のないユーザであってもプロ並みの編集動画を作成することができるように、選択されたデータが、一定の編集ルールに基づいて不必要な画面が自動的にカットされて、視覚的に美しい(言い換えれば、見やすい。)映像が表示されることを特徴とする。   More specifically, when a plurality of moving image materials that match the search condition are searched, the development patterns of the moving image materials are displayed in order of the highest evaluation stored in the effect DB 35 of the storage unit 13. . In addition, when a plurality of search conditions are input, data satisfying all the conditions is first arranged first, and then arranged in the order of data having many items that match the search conditions. Then, data having the same number of items that match the search condition are arranged in descending order of evaluation stored in the effect DB 35 described above. In addition, the effect as a reference of the display order is automatically updated according to the number of times selected by the user. Furthermore, unnecessary screens are automatically cut based on certain editing rules so that even users without video editing knowledge can create professional-looking edited videos. Thus, a visually beautiful (in other words, easy to see) video is displayed.
図4及び図10を基に、具体的に説明する。図10は、本発明の一実施形態に係る動画編集装置10の入力部11の一例である。図10においては、検索条件入力画面が表示された状態を示す。ユーザが、図4の入力部11のGUI画面から、ファンクションキーやボタンとして表示された検索条件入力画面を選択することで、図10に示す検索条件入力画面が表示される。この画面から入力された検索条件が、シーン構成部23に転送される。シーン構成部23は、記憶部13のショットメタデータDB30、関連性DB34及び効果DB35を検索し、検索条件にマッチするショットメタデータを選択し、さらに入力されたテーマ条件で当該ショットと以前に映像を構成した関連性を有するショットメタデータが抽出される。シーン構成部23は、同時にカット構成パターンDB33を検索し、入力されたテーマに沿って効果的に演出するためにカット構成パターンを選択する。検索結果は、上述したように効果の高い順で検索項目にマッチする項目の多い順に並べられる。そして、次に、並び順がカット構成パターンに沿って組立てられ、シーン構成ルール部25から提供されるシーン構成ルールに基づいてルールに合致しない画像を除外される。そして、検索条件に合致するショットを所定の順番で再現できるように、シーンを再現するために必要な情報要素であるシーン記述情報を作成する。   This will be specifically described with reference to FIGS. FIG. 10 is an example of the input unit 11 of the moving image editing apparatus 10 according to an embodiment of the present invention. FIG. 10 shows a state where the search condition input screen is displayed. When the user selects a search condition input screen displayed as a function key or button from the GUI screen of the input unit 11 in FIG. 4, the search condition input screen shown in FIG. 10 is displayed. The search condition input from this screen is transferred to the scene construction unit 23. The scene composition unit 23 searches the shot metadata DB 30, the relevance DB 34, and the effect DB 35 in the storage unit 13, selects shot metadata that matches the search conditions, and further records the shot and the previous video with the input theme condition. The shot metadata having the relevance that constitutes is extracted. The scene composition unit 23 searches the cut composition pattern DB 33 at the same time, and selects a cut composition pattern in order to effectively produce the input theme. As described above, the search results are arranged in descending order of the items matching the search items in the order of high effect. Next, images that do not match the rule are excluded based on the scene composition rule provided by the scene composition rule unit 25, with the arrangement order assembled along the cut composition pattern. Then, scene description information, which is an information element necessary for reproducing the scene, is created so that shots that match the search conditions can be reproduced in a predetermined order.
ここで、シーン構成ルールは、自動編集を行い、シーンを作成するためのルールである。例えば、撮影した時系列に並べる、ロングのショットは除外する、アップショットの後にはミディアムのショットを続ける等である。図11にシーン構成ルールの一例を示す。図11から把握されるように、かかるルールは編集した映像を見やすくするルールであり、また、編集時に例えば映像に音楽を付ける場合の絶対条件等である。従って、予め提供され、シーン構成ルール部25に記憶されるが、一部のルールについては、検索条件入力時に、例えば映像に付ける音楽の時間等に合わせて時間条件を入力することで設定されるようにしても良い。   Here, the scene configuration rule is a rule for performing automatic editing and creating a scene. For example, the shots are arranged in chronological order, long shots are excluded, medium shots are continued after up shots, and the like. FIG. 11 shows an example of the scene configuration rule. As can be understood from FIG. 11, such a rule is a rule that makes it easy to see the edited video, and is an absolute condition when music is added to the video at the time of editing. Therefore, although it is provided in advance and stored in the scene composition rule unit 25, some rules are set by inputting a time condition in accordance with, for example, the time of music to be added to a video when inputting a search condition. You may do it.
カット構成パターンは、シーンを作成するために選択されるショットを効果的に演出するための組合せパターンである。映画においては、映画の撮影に先立って、実際のショットの組合せパターンを記載した絵コンテが作られ、絵コントを基に映像が撮影される。絵コンテは、映画のショットの構図や撮影内容、ショットの時間が記述されており、例えば、カットの識別子である「カット番号」、どのような映像を撮影するかを記述した「映像の概略」、セリフや音声の効果を記述した「音声」、カットの時間を指定する「秒数」等が代表的な項目である。即ち、言い換えれば、カット構成パターンは、シーンを作成するために選択されるショットメタデータの情報要素上の内容をパターンとして記述したものである。
本動画編集装置10も、映画と同様に絵コンテに相当するカット構成パターンによって、編集が行われる。そして、本発明の一実施形態にかかる動画編集装置10は、このカット構成パターンを自動生成する機能を有するが、詳細については後述する。
The cut composition pattern is a combination pattern for effectively producing a shot selected for creating a scene. In a movie, prior to filming a movie, a storyboard describing the actual shot combination pattern is created, and a video is shot based on the picture controller. The storyboard describes the composition of the shot of the movie, the contents of the shooting, and the time of the shot. Typical items are “voice” describing the effects of speech and voice, “seconds” for specifying the cut time, and the like. In other words, in other words, the cut composition pattern is a description of the content on the information element of the shot metadata selected for creating a scene as a pattern.
The moving image editing apparatus 10 is also edited by a cut composition pattern corresponding to a storyboard like a movie. The moving image editing apparatus 10 according to an embodiment of the present invention has a function of automatically generating this cut configuration pattern, and details thereof will be described later.
カット構成パターンの内容は、一例として次のようなものが挙げられる。まず、シーンは上述したように複数のカットから構成されるため、カット構成パターンは、シーンを記述する内容の情報をメタデータとして持つ。例えば、「シーンタイトル」「シーンタイプ」「シーン効果」である。シーンタイトルは、まさにシーンの表題であり、例えば「二人の人物の会話」「走る人物」「愛し合う二人」等である。シーンタイプは、当該シーンの状況等を説明する内容であり、また、編集時に当該シーンを利用できる情報とも言え、例えば、「会話」「覗き見」といった記述である。また、シーン効果は、シーンが持つ効果の記述で、例えば「サスペンス」「お笑い」等である。これらの情報は、映像素材のエントリー時に、入力画面からユーザによって入力された内容に基づく。   Examples of the contents of the cut composition pattern include the following. First, since a scene is composed of a plurality of cuts as described above, the cut composition pattern has information of contents describing the scene as metadata. For example, “scene title”, “scene type”, and “scene effect”. The scene title is exactly the title of the scene, such as “conversation between two people”, “running person”, “two people in love”, and the like. The scene type is content that describes the situation of the scene and the like, and can be said to be information that can use the scene at the time of editing, and is, for example, a description such as “conversation” and “peek”. The scene effect is a description of the effect of the scene, such as “suspense” or “comedy”. These pieces of information are based on contents input by the user from the input screen at the time of entry of the video material.
また、カット構成パターンには、映画の絵コンテと同様に、次のような内容の情報が記述される。即ち、カットのシーケンス(順序番号)である「カット番号」。カットとして採用される映像の構成要素を記述した「ショット構成パターン」。ショットの構成パターンにマッチするショットがショットメタデータDB30から見つからない場合に、カットに空白が生まれないようにするためにどのようなショットで埋め合わせるか、ショット構成パターンを複数記述した「オルタナティブショット構成パターン」。カットの秒数である「秒数」等である。このうち、ショット構成パターンは、カットとして編集される前の、ショットの構成内容であり、ショットメタデータの各構成要素に基づいて構成された情報である。ショットメタデータの、オブジェクトタイプ(一例として、「人物」)、オブジェクトネーム(一例として、「翔太」)、オブジェクトショット(一例として、「フル」)、オブジェクト移動(一例として、「前」)のデータから構成されたショット構成パターンの場合、「息子の翔太が画面上で向こうからフルショットでやってくる」映像が選択されることになる。   In the cut composition pattern, the following information is described as in the case of a movie storyboard. That is, a “cut number” that is a cut sequence (order number). A “shot composition pattern” that describes the components of a video used as a cut. “Alternative shot configuration pattern” that describes a plurality of shot configuration patterns describing what shots should be filled in order to prevent blanks from being generated in the cut when a shot that matches the shot configuration pattern is not found in the shot metadata DB 30 " For example, “seconds” which is the number of seconds for cutting. Among these, the shot configuration pattern is the configuration content of the shot before being edited as a cut, and is information configured based on each component of the shot metadata. Shot metadata data of object type (for example, “person”), object name (for example, “Shota”), object shot (for example, “full”), object movement (for example, “front”) In the case of the shot composition pattern composed of the above, the image “Sonta's son Shota comes in full shot from the other side on the screen” is selected.
入力された検索条件に応じて、シーン構成部23によって、上述したようなカット構成パターンがカット構成パターンDB33から選択される。同時に、シーン構成部23によって、効果DB35が検索され、さらに関連性DB34が検索される。これによって、検
索条件にマッチするデータが、カット構成パターンに沿って、効果の高い順に並べ替えられる。また、関連性DB34を検索することで、選択されたデータと関連性のあるデータの有無が検索される。即ち、複数の動画素材同士を特定の順序で並べてあるテーマの動画にした場合の、これら複数の動画素材の並び順である関連性データによって、検索条件として入力されたテーマに沿って以前に一度並べられた他のデータとその並び順を把握することができる。従って、関連性データが存在する場合には、かかる他の動画素材も検索結果の動画素材の列に加えられる。シーン構成部23は、抽出された関連性データに存在する他の動画素材のショットメタデータを、ショットメタデータDB30から選択する。そしてカット構成パターンに適合するように抽出して動画素材の配列を構成する。さらに、シーン構成ルール部25から提供されたシーン構成ルールに基づいて、ショットの配列をルールに適合するように並べ替える。そして、その並びに従って、各シーンを再生するために必要な情報要素であるシーン記述情報を作成する。
In accordance with the input search condition, the scene composition unit 23 selects the cut composition pattern as described above from the cut composition pattern DB 33. At the same time, the scene composition unit 23 searches the effect DB 35 and further searches the relevance DB 34. As a result, the data that matches the search condition is rearranged in the descending order of effectiveness along the cut composition pattern. Further, by searching the relevance DB 34, the presence / absence of data related to the selected data is searched. In other words, when a plurality of video materials are arranged in a specific order and made into a theme video, the relevance data, which is the arrangement order of the plurality of video materials, is used once according to the theme input as a search condition. It is possible to grasp other data arranged and the order of arrangement. Therefore, when there is relevance data, such other moving image material is also added to the moving image material row of the search result. The scene configuration unit 23 selects shot metadata of other moving image material existing in the extracted relevance data from the shot metadata DB 30. Then, extraction is performed so as to match the cut composition pattern, and an array of moving image materials is constructed. Further, based on the scene composition rule provided from the scene composition rule unit 25, the shot arrangement is rearranged so as to conform to the rule. Then, according to the arrangement, scene description information which is an information element necessary for reproducing each scene is created.
上述したとおり、シーン記述情報は、シーンを再生するために必要な情報が記述されており、大きく分けて、選択されたショット情報(ショット番号等)、各ショットの配置順、ショットの秒数(ショットの開始・終了時間)等から構成される。シーン構成部23によって作成されたシーン情報記述はシーン再生部24に転送され、シーン記述情報を受け取ったシーン再生部24は、シーン記述情報に基づいて、記憶部13の画像DB31から必要なショットを選択し、シーン記述情報に記述された順番で、選択したショットを出力表示部14に表示する。   As described above, the scene description information describes information necessary for reproducing a scene. The scene description information is roughly divided into selected shot information (shot number and the like), the arrangement order of each shot, and the number of shot seconds ( Shot start / end time). The scene information description created by the scene construction unit 23 is transferred to the scene playback unit 24, and the scene playback unit 24 that has received the scene description information captures necessary shots from the image DB 31 of the storage unit 13 based on the scene description information. The selected shots are displayed on the output display unit 14 in the order described in the scene description information.
以上が、本発明の一実施形態に係る動画編集装置10におけるシーン構成動作であり、かかるシーン構成動作に関わるシーン構成部23、シーン構成ルール部25及び記憶部13を総称して、シーン構成システム50という。図4に一点鎖線で示した部分が、シーン構成システム50である。なお、シーン構成システム50が構成するのは、あくまでも検索条件に適合したショット番号やショットの配列順等であり、動画であるショット自体の画像データを直接選択して配列するわけではない。かかる動作は、後述するシーン再生動作であり、他のシステムが担当する。   The above is the scene composition operation in the moving image editing apparatus 10 according to the embodiment of the present invention. The scene composition unit 23, the scene composition rule unit 25, and the storage unit 13 related to the scene composition operation are collectively referred to as a scene composition system. 50. A portion indicated by a one-dot chain line in FIG. It should be noted that the scene configuration system 50 is configured only with shot numbers and shot arrangement order that match the search conditions, and does not directly select and arrange image data of shots themselves that are moving images. Such an operation is a scene reproduction operation to be described later, and is handled by another system.
[シーン再生動作]
次に、本発明に一実施形態に係る動画編集装置10によるシーン再生動作について、説明する。上述したように、処理部12のシーン構成部23によって、検索条件に適合するショットが記憶部13の各種データベースから選択され、出力表示の際の順番も含めてシーン記述情報としてシーン再生部24に出力される。シーン再生部24は、シーン記述情報に記述された目的の映像データを、画像DB31のショットデータファイル32を基に抽出し、シーン記述情報に記述された順番で出力表示部14に表示する。即ち、シーン再生部24は、シーン記述情報で提供されたショット番号等によって目的のショットを画像DB31から抽出し、抽出したショットをシーン記述情報で指定された順によって出力表示部14に出力する。
[Scene playback operation]
Next, a scene reproduction operation by the moving image editing apparatus 10 according to an embodiment of the present invention will be described. As described above, the scene composing unit 23 of the processing unit 12 selects a shot that matches the search condition from various databases in the storage unit 13 and sends it to the scene reproducing unit 24 as scene description information including the order of output display. Is output. The scene reproduction unit 24 extracts the target video data described in the scene description information based on the shot data file 32 of the image DB 31 and displays it on the output display unit 14 in the order described in the scene description information. That is, the scene reproduction unit 24 extracts a target shot from the image DB 31 based on the shot number provided in the scene description information, and outputs the extracted shot to the output display unit 14 in the order specified by the scene description information.
出力表示部14は、シーン再生部24から転送されたショットを順に表示する。なお、上述したように、出力表示部14には、動画素材順番表示部が設けられ、ユーザが任意に検索されたショットの配列を変更し、又はコメント入力することもできる。このように配列が変更された場合や、別の動画素材が追加された場合、シーン記述情報が書き換えられたことになる。従って、最終的にユーザによって配列の変更や動画素材の追加が承認(即ち、画面上で決定ボタンがクリックされたことを意味する。)された場合、このシーン記述情報が出力表示部14からシーン構成部23にフィードバックされる。そして、シーン構成部23によって、ショットメタデータ、関連性データ、効果データとして書き加えられる。それぞれのデータは、ショットメタデータDB30、関連性DB34、効果DBに記憶される。かかるフィードバック機能により、カット構成パターン、関連性データ及び
効果データが追加されることで、本動画編集装置10の自動編集機能が益々高まっていく。
The output display unit 14 displays the shots transferred from the scene playback unit 24 in order. As described above, the output display unit 14 is provided with the moving image material order display unit, and the user can arbitrarily change the arrangement of shots searched or input a comment. When the arrangement is changed in this way or when another moving picture material is added, the scene description information is rewritten. Therefore, when the user finally approves the change of the arrangement or the addition of the moving image material (that means that the decision button is clicked on the screen), the scene description information is sent from the output display unit 14 to the scene. Feedback is provided to the configuration unit 23. Then, the scene composition unit 23 adds the shot metadata, relevance data, and effect data. Each data is stored in the shot metadata DB 30, the relevance DB 34, and the effect DB. By adding the cut composition pattern, the relevance data, and the effect data by the feedback function, the automatic editing function of the moving image editing apparatus 10 is further increased.
以上が本動画編集装置10におけるシーン再生動作であり、かかるシーン再生動作に直接関連する(即ち、フィードバック機能を除く。)シーン再生部24、画像DB31及び出力表示部14を、便宜上シーン再生システム60という。図4において、2点鎖線で囲んだ部分がシーン再生システム60である。   The above is the scene reproduction operation in the moving image editing apparatus 10, and the scene reproduction system 24, the image DB 31, and the output display unit 14 directly related to the scene reproduction operation (that is, excluding the feedback function), the scene reproduction system 60 for convenience. That's it. In FIG. 4, a portion surrounded by a two-dot chain line is the scene reproduction system 60.
[カット構成パターン自動生成動作]
上述したように、シーン構成にあたって、動画編集知識のないユーザが、プロのような編集をすることは非常に困難である。本動画編集装置10におけるシーン構成は、カット構成パターンに基づいてシーン構成部23で行われるが、本動画編集装置10は、上述したようにカット構成パターン自動生成機能を有する。以下、このカット構成パターン自動生成動作について説明する。
[Cut composition pattern automatic generation operation]
As described above, it is very difficult for a user who does not have moving image editing knowledge to edit like a professional in scene composition. The scene configuration in the moving image editing apparatus 10 is performed by the scene configuration unit 23 based on the cut configuration pattern, but the moving image editing apparatus 10 has a cut configuration pattern automatic generation function as described above. Hereinafter, this automatic cut composition pattern generation operation will be described.
上述したように、本動画編集装置10は、処理部12内にショットの自動認識を行うショット自動認識部21を有する。このショット自動認識部21は、既に説明したように、顔認識技術及び画像認識技術に基づいて、映像素材中の複数のショットをショット毎に分割し、且つ、ショット内の一つ一つの画像のメタデータの差分を抽出することができる。このショット自動認識部21及びショットメタデータ抽出部22によって、既存の映画のシーンで使われているカット割りからカット構成パターンを作り出すことができる。   As described above, the moving image editing apparatus 10 includes the automatic shot recognition unit 21 that automatically recognizes shots in the processing unit 12. As described above, the automatic shot recognition unit 21 divides a plurality of shots in the video material into shots based on the face recognition technology and the image recognition technology, and each of the images in the shots. Metadata differences can be extracted. The automatic shot recognition unit 21 and the shot metadata extraction unit 22 can create a cut composition pattern from cuts used in an existing movie scene.
図を基に詳細に説明する。図12は、本発明の一実施形態に係る動画編集装置10におけるカット構成パターン自動生成を示す概略図である。まず、入力部11(図示せず。)の映像素材エントリー画面から、既存の映画のシーンを入力する。例えば、ユーザが大好きなシーンを入力する。また、本動画編集装置10が、デジタル放送を録画できるパソコンであれば、ハードディスクに記憶した映像を指定して呼び出すだけでよい。図12においては、4つのショットを有する映像素材を例示的に示している。この時、映像素材エントリー画面には、エントリーした映像素材のシーンタイトル、シーンタイプ、シーン効果等のシーン情報を入力するフィールドが表示され、それぞれの情報をユーザが入力する。次に、エントリーされた映像素材のシーンの中から、ユーザがカット構成パターンとして作成したいシーンを指定する。エントリーした映像素材が、画面上に順番にサムネイル表示されるので、目的のシーンの初めと終わりを指定するだけで良い。   This will be described in detail with reference to the drawings. FIG. 12 is a schematic diagram showing automatic generation of cut configuration patterns in the moving image editing apparatus 10 according to an embodiment of the present invention. First, an existing movie scene is input from the video material entry screen of the input unit 11 (not shown). For example, a scene that the user likes is input. Further, if the moving image editing apparatus 10 is a personal computer capable of recording a digital broadcast, it is only necessary to designate and call the video stored in the hard disk. FIG. 12 exemplarily shows a video material having four shots. At this time, fields for inputting scene information such as a scene title, a scene type, and a scene effect of the entered video material are displayed on the video material entry screen, and the user inputs each information. Next, a scene that the user wants to create as a cut composition pattern is designated from the entered scenes of the video material. Since the entered video material is displayed as thumbnails in order on the screen, it is only necessary to specify the beginning and end of the target scene.
ショット情報自動抽出部20のショット自動認識部21は、エントリーされたシーンを上述した方法でショットに分割し、各ショットの時間を計測する。ショット番号及びショットの開始・終了時間(ショットの秒数)のデータが抽出される。このデータは、カット構成パタ―ン生成部25に転送される。ショット時間の計測が終了したショットは、ショットメタデータ抽出部22において次の処理が行われ、各ショットに対するショットメタデータが作成される。作成されたショットメタデータは記憶部13のショットメタデータDB30に記憶されるとともに、カット構成パターン生成部25に転送される。カット構成パターン生成部25は、ショット自動認識部21から転送されたショット番号、ショット開始・終了時間のデータと、ショットメタデータとを合成して、カット構成パターンを生成する。図12においては、4つのショットから、図12下側に示すカット構成パターンが生成される。図12には図示しないが、生成されたカット構成パターンは記憶部13のカット構成パターンDB33に記憶される。このようにして、多数の映画シーンからカット構成パターンを生成して記憶する。   The automatic shot recognition unit 21 of the automatic shot information extraction unit 20 divides the entered scene into shots by the method described above, and measures the time of each shot. Data of the shot number and shot start / end time (shot seconds) is extracted. This data is transferred to the cut composition pattern generation unit 25. For shots for which shot time measurement has been completed, the shot metadata extraction unit 22 performs the following processing to create shot metadata for each shot. The created shot metadata is stored in the shot metadata DB 30 of the storage unit 13 and transferred to the cut composition pattern generation unit 25. The cut composition pattern generation unit 25 synthesizes the shot number and shot start / end time data transferred from the automatic shot recognition unit 21 and the shot metadata to generate a cut composition pattern. In FIG. 12, the cut composition pattern shown in the lower part of FIG. 12 is generated from four shots. Although not shown in FIG. 12, the generated cut configuration pattern is stored in the cut configuration pattern DB 33 of the storage unit 13. In this way, cut composition patterns are generated from a large number of movie scenes and stored.
カット構成パターンは、シーンの抽象的な表現でもあるので、同じシーン情報に対して複数の映画などのカット構成パターンを得ることができる。本動画編集装置10は、統計
分析機能を有し、シーン情報ごとに、それらのカット構成パターンの統計を採って分析することができる。即ち、映画の中でシーンがどのように構成されているかについての情報的な分析を行う。例えば、シーン効果「サスペンス」というシーン情報を有する蓄積されたカット構成パターンを分析することによって、映画の中でサスペンスシーンがどのようにして盛り上げられているか、アクションシーンがどのようなショットの連続によって構成されているかといった、映画のテクニックを定量的に分析することができる。そして、分析した結果をカット構成パターンにフィードバックすることで、カット構成パターンを充実させることができる。以上が、本発明の一実施形態に係る動画編集装置10におけるカット構成パターンの自動生成動作である。
Since the cut composition pattern is also an abstract representation of the scene, a plurality of cut composition patterns such as movies can be obtained for the same scene information. The moving image editing apparatus 10 has a statistical analysis function, and can analyze the cut composition pattern statistics for each scene information. That is, an informational analysis is performed on how the scene is structured in the movie. For example, by analyzing the accumulated cut composition pattern having scene information called “Suspense”, how the suspense scene is swelled in the movie, what action scene is a series of shots You can quantitatively analyze movie techniques, such as whether they are structured. The cut configuration pattern can be enriched by feeding back the analysis result to the cut configuration pattern. The above is the automatic generation operation of the cut composition pattern in the moving image editing apparatus 10 according to the embodiment of the present invention.
[シーン構成動作及びシーン再生動作のフロー]
次に、上述したシーン構成動作及びシーン再生動作が、検索条件入力時にどのように行われるかフローチャートをもとに説明する。図13は、動画編集装置10を用いる動画編集動作を示す全体フローの概略図である。また、図14は、本発明の一実施形態に係る動画編集装置10における動画編集動作のフローの詳細図である。ここでは、図10に示した入力部11としてのGUI(Graphical_User_Interface)に、検索条件として動画のテーマが入力される場合について、図14を基に詳細に説明する。
[Flow of scene composition operation and scene playback operation]
Next, how the above-described scene composition operation and scene reproduction operation are performed when a search condition is input will be described with reference to a flowchart. FIG. 13 is a schematic diagram of an overall flow showing a moving image editing operation using the moving image editing apparatus 10. FIG. 14 is a detailed view of the flow of a moving image editing operation in the moving image editing apparatus 10 according to an embodiment of the present invention. Here, a case where a theme of a moving image is input as a search condition in the GUI (Graphic_User_Interface) as the input unit 11 illustrated in FIG. 10 will be described in detail with reference to FIG.
ステップS100において開始されると、ステップS101において、ユーザによって検索条件が入力部11から入力される。ここでは、図10に示した入力部11としてのGUIに、検索条件として、選択されたテーマである「お笑い」が指定され入力された入力ステップが実行された状態を示す。ステップS102において、動画編集装置10の処理部12のシーン構成部23は、入力部11に検索条件が入力されると、検索条件であるテーマ「お笑い」を基に、記憶部13のショットメタデータDB30を検索して、前記入力条件に合致するデータを検索する。ステップS103において、シーン構成部23は、検索結果があるか否かを判断する。検索結果がある場合ステップS104に進み、一方検索結果がない場合には、ユーザに更なる検索条件、例えばキーワードや効果等を入力させるため、ステップS101の検索条件入力画面に戻る。   When started in step S100, the search condition is input from the input unit 11 by the user in step S101. Here, a state is shown in which an input step is executed in which “comed”, which is the selected theme, is designated as a search condition in the GUI as the input unit 11 shown in FIG. In step S <b> 102, when the search condition is input to the input unit 11, the scene composition unit 23 of the processing unit 12 of the video editing device 10, based on the theme “comed” that is the search condition, shot metadata in the storage unit 13. The DB 30 is searched for data that matches the input conditions. In step S103, the scene configuration unit 23 determines whether there is a search result. If there is a search result, the process proceeds to step S104. On the other hand, if there is no search result, the process returns to the search condition input screen in step S101 in order to allow the user to input further search conditions such as keywords and effects.
ステップS104において、シーン構成部23は、さらに上記検索条件に合致する検索結果が一つだけであるか複数あるかを判断する。検索結果が一つだけの場合はステップS106に進む。一方、検索結果が複数ある場合、ステップS105において、シーン構成部23は、さらに記憶部13の効果DB35を検索し、効果DB35の検索結果に基づき、検索された複数のデータを効果の優れた順に配列する。   In step S104, the scene composition unit 23 further determines whether there is only one search result or a plurality of search results that match the search condition. If there is only one search result, the process proceeds to step S106. On the other hand, when there are a plurality of search results, in step S105, the scene composition unit 23 further searches the effect DB 35 of the storage unit 13, and based on the search results of the effect DB 35, the plurality of searched data is sorted in the order of excellent effect. Arrange.
ステップS106において、シーン構成部23は、さらに記憶部13の関連性DB34を検索し、前記検索されたデータと関連性を有する他のデータの存在を検索する。そして、ステップS107において、前記検索されたデータの配列に、関連性DB34から検索された関連するデータを追加し、併せてシーン構成ルールに適合するように不要な画像をカットする。   In step S106, the scene composing unit 23 further searches the relevance DB 34 of the storage unit 13 to search for the existence of other data having relevance with the searched data. In step S107, related data retrieved from the relevance DB 34 is added to the retrieved data array, and unnecessary images are cut so as to conform to the scene composition rule.
ステップS108において、シーン構成部23は、検索結果の配列順をショットメタデータによって記述し(即ち、検索条件に合致するショットの表示順をショットメタデータの記述として作成する。)、処理部12内のシーン再生部24に転送する。   In step S108, the scene composition unit 23 describes the arrangement order of the search results by shot metadata (that is, creates a display order of shots that match the search condition as a description of the shot metadata), and the processing unit 12 inside. To the scene playback unit 24.
転送された前記記述を受け取ったシーン再生部24は、ステップS109において、前記記述に従って記憶部13の画像DB31から検索条件に合致する画像データを抽出する。そしてステップS110において、シーン再生部24は、画像DB31から抽出された画像データを、順に出力表示部14に転送する。   In step S109, the scene playback unit 24 that has received the transferred description extracts image data that matches the search condition from the image DB 31 of the storage unit 13 in accordance with the description. In step S110, the scene playback unit 24 sequentially transfers the image data extracted from the image DB 31 to the output display unit 14.
ステップS111において、出力表示部14は、シーン再生部24から転送された画像データをGUIからなる出力表示画面上に表示する。以上のような方法によって、本動画編集装置10は、入力されたテーマでの動画素材の展開パターンを抽出する。また、処理部12は、このとき、上述したように各パターンについて効果DBに記憶されている評価の高い順に検索結果を表示するよう、構成されている。なお、詳細は後述するが、表示された検索結果について、ユーザが検索結果である画像データの配列を任意に変更し、また、関連性のある画像データを前記配列中に任意に追加できるように、出力表示画面には、動画素材順番表示部及び動画素材リスト部が設けられている。また、検索された画像データの一つひとつに、ユーザが任意でコメントを記載することができるコメント枠部を画像データ一つひとつに重ねて表示するようにしても良い。   In step S111, the output display unit 14 displays the image data transferred from the scene playback unit 24 on an output display screen made up of a GUI. With the method as described above, the moving image editing apparatus 10 extracts the development pattern of the moving image material with the input theme. At this time, the processing unit 12 is configured to display the search results in descending order of evaluation stored in the effect DB for each pattern as described above. Although details will be described later, for the displayed search results, the user can arbitrarily change the arrangement of the image data that is the search results, and can add any relevant image data to the arrangement. On the output display screen, a moving image material order display portion and a moving image material list portion are provided. In addition, a comment frame portion in which a user can arbitrarily write a comment may be displayed on each of the searched image data so as to be superimposed on each image data.
ステップS112において、シーン構成部23は、出力表示部14の前記動画素材順番表示部及び動画素材リスト部等を使用して、ユーザによって出力された画像データの配列が変更され、又は配列中に他の画像データが追加されたか否かを判断する。出力表示部14の前記動画素材順番表示部及び動画素材リスト部が使用された場合、使用された結果のデータをシーン構成部23に転送するようにすれば良い。ステップS112において、配列変更又は追加がある場合、シーン構成部23はステップS101に戻り、前記変更・追加情報による新たな検索条件が入力されたものとしてステップS101からステップS112を、ステップS112において変更・追加がされていないと判断されるまで、繰り返す。   In step S112, the scene composition unit 23 uses the moving picture material order display part and the moving picture material list part of the output display part 14 to change the arrangement of the image data output by the user or It is determined whether or not the image data has been added. When the moving picture material order display part and the moving picture material list part of the output display part 14 are used, the used data may be transferred to the scene composition part 23. If there is an array change or addition in step S112, the scene composition unit 23 returns to step S101, and step S101 to step S112 are changed as if a new search condition based on the change / addition information has been input. Repeat until it is determined that it has not been added.
ステップS112において、変更・追加がされていないと判断された場合、ステップS113において、シーン構成部23は、ユーザによって配列が変更された結果情報及びその時の入力された検索条件を効果データ及び関連性データとして、必要な画像データのメタデータ等に追加し、記憶部13の効果DB35及び関連性DB34に記憶する。   If it is determined in step S112 that no change / addition has been made, in step S113, the scene construction unit 23 uses the effect data and the relevance information on the result information that the arrangement has been changed by the user and the input search condition at that time. As data, it is added to the metadata of the necessary image data and stored in the effect DB 35 and the relevance DB 34 of the storage unit 13.
さらにステップS114において、シーン構成部23は、ユーザによって採用されて追加された画像データの、効果データ中の評価データの項目について、採用回数1回ごとに1をカウントする。そしてステップS115において終了する。本発明の一実施形態に係る動画編集装置10は、以上のようなステップによって、動画を編集することができる。   Further, in step S114, the scene composing unit 23 counts 1 for each adoption count for the item of evaluation data in the effect data of the image data adopted and added by the user. Then, the process ends in step S115. The moving image editing apparatus 10 according to an embodiment of the present invention can edit a moving image through the steps as described above.
なお、上述したように、本発明の一実施形態に係る動画編集装置10によれば、上記ステップS101の入力ステップでは、複数の検索条件を入力することができる。以下複数の検索条件が入力された場合について説明する。   As described above, according to the moving image editing apparatus 10 according to an embodiment of the present invention, a plurality of search conditions can be input in the input step of step S101. Hereinafter, a case where a plurality of search conditions are input will be described.
例えば、入力部11は、図10に示したように、効果DBに対する第1の検索条件が入力されるテーマ選択部と、第2の検索条件が入力される効果選択部とを備える。そして、入力ステップで、テーマと効果とが検索条件として入力された場合は、処理部12は、効果DBを検索し、効果DBのデータの中から、検索条件にマッチするデータを選び、検索条件に対してマッチする項目が多い順に並べるように構成されている。   For example, as illustrated in FIG. 10, the input unit 11 includes a theme selection unit to which the first search condition for the effect DB is input and an effect selection unit to which the second search condition is input. When the theme and effect are input as search conditions in the input step, the processing unit 12 searches the effect DB, selects data that matches the search condition from the data in the effect DB, and selects the search condition. Are arranged in order from the most matching items.
具体的には、テーマと効果という2つの検索条件が入力された場合であれば、2項目の検索条件の両方に合致するデータが先に並べられ、どちらか片方の検索条件に合致するデータが次に並べられる。そして、検索条件にマッチする項目数が同じデータ同士(例えば、テーマと項目の両方で合致する2以上のデータ)の中では、効果DBに記憶された評価の高い順に検索結果を表示する。   Specifically, if two search conditions, the theme and effect, are input, the data that matches both search conditions is arranged first, and the data that matches one of the search conditions is displayed. Next, they are lined up. Then, among data having the same number of items that match the search condition (for example, two or more data that match both the theme and the item), the search results are displayed in descending order of evaluation stored in the effect DB.
さらに、図10に示したこの例では、入力部11は、検索条件として効果DB以外のDBを検索対象とできるように構成されている。具体的には、図10に示すように、入力部
11にはテーマ選択部、効果選択部以外に、キーワード選択部と素材キーワード選択部とが設けられている。これらの選択部に、キーワードが入力されると、処理部12のシーン構成部23は、効果DB35、関連性DB34、そして画像DB31の順で検索を行い、検索条件にマッチする関連性データ(すなわち、動画素材の並びを指定するデータ)、または/および動画素材を選び、検索条件に対してマッチする項目が多い順に並べるように構成されている(図15参照)。
Furthermore, in this example illustrated in FIG. 10, the input unit 11 is configured so that a DB other than the effect DB can be a search target as a search condition. Specifically, as shown in FIG. 10, the input unit 11 includes a keyword selection unit and a material keyword selection unit in addition to the theme selection unit and the effect selection unit. When keywords are input to these selection units, the scene composition unit 23 of the processing unit 12 performs a search in the order of the effect DB 35, the relevance DB 34, and the image DB 31, and relevance data that matches the search conditions (that is, , Data specifying the arrangement of moving image materials) or / and moving image materials are selected and arranged in the order of the number of items that match the search condition (see FIG. 15).
以上のように複数の検索条件が入力され、シーン構成部23によって関連性データが抽出された場合、シーン再生部24によって関連性DB34から読み出された関連性データにしたがって複数の動画素材が並んだ列が1以上、表示される。一方、シーン構成部23によって動画素材が抽出された場合は、1以上の動画素材が表示される。即ち検索されたデータによって、表示されるデータの内容が異なる。入力部11は、本実施態様では表示された動画素材の列または動画素材を選択して指定する指示が入力される。出力表示された動画素材の列、または動画素材の中に、操作者が選択したい動画素材の列または動画素材が見出されない場合、上述したように別の検索条件で検索をするために上記ステップS101の入力ステップに戻ればよい。   As described above, when a plurality of search conditions are input and the relevance data is extracted by the scene construction unit 23, a plurality of moving image materials are arranged according to the relevance data read from the relevance DB 34 by the scene reproduction unit 24. One or more rows are displayed. On the other hand, when the moving image material is extracted by the scene configuration unit 23, one or more moving image materials are displayed. That is, the contents of the displayed data differ depending on the retrieved data. In the present embodiment, the input unit 11 receives an instruction to select and specify the displayed moving image material row or moving image material. If the video material row or video material that the operator wants to select is not found in the video material row or video material that is output and displayed, the above steps are performed in order to search using another search condition as described above. What is necessary is just to return to the input step of S101.
上述したように、シーン構成部23によって動画素材が指定されると、処理部12のシーン構成部23は、さらに関連性DBを検索して、関連性データが存在する場合には、選択された動画素材が他の動画素材と組み合わされた動画の列を出力表示部14に表示する(図16参照)。本実施態様では、出力表示部14に表示された動画素材は操作者による加工が可能とされている。   As described above, when the moving image material is designated by the scene composition unit 23, the scene composition unit 23 of the processing unit 12 further searches the relevance DB and selects the relevance data when there is relevance data. A sequence of moving images in which the moving image material is combined with other moving image materials is displayed on the output display unit 14 (see FIG. 16). In the present embodiment, the moving image material displayed on the output display unit 14 can be processed by the operator.
具体的には、図16に示すように、出力表示部14は、上記ステップで抽出された動画素材を表示順に並べて表示する部分(動画素材順番表示部)と、動画素材に重ねて表示する複数のコメント枠が選択されるコメント枠部とを有する。コメント枠部は、入力部11を操作することにより、動画素材順番表示部に表示された各動画素材に重ねられるように構成されている。また、各コメント枠は、入力部11にテキストを入力することにより枠内に任意のテキストが表示できるように構成されている。   Specifically, as illustrated in FIG. 16, the output display unit 14 includes a portion (moving image material order display portion) that displays the moving image materials extracted in the above-described steps in the display order, and a plurality of the moving image materials that are displayed in an overlapping manner. The comment frame part is selected. The comment frame part is configured to be overlaid on each moving picture material displayed on the moving picture material order display part by operating the input unit 11. Each comment frame is configured such that any text can be displayed in the frame by inputting the text to the input unit 11.
よって、出力表示部14に列状に並べられた動画素材のそれぞれに、任意のコメント枠が付加され、コメント枠内にテキストを入力することができる。このため、操作者は動画編集の専門家のノウハウを活用したシーン展開パターンで展開する動画を簡易に作成できるとともに、動画素材を独自に加工して操作者オリジナルのストーリー作りをすることもできる。   Therefore, an arbitrary comment frame is added to each of the moving image materials arranged in a line on the output display unit 14, and text can be input in the comment frame. For this reason, the operator can easily create a moving image developed by a scene development pattern utilizing the know-how of a moving image editing expert, and can also create a story of the operator by processing the moving image material independently.
さらに、出力表示部14には、選択された動画素材と関連性の高い他の動画素材を一覧表示する部分(図16における動画素材リスト部)を設けてもよい。この場合、動画素材順番表示部に表示された動画素材を、動画素材リスト部に表示された別の動画素材と入れ替えることができる。   Further, the output display unit 14 may be provided with a portion (video material list part in FIG. 16) for displaying a list of other video materials highly relevant to the selected video material. In this case, the moving image material displayed in the moving image material order display portion can be replaced with another moving image material displayed in the moving image material list portion.
動画素材リスト部から別の動画素材が選ばれれば、関連性DBになかった並び順のパターンが作成されることになる。そこで、新たに作成されたこのパターンを関連性DBに新たに記憶させることにより、関連性データベースを充実させることができる。   If another moving image material is selected from the moving image material list portion, a pattern in the order of arrangement that is not in the relevance DB is created. Therefore, by newly storing this newly created pattern in the relevance DB, it is possible to enrich the relevance database.
このとき、新たに選ばれた動画素材や、これを含む新しい関連性データについて、入力部11に入力された検索条件を、効果DBや動画素材のメタデータに自動的に付与するように構成すれば、関連性DBや効果DBを半自動的に作成できる。上記ステップS113の動作である。さらに、各動画素材、あるいは各関連性データについて、その採用回数が自動的に記憶されるようにすれば、効果DBに設けられた、各パターンの効果の優劣(評
価)を半自動的に数値化できる。上記ステップS114で説明した動作である。
At this time, with respect to the newly selected moving image material and new relevance data including the moving image material, the search condition input to the input unit 11 is automatically added to the metadata of the effect DB and the moving image material. For example, the relevance DB and the effect DB can be created semi-automatically. This is the operation of step S113. Furthermore, if each video material or each relevance data is automatically stored, the superiority or inferiority (evaluation) of the effect of each pattern provided in the effect DB is semi-automatically quantified. it can. This is the operation described in step S114.
以上説明したように、本発明によれば、動画素材を抽出してあるストーリーに沿って展開させるための検索は、画像DBのメタデータとしてテキスト情報形式で記述されている情報の検索により行われる。よって、容量の小さい情報処理装置でも迅速かつ簡易にストーリー性のある動画を製作できる。このため、本発明のプログラムは、様々な情報処理端末に実装でき、本発明に係る情報処理装置は、パーソナルコンピュータ、携帯型情報端末(PDA)、携帯電話等で構成できる。   As described above, according to the present invention, the search for extracting the moving image material along the story is performed by searching for information described in the text information format as metadata of the image DB. . Therefore, a story-like moving image can be produced quickly and easily even with an information processing apparatus having a small capacity. Therefore, the program of the present invention can be implemented in various information processing terminals, and the information processing apparatus according to the present invention can be configured by a personal computer, a portable information terminal (PDA), a mobile phone, or the like.
(第二の実施形態)
上述したように、本発明の一実施形態に係る動画編集装置10は、パソコン等で簡易に構成し、ユーザが自宅等でプロ並みの動画編集を行うことができる。しかし、本発明に係る動画編集装置10は、かかる構成に限定されるものではない。即ち、上記動画編集装置10では、記憶部13が、入力部11、処理部12、および出力表示部14が搭載された情報処理装置に備えられている構成とされている。しかし、記憶部13は、入力部11、処理部12、および出力表示部14が搭載された情報処理装置とは別の情報処理端末に備えられていてもよい。本発明の第二実施形態は、動画編集装置10を、サーバ機及びクライアント機で構成される、サーバ・クライアントシステムとした例である。
(Second embodiment)
As described above, the moving image editing apparatus 10 according to an embodiment of the present invention can be simply configured with a personal computer or the like, and a user can perform moving image editing like a professional at home or the like. However, the moving image editing apparatus 10 according to the present invention is not limited to such a configuration. That is, in the moving image editing apparatus 10, the storage unit 13 is configured to be provided in an information processing apparatus in which the input unit 11, the processing unit 12, and the output display unit 14 are mounted. However, the storage unit 13 may be provided in an information processing terminal different from the information processing device on which the input unit 11, the processing unit 12, and the output display unit 14 are mounted. The second embodiment of the present invention is an example in which the moving image editing apparatus 10 is a server / client system including a server machine and a client machine.
本発明に係る動画編集装置10は、ユーザが、自宅等で簡易にプロ並みの動画編集をすることを可能にする。しかし、動画等のデータは文書データに比して容量が大きく、家族の思い出を撮影したビデオテープ等の映像素材は、長年蓄積されると膨大なデータ量となる。従って、自宅のパソコンのハードディスク資源を圧迫し、パソコン本体の動作に影響を与える場合もある。また、通常パソコンは、ハード及びソフトの進歩に伴い数年単位で新機種に買い換えるため、機種変更の都度データを保存するのは非常に面倒であり、従って、データのみをパソコン本体以外に蓄積できれば、機種変更時の煩わしい作業から開放され、また、容量を気にする必要もなくなる。そこで、本発明の第二実施形態に係る動画編集装置10を、サーバ・クライアントシステムとして提供する。   The moving image editing apparatus 10 according to the present invention enables a user to easily edit a moving image like a professional at home or the like. However, data such as moving images has a larger capacity than document data, and video materials such as videotapes that capture family memories become enormous amounts of data when accumulated for many years. Therefore, the hard disk resources of the personal computer at home may be pressed and the operation of the personal computer may be affected. In addition, since a personal computer is usually replaced with a new model every few years as hardware and software progress, it is very troublesome to store data every time the model is changed. This frees you from troublesome work when changing models, and eliminates the need to worry about capacity. Therefore, the moving image editing apparatus 10 according to the second embodiment of the present invention is provided as a server / client system.
図4に示した、本動画編集装置10のシステム構成において、記憶部13をサーバ機に設ける。これによって、膨大なデータ量となる映像素材を、大容量のサーバ機に確実に記憶し保存することができる。容量が増えれば、サーバ機のハードディスクを増設すれば良い。この場合、クライアント機には、入力部11、処理部12及び出力表示部14が設けられる。そして、入力部11から検索条件が入力された場合に、サーバ機の記憶部13とLAN又はインターネット等を介してデータの転送を行うために、処理部12内に一般的なデータ転送機能を設ければよい。   In the system configuration of the moving image editing apparatus 10 shown in FIG. 4, the storage unit 13 is provided in the server machine. As a result, a video material having an enormous amount of data can be reliably stored and stored in a large-capacity server machine. If the capacity increases, the server hard disk may be expanded. In this case, the client machine is provided with an input unit 11, a processing unit 12, and an output display unit 14. When a search condition is input from the input unit 11, a general data transfer function is provided in the processing unit 12 in order to transfer data via the storage unit 13 of the server machine via the LAN or the Internet. Just do it.
また、サーバ機の処理能力及びクライアント機の処理能力によっては、処理部12の処理機能の一部又は大半をサーバ機に設けても良い。一般的にサーバ機の処理能力はクライアント機の処理能力より上回るため、より高速な処理を可能にするためである。一例として、処理部12のショット情報自動抽出部20、シーン構成部23、シーン構成ルール部25及びカット構成パターン生成部26をサーバ機に設ける。この場合は、クライアント機には、入力部11、出力表示部14のほかに、処理部12内に、データ転送機能とシーン再生部24が設けられ、クライアント機は、サーバ機で作成された検索条件にマッチするシーン記述情報に従って、サーバ機から目的のショットの画像データを抽出して、順に出力表示部14に表示させる動作のみを行う。但しこれは一例であり、これに限定されるものではない。   Depending on the processing capability of the server machine and the processing capability of the client machine, a part or most of the processing functions of the processing unit 12 may be provided in the server machine. In general, the processing capacity of the server machine exceeds the processing capacity of the client machine, so that higher-speed processing is possible. As an example, the shot information automatic extraction unit 20, the scene configuration unit 23, the scene configuration rule unit 25, and the cut configuration pattern generation unit 26 of the processing unit 12 are provided in the server machine. In this case, in addition to the input unit 11 and the output display unit 14, the client machine is provided with a data transfer function and a scene playback unit 24 in the processing unit 12. The client machine is a search created by the server machine. Only the operation of extracting the image data of the target shot from the server machine and sequentially displaying it on the output display unit 14 is performed according to the scene description information matching the conditions. However, this is an example, and the present invention is not limited to this.
[変形実施例1]
この、サーバ・クライアントシステムによる本動画編集装置10は、例えば、インター
ネットプロバイダの会員向けサービスとして実施することもできる。本第二実施形態の変形実施例は、インターネットプロバイダの会員向けサービスの一環として、実施する例である。
[Modified Example 1]
The moving image editing apparatus 10 using the server / client system can be implemented as a service for members of an Internet provider, for example. The modified example of the second embodiment is an example implemented as part of a service for Internet provider members.
即ち、インターネットプロバイダは、会員向けにメール保存サービス等各種のサービス機能を提供している。そこで、本発明の第二実施形態に係る動画編集装置10を、プロバイダのサーバ機に会員個人の映像素材を保存する、いわば会員向けサービスの一環として、「個人映像アルバム」作成保存機能として提供するのである。即ち、上述したサーバ・クライアントシステムのサーバ機の機能を、プロバイダのサーバ機に持たせ、会員個人のパソコンであるクライアント機と、インターネットを介して接続することで、上述のサーバ・クライアントシステムを構築することができる。これによって、会員向けに簡易動画編集機能を容易に提供することができ、他のプロバイダとの差別化を図ることができる。会員個人のクライアント機とのデータ転送に際しては、パスワード等のセキュリティイ機能を設けることで、データの秘密性を確保すれば良い。会員にとっては、パソコンを買い替えても、また、データが膨大な量になっても、インターネット接続によりプロバイダのサーバ機からいつでも必要な画像データを得ることができ、データの保存に煩わされることがない。   That is, the Internet provider provides various service functions such as a mail storage service for members. Therefore, the moving image editing apparatus 10 according to the second embodiment of the present invention is provided as a “personal video album” creation / save function as part of a service for members, which saves members' individual video materials on a provider's server machine. It is. In other words, the server / client system of the server / client system described above is provided to the server machine of the provider, and the server / client system described above is constructed by connecting to the client machine, which is a member's personal computer, via the Internet. can do. As a result, a simple video editing function can be easily provided for members, and differentiation from other providers can be achieved. When transferring data to a member's individual client machine, it is only necessary to secure the confidentiality of the data by providing a security function such as a password. Even if a member purchases a new computer or the data volume is huge, the member can always obtain the necessary image data from the provider's server machine via the Internet connection, and is not bothered by data storage. .
[変形実施例2]
また昨今、ウィルスソフトによって、個人のパソコンに保存していた動画データが不正に他人に盗まれ、インターネット上の動画投稿サイトに勝手に投稿される事件が相次いでいる。権利者が不正投稿された1つのコンテンツを発見して削除措置を講じても、また別の他人によって同じような映像が投稿されるため、違法映像・不正映像の取締りが非常に困難なのである。現状の対策としては、権利を有する元映像と違法に投稿された映像との相違点を見つける方法や、映像の中に、いわゆるウォーターマークを入れることで映像の同一性をチェックする方法がある。しかし、これらの方法によっても、元の映像をトリミングし、他の情報(例えば、字幕など。)を付け加えてしまっていた場合には、直接比較しても同じものであるかを判断することが非常に困難である。また、家庭用ビデオ機で撮影した個人の動画データの場合、一般にウォーターマークを入れることは容易ではない。本発明の第二実施形態に係るサーバ・クライアントシステムによる動画編集装置10の機能を応用すれば、ウォーターマーク等を利用することなく、かかる画像データの不正投稿をいち早く発見し、不正投稿された画像データを削除するための措置を早期に講じることができる。
[Modified Example 2]
In recent years, there have been a series of incidents in which video data stored on personal computers is illegally stolen by other people and posted on video posting sites on the Internet. Even if the right holder finds one content that has been illegally posted and takes a delete action, the same video is posted by another person, so it is very difficult to control illegal video and illegal video. Current countermeasures include a method of finding a difference between an original video having a right and an illegally posted video, and a method of checking the identity of a video by putting a so-called watermark in the video. However, even with these methods, if the original video is trimmed and other information (for example, subtitles, etc.) has been added, it is possible to determine whether or not they are the same even if they are directly compared. It is very difficult. Also, in the case of personal moving image data shot with a home video machine, it is generally not easy to insert a watermark. If the function of the video editing apparatus 10 by the server / client system according to the second embodiment of the present invention is applied, an illegal post of such image data can be quickly found without using a watermark or the like, and the illegally posted image Measures can be taken early to delete data.
即ち、違法映像・不正映像のカット構成パターンを抽出し、そのカット構成パターンとショットメタデータやその秒数が完全に一致しているシーンがあったとすれば、この二つの映像が同じものである蓋然性が非常に高い。なぜなら、ショットの組立が偶然に似ることはあるが、ショット毎の時間が完全に一致したシーンは、意図しない限り全く別個に作ることは非常に困難だからである。従って、違法性が疑われる映像のカット構成パターン及びショットメタデータを抽出し、比較することができれば、ウォーターマーク等がなくても、映像の同一性を判断できる。   In other words, if a cut composition pattern of illegal video and illegal video is extracted and there is a scene in which the cut composition pattern and shot metadata and the number of seconds completely match, the two images are the same. The probability is very high. This is because, although the assembly of shots may be similar by chance, it is very difficult to create a scene in which the time for each shot is completely the same unless intended. Therefore, if the cut composition pattern and shot metadata of a video suspected of being illegal can be extracted and compared, the identity of the video can be determined without a watermark or the like.
上述したように、本動画編集装置10は、装置内のショット自動認識部21でエントリーされた映像素材をショット毎に分割し、ショットメタデータ抽出部22で、ショット毎のメタデータを抽出することができる。さらに、かかる機能を活用し、カット構成パターン生成部26において、エントリーされたシーンをショットに分割し、各ショットの時間を計測することで、ショットメタデータと併せてカット構成パターンを生成できる。かかるショット自動認識機能及びカット構成パターン生成機能をプロバイダのサーバ機に持たせる。そして、会員からの要請に基づき、違法性が疑われる映像についてネット上を検索してダウンロードし、前述のショット自動認識機能及びカット構成パターン生成機能によ
って、ダウンロードした映像のカット構成パターンを生成する。そして、当該サーバ機内に記憶された前記会員の元映像のカット構成パターン等と比較する。これによって、映像の同一性を簡易に判断できる。
As described above, the video editing apparatus 10 divides the video material entered by the automatic shot recognition unit 21 in the apparatus for each shot, and the shot metadata extraction unit 22 extracts the metadata for each shot. Can do. Furthermore, by utilizing such a function, the cut composition pattern generation unit 26 can generate the cut composition pattern together with the shot metadata by dividing the entered scene into shots and measuring the time of each shot. The server machine of the provider is provided with such an automatic shot recognition function and a cut composition pattern generation function. Then, based on a request from a member, a video that is suspected of illegality is searched and downloaded on the net, and a cut configuration pattern of the downloaded video is generated by the above-described automatic shot recognition function and cut configuration pattern generation function. And it compares with the cut composition pattern etc. of the said member's original image | video memorize | stored in the said server machine. This makes it possible to easily determine the identity of the video.
また、別の方法として、ショットメタデータによってネット上をサーチすることも可能である。会員のクライアント機に処理部12の機能を設ける。クライアント機からデータをエントリーすると、上述のショット自動認識機能及びカット構成パターン生成機能によって、エントリーされた映像のショットメタデータ及びカット構成パターンが生成され、画像データと関連付けられて、サーバ機の記憶部13のそれぞれのデータベースに記憶される。この時、画像データと関連付けられたショットメタデータ及びカット構成パターンについて、会員パスワード等によってガードし、会員以外の第三者が関連付けを変更、或いは書き換えられないようにする。そして、会員が、必要に応じて画像データを自己のクライアント機に保存する場合には、必ず、関連付けられたショットメタデータ及びカット構成パターンが付着して保存されるようにする。これによって、例えば、会員のクライアント機からウィルスソフトによって画像データが盗まれた場合であっても、盗まれた画像データには、必ず前記のショットメタデータ及びカット構成パターンが付着していることになる。サーバ機から、ショットメタデータによってネット上の動画投稿サイトを自動的にサーチすることで、不正に投稿された盗まれた画像データを簡易に発見できる。プロバイダのサーバ機によって、会員のショットメタデータを基に定期的にサーチすることで、早期の発見が可能となる。   As another method, it is possible to search the net using shot metadata. The function of the processing unit 12 is provided in the member client machine. When data is entered from the client machine, the shot metadata and the cut composition pattern of the entered video are generated by the above-described automatic shot recognition function and cut composition pattern generation function, and are associated with the image data. It is stored in each of the 13 databases. At this time, the shot metadata and the cut composition pattern associated with the image data are guarded by a member password or the like so that a third party other than the member cannot change or rewrite the association. When a member saves image data in his / her client machine as necessary, the associated shot metadata and cut composition pattern are always attached and saved. Thus, for example, even when image data is stolen by virus software from a member client machine, the shot metadata and the cut configuration pattern are always attached to the stolen image data. Become. By automatically searching for a video posting site on the net using shot metadata from a server machine, it is possible to easily find illegally posted stolen image data. By making a search periodically based on the shot metadata of the member by the provider's server machine, early discovery becomes possible.
以上説明したとおり、本発明の第二実施形態に係るサーバ・クライアントシステムを利用した動画編集装置10によれば、インターネットプロバイダによる個人映像のアルバム保存機能や不正投稿サーチ機能等を提供することができる。なお、上記は一例であり、本発明は、これらに限定されるものでない。   As described above, according to the moving image editing apparatus 10 using the server / client system according to the second embodiment of the present invention, it is possible to provide a personal video album saving function, an illegal posting search function, and the like by an Internet provider. . In addition, the above is an example and this invention is not limited to these.

Claims (20)

  1. 複数の連続する映像素材であるショットのそれぞれの内容を示す情報であるショットメタデータを記憶するショットメタデータ・データベースと、前記複数の連続する映像素材のそれぞれの画像データを記憶する画像データベースと、複数の前記ショット同士の関連性データを記憶する関連性データベースとを有する記憶部と、
    前記複数の連続する映像素材を入力し、且つ1以上の検索条件を入力するための入力部と、
    前記検索条件に対応する結果を出力表示するための出力表示部と、
    前記入力部に前記検索条件が入力されると、記憶された1以上の前記ショット及び1以上の前記ショットと関連する映像素材を前記記憶部から抽出して、所定の順に配列して前記出力表示部に再生表示させる処理部と、を有する動画編集装置。
    A shot metadata database that stores shot metadata that is information indicating the content of each shot that is a plurality of continuous video materials; an image database that stores image data of each of the plurality of continuous video materials; A storage unit having a relevance database for storing relevance data between the plurality of shots;
    An input unit for inputting the plurality of continuous video materials and inputting one or more search conditions;
    An output display unit for outputting and displaying a result corresponding to the search condition;
    When the search condition is input to the input unit, the stored one or more shots and the video material related to the one or more shots are extracted from the storage unit, arranged in a predetermined order, and the output display And a processing unit that reproduces and displays the image on the unit.
  2. 前記動画編集装置は、ディスプレイ装置を含むデスクトップ・タイプ・パーソナルコンピュータ又は、ノート・タイプ・パーソナルコンピュータであることを特徴とする請求項1に記載の動画編集装置。   The moving image editing apparatus according to claim 1, wherein the moving image editing apparatus is a desktop type personal computer or a notebook type personal computer including a display device.
  3. 前記処理部は、
    前記入力部に前記検索条件が入力されると、前記効果データベース、前記関連性データベース、前記カット構成パターン・データベース及び前記ショットメタデータ・データベースを検索し、検索された1以上の前記ショットを前記所定の順に配列して前記出力表示部に表示させるための配列順序を、前記ショットメタデータに基づいて記述するシーン構成部を有することを特徴とする請求項2に記載の動画編集装置。
    The processor is
    When the search condition is input to the input unit, the effect database, the relevance database, the cut composition pattern database, and the shot metadata database are searched, and the one or more searched shots are set as the predetermined shot. The moving image editing apparatus according to claim 2, further comprising: a scene configuration unit that describes an arrangement order for arranging and displaying on the output display unit based on the shot metadata.
  4. 前記シーン構成部は、検索された1以上の前記ショットを検索条件に合致する項目の多い順に、且つ合致する項目数が同じ場合には前記所定の順に配列して前記出力表示部に表示させるための配列順序を、前記ショットメタデータに基づいて記述することを特徴とする請求項3に記載の動画編集装置。   The scene composition unit arranges the one or more searched shots in the order of the number of items that match the search condition, and arranges them in the predetermined order and displays them on the output display unit when the number of matching items is the same. The moving image editing apparatus according to claim 3, wherein the sequence order is described based on the shot metadata.
  5. 前記所定の順は、画像編集のために前記複数のショットのそれぞれのショットがユーザによって選択された選択回数をパラメータとする評価データの数値の大きい順であり、
    前記動画編集装置は、前記評価データを含む効果データを記憶する効果データベースを前記記憶部内にさらに有することを特徴とする請求項4に記載の動画編集装置。
    The predetermined order is a descending order of the numerical value of the evaluation data using as a parameter the number of times each of the plurality of shots is selected by the user for image editing,
    The moving image editing apparatus according to claim 4, wherein the moving image editing apparatus further includes an effect database that stores effect data including the evaluation data in the storage unit.
  6. 前記動画編集装置は、前記シーン構成部の作成した前記記述に従って、前記画像データベースから所望の1以上の前記ショットの画像データを抽出して配列し、前記出力表示部に出力表示させるシーン再生部をさらに有することを特徴とする請求項5に記載の動画編集装置。   In accordance with the description created by the scene composition unit, the video editing device extracts and arranges image data of one or more desired shots from the image database, and outputs a scene reproduction unit for output display on the output display unit The moving image editing apparatus according to claim 5, further comprising:
  7. 前記入力部から入力された複数の連続する映像素材を連続する複数の画像に分割して一つひとつの画像の内容を示す情報であるメタデータを抽出し、前後する2つの画像のそれぞれの前記メタデータの差分に基づいて前記複数の連続する映像素材を複数のショットに分割するショット自動認識部と、
    分割された前記複数のショット毎の前記ショットメタデータを抽出するショットメタデータ抽出部とを有するショット情報自動抽出部をさらに備えることを特徴とする請求項6に記載の動画編集装置。
    A plurality of continuous video materials input from the input unit are divided into a plurality of continuous images, metadata that is information indicating the contents of each image is extracted, and the metadata of each of the two preceding and following images is extracted. A shot automatic recognition unit that divides the plurality of continuous video materials into a plurality of shots based on the difference of
    The moving image editing apparatus according to claim 6, further comprising a shot information automatic extraction unit including a shot metadata extraction unit that extracts the shot metadata for each of the divided shots.
  8. 前記ショット自動認識部は、顔認識技術及び画像認識技術に基づいて、一つの画像の主な被写体と背景とを分離して前記メタデータを抽出することを特徴とする請求項7に記載の動画編集装置。   The moving image according to claim 7, wherein the shot automatic recognition unit extracts the metadata by separating a main subject and a background of one image based on a face recognition technique and an image recognition technique. Editing device.
  9. 前記ショットメタデータ抽出部は、前記入力部から前記複数の連続する映像素材を入力する際にユーザによって入力された所定の情報を、自動的に前記ショットメタデータに反映することを特徴とする請求項7に記載の動画編集装置。   The shot metadata extraction unit automatically reflects, in the shot metadata, predetermined information input by a user when the plurality of continuous video materials are input from the input unit. Item 8. The moving image editing apparatus according to Item 7.
  10. 前記ユーザからの入力情報は、少なくともシーンタイトル、シーンタイプ及びシーン効果を含むシーン情報であることを特徴とする請求項9に記載の動画編集装置。   The moving image editing apparatus according to claim 9, wherein the input information from the user is scene information including at least a scene title, a scene type, and a scene effect.
  11. 前記動画編集装置は、前記ショット情報自動抽出部においてユーザが指定した既存の映画のシーンから前記ショットメタデータを作成し、作成された前記ショットメタデータとユーザによって入力された前記既存の映画のシーンの前記シーン情報とによって、前記既存の映画のシーンの構成パターンを分析して蓄積し、蓄積された複数の前記構成パターンから所望の映像効果に合わせシーンを構成するための前記ショットの組合せパターンを生成するカット構成パターン生成部をさらに有することを特徴とする請求項10に記載の動画編集装置。   The moving image editing apparatus creates the shot metadata from an existing movie scene specified by a user in the shot information automatic extraction unit, and creates the shot metadata and the existing movie scene input by the user. The scene pattern of the existing movie is analyzed and accumulated according to the scene information, and a combination pattern of the shots for configuring a scene according to a desired video effect from the plurality of accumulated composition patterns is obtained. The moving image editing apparatus according to claim 10, further comprising a cut composition pattern generation unit to be generated.
  12. 前記入力部はグラフィック・ユーザ・インタフェースによって構成され、ユーザの操作により、少なくとも検索条件入力画面と前記複数の連続する映像素材及び前記シーン情報を入力する映像素材入力画面とを選択できることを特徴とする請求項11に記載の動画編集装置。   The input unit is configured by a graphic user interface, and can select at least a search condition input screen and a plurality of continuous video materials and a video material input screen for inputting the scene information by a user operation. The moving image editing apparatus according to claim 11.
  13. 前記出力表示部は、
    ユーザの操作によって前記検索された1以上のショットの配列順序が変更された場合に、前記変更された順序に従ってショットを表示し、且つユーザの操作によって前記検索された1以上のショットの配列中に前記検索された結果以外の画像又はショットが任意に追加された場合に、前記検索された1以上のショットの中に前記追加されたショット又は画像を並べて表示する表示部と、
    前記関連性データに基づいて前記検索された1以上のショットと関連する前記検索された1以上のショット以外の画像又はショットを一覧表示する動画素材リスト部と、
    ユーザが選択した任意の前記画像上にユーザがキーボードからコメントを入力した場合に、前記選択された任意の画像上に前記コメントを併せて表示するコメント枠部とのうち少なくとも一つ以上を有することを特徴とする請求項12に記載の動画編集装置。
    The output display unit
    When the arrangement order of the one or more searched shots is changed by a user operation, the shots are displayed according to the changed order, and in the arrangement of the one or more shots searched by the user operation When an image or shot other than the searched result is arbitrarily added, a display unit that displays the added shot or image side by side in the searched one or more shots;
    A moving image material list section for displaying a list of images or shots other than the one or more searched shots related to the one or more searched shots based on the relevance data;
    When the user inputs a comment on the arbitrary image selected by the user from the keyboard, the image has at least one or more of a comment frame portion that displays the comment together on the selected arbitrary image. The moving image editing apparatus according to claim 12.
  14. 前記検索された1以上のショット以外の画像又はショットが前記1以上のショットの配列中に任意に追加された場合に、
    前記追加された画像又はショットの情報及び前記入力された検索条件を前記検索された1以上のショットのそれぞれの前記関連性データ中に反映し、且つ、前記検索された1以上のショットの情報及び前記入力された検索条件を前記追加された画像又はショットのそれぞれの前記関連性データ中に反映することを特徴とする請求項13に記載の動画編集装置。
    When an image or shot other than the retrieved one or more shots is arbitrarily added to the array of the one or more shots,
    Reflecting the added image or shot information and the input search condition in the relevance data of each of the one or more searched shots, and information of the one or more searched shots and 14. The moving image editing apparatus according to claim 13, wherein the input search condition is reflected in the relevance data of each of the added image or shot.
  15. 前記検索された1以上のショット以外の画像又はショットが前記1以上のショットの配列中に任意に追加された場合に、
    前記追加された画像又はショットの前記効果データ中に前記入力された検索条件を反映することを特徴とする請求項13に記載の動画編集装置。
    When an image or shot other than the retrieved one or more shots is arbitrarily added to the array of the one or more shots,
    14. The moving image editing apparatus according to claim 13, wherein the input search condition is reflected in the effect data of the added image or shot.
  16. 前記検索された1以上のショット以外の画像又はショットが前記1以上のショットの配列中に任意に追加された場合に、
    前記入力された検索条件において前記画像又はショットが追加のために採用された回数を、前記追加された画像又はショットの前記入力された検索条件における評価として反映
    することを特徴とする請求項13に記載の動画編集装置。
    When an image or shot other than the retrieved one or more shots is arbitrarily added to the array of the one or more shots,
    The number of times that the image or shot is adopted for addition in the input search condition is reflected as an evaluation of the added image or shot in the input search condition. The video editing device described.
  17. 前記検索された1以上のショットの配列順序がユーザによって任意に変更された場合に、変更後の前記複数のショットの配列順番を前記カット構成パターンとして前記カット構成パターン・データベースに記憶することを特徴とする請求項13に記載の動画編集装置。   When the arrangement order of the one or more searched shots is arbitrarily changed by the user, the arrangement order of the plurality of shots after the change is stored in the cut configuration pattern database as the cut configuration pattern. The moving image editing apparatus according to claim 13.
  18. 複数の連続する映像素材の一区切りであるショットのそれぞれの内容を示す情報であるショットメタデータを記憶するショットメタデータ・データベースと、前記複数の連続する映像素材のそれぞれの画像データを記憶する画像データベースと、複数の前記ショット同士の関連性データを記憶する関連性データベースと、および複数の前記ショット同士を組み合わせた場合の効果データを記憶する効果データベースとを有する記憶部を備えるサーバと、
    前記複数の連続する映像素材を入力し、且つ1以上の検索条件を入力するための入力部と、
    前記検索条件に対応する結果を出力表示するための出力表示部と、
    前記入力部に前記検索条件が入力されると、記憶された1以上の前記ショット及び1以上の前記ショットと関連する映像素材を前記効果データベース、前記関連性データベース、前記カット構成パターン・データベース及び前記ショットメタデータ・データベースから検索し、検索された1以上の前記ショットを所定の順に配列して前記出力表示部に表示させるための配列順序を、前記ショットメタデータに基づいて記述するシーン構成部を有する処理部とを備えるクライアントと、から構成されることを特徴とする動画編集装置。
    A shot metadata database that stores shot metadata that is information indicating the content of each shot that is a segment of a plurality of continuous video materials, and an image database that stores image data of each of the plurality of continuous video materials And a server comprising a storage unit having a relevance database that stores relevance data between the plurality of shots, and an effect database that stores effect data when a plurality of the shots are combined;
    An input unit for inputting the plurality of continuous video materials and inputting one or more search conditions;
    An output display unit for outputting and displaying a result corresponding to the search condition;
    When the search condition is input to the input unit, the one or more shots stored and the video material related to the one or more shots are stored in the effect database, the relationship database, the cut configuration pattern database, and the A scene composing unit that is searched from a shot metadata database and describes an arrangement order for arranging the searched one or more shots in a predetermined order and displaying them on the output display unit based on the shot metadata A moving image editing apparatus comprising: a client including a processing unit.
  19. 前記サーバは、前記入力部に前記検索条件が入力されると、記憶された1以上の前記ショット及び1以上の前記ショットと関連する映像素材を前記効果データベース、前記関連性データベース及び前記ショットメタデータ・データベースから検索し、検索された1以上の前記ショットを前記所定の順に配列して前記出力表示部に表示させるための配列順序を、前記ショットメタデータに基づいて記述するシーン構成部を有する処理部を備え、
    前記クライアントの前記処理部は、入力部から入力された検索条件を前記サーバの前記処理部に転送し、且つ、前記サーバの前記処理部から転送された前記所定の順に配列された前記検索された1以上のショットの画像データを前記出力表示部に表示させることを制御することを特徴とする請求項18に記載の動画編集装置。
    When the search condition is input to the input unit, the server stores the one or more shots and the video material associated with the one or more shots that are stored in the effect database, the relationship database, and the shot metadata. A process having a scene configuration unit that searches from a database and describes an arrangement order for arranging one or more searched shots in the predetermined order and displaying them on the output display unit based on the shot metadata Part
    The processing unit of the client transfers the search conditions input from the input unit to the processing unit of the server, and the search conditions arranged in the predetermined order transferred from the processing unit of the server 19. The moving image editing apparatus according to claim 18, wherein display of one or more shot image data is controlled on the output display unit.
  20. 前記サーバは、
    インターネット上の動画投稿サイトから所定の映像素材をダウンロードして前記映像素材を複数のショットに分割し、
    前記複数のショットから画像データ及びショットメタデータを作成し、
    前記記憶部に記憶された画像データ及びショットメタデータと、前記分割された複数のショットの前記画像データ及びショットメタデータとを比較し、
    前記比較結果に基づいて同一のショットメタデータを有する前記所定の映像素材の所在情報をクライアントの出力表示部に表示することを特徴とする請求項19に記載の動画編集装置を用いた動画投稿サイト検索方法及び動画投稿サイト検索サービス。
    The server
    Download a predetermined video material from a video posting site on the Internet, divide the video material into multiple shots,
    Create image data and shot metadata from the plurality of shots,
    Comparing the image data and shot metadata stored in the storage unit with the image data and shot metadata of the plurality of divided shots;
    The moving image posting site using the moving image editing apparatus according to claim 19, wherein location information of the predetermined video material having the same shot metadata is displayed on an output display unit of a client based on the comparison result. Search method and video posting site search service.
JP2009513012A 2007-05-01 2008-04-28 Movie editing device Granted JPWO2008136466A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007120935 2007-05-01
JP2007120935 2007-05-01
PCT/JP2008/058208 WO2008136466A1 (en) 2007-05-01 2008-04-28 Dynamic image editing device

Publications (1)

Publication Number Publication Date
JPWO2008136466A1 true JPWO2008136466A1 (en) 2010-07-29

Family

ID=39943573

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009513012A Granted JPWO2008136466A1 (en) 2007-05-01 2008-04-28 Movie editing device

Country Status (2)

Country Link
JP (1) JPWO2008136466A1 (en)
WO (1) WO2008136466A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10284808B2 (en) 2014-12-14 2019-05-07 SZ DJI Technology Co., Ltd. System and method for supporting selective backtracking data recording

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016095072A1 (en) * 2014-12-14 2016-06-23 深圳市大疆创新科技有限公司 Video processing method, video processing device and display device
CN110521213A (en) * 2017-03-23 2019-11-29 韩国斯诺有限公司 Story making video method and system
US11070706B2 (en) 2018-11-15 2021-07-20 Sony Corporation Notifications for deviations in depiction of different objects in filmed shots of video content

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3648130B2 (en) * 2000-05-15 2005-05-18 日本電信電話株式会社 Computer-readable recording medium having recorded video listing method and video listing processing program
KR100997599B1 (en) * 2002-04-12 2010-11-30 미쓰비시덴키 가부시키가이샤 Method for processing contents
JP2005033619A (en) * 2003-07-08 2005-02-03 Matsushita Electric Ind Co Ltd Contents management device and contents management method
JP4230870B2 (en) * 2003-09-25 2009-02-25 富士フイルム株式会社 Movie recording apparatus, movie recording method, and program
JP2006287319A (en) * 2005-03-31 2006-10-19 Nippon Hoso Kyokai <Nhk> Program digest generation apparatus and program digest generation program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10284808B2 (en) 2014-12-14 2019-05-07 SZ DJI Technology Co., Ltd. System and method for supporting selective backtracking data recording
US10771734B2 (en) 2014-12-14 2020-09-08 SZ DJI Technology Co., Ltd. System and method for supporting selective backtracking data recording

Also Published As

Publication number Publication date
WO2008136466A1 (en) 2008-11-13

Similar Documents

Publication Publication Date Title
US10679063B2 (en) Recognizing salient video events through learning-based multimodal analysis of visual features and audio-based analytics
JP5710804B2 (en) Automatic story generation using semantic classifier
US8717367B2 (en) Automatically generating audiovisual works
CN101300567B (en) Method for media sharing and authoring on the web
US7181757B1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
KR20160087222A (en) Method and Appratus For Creating Photo Story based on Visual Context Analysis of Digital Contents
JP4652462B2 (en) Metadata processing method
JP2006155384A (en) Video comment input/display method and device, program, and storage medium with program stored
US7694213B2 (en) Video content creating apparatus
JP4643735B1 (en) Electronic device and video processing method
US20150026578A1 (en) Method and system for integrating user generated media items with externally generated media items
JP2003511801A (en) Video summary description structure for efficient overview and browsing, and method and system for generating video summary description data
US20050078940A1 (en) Information editing device, information editing method, and computer product
JPWO2008136466A1 (en) Movie editing device
JP2006287319A (en) Program digest generation apparatus and program digest generation program
US7610554B2 (en) Template-based multimedia capturing
JP2008086030A (en) Hint information description method
JP6179027B2 (en) Slide show creation server, user terminal, and slide show creation method
Nack et al. Why did the Prime Minister resign? Generation of event explanations from large news repositories
JP2008136183A (en) Hint information describing method
US20210271701A1 (en) Method for atomically tracking and storing video segments in multi-segment audio-video compositions
KR102144978B1 (en) Customized image recommendation system using shot classification of images
KR101647442B1 (en) Visual Contents Producing System, Method and Computer Readable Recoding Medium
JP2003256446A (en) Data management system, data management method and program
WO2016203469A1 (en) A digital media reviewing system and methods thereof