JPH11341349A - Apparatus and method for video editing, and recording medium with this method recorded therein - Google Patents

Apparatus and method for video editing, and recording medium with this method recorded therein

Info

Publication number
JPH11341349A
JPH11341349A JP10143647A JP14364798A JPH11341349A JP H11341349 A JPH11341349 A JP H11341349A JP 10143647 A JP10143647 A JP 10143647A JP 14364798 A JP14364798 A JP 14364798A JP H11341349 A JPH11341349 A JP H11341349A
Authority
JP
Japan
Prior art keywords
video
output
layout
processing
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10143647A
Other languages
Japanese (ja)
Inventor
Yasumasa Niikura
康巨 新倉
Yoshinobu Tonomura
佳伸 外村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP10143647A priority Critical patent/JPH11341349A/en
Publication of JPH11341349A publication Critical patent/JPH11341349A/en
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Studio Circuits (AREA)

Abstract

PROBLEM TO BE SOLVED: To produce a video-content understanding-support output material from a part of each video material and to automatically edit and produce an object video from a corresponding video. SOLUTION: Video information is divided (S0) into several section units, a representative image is outputted (S1) from each divided video section, the representative image is laid (S2) out according to an instruction of an editor, video of each section is edited (S3) in accordance with a layout result, the layout result is subjected to layout output (S4), the layout output to which a working operation is added is read (S5), an added operation content is outputted by comparing the read content with the layout output (S6), and the video which corresponds to operation content added to edited video is processed (S7).

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、撮影やネットワー
クを介して取得した映像をレイアウトして出力し、その
出力結果で編集作業を行う映像編集方法及び装置に関す
る。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video editing method and apparatus for laying out and outputting a video obtained through shooting or a network, and performing an editing operation based on the output result.

【0002】[0002]

【従来の技術】小型ビデオカメラと、ビデオデッキの普
及から、一般の人々が映像を記録、撮影することは非常
に多くなっている。
2. Description of the Related Art Due to the widespread use of small video cameras and video decks, ordinary people record and shoot images very often.

【0003】しかし、映像の編集は、その内容を視聴
し、把握する必要があり、かつ、繰り返し映像を視聴す
るなどの反復作業を必要とするため困難な作業を伴い、
ほとんどの人々が編集作業を行っていないという事情が
ある。
[0003] However, video editing involves a difficult task because it is necessary to view and understand the contents and requires repetitive operations such as repeatedly watching the video.
Most people do not edit.

【0004】いくつかの問題があると思われるが、1つ
には撮影した映像の内容を把握することが困難であり、
従来の編集機が時剛青報の制約を大きく受けるものであ
り、シーケンシャルなアクセスしか許されず、ランダム
にアクセスできないなどの問題点を抱えていたため、編
集作業に多大な労力と時間を必要としていたためと思わ
れる。また、映像の視聴は、時間的な拘束が強く与えら
れるためせっかく編集が行われても映像を第3者に視聴
させる機会が少なく、障害となっていたと考えられる。
映像編集を促進させるためには、 (1)映像編集作業が容易であること。
[0004] It seems that there are some problems, but one is that it is difficult to grasp the contents of the shot video,
The conventional editing machine was greatly restricted by Tokiko Seikatsu, and had problems such as sequential access being allowed and random access being impossible, requiring a great deal of labor and time for editing work. It seems to be because. In addition, it is considered that the viewing of the video is strongly hindered by time, so that even if the editing is performed, there are few opportunities for the third party to view the video, which is an obstacle.
To promote video editing: (1) Video editing work should be easy.

【0005】(2)映像編集作業の結果、制作された映
像の内容がどのようなものか理解しやすくかつ、視聴し
やすくなっていること。
[0005] (2) As a result of the video editing work, it is easy to understand what the contents of the produced video are, and it is easy to view the contents.

【0006】の2点が必要であると考えられる。上述の
問題点を解決するためにいくつかの従来方法が提案され
ている。
It is considered that the following two points are necessary. Several conventional methods have been proposed to solve the above problems.

【0007】1の問題点である映像編集におけるシーケ
ンシャルアクセスの問題点を解決するために、ノンリニ
ア編集機の利用が盛んになっている。これは、映像をデ
ィジタル動画像化し、ハードディスクに編集中の作業を
記録することでランダムアクセスを可能にし、容易な編
集作業を実現している。このノンリニア編集機はすでに
いくつか有名なものが提案されており、そのインタフェ
ースはタイムラインを表示し、映像アイコンをタイムラ
インにそって表示していくというものに事実上規格化さ
れているといってよい。その有名な例として、Avid
社のMediaComposerやAdobe社のPr
emiere等のシリーズが存在する。
[0007] In order to solve the problem of sequential access in video editing, which is the first problem, the use of non-linear editing machines has become active. In this method, a video is converted into a digital moving image, and the work being edited is recorded on a hard disk, thereby enabling random access, thereby achieving easy editing work. Some non-linear editing machines have already been proposed, and its interface is said to be virtually standardized to display a timeline and display video icons along the timeline. May be. A famous example is Avid
MediaComposer and Adobe Pr
There are series such as Emiere.

【0008】これらの方法は一般化しており、既に放送
や映像プロダクションにおいても利用されているが、要
求されるハードウェアに強力なものが必要とされるため
いつでもどこでも映像編集が可能であるということまで
はいっていない。より映像を一般化するためには、こう
した場所などの制約を妨げることなく映像編集作業がで
きるものが望ましい。
[0008] These methods have been generalized and are already used in broadcasting and video production. However, since the required hardware is required to be powerful, it is possible to edit video anytime and anywhere. I have not entered. In order to further generalize the video, it is desirable that the video editing work can be performed without hindering such restrictions on places and the like.

【0009】一方、2の問題点を解決するために、映像
の内容を簡単に把握し、かつ、視聴させる1つの提案と
して、映像情報のカット点の情報を抽出し、表示した
り、カメラワーク情報を抽出し、カメラワークの作用分
だけ画像をずらせることで、カメラ全体の画像を制作し
たものを画面上ないしは紙の上に配置して、表示するな
どの方法がいくつか提案されている。例えば、次の文献
がある。
On the other hand, in order to solve the second problem, as one proposal for easily grasping the contents of the video and allowing the viewer to view the video, information on cut points of the video information is extracted and displayed, and camera work is performed. By extracting information and shifting the image by the amount of camera work, several methods have been proposed, such as placing an image of the entire camera on a screen or paper and displaying it. . For example, there is the following document.

【0010】文献(1):Yukinobu Tani
guti,Yoshinobu Tonomura「P
anorama Excerpts:Extracti
ngand packing Panoramas f
or VideoBrowsing」1996 ACM M
ultimedia 97
Reference (1): Yukinobu Tani
gutti, Yoshinobu Tonomura "P
anorama Experts: Extracti
ngand packing Panorama f
or VideoBrowsing "1996 ACM M
ultmedia 97

【0011】[0011]

【発明が解決しようとする課題】しかし、これらは個別
の問題解決でしかない。単純に組み合わせるだけでもあ
る程度、問題点を解決できるものが制作可能であること
は期待できるが、上記の文献(1)の方法は、内容の機
械的な理解にはある程度有効であるが、それ自体では魅
力的なインタフェースではなく、編集者が編集に利用す
るなどする場合には有効であっても、利用者への視聴を
促すものではない。これは、編集された映像から、機械
的な特徴等を選び出すことを行っているからである。
However, these are only solutions to individual problems. Although it can be expected that a product that can solve the problem can be produced to some extent by simply combining it, the method of the above-mentioned reference (1) is effective to some extent for mechanical understanding of the content, but is not effective in itself. However, this is not an attractive interface, and it is effective when used by an editor for editing, but does not prompt the user to view. This is because mechanical features and the like are selected from the edited video.

【0012】従って、視聴者にとっては、どれが必要
で、どれが不必要な映像なのかが分かりずらく、視聴者
の積極的な視聴につながっていかなかったのである。
[0012] Therefore, it is difficult for the viewer to understand what is necessary and what is unnecessary video, and the viewer has not been actively viewed.

【0013】しかし、映像の編集者にとっては、映像編
集作業を終了したあとに、さらに映像の視聴を魅力的な
ものにさせるような映像の内容把握のための支援ツール
である内容把握支援出力物を映像に加えて生成すること
は、本来映像の編集作業だけで終わった作業に、さらに
別のコンテンツを作る必要が生じるため、大変面倒な作
業を伴い、これまで以上の労力が要求されるという問題
があげられる。
However, for a video editor, after finishing the video editing work, a content comprehension support output, which is a support tool for comprehending the video content, which makes the viewing of the video more attractive. Creating video in addition to video requires a lot of labor and requires much more effort because it is necessary to create additional content in addition to the work that was originally done only with video editing. There is a problem.

【0014】そこで、映像編集を行うと自動的に内容把
握支援出力物を作ってくれるシステムか、内容把握支援
出力物を作っていると自動的に映像を編集してくれるシ
ステムのいずれかのシステムがあればこうした問題が解
決できると思われる。
[0014] Therefore, either a system that automatically produces a content comprehension support output when video editing is performed, or a system that automatically edits video when a content comprehension support output is produced Would be able to solve these problems.

【0015】そこで、本発明の目的は、各映像素材の一
部から、映像内容把握支援出力物を作成すると、対応す
る映像から自動的に映像が編集及び生成される映像編集
装置及び方法並びにこの方法を記録した記録媒体を提供
することにある。
Accordingly, an object of the present invention is to provide a video editing apparatus and method, in which when a video content comprehension support output is created from a part of each video material, a video is automatically edited and generated from a corresponding video, and a video editing apparatus and method. An object of the present invention is to provide a recording medium on which a method is recorded.

【0016】さらに、本発明の他の目的は、従来のノン
リニア編集機の問題点であったコンピュータの上でしか
利用できないと欠点を克服し、いついかなる場所でも映
像編集を行うことが可能なように、編集の途中結果を紙
等のメデイアへ印刷可能とし、かつ、そうした紙等のメ
ディア上での加工が映像編集に反映される映像編集装置
及び方法並びにこの方法を記録した記録媒体を提供する
ことにある。
Still another object of the present invention is to overcome the drawback of the conventional non-linear editing machine, which can be used only on a computer, so that video editing can be performed anytime and anywhere. In addition, the present invention provides a video editing apparatus and method capable of printing an intermediate result of editing on a medium such as paper, and in which processing on such a medium such as paper is reflected in video editing, and a recording medium recording the method. It is in.

【0017】[0017]

【課題を解決するための手段】上記課題を解決するため
に、本発明による映像編集装置は、映像素材をレイアウ
トして出力し、その出力結果で映像素材の編集作業を行
う映像編集装置において、映像素材を区間単位に分割す
る映像区間分割手段と、前記分割された映像区間毎に代
表画像を出力する代表画像出力手段と、前記代表画像を
レイアウトする代表画像レイアウト手段と、前記レイア
ウト結果に応じて前記映像区間の映像を編集する映像編
集手段と、前記レイアウト結果をレイアウト出力する出
力手段と、前記レイアウト出力に対して加工操作が加え
られた出力を読み取る読み取り手段と、前記読み取った
内容と前記レイアウト出力とを比較することで前記加え
られた操作内容を出力する比較手段と、前記編集された
映像に対して前記加えられた操作内容に対応する映像を
加工する編集映像加工手段とを備えたことを特徴とす
る。
In order to solve the above-mentioned problems, a video editing apparatus according to the present invention lays out and outputs a video material, and edits the video material based on the output result. A video section dividing means for dividing a video material into sections, a representative image output means for outputting a representative image for each of the divided video sections, a representative image layout means for laying out the representative image, Video editing means for editing the video of the video section, output means for laying out the layout result, reading means for reading an output obtained by applying a processing operation to the layout output, A comparing unit that outputs the added operation content by comparing a layout output with the layout output; Characterized in that a edited video processing means for processing an image corresponding to the obtained operation content.

【0018】また、上記課題を解決するために、本発明
による映像編集方法は、映像素材をレイアウトして出力
し、その出力結果で映像素材の編集作業を行う映像編集
方法において、前記映像素材を区間単位に分割し、前記
分割された映像区間毎に代表画像を出力し、前記代表画
像を指示に従ってレイアウトし、前記レイアウト結果に
応じて前記映像区間の映像を編集し、前記レイアウト結
果をレイアウト出力し、前記レイアウト出力に対して加
工操作が加えられた出力を読み取り、前記読み取った内
容と前記レイアウト出力とを比較することで前記加えら
れた操作内容を出力し、前記編集された映像に対して前
記加えられた操作内容に対応する映像を加工することを
特徴とする。
According to another aspect of the present invention, there is provided a video editing method in which a video material is laid out and output, and the output result is edited. It divides into sections, outputs a representative image for each of the divided video sections, lays out the representative image according to an instruction, edits the video of the video section according to the layout result, and outputs the layout result in a layout. Reading an output to which a processing operation has been added to the layout output, outputting the added operation content by comparing the read content with the layout output, and outputting the edited operation content to the edited video. A video corresponding to the added operation content is processed.

【0019】また、上記課題を解決するために、本発明
による記録媒体は、映像素材を区間単位に分割する手順
と、前記分割された映像区間毎に代表画像を出力する手
順と、前記代表画像を指示に従ってレイアウトする手順
と、前記レイアウト結果に応じて前記映像区間の映像を
編集する手順と、前記レイアウト結果をレイアウト出力
する手順と、前記レイアウト出力に対して加工操作が加
えられた出力を読み取る手順と、前記読み取った内容と
前記レイアウト出力とを比較することで前記加えられた
操作内容を出力する手順と、前記編集された映像に対し
て前記加えられた操作内容に対応する映像を加工する手
順とを、コンピュータに実行させるプログラムとして、
該コンピュータが読み取り可能な記録媒体に記録したこ
とを特徴とする。
According to another aspect of the present invention, there is provided a recording medium comprising: a step of dividing a video material into sections; a step of outputting a representative image for each of the divided video sections; , Laying out the video of the video section according to the layout result, laying out the layout result, and reading the output obtained by processing the layout output. Outputting the added operation content by comparing the read content with the layout output, and processing a video corresponding to the added operation content on the edited video. And the procedure as a program to be executed by a computer,
The program is recorded on a computer-readable recording medium.

【0020】これら映像編集装置及び映像編集方法並び
に記録媒体によれば、映像編集の際に、映像素材から代
表的な画像を抽出し、そうした代表的な画像をレイアウ
トすることで、映像の内容把握に役立つ内容把握支援出
力物を作成しつつ、自動的に映像を編集することを可能
とし、かつ、そうして生成された映像内容把握出力物を
紙などのメデイアに出力することが可能となり、さら
に、出力物に対して与えられた加工による結果を読み取
らせると、加えられた加工内容を自動検出し、検出され
た内容が映像の編集に反映されることができるため、編
集者にとっては、内容把握出力物を作りながら映像編集
を行うことが可能となり、また、その内容把握支援出力
物に対して加えられた加工内容を判断して、それを映像
編集に反映することができるためいつでもどこでも編集
できるという課題を解決するものとなる。
According to the video editing apparatus, the video editing method, and the recording medium, at the time of video editing, a representative image is extracted from a video material and the representative image is laid out to grasp the content of the video. It is possible to automatically edit the video while creating a content understanding support output that is useful for, and it is possible to output the generated video content understanding output to media such as paper, Furthermore, when the result of the processing given to the output material is read, the added processing content is automatically detected, and the detected content can be reflected in the editing of the video, so for the editor, It is possible to perform video editing while creating a content comprehension output, and to judge the processing content added to the content comprehension support output and reflect it in video editing. The thing to solve the problem that it can be edited at any time anywhere because you can.

【0021】[0021]

【発明の実施の形態】図1は、本発明の実施形態になる
映像編集方法の処理手順である。
FIG. 1 shows a processing procedure of a video editing method according to an embodiment of the present invention.

【0022】入力映像D0から、編集及び加工された映
像D9の素材となる映像素材を生成するために、映像区
間分割処理S0によって映像をいくつかの映像区間D1
に分割する。この映像区間D1に対して、映像代表画像
出力処理S1によって映像編集の際のインデクス情報と
なる代表画像D2を出力する。利用者は、代表画像D2
を基に、代表画像レイアウト処理S2に指示11を与え
ることによって素材を編集し、レイアウト結果D3を得
る。このレイアウト結果D3は、生成する映像の内容を
把握するための支援出力物となるものであり、かつ、こ
のレイアウト結果に基づいて映像を実際に編集する。
In order to generate a video material as a material of the edited and processed video D9 from the input video D0, the video is divided into several video sections D1 by the video section dividing process S0.
Divided into A representative image D2 serving as index information at the time of video editing is output to the video section D1 by a video representative image output process S1. The user has the representative image D2
, The material is edited by giving the instruction 11 to the representative image layout processing S2, and the layout result D3 is obtained. The layout result D3 is a support output for grasping the content of the video to be generated, and the video is actually edited based on the layout result.

【0023】レイアウト結果D3を出力処理S4にて出
力したものがレイアウト出力D5となる。一方で、レイ
アウト結果D3を映像編集処理S3に送り、素材となっ
た映像区間D1に対して処理を行うことで編集された映
像D4を得ることができる。
The output of the layout result D3 in the output process S4 is a layout output D5. On the other hand, the layout result D3 is sent to the video editing process S3, and the edited video D4 can be obtained by performing the process on the video section D1 as the material.

【0024】一方、利用者は、レイアウト出力D5に対
して編集者からの操作を加えられることで変化が与えら
れ、加工されたレイアウト出力D6となる。これは、編
集者が仮想的にレイアウトを変更したり、字幕やテキス
ト情報を付加するものであり、想像の上で映像が編集さ
れていることと等しいものとする。こうしてレイアウト
出力D3に加工されたものを読み取り処理S5にて読み
取らせ、読み取り内容D7を得る。読み取り内容D7に
は、あらかじめ出力されたレイアウト出力に加えて編集
者によって行われた加工が反映されており、この加工内
容を、元々のレイアウト出力D5と、読み取り内容D7
とを比較処理S6で比較することで抽出する。この加工
内容は加えられた操作内容D8として抽出される。
On the other hand, the user changes the layout output D5 by giving an operation from the editor to the layout output D5, and the processed layout output D6 is obtained. This is for the editor to virtually change the layout or to add subtitles or text information, which is equivalent to imaginary editing of the video. The layout output D3 processed in this way is read in the reading process S5, and the read content D7 is obtained. The read content D7 reflects processing performed by the editor in addition to the previously output layout output, and the processed content is referred to as the original layout output D5 and the read content D7.
Are extracted by comparing with the comparison process S6. This processing content is extracted as the added operation content D8.

【0025】この加えられた操作内容D8が、あらかじ
め定められた実際の映像D4に対する加工と対応してい
る場合には、映像D4に対して加工を行う。これによ
り、レイアウトされた出力に対応する映像D4に対し
て、レイアウトされた出力D5に加えられた加工や操作
に対応する操作内容D8を行った映像により編集及び加
工された映像D9を編集映像加工処理S7で得ることが
できる。
If the added operation content D8 corresponds to a predetermined processing on the actual video D4, the processing is performed on the video D4. Thus, the video D4 corresponding to the laid out output is edited and processed by the video obtained by performing the operation content D8 corresponding to the processing and the operation added to the laid out output D5 to edit video processing. It can be obtained in step S7.

【0026】なお、入力映像D0は、コンピュータが解
析可能なディジタル映像であれば良く、MPEGやJP
EG等の圧縮符号化されていても構わない。その時間及
び空間方向へのパラメータは任意で構わない。また、デ
ィジタル映像でない場合には、アナログ映像データをキ
ャブチャツール等によるディジタル化する機能を映像区
間分割処理S0に備えていても構わない。映像区間D1
についても、同様の特性が反映される。
The input video D0 may be any digital video that can be analyzed by a computer, and may be MPEG or JP.
It may be compression-coded such as EG. The parameters in the time and space directions may be arbitrary. If the image is not a digital image, a function of digitizing analog image data using a capture tool or the like may be provided in the image section dividing process S0. Video section D1
, The same characteristics are reflected.

【0027】代表画像D2は、各映像区間を基にしてお
り、映像区間から得られる特徴量に応じてさまざまな代
表画像が生成される。最も簡単なものは、ショットチェ
ンジ直後のフレームをそのまま用いる場合であるが、シ
ョットチェンジ直後である必要はなく、ショットチェン
ジ直前や、ショットチェンジと次のショットチェンジの
ちょうど真ん中のものや、最も明度の高いもの、色相の
高いもの等のフレームを選択することで、代表画像とす
ることもできる。
The representative image D2 is based on each video section, and various representative images are generated according to the feature amounts obtained from the video sections. The simplest case is to use the frame immediately after the shot change as it is, but it does not need to be immediately after the shot change. By selecting a frame such as a high one or a high hue, the representative image can also be used.

【0028】また、カメラワークの開始、終了、カメラ
ワークが最大に行われているフレームを選択しても良い
し、手ぶれや、被写体の急激な動きが急な部分を取り除
いた場合や、それらの開始、終了時のフレーム、動き被
写体の有無、動き被写体の有無に応じて動き被写体の出
現、消滅等のフレームといったフレームをそのまま利用
することである。
Further, the start and end of the camera work and the frame in which the camera work is performed to the maximum may be selected. Frames such as frames at the start and end, presence or absence of a moving subject, and frames such as appearance and disappearance of a moving subject according to the presence or absence of a moving subject are used as they are.

【0029】また、抽出されたカメラワーク情報を基に
カメラワークの動きずれを計測し、そのずれだけ時系列
画像をずらしていくことで生成される高精細画像等の画
像を利用しても構わない。この高精細画像中に動き被写
体が存在する場合には、動き被写体をこの高精細画像中
に貼り付けたものも可能とする。
It is also possible to use an image such as a high-definition image generated by measuring a motion shift of the camera work based on the extracted camera work information and shifting the time-series image by the shift. Absent. When a moving subject is present in the high-definition image, a moving subject can be attached to the high-definition image.

【0030】これらの代表画像D2は、それぞれ映像の
ある時間区間の内容を基に生成されるものであり、映像
の一部の内容を反映したものである。これら、代表画像
には、それを作成した映像の一部を代表させる意味を持
たせておくこととし、リンクを与えておく。なお、リン
クは一対一対応である必要は必ずしもない。さまざまな
条件によって、複数のリンクが存在しても良いし、ま
た、入れ子になっていても構わない。
Each of these representative images D2 is generated based on the content of a certain time section of the video, and reflects a part of the video. These representative images are given a meaning to represent a part of the video that has been created, and are given links. It is not always necessary that the links have a one-to-one correspondence. Depending on various conditions, multiple links may exist or may be nested.

【0031】代表画像D2が生成されたレイアウト結果
D3によって、映像と対応した代表画像を配置し、編集
者が希望する映像を生成する。この際レイアウトとは、
ただ順番に選択し、ある定められたフィールドに配置す
るだけでなく、拡大、縮小、伸縮、回転などの空間的な
加工や、明度、色相などの変更に加えて、字幕、擬音、
マンガにおけるセリフ、等のテキスト情報を付加したも
のも、こうしたレイアウトの一部である。また、代表画
像の解像度を変更したり、一部ないし全てを透明化して
も構わない。これらは、いずれもマンガを制作するため
に必要な加工であり、編集者の映像制作に対する意図を
表現する重要な加工となる。
According to the layout result D3 in which the representative image D2 is generated, a representative image corresponding to the video is arranged, and a video desired by the editor is generated. In this case, the layout
Just select them in order and place them in a certain fixed field.In addition to spatial processing such as enlargement, reduction, expansion, rotation, change of brightness, hue, etc., subtitles, onomatopoeia,
A manga to which text information such as dialogue is added is also a part of such a layout. Further, the resolution of the representative image may be changed, or some or all of the image may be made transparent. These are all processes necessary for producing manga, and are important processes for expressing the editor's intention for video production.

【0032】レイアウトに際して代表画像はある電子ペ
ージ上に配置されていくことになる。ここでこのページ
は、電子化された仮想的なフィールドである。そのペー
ジサイズ、形状、色等は任意で構わない。もちろん、均
一なべ一ジにしても構わない。このページの上に配置す
る場所は、任意で構わない。左から右へ、上から下へと
いうルールや、左から右、下から上といったアレンジは
自由に行って構わない。
At the time of layout, a representative image is arranged on a certain electronic page. Here, this page is an electronic virtual field. The page size, shape, color, etc. may be arbitrary. Of course, a uniform page may be used. The place to be placed on this page is arbitrary. Arrangements such as left-to-right and top-to-bottom, and arrangements such as left-to-right and bottom-to-top are optional.

【0033】複数の代表画像D2が選択され、加工さ
れ、配置されることで、これらの映像の一部を利用した
レイアウト結果D3を得ることができる。レイアウト結
果は、映像素材の内容から生成され、その映像の内容を
反映した代表画像の情報を基に生成された内容把握支援
出力物であり、レイアウト結果には、セリフ、擬音等の
情報が入れ込まれたものであり、レイアウト結果から大
体の内容が把握できるものである。
By selecting, processing and arranging a plurality of representative images D2, a layout result D3 using a part of these images can be obtained. The layout result is a content comprehension support output generated from the content of the video material and based on the information of the representative image reflecting the content of the video, and the layout result includes information such as dialogue and onomatopoeia. This is the content that can be roughly grasped from the layout result.

【0034】レイアウト結果D3を基に、レイアウト中
の代表画像D2に対応する映像区間D1を、配置した順
番に映像をつないで編集する。また、もしテキスト情報
などや、編集時に対する指示があらかじめ与えられてい
ればそれに対応した指示を反映して映像の編集を行う。
これにより編集された映像D4が得られる。
Based on the layout result D3, the video section D1 corresponding to the representative image D2 in the layout is edited by connecting the video in the arrangement order. Also, if text information or the like or an instruction for editing is given in advance, the video is edited by reflecting the corresponding instruction.
As a result, an edited video D4 is obtained.

【0035】一方、レイアウト結果D3は、編集された
映像の内容把握を支援する出力物ともなり、出力処理S
4にて出力する。出力に用いるメデイアは紙や紙以外の
金属、プラスティック、樹脂など、印刷可能なものであ
れば何でも良い。ただし、編集者やこの出力結果を基に
内容を把握する視聴者にとって簡便で扱い易い媒体に出
力されたものであることが望ましい。
On the other hand, the layout result D3 also serves as an output to assist in comprehending the contents of the edited video.
Output at 4. The media used for the output may be anything that can be printed, such as paper, metal other than paper, plastic, resin, and the like. However, it is desirable that the data is output on a medium that is simple and easy to handle for the editor or a viewer who understands the contents based on the output result.

【0036】こうした出力物に対して、編集者は、テキ
スト情報を始めとする各種操作に対応する操作命令を与
える。この命令の与えかたはペンなどで書き込んでも良
いし、カードなどを貼付しても良いし、シールなどを貼
っても良いし、切り取っても良いし、折り曲げても良
い。書き込みの場合には、例えば、擬音等を付け足して
良いし、代表画像の順番を入れ替えるなどの指示に対応
する書き込みでも良い。こうした操作命令が与えられ
る。これによりレイアウト出力は加工されたレイアウト
出力D6となる。
The editor gives operating instructions corresponding to various operations including text information to such output. This instruction may be given by writing with a pen or the like, pasting a card or the like, pasting a seal or the like, cutting out, or folding. In the case of writing, for example, an onomatopoeic sound may be added, or writing corresponding to an instruction such as changing the order of the representative images may be performed. Such an operation instruction is given. Thereby, the layout output becomes the processed layout output D6.

【0037】レイアウト出力を読み取る読み取り処理S
5では、こうしたレイアウト出力物とそこに加えられた
操作とを同時に読み取る。比較処理S6では差分を計算
し、実際に加えられた操作を抽出する。この読み取りは
加えられた操作D8として反映される。加えられた操作
が抽出されたら、操作を自動認識して各種操作に対応す
る内容を自動的に実行しても良いし、編集者に表示し、
編集者がそれに対する加工を改めてレイアウト出力や映
像に対して直接変更を加えても良い。
Reading process S for reading layout output
In step 5, the layout output and the operation applied thereto are read at the same time. In the comparison process S6, the difference is calculated, and the operation actually added is extracted. This reading is reflected as the added operation D8. When the added operation is extracted, the operation may be automatically recognized and the contents corresponding to various operations may be automatically executed, or displayed to the editor,
The editor may directly modify the layout output or the video again by modifying the processing.

【0038】こうして加えられた操作内容として指示さ
れたものに対応する加工命令が存在する場合には、編集
映像加工処理S7にて加工する。この加工には、字幕や
擬音などのテキスト情報に対応するものが付加されるな
どレイアウト出力における命令に準ずるものとする。
If there is a processing command corresponding to the instruction given as the operation content added in this way, it is processed in the edited video processing process S7. This processing conforms to the command in the layout output, such as adding text information such as subtitles and onomatopoeia.

【0039】図2は、本発明の実施形態になる映像編集
装置のブロック図である。
FIG. 2 is a block diagram of the video editing apparatus according to the embodiment of the present invention.

【0040】入力映像D0から、編集及び加工された映
像D9の素材となる映像素材を生成するために、映像区
間分割部10によって映像をいくつかの映像区間D1に
分割する。この映像区間D1に対して、映像代表画像出
力部11によって映像編集の際のインデクス情報となる
代表画像D2を出力する。利用者は、代表画像D2を基
に、代表画像レイアウト部12に指示を与えることによ
って素材を編集し、レイアウト結果D3を得る。このレ
イアウト結果D3は、生成する映像の内容を把握するた
めの支援出力物となるものであり、かつ、このレイアウ
ト結果に基づいて映像を実際に編集する。
In order to generate a video material as a material of the edited and processed video D9 from the input video D0, the video is divided into several video sections D1 by the video section dividing unit 10. For this video section D1, the video representative image output unit 11 outputs a representative image D2 serving as index information at the time of video editing. The user edits the material by giving an instruction to the representative image layout unit 12 based on the representative image D2, and obtains a layout result D3. The layout result D3 is a support output for grasping the content of the video to be generated, and the video is actually edited based on the layout result.

【0041】レイアウト結果D3を出力部14にて出力
したものがレイアウト出力D5となる。一方で、レイア
ウト結果D3を映像編集部13に送り、素材となった映
像区間D1に対して処理を行うことで編集された映像D
4を得ることができる。
The layout result D3 output from the output unit 14 is the layout output D5. On the other hand, the layout result D3 is sent to the video editing unit 13, and the edited video D is processed by processing the video section D1 as a material.
4 can be obtained.

【0042】一方、利用者は、レイアウト出力D5に対
して編集者からの操作を加えられることで変化が与えら
れ、加工されたレイアウト出力D6となる。これは、編
集者が仮想的にレイアウトを変更したり、字幕やテキス
ト情報を付加するものであり、想像の上で映像が編集さ
れていることと等しいものとする。こうしてレイアウト
出力D3に加工がなされたものを読み取り部15にて読
み取らせ、読み取り内容D7を得る。読み取り内容D7
には、あらかじめ出力されたレイアウト出力に加えて編
集者によって行われた加工が反映されており、この加工
内容を、元々のレイアウト出力D5と、読み取り内容D
7とを比較部16で比較することで抽出する。この加工
内容は加えられた操作内容D8として抽出される。
On the other hand, the user changes the layout output D5 by applying an operation from the editor to the layout output D5, and the processed layout output D6 is obtained. This is for the editor to virtually change the layout or to add subtitles or text information, which is equivalent to imaginary editing of the video. The layout output D3 thus processed is read by the reading unit 15 to obtain the read content D7. Read content D7
Reflects the processing performed by the editor in addition to the previously output layout output. The processing contents are referred to as the original layout output D5 and the read contents D.
7 is extracted by comparing it with the comparing unit 16. This processing content is extracted as the added operation content D8.

【0043】この加えられた操作内容D8が、あらかじ
め定められた実際の映像D4に対する加工と対応してい
る場合には、編集映像加工部17において映像D4に対
して加工を行うか、もしくは、編集者に一度表示し、編
集者の指示にしたがって、映像に対して編集や加工を行
い、編集及び加工された映像D9を得る。
If the added operation content D8 corresponds to a predetermined processing on the actual video D4, the editing video processing section 17 performs processing on the video D4 or edits the video D4. Once, and edits or processes the video according to the instructions of the editor to obtain an edited and processed video D9.

【0044】なお、入力映像D0は、コンピュータが解
析可能なディジタル映像であれば良く、MPEGやJP
EG等の圧縮符号化されていても構わない。その時間及
び空間方向へのパラメータは任意で構わない。また、デ
ィジタル映像でない場合には、アナログ映像データをキ
ャプチャツール等によるディジタル化する機能を映像区
間分割部10に備えていても構わない。映像区間D1に
ついても、同様の特性が反映される。
The input video D0 may be any digital video that can be analyzed by a computer, such as MPEG or JP.
It may be compression-coded such as EG. The parameters in the time and space directions may be arbitrary. If the image is not a digital image, the image section dividing unit 10 may have a function of digitizing analog image data using a capture tool or the like. Similar characteristics are reflected in the video section D1.

【0045】代表画像D2は、各映像区間を基にしてお
り、映像区間から得られる特徴量に応じてさまざまな代
表画像が生成される。最も簡単なものは、ショットチェ
ンジ直後のフレームをそのまま用いる場合であるが、シ
ョットチェンジ直後である必要はなく、ショットチェン
ジ直前や、ショットチェンジと次のショットチェンジの
ちょうど真ん中のものや、最も明度の高いもの、色相の
高いもの等のフレームを選択することで、代表画像とす
ることもできる。
The representative image D2 is based on each video section, and various representative images are generated according to the feature amounts obtained from the video sections. The simplest case is to use the frame immediately after the shot change as it is, but it does not need to be immediately after the shot change. By selecting a frame such as a high one or a high hue, the representative image can also be used.

【0046】また、カメラワークの開始、終了、カメラ
ワークが最大に行われているフレームを選択しても良い
し、手ぶれや、被写体の急激な動きが急な部分を取り除
いた場合や、それらの開始、終了時のフレーム、動き被
写体の有無、動き被写体の有無に応じて動き被写体の出
現、消滅等のフレームといったフレームをそのまま利用
することである。
The start and end of the camera work and the frame in which the camera work is performed to the maximum may be selected. Frames such as frames at the start and end, presence or absence of a moving subject, and frames such as appearance and disappearance of a moving subject according to the presence or absence of a moving subject are used as they are.

【0047】また、抽出されたカメラワーク情報を基に
カメラワークの動きずれを計測し、そのずれだけ時系列
画像をずらしていくことで生成される高精細画像等の画
像を利用しても構わない。この高精細画像中に動き被写
体が存在する場合には、動き被写体をこの高精細画像中
に貼り付けたものも可能とする。
Further, it is also possible to use the image such as a high-definition image generated by measuring the movement deviation of the camera work based on the extracted camera work information and shifting the time-series image by the deviation. Absent. When a moving subject is present in the high-definition image, a moving subject can be attached to the high-definition image.

【0048】これらの代表画像D2は、それぞれ映像の
ある時間区間の内容を基に生成されるものであり、映像
の一部の内容を反映したものである。これら、代表画像
には、それを作成した映像の一部を代表させる意味を持
たせておくこととし、リンクを与えておく。なお、リン
クは一対一対応である必要は必ずしもない。さまざまな
条件によって、複数のリンクが存在しても良いし、ま
た、入れ子になっていても構わない。
Each of these representative images D2 is generated based on the content of a certain time section of the video, and reflects a part of the video. These representative images are given a meaning to represent a part of the video that has been created, and are given links. It is not always necessary that the links have a one-to-one correspondence. Depending on various conditions, multiple links may exist or may be nested.

【0049】代表画像D2を基に編集者の指示によって
生成されたレイアウト結果D3によって、映像と対応し
た代表画像を配置し、編集者が希望する映像を生成す
る。この際レイアウトとは、ただ順番に選択し、ある定
められたフィールドに配置するだけでなく、拡大、縮
小、伸縮、回転などの空間的な加工や、明度、色相など
の変更に加えて、字幕、擬音、マンガにおけるセリフ、
等のテキスト情報を付加したものも、こうしたレイアウ
トの一部である。また、代表画像の解像度を変更した
り、一部ないし全てを透明化しても構わない。これら
は、いずれもマンガを制作するために必要な加工であ
り、編集者の映像制作に対する意図を表現する重要な加
工となる。
According to the layout result D3 generated by the editor's instruction based on the representative image D2, a representative image corresponding to the video is arranged, and a video desired by the editor is generated. In this case, layout means not only selecting in order and arranging it in a fixed field, but also spatial processing such as enlargement, reduction, expansion, rotation, rotation, change of brightness, hue, etc. , Onomatopoeia, dialogue in manga,
And the like are also part of such a layout. Further, the resolution of the representative image may be changed, or some or all of the image may be made transparent. These are all processes necessary for producing manga, and are important processes for expressing the editor's intention for video production.

【0050】レイアウトに際して代表画像はある電子ペ
ージ上に配置されていくことになる。ここでこのページ
は、電子化された仮想的なフィールドである。そのペー
ジサイズ、形状、色等は任意で構わない。もちろん、均
一なべ一ジにしても構わない。このページの上に配置す
る場所は、任意で構わない。左から右へ、上から下へと
いうルールや、左から右、下から上といったアレンジは
自由に行って構わない。
At the time of layout, the representative image is arranged on a certain electronic page. Here, this page is an electronic virtual field. The page size, shape, color, etc. may be arbitrary. Of course, a uniform page may be used. The place to be placed on this page is arbitrary. Arrangements such as left-to-right and top-to-bottom, and arrangements such as left-to-right and bottom-to-top are optional.

【0051】複数の代表画像D2が選択され、加工さ
れ、配置されることで、これらの映像の一部を利用した
レイアウト結果を得ることができる。レイアウト結果
は、映像素材の内容から生成され、その映像の内容を反
映した代表画像の情報を基に生成された内容把握支援出
力物であり、レイアウト結果には、セリフ、擬音等の情
報が入れ込まれたものであり、代表画像をみるだけで大
体の内容が把握できるものである。
By selecting, processing, and arranging a plurality of representative images D2, a layout result using a part of these images can be obtained. The layout result is a content comprehension support output generated from the content of the video material and based on the information of the representative image reflecting the content of the video, and the layout result includes information such as dialogue and onomatopoeia. It is a content that can be roughly grasped only by looking at the representative image.

【0052】この代表画像D2をレイアウトしたレイア
ウト結果D3を基に、レイアウト中の代表画像D2に対
応する映像区間を、配置した順番に映像をつないで編集
する。また、もしテキスト情報などや、編集時に対する
指示があらかじめ与えられていればそれに対応した指示
を反映して映像の編集を行う。これにより編集された映
像D4が得られるのである。
Based on the layout result D3 obtained by laying out the representative image D2, the video section corresponding to the representative image D2 in the layout is edited by connecting the images in the arrangement order. Also, if text information or the like or an instruction for editing is given in advance, the video is edited by reflecting the corresponding instruction. As a result, an edited video D4 is obtained.

【0053】一方、レイアウト結果D3は、編集された
映像の内容把握を支援する出力物ともなり、出力部14
にて出力する。出力に用いるメディアは紙や紙以外の金
属、プラスティック、樹脂など、印刷可能なものであれ
ば何でも良い。ただし、編集者やこの出力結果を基に内
容を把握する視聴者にとって簡便で扱い安い媒体に出力
されたものであることが望ましい。
On the other hand, the layout result D3 also serves as an output to assist in grasping the contents of the edited video.
Output with. The medium used for output may be any type of printable medium such as paper or metal other than paper, plastic, resin, and the like. However, it is desirable that the output is performed on a medium that is simple and easy to handle for an editor or a viewer who understands the contents based on the output result.

【0054】こうした出力物に対して、編集者は、テキ
スト情報を始めとする各種操作に対応する操作命令を与
える。この命令の与えかたはペンなどで書き込んでも良
いし、カードなどを貼付したり使いしても良いし、シー
ルなどを貼っても良いし、切り取っても良いし、折り曲
げても良い。書き込みの場合には、例えば擬音等を付け
足して良いし、代表画像の順番を入れ替えるなどの指示
に対応する書き込みでも良い。こうした操作命令が与え
られる。これによりレイアウト出力は加工されたレイア
ウト出力D6となる。
To such an output, the editor gives an operation command corresponding to various operations including text information. The instruction may be given by writing with a pen or the like, pasting or using a card or the like, pasting a seal or the like, cutting out, or bending. In the case of writing, for example, an onomatopoeic sound may be added, or writing corresponding to an instruction such as changing the order of the representative images may be performed. Such an operation instruction is given. Thereby, the layout output becomes the processed layout output D6.

【0055】レイアウト出力を読み取る読み取り部15
では、こうしたレイアウト出力物とそこに加えられた操
作とを同時に読み取る。比較部16では差分を計算し、
実際に加えられた操作を読み取る。加えられた操作内容
D8は、書き込みを始めとする各種操作に対応する内容
を自動的に読み取っても良いし、編集者にみせ、それを
編集者がそれに対する加工を改めてレイアウト出力や映
像に対して直接変更を加える処理を含んでも良い。
Reading section 15 for reading layout output
Then, such a layout output and the operation applied thereto are read at the same time. The comparison unit 16 calculates the difference,
Read the operations actually performed. As the added operation content D8, the content corresponding to various operations including writing may be automatically read, or the content may be displayed to the editor, and the editor may process the content again for layout output or video. May directly include a change.

【0056】こうして加えられた操作内容として指示さ
れたものに対応する加工命令が存在する場合には、編集
映像加工部17にて加工する。この加工には、字幕や擬
音などのテキスト情報に対応するものが付加されたり、
空間的な加工を行われるなどレイアウト出力における命
令に準じた加工が行われる。
If there is a processing instruction corresponding to the instruction given as the operation content added in this way, the edited video processing unit 17 processes the processing instruction. In this process, text information such as subtitles and onomatopoeia are added,
Processing according to a command in layout output, such as performing spatial processing, is performed.

【0057】以上までの映像編集方法及び装置における
具体的な編集例を以下に説明する。
A specific editing example in the video editing method and apparatus described above will be described below.

【0058】まず、図3に代表画像D2をレイアウトし
た結果D3及びレイアウト出力D5の例を示す。図3の
(a)は代表画像のレイアウト結果D3であり、付属表
示させる画像番号P1〜P7は、配置し、各代表画像と
対応する映像を再生する際の順番に対応する。各レイア
ウトされた代表画像の形状とサイズが異なるのはレイア
ウト時に各代表画像に変更が加えられていることを示
す。
First, FIG. 3 shows an example of the result D3 of the layout of the representative image D2 and an example of the layout output D5. FIG. 3A shows a layout result D3 of the representative images, and the image numbers P1 to P7 to be attachedly displayed correspond to the order in which the images corresponding to the respective representative images are arranged and reproduced. The difference between the shapes and sizes of the laid out representative images indicates that the representative images have been changed at the time of layout.

【0059】一方、図3の(b)はレイアウト出力D5
の一例であり、印刷する対象をここでは紙媒体とし、紙
に入りきらない場合には、電子ページの1ページが入り
きらず紙への出力時には次のページに出力されている様
子を示している。電子ページの1ページが通常の解像度
の場合、紙の1ページにおさまらない場合には、図3の
例のように、次のページベ出力しても良いし、縮小して
同一紙ページへ出力しても良い。
On the other hand, FIG. 3B shows a layout output D5.
In this case, the target to be printed is a paper medium, and when it does not fit on paper, one page of the electronic page does not fit and is output to the next page when outputting to paper. . When one electronic page has a normal resolution and does not fit on one page of paper, the next page may be output as shown in the example of FIG. 3 or reduced and output on the same paper page. May be.

【0060】図4には、レイアウト結果D3から出力さ
れたレイアウト出力D5を示している。(a)はレイア
ウト結果D3であり、各方形の形状は代表画像を示して
いる。各代表画像の下に付属表示させる画像番号P1〜
P9は、それぞれレイアウトの順番を示している。な
お、6番目の代表画像P6はカメラワークなどの動きが
あるばあい、同一シーンにおける移動のずれを意識して
張り合わせた高精細画像の一例である。このレイアウト
結果D3から映像編集部部13(又は映像編集処理S
3)によって対応する映像区間D1を編集した結果が
(b)に示す編集された映像区間D1(P1〜P9)で
ある。それぞれ代表区間の番号と、映像区間の番号が対
応している。
FIG. 4 shows a layout output D5 output from the layout result D3. (A) is a layout result D3, and the shape of each square indicates a representative image. Image numbers P1 to be attached and displayed below each representative image
P9 indicates the layout order. Note that the sixth representative image P6 is an example of a high-definition image stuck together when there is a movement such as a camera work in consideration of a movement shift in the same scene. From the layout result D3, the video editing unit 13 (or the video editing process S
The result of editing the corresponding video section D1 according to 3) is the edited video section D1 (P1 to P9) shown in (b). The number of the representative section and the number of the video section correspond to each other.

【0061】一方で、図4に示すようなレイアウト結果
D3に対する編集者からの操作によって、出力物に操作
及び加工が加えられる。この加工に制限はなく、自由に
操作を行っても良い。この操作を読み取り部15(又は
読み取り処理S5)によって読み取り、比較部16(又
は比較処理S6)を介して加えられた加工命令を抽出す
る。この加工命令を自動乃至は手動で認識し、あらかじ
め実行可能な操作命令が存在する場合に限り、既に編集
されている映像D4に対して命令を与える。その命令に
ついては様々なものが考えられる。
On the other hand, an operation and processing are added to the output by the operation of the layout result D3 as shown in FIG. 4 by the editor. There is no limitation on this processing, and the operation may be freely performed. This operation is read by the reading unit 15 (or the reading process S5), and the processing command added via the comparing unit 16 (or the comparing process S6) is extracted. This processing command is automatically or manually recognized, and the command is given to the already edited video D4 only when there is an operation command that can be executed in advance. Various instructions are conceivable.

【0062】読み取り部15と比較部16について説明
を加える。読み取り部15では、加工された内容を読み
取る。比較部16では、レイアウト出力D5の基となっ
たレイアウト結果D3と、加工された後読み取った内容
D7とを比較して、加えられた加工部分を抽出する。
The reading unit 15 and the comparison unit 16 will be described. The reading unit 15 reads the processed contents. The comparing unit 16 compares the layout result D3 based on the layout output D5 with the content D7 read after the processing, and extracts the added processed part.

【0063】この処理は、図5に示すように差分抽出に
よって、編集者によって加えられた加工部分を読み取
る。差分は、読み取り内容D7と、レイアウト結果D3
とから行い、結果、加工された部分が抽出される。図5
の(a)は基となったレイアウト結果D3であり、
(b)は加工された読み取り内容D7の例である。この
加工例では、文字の挿入と、代表画像上への記号の加
筆、一部レイアウト出力の切り取り、等の例が挙げられ
る。この他にも折り曲げる、何かを貼付するなどが加工
例としてあげられる。図5の(c)はこうした加工と基
となったレイアウト結果との差分を算出し、その結果得
られた加工命令を表示したものである。例に示すように
加筆した文字や、記号、切り取られた部分が加えられた
操作内容D8として抽出される。
In this processing, as shown in FIG. 5, a processed portion added by the editor is read by difference extraction. The difference between the read content D7 and the layout result D3
And, as a result, the processed portion is extracted. FIG.
(A) is the layout result D3 based on which
(B) is an example of the processed read content D7. In this processing example, there are examples of insertion of a character, addition of a symbol on a representative image, cutout of a partial layout output, and the like. Other examples of processing include bending and attaching something. FIG. 5C shows the difference between such processing and the layout result based on the processing, and displays the processing command obtained as a result. As shown in the example, the added character, symbol, and cut-out portion are extracted as the added operation content D8.

【0064】なお、差分の際には読み取り位置の整合を
行う必要がある。読み取った画素同士の差分を算出し、
その差分和が最も小さくなったところを基準に位置合わ
せを行う。位置が適合したら、差分を算出し、その差分
が大きなピクセルの部分を差分情報として抽出する。さ
らにその差分データを2値化することで文字や記号等を
浮かび上がらせることが可能となる。
In the case of the difference, it is necessary to match the reading position. Calculate the difference between the read pixels,
Positioning is performed based on the point where the sum of the differences becomes the smallest. If the positions match, a difference is calculated, and a pixel portion having a large difference is extracted as difference information. Further, by binarizing the difference data, characters, symbols, and the like can be made to emerge.

【0065】次に、加えられた操作内容D8に従って、
編集された映像D4に対する加工を行う編集映像加工部
17の処理について説明する。この編集映像加工部17
は、読み取られた加工及び操作の内容を自動認識する。
自動認識できたものについてはそのまま処理を行う。で
きないものについては無視しても良いし、代表画像に配
置されている加工については、その内容を映像に反映さ
せても良い。
Next, according to the added operation content D8,
The processing of the edited video processing unit 17 for processing the edited video D4 will be described. This edited video processing unit 17
Automatically recognizes the contents of the read processing and operation.
Processing is automatically performed for those that have been automatically recognized. Items that cannot be processed may be ignored, and the contents of the processing arranged in the representative image may be reflected in the video.

【0066】例えば、図6に加工例を示すように、操作
内容D8において、書かれた文字はそのまま対応する映
像区間に挿入され、切り取られたり、大きく×印と認識
された映像区間は除去し、代表画像と無関係なものにつ
いては無視するなどの処理を行った映像D9を得てい
る。又は、自動認識できなかったものについては、無視
するか、又は、描かれたものをそのまま挿入する。認識
できた記号については、その記号に対応する命令があれ
ばそれに応じた命令を実行する等のように使い分ける。
For example, as shown in FIG. 6, in the operation content D8, in the operation content D8, the written character is directly inserted into the corresponding video section, and the video section that is cut off or largely recognized as a cross is removed. , A video D9 that has undergone processing such as ignoring those irrelevant to the representative image. Or, those which could not be automatically recognized are ignored, or the drawn one is inserted as it is. Recognized symbols are properly used, such as executing an instruction corresponding to the instruction if there is an instruction corresponding to the symbol.

【0067】なお、現在の文字や記号の読み取り技術等
の精度はまだまだ不十分なものであることから、映像に
加える編集内容がどのようなものであるのかという最終
的な判断は編集者によって与えられるとしてもよい。例
えば図7の(c)に示すように、編集者によって加えら
れた操作内容D8とレイアウト結果D3とを重ねて表示
し、レイアウト結果に対して示唆し、最終的な加工判断
は編集者が行っても良い。
Since the accuracy of the current reading technology of characters and symbols is still insufficient, the editor gives final judgment on what kind of editing content to be added to the video. It may be done. For example, as shown in FIG. 7C, the operation content D8 added by the editor and the layout result D3 are displayed in a superimposed manner, suggesting the layout result, and making the final processing decision by the editor. May be.

【0068】この加工は従来からの映像編集機能に全て
対応するものとする。従って、空間的加工や、字幕、セ
リフ等の挿入、効果音の挿入、被写体の一部強調などの
処理を行うことができるものとする。
This processing corresponds to all the conventional video editing functions. Therefore, it is possible to perform processing such as spatial processing, insertion of subtitles, dialogue, and the like, insertion of sound effects, and partial emphasis of a subject.

【0069】なお、この処理での加工及び代表画像をレ
イアウトする際に、タイムラインベースの既存のノンリ
ニア編集機とのインタラクションを行っても良い。
When processing and laying out a representative image in this process, an interaction with an existing non-linear editing machine based on a timeline may be performed.

【0070】また、操作及び加工において、半透明のビ
ニールシール等を付加し、読み取らせ対応する処理を行
っても良い。例えば、映像をセピア色等に映像区間を加
工するなどのルールを適用しても良い。
Further, in the operation and processing, a translucent vinyl seal or the like may be added to perform reading and corresponding processing. For example, a rule such as processing a video section into a sepia color or the like of a video may be applied.

【0071】また、読み取り部に通信機能を付加するこ
とで、例えばスキャナーやカメラ等で読み込み、ネット
ワークを介して伝送し、編集作業を行うなどという応用
も考えられる。こうしたネットワークを介することで編
集者は、実際の編集機にいなくても編集可能となる。
Further, by adding a communication function to the reading unit, it is also possible to consider an application in which reading is performed by, for example, a scanner or a camera, transmitted through a network, and edited. Through such a network, the editor can edit without being at the actual editing machine.

【0072】以上、映像編集方法及び装置について、説
明を加えてきたが、いろいろなアレンジを加えることは
容易に類推でき、それらも本発明の範囲内である。この
インタフェースは内容把握支援出力物を編集すると同時
に自動的に映像を生成するというアプローチをとってお
り、映像と、映像の内容を紹介するレイアウト出力とを
生成できるという特徴がある。この方法により、編集者
はより分かり易く、利用者はより視聴しやすい環境を構
築することができる。
Although the video editing method and apparatus have been described above, various arrangements can be easily analogized, and they are also within the scope of the present invention. This interface takes an approach of editing a content comprehension support output and automatically generating a video at the same time, and is characterized in that a video and a layout output for introducing the content of the video can be generated. With this method, it is possible to construct an environment that is easier for the editor to understand and for the user to view more easily.

【0073】なお、図1に示した方法又は図2に示した
装置の各部の一部又は全部をコンピュータプログラムで
記載してそれを実行できるようにし、それをコンピュー
タが読み取り可能な記録媒体、例えば、FD(フロッピ
ーディスク)や、MO、ROM、メモリカード、CD、
DVD、リムーバブルディスクなどに記録して提供し、
配布することが可能である。
A part or the whole of each part of the method shown in FIG. 1 or the apparatus shown in FIG. 2 is described in a computer program so that it can be executed, and the program is executed by a computer-readable recording medium, for example, , FD (floppy disk), MO, ROM, memory card, CD,
Provided by recording on DVD, removable disk, etc.
It is possible to distribute.

【0074】[0074]

【発明の効果】本発明によれば、映像素材から代表的な
画像を抽出してレイアウトすることで、映像の内容把握
に役立つ内容把握支援出力物を作成し、この映像内容把
握出力物に対して与えられた加工による結果を読み取ら
せ、加えられた加工内容を自動検出し、検出された内容
で映像の編集を可能にするようにしたため、映像編集の
内容を簡単に把握させるための支援ツールである映像の
内容把握支援出力物を作成すると同時に、映像編集を簡
易に行うことが可能であり、かつ、この内容把握支援出
力物を印刷し、印刷物に対する操作や加工を読み取り、
対応する加工を編集に行うことで、映像の制作、利用を
容易にし、かつ内容を把握するために有効な出力物を生
成でき、かつ、場所の制約をうけずに、映像の編集及び
加工を行うことが可能となる。ゆえに、映像の利用の普
及につながる効果がある。
According to the present invention, by extracting a representative image from a video material and laying it out, a content grasping support output useful for grasping the video content is created. A tool that allows you to read the results of the given processing, automatically detect the added processing content, and enable video editing with the detected content, so that you can easily grasp the content of video editing It is possible to easily edit a video at the same time as creating a video content comprehension support output, and print this content comprehension support output, read operations and processing on the printed material,
By editing the corresponding processing, it is easy to produce and use the video, and it is possible to generate an effective output to grasp the contents, and edit and process the video without being restricted by the place. It is possible to do. Therefore, there is an effect that the use of the video is spread.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施形態を示す映像編集方法の処理手
順。
FIG. 1 is a processing procedure of a video editing method according to an embodiment of the present invention.

【図2】本発明の実施形態を示す映像編集装置のブロッ
ク図。
FIG. 2 is a block diagram of a video editing apparatus according to the embodiment of the present invention.

【図3】実施形態におけるレイアウト結果とレイアウト
出力例。
FIG. 3 shows a layout result and a layout output example in the embodiment.

【図4】実施形態におけるレイアウト結果からの映像編
集の例。
FIG. 4 is an example of video editing from a layout result in the embodiment.

【図5】実施形態における比較処理例。FIG. 5 is a comparison processing example in the embodiment.

【図6】実施形態における映像への加工例。FIG. 6 is an example of processing into an image in the embodiment.

【図7】実施形態における加工内容の表示例。FIG. 7 is a display example of processing contents in the embodiment.

【符号の説明】[Explanation of symbols]

10…映像区間分割部 11…映像代表画像出力部 12…代表画像レイアウト部 13…映像編集部 14…出力部 15…読み取り部 16…比較部 17…編集映像加工部 DESCRIPTION OF SYMBOLS 10 ... Video section division part 11 ... Video representative image output part 12 ... Representative image layout part 13 ... Video editing part 14 ... Output part 15 ... Reading part 16 ... Comparison part 17 ... Edited video processing part

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 映像素材をレイアウトして出力し、その
出力結果で映像素材の編集作業を行う映像編集装置にお
いて、 映像素材を区間単位に分割する映像区間分割手段と、 前記分割された映像区間毎に代表画像を出力する代表画
像出力手段と、 前記代表画像をレイアウトする代表画像レイアウト手段
と、 前記レイアウト結果に応じて前記映像区間の映像を編集
する映像編集手段と、 前記レイアウト結果をレイアウト出力する出力手段と、 前記レイアウト出力に対して加工操作が加えられた出力
を読み取る読み取り手段と、 前記読み取った内容と前記レイアウト出力とを比較する
ことで前記加えられた操作内容を出力する比較手段と、 前記編集された映像に対して前記加えられた操作内容に
対応する映像を加工する編集映像加工手段と、を備えた
ことを特徴とする映像編集装置。
1. A video editing apparatus for laying out and outputting a video material and editing the video material based on the output result, comprising: a video section dividing means for dividing the video material into sections; A representative image output unit that outputs a representative image every time; a representative image layout unit that lays out the representative image; a video editing unit that edits a video of the video section according to the layout result; and a layout output of the layout result Output means for reading, output means for reading an output obtained by applying a processing operation to the layout output, and comparison means for outputting the added operation content by comparing the read content with the layout output. Edit video processing means for processing a video corresponding to the added operation content to the edited video, Video editing apparatus according to claim that there were example.
【請求項2】 映像素材をレイアウトして出力し、その
出力結果で映像素材の編集作業を行う映像編集方法にお
いて、 前記映像素材を区間単位に分割し、 前記分割された映像区間毎に代表画像を出力し、 前記代表画像を指示に従ってレイアウトし、 前記レイアウト結果に応じて前記映像区間の映像を編集
し、 前記レイアウト結果をレイアウト出力し、 前記レイアウト出力に対して加工操作が加えられた出力
を読み取り、 前記読み取った内容と前記レイアウト出力とを比較する
ことで前記加えられた操作内容を出力し、 前記編集された映像に対して前記加えられた操作内容に
対応する映像を加工することを特徴とする映像編集方
法。
2. A video editing method in which a video material is laid out and output, and a video material is edited based on the output result. The video material is divided into sections, and a representative image is divided for each of the divided video sections. And lays out the representative image according to the instruction, edits the video of the video section according to the layout result, outputs the layout result in a layout, and outputs an output obtained by processing the layout output. Reading, outputting the added operation content by comparing the read content with the layout output, and processing a video corresponding to the added operation content on the edited video. Video editing method.
【請求項3】 映像素材を区間単位に分割する手順と、 前記分割された映像区間毎に代表画像を出力する手順
と、 前記代表画像を指示に従ってレイアウトする手順と、 前記レイアウト結果に応じて前記映像区間の映像を編集
する手順と、 前記レイアウト結果をレイアウト出力する手順と、 前記レイアウト出力に対して加工操作が加えられた出力
を読み取る手順と、 前記読み取った内容と前記レイアウト出力とを比較する
ことで前記加えられた操作内容を出力する手順と、 前記編集された映像に対して前記加えられた操作内容に
対応する映像を加工する手順とを、 コンピュータに実行させるプログラムとして、該コンピ
ュータが読み取り可能な記録媒体に記録したことを特徴
とする映像編集方法を記録した記録媒体。
A step of dividing the video material into sections; a step of outputting a representative image for each of the divided video sections; a step of laying out the representative image in accordance with an instruction; Editing a video in a video section, outputting the layout result in a layout, reading an output obtained by processing the layout output, and comparing the read content with the layout output. A procedure for outputting the added operation content by the above, and a procedure for processing a video corresponding to the added operation content to the edited video, as a program to be executed by the computer, the computer reads A recording medium recording a video editing method, characterized by being recorded on a possible recording medium.
JP10143647A 1998-05-26 1998-05-26 Apparatus and method for video editing, and recording medium with this method recorded therein Pending JPH11341349A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10143647A JPH11341349A (en) 1998-05-26 1998-05-26 Apparatus and method for video editing, and recording medium with this method recorded therein

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10143647A JPH11341349A (en) 1998-05-26 1998-05-26 Apparatus and method for video editing, and recording medium with this method recorded therein

Publications (1)

Publication Number Publication Date
JPH11341349A true JPH11341349A (en) 1999-12-10

Family

ID=15343656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10143647A Pending JPH11341349A (en) 1998-05-26 1998-05-26 Apparatus and method for video editing, and recording medium with this method recorded therein

Country Status (1)

Country Link
JP (1) JPH11341349A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006050076A (en) * 2004-08-02 2006-02-16 Nippon Telegr & Teleph Corp <Ntt> Method and program for selecting representative image of video image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006050076A (en) * 2004-08-02 2006-02-16 Nippon Telegr & Teleph Corp <Ntt> Method and program for selecting representative image of video image

Similar Documents

Publication Publication Date Title
US5982350A (en) Compositer interface for arranging the components of special effects for a motion picture production
JP4235541B2 (en) Digital camera and digital camera control method and program
US8005316B1 (en) System and method for editing image data for media repurposing
US20210264139A1 (en) Creating videos with facial expressions
CN100511279C (en) Image editing device and method
JP3191266B2 (en) Image simulation system
US20080143742A1 (en) Method and apparatus for editing image, generating editing image, and storing edited image in portable display device
US6272279B1 (en) Editing method of moving images, editing apparatus and storage medium storing its editing method program
JP2015514367A (en) Color grading preview method and apparatus
JP2001209361A (en) Multimedia display device
JPH11341349A (en) Apparatus and method for video editing, and recording medium with this method recorded therein
JPH10240915A (en) Cartoon producing method using computer and cartoon produced by the method and watched by monitor screen
JPH08235344A (en) Scenario editor
JPH11308567A (en) Layout video image edit method with page display function, its system and recording medium recording its program
JP3496866B2 (en) Manga-type video editing method and apparatus, and recording medium recording the editing method
GB2333001A (en) Generating a video stream object in a data editing system
US20200294552A1 (en) Recording device, recording method, reproducing device, reproducing method, and recording/reproducing device
JP2002072991A (en) Image processor, method for processing image and recording medium for the method
JP4664650B2 (en) Computer-readable recording medium
JP2011023836A (en) Slide data creation device, slide data creation method, and program
GB2335125A (en) System and method for creating or editing mutimedia presentation
WO2007073010A1 (en) Media making method and storage medium
JP2007060329A (en) Slide show generating device and method and program for controlling the same
JP5060409B2 (en) Image processing apparatus and control method thereof
KR20230022551A (en) method and system for producing animation

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040106