JPH08163488A - Method and device for generating moving image digest - Google Patents

Method and device for generating moving image digest

Info

Publication number
JPH08163488A
JPH08163488A JP6307416A JP30741694A JPH08163488A JP H08163488 A JPH08163488 A JP H08163488A JP 6307416 A JP6307416 A JP 6307416A JP 30741694 A JP30741694 A JP 30741694A JP H08163488 A JPH08163488 A JP H08163488A
Authority
JP
Japan
Prior art keywords
moving image
means
digest
storage medium
hierarchical structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6307416A
Other languages
Japanese (ja)
Inventor
Hiroshi Akahori
Yukie Goshima
雪絵 五島
裕志 赤堀
Original Assignee
Matsushita Electric Ind Co Ltd
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Ind Co Ltd, 松下電器産業株式会社 filed Critical Matsushita Electric Ind Co Ltd
Priority to JP6307416A priority Critical patent/JPH08163488A/en
Publication of JPH08163488A publication Critical patent/JPH08163488A/en
Application status is Pending legal-status Critical

Links

Abstract

PURPOSE: To generate digest with different roughness in the generating device for a moving image digest from a moving image stored in a moving image storage medium in which the contents of a moving image is grasped easily in a short time.
CONSTITUTION: A hierarchy selection means 5 reads hierarchical information stored in a hierarchical storage medium 2 and the hierarchy selection means 5 selects information of a specific hierarchy information among received read hierarchical information sets based on entry of roughness from a digest roughness entry means 7, an extract block decision means 6 decides a block from which several consecutive frames of motion images are extracted based on the entered specific hierarchical information and a read means 3 reads sequentially the decided plural block moving images from the moving image storage medium 1 and displays the information onto a display means 4 to generate a moving image digest.
COPYRIGHT: (C)1996,JPO

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【産業上の利用分野】本発明は、動画像の内容を、短時間、かつ簡単に把握するためのダイジェスト画像を生成する動画像ダイジェスト生成方法およびその装置に関する。 The present invention relates to the contents of the moving picture, a short time, and to a moving image digest generating method and apparatus for generating a digest image for easy grasp.

【0002】 [0002]

【従来の技術】従来、動画像の内容を短時間で把握する手段としては、VTRの早送り再生でフレームを均等に間引いて表示したり、ジョグシャトルダイアルなどの可変速再生を用いて表示速度を手動で調節する方法があった。 Conventionally, as a means to grasp in a short time the contents of the moving image, and displays by thinning evenly frames fast-forward reproduction of VTR, the display speed using a variable speed reproduction such as jog shuttle dial there is a way to manually adjusted.

【0003】 [0003]

【発明が解決しようとする課題】しかしながら、早送り再生は画像内容に関係なく、フレームを均等に間引くため、必要なフレームが省かれたり、反対にいらないフレームが表示されたりするという問題点があった。 The object of the invention is to be Solved However, fast-forward playback, regardless of the image content, in order to thin out evenly the frame, or the frame is omitted necessary, frames that do not need the opposite there is a problem in that or is displayed .

【0004】一方、可変速再生では、ユーザの興味や理解度に適応した速度で画像を表示できるが、長時間にわたる動画像もすべて手動で操作しなければならないという問題点があった。 On the other hand, in the variable speed reproduction, can display images at a rate adapted to the interests and understood by the user, there is a problem that also all moving image must be manually manipulated over time.

【0005】本発明はかかる点に鑑み、動画像内容を把握しやすいダイジェストを生成する装置を提供することを目的とする。 [0005] In view of the above problems, and an object thereof is to provide an apparatus for generating an easily digest grasp the moving picture contents.

【0006】 [0006]

【課題を解決するための手段】本発明は上記目的を達成するため、動画像を記憶する動画像記憶媒体と、前記動画像記憶媒体に記憶された動画像の階層構造を記憶する階層構造記憶媒体と、ダイジェストのあらさを入力する入力手段と、入力されたあらさに応じて抽出する区間動画像の階層を前記階層構造記憶媒体から選択する階層選択手段と、階層選択手段で選択された階層で連続するフレームを区間動画像として前記動画像記憶媒体から抽出する区間を決定する抽出区間決定手段と、決定した抽出区間の動画像を前記動画像記憶媒体から読み出す読み出し手段と、読み出した動画像を表示する表示手段を備えた構成である。 Means for Solving the Problems The present invention for achieving the above object, a moving image storage medium for storing a moving image, the hierarchical structure storage for storing the hierarchical structure of moving image stored in the moving image storage medium medium and an input means for inputting the roughness of the digest, and layer selection means for selecting a hierarchy of sections moving image to be extracted in accordance with the roughness input from the hierarchical structure storage medium, in selected tier in the hierarchy selection means an extraction section determining means for determining a section to be extracted from the moving image storage medium consecutive frames as a section moving image reading means for reading a moving image of the determined extraction segment from the moving image storage medium, the read moving image a configuration in which a display unit for displaying.

【0007】また、前述の構成に加え、動画像の映像信号を入力する映像信号入力手段と、入力された映像信号に対する動画像の階層構造を生成する階層構造生成手段を備えた構成である。 Further, in addition to the configuration described above, a video signal input means for inputting a video signal of a moving image, a configuration in which a hierarchical structure generation means for generating the hierarchical structure of moving picture with respect to the input video signal.

【0008】また、前述の構成に加えて動画像読み出し手段で読み出したダイジェスト画像を格納するダイジェスト画像格納媒体や、少なくとも2つの動画像読み出し手段を備えた構成である。 [0008] and the digest image storage medium for storing the digest image read by the moving image reading means in addition to the above, a configuration including at least two moving image reading means.

【0009】 [0009]

【作用】以上のような構成により、本発明は、動画像の階層構造に基づいて同一の階層から連続したフレームを区間動画像として抽出し、抽出した区間動画像をつなぎ合わせることで動画像のダイジェストを生成し、区間動画像を抽出する階層を可変にすることであらさの異なるダイジェストを生成する。 By the action above-described configuration, the present invention extracts the successive frames from the same hierarchy on the basis of the hierarchical structure of moving picture as a section moving image, the moving image by joining the extracted segment moving picture to generate a digest to generate a different digest hierarchy to extract the in roughness to the variable interval moving image.

【0010】 [0010]

【実施例】以下に、本発明における動画像ダイジェスト生成装置の第1実施例について説明する。 EXAMPLES The following describes the first embodiment of the moving image digest generating apparatus of the present invention. 図1に本実施例のブロック図を示す。 It shows a block diagram of the embodiment in FIG. 本実施例は、階層構造記憶媒体2に記憶された階層構造情報を階層選択手段5に読み込み、ダイジェストあらさ入力手段7からのあらさ入力に基づいて階層選択手段5は読み込んだ階層構造情報の中から特定階層の情報を選択して抽出区間決定手段6に出力する。 This embodiment, the hierarchical structure information stored in the hierarchical structure storage medium 2 is read to the hierarchical selection means 5, from among the hierarchical structure information read hierarchical selector 5 on the basis of the roughness input from the digest roughness input means 7 and it outputs the extraction interval determining means 6 to select the information for a specific hierarchy. 抽出区間決定手段6では、入力された特定階層の情報をもとに連続する数フレームの動画像を抽出する区間を決定する。 In extraction interval determining unit 6 determines a section for extracting a moving image of several consecutive frames based on the information of the input identified hierarchy. 決定した複数の区間動画像を、動画像記憶媒体1から読み出し手段3によって順次読み出して表示手段4に表示することにより、動画像ダイジェストを生成するものである。 A plurality of sections moving images determined by sequentially reading the display on the display unit 4 by the reading means 3 from the moving image storage medium 1, and generates a moving image digest. 以下に本実施例の動作をさらに詳しく説明する。 It will be described in more detail the operation of this embodiment will be described below.

【0011】図2は、動画像の階層構造を示したものである。 [0011] Figure 2 shows the hierarchical structure of moving image. 動画像はこのように、フレーム、ショット、カット、シーンという階層構造で表現できる。 Moving image this way, a frame, a shot, cut, it can be represented in a hierarchical structure of a scene. 最下位層はフレームであり、フレームとはビデオレートで撮影された1枚の画像である。 Lowest layer is a frame, the frame is one image photographed by the video rate. ショットとは複数のフレームをひとまとまりにしたもので、カメラワークによってまとめることができる。 The shot obtained by the cluster together multiple frames, can be summarized by the camera work. カットとは、録画を開始してから終了するまでに撮影されたひとかたまりの動画像であり、複数のショットからなる。 Cut and is a moving image lumped taken in from the start to the end of recording, comprising a plurality of shots. シーンとは同一内容のカットをまとめたものである。 The scene is a summary of the cut of the same content. 以上の階層構造を階層構造記憶媒体2に記憶しておく。 Storing a more hierarchical structure hierarchical storage medium 2. 具体的な階層構造情報の例としては、各ショット、カット、シーンの先頭フレームと終端フレームが記憶されている動画像記憶媒体1上の記憶アドレスである。 Specific examples of the hierarchical structure information, is each shot, cut, stored address on the moving image storage medium 1 the head frame and the end frame of the scene is stored. さらに各ショット、カット、シーンを代表するフレームの記憶アドレスを階層構造の情報として持ってもよい。 Furthermore each shot, cut, may have a storage address of the frame representing the scene as the information of the hierarchical structure. このような階層構造情報は、自動的な方法で付与してもよいし、あるいは手動で入力してもよい。 Such hierarchical structure information may be given in an automatic way, or may be input manually.

【0012】ダイジェストあらさ入力手段7では、あらさの入力として、例えば「あらい」「中くらい」「細かい」という3段階でのあらさの入力を行なう。 [0012] In the digest roughness input means 7, as the input of the roughness, for example, "Arai", "moderate", "fine" that perform the input of the roughness of in three stages. 階層選択手段5では、階層構造記憶媒体2から読み込んだ階層構造情報から、ダイジェストあらさ入力手段7で入力された3段階のあらさ入力に基づいて、特定階層の情報を選択する。 Hierarchical selection means 5, from the read hierarchical structure information from the hierarchical structure storage medium 2, on the basis of the roughness input three-step input digest roughness input means 7 selects the information of a particular hierarchy. 例えば、「あらい」が入力された場合はシーン階層の情報、「中くらい」が入力された場合はカット階層の情報、「細かい」が入力された場合はショット階層の情報を選択して抽出区間決定手段6に出力する。 For example, "Arai" is information of the scene hierarchy when it is input, information of the cut hierarchy If the "moderate" is input, "fine" is to select the information of the shot hierarchy when it is input extraction section and outputs it to the decision means 6.

【0013】抽出区間決定手段6の動作について、階層選択手段5からカット階層の情報が選択されて入力された場合を例にして説明する。 [0013] The operation of the extraction interval determining means 6, will be described as an example in which the hierarchical selection means 5 of the cut layer information is input is selected. 抽出区間決定手段6では、 In extraction interval determining means 6,
カット階層の情報をもとに各カットから連続した数フレームの動画像を抽出する区間を決定する。 Determining section for extracting a moving image of several consecutive frames from each cut based on the information of the cut layer. 抽出区間の決定方法はいくつか考えられ、カットの先頭から所定のフレーム数を抽出する方法や、あるいはカットの中間の所定フレーム数を抽出する方法がある。 Method of determining the extracted section is considered some, there is a method of extracting a method for extracting a number of frames from the beginning predetermined cut, or a predetermined number of frames of the cut intermediate. また、階層構造の情報としてカットを代表するフレーム情報を持っている場合は、代表フレームをもとに代表フレームを含むように抽出区間を決定してもよい。 Also, if you have a frame information representing the cut as the information of the hierarchical structure, based on the representative frame may be determined extraction section to include the representative frames.

【0014】読み出し手段3と表示手段4は、抽出区間決定手段6で決定した抽出区間の画像を動画像記憶媒体1から読み出して表示する。 [0014] reading means 3 and the display unit 4 displays an image of the determined extraction segment in the extraction interval determining means 6 reads out from the moving image storage medium 1.

【0015】以上のようにして、本実施例では、動画像の内容を短縮したダイジェストを生成する際に、動画像の階層構造に基づいて区間動画像を抽出する階層を変えることによって、ユーザの希望するあらさのダイジェストを生成することが可能となる。 [0015] As described above, in this embodiment, when generating a digest shorten the contents of a moving image, by changing the hierarchies of extracting the section moving image based on the hierarchical structure of moving image, the user it is possible to generate a digest of the roughness to be desired.

【0016】なお、本実施例では図1で動画像記憶媒体1と階層構造記憶媒体2は異なる記憶媒体のように図示したが、同一の記憶媒体上に動画像と階層構造を記憶してもよい。 [0016] The moving picture storage medium 1 and the hierarchical structure storage medium 2 in FIG. 1 in this embodiment has been illustrated as different storage medium, also store a moving image and a hierarchical structure on the same storage medium good. また、本実施例ではダイジェストあらさ入力手段7から入力するあらさは「あらい」「中くらい」 Further, roughness in the present embodiment for inputting the digest roughness input means 7 "Arai" "moderate"
「細かい」の3段階として説明したが、もっと段階を増やしてもよい。 Has been described as a three-stage of "fine", it may be increased more stage. 例えば、「あらい」と「中くらい」の間にもう1段階増やした場合、区間動画像を抽出するカットを間引くことによって対応することができる。 For example, if you increase one more stage between "Arai" and "moderate", it is possible to cope with by thinning out the cutting of extracting the section moving image. また、 Also,
抽出区間決定手段6において区間動画像として抽出するフレーム数を可変にすることで、生成するダイジェストの時間長を自由に設定することもできる。 The number of frames to be extracted as the extraction interval determining unit 6 section moving image in by the variable, it is possible to set the time length of the digest generating freely.

【0017】次に、本発明における動画像ダイジェスト生成装置の第2実施例を説明する。 [0017] Next, a second embodiment of the moving image digest generating apparatus of the present invention. 図3に本実施例のブロック図を示す。 It shows a block diagram of the embodiment in FIG. 図3で図1と同一のものには同一番号を付し、説明は省略する。 Denoted by the same numerals identical to those illustrated in FIG. 1 in FIG. 3, description will be omitted. 図3において、8は映像信号入力手段、9は階層構造生成手段、10はカメラ情報入力手段である。 3, the video signal input means 8, 9 hierarchical structure generating unit, 10 denotes a camera information input means.

【0018】第2実施例は、第1実施例の動画像ダイジェスト生成装置の構成に加え、映像信号入力手段8と動画像の階層構造を生成する階層構造生成手段9を備えたことを主な特徴としている。 The second embodiment is an addition to the structure of a moving picture digest generation device of the first embodiment, further comprising: a hierarchical structure generating unit 9 for generating the hierarchical structure of the video signal input unit 8 and the moving picture main It is characterized. すなわち、本実施例はビデオカメラなどのような撮影機能を備えた装置において、 That is, the present embodiment is the apparatus having a photographing function such as a video camera,
映像信号を記録する際に動画像ダイジェストを生成するために必要な動画像の階層構造を生成して記録する手段を備えたものである。 Those having a means for recording and generates the hierarchical structure of moving image necessary for generating a moving image digest when recording a video signal.

【0019】階層構造生成手段9では、第1実施例の図2で説明した階層構造を自動的に生成する。 [0019] In the hierarchical structure generation means 9 automatically generates a hierarchical structure described in FIG. 2 of the first embodiment. 階層構造の自動生成をビデオカメラの場合で説明する。 The automatic generation of the hierarchical structure described in the case of a video camera. ビデオカメラでは、階層構造を生成するために必要な情報を直接カメラから得ることができる。 The video camera can obtain information necessary for generating a hierarchical structure directly from the camera. すなわち、ビデオカメラで動画像を撮影している最中のカメラ情報を用いて階層構造を生成することを行なう。 That is, carried out to generate a hierarchical structure by using the camera information of the midst of shooting a moving image with a video camera.

【0020】連続したフレームをショットに分割するのは、カメラワークをもとに行なう。 [0020] to split the successive frames in shot, perform the camera work to the original. カメラワークとは、 The camera work,
ズーム操作やパン操作のことで、図4にズーム操作とパン操作で連続するフレームを5つのショットに分割した例を示す。 By zooming operation or panning, showing an example of dividing the consecutive frames in zooming and panning in FIG five shots. ここで、(2)ではズーム倍率を増加させる操作、(4)ではパン操作をしている。 Here, it is operating, the panning operation in (4) increasing the zoom magnification in (2). ビデオカメラでは、ズーム倍率を増加させるためのズームレンズを駆動する情報から(2)の区間を知ることができる。 The video camera can be known from the information that drives the zoom lens to increase the zoom magnification section (2). また、 Also,
パン操作に関しては、カメラの動きを検出するセンサから知ることができる。 For the panning, it can be known from the sensor for detecting the movement of the camera. 従って、図3のカメラ情報入力部10からズームレンズ駆動情報とカメラの動きを検出するセンサ情報を入力することにより、階層構造生成手段9では、フレームを図4のようなショットに分割する。 Therefore, by inputting the sensor information to detect motion from the camera information input unit 10 of the zoom lens drive information and the camera of FIG. 3, the hierarchical structure generating unit 9, it divides the frame into shots as in Figure 4.

【0021】ショットからカットへの統合は、カメラからの録画スタート/ストップ信号をもとに行なう。 [0021] The integration of from shot to cut performs a recording start / stop signal from the camera to the original. つまり、カットとは録画をスタートしてからストップするまでに撮影された複数のショットからなるため、カメラ情報入力手段10にカメラの録画スタート/ストップ信号を入力することにより、階層構造生成手段9で録画スタートしてからストップするまでの間のショットをカットとしてまとめる。 That is, consisting of a plurality of shots taken before the stop since the start of recording the cut, by inputting a camera recording start / stop signal to the camera information input unit 10, a hierarchical structure generating means 9 summarized shot of during the period from the recording start until the stop as the cut.

【0022】カットを統合してシーンとする方法に関しては、例えば発明者らが特願平5−257121号に示したものがある。 [0022] For a method of the scene by integrating the cut, for example, it can have one shown in Japanese Patent Application No. 5-257121. 簡単にこの方法を説明する。 Brief description of this method. カットからシーンに統合するには撮影時刻を用いる。 To integrate from the cut to the scene using a shooting time. すなわち、 That is,
隣接するカットにおいて前のカットの最終フレームの撮影時刻と次のカットの先頭フレームの撮影時刻の差が所定値以下の場合は2つのカットを統合するというものである。 If the difference between the photographing time of the first frame of the photographing time and the next cut of the last frame of the previous cut in adjacent cuts is less than the predetermined value is one of integrating two cuts. つまり撮影時刻が近いカットは同一シーンであるという考え方である。 That cut the shooting time is close is the idea that it is the same scene. したがって、カメラ情報入力手段10には、撮影時刻を入力することによって、階層構造生成手段9でカットの統合を行なってシーンとする。 Therefore, the camera information input means 10, by entering a shooting time, and the scene by performing integration of the cut in a hierarchical structure generating unit 9.

【0023】以上のようにしてビデオカメラのような撮影機能を備えた装置では、カメラ情報を得て階層構造を生成することができる。 [0023] In apparatus having a photographing function as the above manner the video camera can generate a hierarchical structure to obtain camera information. 階層構造を生成し、階層構造を表す情報、すなわち、シーン、カット、ショットのそれぞれの先頭フレームと終端フレームが記憶されている動画像記憶媒体1上の記憶アドレスを階層構造記憶媒体2 Generating a hierarchical structure, the information representing the hierarchical structure, i.e., scenes, cuts, shots each of the first frame and the end frame is hierarchical storage medium storage address on the moving image storage medium 1 stored 2
に記憶する。 And stores it in. また、階層構造情報として、さらにシーン、カット、ショットを代表するフレームの動画像記憶媒体1上の記憶アドレスを記憶する場合は、代表フレームを抽出する手段を備える必要がある。 Also, as a hierarchical structure information further scene, when storing cut, the memory address on the moving image storage medium 1 of frame representative of the shot, it is necessary to provide means for extracting the representative frame. この代表フレームを抽出する手段については、発明者らが特願平6−1 The means for extracting the representative frame, inventors Hei 6-1
40128号に示したものがある。 There are those shown in No. 40128.

【0024】階層構造の情報を読みだして任意のあらさのダイジェストを生成する動作については、第1実施例とまったく同じであり、説明は省略する。 [0024] The read information of the hierarchical structure for operation of generating the digest of any roughness is exactly the same as the first embodiment, description thereof will be omitted.

【0025】以上のように、本実施例ではビデオカメラなどのような撮影機能を備えた装置で動画像を撮影する際に、動画像の階層構造を生成して動画像とともに記憶媒体に記憶しておくことによって、撮影後に階層構造をもとにして任意のあらさのダイジェストをすぐに生成することが可能となる。 [0025] As described above, when the present embodiment for capturing a moving image in an apparatus having a photographing function such as video cameras, to generate a hierarchical structure of moving image stored in the storage medium together with the moving picture by previously, it is possible to generate immediately digest of any roughness by a hierarchical structure based on after shooting.

【0026】次に、本発明における動画像ダイジェスト生成装置の第3実施例を説明する。 Next, a description will be given of a third embodiment of the moving image digest generating apparatus of the present invention. 図5に本実施例のブロック図を示す。 It shows a block diagram of the embodiment in FIG. 図5で図3と同一のものには同一番号を付し、説明は省略する。 Denoted by the same numerals identical to those illustrated in FIG. 3 in FIG. 5, description will be omitted. 図5において、11はカメラ操作推定手段である。 5, 11 is a camera operation estimating means.

【0027】第3実施例は、第2実施例の動画像ダイジェスト生成装置の構成とほぼ同じであるが、第2実施例ではカメラ情報を入力して階層構造を生成したのに対して、第3実施例では映像信号からカメラ操作を推定して階層構造を生成する点が異なる。 A third embodiment is that the is substantially the configuration of a video digest generation device of the second embodiment identical, in the second embodiment generates a hierarchy by entering the camera information, the 3 except a hierarchical structure by estimating the camera operation from the video signal are different in the embodiment. すなわち、本実施例ではカメラ情報が直接得られない場合の階層構造の生成方法について説明する。 That is, in the present embodiment will be described a method for generating the hierarchical structure when a camera information can not be obtained directly. この場合はカメラの操作情報を映像信号から推定することが必要となる。 In this case, it is necessary to estimate the operation information of the camera from the video signal.

【0028】カメラ操作推定手段11では、階層構造を生成するために必要なカメラ操作を映像信号から推定する。 [0028] In the camera operation estimating means 11 estimates from the video signal of the camera operations necessary to generate a hierarchical structure. ここで推定を行なうカメラ操作とは、ショットを検出するためのカメラワークと、カットを検出するための録画スタート/ストップと、シーンを検出するためのカット統合情報である。 Here, the camera operation for estimating the camera work for the detection of shot, a recording start / stop for detecting a cut, a cut integrated information to detect scene.

【0029】カメラワークとは、ズーム操作やパン操作のことで、映像信号から画像の動きベクトルを検出することによってカメラワークを推定することができる。 [0029] The camera work, by the zooming and panning, it is possible to estimate the camera work by detecting the motion vector of the image from the video signal. 詳細な方法については、特開平6ー165107号公報(特願平4−317267号)に示している方法を用いることができる。 For detailed methods, it is possible to use a method shown in JP-A 6-1 165 107 discloses (Japanese Patent Application No. Hei 4-317267).

【0030】映像信号から録画スタート/ストップを推定方法は各種考えられるが、一例としては、映像信号の輝度についてフレーム内でヒストグラムを求め、このヒストグラムについてフレーム間差分を求めることによって検出することができる。 The method estimates the recording start / stop the video signal but is considered various, as an example, a histogram in the frame for the luminance of the video signal, can be detected by determining the difference between frames for this histogram . すなわち、録画スタート/ストップの境界では、画像内容が大きく異なるため、フレーム間差分値が大きくなるからである。 That is, in the boundary of the recording start / stop, since the image content differs greatly, because the difference value between frames is large.

【0031】カットからシーンを統合する情報は、第2 [0031] information to integrate the scene from the cut, the second
実施例では撮影時刻を利用したが、映像信号からは撮影時刻は検出できないため、カット内の画像特徴量を用いる。 While using the shooting time in the embodiment, it can not detect the shooting time from the video signal, using the image feature amount in the cut. 画像特徴量の一例として色特徴量を用い、同一カット内の各フレームに共通して存在する色特徴量を検出する。 Using the color feature amount as an example of an image feature amount, it detects the color feature present in common in the frame in the same cut.

【0032】以上のようにしてカメラ操作推定手段11 [0032] As described above camera operation estimating means 11
でカメラ操作を推定した後、階層構造生成手段9で階層構造を生成する方法は、第2実施例で説明したものとほぼ同じであるが、若干異なる部分についてのみ説明する。 In After estimating the camera operation, a method for generating a hierarchical structure in a hierarchical structure generating means 9 is substantially as that described in the second embodiment the same, will be described somewhat different portions only.

【0033】ショットからカットへの統合は、フレーム間差分値が所定値を越えた場合がカットチェンジであり、カットチェンジの間のショットがまとめられる。 The integration from shot to cut, if the difference value between frames exceeds a predetermined value is cut change, shot between cut-change are combined. カットを統合してシーンとする方法は、色特徴量が隣接するカットで類似している場合は2つのカットを統合することによって、カットをまとめてシーンとする。 How to scene by integrating the cut, if the color feature is similar in adjacent cut by integrating the two cuts, and the scene collectively cut. 階層構造生成後は、階層構造情報を階層構造記憶媒体2に記憶する。 After the hierarchical structure generation stores the hierarchical structure information in a hierarchical structure storage medium 2. これ以降、ダイジェストを生成するまでの動作は第2実施例と同様であり、説明は省略する。 Thereafter, operation up to generate a digest is the same as the second embodiment, description thereof will be omitted.

【0034】以上のように、本実施例では映像信号だけが入力され、カメラ情報が得られない場合においても、 [0034] As described above, only the image signal in the present embodiment is input, even when the camera information is not available,
動画像の階層構造を生成して動画像とともに記憶媒体に記憶することによって、記録後に階層構造をもとにして任意のあらさのダイジェストをすぐに生成することが可能となる。 By storing the generated together with the moving image in a storage medium the layered structure of the moving image, it is possible to generate immediately digest of any roughness by a hierarchical structure based on the after recording.

【0035】次に、本発明における動画像ダイジェスト生成装置の第4実施例を説明する。 [0035] Next, a fourth embodiment of the moving image digest generating apparatus of the present invention. 図6に本実施例のブロック図を示す。 It shows a block diagram of the embodiment in FIG. なお、図6に示した第4実施例の構成は、第1実施例の動画像ダイジェスト生成装置を基本にして新たな手段を追加したものであるが、同様にして第2実施例と第3実施例の構成に同様の手段を追加してもよい。 The configuration of the fourth embodiment shown in FIG. 6, is obtained moving image digest generating device of the first embodiment in the basic adding new unit, the second embodiment in the same manner as in the third You may add similar means to the structure of the embodiment. ここでは第1実施例を基本にした構成についてのみ説明するが、他の構成でも同様であり、説明を省略する。 Here it will be described only for the case where a basic first embodiment is similar in other configuration is not described.

【0036】本実施例は、第1実施例の動画像ダイジェスト生成装置と同様の動作で生成した動画像ダイジェストを格納するためのダイジェスト画像格納媒体13と、 The present embodiment, the digest image storage medium 13 for storing a moving image digest generated by the moving image digest generating device similar to the operation of the first embodiment,
書き込み手段12、読み出し手段14を追加した構成である。 Writing means 12, which is configured by adding the reading means 14. 本実施例の構成において、読み出し手段3によって動画像記憶媒体1から読み出した区間動画像を、書き込み手段12によって連続した動画像となるよにダイジェスト画像格納媒体13に格納する。 In the configuration of this embodiment stores the segment moving image read out from the moving image storage medium 1 by the read unit 3, the Yo a moving image continuously by the write unit 12 to the digest image storage medium 13. 読み出し手段14 Reading means 14
は、ダイジェスト画像格納媒体13に格納された動画像を読み出して表示手段4に表示することで、動画像ダイジェストを生成する。 , By displaying on the display means 4 reads the moving image stored in the digest image storage medium 13, and generates a moving image digest.

【0037】本実施例の特徴は、動画像記憶媒体に格納された動画像からダイジェスト画像を生成するための区間動画像を抽出し、抽出した区間動画像をダイジェスト画像格納媒体に記録してから読み出して表示することにより、抽出した区間動画像と区間動画像の接続部分において違和感のない自然な表示の動画像ダイジェスト生成を可能にするものである。 The feature of this embodiment extracts a section moving image to generate a digest image from the moving image storage medium is stored in the moving image, the extracted section moving images from being recorded in the digest image storage medium by reading the display are those that permit the moving image digest generation of discomfort without natural display in the connection portion of the extracted interval moving image and the section moving image.

【0038】次に、本発明における動画像ダイジェスト生成装置の第5実施例を説明する。 Next, a description will be given of a fifth embodiment of the moving image digest generating apparatus of the present invention. 図7に本実施例のブロック図を示す。 It shows a block diagram of the embodiment in FIG. 図7に示した第5実施例の構成は、第1実施例の動画像ダイジェスト生成装置を基本にして読み出し手段を追加したものであるが、同様にして第2実施例と第3実施例の構成に読み出し手段を追加してもよい。 The configuration of the fifth embodiment shown in FIG. 7 is obtained by adding the reading means and a moving image digest generating device of the first embodiment in basic, second embodiment in the same manner as in the third embodiment configuration may be added reading means. ここでは第1実施例を基本にした構成についてのみ説明するが、他の構成でも同様であり、説明を省略する。 Here it will be described only for the case where a basic first embodiment is similar in other configuration is not described.

【0039】本実施例は、動画像記憶媒体1から区間動画像を読み出す手段を2つ以上備えることを特徴とし、 The present embodiment is characterized in that it comprises means for reading the interval moving image from the moving image storage medium 1 two or more,
図7では読み出し手段15−1と15−2の2つからなる構成としている。 It is reading means 15-1 in FIG. 7 and the two to become construction of 15-2. 本実施例のように読み出し手段を2 Reading means as in the second embodiment
つ以上備えることによって、動画像記憶媒体に格納された動画像からダイジェスト画像を生成するための区間動画像を抽出し、この抽出した区間動画像を読み出し手段で読み出して表示する際に、抽出した区間動画像と区間動画像の接続部分において違和感のない自然な表示の動画像ダイジェストの生成を可能にするものである。 One By providing more than to extract the section moving image to generate a digest image from the moving image storage medium is stored in the moving image, when displaying by reading in unit reads the extracted interval moving image, extracted it is those that permit the generation of a moving image digest of discomfort without natural display in the connecting portion of the segment moving image and the section moving image. すなわち、読み出し手段15−1によってある区間動画像を読み出している間に、読み出し手段15−2を次の区間動画像の先頭フレームの画像データが記憶されている動画像記憶媒体の記憶位置で待機させておき、読み出し手段15−1が読み出している区間動画像の読み出しを終了した時点で待機している読み出し手段15−2が読み出しを開始することにより、自然な表示の動画像ダイジェストを生成する。 That is, while reading a section moving image with the reading means 15-1, wait a reading unit 15-2 stores the position of the moving image storage medium on which the image data of the first frame of the next segment moving image is stored allowed to, reading means 15-2 waiting after completing the reading of the section the moving image reading means 15-1 is read by starting the reading, generates a moving picture digest of natural display .

【0040】 [0040]

【発明の効果】以上のように本発明によれば、動画像の階層構造にもとづいて同一の階層から連続する複数フレームからなる区間動画像を抽出し、抽出した区間動画像をつなぎ合わせて動画像のダイジェストを生成し、区間動画像を抽出する階層を可変にすることであらさの異なるダイジェストを生成することができる。 According to the present invention as described above, according to the present invention, by connecting a based on the hierarchical structure of moving image extracting section a motion picture made of a plurality consecutive frames from the same hierarchy, the extracted section moving picture video generating a digest of an image, the hierarchical extracting the section moving image can be generated with different digest of roughness by the variable.

【0041】また、動画像を記録する際に動画像とともに動画像の階層構造を生成して記録することにより、動画像記録後にあらさの異なるダイジェストを生成することができる。 Further, by recording and generates the hierarchical structure of moving image with a moving image when recording a moving image, it is possible to generate a different digest of roughness after a moving image recording.

【0042】さらに、生成したダイジェスト画像を動画像格納媒体に格納したり、あるいは2つ以上の動画像読み出し手段を用いて動画像格納媒体から区間動画像を読み出して動画像ダイジェストを表示することによって、 [0042] Furthermore, and stores the generated digest image to the moving image storage media, or by displaying a moving image digest reads the section moving image from the moving image storage medium using two or more moving image reading means ,
自然な表示の動画像ダイジェストの生成を可能にする。 To enable the generation of a natural display of the moving image digest.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の第1実施例の動画像ダイジェスト生成装置の構成を示すブロック図 Block diagram showing the configuration of a moving image digest generating device of the first embodiment of the present invention; FIG

【図2】動画像の階層構造を示す線図 [Figure 2] diagram showing the hierarchical structure of moving picture

【図3】本発明の第2実施例の動画像ダイジェスト生成装置の構成を示すブロック図 Block diagram showing the configuration of a moving image digest generating device of the second embodiment of the present invention; FIG

【図4】カメラワークによるショットの分割を示す線図 [4] diagram showing a division of a shot by the camera work

【図5】本発明の第3実施例の動画像ダイジェスト生成装置の構成を示すブロック図 5 is a block diagram showing a configuration of a video digest generation device of the third embodiment of the present invention

【図6】本発明の第4実施例の動画像ダイジェスト生成装置の構成を示すブロック図 FIG. 6 is a block diagram showing a configuration of a moving image digest generating device of the fourth embodiment of the present invention

【図7】本発明の第5実施例の動画像ダイジェスト生成装置の構成を示すブロック図 FIG. 7 is a block diagram showing a configuration of a moving image digest generating device of the fifth embodiment of the present invention

【符号の説明】 DESCRIPTION OF SYMBOLS

1 動画像記憶媒体 2 階層構造記憶媒体 3 読み出し手段 4 表示手段 5 階層選択手段 6 抽出区間決定手段 7 ダイジェストあらさ入力手段 8 映像信号入力手段 9 階層構造生成手段 10 カメラ情報入力手段 11 カメラ操作推定手段 12 書き込み手段 13 ダイジェスト画像格納媒体 14 読み出し手段 15 読み出し手段 1 moving image storage medium 2 hierarchical structure storage medium 3 reading means 4 display 5 layer selection means 6 extraction interval determining unit 7 Digest roughness input means 8 video signal input means 9 hierarchical structure generating unit 10 camera information input means 11 camera operation estimating means 12 writing means 13 digest image storage medium 14 reading means 15 read-out means

Claims (5)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】動画像の階層構造に基づいて同一の階層から連続したフレームを区間動画像として抽出し、抽出した区間動画像をつなぎ合わせることで動画像のダイジェストを生成する方法であって、前記区間動画像を抽出する階層を可変にすることであらさの異なるダイジェストを生成することを特徴とする動画像ダイジェスト生成方法。 1. A method of extracting a continuous frames from the same layer as the section moving picture, to generate a digest of a moving image by joining the extracted section moving image based on the hierarchical structure of moving picture, moving image digest generating method characterized by generating a different digest of the roughness to a hierarchy of extracting the section moving image variable.
  2. 【請求項2】動画像を記憶する動画像記憶媒体と、前記動画像記憶媒体に記憶された動画像の階層構造を記憶する階層構造記憶媒体と、ダイジェストのあらさを入力する入力手段と、入力されたあらさに応じて抽出する区間動画像の階層を前記階層構造記憶媒体から選択する階層選択手段と、前記階層選択手段で選択された階層で連続するフレームを区間動画像として前記動画像記憶媒体から抽出する区間を決定する抽出区間決定手段と、決定した抽出区間の動画像を前記動画像記憶媒体から読み出す読み出し手段と、読み出した動画像を表示する表示手段を備えた動画像ダイジェスト生成装置。 2. A moving picture storage medium storing a moving image, the hierarchical structure storage medium for storing the hierarchical structure of moving image stored in the moving picture storage medium, an input means for inputting a roughness digest, input is a layer selection means for selecting a hierarchy of sections moving image to be extracted from the hierarchical structure storage medium in accordance with the roughness was, the moving image storage medium successive frames in the selected hierarchy the hierarchical selection means as a section moving picture an extraction section determining means for determining a section to be extracted from, and reading means for reading a moving image of the determined extraction segment from the moving image storage medium, the moving image digest generating device having a display means for displaying the read moving image.
  3. 【請求項3】動画像の映像信号を入力する映像信号入力手段と、前記映像信号入力手段から入力された動画像を記憶する動画像記憶媒体と、入力された映像信号に対する動画像の階層構造を生成する階層構造生成手段と、前記階層構造生成手段で生成された階層構造を記憶する階層構造記憶媒体と、ダイジェストのあらさを入力する入力手段と、入力されたあらさに応じて抽出する区間動画像の階層を前記階層構造記憶媒体から選択する階層選択手段と、前記階層選択手段で選択された階層で連続するフレームを区間動画像として前記動画像記憶媒体から抽出する区間を決定する抽出区間決定手段と、決定した抽出区間の動画像を前記動画像記憶媒体から読み出す読み出し手段と、読み出した動画像を表示する表示手段を備えた動画像ダイジ 3. A video signal input means for inputting a video signal of a moving image, the a motion picture storage medium which stores the input moving image from the video signal input unit, the hierarchical structure of moving picture with respect to the input video signal a hierarchical structure generation means for generating a hierarchical structure storage medium that stores a hierarchical structure that is generated by the hierarchical structure generating means, an input means for inputting the roughness of the digest segment Videos extracted in accordance with the roughness input a layer selection means for selecting a hierarchy of image from said hierarchical structure storage medium, extraction interval decision to decide an interval to be extracted from the moving image storage medium successive frames in the selected hierarchy the hierarchical selection means as a section moving picture means and a reading means for reading a moving image of the determined extraction segment from the moving image storage medium, moving image Daiji provided with a display means for displaying the read moving picture スト生成装置。 Strike generating device.
  4. 【請求項4】請求項2もしくは請求項3に記載の動画像ダイジェスト生成装置に加え、読み出し手段で読み出したダイジェスト画像を格納するダイジェスト画像格納媒体を備えた動画像ダイジェスト生成装置。 4. In addition to the moving image digest generating device according to claim 2 or claim 3, the moving image digest generating device including a digest image storage medium that stores the read digest image by reading means.
  5. 【請求項5】請求項2もしくは請求項3に記載の動画像ダイジェスト生成装置に加え、動画像格納媒体から動画像を読み出す読み出し手段を追加し、全体として少なくとも2つの読み出し手段を備えた動画像ダイジェスト生成装置。 5. In addition to the moving image digest generating device according to claim 2 or claim 3, add a reading means for reading a moving image from the moving image storage media, moving images having at least two reading means as a whole digest generating device.
JP6307416A 1994-12-12 1994-12-12 Method and device for generating moving image digest Pending JPH08163488A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6307416A JPH08163488A (en) 1994-12-12 1994-12-12 Method and device for generating moving image digest

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6307416A JPH08163488A (en) 1994-12-12 1994-12-12 Method and device for generating moving image digest

Publications (1)

Publication Number Publication Date
JPH08163488A true JPH08163488A (en) 1996-06-21

Family

ID=17968799

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6307416A Pending JPH08163488A (en) 1994-12-12 1994-12-12 Method and device for generating moving image digest

Country Status (1)

Country Link
JP (1) JPH08163488A (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040239769A1 (en) * 2003-05-07 2004-12-02 Canon Kabushiki Kaisha Moving image processing method and apparatus
JP2011505648A (en) * 2007-11-16 2011-02-24 ディヴィクス インコーポレイテッド Hierarchical a simplified index structure for the multimedia file
US9025659B2 (en) 2011-01-05 2015-05-05 Sonic Ip, Inc. Systems and methods for encoding media including subtitles for adaptive bitrate streaming
JP2015527006A (en) * 2012-08-15 2015-09-10 ヒューレット−パッカード デベロップメント カンパニー エル.ピー.Hewlett‐Packard Development Company, L.P. Verification of the meta-data tree using the meta data integrity validator
JP2015171073A (en) * 2014-03-10 2015-09-28 国立大学法人 筑波大学 Summary video data creation system, method and computer program
US9369687B2 (en) 2003-12-08 2016-06-14 Sonic Ip, Inc. Multimedia distribution system for multimedia files with interleaved media chunks of varying types
US9420287B2 (en) 2003-12-08 2016-08-16 Sonic Ip, Inc. Multimedia distribution system
US9621522B2 (en) 2011-09-01 2017-04-11 Sonic Ip, Inc. Systems and methods for playing back alternative streams of protected content protected using common cryptographic information
US9712890B2 (en) 2013-05-30 2017-07-18 Sonic Ip, Inc. Network video streaming with trick play based on separate trick play files
US9866878B2 (en) 2014-04-05 2018-01-09 Sonic Ip, Inc. Systems and methods for encoding and playing back video at different frame rates using enhancement layers
US9967305B2 (en) 2013-06-28 2018-05-08 Divx, Llc Systems, methods, and media for streaming media content
US10148989B2 (en) 2016-06-15 2018-12-04 Divx, Llc Systems and methods for encoding video content
US10212486B2 (en) 2009-12-04 2019-02-19 Divx, Llc Elementary bitstream cryptographic material transport systems and methods
US10225299B2 (en) 2012-12-31 2019-03-05 Divx, Llc Systems, methods, and media for controlling delivery of content
US10264255B2 (en) 2013-03-15 2019-04-16 Divx, Llc Systems, methods, and media for transcoding video data
US10341698B2 (en) 2018-10-09 2019-07-02 Divx, Llc Systems and methods for distributing content using a common set of encryption keys

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8718128B2 (en) 2003-05-07 2014-05-06 Canon Kabushiki Kaisha Moving image processing method and apparatus
US20040239769A1 (en) * 2003-05-07 2004-12-02 Canon Kabushiki Kaisha Moving image processing method and apparatus
US9369687B2 (en) 2003-12-08 2016-06-14 Sonic Ip, Inc. Multimedia distribution system for multimedia files with interleaved media chunks of varying types
US9420287B2 (en) 2003-12-08 2016-08-16 Sonic Ip, Inc. Multimedia distribution system
US10032485B2 (en) 2003-12-08 2018-07-24 Divx, Llc Multimedia distribution system
US10257443B2 (en) 2003-12-08 2019-04-09 Divx, Llc Multimedia distribution system for multimedia files with interleaved media chunks of varying types
JP2011505648A (en) * 2007-11-16 2011-02-24 ディヴィクス インコーポレイテッド Hierarchical a simplified index structure for the multimedia file
US10141024B2 (en) 2007-11-16 2018-11-27 Divx, Llc Hierarchical and reduced index structures for multimedia files
US10212486B2 (en) 2009-12-04 2019-02-19 Divx, Llc Elementary bitstream cryptographic material transport systems and methods
US9883204B2 (en) 2011-01-05 2018-01-30 Sonic Ip, Inc. Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol
US9025659B2 (en) 2011-01-05 2015-05-05 Sonic Ip, Inc. Systems and methods for encoding media including subtitles for adaptive bitrate streaming
US9621522B2 (en) 2011-09-01 2017-04-11 Sonic Ip, Inc. Systems and methods for playing back alternative streams of protected content protected using common cryptographic information
US10225588B2 (en) 2011-09-01 2019-03-05 Divx, Llc Playback devices and methods for playing back alternative streams of content protected using a common set of cryptographic keys
US10244272B2 (en) 2011-09-01 2019-03-26 Divx, Llc Systems and methods for playing back alternative streams of protected content protected using common cryptographic information
US10025903B2 (en) 2012-08-15 2018-07-17 EntIT Software, LLC Validating a metadata tree using a metadata integrity validator
JP2015527006A (en) * 2012-08-15 2015-09-10 ヒューレット−パッカード デベロップメント カンパニー エル.ピー.Hewlett‐Packard Development Company, L.P. Verification of the meta-data tree using the meta data integrity validator
US10225299B2 (en) 2012-12-31 2019-03-05 Divx, Llc Systems, methods, and media for controlling delivery of content
US10264255B2 (en) 2013-03-15 2019-04-16 Divx, Llc Systems, methods, and media for transcoding video data
US9712890B2 (en) 2013-05-30 2017-07-18 Sonic Ip, Inc. Network video streaming with trick play based on separate trick play files
US9967305B2 (en) 2013-06-28 2018-05-08 Divx, Llc Systems, methods, and media for streaming media content
JP2015171073A (en) * 2014-03-10 2015-09-28 国立大学法人 筑波大学 Summary video data creation system, method and computer program
US9866878B2 (en) 2014-04-05 2018-01-09 Sonic Ip, Inc. Systems and methods for encoding and playing back video at different frame rates using enhancement layers
US10321168B2 (en) 2014-04-05 2019-06-11 Divx, Llc Systems and methods for encoding and playing back video at different frame rates using enhancement layers
US10148989B2 (en) 2016-06-15 2018-12-04 Divx, Llc Systems and methods for encoding video content
US10341698B2 (en) 2018-10-09 2019-07-02 Divx, Llc Systems and methods for distributing content using a common set of encryption keys

Similar Documents

Publication Publication Date Title
JP3823333B2 (en) Change point detection method of the moving image, the moving image change point detecting apparatus, the change point of the moving image detection system
US7853897B2 (en) Information processing apparatus and method, and program
US7417667B2 (en) Imaging device with function to image still picture during moving picture imaging
US7193646B1 (en) Digital camera and method for classifying and reproducing images
JP3108585B2 (en) Video image print access method and system
JP4285287B2 (en) Image processing apparatus, image processing method and a program, a recording medium
EP0884897A1 (en) Digital panorama camera
US6229566B1 (en) Electronic photography system
US7936380B2 (en) Imaging apparatus having groups with designated representative images
US6317141B1 (en) Method and apparatus for editing heterogeneous media objects in a digital imaging device
JP3192663B2 (en) Video collection device
US6738075B1 (en) Method and apparatus for creating an interactive slide show in a digital imaging device
US5829044A (en) Filing apparatus filing system file processing method and program containing file processing method
JP3114143B2 (en) Adaptive display speed automatic adjustment device and method of the moving picture
US7257317B2 (en) Recording apparatus and reproducing apparatus
US20080240672A1 (en) Image reproduction apparatus
US20020140826A1 (en) Photographing apparatus, a method for controlling recording of a moving picture or a still picture, and an image editing apparatus
US6310625B1 (en) Clip display method and display device therefor
US6803925B2 (en) Assembling verbal narration for digital display images
JP3432348B2 (en) Representative image display method, moving image search apparatus using the representative image display apparatus and the apparatus
JP3454396B2 (en) Playback stop control method based thereon and change point detection control method of the moving image and moving image editing system using them
CN100373926C (en) Television camera
KR20050061352A (en) Image displaying method and image displaying apparatus
US5956458A (en) System and method for determining representative frames of video captured by a video camera
JP2002513539A (en) Method and system for speculative decompression of compressed image data in the image capturing unit