JP4250662B2

JP4250662B2 - Digital data editing device

Info

Publication number: JP4250662B2
Application number: JP2007174322A
Authority: JP
Inventors: 孝之國枝
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2007-07-02
Filing date: 2007-07-02
Publication date: 2009-04-08
Anticipated expiration: 2023-01-29
Also published as: JP2007306603A

Description

本発明は、映像情報のインデキシングを支援するデジタルデータ編集装置に関する。 The present invention relates to a digital data editing apparatus that supports indexing of video information.

映像情報に対しインデキシングを行なう場合、映像内容に関してどのようなイベントが発生したのか、映像内容に対してイベントに関する情報を付加する必要がある。この作業は、作業者が実際に撮影した映像をすべて見て映像の内容を把握し、シーンの切り替わり、話題の切り替わりを判断し、付加すべきイベントに関する情報を決めていくことにより行われている。このようなインデキシングを施された映像情報は、シーン単位での閲覧や、映像内容に付加した情報による検索を行なうことが可能となる。 When indexing video information, it is necessary to add information related to the event to the video content as to what event has occurred regarding the video content. This work is done by observing the video actually taken by the worker, grasping the content of the video, judging scene switching and topic switching, and determining information on the event to be added. . Such indexed video information can be browsed in units of scenes and searched by information added to video content.

このようなインデキシング技術としては、スライド等のドキュメントが表示されたタイミングに基づいて、当該ドキュメントに関連する映像を同期させるドキュメント処理方法が知られている。（例えば、特許文献１）。 As such an indexing technique, a document processing method is known in which a video related to a document is synchronized based on the timing at which the document such as a slide is displayed. (For example, patent document 1).

特開２００２−２３２８５８号公報（第５−９頁）JP 2002-232858 A (page 5-9)

しかしながら、このような作業によりデジタルデータに対するインデキシングを行なうのでは、作業に多くの時間を要して煩雑であるという不具合がある。また、映像情報を閲覧する閲覧者が容易に所望のシーンを検索できる等映像情報の利便性の向上が望まれている。 However, the indexing of digital data by such work has the disadvantage that it takes a lot of time for the work and is complicated. In addition, it is desired to improve the convenience of video information such that a viewer who browses video information can easily search for a desired scene.

本発明の目的は、映像情報などのデジタルデータに対して適切なインデキシングを容易に行なえるようにすることである。 An object of the present invention is to make it possible to easily perform appropriate indexing on digital data such as video information.

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、音声データまたは動画データのうち少なくとも一方を含むデジタルデータを編集するデジタルデータ編集装置であって、複数のスライドを表示する表示手段と、利用者から前記スライドを前記表示手段に表示させることを示す指示を受け付ける指示受付手段と、前記指示受付手段からの指示に基づいてイベント情報を生成するイベント情報生成手段と、前記スライドに関連する前記デジタルデータを取得するデジタルデータ取得手段と、前記デジタルデータ取得手段が取得した前記デジタルデータを、前記イベント情報生成手段が生成した前記イベント情報に基づいて編集するデジタルデータ編集手段とを有し、前記イベント情報生成手段は、イベントの発生日時を含むイベント情報を生成し、前記デジタルデータ取得手段は、前記デジタルデータとともに、前記デジタルデータを生成した時刻をさらに取得し、前記デジタルデータ編集手段は、前記イベント情報に含まれる時刻と前記デジタルデータが生成した時刻とに基づいて定まる前記デジタルデータの所定位置に、前記スライドを対応付けることを特徴とする。 In order to solve the above-described problems and achieve the object, the invention according to claim 1 is a digital data editing apparatus that edits digital data including at least one of audio data and moving image data, and includes a plurality of slides. Display means for displaying, instruction receiving means for receiving an instruction to display the slide on the display means from a user, event information generating means for generating event information based on an instruction from the instruction receiving means, Digital data acquisition means for acquiring the digital data related to the slide, and digital data editing means for editing the digital data acquired by the digital data acquisition means based on the event information generated by the event information generation means And the event information generating means determines the event occurrence date and time. The event information is generated, the digital data acquisition means further acquires the time when the digital data was generated together with the digital data, and the digital data editing means determines that the time included in the event information and the digital data are The slide is associated with a predetermined position of the digital data determined based on the generated time.

ここで、表示部は、例えばスライドを投影する投影機であることが望ましい。 Here, the display unit is preferably a projector that projects slides, for example.

このように、本発明のデジタルデータ編集装置は、複数のスライドを表示させる表示手段を備えているので、当該デジタルデータ編集装置を設置するのみで、簡単にスライドの表示、およびデジタルデータの記録を行うことができる。これにより、情報編集装置と、投影機などの表示装置とそれぞれ準備することなく簡単にデジタルデータの記録および編集を行うことができる。
また、このように、イベント情報生成手段は、イベントの発生日時を含むイベント情報尾生成するので、デジタルデータ編集手段は、イベント情報に含まれる時刻に基づいて、デジタルデータのうち適切な位置に、各スライドを自動的に対応付けることができる。
また、このように、デジタルデータを記録している間に表示手段が表示していたスライドを対応付けることができる、すなわち、デジタルデータに対して適切なインデキシングを効率的に行うことができる。 As described above, since the digital data editing apparatus of the present invention includes display means for displaying a plurality of slides, simply installing the digital data editing apparatus enables easy display of slides and recording of digital data. It can be carried out. This makes it possible to easily record and edit digital data without preparing an information editing device and a display device such as a projector.
Also, as described above, the event information generating means generates an event information tail including the event occurrence date and time, so that the digital data editing means is based on the time included in the event information at an appropriate position in the digital data. Each slide can be automatically associated.
In addition, in this way, the slide displayed by the display means while digital data is being recorded can be associated, that is, appropriate indexing can be efficiently performed on the digital data.

また、請求項２にかかる発明は、請求項１に記載のデジタルデータ編集装置において、前記デジタルデータ取得手段は、前記スライドに関連する映像を含む動画データを前記デジタルデータとして取得することを特徴とする。 According to a second aspect of the present invention, in the digital data editing apparatus according to the first aspect, the digital data acquisition unit acquires moving image data including a video related to the slide as the digital data. To do.

このように、表示手段が表示したスライドに関連する映像を含む動画データをデジタルデータとして取得するので、スライドに対するイベント情報に基づいてデジタルデータに対して適切にインデキシングを効率的に行うことができる。 As described above, since the moving image data including the video related to the slide displayed by the display unit is acquired as digital data, the digital data can be appropriately indexed efficiently based on the event information for the slide.

また、請求項３にかかる発明は、請求項２に記載のデジタルデータ編集装置において、前記デジタルデータ取得手段は、前記スライドを被写体とする動画データを含む前記デジタルデータを取得することを特徴とする。 According to a third aspect of the present invention, in the digital data editing apparatus according to the second aspect, the digital data acquisition means acquires the digital data including moving image data having the slide as a subject. .

このように、スライドを被写体とする動画データを、当該スライドに基づいてインデキシングするので、より動画データに適したインデキシングを行うことができる。 As described above, since the moving image data having the slide as a subject is indexed based on the slide, the indexing more suitable for the moving image data can be performed.

（別態様の発明）
また、本発明の別態様１の発明は、映像情報インデキシング支援装置において、撮影装置で撮影する動画の映像をキャプチャする映像キャプチャ手段と、このキャプチャした映像を記憶する映像記憶手段と、前記撮影装置で撮影する映像内容に関連して発生するイベントの情報であるイベント情報を記録するイベント記録手段と、を備えている。 (Invention of another embodiment)
Further, according to another aspect 1 of the present invention, in the video information indexing support apparatus, video capture means for capturing a video of a moving image shot by the shooting apparatus, video storage means for storing the captured video, and the shooting apparatus Event recording means for recording event information, which is information about events that occur in relation to the video content to be photographed.

したがって、映像のキャプチャのみならず、映像内容に関連して発生するイベントのイベント情報も記録することができるので、映像内容に踏み込んだ映像管理をするためのインデックスを作成し、シーン検索や頭だしを精度良く行なうための内容の記述作業を容易に行なうことができ、映像情報のインデキシングを容易に行なうことができる。 Therefore, it is possible to record not only video capture but also event information of events that occur in relation to video content, so you can create an index for video management that goes into the video content, search for scenes and cue The content can be easily described with high accuracy, and the video information can be easily indexed.

また、本発明の別態様２の発明は、別態様１に記載の映像情報インデキシング支援装置において、記録した前記イベント情報に基づいて前記撮影装置を制御する撮影制御手段を備えている。 According to another aspect 2 of the present invention, the video information indexing support apparatus according to another aspect 1 further includes photographing control means for controlling the photographing apparatus based on the recorded event information.

したがって、イベント情報により、撮影開始、終了等といった撮影装置の操作が可能となり、撮影装置側の専従の担当者がいなくても撮影作業を行なうことができる。 Therefore, it is possible to operate the photographing apparatus such as start and end of photographing based on the event information, and photographing work can be performed without a dedicated person in charge on the photographing apparatus side.

また、本発明の別態様３の発明は、別態様１又は２に記載の映像情報インデキシング支援装置において、前記イベント記録手段は、前記映像内容の被写体の少なくとも一部をなす画面の切換えを行なうコンピュータの入力装置の操作を前記イベントとしている。 According to another aspect 3 of the present invention, in the video information indexing support apparatus according to another aspect 1 or 2, the event recording means switches a screen that forms at least a part of a subject of the video content. The operation of the input device is the event.

したがって、プレゼンテーション発表の現場等を撮影する場合に、そのプレゼンテーション等に使用するコンピュータの操作をイベントとして記録し、映像情報のインデキシングを容易に行なうことができる。 Therefore, when shooting the site of the presentation presentation, etc., the operation of the computer used for the presentation can be recorded as an event, and the video information can be easily indexed.

また、本発明の別態様４の発明は、別態様１〜３の何れかの一に記載の映像情報インデキシング支援装置において、前記イベント記録手段は、前記イベント情報として前記イベントの内容及び当該イベントの発生時刻を時系列に記録する。 Further, the invention according to another aspect 4 of the present invention is the video information indexing support apparatus according to any one of the other aspects 1 to 3, wherein the event recording means includes the event content and the event as the event information. Record the time of occurrence in chronological order.

したがって、映像中の事象とイベントとの対応を、時刻情報を介して行なうことができるので、特にイベントと映像中の事象との照合操作を行なう必要がなくなる。 Therefore, since the correspondence between the event in the video and the event can be performed through the time information, it is not necessary to particularly perform a collation operation between the event and the event in the video.

また、本発明の別態様５の発明は、別態様１〜４の何れかの一に記載の映像情報インデキシング支援装置において、前記映像記憶手段で記憶した映像の情報と前記イベント情報とを時系列的に対応付けるインデックス生成手段を備えている。 According to another aspect 5 of the present invention, in the video information indexing support apparatus according to any one of the first to fourth aspects, the video information stored in the video storage unit and the event information are time-sequentially. Index generating means for associating with each other.

したがって、見たいイベントの頭だしや検索等を正確に行なうことができる。 Therefore, it is possible to accurately search for a desired event and search for it.

また、本発明の別態様６の発明は、別態様５に記載の映像情報インデキシング支援装置において、前記インデックス生成手段は、前記イベント情報に対して前記映像内容に関連した付加情報も対応付ける。 Further, according to another aspect 6 of the present invention, in the video information indexing support apparatus according to another aspect 5, the index generation means associates additional information related to the video content with the event information.

したがって、イベントの検索を付加情報の内容からの検索で行なえるので、見たいシーンの頭だしや検索を容易に行なうことができる。 Therefore, since the event search can be performed by searching from the contents of the additional information, it is possible to easily search for the beginning of the scene to be viewed or to search.

また、本発明の別態様７の発明は、撮影装置で撮影する動画の映像をキャプチャする映像キャプチャ処理と、このキャプチャした映像を記憶する映像記憶処理と、前記撮影装置で撮影する映像内容に関連して発生するイベントの情報であるイベント情報を記録するイベント記録処理と、をコンピュータに実行させるコンピュータに読取可能なプログラムである。 Further, the invention of another aspect 7 of the present invention relates to a video capture process for capturing a video of a moving image shot by the shooting apparatus, a video storage process for storing the captured video, and a video content shot by the shooting apparatus. This is a computer-readable program that causes a computer to execute event recording processing for recording event information that is information about events that occur.

また、本発明の別態様８の発明は、別態様７に記載のプログラムにおいて、記録した前記イベント情報に基づいて前記撮影装置を制御する撮影制御処理をコンピュータに実行させる。 The invention according to another aspect 8 of the present invention causes the computer to execute a photographing control process for controlling the photographing apparatus based on the recorded event information in the program according to the different aspect 7.

また、本発明の別態様９の発明は、別態様７又は８に記載のプログラムを記憶した記憶媒体である。 The invention according to another aspect 9 of the present invention is a storage medium storing the program according to another aspect 7 or 8.

したがって、別態様７又は８に記載の発明と同様の作用、効果を奏する。 Therefore, there exists an effect | action and effect similar to the invention of another aspect 7 or 8.

（別態様の発明の効果）
本発明にかかる別態様１、７の発明は、映像のキャプチャのみならず、映像内容に関連して発生するイベントのイベント情報も記録することができるので、映像内容に踏み込んだ映像管理をするためのインデックスを作成し、シーン検索や頭だしを精度良く行なうための内容の記述作業を容易に行なうことができ、映像情報のインデキシングを容易に行なうことができる。 (Effect of invention of another aspect)
The inventions of the different aspects 1 and 7 according to the present invention can record not only video capture but also event information of events that occur in relation to video content. Index can be created, contents can be easily described for accurate scene search and cueing, and video information can be easily indexed.

また、本発明にかかる別態様２、８の発明は、上記発明において、イベント情報により、撮影開始、終了等といった撮影装置の操作が可能となり、撮影装置側の専従の担当者がいなくても撮影作業を行なうことができる。 Further, according to the second and eighth aspects of the present invention, in the above invention, it is possible to operate the photographing apparatus such as start and end of photographing based on the event information. Work can be done.

また、本発明にかかる別の態様３の発明は、上記発明において、プレゼンテーション発表の現場等を撮影する場合に、そのプレゼンテーション等に使用するコンピュータの操作をイベントとして記録し、映像情報のインデキシングを容易に行なうことができる。 In addition, in the invention of another aspect 3 according to the present invention, in the above invention, when shooting the site of the presentation presentation, etc., the operation of the computer used for the presentation is recorded as an event, so that the video information can be easily indexed. Can be done.

また、本発明にかかる別の態様４の発明は、上記発明において、映像中の事象とイベントとの対応を、時刻情報を介して行なうことができるので、特にイベントと映像中の事象との照合操作を行なう必要がなくなる。 Further, in the invention of another aspect 4 according to the present invention, in the above invention, since the correspondence between the event in the video and the event can be performed through the time information, the collation between the event and the event in the video is particularly performed. No need to perform operations.

また、本発明にかかる別の態様５の発明は、上記発明において、見たいイベントの頭だしや検索等を正確に行なうことができる。 Further, in the invention of another aspect 5 according to the present invention, in the above invention, it is possible to accurately cue and search for an event to be viewed.

また、本発明にかかる別の態様６の発明は、上記発明において、イベントの検索を付加情報の内容からの検索で行なえるので、見たいシーンの頭だしや検索を容易に行なうことができる。 In addition, in the invention of another aspect 6 according to the present invention, in the above invention, the search for the event can be performed by searching from the content of the additional information.

また、本発明にかかる別の態様９の発明は、その記憶しているプログラムにより上記発明と同様の効果を奏する。 Further, the invention of another aspect 9 according to the present invention has the same effects as the above invention by the stored program.

請求項１に記載の発明によれば、本発明のデジタルデータ編集装置は、複数の表示画像を表示させる表示手段を備えているので、当該デジタルデータ編集装置を設置するのみで、簡単に表示画像の表示、およびデジタルデータの記録を行うことができる。これにより、情報編集装置と、投影機などの表示装置とそれぞれ準備することなく簡単にデジタルデータの記録および編集を行うことができる。
また、請求項１に記載の発明によれば、イベント情報生成手段は、イベントの発生日時を含むイベント情報尾生成するので、デジタルデータ編集手段は、イベント情報に含まれる時刻に基づいて、デジタルデータのうち適切な位置に、各表示画像を自動的に対応付けることができる。
また、請求項１に記載の発明によれば、デジタルデータを記録している間に表示手段が表示していた表示画像を対応付けることができる、すなわち、デジタルデータに対して適切なインデキシングを効率的に行うことができる。 According to the first aspect of the present invention, the digital data editing apparatus of the present invention includes display means for displaying a plurality of display images. Therefore, simply installing the digital data editing apparatus enables easy display image display. Can be displayed and digital data can be recorded. This makes it possible to easily record and edit digital data without preparing an information editing device and a display device such as a projector.
According to the first aspect of the present invention, since the event information generating means generates an event information tail including the event occurrence date and time, the digital data editing means can generate the digital data based on the time included in the event information. Each display image can be automatically associated with an appropriate position.
According to the first aspect of the present invention, it is possible to associate the display image displayed by the display means while recording the digital data, that is, it is possible to efficiently perform appropriate indexing on the digital data. Can be done.

請求項２に記載の発明によれば、表示手段が表示した表示画像に関連する映像を含む動画データをデジタルデータとして取得するので、表示画像に対するイベント情報に基づいてデジタルデータに対して適切にインデキシングを効率的に行うことができる。 According to the second aspect of the invention, since the moving image data including the video related to the display image displayed by the display means is acquired as digital data, the digital data is appropriately indexed based on the event information for the display image. Can be performed efficiently.

請求項３に記載の発明によれば、表示画像を被写体とする動画データを、当該表示画像に基づいてインデキシングするので、より動画データに適したインデキシングを行うことができる。 According to the third aspect of the invention, since the moving image data having the display image as the subject is indexed based on the display image, the indexing more suitable for the moving image data can be performed.

本発明の実施の形態について説明する。
（実施の形態１）
図１は、この発明の実施の形態１にかかる映像情報インデキシング支援装置５を含む映像情報インデキシング支援システム１の全体構成を示している。 Embodiments of the present invention will be described.
(Embodiment 1)
FIG. 1 shows an overall configuration of a video information indexing support system 1 including a video information indexing support device 5 according to a first embodiment of the present invention.

映像情報インデキシング支援システム１は、プレゼンテーション資料３１を格納するＰＣ２と、このＰＣ２と接続し、プレゼンテーション資料３１を表示するプロジェクター等の投影機３と、投影機３により投影された画像を表示する表示画面３０と、プレゼンテーションの状況を音声と共に動画撮影する音声取り込み機能付きのＤＶカメラ４と、ＤＶカメラ４が取り込んだ音声を含む動画情報（以下単に「動画情報」と称す）を編集する映像情報インデキシング支援装置５とを備えている。なお、ここで、動画情報は、本発明のデジタルデータに相当する。 The video information indexing support system 1 includes a PC 2 that stores presentation material 31, a projector 3 that is connected to the PC 2 and displays the presentation material 31, and a display screen that displays an image projected by the projector 3. 30 and a video camera indexing support for editing video information including audio captured by the DV camera 4 (hereinafter simply referred to as “video information”). And a device 5. Here, the moving image information corresponds to the digital data of the present invention.

ＤＶカメラ４と映像情報インデキシング支援装置５は、例えば、ＩＥＥＥ１３９４などのインターフェイスで接続されている。また、ＰＣ２と映像情報インデキシング支援装置５は、ＩＥＥＥ８０２．１１ｂなどの通信インターフェイスで接続されている。無線通信環境がない場合は、通常のイーサネット（Ｒ）によるピア・ツー・ピア接続であってもよい。 The DV camera 4 and the video information indexing support device 5 are connected by an interface such as IEEE1394, for example. The PC 2 and the video information indexing support device 5 are connected by a communication interface such as IEEE 802.11b. When there is no wireless communication environment, a normal peer-to-peer connection by Ethernet (R) may be used.

ＰＣ２は、単にプレゼンテーション資料３１を格納しており、投影機３と通信可能であればよく、例えば、プレゼンターの所有するＰＣであってもよい。 The PC 2 simply stores the presentation material 31 and can communicate with the projector 3. For example, the PC 2 may be a PC owned by the presenter.

本実施の形態では、電子化されたプレゼンテーション資料を用いた講演や発表などを映像で録画記録する場合を例として説明する。このようなプレゼンテーションを行なう場合、通常、発表者は、プロジェクター等の投影機に接続したパーソナルコンピュータ（ＰＣ）に電子化されたプレゼンテーション資料を格納し、発表時には、このプレゼンテーション資料を投影機で表示するプレゼンテーション・ソフトを操作しながら発表を進めていく。 In the present embodiment, a case where a lecture or presentation using electronic presentation materials is recorded and recorded as video will be described as an example. When giving such a presentation, the presenter usually stores electronic presentation materials on a personal computer (PC) connected to a projector such as a projector, and displays the presentation materials on the projector at the time of presentation. Proceed with the presentation while operating the presentation software.

編集者は、プレゼンターがプレゼンテーション資料３１を表示画面３０に表示させながらプレゼンテーションを行っている様子を、ＤＶカメラ４を用いて撮影する。ここで、編集者とは、映像情報インデキシング支援システム１を利用して動画を編集する者のことである。 The editor uses the DV camera 4 to shoot how the presenter is giving a presentation while displaying the presentation material 31 on the display screen 30. Here, the editor is a person who edits a moving image using the video information indexing support system 1.

撮影が終了すると、映像情報インデキシング支援装置５は、ＰＣ２からプレゼンテーション資料３１を取得し、さらに、ＤＶカメラ４からプレゼンテーションの様子を示す動画情報を取得する。そして、映像情報インデキシング支援装置５は、動画情報を編集する。すなわち、動画情報にプレゼンテーション資料３１を対応付けた情報ファイルを生成する。 When shooting is completed, the video information indexing support device 5 acquires the presentation material 31 from the PC 2, and further acquires moving image information indicating the state of the presentation from the DV camera 4. Then, the video information indexing support device 5 edits the video information. That is, an information file in which the presentation material 31 is associated with the moving image information is generated.

図２は、本実施の形態である映像情報インデキシング支援システム１の全体のハードウエア構成を示すブロック図である。 FIG. 2 is a block diagram showing an overall hardware configuration of the video information indexing support system 1 according to the present embodiment.

図３は、ＰＣ２，５の電気的な接続を示すブロック図である。図３に示すように、ＰＣ２，５は、各種演算を行ない各部を集中的に制御するＣＰＵ１１と、各種のＲＯＭ、ＲＡＭからなるメモリ１２とが、バス１３で接続されている。 FIG. 3 is a block diagram showing the electrical connection between the PCs 2 and 5. As shown in FIG. 3, the PCs 2 and 5 are connected by a bus 13 to a CPU 11 that performs various calculations and centrally controls each unit, and a memory 12 that includes various ROMs and RAMs.

バス１３には、所定のインターフェイスを介して、ハードディスクなどの磁気記憶装置１４と、入力装置であるマウス１５と、入力装置であるキーボード２１と、ＬＣＤ等の表示装置１６とを備えている。また、光ディスクなどの記憶媒体１７を読み取る記憶媒体読取装置１８が接続可能であり、インターネットなどのネットワーク１９と通信を行なう所定の通信インターフェイス２０が接続されていてもよい。なお、記憶媒体１７としては、ＣＤ，ＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置１８は、具体的には記憶媒体１７の種類に応じて光ディスク装置、光磁気ディスク装置などが用いられる。 The bus 13 includes a magnetic storage device 14 such as a hard disk, a mouse 15 as an input device, a keyboard 21 as an input device, and a display device 16 such as an LCD via a predetermined interface. A storage medium reader 18 that reads the storage medium 17 such as an optical disk can be connected, and a predetermined communication interface 20 that communicates with a network 19 such as the Internet may be connected. As the storage medium 17, various types of media such as optical disks such as CD and DVD, magneto-optical disks, and flexible disks can be used. Further, as the storage medium reading device 18, specifically, an optical disk device, a magneto-optical disk device, or the like is used according to the type of the storage medium 17.

ＰＣ２，５のそれぞれには、その磁気記憶装置１４に、この発明のプログラムを実現する映像情報インデキシング支援プログラムが記憶されている。この映像情報インデキシング支援プログラムは、記憶媒体１７から記憶媒体読取装置１８により読み取るか、あるいは、インターネットなどのネットワーク１９からダウンロードするなどして、磁気記憶装置１４にインストールしたものである。このインストールによりＰＣ２，５は動作可能な状態となる。すなわち、ＣＰＵ１１が映像情報インデキシング支援プログラムに基づいて動作することにより、後述の各種モジュールの機能をそれぞれ実現する。なお、映像情報インデキシング支援プログラムは、特定のアプリケーションソフトの一部をなすものであってもよい。また、所定のＯＳ上で動作するものであってもよい。また、ＰＣ２の磁気記憶装置１４には、所定のプレゼンテーション・ソフトも記憶されている。 Each of the PCs 2 and 5 stores a video information indexing support program for realizing the program of the present invention in the magnetic storage device 14. This video information indexing support program is installed in the magnetic storage device 14 by being read from the storage medium 17 by the storage medium reader 18 or downloaded from the network 19 such as the Internet. By this installation, the PCs 2 and 5 become operable. That is, the CPU 11 operates based on the video information indexing support program, thereby realizing functions of various modules described later. Note that the video information indexing support program may be a part of specific application software. Further, it may operate on a predetermined OS. The magnetic storage device 14 of the PC 2 also stores predetermined presentation software.

以下では、映像情報インデキシング支援プログラムに基づいて映像情報インデキシング支援システム１が行なう処理の内容について説明する。 Below, the content of the process which the video information indexing support system 1 performs based on a video information indexing support program is demonstrated.

図４は、映像情報インデキシング支援プログラム等に基づいて実現される映像情報インデキシング支援システム１の機能ブロック図である。 FIG. 4 is a functional block diagram of the video information indexing support system 1 realized based on a video information indexing support program or the like.

ＰＣ２は、その磁気記憶装置１４に電子化されたプレゼンテーション資料３１が記憶されていて、ユーザはプレゼンテーション・ソフトによりプレゼンテーション資料３１を用いたプレゼンテーションを行なう。このとき、ＰＣ２は、後述のイベントを発生するイベント発生装置として機能する。ここで、プレゼンテーション資料３１は、本発明のスライドに相当する。 The PC 2 stores an electronic presentation material 31 in the magnetic storage device 14, and the user makes a presentation using the presentation material 31 using presentation software. At this time, the PC 2 functions as an event generation device that generates an event described later. Here, the presentation material 31 corresponds to a slide of the present invention.

ここで、図５を参照しつつ、プレゼンテーション資料３１について説明する。プレゼンテーション資料３１は、プレゼンテーションの際に表示画面３０に表示すべきスライド３１０，３１２，３１４，３１６，３１８，３２０を含んでいる。各スライド３１０，３１２，３１４，３１６，３１８，３２０には、ページ番号が対応付けられており、ページ番号順に表示される。すなわち、プレゼンテーション資料３１を構成するスライドは、当該プレゼンテーション資料３１の作成者が定めた順番に配列されている。図３に示すプレゼンテーション資料３１は、６ページ分のスライドを含んでいる。これらは、プレゼンターからの指示により、１ページ、２ページ、・・・とページ順に表示される。なお、本実施の形態におけるプレゼンテーション資料３１は、パワーポイントＭｉｃｒｏｓｏｆｔ（Ｒ）社製のＰｏｗｅｒＰｏｉｎｔ（Ｒ）のファイルである。 Here, the presentation material 31 will be described with reference to FIG. The presentation material 31 includes slides 310, 312, 314, 316, 318 and 320 to be displayed on the display screen 30 at the time of presentation. Each slide 310, 312, 314, 316, 318, 320 is associated with page numbers and is displayed in the order of page numbers. That is, the slides constituting the presentation material 31 are arranged in the order determined by the creator of the presentation material 31. The presentation material 31 shown in FIG. 3 includes 6 pages of slides. These are displayed in order of page 1, page 2,... According to an instruction from the presenter. Note that the presentation material 31 in this embodiment is a Power Point (R) file manufactured by PowerPoint Microsoft (R).

通常、プレゼンテーションを行なう場合のＰＣ２の操作は以下のような手順である。
１．ＰＣ２の起動
２．プレゼンテーション・ソフトの起動
３．発表の開始
４．キーボード２１又はマウス１５の操作による、プレゼンテーション資料３１のページめくり
５．発表の終了
６．プレゼンテーション・ソフトの終了
７．ＰＣ２の終了
ここで、ページめくりとは、表示画面３０に表示させる、プレゼンテーション資料３１を１ページから次のページすなわち２ページに切り替えることである。 Usually, the operation of the PC 2 for the presentation is as follows.
1. Startup of PC2 2. Start the presentation software. Start of presentation 4. 4. Turn the page of the presentation material 31 by operating the keyboard 21 or the mouse 15. End of presentation End of presentation software End of PC 2 Here, the page turning is to switch the presentation material 31 to be displayed on the display screen 30 from one page to the next page, that is, two pages.

以上の操作は、いずれもマウス１５またはキーボード２１における所定の操作に対応付けられている。例えば、ＰＣ２の表示画面に表示されたプレゼンテーション・ソフトのアイコンをマウス１５によりクリックする操作は、プレゼンテーション・ソフトの起動というイベントに対応付けられている。 All of the above operations are associated with predetermined operations on the mouse 15 or the keyboard 21. For example, an operation of clicking the presentation software icon displayed on the display screen of the PC 2 with the mouse 15 is associated with an event of starting the presentation software.

ＰＣ２は、映像情報インデキシング支援プログラムに基づいてイベント送信装置３２としても機能して、イベント発生装置としてのＰＣ２の操作、すなわち、プレゼンテーションの発表時にＤＶカメラ４で撮影する映像内容に関して発生するイベントを的確に記録することで、ＤＶカメラ４で撮影する映像に対するインデキシングを効率良く行なうことを支援する。 The PC 2 also functions as the event transmission device 32 based on the video information indexing support program, and accurately operates the operation of the PC 2 as the event generation device, that is, the event generated with respect to the video content photographed by the DV camera 4 at the time of presentation presentation. By recording the image, the indexing of the video shot by the DV camera 4 is supported efficiently.

前述のような手順でプレゼンテーションの発表が行われる際に、ＰＣ２上で捉えることができる映像内容に関して発生するイベントとしては、例えば以下の１〜３に示すようなものがある。すなわち、ここでは、ＤＶカメラ４の映像内容の被写体の少なくとも一部をなすプレゼンテーション映像の画面の切換えを行なう、利用者によるコンピュータ操作をイベントとしている。また、このイベントに関する情報であるイベント情報として、イベントの種類とその発生時刻も正確に記録する必要がある。
１．プレゼンテーション・ソフトの起動、終了
２．キーボード２１の操作（どのキーが押されたか）
３．マウス１５の操作（ドラッグ、クリック） When a presentation is presented according to the procedure described above, events that occur with respect to video content that can be captured on the PC 2 include the following events 1 to 3, for example. That is, here, an event is a computer operation by the user who switches the screen of the presentation video that forms at least a part of the subject of the video content of the DV camera 4. In addition, as event information, which is information related to this event, it is necessary to accurately record the type of event and the time at which it occurred.
1. 1. Start and end the presentation software Keyboard 21 operation (which key was pressed)
3. Mouse 15 operation (drag, click)

そこで、イベント送信装置３２は、イベントキャプチャモジュール３３により、これらのイベントの種類とその発生時刻をイベント情報として取得する。そして、イベント記録モジュール３４は、このイベント情報のログを記録し、イベント送信モジュール４４は通信インターフェイスを介してＰＣ５（ＰＣ５が映像情報インデキシング支援プログラムに基づいて実現するイベント受信装置３５）に送信する。ここで、イベントキャプチャモジュール３３は、本発明にかかる指示受付手段およびイベント情報生成手段を構成する。 Therefore, the event transmission device 32 acquires the types of these events and their occurrence times as event information by the event capture module 33. Then, the event recording module 34 records a log of the event information, and the event transmission module 44 transmits it to the PC 5 (the event receiving device 35 realized by the PC 5 based on the video information indexing support program) via the communication interface. Here, the event capture module 33 constitutes an instruction receiving unit and an event information generating unit according to the present invention.

このイベント送信装置３２から送信されたイベント情報は、本発明の映像情報インデキシング支援装置を実施するイベント受信装置３５において、イベント受信モジュール３６により受信される。そして、イベント制御モジュール３７は、イベント記録モジュール３８と撮影機器制御モジュール３９に、受信したイベント情報を渡す。イベント記録モジュール３８は、イベント記録手段、イベント記録処理を実現するもので、イベント情報を時系列に記録する。 The event information transmitted from the event transmitting device 32 is received by the event receiving module 36 in the event receiving device 35 that implements the video information indexing support device of the present invention. Then, the event control module 37 passes the received event information to the event recording module 38 and the imaging device control module 39. The event recording module 38 implements event recording means and event recording processing, and records event information in time series.

撮影機器制御モジュール３９は、イベント情報に基づいてＤＶカメラ４を制御する。映像キャプチャモジュール４０は、映像キャプチャ手段、映像キャプチャ処理を実現するもので、ＤＶカメラ４で撮影した画像をキャプチャする。映像ファイル管理モジュール４１は、映像記憶手段、映像記憶処理を実現するもので、ＤＶカメラ４で撮影した画像の映像ファイルを記憶して管理する。また、イベント記録モジュール３８が記録するイベント情報には、イベント送信装置３２から受信したイベント情報のみならず、ＤＶカメラ４の制御のイベント情報も含まれる。 The imaging device control module 39 controls the DV camera 4 based on the event information. The video capture module 40 implements video capture means and video capture processing, and captures an image captured by the DV camera 4. The video file management module 41 implements video storage means and video storage processing, and stores and manages video files of images taken by the DV camera 4. The event information recorded by the event recording module 38 includes not only event information received from the event transmitting device 32 but also event information for controlling the DV camera 4.

イベント解釈モジュール４２は、イベント情報の内容を解釈し、インデックス生成モジュール４３は、ＰＣ５の磁気記憶装置１４に記憶されているプレゼンテーション資料３１、映像ファイル及びイベント情報に基づいて、ＤＶカメラ４で撮影した映像のインデキシングを行なう。 The event interpretation module 42 interprets the contents of the event information, and the index generation module 43 takes a picture with the DV camera 4 based on the presentation material 31, the video file, and the event information stored in the magnetic storage device 14 of the PC 5. Perform video indexing.

次に、イベント送信装置３２とイベント受信装置３５との間のイベント情報の交換について具体的に説明する。 Next, the exchange of event information between the event transmitting device 32 and the event receiving device 35 will be specifically described.

１．プレゼンテーション・ソフトの起動というイベントが発生したときは、撮影機器制御モジュール３９により、ＤＶカメラ４による撮影を開始する。また、このイベント情報をイベント記録モジュール３８で記録する。 1. When the event of starting the presentation software occurs, the photographing device control module 39 starts photographing with the DV camera 4. This event information is recorded by the event recording module 38.

２．プレゼンテーション資料３１のスライドが進行しているときは、キーボード２１のキー操作によるイベントが発生するので、このイベント情報をイベント記録モジュール３８で記録する。 2. When the slide of the presentation material 31 is progressing, an event is generated by the key operation of the keyboard 21, and this event information is recorded by the event recording module 38.

３．プレゼンテーション・ソフトが終了したときは、撮影機器制御モジュール３９により、ＤＶカメラ４による撮影を終了する。また、このイベント情報をイベント記録モジュール３８で記録する。 3. When the presentation software is finished, photographing by the DV camera 4 is finished by the photographing device control module 39. This event information is recorded by the event recording module 38.

このようにして、ＤＶカメラ４で撮影された映像中のイベントのイベント情報を映像情報とともにイベント受信装置３５で記録管理することができる。 In this way, the event information of the event in the video shot by the DV camera 4 can be recorded and managed by the event receiving device 35 together with the video information.

この記録されたイベント情報は、インデックス生成手段であるインデックス生成モジュール４３により、以下のような手順で、映像ファイル、プレゼンテーション資料３１とマージされ、内容記述言語（MPEG-7など）により映像インデックスとして管理される。 The recorded event information is merged with the video file and the presentation material 31 by the index generation module 43 which is an index generation means, and managed as a video index by a content description language (such as MPEG-7) in the following procedure. Is done.

図６は、イベント情報リスト３４０のデータ構成を模式的に示している。イベント情報リスト３４０には、イベント情報３４１，３４２，３４３・・・が、各イベントの発生した順番に配列されている。イベント情報には、発生したイベントの種類およびイベントが発生した日時が含まれている。例えばページ２が表示されると、「ページ２に切り替え」というイベント情報が記録される。これにより、各ページの表示を開始した表示開始時刻および表示を終了した終了時刻を認識することができる。 FIG. 6 schematically shows the data structure of the event information list 340. In the event information list 340, event information 341, 342, 343,... Are arranged in the order in which each event occurred. The event information includes the type of event that occurred and the date and time when the event occurred. For example, when page 2 is displayed, event information “switch to page 2” is recorded. Thereby, it is possible to recognize the display start time when display of each page is started and the end time when display is ended.

１．イベント情報に付随するプレゼンテーション内容の付加
例えば、キーボード２１のキー操作が順に、「Ｎ，Ｎ，Ｎ，Ｐ，Ｎ，Ｎ」と押下されるイベントが発生した場合、プレゼンテーション資料３１のページの推移は、「１，２，３，２，３，４」といった推移が予想される。そこで、図７（ａ）に示すように、このようなイベントの発生に対応するページのプレゼンテーション資料３１から文字情報５１を抽出し、キーボード２１の操作によるイベント情報５２に付加することで、イベントの発生時刻に表示しているプレゼンテーションの内容を代表する文字列を付加情報であるインデックス情報５３として付加することができる（図７（ｃ）参照）。 1. Addition of presentation contents accompanying event information For example, when an event occurs in which key operations of the keyboard 21 are sequentially pressed as “N, N, N, P, N, N”, the page transition of the presentation material 31 is , "1, 2, 3, 2, 3, 4" is expected. Therefore, as shown in FIG. 7A, by extracting the character information 51 from the presentation material 31 of the page corresponding to the occurrence of such an event and adding it to the event information 52 by the operation of the keyboard 21, A character string representing the content of the presentation displayed at the time of occurrence can be added as index information 53 which is additional information (see FIG. 7C).

２．ビデオ映像情報に対する映像物理ファイル構成
実際に撮影された映像は、撮影カットの単位で物理ファイル５４として（AVI,
MPEG-1,2,4等）格納される（図７（ｂ）参照）。そして、実際に１つの意味のある映像のまとまりを映像ファイル群５+５として扱う（図７（ｃ）参照）。 2. Video Physical File Structure for Video Video Information Video actually captured is recorded as a physical file 54 (AVI,
MPEG-1, 2, 4 etc.) are stored (see FIG. 7B). Then, a group of actually meaningful videos is handled as a video file group 5 + 5 (see FIG. 7C).

３．プレゼンテーション内容を含むイベント情報と映像物理ファイルのマッピング
１つの意味のまとまりとして管理される映像ファイル群５５とインデックス情報５３とは、映像に記録されているタイムコード（記録されていない場合は、秒間のフレーム数による換算）により対応付けられ（図７（ｃ）参照）、イベントと映像再生位置を特定することが可能になる。これにより、映像情報とイベント情報とを時系列的に対応付けて記録することができる。ＤＶカメラ４による撮影の開始、終了のイベント情報５６もインデックス情報５７として、これらと対応付けられる。 3. Mapping of event information including presentation contents and video physical file A video file group 55 and index information 53 managed as a single group of meanings are recorded as time codes (if not recorded, Corresponding by conversion based on the number of frames (see FIG. 7C), it is possible to specify the event and the video playback position. Thereby, video information and event information can be recorded in association with each other in time series. Event information 56 for the start and end of shooting by the DV camera 4 is also associated with these as index information 57.

このように、映像情報である映像ファイル群５５と、その内容情報を管理するインデックス情報５３，５７（MPEG-7）とをペアにして記録し、管理することで、録画した映像に対し、プレゼンテーション資料３１の切り替わりを１つのシーンとして検索したり、プレゼンテーション資料３１に記載された内容で検索することで、関連情報だけを抜粋し閲覧したりすることが可能になる。 In this way, the video file group 55 as video information and the index information 53 and 57 (MPEG-7) for managing the content information are recorded and managed in pairs, so that the recorded video can be presented. By searching for the switching of the material 31 as one scene or by searching the content described in the presentation material 31, it is possible to extract and view only related information.

（実施の形態２）
次に、実施の形態２にかかる映像情報インデキシング支援システムについて説明する。図７は、実施の形態２にかかる映像情報インデキシング支援システム１０の全体構成を示すブロック図である。 (Embodiment 2)
Next, a video information indexing support system according to the second embodiment will be described. FIG. 7 is a block diagram of an entire configuration of the video information indexing support system 10 according to the second embodiment.

実施の形態２にかかる映像情報インデキシング支援システム１０における情報編集装置７００は、プロジェクター等の投影機３を有している。この点で、実施の形態２にかかる映像情報インデキシング支援システム１０は、映像情報インデキシング支援装置５と投影機３とが別個に設けられていた実施の形態１にかかる映像情報インデキシング支援システム１と異なっている。 An information editing apparatus 700 in the video information indexing support system 10 according to the second embodiment includes a projector 3 such as a projector. In this respect, the video information indexing support system 10 according to the second embodiment is different from the video information indexing support system 1 according to the first embodiment in which the video information indexing support device 5 and the projector 3 are separately provided. ing.

図７に示すように、映像情報インデキシング支援装置７００は、情報ファイル生成部７１０と、ＤＶ映像キャプチャ７１２と、無線ＬＡＮ受信部７２０と、記録媒体ドライブ７１４と、投影機７０３とを有している。 As illustrated in FIG. 7, the video information indexing support apparatus 700 includes an information file generation unit 710, a DV video capture 712, a wireless LAN reception unit 720, a recording medium drive 714, and a projector 703. .

情報ファイル生成部７１０およびＤＶ映像キャプチャ部７１２は、両者の共同により実施の形態１において説明したイベント送信装置３２およびイベント受信装置３５の処理を行う。具体的には、例えば、ＤＶ映像キャプチャ部７１２は、実施の形態１において図４を参照しつつ説明した映像キャプチャモジュール４０および映像ファイル管理モジュール４１を有しており、図４に示した残りのモジュールは、情報ファイル生成部７１０が有していてもよい。なお、映像キャプチャ部７１２および情報ファイル生成部７１０は物理的には一体に設けられており、図４に示した各機能が、映像キャプチャ部７１２および情報ファイル生成部７１０のいずれによって実現されるかは本実施の形態に限定されるものではない。 The information file generation unit 710 and the DV video capture unit 712 perform processing of the event transmission device 32 and the event reception device 35 described in the first embodiment in cooperation with each other. Specifically, for example, the DV video capture unit 712 includes the video capture module 40 and the video file management module 41 described with reference to FIG. 4 in the first embodiment, and the rest shown in FIG. The information file generation unit 710 may have the module. Note that the video capture unit 712 and the information file generation unit 710 are physically provided integrally, and each function illustrated in FIG. 4 is realized by the video capture unit 712 or the information file generation unit 710. Is not limited to the present embodiment.

また、記録媒体ドライブ７１４は、ＤＶ映像キャプチャ部７１２と情報ファイル生成部７１０によって生成された情報ファイルを記録媒体に記録する。具体的には、記録媒体ドライブ７１４は、高速書き込み可能なＣＤやＤＶＤを着脱可能であって、これらの記録媒体に情報ファイルを記録する。 The recording medium drive 714 records the information file generated by the DV video capture unit 712 and the information file generation unit 710 on the recording medium. Specifically, the recording medium drive 714 is detachable from a high-speed writable CD or DVD, and records information files on these recording media.

実施の形態２に係る映像情報インデキシング支援システム１０のこれ以外の構成および機能は、実施の形態１において説明した映像情報インデキシング支援システム１の構成および機能と同様であるので説明を省略する。 Other configurations and functions of the video information indexing support system 10 according to the second embodiment are the same as the configurations and functions of the video information indexing support system 1 described in the first embodiment, and thus description thereof is omitted.

以上、実施の形態にかかる映像情報インデキシング支援システム１について説明したが、上記実施の形態に多様な変更または改良を加えることができる。 The video information indexing support system 1 according to the embodiment has been described above, but various changes or improvements can be added to the embodiment.

そうした第１の変更例としては、本実施の形態においては、動画情報に表示画面３０が映像として含まれている場合について説明したが、動画情報には必ずしも表示画面３０の映像が含まれていなくてもよい。例えば、表示画面３０に表示される画面画像については、画面画像情報として取得するので、あえて映像中に含めることがないと判断した場合には、プレゼンテーションが行われている間は、プレゼンターが話している様子や、会場の様子などを録画してもよい。 As such a first modification example, in the present embodiment, the case where the display screen 30 is included in the moving image information as an image has been described, but the image of the display screen 30 is not necessarily included in the moving image information. May be. For example, since the screen image displayed on the display screen 30 is acquired as screen image information, if it is determined that it is not included in the video, the presenter speaks during the presentation. You may record how you are or how you are in the venue.

また例えば、本発明のデジタルデータは、当該動画情報にかえて、プレゼンターが表示画面３０を参照しつつ話している音声を録音した音声データであってもよい。この場合にも、本実施の形態において説明したのと同様に、プレゼンターが表示画面３０に表示する画面画像を切り替えるタイミングを含むイベント情報に基づいて音声データを編集する。プレゼンテーションの音声データが当該プレゼンテーションにおいて参照される画面画像に同期している場合には、このように音声データと画面画像とを同期させることにより、音声データの利便性を向上させることができる。 Further, for example, the digital data of the present invention may be voice data obtained by recording voice spoken by the presenter while referring to the display screen 30 instead of the moving image information. Also in this case, the audio data is edited based on the event information including the timing at which the presenter switches the screen image displayed on the display screen 30 as described in the present embodiment. When the audio data of the presentation is synchronized with the screen image referenced in the presentation, the convenience of the audio data can be improved by synchronizing the audio data and the screen image in this way.

すなわち、本例においては、インデキシング処理の対象は映像情報に限定されず音声データをも編集するデジタルデータ編集装置を含むデジタルデータ編集システムであってもよい。 That is, in this example, the target of the indexing process is not limited to video information, but may be a digital data editing system including a digital data editing apparatus that also edits audio data.

情報編集システム１の全体構成を示す図である。1 is a diagram illustrating an overall configuration of an information editing system 1. FIG. 情報編集システム１の全体の概略構成を示すブロック図である。1 is a block diagram showing an overall schematic configuration of an information editing system 1. FIG. 本システムで使用するＰＣの電気的な接続を示すブロック図である。It is a block diagram which shows the electrical connection of PC used by this system. 本システムの機能ブロック図である。It is a functional block diagram of this system. プレゼンテーション資料３１を模式的に示す図である。It is a figure which shows the presentation material 31 typically. イベント情報リスト３４０のデータ構成を模式的に示す図である。It is a figure which shows typically the data structure of the event information list 340. 本システムによるインデキシングの処理について説明するブロック図である。It is a block diagram explaining the indexing process by this system. 実施の形態２にかかる映像情報インデキシング支援システム１０の全体構成を示す図である。It is a figure which shows the whole structure of the video information indexing assistance system 10 concerning Embodiment 2. FIG.

Explanation of symbols

４撮影装置
１７記憶媒体
３５映像情報インデキシング支援装置
３８イベント記録手段、イベント記録処理
３９撮影制御手段、撮影制御処理
４０映像キャプチャ手段、映像キャプチャ処理
４１映像記憶手段、映像記憶処理
４３インデックス生成手段、インデックス生成処理 DESCRIPTION OF SYMBOLS 4 Image | photographing apparatus 17 Storage medium 35 Image | video information indexing support apparatus 38 Event recording means, event recording process 39 Imaging | photography control means, imaging | photography control processing 40 Image | video capture means, image | video capture process 41 Image | video storage means, image | video storage process 43 Index generation means, index Generation process

Claims

A digital data editing device for editing digital data including at least one of audio data and moving image data,
Display means for displaying a plurality of slides;
An instruction receiving means for receiving an instruction indicating that the slide is displayed on the display means from a user;
Event information generating means for generating event information based on an instruction from the instruction receiving means;
Digital data acquisition means for acquiring the digital data associated with the slide;
Digital data editing means for editing the digital data acquired by the digital data acquisition means based on the event information generated by the event information generation means,
The event information generating means generates event information including an event occurrence date and time,
The digital data acquisition means further acquires the time when the digital data was generated together with the digital data,
The digital data editing device, wherein the digital data editing means associates the slide with a predetermined position of the digital data determined based on a time included in the event information and a time generated by the digital data.

The digital data editing apparatus according to claim 1, wherein the digital data acquisition unit acquires moving image data including an image related to the slide as the digital data.

The digital data editing apparatus according to claim 2, wherein the digital data acquisition unit acquires the digital data including moving image data in which the slide is a subject.