JP5558187B2 - Electronic device and image processing program - Google Patents

Electronic device and image processing program Download PDF

Info

Publication number
JP5558187B2
JP5558187B2 JP2010100115A JP2010100115A JP5558187B2 JP 5558187 B2 JP5558187 B2 JP 5558187B2 JP 2010100115 A JP2010100115 A JP 2010100115A JP 2010100115 A JP2010100115 A JP 2010100115A JP 5558187 B2 JP5558187 B2 JP 5558187B2
Authority
JP
Japan
Prior art keywords
information
analysis
materials
moving image
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010100115A
Other languages
Japanese (ja)
Other versions
JP2011232823A (en
Inventor
義賢 飛田
祐紀 金子
光悦 和田
浩平 桃崎
謙一 田部
智典 坂口
淳一 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2010100115A priority Critical patent/JP5558187B2/en
Publication of JP2011232823A publication Critical patent/JP2011232823A/en
Application granted granted Critical
Publication of JP5558187B2 publication Critical patent/JP5558187B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

本発明の実施形態は、情報の編集を支援する電子機器及び当該機器で実行される画像処理プログラムに関する。   Embodiments described herein relate generally to an electronic device that supports editing of information and an image processing program executed by the device.

近年、デジタルフォトフレーム等と称される画像再生装置が普及し始めている。デジタルフォトフレームは、例えば、カード型記憶メディアに格納される複数枚の静止画像を所定時間間隔で順次表示する機能を有している。例えばパーソナルコンピュータやデジタルカメラ等においても、デジタルフォトフレームと同様に、複数枚の静止画像を所定時間間隔で順次表示する機能を有するものが一般的である。   In recent years, an image reproducing device called a digital photo frame or the like has begun to spread. For example, the digital photo frame has a function of sequentially displaying a plurality of still images stored in a card-type storage medium at predetermined time intervals. For example, personal computers, digital cameras, and the like generally have a function of sequentially displaying a plurality of still images at predetermined time intervals, like a digital photo frame.

複数の画像を、時刻情報や画像特徴量等に基づいて、関連する画像毎のグループに分類する技術が提案されている。複数の画像は、例えばイベント毎に複数のグループに分類される。   A technique for classifying a plurality of images into groups for each related image based on time information, image feature amounts, and the like has been proposed. The plurality of images are classified into a plurality of groups for each event, for example.

特開２００９−２６５８７４号公報JP 2009-265874 A

デジタルフォトフレームのような画像再生装置は、グループに属する画像を順次表示することにより、例えば、イベント毎の写真をユーザに提示することができる。しかし、この方法では、入力される全ての画像に対する解析が完了した後に、それら画像の表示が開始されるので、入力された画像をユーザが観賞できるまでに長い時間を要する可能性がある。換言すると、画像間の関連等を考慮して画像を提示する際には、予め画像に対する解析を行う必要があるため、ユーザは解析が完了するまで画像を観賞することができない可能性がある。   An image reproducing device such as a digital photo frame can present a photograph of each event to the user, for example, by sequentially displaying images belonging to the group. However, in this method, since the display of the images is started after the analysis for all the input images is completed, it may take a long time for the user to view the input images. In other words, when an image is presented in consideration of the relationship between images, etc., it is necessary to analyze the image in advance, so that the user may not be able to view the image until the analysis is completed.

本発明の実施形態は上述の事情を考慮してなされたものであり、写真等の素材が入力されてから、解析された当該素材を用いた動画像が生成されるまでの時間を短縮できる電子機器及び画像処理プログラムを提供することを目的とする。   The embodiment of the present invention has been made in consideration of the above-described circumstances, and is an electronic device that can shorten the time from input of a material such as a photograph to generation of a moving image using the analyzed material. An object is to provide a device and an image processing program.

上述の課題を解決するため、本発明の一実施形態による電子機器は、複数の素材が素材情報に基づいて分類された複数のグループを示すグループ情報を生成するグループ化手段と、前記グループ化手段による処理に対応する処理量よりも処理量が多く、前記複数のグループの各々に属する素材に対応する分析情報を生成する分析情報生成手段と、前記分析情報が生成される前の期間において、前記素材情報と前記グループ情報とに基づいて、前記複数の素材の内の第１の条件を満たす第１の素材を含む動画像を生成し、前記分析情報が生成された後の期間において、前記素材情報と前記グループ情報と前記分析情報とに基づいて、前記複数の素材の内の第２の条件を満たす第２の素材を含む動画像を生成する動画像生成手段とを具備する。 To solve the problems described above, the electronic device according to an embodiment of the present invention includes: a grouping means for generating group information indicating a plurality of groups multiple material is classified on the basis of material information, the grouping In the period before the analysis information is generated , the analysis information generating means for generating analysis information corresponding to the material belonging to each of the plurality of groups, the processing amount is larger than the processing amount corresponding to the processing by the means , wherein based on the group information and the material information, to generate a moving image including a first condition is satisfied first material of said plurality of materials, in the period after the analysis information is generated, the based material information and the group information and the analysis information, the second condition is satisfied second material of said plurality of material; and a moving image generation means for generating including moving images.

本発明の一実施形態に係る電子機器の外観を示す斜視図。1 is a perspective view illustrating an appearance of an electronic apparatus according to an embodiment of the invention. 同実施形態の電子機器のシステム構成を示すブロック図。2 is an exemplary block diagram showing the system configuration of the electronic apparatus of the embodiment. FIG. 同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムの機能構成を示すブロック図。2 is an exemplary block diagram illustrating a functional configuration of a moving image reproduction application program executed by the electronic apparatus of the embodiment. FIG. 同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムが用いる素材情報の例を示す図。6 is an exemplary view showing an example of material information used by a moving image reproduction application program executed by the electronic apparatus of the embodiment. 同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムが用いるグループ情報の例を示す図。6 is an exemplary view showing an example of group information used by a moving image reproduction application program executed by the electronic apparatus of the embodiment. FIG. 同実施形態の電子機器によって実行される動画像再生アプリケーションプログラムが用いるオブジェクト情報の例を示す図。4 is an exemplary view showing an example of object information used by a moving image reproduction application program executed by the electronic apparatus of the embodiment. FIG. 同実施形態の電子機器によって実行される素材分析処理の手順の例を示すフローチャート。6 is an exemplary flowchart illustrating an example of a material analysis process performed by the electronic apparatus of the embodiment. 同実施形態の電子機器によって実行される合成動画生成処理の手順の例を示すフローチャート。6 is an exemplary flowchart illustrating an example of a procedure of a synthetic moving image generation process which is executed by the electronic apparatus of the embodiment. 同実施形態の電子機器によって実行される素材分析処理の手順の別の例を示すフローチャート。6 is an exemplary flowchart illustrating another example of a material analysis process performed by the electronic apparatus of the embodiment.

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ１０として実現されている。図１に示すように、本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＬＣＤ（liquid crystal display）１７が組み込まれている。ディスプレイユニット１２は、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在にコンピュータ本体１１に取り付けられている。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a perspective view showing an external appearance of an electronic apparatus according to an embodiment of the present invention. This electronic apparatus is realized as a notebook type personal computer 10, for example. As shown in FIG. 1, the computer 10 includes a computer main body 11 and a display unit 12. The display unit 12 includes an LCD (liquid crystal display) 17. The display unit 12 is attached to the computer main body 11 so as to be rotatable between an open position where the upper surface of the computer main body 11 is exposed and a closed position covering the upper surface of the computer main body 11.

コンピュータ本体１１は、薄い箱形の筐体を有しており、その上面には、キーボード１３、本コンピュータ１０を電源オン／電源オフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、スピーカ１８Ａ，１８Ｂなどが配置されている。入力操作パネル１５上には、各種操作ボタンが設けられている。   The computer main body 11 has a thin box-shaped casing. On the upper surface of the computer main body 11, a keyboard 13, a power button 14 for powering on / off the computer 10, an input operation panel 15, a touch pad 16, Speakers 18A, 18B, etc. are arranged. Various operation buttons are provided on the input operation panel 15.

また、コンピュータ本体１１の右側面には、例えばＵＳＢ（universal serial bus）２．０規格のＵＳＢケーブルやＵＳＢデバイスを接続するためのＵＳＢコネクタ１９が設けられている。   Further, on the right side surface of the computer main body 11, for example, a USB connector 19 for connecting a USB (universal serial bus) 2.0 standard USB cable or a USB device is provided.

図２は、本コンピュータ１０のシステム構成を示す図である。
本コンピュータ１０は、図２に示されているように、ＣＰＵ（central processing unit）１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、ＧＰＵ（Graphics Processing Unit）１０５、ＶＲＡＭ（ビデオＲＡＭ:random access memory）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ（basic input/output system-read only memory）１０７、ＬＡＮ（local area network）コントローラ１０８、ハードディスクドライブ（ＨＤＤ）１０９、光ディスクドライブ（ＯＤＤ）１１０、ＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１３、ＥＥＰＲＯＭ（electrically erasable programmable ROM）１１４等を備える。 FIG. 2 is a diagram showing a system configuration of the computer 10.
As shown in FIG. 2, the computer 10 includes a CPU (central processing unit) 101, a north bridge 102, a main memory 103, a south bridge 104, a GPU (Graphics Processing Unit) 105, a VRAM (video RAM: random access). memory) 105A, sound controller 106, BIOS-ROM (basic input / output system-read only memory) 107, LAN (local area network) controller 108, hard disk drive (HDD) 109, optical disk drive (ODD) 110, USB controller 111A , A card controller 111B, a wireless LAN controller 112, an embedded controller / keyboard controller (EC / KBC) 113, an EEPROM (electrically erasable programmable ROM) 114, and the like.

ＣＰＵ１０１は、本コンピュータ１０内の各部の動作を制御するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、及び動画像再生アプリケーションプログラム２０２のような各種アプリケーションプログラムを実行する。動画像再生アプリケーションプログラム２０２は、例えばＨＤＤ１０９等に格納された各種デジタルコンテンツを再生するソフトウェアである。この動画像再生アプリケーションプログラム２０２は、動画像生成機能を有している。この動画像生成機能は、例えば、ＨＤＤ１０９等に格納された写真等の素材（デジタルコンテンツ）を用いて、合成動画（動画像）を作成する機能である。さらに、この動画像生成機能は、動画像に用いる素材を複数のグループに分類し、素材を分析する機能を含む。動画像再生アプリケーションプログラム２０２は、素材を用いて作成された動画像を再生し、画面（ＬＣＤ１７）に表示する。   The CPU 101 is a processor that controls the operation of each unit in the computer 10. The CPU 101 executes various application programs such as an operating system (OS) 201 and a moving image reproduction application program 202 that are loaded from the HDD 109 to the main memory 103. The moving image reproduction application program 202 is software for reproducing various digital contents stored in the HDD 109 or the like, for example. The moving image reproduction application program 202 has a moving image generation function. This moving image generation function is a function for creating a composite moving image (moving image) using a material (digital content) such as a photograph stored in the HDD 109 or the like, for example. Further, the moving image generation function includes a function of classifying materials used for moving images into a plurality of groups and analyzing the materials. The moving image reproduction application program 202 reproduces a moving image created using the material and displays it on the screen (LCD 17).

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。   The CPU 101 also executes the BIOS stored in the BIOS-ROM 107. The BIOS is a program for hardware control.

ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、例えば、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。   The north bridge 102 is a bridge device that connects the local bus of the CPU 101 and the south bridge 104. The north bridge 102 also includes a memory controller that controls access to the main memory 103. The north bridge 102 also has a function of executing communication with the GPU 105 via, for example, a PCI EXPRESS serial bus.

ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。   The GPU 105 is a display controller that controls the LCD 17 used as a display monitor of the computer 10. A display signal generated by the GPU 105 is sent to the LCD 17.

サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイス及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９及びＯＤＤ１１０を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。   The south bridge 104 controls each device on a peripheral component interconnect (PCI) bus and each device on a low pin count (LPC) bus. Further, the south bridge 104 includes an IDE (Integrated Drive Electronics) controller for controlling the HDD 109 and the ODD 110. Further, the south bridge 104 has a function of executing communication with the sound controller 106.

サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂに出力する。ＬＡＮコントローラ１０８は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線ＬＡＮコントローラ１１２は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。ＵＳＢコントローラ１１１Ａは、（ＵＳＢコネクタ１９を介して接続される）例えばUSB 2.0規格に対応した外部機器との通信を実行する。例えば、ＵＳＢコントローラ１１１Ａは、例えば、デジタルカメラに格納されている画像データファイルを受信するために使用される。カードコントローラ１１１Ｂは、コンピュータ本体１１に設けられたカードスロットに挿入される、ＳＤカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。   The sound controller 106 is a sound source device and outputs audio data to be reproduced to the speakers 18A and 18B. The LAN controller 108 is a wired communication device that executes IEEE 802.3 standard wired communication, for example, while the wireless LAN controller 112 is a wireless communication device that executes IEEE 802.11g standard wireless communication, for example. The USB controller 111A executes communication with an external device (connected via the USB connector 19) that supports, for example, the USB 2.0 standard. For example, the USB controller 111A is used for receiving an image data file stored in a digital camera, for example. The card controller 111B executes data writing and reading with respect to a memory card such as an SD card inserted into a card slot provided in the computer main body 11.

ＥＣ／ＫＢＣ１１３は、電力管理のためのエンベデッドコントローラと、キーボード１３及びタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ１１３は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０を電源オン／電源オフする機能を有している。   The EC / KBC 113 is a one-chip microcomputer in which an embedded controller for power management and a keyboard controller for controlling the keyboard 13 and the touch pad 16 are integrated. The EC / KBC 113 has a function of turning on / off the computer 10 in accordance with the operation of the power button 14 by the user.

次に、図３を参照して、以上のような構成を有するコンピュータ１０上で動作する動画像再生アプリケーションプログラム２０２の一機能構成を説明する。ここでは、動画像再生アプリケーションプログラム２０２が有する機能のうち、動画像生成機能を実現するための構成例について説明する。この動画像生成機能は、インタフェース部（上述のＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ等）を介して外部デバイス（デジタルカメラ、メモリカード等）から格納された素材データ５１だけでなく、ＨＤＤ１０９内の所定のディレクトリに格納された素材データ５１やネットワークを介して格納された素材データ５１等に対しても適用することができる。なお、この素材データ５１は、例えば、静止画像データ３０１Ａ、音声データ３０１Ｂ、動画像データ３０１Ｃ等である。   Next, with reference to FIG. 3, a functional configuration of the moving image reproduction application program 202 operating on the computer 10 having the above configuration will be described. Here, a configuration example for realizing a moving image generation function among the functions of the moving image reproduction application program 202 will be described. This moving image generation function is not limited to the material data 51 stored from an external device (digital camera, memory card, etc.) via the interface unit (the above-mentioned USB controller 111A, card controller 111B, etc.), The present invention can also be applied to material data 51 stored in a directory, material data 51 stored via a network, and the like. The material data 51 is, for example, still image data 301A, audio data 301B, moving image data 301C, and the like.

動画像再生アプリケーションプログラム２０２は、素材入力部２１０、素材分析部２１１及び動画再生部２２０を備える。   The moving image playback application program 202 includes a material input unit 210, a material analysis unit 211, and a moving image playback unit 220.

素材入力部２１０は、ＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ等のインタフェース部を介して、素材データ５１が入力されたことに応答して、素材データ５１をＨＤＤ１０９内の素材データベース３０１に格納する。素材データベース３０１は、生成される動画像に用いられる素材データ５１を格納するためのデータベースである。具体的には、素材データベース３０１には、素材データ５１である、静止画像データ３０１Ａ、音声データ３０１Ｂ、動画像データ３０１Ｃ等が格納される。素材データベース３０１に格納された素材データ５１は、合成動画の素材候補として用いられる。また、素材入力部２１０は、素材データ５１がＨＤＤ１０９に格納されたことを素材分析部２１１及び動画再生部２２０に通知する。   The material input unit 210 stores the material data 51 in the material database 301 in the HDD 109 in response to the input of the material data 51 via the interface unit such as the USB controller 111A and the card controller 111B. The material database 301 is a database for storing material data 51 used for generated moving images. Specifically, the material database 301 stores material data 51, such as still image data 301A, audio data 301B, and moving image data 301C. The material data 51 stored in the material database 301 is used as a material candidate for a composite moving image. In addition, the material input unit 210 notifies the material analysis unit 211 and the moving image playback unit 220 that the material data 51 has been stored in the HDD 109.

素材分析部２１１と動画再生部２２０とは並列して処理を行う。具体的には、素材分析部２１１は、素材入力部２１０からの通知に応答して、素材データ５１をグループ化し、グループ毎に分析する処理を開始する。素材分析部２１１は、素材データ５１に付加された素材情報３０２Ａ、グループ化により生成されたグループ情報３０２Ｂ、及びグループ毎の分析により生成された分析情報３０２Ｃを、ＨＤＤ１０９内の素材情報データベース３０２に格納する。一方、動画再生部２２０は、素材入力部２１０からの通知に応答して、素材データ５１を用いて合成動画（動画像）を生成し、生成された合成動画を再生（表示）する処理を開始する。その際、動画再生部２２０は、素材情報データベース３０２を参照することにより、所定の条件を満たす素材データ５１を素材データベース３０１から抽出し、合成動画を生成する。   The material analysis unit 211 and the moving image playback unit 220 perform processing in parallel. Specifically, in response to the notification from the material input unit 210, the material analysis unit 211 groups the material data 51 and starts a process of analyzing each group. The material analysis unit 211 stores the material information 302A added to the material data 51, the group information 302B generated by grouping, and the analysis information 302C generated by analysis for each group in the material information database 302 in the HDD 109. To do. On the other hand, in response to the notification from the material input unit 210, the video playback unit 220 generates a composite video (moving image) using the material data 51, and starts a process of playing back (displaying) the generated composite video. To do. At that time, the moving image reproducing unit 220 refers to the material information database 302 to extract the material data 51 satisfying a predetermined condition from the material database 301 and generate a synthesized moving image.

素材分析部２１１は、素材データ５１のグループ化が完了したとき、素材情報３０２Ａとグループ情報３０２Ｂとを、素材情報データベース３０２に格納する。そして、素材分析部２１１は、グループ毎に素材データ５１を分析する処理により生成された分析情報３０２Ｃを順次、素材情報データベース３０２に追加する。そのため、素材分析部２１１によるグループ化、及びグループ毎の分析が進行することに伴って、動画再生部２２０が、合成動画に用いる素材データ５１を抽出する際に参照できる、素材情報データベース３０２内の情報が増加する。   When the grouping of the material data 51 is completed, the material analysis unit 211 stores the material information 302A and the group information 302B in the material information database 302. Then, the material analysis unit 211 sequentially adds the analysis information 302C generated by the process of analyzing the material data 51 for each group to the material information database 302. Therefore, as the grouping by the material analysis unit 211 and the analysis for each group proceed, the moving image reproduction unit 220 can refer to the material information database 302 in the material information database 302 that can be referred to when extracting the material data 51 used for the combined moving image. Information increases.

具体的には、素材分析部２１１によって、分析対象の一つのグループに属する素材データ５１が分析されている期間内、及び分析される前の期間内（分析情報３０２Ｃが生成される前の期間）では、動画再生部２２０は、当該グループに属する素材データ５１に対応する素材情報３０２Ａとグループ情報３０２Ｂとを用いて、合成動画を生成する。したがって、動画再生部２２０は、素材データ５１が素材データベース３０１に格納されるとすぐに（素材分析部２１１による素材情報３０２Ａ及びグループ情報３０２Ｂの格納に応答して）、素材データ５１を用いた合成動画を再生することができる。   Specifically, within the period in which the material data 51 belonging to one group to be analyzed is analyzed by the material analysis unit 211, and before the analysis (period before the analysis information 302C is generated). Then, the moving image reproducing unit 220 generates a combined moving image using the material information 302A and the group information 302B corresponding to the material data 51 belonging to the group. Therefore, as soon as the material data 51 is stored in the material database 301 (in response to the storage of the material information 302A and the group information 302B by the material analysis unit 211), the moving image reproducing unit 220 combines the material data 51. Can play videos.

また、素材分析部２１１によって、分析対象のグループに属する素材データ５１の分析が完了した後（分析情報３０２Ｃが生成された後の期間）では、動画再生部２２０は、当該グループに属する素材データ５１に対応する素材情報３０２Ａとグループ情報３０２Ｂに加えて、分析情報３０２Ｃも用いて合成動画を生成する。分析情報３０２Ｃが追加されることにより、動画再生部２２０は、登場する人物やイベント、場所等が考慮された、ユーザによる視聴により適した合成動画を再生することができる。以下では、素材分析部２１１と動画再生部２２０による処理についてそれぞれ説明する。   In addition, after the material analysis unit 211 completes the analysis of the material data 51 belonging to the analysis target group (period after the generation of the analysis information 302C), the video reproduction unit 220 includes the material data 51 belonging to the group. In addition to the material information 302A and the group information 302B corresponding to, the analysis information 302C is also used to generate a composite moving image. By adding the analysis information 302C, the moving image reproducing unit 220 can reproduce a synthesized moving image that is more suitable for viewing by the user in consideration of the appearing person, event, place, and the like. Hereinafter, processing by the material analysis unit 211 and the moving image reproduction unit 220 will be described.

素材分析部２１１は、素材５１を分析し、素材５１に対応する素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを生成する。素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃは、素材データベース３０１（ＨＤＤ１０９）に格納された素材データ５１の中から目的の素材を探し出すために用いられる。素材分析部２１１は、素材情報生成部２１２、グループ情報生成部２１３及び分析情報生成部２１４を備える。   The material analysis unit 211 analyzes the material 51 and generates material information 302A, group information 302B, and analysis information 302C corresponding to the material 51. The material information 302A, group information 302B, and analysis information 302C are used to search for a target material from the material data 51 stored in the material database 301 (HDD 109). The material analysis unit 211 includes a material information generation unit 212, a group information generation unit 213, and an analysis information generation unit 214.

素材情報生成部２１２は、各素材５１に付加された素材情報３０２Ａを素材情報データベース３０２に格納する。また、素材情報生成部２１２は、生成した素材情報３０２Ａをグループ情報生成部２１３に出力する。図４は、素材情報３０２Ａの一構成例を示す。素材情報３０２Ａは、例えば、素材ＩＤ、ファイルパス、ファイルサイズ、ファイル形式、生成日時、生成地点、種類、画像サイズ、再生時間、入力経路を示す情報を含む。「素材ＩＤ」は、素材５１に一意に割り当てられる識別情報である。「ファイルパス」は、素材５１が格納される場所を示す。「ファイルサイズ」は、素材５１のデータサイズを示す。「ファイル形式」は、素材５１のファイルのタイプ（例えば、ｍｐｅｇ，ｊｐｅｇ，ｍｐ３等）を示す。「生成日時」は、素材５１が生成された日時を表す時刻情報を示す。「生成地点」は、素材５１が生成された場所を表す位置情報を示す。「種類」は、素材５１の種類（例えば、静止画像、音声、動画像等）を示す。「画像サイズ」は、素材５１が静止画像３０１Ａ又は動画像３０１Ｃであるときに、その画像サイズを示す。「再生時間」は、素材５１が音声３０１Ｂ又は動画像３０１Ｃであるときに、その再生時間を示す。「入力経路」は、素材５１がコンピュータ１０に入力された経路（例えば、外部記憶メディア、外部記憶装置、ネットワーク上のサーバ等）を示す。   The material information generation unit 212 stores the material information 302 A added to each material 51 in the material information database 302. Further, the material information generation unit 212 outputs the generated material information 302A to the group information generation unit 213. FIG. 4 shows a configuration example of the material information 302A. The material information 302A includes, for example, information indicating a material ID, a file path, a file size, a file format, a generation date / time, a generation point, a type, an image size, a reproduction time, and an input path. “Material ID” is identification information uniquely assigned to the material 51. “File path” indicates a location where the material 51 is stored. “File size” indicates the data size of the material 51. “File format” indicates the file type (for example, mpeg, jpeg, mp3, etc.) of the material 51. “Generation date / time” indicates time information indicating the date / time when the material 51 was generated. “Generation point” indicates position information indicating a place where the material 51 is generated. “Type” indicates the type of material 51 (for example, still image, sound, moving image, etc.). “Image size” indicates the image size when the material 51 is a still image 301A or a moving image 301C. “Reproduction time” indicates the reproduction time when the material 51 is the sound 301B or the moving image 301C. “Input path” indicates a path (for example, an external storage medium, an external storage device, a server on a network, etc.) through which the material 51 is input to the computer 10.

図３に戻り、グループ情報生成部２１３は、素材入力部２１０を介して入力された複数の素材５１を、各素材５１に対応する素材情報３０２Ａに基づいて複数のグループに分類する。グループ情報生成部２１３は、入力された複数の素材を、例えば生成日時（時刻情報）に基づいて複数のグループに分類する。具体的には、グループ情報生成部２１３は、例えば、生成日時が時間的に連続する２つの素材データ５１において、その生成日時の差がしきい値より小さいときに、これら２つの素材データ５１を同一のグループに分類する。また、グループ情報生成部２１３は、例えば、生成日時の差がしきい値以上であるときに、これら２つの素材データ５１を別のグループに分類する。グループ情報生成部２１３は、各素材５１が分類されたグループを示すグループ情報３０２Ｂを生成し、素材情報データベース３０２に格納する。グループ情報生成部２１３は、生成したグループ情報３０２Ｂを分析情報生成部２１４に出力する。   Returning to FIG. 3, the group information generation unit 213 classifies the plurality of materials 51 input via the material input unit 210 into a plurality of groups based on the material information 302 </ b> A corresponding to each material 51. The group information generation unit 213 classifies the plurality of input materials into a plurality of groups based on, for example, generation date / time (time information). Specifically, for example, in the case of two material data 51 whose generation dates and times are continuous in time, the group information generation unit 213 selects the two material data 51 when the difference between the generation dates and times is smaller than a threshold value. Classify into the same group. The group information generation unit 213 classifies the two material data 51 into different groups when, for example, the difference in generation date and time is equal to or greater than a threshold value. The group information generation unit 213 generates group information 302B indicating a group into which each material 51 is classified, and stores the group information 302B in the material information database 302. The group information generation unit 213 outputs the generated group information 302B to the analysis information generation unit 214.

図５は、グループ情報３０２Ｂの一構成例を示す。グループ情報３０２Ｂは、素材ＩＤ及びグループＩＤを含む。素材ＩＤは、上述のように、素材５１に一意に割り当てられる識別情報である。グループＩＤは、グループに一意に割り当てられる識別情報である。   FIG. 5 shows a configuration example of the group information 302B. The group information 302B includes a material ID and a group ID. The material ID is identification information uniquely assigned to the material 51 as described above. The group ID is identification information uniquely assigned to the group.

なお、素材５１が生成日時に基づいてグループに分類される際には、一つのグループに属する素材５１が一つのイベント中に生成された素材５１であることが想定される。例えば、「入学式」や「運動会」、「結婚式」等のイベントに対応する期間内に撮影された写真が、一つのグループに分類されることが想定される。その際には、グループ情報３０２Ｂにイベント名を示す情報を加えてもよい。すなわち、グループ情報生成部２１３は、例えば、イベント名に「入学式」が設定されたグループ情報３０２Ｂを生成する。このイベント名は、例えば、スケジュール管理ソフトウェア等により、ユーザのカレンダーに記載されたイベント情報を用いて設定される。   When the material 51 is classified into groups based on the generation date and time, it is assumed that the material 51 belonging to one group is the material 51 generated during one event. For example, it is assumed that photographs taken during a period corresponding to an event such as “entrance ceremony”, “athletic meet”, and “wedding” are classified into one group. In that case, information indicating an event name may be added to the group information 302B. That is, the group information generation unit 213 generates group information 302B in which “entrance ceremony” is set as the event name, for example. This event name is set by using, for example, event information described in the user's calendar by schedule management software or the like.

図３に戻り、分析情報生成部２１４は、素材データ５１が分類された複数のグループの各々について、当該グループに属する素材データ５１を分析する。すなわち、分析情報生成部２１４は、グループ毎に当該グループに属する素材データ５１を分析する。なお、以下では、分析対象の素材データ５１が静止画像データ３０１Ａである場合を想定する。   Returning to FIG. 3, the analysis information generation unit 214 analyzes the material data 51 belonging to the group for each of the plurality of groups into which the material data 51 is classified. That is, the analysis information generation unit 214 analyzes the material data 51 belonging to the group for each group. In the following, it is assumed that the material data 51 to be analyzed is still image data 301A.

分析情報生成部２１４は、例えば、静止画像データ３０１Ａから顔画像を検出する顔検出処理を実行する。顔画像は、例えば、静止画像データ３０１Ａの特徴を解析し、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって検出することができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。顔検出処理により、静止画像３０１Ａ内に含まれる各顔画像の位置（座標）、サイズ、正面度等が検出される。また、分類情報生成部２１４は、検出された顔画像が笑顔である度合いを示す笑顔度を算出してもよい。   For example, the analysis information generation unit 214 executes face detection processing for detecting a face image from the still image data 301A. The face image can be detected by, for example, analyzing the feature of the still image data 301A and searching for a region having a feature similar to a face image feature sample prepared in advance. The face image feature sample is feature data obtained by statistically processing the face image features of a large number of persons. By the face detection process, the position (coordinates), size, frontality, etc. of each face image included in the still image 301A are detected. Further, the classification information generation unit 214 may calculate a smile level indicating the degree of smile of the detected face image.

さらに、分類情報生成部２１４は検出された顔画像を分類してもよい。分類情報生成部２１４は、静止画像データ３０１Ａから検出された複数の顔画像を、同一の人物と推定される顔画像別のグループに分類する。また、分類情報生成部２１４は検出された顔画像に対応する人物を識別してもよい。その場合、分類情報生成部２１４は、例えば、識別する人物の顔画像特徴サンプルを用いて、検出された顔画像がその人物であるか否かを判定する。分類情報生成部２１４は、上述の結果に基づき、検出された顔画像に人物毎の顔ＩＤを付与する。分析情報生成部２１４は、以上のような分析の結果を示す分析情報３０２Ｃを生成する。   Further, the classification information generation unit 214 may classify the detected face image. The classification information generation unit 214 classifies the plurality of face images detected from the still image data 301A into groups for each face image estimated as the same person. Further, the classification information generation unit 214 may identify a person corresponding to the detected face image. In this case, the classification information generation unit 214 determines whether or not the detected face image is the person using, for example, a face image feature sample of the person to be identified. The classification information generation unit 214 assigns a face ID for each person to the detected face image based on the above result. The analysis information generation unit 214 generates analysis information 302C indicating the result of the above analysis.

図６は、分析情報３０２Ｃの一構成例を示す。分析情報３０２Ｃは、例えば、素材ＩＤと顔画像情報とを含む。素材ＩＤは、素材５１（静止画像データ３０１Ａ）に一意に割り当てられる識別情報である。顔画像情報は、上述の顔検出処理による分析結果に基づく情報を示す。したがって、顔画像情報は、例えば、顔画像、サイズ、位置、笑顔度、顔ＩＤを示す情報を含む。なお、分析情報３０２Ｃには、１つの静止画像３０１Ａから検出された顔画像に対応する数だけ、顔画像情報が格納される。   FIG. 6 shows a configuration example of the analysis information 302C. The analysis information 302C includes, for example, a material ID and face image information. The material ID is identification information uniquely assigned to the material 51 (still image data 301A). The face image information indicates information based on the analysis result of the face detection process described above. Accordingly, the face image information includes, for example, information indicating the face image, size, position, smile level, and face ID. Note that as many pieces of face image information as the number of face images detected from one still image 301A are stored in the analysis information 302C.

また、分類情報生成部２１４は、静止画像データ３０１Ａから人物（顔画像を含む全身や体の一部等）、風景（海、山、花等）、動物（犬、猫、魚等）等のオブジェクトを検出（認識）し、それら分析結果（検出結果）を示す情報を含む分析情報３０２Ｃを生成してもよい。さらに、分類情報生成部２１４は、素材情報３０２Ａや静止画像データ３０１Ａから撮影時刻、撮影位置等を推定し、それら分析結果（推定結果）を示す情報を含む分析情報３０２Ｃを生成してもよい。その場合、図６に示すように、分析情報３０２Ｃには、人物画像、サイズ、位置、及び人物ＩＤを含む人物画像情報、風景画像、サイズ、位置、及び属性を含む風景情報、動物画像、サイズ、位置、及び属性を含む動物情報、撮影時刻、並びに撮影位置が含まれる。   In addition, the classification information generation unit 214 uses the still image data 301A, such as a person (whole body including a face image, a part of the body, etc.), a landscape (sea, mountains, flowers, etc.), an animal (dog, cat, fish, etc.) The analysis information 302C including information indicating the analysis result (detection result) may be generated by detecting (recognizing) the object. Further, the classification information generation unit 214 may estimate the shooting time, the shooting position, and the like from the material information 302A and the still image data 301A, and generate analysis information 302C including information indicating the analysis results (estimation results). In this case, as shown in FIG. 6, the analysis information 302 </ b> C includes person image information including person images, sizes, positions, and person IDs, landscape information including landscape images, sizes, positions, and attributes, animal images, and sizes. , Animal information including position and attribute, shooting time, and shooting position.

なお、分析情報生成部２１４は、音声データ３０１Ｂを分析し、検出された声に対応する人物の情報等を含む分析情報３０２Ｃを生成してもよい。また、分析情報生成部２１４は、動画像データ３０１Ｃに含まれる各画像フレームを、静止画像データ３０１Ａと同様に分析し、上述の顔画像情報等を含む分析情報３０２Ｃを生成してもよい。   Note that the analysis information generation unit 214 may analyze the audio data 301B and generate analysis information 302C including information on a person corresponding to the detected voice. The analysis information generation unit 214 may analyze each image frame included in the moving image data 301C in the same manner as the still image data 301A, and generate analysis information 302C including the above-described face image information and the like.

分析情報生成部２１４は、生成された分析情報３０２Ｃを分析情報データベース３０２に格納する。なお、素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃは、各々が生成されたときに限らず、一つの素材５１に対応する情報（素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃ）が生成されたとき、一つのグループに属する全ての素材５１に対応する情報が生成されたとき等に、素材情報データベース３０２に格納されてもよい。また、分析情報生成部２１４は、一つのグループに属する全ての素材５１の分析が完了したことに応答して、動画再生部２２０（素材情報抽出部２２１）に当該グループの分析が完了した旨を通知する。   The analysis information generation unit 214 stores the generated analysis information 302C in the analysis information database 302. Note that the material information 302A, the group information 302B, and the analysis information 302C are not limited to being generated, but information corresponding to one material 51 (material information 302A, group information 302B, and analysis information 302C) is generated. When the information corresponding to all the materials 51 belonging to one group is generated, the information may be stored in the material information database 302. Further, in response to the completion of the analysis of all the materials 51 belonging to one group, the analysis information generation unit 214 informs the video playback unit 220 (the material information extraction unit 221) that the analysis of the group is completed. Notice.

動画再生部２２０は、素材情報抽出部２２１、合成動画生成部２２２、合成動画出力部２２３、及び生成通知部２２４を備える。
素材情報抽出部２２１は、素材情報データベース３０２から、格納されている素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを抽出する。また、素材情報抽出部２２１は、分析情報生成部２１４からの通知に応答して、分析が完了したグループに対応する分析情報３０２Ｃを素材情報データベース３０２から抽出する。素材抽出部２１４は、抽出した素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを合成動画生成部２２２に出力する。 The video playback unit 220 includes a material information extraction unit 221, a composite video generation unit 222, a composite video output unit 223, and a generation notification unit 224.
The material information extraction unit 221 extracts stored material information 302A, group information 302B, and analysis information 302C from the material information database 302. In addition, the material information extraction unit 221 extracts analysis information 302C corresponding to the group for which analysis has been completed from the material information database 302 in response to the notification from the analysis information generation unit 214. The material extraction unit 214 outputs the extracted material information 302A, group information 302B, and analysis information 302C to the synthesized moving image generation unit 222.

合成動画生成部２２２は、抽出された素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃに基づいて、所定の条件を満たす素材データ５１を素材データベース３０１から抽出する。より具体的には、合成動画生成部２２２は、分析情報３０２Ｃが生成される前の期間において、素材情報３０２Ａ及びグループ情報３０２Ｂに基づいて、所定の条件（第１の条件）を満たす素材データ５１を素材データベース３０１から抽出する。また、合成動画生成部２２２は、分析情報３０２Ｃが生成された後の期間において、素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃに基づいて、所定の条件（第２の条件）を満たす素材データ５１を素材データベース３０１から抽出する。上述のように、分析情報生成部２１４は、グループ毎に、当該グループに属する素材データ５１を分析する。そのため、分析が完了したグループに属する素材データ５１の分析情報３０２Ｃが、素材情報データベース３０２に格納されている際には、合成動画生成部２２２は、素材情報３０２Ａ、グループ情報３０２Ｂ、及び分析が既に完了したグループに対応する分析情報３０２Ｃに基づいて、所定の条件を満たす素材データ５１を素材データベース３０１から抽出する。また、合成動画生成部２２２は、分析情報３０２Ｃに基づいて、分析が完了したグループに属する素材５１から、所定の条件を満たす素材５１を抽出してもよい。この「所定の条件」は、例えば、日時、人物、場所（地点）等を指定する条件である。   The synthetic moving image generation unit 222 extracts material data 51 satisfying a predetermined condition from the material database 301 based on the extracted material information 302A, group information 302B, and analysis information 302C. More specifically, the composite moving image generation unit 222 performs material data 51 that satisfies a predetermined condition (first condition) based on the material information 302A and the group information 302B in a period before the analysis information 302C is generated. Are extracted from the material database 301. In addition, in the period after the analysis information 302C is generated, the composite moving image generation unit 222 generates the material data 51 that satisfies a predetermined condition (second condition) based on the material information 302A, the group information 302B, and the analysis information 302C. Are extracted from the material database 301. As described above, the analysis information generation unit 214 analyzes the material data 51 belonging to the group for each group. Therefore, when the analysis information 302C of the material data 51 belonging to the group for which analysis has been completed is stored in the material information database 302, the composite moving image generation unit 222 has already performed the material information 302A, the group information 302B, and the analysis. Based on the analysis information 302C corresponding to the completed group, material data 51 satisfying a predetermined condition is extracted from the material database 301. Further, based on the analysis information 302C, the composite moving image generation unit 222 may extract the material 51 that satisfies a predetermined condition from the materials 51 belonging to the group that has been analyzed. This “predetermined condition” is a condition for designating, for example, date and time, person, place (point), and the like.

合成動画生成部２２２は、例えば、素材情報３０２Ａに基づいて、指定された期間に生成された素材５１を抽出する。また、合成動画生成部２２２は、例えば、分析情報３０２Ｃに含まれる顔画像情報に基づいて、指定された人物の顔画像を含む素材５１を抽出する。さらに、合成動画生成部２２２は、例えば、グループ情報３０２Ｂ及び分析情報３０２Ｃに基づいて、指定されたイベントに対応するグループに属する素材５１のうち、指定された人物の顔画像を含む素材５１を抽出する。   For example, the synthetic moving image generation unit 222 extracts the material 51 generated in a specified period based on the material information 302A. Further, for example, the synthetic moving image generation unit 222 extracts the material 51 including the face image of the designated person based on the face image information included in the analysis information 302C. Further, for example, based on the group information 302B and the analysis information 302C, the synthesized moving image generation unit 222 extracts the material 51 including the face image of the specified person from the materials 51 belonging to the group corresponding to the specified event. To do.

次いで、合成動画生成部２２２は、抽出された素材５１を含む合成動画を生成する。合成動画生成部２２２は、例えば、各々が所定のタイミング（順序）で表示される複数の静止画像３０１Ａを含む合成動画を生成する。また、この合成動画は、所定のタイミングで出力される音声データ３０１Ｂを含んでもよい。合成動画生成部２２２は、生成した合成動画を合成動画出力部２２３に出力する。また、合成動画生成部２２２は、合成動画が生成されたことを生成通知部２２４に通知する。   Next, the composite video generation unit 222 generates a composite video including the extracted material 51. For example, the composite moving image generation unit 222 generates a composite moving image including a plurality of still images 301A each displayed at a predetermined timing (order). Further, the synthesized moving image may include audio data 301B output at a predetermined timing. The composite video generation unit 222 outputs the generated composite video to the composite video output unit 223. In addition, the synthetic moving image generation unit 222 notifies the generation notification unit 224 that the synthetic moving image has been generated.

合成動画出力部２２３は、合成動画生成部２２２から入力された合成動画を出力する。合成動画出力部２２３は、合成動画を再生し、画面（ＬＣＤ１７）に表示する。また、合成動画出力部２２３は、合成動画をエンコードし、エンコードした合成動画のファイルを所定の記憶装置（例えば、ＨＤＤ１０９等）に格納してもよい。   The composite video output unit 223 outputs the composite video input from the composite video generation unit 222. The synthesized moving image output unit 223 reproduces the synthesized movie and displays it on the screen (LCD 17). The synthetic video output unit 223 may encode the synthetic video and store the encoded synthetic video file in a predetermined storage device (for example, the HDD 109).

また、生成通知部２２４は、合成動画が生成されたことをユーザに通知する。具体的には、生成通知部２２４は、例えば、合成動画が生成されたことを示すメッセージを画面（ＬＣＤ１７）に表示する。また、生成通知部２２４は、例えば、合成動画を再生することを選択するボタンと合成動画をファイルに出力することを選択するボタンとを表示してもよい。その場合、合成動画出力部２２３は、選択されたボタンに応じて合成動画を再生又はファイル出力する。   In addition, the generation notification unit 224 notifies the user that a synthesized moving image has been generated. Specifically, for example, the generation notification unit 224 displays a message on the screen (LCD 17) indicating that a synthesized moving image has been generated. In addition, the generation notification unit 224 may display, for example, a button for selecting playback of the composite video and a button for selecting output of the composite video to a file. In that case, the synthetic moving image output unit 223 reproduces or outputs the synthetic moving image in accordance with the selected button.

なお、生成通知部２２４は、分析情報生成部２１４からの、グループ毎の素材５１の分析処理が完了したことを示す通知に応答して、グループ毎の素材５１の分析処理が完了したことを示すメッセージを表示してもよい。その場合、ユーザは、分析処理によって生成された分析情報３０２Ｃを用いて、合成動画に用いる素材データ５１を選択してもよい。例えば、ユーザは、分析情報３０２Ｃに含まれる顔画像情報を用いて作成された顔画像のリストから、合成動画に用いたい人物を選択する。合成動画生成部２２２は、選択された人物の顔画像を含む素材５１を抽出し、この素材５１を含む合成動画を生成する。   The generation notification unit 224 indicates that the analysis processing of the material 51 for each group has been completed in response to the notification from the analysis information generation unit 214 indicating that the analysis processing of the material 51 for each group has been completed. A message may be displayed. In that case, the user may select the material data 51 to be used for the synthesized moving image by using the analysis information 302C generated by the analysis process. For example, the user selects a person to be used for the synthesized moving image from the list of face images created using the face image information included in the analysis information 302C. The composite video generation unit 222 extracts the material 51 including the face image of the selected person, and generates a composite video including the material 51.

上述のように、素材分析部２１１は、素材５１に予め付加された情報を含む素材情報３０２Ａ、素材５１を分類したグループの情報を示すグループ情報３０２Ｂ、及び素材５１を分析した結果を示す分析情報３０２Ｃを生成する。なお、分析情報３０２Ｃを生成する処理は、グループ情報３０２Ｂを生成する処理よりも、処理量が多いことがある。例えば、静止画像３０１Ａ（素材５１）内に含まれる顔画像を検出した結果を示す、分析情報３０２Ｃを生成する処理は、素材５１に付加された素材情報３０２Ａ（例えば、時刻情報）に基づいて決定されるグループを示すグループ情報３０２Ｂを生成する処理よりも、一般に処理負荷（処理量）が大きい。換言すると、分析情報３０２Ｃを生成する処理に要する時間は、グループ情報３０２Ｂを生成する処理に要する時間よりも長い可能性が高い。そのため、例えば、多数の素材５１が入力され、全ての素材５１に対する分析が完了した後に、それら素材５１を用いた合成動画を再生する際には、入力された素材５１をユーザが観賞（視聴）できるまでに長い時間を要する可能性がある。   As described above, the material analysis unit 211 includes the material information 302A including information previously added to the material 51, the group information 302B indicating information on the group into which the material 51 is classified, and the analysis information indicating the result of analyzing the material 51. 302C is generated. Note that the processing for generating the analysis information 302C may have a larger processing amount than the processing for generating the group information 302B. For example, the process of generating the analysis information 302C indicating the result of detecting the face image included in the still image 301A (material 51) is determined based on the material information 302A (for example, time information) added to the material 51. Generally, the processing load (processing amount) is larger than the processing for generating the group information 302B indicating the group to be processed. In other words, the time required for the process for generating the analysis information 302C is likely to be longer than the time required for the process for generating the group information 302B. Therefore, for example, after a large number of materials 51 are input and analysis for all the materials 51 is completed, when a composite video using the materials 51 is reproduced, the user views (views) the input materials 51. It may take a long time to do it.

また、素材５１を用いた合成動画の生成では、入力された全ての素材５１を一度に分析する必要がないことも想定される。例えば、一つのイベント（入学式、結婚式等）に対応する合成動画が生成される際には、当該イベントに対応するグループに属する素材５１が分析されていればよい。つまり、分析情報３０２Ｃを生成する処理（分析処理）がグループ毎に完了した時点で、当該グループに属する素材５１の分析情報３０２Ｃに基づく、合成動画が生成され得る。   In addition, in the generation of a composite video using the material 51, it is assumed that it is not necessary to analyze all the input materials 51 at a time. For example, when a synthetic video corresponding to one event (entrance ceremony, wedding, etc.) is generated, the material 51 belonging to the group corresponding to the event only needs to be analyzed. That is, when the process of generating the analysis information 302C (analysis process) is completed for each group, a synthesized moving image based on the analysis information 302C of the material 51 belonging to the group can be generated.

したがって本実施形態では、処理負荷が小さい素材情報３０２Ａ及びグループ情報３０２Ｂを生成する処理が完了した後、生成されたグループ情報３０２Ｂに基づいて、グループ毎に、当該グループに属する素材５１の分析情報３０２Ｃを生成する。そして、動画再生部２２０は、グループ毎に、当該グループに属する全ての素材５１の分析情報３０２Ｃが生成されたことに応答して、生成された分析情報３０２Ｃを用いて、所定の条件を満たす素材５１を抽出する。また、グループが「入学式」等のイベントに対応する際には、動画再生部２２０は、グループ毎に、当該グループに属する全ての素材５１の分析情報３０２Ｃが生成されたことに応答して、グループに属する素材５１を用いた合成動画を生成する。つまり、動画再生部２２０は、グループ毎に素材５１の分析処理が完了した時点で、当該グループに属する素材５１を用いた合成動画を生成することができる。したがって、動画再生部２２０は、素材５１が入力されてから、当該素材５１を用いた動画像が生成されるまでの時間を短縮することができる。   Therefore, in the present embodiment, after the process of generating the material information 302A and the group information 302B with a low processing load is completed, the analysis information 302C of the material 51 belonging to the group for each group based on the generated group information 302B. Is generated. Then, in response to the generation of the analysis information 302C of all the materials 51 belonging to the group, the video reproduction unit 220 uses the generated analysis information 302C to generate a material that satisfies a predetermined condition. 51 is extracted. In addition, when the group corresponds to an event such as “entrance ceremony”, the video playback unit 220 responds to the generation of the analysis information 302C of all the materials 51 belonging to the group for each group. A synthesized moving image using the material 51 belonging to the group is generated. That is, the moving image reproducing unit 220 can generate a composite moving image using the material 51 belonging to the group when the analysis processing of the material 51 is completed for each group. Therefore, the moving image reproducing unit 220 can shorten the time from when the material 51 is input until the moving image using the material 51 is generated.

次いで、図７のフローチャートを参照して、動画像再生アプリケーション２０２によって実行される素材分析処理の手順を説明する。   Next, the procedure of the material analysis process executed by the moving image playback application 202 will be described with reference to the flowchart of FIG.

まず、素材入力部２１０は、インタフェース部等を介して素材データ５１が入力されたか否かを判定する（Ｂ１０１）。素材データ５１が入力された場合（Ｂ１０１のＹＥＳ）、素材入力部２１０は、入力された素材データ５１を素材データベース３０１に格納する（Ｂ１０２）。素材情報生成部２１２は、素材データ５１に付加された時刻情報等の情報（メタデータ）を含む素材情報３０２Ａを、素材情報データベース３０２に格納する。素材データ５１が入力されていない場合（Ｂ１０１のＮＯ）、素材入力部２１０は、再度Ｂ１０１の処理を行う。   First, the material input unit 210 determines whether or not the material data 51 has been input via the interface unit or the like (B101). When the material data 51 is input (YES in B101), the material input unit 210 stores the input material data 51 in the material database 301 (B102). The material information generation unit 212 stores material information 302 </ b> A including information (metadata) such as time information added to the material data 51 in the material information database 302. When the material data 51 is not input (NO in B101), the material input unit 210 performs the process of B101 again.

次いで、グループ情報生成部２１３は、入力された素材５１をグループ化する（Ｂ１０３）。グループ情報生成部２１３は、例えば、素材情報３０２Ａに含まれる、素材５１の生成日時に基づいて、複数の素材５１を複数のグループに分類する。具体的には、グループ情報生成部２１３は、例えば、生成日時が時間的に連続する２つの素材データ５１において、その生成日時の差がしきい値未満である場合に、これら２つの素材データ５１を同一のグループに分類し、生成日時の差がしきい値以上である場合に、これら２つの素材データ５１を別のグループに分類する。上述のように、生成日時の差がしきい値未満である素材データ５１が同一のグループに分類されることにより、例えば、「入学式」や「結婚式」で撮影された写真のような、イベントで生成された複数の素材５１が、イベント毎に同一のグループに分類される。グループ情報生成部２１３は、複数の素材５１が分類されたグループを示すグループ情報３０２Ｂを生成する。   Next, the group information generation unit 213 groups the input materials 51 (B103). For example, the group information generation unit 213 classifies the plurality of materials 51 into a plurality of groups based on the generation date and time of the materials 51 included in the material information 302A. Specifically, the group information generation unit 213, for example, in the case of two material data 51 whose generation dates and times are continuous in time, when the difference between the generation dates and times is less than a threshold value, these two material data 51 Are classified into the same group, and when the difference in generation date and time is equal to or greater than the threshold value, the two material data 51 are classified into different groups. As described above, the material data 51 in which the difference in generation date and time is less than the threshold is classified into the same group, so that, for example, a photograph taken at an “entrance ceremony” or “wedding”, A plurality of materials 51 generated by an event are classified into the same group for each event. The group information generation unit 213 generates group information 302B indicating a group into which a plurality of materials 51 are classified.

そして、素材情報生成部２１２は素材情報３０２Ａを素材情報データベース３０２に格納し、グループ情報生成部２１３はグループ情報３０２Ｂを素材情報データベース３０２に格納する（Ｂ１０４）。   The material information generation unit 212 stores the material information 302A in the material information database 302, and the group information generation unit 213 stores the group information 302B in the material information database 302 (B104).

次いで、分析情報生成部２１４は、一つのグループ（分析対象のグループ）に属する全ての素材５１を分析し、その分析結果を示す分析情報３０２Ｃを生成する（Ｂ１０５）。具体的には、分析情報生成部２１４は、素材５１に含まれるオブジェクト（例えば、顔画像）を分析する処理（例えば、検出処理や認識処理）を行い、顔画像情報、人物情報、風景情報、動物情報、撮影時刻情報、撮影位置情報等を含む分析情報３０２Ｃを生成する。   Next, the analysis information generation unit 214 analyzes all the materials 51 belonging to one group (analysis target group), and generates analysis information 302C indicating the analysis result (B105). Specifically, the analysis information generation unit 214 performs a process (for example, a detection process or a recognition process) for analyzing an object (for example, a face image) included in the material 51, and performs face image information, person information, landscape information, Analysis information 302C including animal information, shooting time information, shooting position information, and the like is generated.

分析情報生成部２１４は、生成された分析情報３０２Ｃを素材情報データベース３０２に格納する（Ｂ１０６）。そして、分析情報生成部２１４は、分析対象のグループに属する全ての素材５１の分析が完了したことを素材情報抽出部２２１に通知する（Ｂ１０７）。素材情報抽出部２２１は、この通知に応答して、素材情報データベース３０２から、分析対象のグループの分析情報３０２Ｃを読み出す。素材情報抽出部２２１による処理の詳細は、図８を参照して後述する。   The analysis information generation unit 214 stores the generated analysis information 302C in the material information database 302 (B106). Then, the analysis information generation unit 214 notifies the material information extraction unit 221 that the analysis of all the materials 51 belonging to the analysis target group has been completed (B107). In response to this notification, the material information extraction unit 221 reads the analysis information 302C of the analysis target group from the material information database 302. Details of the processing by the material information extraction unit 221 will be described later with reference to FIG.

そして、分析情報生成部２１４は、Ｂ１０１で入力された素材５１が分類された全てのグループについて、分析が完了したか否かを判定する（Ｂ１０８）。分析が完了していない場合（Ｂ１０８のＮＯ）、分析情報生成部２１４は、分析が完了していないグループを新たな分析対象のグループに設定し（Ｂ１０９）、Ｂ１０５以降の処理を実行する。分析が完了している場合（Ｂ１０８のＹＥＳ）、分析情報生成部２１４は素材分析処理を終了する。   Then, the analysis information generation unit 214 determines whether or not the analysis has been completed for all the groups into which the material 51 input in B101 is classified (B108). When the analysis has not been completed (NO in B108), the analysis information generation unit 214 sets a group for which analysis has not been completed as a new analysis target group (B109), and executes the processes after B105. If the analysis has been completed (YES in B108), the analysis information generation unit 214 ends the material analysis process.

また、図８は、動画像再生アプリケーション２０２によって実行される合成動画生成処理の手順を示すフローチャートである。この合成動画生成処理は、上述の素材分析処理と並行して実行される。すなわち、素材分析部２１１による素材５１の分析と、動画再生部２２０による合成動画の生成（再生）とが並行して行われる。   FIG. 8 is a flowchart showing the procedure of the synthetic moving image generation process executed by the moving image playback application 202. This synthetic moving image generation process is executed in parallel with the material analysis process described above. That is, the analysis of the material 51 by the material analysis unit 211 and the generation (reproduction) of the synthesized moving image by the moving image reproduction unit 220 are performed in parallel.

まず、素材情報抽出部２２１は、素材情報データベース３０２から、素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを抽出する（Ｂ２０１）。これら情報は、素材データベース３０１に格納された素材５１に対応する情報である。つまり、これら情報は、素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを生成（格納）するための素材分析処理が既に施された素材５１に対応する情報である。   First, the material information extraction unit 221 extracts material information 302A, group information 302B, and analysis information 302C from the material information database 302 (B201). These pieces of information are information corresponding to the material 51 stored in the material database 301. That is, these pieces of information correspond to the material 51 that has already been subjected to the material analysis processing for generating (storing) the material information 302A, the group information 302B, and the analysis information 302C.

次に、合成動画生成部２２２は、抽出された情報（素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃ）に基づいて、所定の条件を満たす素材５１を選択する（Ｂ２０２）。具体的には、合成動画生成部２２２は、抽出された情報に基づいて、所定の条件を満たす素材５１の素材ＩＤを抽出する。この所定の条件は、例えば、ユーザにより指定される。例えば、合成動画生成部２２２により、抽出された情報に基づいて選択可能な条件の候補（例えば、期間、人物、場所（地点）、イベント等）が提示され、ユーザは、合成動画を生成する条件（合成動画に用いる素材５１を抽出するための条件）を該候補から選択する。合成動画生成部２２２は、素材情報データベース３０２を参照して、選択された条件を満たす素材５１の素材ＩＤを抽出する。なお、この所定の条件は、合成動画生成部２２２によりランダムに設定されてもよい。その場合、例えば、合成動画が生成される度に、ランダムに設定される条件に基づく、異なる合成動画が生成され得る。   Next, based on the extracted information (material information 302A, group information 302B, and analysis information 302C), the composite moving image generation unit 222 selects a material 51 that satisfies a predetermined condition (B202). Specifically, the synthetic moving image generating unit 222 extracts the material ID of the material 51 that satisfies a predetermined condition based on the extracted information. This predetermined condition is specified by the user, for example. For example, a candidate for a condition that can be selected based on the extracted information (for example, a period, a person, a place (point), an event, or the like) is presented by the synthesized moving image generation unit 222, and the user generates a condition for generating a synthesized movie (Conditions for extracting the material 51 used for the synthetic moving image) are selected from the candidates. The synthesized moving image generation unit 222 refers to the material information database 302 and extracts the material ID of the material 51 that satisfies the selected condition. Note that this predetermined condition may be set randomly by the synthetic moving image generation unit 222. In that case, for example, every time a synthesized moving image is generated, a different synthesized movie based on a randomly set condition can be generated.

合成動画生成部２２２は、素材データベース３０１から選択した素材５１を抽出する（Ｂ２０３）。すなわち、合成動画生成部２２２は、抽出した素材ＩＤに基づいて、対応する素材５１を素材データベース３０１から抽出する。次いで、合成動画生成部２２２は、抽出した素材５１を用いて合成動画を生成する（Ｂ２０４）。合成動画生成部２２２は、生成した合成動画を合成動画出力部２２３に出力する。   The composite moving image generation unit 222 extracts the selected material 51 from the material database 301 (B203). That is, the synthetic moving image generating unit 222 extracts the corresponding material 51 from the material database 301 based on the extracted material ID. Next, the composite video generation unit 222 generates a composite video using the extracted material 51 (B204). The composite video generation unit 222 outputs the generated composite video to the composite video output unit 223.

合成動画出力部２２３は、合成動画の出力方法が再生とファイル出力のいずれであるかを判定する（Ｂ２０５）。合成動画を再生する出力方法が選択されている場合（Ｂ２０５の再生）、合成動画出力部２２３は、合成動画を再生し、画面に出力する（Ｂ２０６）。一方、合成動画をファイル出力する出力方法が選択されている場合（Ｂ２０５のファイル出力）、合成動画出力部２２３は、合成動画を所定の形式でファイルに出力する（Ｂ２０７）。   The composite video output unit 223 determines whether the output method of the composite video is playback or file output (B205). When the output method for reproducing the synthesized video is selected (reproduction of B205), the synthesized video output unit 223 reproduces the synthesized video and outputs it on the screen (B206). On the other hand, when the output method for outputting the synthetic video as a file is selected (file output in B205), the synthetic video output unit 223 outputs the synthetic video to a file in a predetermined format (B207).

次いで、素材情報抽出部２２１は、分析情報生成部２１４から、分析対象のグループに属する全ての素材５１の分析が完了したことが通知されたか否かを判定する（Ｂ２０８）。分析対象のグループに属する全ての素材５１の分析が完了したことが通知されている場合（Ｂ２０８のＹＥＳ）、分析情報抽出部２２１は、素材情報データベース３０２から、この分析対象のグループ（分析が完了したことが通知されたグループ）に属する素材５１の分析情報３０２Ｃを抽出する（Ｂ２０９）。   Next, the material information extraction unit 221 determines whether or not the analysis information generation unit 214 has notified that the analysis of all the materials 51 belonging to the analysis target group has been completed (B208). When it is notified that the analysis of all the materials 51 belonging to the analysis target group has been completed (YES in B208), the analysis information extraction unit 221 reads the analysis target group (analysis is completed) from the material information database 302. The analysis information 302C of the material 51 belonging to the group that has been notified) is extracted (B209).

分析対象のグループに属する全ての素材５１の分析が完了したことが通知されていない場合（Ｂ２０８のＮＯ）、又はＢ２０９における分析情報３０２Ｃの抽出が完了したとき、合成動画生成部２２２は、Ｂ２０２以降の処理を再度実行する。   When it is not notified that the analysis of all the materials 51 belonging to the analysis target group has been completed (NO in B208), or when the extraction of the analysis information 302C in B209 is completed, the synthesized moving image generation unit 222 performs the process after B202 Execute the process again.

以上の処理により、素材情報生成部２１２、グループ情報生成部２１３及び分析情報生成部２１４は、それぞれ、入力された素材５１の素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを生成する。分析情報生成部２１４は、一つのグループ（分析対象グループ）に属する全ての素材５１の分析が完了したことに応答して、素材情報抽出部２２１にその旨を通知する。素材情報抽出部２２１は、この通知に応じて、分析が完了したグループの分析情報３０２Ｃを抽出する。つまり、グループ毎の分析情報３０２Ｃが生成される度に、合成動画生成に用いられる分析情報３０２Ｃが更新（追加）される。合成動画生成部２２２は、更新された分析情報３０２Ｃに基づいて、合成動画に用いる素材５１を選択し、選択した素材５１を用いて合成動画を生成する。したがって、グループ毎の分析情報３０２Ｃが生成される度に、使用できる分析情報３０２Ｃが増加するため、合成動画生成部２２２は、指定される条件により適した素材５１を抽出することができる。また、一つのグループに属する全ての素材５１に対する分析が完了した時点で、当該グループに属する素材５１の分析情報３０２Ｃが使用できるようになるため、つまり、入力された全ての素材５１に対する分析が完了することを待たずに、分析が完了したグループ毎に素材５１の分析情報３０２Ｃが使用できるようになるため、素材５１が入力されてから、当該素材５１の分析情報３０２Ｃを用いて動画像が生成されるまでの時間を短縮できる。   Through the above processing, the material information generation unit 212, the group information generation unit 213, and the analysis information generation unit 214 generate the material information 302A, group information 302B, and analysis information 302C of the input material 51, respectively. In response to the completion of the analysis of all the materials 51 belonging to one group (analysis target group), the analysis information generation unit 214 notifies the material information extraction unit 221 to that effect. In response to this notification, the material information extraction unit 221 extracts the analysis information 302C of the group whose analysis has been completed. That is, every time the analysis information 302C for each group is generated, the analysis information 302C used for generating the synthetic moving image is updated (added). Based on the updated analysis information 302 </ b> C, the synthesized moving image generation unit 222 selects the material 51 used for the synthesized movie, and generates the synthesized movie using the selected material 51. Accordingly, since the analysis information 302C that can be used increases each time the analysis information 302C for each group is generated, the composite moving image generation unit 222 can extract the material 51 that is more suitable for the specified condition. Further, when the analysis for all the materials 51 belonging to one group is completed, the analysis information 302C of the material 51 belonging to the group can be used, that is, the analysis for all the input materials 51 is completed. Since the analysis information 302C of the material 51 can be used for each group for which analysis has been completed without waiting, the moving image is generated using the analysis information 302C of the material 51 after the material 51 is input. Time to be done can be shortened.

次いで、図９のフローチャートを参照して、動画像再生アプリケーション２０２によって実行される素材分析処理の別の手順を説明する。
まず、素材入力部２１０は、インタフェース部等を介して素材データ５１が入力されたか否かを判定する（Ｂ３０１）。素材データ５１が入力された場合（Ｂ３０１のＹＥＳ）、素材入力部２１０は、入力された素材データ５１を素材データベース３０１に格納する（Ｂ３０２）。素材情報生成部２１２は、素材データ５１に付加された時刻情報等の情報（メタデータ）を用いて、素材情報３０２Ａを生成する。 Next, another procedure of the material analysis process executed by the moving image playback application 202 will be described with reference to the flowchart of FIG.
First, the material input unit 210 determines whether or not the material data 51 is input via the interface unit or the like (B301). When the material data 51 is input (YES in B301), the material input unit 210 stores the input material data 51 in the material database 301 (B302). The material information generation unit 212 generates material information 302 </ b> A using information (metadata) such as time information added to the material data 51.

次いで、グループ情報生成部２１３は、入力された素材５１をグループ化する（Ｂ３０３）。グループ情報生成部２１３は、例えば、素材情報３０２Ａに含まれる、素材５１の生成日時に基づいて、複数の素材５１を複数のグループに分類する。具体的には、グループ情報生成部２１３は、例えば、生成日時が時間的に連続する２つの素材データ５１において、その生成日時の差がしきい値未満である場合に、これら２つの素材データ５１を同一のグループに分類し、生成日時の差がしきい値以上である場合に、これら２つの素材データ５１を別のグループに分類する。上述のように、生成日時の差がしきい値未満である素材データ５１が同一のグループに分類されることにより、例えば、「入学式」や「結婚式」のようなイベントで生成された複数の素材５１が、イベント毎に同一のグループに分類される。グループ情報生成部２１３は、素材５１が分類されたグループを示すグループ情報３０２Ｂを生成する。   Next, the group information generation unit 213 groups the input materials 51 (B303). For example, the group information generation unit 213 classifies the plurality of materials 51 into a plurality of groups based on the generation date and time of the materials 51 included in the material information 302A. Specifically, the group information generation unit 213, for example, in the case of two material data 51 whose generation dates and times are continuous in time, when the difference between the generation dates and times is less than a threshold value, these two material data 51 Are classified into the same group, and when the difference in generation date and time is equal to or greater than the threshold value, the two material data 51 are classified into different groups. As described above, the material data 51 whose generation date and time difference is less than the threshold is classified into the same group, so that, for example, a plurality of items generated at an event such as “entrance ceremony” or “wedding” Are classified into the same group for each event. The group information generation unit 213 generates group information 302B indicating a group into which the material 51 is classified.

次いで、分析情報生成部２１４は、一つのグループ（分析対象のグループ）に属する全ての素材５１を分析し、その分析結果を示す分析情報３０２Ｃを生成する（Ｂ３０４）。具体的には、分析情報生成部２１４は、素材５１に含まれるオブジェクト（例えば、顔画像）を分析する処理（例えば、検出処理や認識処理）を行い、顔画像情報、人物情報、風景情報、動物情報、撮影時刻情報、撮影位置情報等を含む分析情報３０２Ｃを生成する。   Next, the analysis information generation unit 214 analyzes all the materials 51 belonging to one group (analysis target group), and generates analysis information 302C indicating the analysis result (B304). Specifically, the analysis information generation unit 214 performs a process (for example, a detection process or a recognition process) for analyzing an object (for example, a face image) included in the material 51, and performs face image information, person information, landscape information, Analysis information 302C including animal information, shooting time information, shooting position information, and the like is generated.

分析情報生成部２１４は、生成された素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを素材情報データベース３０２に格納する（Ｂ３０５）。そして、分析情報生成部２１４は、分析対象のグループに属する全ての素材５１の分析が完了したことを素材情報抽出部２２１に通知する（Ｂ３０６）。素材情報抽出部２２１は、この通知に応答して、素材情報データベース３０２から、分析対象のグループの素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを読み出す。素材情報抽出部２２１による処理の詳細は、図８を参照して上述した通りである。   The analysis information generation unit 214 stores the generated material information 302A, group information 302B, and analysis information 302C in the material information database 302 (B305). Then, the analysis information generation unit 214 notifies the material information extraction unit 221 that the analysis of all the materials 51 belonging to the analysis target group has been completed (B306). In response to this notification, the material information extraction unit 221 reads the material information 302A, group information 302B, and analysis information 302C of the group to be analyzed from the material information database 302. Details of the processing by the material information extraction unit 221 are as described above with reference to FIG.

そして、分析情報生成部２１４は、Ｂ３０１で入力された素材５１が分類された全てのグループについて、分析が完了したか否かを判定する（Ｂ３０７）。分析が完了していない場合（Ｂ３０７のＮＯ）、分析情報生成部２１４は、分析が完了していないグループを新たな分析対象のグループに設定し、Ｂ３０５以降の処理を実行する（Ｂ３０８）。分析が完了している場合（Ｂ３０７のＹＥＳ）、分析情報生成部２１４は素材分析処理を終了する。   Then, the analysis information generation unit 214 determines whether or not the analysis has been completed for all the groups into which the material 51 input in B301 is classified (B307). When the analysis has not been completed (NO in B307), the analysis information generation unit 214 sets a group for which analysis has not been completed as a new analysis target group, and executes the processing after B305 (B308). If the analysis has been completed (YES in B307), the analysis information generation unit 214 ends the material analysis process.

以上の処理により、素材情報生成部２１２、グループ情報生成部２１３及び分析情報生成部２１４は、それぞれ、入力された素材５１の素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを生成（格納）する。分析情報生成部２１４は、一つのグループ（分析対象グループ）に属する全ての素材５１の分析が完了したことに応答して、素材情報抽出部２２１にその旨を通知する。素材情報抽出部２２１は、この通知に応じて、分析が完了したグループの素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを抽出する。つまり、グループ毎の分析が完了する度に、合成動画生成に用いられる素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃが更新（追加）される。合成動画生成部２２２は、更新された素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃに基づいて、合成動画に用いる素材５１を選択し、選択した素材５１を用いて合成動画を生成する。したがって、グループ毎の分析が完了する度に、使用できる素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃが増加するため、合成動画生成部２２２は、指定される条件により適した素材５１を抽出することができる。また、一つのグループに属する全ての素材５１に対する分析が完了した時点で、当該グループに属する素材５１が使用できるようになるため、つまり、入力された全ての素材５１に対する分析が完了することを待たずに、分析が完了したグループ毎に素材５１が使用できるようになるため、素材５１が入力されてから、当該素材５１を用いた動画像が生成されるまでの時間を短縮できる。   Through the above processing, the material information generation unit 212, the group information generation unit 213, and the analysis information generation unit 214 generate (store) the material information 302A, group information 302B, and analysis information 302C of the input material 51, respectively. In response to the completion of the analysis of all the materials 51 belonging to one group (analysis target group), the analysis information generation unit 214 notifies the material information extraction unit 221 to that effect. In response to this notification, the material information extraction unit 221 extracts the material information 302A, group information 302B, and analysis information 302C of the group that has been analyzed. That is, every time the analysis for each group is completed, the material information 302A, the group information 302B, and the analysis information 302C used for generating the synthetic moving image are updated (added). Based on the updated material information 302A, group information 302B, and analysis information 302C, the composite video generation unit 222 selects the material 51 used for the composite video and generates a composite video using the selected material 51. Therefore, every time analysis for each group is completed, usable material information 302A, group information 302B, and analysis information 302C increase. Therefore, the composite moving image generation unit 222 extracts a material 51 that is more suitable for a specified condition. Can do. Further, when the analysis for all the materials 51 belonging to one group is completed, the materials 51 belonging to the group can be used, that is, waiting for the analysis for all the input materials 51 to be completed. Therefore, since the material 51 can be used for each group for which the analysis has been completed, the time from when the material 51 is input to when a moving image using the material 51 is generated can be shortened.

以上説明したように、本実施形態によれば、素材が入力されてから、解析された当該素材を用いた動画像が生成されるまでの時間を短縮できる。本実施形態の動画像再生アプリケーション２０２は、入力された素材５１に対応する素材情報３０２Ａ、グループ情報３０２Ｂ及び分析情報３０２Ｃを生成する。動画像再生アプリケーション２０２は、一つのグループ（分析対象グループ）に属する全ての素材５１の分析が完了したことに応答して、当該完了したグループの分析情報３０２Ｃを用いて、合成動画に用いる素材５１を選択し、選択した素材５１を用いて合成動画を生成する。したがって、グループ毎の分析情報３０２Ｃが生成される度に、使用できる分析情報３０２Ｃが増加するため、合成動画生成部２２２は、指定される条件により適した素材５１を抽出することができる。また、入力された全ての素材５１に対する分析が完了することを待たずに、分析が完了したグループ毎に素材５１の分析情報３０２Ｃが使用できるようになるため、素材５１が入力されてから、当該素材５１を用いた動画像が生成されるまでの時間を短縮できる。   As described above, according to the present embodiment, it is possible to shorten the time from when a material is input to when a moving image using the analyzed material is generated. The moving image reproduction application 202 of the present embodiment generates material information 302A, group information 302B, and analysis information 302C corresponding to the input material 51. In response to the completion of the analysis of all the materials 51 belonging to one group (analysis target group), the moving image reproduction application 202 uses the analysis information 302C of the completed group and uses the material 51 used for the composite video. And a synthesized moving image is generated using the selected material 51. Accordingly, since the analysis information 302C that can be used increases each time the analysis information 302C for each group is generated, the composite moving image generation unit 222 can extract the material 51 that is more suitable for the specified condition. Further, the analysis information 302C of the material 51 can be used for each group for which the analysis has been completed without waiting for the analysis for all the input materials 51 to be completed. The time until a moving image using the material 51 is generated can be shortened.

なお、本実施形態の素材分析処理及び合成動画生成処理の手順は全てソフトウェアによって実行することができる。このため、素材分析処理及び合成動画生成処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。   Note that the procedures of the material analysis process and the synthetic moving image generation process of this embodiment can all be executed by software. For this reason, the same effect as that of the present embodiment can be obtained by simply installing and executing this program on a normal computer through a computer-readable storage medium storing a program for executing the material analysis process and the synthetic moving image generation process. It can be easily realized.

また本発明の実施形態は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。   Further, the embodiment of the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.

１０９…ＨＤＤ、２０２…動画像再生アプリケーションプログラム、２１０…素材入力部、２１１…素材分析部、２１２…素材情報生成部、２１３…グループ情報生成部、２１４…分析情報生成部、２２０…動画再生部、２２１…素材情報抽出部、２２２…合成動画生成部、２２３…合成動画出力部、２２４…生成通知部、３０１…素材データベース、３０１Ａ…静止画像データ、３０１Ｂ…音声データ、３０１Ｃ…動画像データ、３０２…素材情報データベース、３０２Ａ…素材情報、３０２Ｂ…グループ情報、３０２Ｃ…分析情報、５１…素材データ。   DESCRIPTION OF SYMBOLS 109 ... HDD, 202 ... Moving image reproduction | regeneration application program, 210 ... Material input part, 211 ... Material analysis part, 212 ... Material information generation part, 213 ... Group information generation part, 214 ... Analysis information generation part, 220 ... Video reproduction part 221 ... Material information extraction unit 222 ... Synthetic video generation unit 223 ... Synthetic video output unit 224 ... Generation notification unit 301 ... Material database 301A Still image data 301B Audio data 301C Moving image data 302 ... Material information database, 302A ... Material information, 302B ... Group information, 302C ... Analysis information, 51 ... Material data.

Claims (18)

複数の素材が素材情報に基づいて分類された複数のグループを示すグループ情報を生成するグループ化手段と、
前記グループ化手段による処理に対応する処理量よりも処理量が多く、前記複数のグループの各々に属する素材に対応する分析情報を生成する分析情報生成手段と、
前記分析情報が生成される前の期間において、前記素材情報と前記グループ情報とに基づいて、前記複数の素材の内の第１の条件を満たす第１の素材を含む動画像を生成し、前記分析情報が生成された後の期間において、前記素材情報と前記グループ情報と前記分析情報とに基づいて、前記複数の素材の内の第２の条件を満たす第２の素材を含む動画像を生成する動画像生成手段とを具備する電子機器。 Grouping means for generating group information indicating a plurality of groups in which a plurality of materials are classified based on the material information;
An analysis information generating means for generating analysis information corresponding to a material belonging to each of the plurality of groups, the processing amount being larger than the processing amount corresponding to the processing by the grouping means;
In a period before the analysis information is generated, based on the material information and the group information, a moving image including a first material satisfying a first condition among the plurality of materials is generated, in the period after the analysis information is generated, on the basis of the material information and the group information and the analysis information, a moving image including a second condition is satisfied second material of the plurality of material An electronic device comprising a moving image generating means for generating. 前記動画像生成手段は、前記複数のグループの内の一つのグループに対応する分析情報が生成されたことに応答して、当該分析情報と前記素材情報とに基づいて、当該グループに属する素材の内の前記第２の条件を満たす第２の素材を含む動画像を生成することを特徴とする請求項１記載の電子機器。 In response to the generation of the analysis information corresponding to one group of the plurality of groups, the moving image generation unit is configured to determine the material belonging to the group based on the analysis information and the material information . the electronic apparatus according to claim 1, wherein the generating the moving image including a second condition is satisfied second material of the inner. 前記複数の素材は静止画像を含み、
前記分析情報は、前記静止画像に含まれる顔画像を示す情報を含むことを特徴とする請求項１記載の電子機器。 The plurality of materials includes still images;
The electronic apparatus according to claim 1, wherein the analysis information includes information indicating a face image included in the still image. 前記素材情報は、前記複数の素材の各々が生成された日時を示す時刻情報及び場所を示す地点情報、前記複数の素材の各々の種類、前記複数の素材の各々のデータ形式及びデータサイズ、前記複数の素材の各々が格納される場所を示す場所情報、並びに前記複数の素材の各々が入力された経路を示す経路情報のうち、少なくとも一つを含むことを特徴とする請求項１記載の電子機器。   The material information includes time information indicating the date and time when each of the plurality of materials was generated and point information indicating a location, each type of the plurality of materials, each data format and data size of the plurality of materials, The electronic device according to claim 1, comprising at least one of location information indicating a location where each of the plurality of materials is stored and route information indicating a route into which each of the plurality of materials is input. machine. 前記複数の素材は、静止画像、音声、動画像のうち、少なくとも一つを含むことを特徴とする請求項１記載の電子機器。   The electronic device according to claim 1, wherein the plurality of materials include at least one of a still image, a sound, and a moving image. 前記動画像が生成されたことをユーザに通知する通知手段をさらに具備することを特徴とする請求項１記載の電子機器。   The electronic apparatus according to claim 1, further comprising notification means for notifying a user that the moving image has been generated. コンピュータにより実行されるプログラムであって、前記プログラムは、
複数の素材が素材情報に基づいて分類された複数のグループを示すグループ情報を生成する手順と、
前記グループ情報を生成する手順に対応する処理量よりも処理量が多く、前記複数のグループの各々に属する素材に対応する分析情報を生成する手順と、
前記分析情報が生成される前の期間において、前記素材情報と前記グループ情報とに基づいて、前記複数の素材の内の第１の条件を満たす第１の素材を含む動画像を生成し、前記分析情報が生成された後の期間において、前記素材情報と前記グループ情報と前記分析情報とに基づいて、前記複数の素材の内の第２の条件を満たす第２の素材を含む動画像を生成する手順とを前記コンピュータに実行させるプログラム。 A program executed by a computer , wherein the program is
And procedures that generates group information in which a plurality of materials showing a plurality of groups classified based on the material information,
Many processing amount than the processing amount corresponding to the steps of generating the group information, and procedures that generates an analysis information corresponding to the material belonging to each of the plurality of groups,
In a period before the analysis information is generated, based on the material information and the group information, a moving image including a first material satisfying a first condition among the plurality of materials is generated, in the period after the analysis information is generated, the based on the group information and the analysis information and the material information, generates a moving image including a second condition is satisfied second material of said plurality of material program for executing the steps and you to the computer. 前記動画像を生成する手順は、前記複数のグループの内の一つのグループに対応する分析情報が生成されたことに応答して、当該分析情報と前記素材情報とに基づいて、当該グループに属する素材の内の前記第２の条件を満たす第２の素材を含む動画像を生成することを特徴とする請求項７記載のプログラム。 The procedure for generating the moving image belongs to the group based on the analysis information and the material information in response to the generation of the analysis information corresponding to one of the plurality of groups. according to claim 7 of a program and generates a moving image including the second condition is satisfied second material of the material. 前記複数の素材は静止画像を含み、The plurality of materials includes still images;
前記分析情報は、前記静止画像に含まれる顔画像を示す情報を含むことを特徴とする請求項７記載のプログラム。The program according to claim 7, wherein the analysis information includes information indicating a face image included in the still image. 前記素材情報は、前記複数の素材の各々が生成された日時を示す時刻情報及び場所を示す地点情報、前記複数の素材の各々の種類、前記複数の素材の各々のデータ形式及びデータサイズ、前記複数の素材の各々が格納される場所を示す場所情報、並びに前記複数の素材の各々が入力された経路を示す経路情報のうち、少なくとも一つを含むことを特徴とする請求項７記載のプログラム。The material information includes time information indicating the date and time when each of the plurality of materials was generated and point information indicating a location, each type of the plurality of materials, each data format and data size of the plurality of materials, 8. The program according to claim 7, comprising at least one of location information indicating a location where each of the plurality of materials is stored and route information indicating a route into which each of the plurality of materials is input. . 前記複数の素材は、静止画像、音声、動画像のうち、少なくとも一つを含むことを特徴とする請求項７記載のプログラム。8. The program according to claim 7, wherein the plurality of materials include at least one of a still image, a sound, and a moving image. 前記動画像が生成されたことをユーザに通知する手順を前記コンピュータにさらに実行させることを特徴とする請求項７記載のプログラム。8. The program according to claim 7, further causing the computer to execute a procedure for notifying a user that the moving image has been generated. 複数の素材が素材情報に基づいて分類された複数のグループを示すグループ情報を生成し、Generate group information indicating multiple groups in which multiple materials are classified based on material information,
前記グループ化手段による処理に対応する処理量よりも処理量が多く、前記複数のグループの各々に属する素材に対応する分析情報を生成する分析情報生成手段と、An analysis information generating means for generating analysis information corresponding to a material belonging to each of the plurality of groups, the processing amount being larger than the processing amount corresponding to the processing by the grouping means;
前記分析情報が生成される前の期間において、前記素材情報と前記グループ情報とに基づいて、前記複数の素材の内の第１の条件を満たす第１の素材を含む動画像を生成し、前記分析情報が生成された後の期間において、前記素材情報と前記グループ情報と前記分析情報とに基づいて、前記複数の素材の内の第２の条件を満たす第２の素材を含む動画像を生成する方法。In a period before the analysis information is generated, based on the material information and the group information, a moving image including a first material satisfying a first condition among the plurality of materials is generated, In a period after the generation of analysis information, a moving image including a second material that satisfies a second condition among the plurality of materials is generated based on the material information, the group information, and the analysis information. how to. 前記動画像を生成することは、前記複数のグループの内の一つのグループに対応する分析情報が生成されたことに応答して、当該分析情報と前記素材情報とに基づいて、当該グループに属する素材の内の前記第２の条件を満たす第２の素材を含む動画像を生成することを特徴とする請求項１３記載の方法。Generating the moving image belongs to the group based on the analysis information and the material information in response to generation of analysis information corresponding to one of the plurality of groups. The method according to claim 13, wherein a moving image including a second material satisfying the second condition among the materials is generated. 前記複数の素材は静止画像を含み、The plurality of materials includes still images;
前記分析情報は、前記静止画像に含まれる顔画像を示す情報を含むことを特徴とする請求項１３記載の方法。The method according to claim 13, wherein the analysis information includes information indicating a face image included in the still image. 前記素材情報は、前記複数の素材の各々が生成された日時を示す時刻情報及び場所を示す地点情報、前記複数の素材の各々の種類、前記複数の素材の各々のデータ形式及びデータサイズ、前記複数の素材の各々が格納される場所を示す場所情報、並びに前記複数の素材の各々が入力された経路を示す経路情報のうち、少なくとも一つを含むことを特徴とする請求項１３記載の方法。The material information includes time information indicating the date and time when each of the plurality of materials was generated and point information indicating a location, each type of the plurality of materials, each data format and data size of the plurality of materials, The method according to claim 13, comprising at least one of location information indicating a location where each of the plurality of materials is stored and route information indicating a route into which each of the plurality of materials is input. . 前記複数の素材は、静止画像、音声、動画像のうち、少なくとも一つを含むことを特徴とする請求項１３記載の方法。The method according to claim 13, wherein the plurality of materials includes at least one of a still image, a sound, and a moving image. 前記動画像が生成されたことをユーザに通知することをさらに具備することを特徴とする請求項１３記載の方法。The method of claim 13, further comprising notifying a user that the moving image has been generated.
JP2010100115A 2010-04-23 2010-04-23 Electronic device and image processing program Active JP5558187B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010100115A JP5558187B2 (en) 2010-04-23 2010-04-23 Electronic device and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010100115A JP5558187B2 (en) 2010-04-23 2010-04-23 Electronic device and image processing program

Publications (2)

Publication Number Publication Date
JP2011232823A JP2011232823A (en) 2011-11-17
JP5558187B2 true JP5558187B2 (en) 2014-07-23

Family

ID=45322100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010100115A Active JP5558187B2 (en) 2010-04-23 2010-04-23 Electronic device and image processing program

Country Status (1)

Country Link
JP (1) JP5558187B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015207945A (en) * 2014-04-22 2015-11-19 オムロン株式会社 Moving image processing apparatus, moving image processing method and moving image processing program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002176613A (en) * 2000-12-06 2002-06-21 Minolta Co Ltd Moving image editing unit, moving image editing method and recording medium

Also Published As

Publication number Publication date
JP2011232823A (en) 2011-11-17

Similar Documents

Publication Publication Date Title
JP4988011B2 (en) Electronic apparatus and image processing method
JP4940345B2 (en) Electronic apparatus and image processing method
JP4988012B2 (en) Electronic device and indexing control method
US20130155088A1 (en) Method, apparatus and system for generating an image slideshow
JP2011103588A (en) Electronic apparatus, and image display method
JP4768846B2 (en) Electronic apparatus and image display method
JP5017424B2 (en) Electronic apparatus and image processing method
JP2011217183A (en) Electronic device, image output method and program
JP2011065277A (en) Electronic apparatus, image display method, and content reproduction program
US20110304644A1 (en) Electronic apparatus and image display method
JP4940333B2 (en) Electronic apparatus and moving image reproduction method
JP5225330B2 (en) Electronic apparatus and image processing method
JP5550446B2 (en) Electronic apparatus and moving image generation method
JP5558187B2 (en) Electronic device and image processing program
JP5479198B2 (en) Electronic device and image processing program
JP5060636B1 (en) Electronic device, image processing method and program
JP2011065278A (en) Electronic equipment, image retrieval method, and content reproduction program
JP5550447B2 (en) Electronic apparatus and method
JP2008020944A (en) Image processing method, program, and device
JP2011193386A (en) Electronic apparatus and image processing method
JP2009140339A (en) Information processor and information processing method
US20140324921A1 (en) Electronic device, method, and storage medium
JP5414842B2 (en) Electronic device, image display method, and content reproduction program
JP5050115B2 (en) Electronic device, image display method, and content reproduction program
JP2011243212A (en) Electronic device, image display method and content reproduction program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130208

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131217

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140110

RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20140319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140604

R151 Written notification of patent or utility model registration

Ref document number: 5558187

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

Free format text: JAPANESE INTERMEDIATE CODE: R313121

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350