JP5764964B2 - Image processing apparatus and camera - Google Patents

Image processing apparatus and camera Download PDF

Info

Publication number
JP5764964B2
JP5764964B2 JP2011033157A JP2011033157A JP5764964B2 JP 5764964 B2 JP5764964 B2 JP 5764964B2 JP 2011033157 A JP2011033157 A JP 2011033157A JP 2011033157 A JP2011033157 A JP 2011033157A JP 5764964 B2 JP5764964 B2 JP 5764964B2
Authority
JP
Japan
Prior art keywords
slow
image data
information
slow motion
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011033157A
Other languages
Japanese (ja)
Other versions
JP2012175243A (en
Inventor
嘉明 宮川
嘉明 宮川
北岡 直樹
直樹 北岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011033157A priority Critical patent/JP5764964B2/en
Publication of JP2012175243A publication Critical patent/JP2012175243A/en
Application granted granted Critical
Publication of JP5764964B2 publication Critical patent/JP5764964B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、動画像を生成可能な画像処理装置及びカメラに関するものである。 The present invention relates to an image processing apparatus and a camera that can generate a moving image.

入力画像から画像特徴量を抽出し、抽出した画像特徴量をスタイル特徴量に変換し、変換されたスタイル特徴量に基づいて入力画像にマッチしたスタイルを決定し、更に、抽出した画像特徴量を音楽特徴量に変換し、変換された音楽特徴量に基づいて入力画像にマッチした音楽を決定し、入力画像、音楽、スタイルを用いて、ショートフィルムを生成し、再生することができるショートフィルム生成再生装置が提案されている(例えば、特許文献1参照)。   Extracting image feature values from the input image, converting the extracted image feature values into style feature values, determining a style that matches the input image based on the converted style feature values, and further extracting the extracted image feature values Short film generation that can convert to music features, determine the music that matches the input image based on the converted music features, generate short film using the input image, music, and style, and play it back A playback device has been proposed (see, for example, Patent Document 1).

特許第4261317号公報Japanese Patent No. 4261317

ところで、静止画像の撮影タイミングに同期して撮影され、被写体が実際の動きよりスローに動くスローモーション動画像を再生するとともに、この動画像の録画時に録音した音声を再生した場合、スロー再生されるため間延びした音声となり、視聴するユーザーに違和感を与える。また、上述の動画像を再生すると共に上述の静止画像のフリーズ動画を再生する際にも、フリーズ動画が再生されている間、無音の状態が継続し、視聴するユーザーに退屈な印象を与える。しかしながら、上述の特許文献1記載のショートフィルム生成再生装置には、上述の動画像及びフリーズ動画を順次再生する際に、この動画像やフリーズ動画にマッチした音声や音楽を選択し、動画像やフリーズ動画と共に再生する技術は開示されていない。   By the way, a slow-motion moving image that is shot in synchronization with the shooting timing of a still image and that moves the subject more slowly than the actual movement is played back. As a result, the sound is extended, giving the viewer a sense of incongruity. In addition, when the above-described moving image is reproduced and the above-described still image freeze movie is reproduced, the silent state continues while the freeze movie is being reproduced, which gives the viewer a boring impression. However, when the above-described moving image and freeze video are sequentially played back, the short film generation / playback device described in Patent Document 1 described above selects audio or music that matches the moving image or freeze video, There is no disclosure of technology for playback with freeze videos.

本発明の目的は、スローモーション動画像と、該スローモーション動画像に関連する静止画像に基づく画像と共に再生される適切な音を自動的に選択することができる画像処理装置及びカメラを提供することである。 An object of the present invention is to provide an image processing apparatus and a camera capable of automatically selecting a suitable sound to be reproduced together with an image based on a slow motion moving image and a still image related to the slow motion moving image. It is.

本発明は以下のような解決手段により上記課題を解決する。なお、理解を容易にするために、本発明の実施の形態に対応する符号を付して説明するが、本発明はこれに限定されるものではない。   The present invention solves the above problems by the following means. In addition, in order to make an understanding easy, it attaches | subjects and demonstrates the code | symbol corresponding to embodiment of this invention, but this invention is not limited to this.

本発明の画像処理装置は、所定時間の間に、被写体からの光を撮像する撮像素子からの撮像信号に基づく複数のフレーム画像に基づき生成され、単位時間に前記撮像信号に基づき生成されるフレーム画像の数を示す第1フレームレートより少ない第2フレームレートで再生されるよう記録されるスローモーション動画像のスローモーション動画像データと、前記複数のフレーム画像の中の少なくとも1枚のフレーム画像に基づき静止画像として生成される静止画像用データとのうちの少なくとも一方に関連付けて、前記スローモーション動画像と前記静止画像用データに基づく画像とを時系列に画像再生する際に再生される音に関する情報であるテーマ情報を、記録媒体に記録する記録制御部と、前記スローモーション動画像データと前記静止画像用データとのうちの少なくとも一方を解析する解析部と、前記解析部による解析結果に基づいて、前記テーマ情報を設定する設定部とを備えることを特徴とする。
また本発明の画像処理装置は、スローモーションの動画及び前記スローモーションの動画に関連する静止画を表示部に表示する所定表示をする際に使用されるスローモーション動画像データ及び静止画像用データの少なくとも一方を解析した結果に基づいて前記所定表示をする際に再生される音に関するテーマ情報を設定する設定部と、前記スローモーション動画像データ及び前記静止画像用データの少なくとも一方に関連付けて前記テーマ情報を記録媒体に記録する制御をする制御部とを備えることを特徴とする。
また本発明のカメラは、本発明の画像処理装置を含むことを特徴とする。
The image processing apparatus of the present invention generates a frame generated based on a plurality of frame images based on an imaging signal from an imaging element that images light from a subject during a predetermined time, and is generated based on the imaging signal per unit time. Slow motion video data of a slow motion video recorded to be played back at a second frame rate that is less than a first frame rate indicating the number of images, and at least one frame image of the plurality of frame images In relation to at least one of the still image data generated as a still image based on the sound and the sound that is reproduced when the slow motion moving image and the image based on the still image data are reproduced in time series theme information that is information, a recording control unit for recording on a recording medium, wherein said slow motion video data electrostatic An analysis unit for analyzing at least one of the image data, based on the analysis result by the analysis unit, characterized in that it comprises a setting unit that sets the theme information.
The image processing apparatus according to the present invention also includes slow motion moving image data and still image data used for predetermined display for displaying a slow motion moving image and a still image related to the slow motion moving image on a display unit. A setting unit configured to set theme information relating to a sound to be played when the predetermined display is performed based on a result of analyzing at least one; and the theme associated with at least one of the slow motion moving image data and the still image data And a control unit that controls to record information on a recording medium.
The camera of the present invention includes the image processing apparatus of the present invention.

本発明の画像処理装置によれば、スローモーション動画像と、該スローモーション動画像に関連する静止画像に基づく画像と共に再生される適切な音を自動的に選択することができる。   According to the image processing apparatus of the present invention, it is possible to automatically select an appropriate sound to be reproduced together with an image based on a slow motion moving image and a still image related to the slow motion moving image.

第1の実施の形態に係る電子カメラの外観を示す背面図である。It is a rear view which shows the external appearance of the electronic camera which concerns on 1st Embodiment. 第1の実施の形態に係る電子カメラのシステム構成を示すブロック図である。It is a block diagram which shows the system configuration | structure of the electronic camera which concerns on 1st Embodiment. 第1の実施の形態に係る電子カメラにおいてスローモーション動画及び静止画を撮影する際の処理について説明するためのフローチャートである。It is a flowchart for demonstrating the process at the time of image | photographing a slow motion moving image and a still image in the electronic camera which concerns on 1st Embodiment. スロー動画データ及び静止画データのファイル構成を示す図である。It is a figure which shows the file structure of slow moving image data and still image data. 第1の実施の形態に係る電子カメラにおいてスローモーション動画及び静止画を再生する際の処理について説明するためのフローチャートである。It is a flowchart for demonstrating the process at the time of reproducing | regenerating a slow motion moving image and a still image in the electronic camera which concerns on 1st Embodiment. 第2の実施の形態に係る電子カメラにおいてスローモーション動画及び静止画を撮影する際の処理について説明するためのフローチャートである。It is a flowchart for demonstrating the process at the time of image | photographing a slow motion moving image and a still image in the electronic camera which concerns on 2nd Embodiment. 表示部の表示例を示す図である。It is a figure which shows the example of a display of a display part. 第2の実施の形態に係る電子カメラにおいてスローモーション動画及び静止画のテーマ情報を設定する際の処理について説明するためのフローチャートである。It is a flowchart for demonstrating the process at the time of setting the theme information of a slow motion moving image and a still image in the electronic camera which concerns on 2nd Embodiment. スロー動画中の顔領域検出について説明するための図である。It is a figure for demonstrating the face area detection in a slow moving image. スロー動画中の被写体の輝度分布情報検出について説明するための図である。It is a figure for demonstrating the luminance distribution information detection of the to-be-photographed object in a slow moving image. 記憶部に記憶されているテーブルについて説明するための図である。It is a figure for demonstrating the table memorize | stored in the memory | storage part. 輝度点の時間に対する輝度変化を示すグラフである。It is a graph which shows the luminance change with respect to time of a luminance point. スロー動画中の被写体の動き情報検出について説明するための図である。It is a figure for demonstrating the detection of the motion information of the to-be-photographed object in a slow moving image.

以下、図面を参照して、本発明の第1の実施の形態に係る画像処理装置としての電子カメラについて説明する。図1は、第1の実施の形態に係る電子カメラ2の外観を示す背面図である。図1に示すように、電子カメラ2の背面には、LCD等により形成されるモニタとしての表示部4が設けられている。表示部4は、後述する撮像素子22からの撮像信号に基づくスルー画像、後述する記録媒体28に記録されている画像データに基づく静止画像や動画像、後述するスロー動画+静止画撮影モードにおいてスロー動画撮影に関する設定を行う際のメニュー画面、及び撮影に関する情報等を表示する。   Hereinafter, an electronic camera as an image processing apparatus according to a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a rear view showing an appearance of the electronic camera 2 according to the first embodiment. As shown in FIG. 1, a display unit 4 as a monitor formed by an LCD or the like is provided on the back surface of the electronic camera 2. The display unit 4 is a slow image based on an imaging signal from an imaging element 22 described later, a still image or a moving image based on image data recorded on a recording medium 28 described later, and a slow video + still image shooting mode described later. A menu screen for making settings related to moving image shooting and information related to shooting are displayed.

また、電子カメラ2の背面には、静止画撮影を指示するためのシャッタボタン6、撮影モードを変更するためのモードボタン8、様々な機能を設定する際に操作される機能設定ボタン10、メニュー項目等の選択や様々な設定時に操作される十字キー12、メニュー項目等の選択や様々な設定に対する確定操作を行うためのOKボタン14が設けられている。モードボタン8は、動画を撮影するための動画撮影モード、静止画を撮影するための静止画撮影モード、後述するスローモーション動画(以下、スロー動画という。)及びスロー動画に関連する静止画を撮影するためのスロー動画+静止画撮影モード等の撮影モードを選択するためのボタンであり、モードボタン8を押下する毎に選択可能な撮影モードに順次切り替わる。また、機能設定ボタン10は、モードボタン8において選択された撮影モード下において設定可能な機能について設定するためのメニュー画面を表示部4に表示させる際に操作されるボタンである。   Also, on the back of the electronic camera 2, a shutter button 6 for instructing still image shooting, a mode button 8 for changing the shooting mode, a function setting button 10 operated when setting various functions, a menu There are provided a cross key 12 that is operated at the time of selection of items and various settings, and an OK button 14 for selecting menu items and the like and confirming operations for various settings. The mode button 8 shoots a moving image shooting mode for shooting a moving image, a still image shooting mode for shooting a still image, a slow motion moving image (to be referred to as a slow moving image hereinafter) and a still image related to the slow moving image. This is a button for selecting a shooting mode such as a slow moving image + a still image shooting mode, and the mode is sequentially switched to a selectable shooting mode every time the mode button 8 is pressed. The function setting button 10 is a button that is operated when a menu screen for setting functions that can be set under the shooting mode selected by the mode button 8 is displayed on the display unit 4.

図2は、第1の実施の形態に係る電子カメラ2のシステム構成を示すブロック図である。図2に示すように、電子カメラ2は、マイクロプロセッサ等により構成され、電子カメラ2の各部を統括的に制御する制御部20を備えている。制御部20には、撮像素子22、バッファメモリ24、記憶部26、記録媒体28、表示部4、及び操作部30が接続されている。撮像素子22は、CCDまたはCMOS等により構成され、図示しない撮影レンズを介した被写体からの光を撮像し、制御部20は、撮像素子22から出力され、図示しないA/Dコンバータを介すことによりアナログ信号からデジタル信号に変換された撮像信号に基づく画像データを取得する。   FIG. 2 is a block diagram showing a system configuration of the electronic camera 2 according to the first embodiment. As shown in FIG. 2, the electronic camera 2 is configured by a microprocessor or the like, and includes a control unit 20 that comprehensively controls each unit of the electronic camera 2. An image sensor 22, a buffer memory 24, a storage unit 26, a recording medium 28, a display unit 4, and an operation unit 30 are connected to the control unit 20. The image sensor 22 is configured by a CCD or CMOS, and images light from a subject through a photographing lens (not shown). The control unit 20 is output from the image sensor 22 and passes through an A / D converter (not shown). Thus, image data based on the imaging signal converted from the analog signal to the digital signal is acquired.

バッファメモリ24は、撮像素子22からの撮像信号に基づき生成された画像データを一時的に記憶する。特に、電子カメラ2が例えばスロー動画を撮影するスロー動画+静止画撮影モード等に設定されている場合には、バッファメモリ24は、撮像素子22から動画像サイクル(60fps等)に同期して出力される撮像信号に基づく複数の画像データ、即ちスロー動画像を構成する複数のフレーム画像をFIFO(first in fist out)方式で順次記憶する。記憶部26は、スロー動画及びスロー動画に関連する静止画像の画像データに付加して記録するための「きらめき」「ゆらめき」「やすらぎ」「愛らしさ」等の複数のテーマ情報(後述する)、各テーマ情報に調和する音楽の音楽データ(後述する)等を記憶する。   The buffer memory 24 temporarily stores image data generated based on the imaging signal from the imaging element 22. In particular, when the electronic camera 2 is set to, for example, a slow movie + still image shooting mode for shooting a slow movie, the buffer memory 24 outputs from the image sensor 22 in synchronization with a moving image cycle (60 fps, etc.). A plurality of image data based on the captured image signal, that is, a plurality of frame images constituting the slow moving image are sequentially stored by a FIFO (first in first out) method. The storage unit 26 includes a plurality of pieces of theme information (described later) such as “sparkle”, “sway”, “easy”, and “loveliness” to be recorded in addition to the slow video and still image related to the slow video. Music data (to be described later) that is harmonized with each theme information is stored.

記録媒体28は、電子カメラ2に設けられたカードスロット(図示せず)に着脱可能に装着される可搬性を有する記録媒体であり、例えば、CFカード、SDカード、スマートメディア等が用いられる。記録媒体28には、バッファメモリ24に記憶されているフレーム画像のそれぞれに、制御部20内の図示しない縮小回路により動画用の解像度へのリサイズ(解像度大から小へ)処理、制御部20内の図示しない動画用信号処理回路により動画用の画像処理、及び制御部20内の図示しない動画用圧縮回路により動画用の圧縮処理を施すことにより作成される動画データやスロー動画データが記録される。また、記録媒体28には、バッファメモリ24に記憶されているフレーム画像に、制御部20内の図示しない静止画用信号処理回路により静止画像用の画像処理、制御部20内の図示しない静止画用圧縮回路により静止画像用の圧縮処理を施すことにより作成される静止画データや、撮影に関する情報等が記録される。操作部30は、電子カメラ2の電源をオン/オフする電源スイッチ(図示せず)、シャッタボタン6、モードボタン8、機能設定ボタン10、十字キー12、OKボタン14等を含んで構成されている。   The recording medium 28 is a portable recording medium that is detachably mounted in a card slot (not shown) provided in the electronic camera 2, and for example, a CF card, an SD card, smart media, or the like is used. In the recording medium 28, each frame image stored in the buffer memory 24 is resized to a moving image resolution (from a resolution large to a small) by a reduction circuit (not shown) in the control unit 20. The moving image data and the slow moving image data created by performing the moving image processing by the moving image signal processing circuit (not shown) and the moving image compression processing by the moving image compression circuit (not shown) in the control unit 20 are recorded. . In addition, the recording medium 28 includes a frame image stored in the buffer memory 24, a still image signal processing circuit (not shown) in the control unit 20 for image processing for a still image, and a still image (not shown) in the control unit 20. Still image data created by performing compression processing for still images by the compression circuit for use, information related to photographing, and the like are recorded. The operation unit 30 includes a power switch (not shown) for turning on / off the power of the electronic camera 2, a shutter button 6, a mode button 8, a function setting button 10, a cross key 12, an OK button 14, and the like. Yes.

この実施の形態に係る電子カメラ2では、所定時間の間に、単位時間に撮像素子22からの撮像信号に基づき生成されるフレーム画像の数を示す第1フレームレートより少ない第2フレームレートで再生されるスロー動画のスロー動画データを、撮像信号22からの撮像信号に基づく複数のフレーム画像に基づき作成し、かつ該スロー動画を形成する複数のフレーム画像の少なくとも1つのフレーム画像に基づく静止画像の静止画データを作成し、これらスロー動画データ及び静止画データを互いに関連付けて記録媒体28に記録することができる。以下、図3に示すフローチャートを参照して、この実施の形態に係る電子カメラ2においてスロー動画及び静止画像を撮影する際の処理について説明する。   In the electronic camera 2 according to this embodiment, playback is performed at a second frame rate that is smaller than the first frame rate indicating the number of frame images generated based on the imaging signal from the imaging device 22 per unit time during a predetermined time. The slow moving image data of the slow moving image is created based on a plurality of frame images based on the imaging signal from the imaging signal 22, and a still image based on at least one frame image of the plurality of frame images forming the slow moving image Still image data can be created, and these slow moving image data and still image data can be associated with each other and recorded on the recording medium 28. Hereinafter, with reference to the flowchart shown in FIG. 3, processing when the slow motion video and the still image are captured by the electronic camera 2 according to this embodiment will be described.

まず、ユーザーがモードボタン8を操作することによりスロー動画+静止画撮影モードに設定されると、制御部20は、スロー動画及び該スロー動画に関連する静止画像を撮影するためのスロー動画+静止画撮影モードに移行する(ステップS10)。そして、ユーザーにより機能設定ボタン10が押下されたか否かを判別する(ステップS11)。ステップS11において機能設定ボタン10が押下されたと判別された場合には(ステップS11、Yes)、制御部20は、これから撮影されるスロー動画及び静止画像の画像データに関連付けて記録されるテーマ情報を選択するためのテーマ情報選択画面を表示部4に表示する。テーマ情報は、これから撮影されるスロー動画と静止画像に基づく画像とを時系列に画像再生する際に再生される音楽に関する情報であって、最適な音楽の音楽データを、記憶部26に記憶されている複数の音楽データの中から選択するために使用される。   First, when the user operates the mode button 8 to set the slow movie + still image shooting mode, the control unit 20 causes the slow movie + still image to capture the slow movie and the still image related to the slow movie. The process proceeds to the image shooting mode (step S10). Then, it is determined whether or not the function setting button 10 has been pressed by the user (step S11). When it is determined in step S11 that the function setting button 10 has been pressed (step S11, Yes), the control unit 20 stores the theme information recorded in association with the image data of the slow movie and the still image to be captured. A theme information selection screen for selection is displayed on the display unit 4. The theme information is information related to music to be played back when time-sequentially playing back a slow movie and an image based on a still image, and the music data of the optimal music is stored in the storage unit 26. Used to select from a plurality of music data.

ユーザーは、複数のテーマ情報(例えば、「きらめき」「ゆらめき」「やすらぎ」「愛らしさ」等)の中から、所望のテーマ情報を十字キー12を用いて選択し、OKボタン14を押下する。制御部20は、ユーザーにより選択された所望のテーマ情報を記憶部26に記憶させる(ステップS12)。一方、ステップS11において機能設定ボタン10が押下されていないと判別された場合には(ステップS11、No)、制御部20は、デフォルトのテーマ情報(この実施の形態では、デフォルトのテーマ情報を「きらめき」とする。)を記憶部26に記憶させる(ステップS13)。   The user uses the cross key 12 to select desired theme information from among a plurality of pieces of theme information (for example, “blink”, “blink”, “relax”, “love”, etc.), and presses an OK button 14. The control unit 20 stores the desired theme information selected by the user in the storage unit 26 (step S12). On the other hand, when it is determined in step S11 that the function setting button 10 has not been pressed (No in step S11), the control unit 20 sets default theme information (in this embodiment, default theme information as “ Is stored in the storage unit 26 (step S13).

なお、ステップS10においてスロー動画+静止画撮影モードに移行したとき、テーマ情報の設定忘れを防止するために、ユーザーに対してテーマ情報を設定するよう促すための表示等を行うこともできる。また、ステップS11において機能設定ボタン10が押下されていないと判別された場合において(ステップS11、No)、制御部20は、デフォルトのテーマ情報に代えて、ユーザーにより前回設定されたテーマ情報を、これから撮影されるスロー動画及び静止画像のテーマ情報として記憶部26に記憶させる構成にすることもできる。   It should be noted that when the mode is changed to the slow motion image + still image shooting mode in step S10, a display for prompting the user to set the theme information can be performed in order to prevent forgetting the setting of the theme information. When it is determined in step S11 that the function setting button 10 has not been pressed (No in step S11), the control unit 20 replaces the default theme information with the theme information previously set by the user, It is also possible to adopt a configuration in which the storage unit 26 stores the slow motion video and still image theme information to be taken.

次に、制御部20は、ユーザーによりシャッタボタン6が半押しされたか否かを判別する(ステップS14)。そして、ステップS14においてシャッタボタン6が半押しされたと判別されると(ステップS14、Yes)、制御部20は、スロー動画及び静止画像の撮影準備、即ち主要被写体に対して合焦させ、スロー動画の撮影、即ちバッファメモリ24へのフレーム画像のバッファリングを開始する(ステップS15)。次に、制御部20は、ユーザーによりシャッタボタン6が全押しされたか否かを判別する(ステップS16)。そして、ステップS16においてシャッタボタン6が全押しされたと判別されると(ステップS16、Yes)、制御部20は、静止画像の撮影指示が入力されたと判断し、シャッタボタン6が全押しされてから所定時間が経過したか否かを判別する(ステップS17)。ステップS17において所定時間が経過したと判別された場合には(ステップS17、Yes)、制御部20は、スロー動画の撮影終了、即ちバッファメモリ24へのフレーム画像のバッファリングを終了する(ステップS18)。   Next, the control unit 20 determines whether or not the shutter button 6 is half-pressed by the user (step S14). If it is determined in step S14 that the shutter button 6 has been half-pressed (step S14, Yes), the control unit 20 prepares to shoot a slow movie and a still image, that is, focuses on the main subject, and the slow movie. Is started, that is, the buffering of the frame image to the buffer memory 24 is started (step S15). Next, the control unit 20 determines whether or not the shutter button 6 has been fully pressed by the user (step S16). When it is determined in step S16 that the shutter button 6 has been fully pressed (step S16, Yes), the control unit 20 determines that a still image shooting instruction has been input, and after the shutter button 6 has been fully pressed. It is determined whether or not a predetermined time has elapsed (step S17). If it is determined in step S17 that the predetermined time has elapsed (step S17, Yes), the control unit 20 ends the shooting of the slow movie, that is, the buffering of the frame image in the buffer memory 24 (step S18). ).

次に、制御部20は、スロー動画のスロー動画データ、及び静止画像の静止画データを作成する(ステップS19)。具体的には、シャッタボタン6が全押しされた時から第1所定時間(この実施の形態では、0.6秒)前までの間にバッファメモリ24にバッファリングされた複数のフレーム画像と、シャッタボタン6が全押しされた時から第2所定時間(ステップS17では所定時間、この実施の形態では0.4秒)後までの間にバッファメモリ24にバッファリングされた複数のフレーム画像とに基づいて、スロー動画データを作成する。即ち、撮像素子22から出力されるフレームレート(撮影フレームレート)と同等の第1フレームレート(例えば60フレーム/秒等)でバッファメモリ24に記憶されているフレーム画像を、第1フレームレートより少ない第2フレームレート(例えば第1フレームレートの1/2.5である24フレーム/秒等)でバッファメモリ24から読み出し、読み出したフレーム画像に対して制御部20内の縮小回路(不図示)により動画像用の解像度へのリサイズ(解像度大から小へ)処理、制御部20内の動画用信号処理回路(不図示)により動画用の画像処理(動画用圧縮処理含む)を施すことにより、スロー動画像データを作成する。なお、第1所定時間、第2所定時間及び第2フレームレートは、予め設定され、記憶部26に記憶されており、変更可能に構成されている。   Next, the control unit 20 creates slow moving image data of the slow moving image and still image data of the still image (step S19). Specifically, a plurality of frame images buffered in the buffer memory 24 between the time when the shutter button 6 is fully pressed and before the first predetermined time (in this embodiment, 0.6 seconds); A plurality of frame images buffered in the buffer memory 24 from when the shutter button 6 is fully pressed until after a second predetermined time (a predetermined time in step S17, 0.4 seconds in this embodiment). Based on this, slow video data is created. That is, the frame image stored in the buffer memory 24 at a first frame rate (for example, 60 frames / second, etc.) equivalent to the frame rate (shooting frame rate) output from the image sensor 22 is less than the first frame rate. The frame image is read from the buffer memory 24 at a second frame rate (for example, 24 frames / second which is 1 / 2.5 of the first frame rate), and the read frame image is reduced by a reduction circuit (not shown) in the control unit 20. Slowing by performing resizing to a resolution for moving images (from high resolution to low resolution) and moving image processing (including moving image compression processing) by a moving image signal processing circuit (not shown) in the control unit 20 Create moving image data. Note that the first predetermined time, the second predetermined time, and the second frame rate are set in advance and stored in the storage unit 26, and are configured to be changeable.

また、シャッタボタン6が全押しされた時に、撮像素子22から出力される撮像信号に基づくフレーム画像に基づいて、静止画データを作成する。即ち、シャッタボタン6が全押しされた時に、バッファメモリ24に記憶されたフレーム画像をバッファメモリ24から読み出し、読み出されたフレーム画像に対して制御部20内の静止画用信号処理回路(不図示)により静止画像用の画像処理(静止画用圧縮処理を含む)を施すことにより静止画データを作成する。   Still image data is created based on a frame image based on an imaging signal output from the imaging device 22 when the shutter button 6 is fully pressed. That is, when the shutter button 6 is fully pressed, the frame image stored in the buffer memory 24 is read out from the buffer memory 24, and the still image signal processing circuit (not in the control unit 20) is read from the read frame image. Still image data is created by performing image processing for still images (including still image compression processing) as shown in FIG.

次に、制御部20は、ステップS12またはS13において記憶部26に記憶させたテーマ情報を読み出し、読み出したテーマ情報、及びセットID情報を、ステップS19において作成されたスロー動画データ及び静止画データに関連付けて、記録媒体28に記録する(ステップS20)。具体的には、図4に示すように、テーマ情報T及びセットID情報Iを、スロー動画データの付属情報として、スロー動画データである動画・音声データMや他の情報と共に、所定の形式で、メーカー独自情報領域内に付加して記録媒体28に記録する。同様に、テーマ情報T及びセットID情報Iを、静止画データの付属情報として、静止画データである圧縮データ(画像)Sや他の情報と共に、Exif(Exchangable image file format)等の所定の形式で、APP1セグメントのメーカー独自情報領域内(Exifにおいてはメーカーノート内)に付加して記録媒体28に記録する。   Next, the control unit 20 reads the theme information stored in the storage unit 26 in step S12 or S13, and uses the read theme information and set ID information as the slow moving image data and still image data created in step S19. In association, the information is recorded on the recording medium 28 (step S20). Specifically, as shown in FIG. 4, the theme information T and the set ID information I are added as information attached to the slow video data in a predetermined format together with the video / audio data M that is slow video data and other information. The information is added to the manufacturer-specific information area and recorded on the recording medium 28. Similarly, the theme information T and the set ID information I are added to the still image data as predetermined information such as Exif (Exchangeable image file format) together with the compressed data (image) S which is still image data and other information. Thus, the information is added to the maker unique information area of the APP1 segment (in the manufacturer note in Exif) and recorded on the recording medium 28.

セットID情報Iは、異なるファイル(異なる拡張子を有するファイル)として記録媒体28に記録されるスロー動画データ及び静止画データを関連付けるための情報であり、制御部20は、スロー動画データ(または静止画データ)のセットID情報Iを参照することにより、同一のセットID情報Iを有する静止画データ(またはスロー動画データ)を該スロー動画データに関連する静止画データ(または該静止画データに関連するスロー動画データ)として認識する。   The set ID information I is information for associating slow moving image data and still image data recorded on the recording medium 28 as different files (files having different extensions). By referring to the set ID information I of the image data), the still image data (or slow movie data) having the same set ID information I is related to the still image data (or the still image data) related to the slow movie data. As slow video data).

なお、スロー動画データ及び静止画データへのセットID情報Iの付加に加えて、または代えて、スロー動画データ及び静止画データのファイル名を同一にすることにより、スロー動画データと静止画データとの関連を識別する構成にすることもできる。また、テーマ情報Tとして、各テーマ情報に割り当てられる数値がスロー動画データ及び静止画データの付属情報として記録されており、電子カメラ2は、例えば記憶部26内に各テーマ情報の数値を示すデータベースを有している。また、図4においては、スロー動画データとして、動画・音声データMが記録されているが、スロー動画を再生する際、動画に対応する音声をスロー動画と同時に再生しないため(後述する)、動画に対応する音声の録音を行わずに、動画データのみを記録することもできる。   In addition to or instead of adding the set ID information I to the slow moving image data and the still image data, the slow moving image data and the still image data are made the same by making the file names of the slow moving image data and the still image data the same. It is also possible to configure so as to identify the associations. Further, as the theme information T, numerical values assigned to the respective theme information are recorded as attached information of the slow moving image data and the still image data, and the electronic camera 2 is a database indicating the numerical values of the respective theme information in the storage unit 26, for example. have. In FIG. 4, moving image / audio data M is recorded as slow moving image data. However, when playing a slow moving image, the sound corresponding to the moving image is not reproduced simultaneously with the slow moving image (described later). It is also possible to record only moving image data without recording the sound corresponding to.

次に、図5に示すフローチャートを参照して、この実施の形態に係る電子カメラ2においてスロー動画及び静止画像を再生する際の処理について説明する。   Next, with reference to a flowchart shown in FIG. 5, processing when a slow moving image and a still image are reproduced in the electronic camera 2 according to this embodiment will be described.

まず、ユーザーがモードボタン8等を操作することにより再生モードに設定されると、制御部20は、記録媒体28に記録されている画像データの画像(スロー動画や静止画像)を再生するための再生モードに移行する(ステップS30)。そして、ユーザーにより操作部30を介してスロー動画の再生指示がなされたか否かを判別する(ステップS31)。スロー動画の再生指示は、十字キー12、コマ送りボタン(不図示)、あるいはOKボタン14などに対する使用者の操作によって行われる。この操作としては、例えば、表示部4に撮影日時の順(古い順または新しい順)に画像(スロー動画や静止画像等)が表示されている場合に、十字キー12の左ボタン(次の画像表示を指示する操作部材)、或いは十字キー12の右ボタン(前の画像表示を指示する操作部材)、或いはコマ送りボタンを操作すること、などが挙げられる。或いは、記録媒体28に記録されている画像データのサムネイル画像(この場合のサムネイル画像は、スチルレリーズ時に取得された静止画像のサムネイル画像である。スロー動画の場合には、スロー動画取得時と同時に取得された静止画像(シャッタレリーズタイミングに取得された静止画像)に対応するサムネイル画像である)の一覧が表示されている場合に、十字キー12等を用いたスロー動画に関連するサムネイル画像を選択した後に操作される、OKボタン14に対する押下操作等も挙げられる。   First, when the reproduction mode is set by the user operating the mode button 8 or the like, the control unit 20 reproduces an image (slow moving image or still image) of the image data recorded on the recording medium 28. The playback mode is entered (step S30). And it is discriminate | determined whether the reproduction | regeneration instruction | indication of the slow moving image was made by the user via the operation part 30 (step S31). The instruction to reproduce the slow motion video is made by the user's operation on the cross key 12, the frame advance button (not shown), the OK button 14, or the like. As this operation, for example, when images (slow movies, still images, etc.) are displayed on the display unit 4 in order of shooting date (oldest or newest), the left button (next image) of the cross key 12 is displayed. For example, an operation member for instructing display), a right button of the cross key 12 (an operation member for instructing display of the previous image), or a frame advance button. Alternatively, the thumbnail image of the image data recorded in the recording medium 28 (in this case, the thumbnail image is a thumbnail image of a still image acquired at the time of the still release. When the list of acquired still images (thumbnail images corresponding to the still images acquired at the shutter release timing) is displayed, select a thumbnail image related to the slow movie using the cross key 12 or the like. For example, a pressing operation on the OK button 14 that is operated after the operation is performed.

ステップS31においてスロー動画の再生指示がなされたと判別された場合には(ステップS31、Yes)、制御部20は、再生指示がなされたスロー動画のスロー動画データに付加されているセットID情報に基づいて、スロー動画データに関連する静止画データ、即ちスロー動画を形成する複数のフレーム画像のうちの1枚のフレーム画像により形成される静止画像の静止画データを識別する。そして、該スロー動画データ及び該静止画データに基づくスロー動画及び静止画像をバッファメモリ24にバッファリングする。   If it is determined in step S31 that an instruction to play a slow movie has been issued (step S31, Yes), the control unit 20 is based on the set ID information added to the slow movie data of the slow movie for which the play instruction has been issued. Thus, still image data related to slow moving image data, that is, still image data of a still image formed by one frame image among a plurality of frame images forming the slow moving image is identified. Then, the slow moving image data and the still image based on the slow moving image data and the still image data are buffered in the buffer memory 24.

次に、制御部20は、再生指示がなされたスロー動画のスロー動画データに付加されているテーマ情報を取得する(ステップS32)。具体的には、スロー動画データに付加されているテーマ情報を示す数値を取得し、記憶部26に記憶されている各テーマ情報の数値を示すデータベースから、スロー動画のテーマ情報、例えば「きらめき」「ゆらめき」「やすらぎ」「愛らしさ」等を識別する。   Next, the control unit 20 acquires the theme information added to the slow video data of the slow video for which the reproduction instruction has been given (step S32). Specifically, the numerical value indicating the theme information added to the slow moving image data is acquired, and the slow moving image theme information, for example, “glitter”, is obtained from the database indicating the numerical value of each theme information stored in the storage unit 26. “Yuremeki”, “Ease”, “Love”, etc. are identified.

次に、制御部20は、ステップS32において取得したテーマ情報に基づいて、スロー動画を再生する際に、BGMとして再生する音楽を決定する(ステップS33)。具体的には、テーマ情報毎に設定され、記憶部26に記憶されている複数の音楽データの中から、ステップS32にて取得したテーマ情報の場合に再生される音楽として設定されている音楽データを記憶部26から選択し、選択した音楽データに基づく音楽をバッファメモリ24にバッファリングする。   Next, based on the theme information acquired in step S32, the control unit 20 determines music to be played back as BGM when playing back a slow video (step S33). Specifically, music data set for each theme information and set as music to be played in the case of the theme information acquired in step S32 from a plurality of music data stored in the storage unit 26. Is selected from the storage unit 26, and music based on the selected music data is buffered in the buffer memory 24.

次に、制御部20は、表示部4の表示画面を一旦暗転させた後、バッファメモリ24にバッファリングされたスロー動画及び音楽の再生を開始する(ステップS34)。具体的には、第1所定時間の間に撮影された複数のフレーム画像と、第2所定時間の間に撮影された複数のフレーム画像とを、第1フレームレート(撮影フレームレート)より少ない第2フレームレートで、表示部4に時系列に画像表示すると同時に、BGMとして音楽を再生する。このとき、スロー動画の再生開始から所定時間(約0.5秒)かけてスロー動画がフェードインする等のトランジションエフェクトを施す。   Next, the control unit 20 once darkens the display screen of the display unit 4, and then starts to play back the slow video and music buffered in the buffer memory 24 (step S34). Specifically, a plurality of frame images taken during the first predetermined time and a plurality of frame images taken during the second predetermined time are less than the first frame rate (shooting frame rate). At the same time, images are displayed in time series on the display unit 4 at a two frame rate, and at the same time, music is reproduced as BGM. At this time, a transition effect such as the slow video fading in over a predetermined time (about 0.5 seconds) from the start of slow video playback is applied.

制御部20は、スロー動画及び音楽の再生中、ユーザーにより操作部30を介したスロー動画及び音楽の再生停止の指示がなされたか否かを判別する(ステップS42)。スロー動画及び音楽の再生停止の指示としては、操作部30のOKボタン14の押下等が挙げられる。制御部20は、スロー動画及び音楽の再生停止の指示がなされたと判別した場合(ステップS42、Yes)、スロー動画及び音楽の再生を停止し、バッファメモリ24にバッファリングされた静止画像を表示部4に表示する(ステップS43)。   The control unit 20 determines whether or not the user has instructed to stop the playback of the slow video and music through the operation unit 30 during the playback of the slow video and music (step S42). An instruction to stop playback of the slow video and music includes pressing the OK button 14 of the operation unit 30 and the like. If the control unit 20 determines that an instruction to stop playback of the slow video and music has been given (step S42, Yes), the control unit 20 stops playback of the slow video and music and displays the still image buffered in the buffer memory 24. 4 is displayed (step S43).

制御部20は、静止画像の再生停止指示がなされたか否かを判別する(ステップS44)。静止画像の表示停止の指示としては、例えば静止画像の表示中であって、スロー動画の再表示を指示するOKボタン14、次の画像表示を指示する十字キー12の左ボタン、前の画像表示を指示する十字キー12の右ボタンの押下等が挙げられる。ステップS44において静止画像の表示停止の指示がなされたと判別した場合(ステップS44、Yes)、制御部20は静止画像の表示部14への表示を停止する(ステップS45)。   The control unit 20 determines whether or not a still image reproduction stop instruction has been issued (step S44). As instructions for stopping the display of still images, for example, while still images are being displayed, an OK button 14 for instructing the redisplay of the slow movie, the left button of the cross key 12 for instructing the next image display, the previous image display For example, pressing the right button of the cross key 12 is used. If it is determined in step S44 that an instruction to stop displaying still images has been issued (step S44, Yes), the control unit 20 stops displaying still images on the display unit 14 (step S45).

一方、ステップS42においてスロー動画及び音楽の再生停止の指示がなされない場合(ステップS42、No)には、制御部20は、スロー動画及び音楽の再生を継続し、スロー動画の再生終了から所定時間(約0.5秒)前から、スロー動画の再生終了までの間、スロー動画がフェードアウトする等のトランジションエフェクトを施す。   On the other hand, when the instruction to stop the reproduction of the slow video and music is not given in Step S42 (No in Step S42), the control unit 20 continues the reproduction of the slow video and the music, and the predetermined time has elapsed from the end of the slow video reproduction. A transition effect such as fading out the slow video is applied from before (approximately 0.5 seconds) until the end of the slow video playback.

そして、制御部20は、スロー動画の再生が終了したと判別した場合(ステップS35、Yes)、例えば第1所定時間が0.6秒、第2所定時間が0.4秒、第2フレームレートが第1フレームレートの1/2.5の場合にあっては2.5秒経過した後、バッファメモリ24にバッファリングされた静止画像を表示部4に表示する(ステップS36)。   Then, when the control unit 20 determines that the reproduction of the slow movie has ended (step S35, Yes), for example, the first predetermined time is 0.6 seconds, the second predetermined time is 0.4 seconds, and the second frame rate. In the case where is 1 / 2.5 of the first frame rate, after 2.5 seconds have elapsed, the still image buffered in the buffer memory 24 is displayed on the display unit 4 (step S36).

このとき、静止画像の再生開始から所定時間(約0.5秒)かけて静止画像がフェードインする等のトランジションエフェクトを施す。また、音楽は、スロー動画の再生終了や静止画像の再生開始にかかわらず、音楽が終了するまで再生を継続する。   At this time, a transition effect such as fading in the still image over a predetermined time (about 0.5 seconds) from the start of reproduction of the still image is performed. The music continues to be played until the music ends, regardless of whether the slow video playback ends or the still image playback starts.

次に、制御部20は、ユーザーにより操作部30を介して静止画像の表示停止の指示がなされたか否かを判別する(ステップS37)。静止画像の表示停止の指示としては、例えば静止画像の表示中であって、スロー動画の再表示を指示するOKボタン14、次の画像表示を指示する十字キー12の左ボタン、前の画像表示を指示する十字キー12の右ボタンの押下等が挙げられる。   Next, the control unit 20 determines whether or not an instruction to stop displaying a still image has been given by the user via the operation unit 30 (step S37). As instructions for stopping the display of still images, for example, while still images are being displayed, an OK button 14 for instructing the redisplay of the slow movie, the left button of the cross key 12 for instructing the next image display, the previous image display For example, pressing the right button of the cross key 12 is used.

ステップS37において静止画像の表示停止の指示がなされたと判別された場合には(ステップS37、Yes)、制御部20は、静止画像を表示している間に、スロー動画の再生と同時にBGMとして再生開始した音楽の再生が終了したか否かを判別する(ステップS38)。例えばスロー動画の再生時間が2.5秒、音楽の再生時間が10秒である場合には、静止画像が表示部4に7.5秒より長く表示される前に、静止画像の表示停止の指示がなされると、音楽の再生は継続されているため、音楽の再生は終了していないと判別される。一方、静止画像が表示部4に7.5秒より長く表示された後に、静止画像の表示停止の指示がなされると、音楽の再生は既に終了しているため、音楽の再生は終了したと判別される。   If it is determined in step S37 that an instruction to stop displaying a still image has been given (step S37, Yes), the control unit 20 reproduces the slow motion video as a BGM while displaying the still image. It is determined whether or not the reproduction of the started music is finished (step S38). For example, when the playback time of the slow movie is 2.5 seconds and the playback time of the music is 10 seconds, the display of the still image is stopped before the still image is displayed on the display unit 4 for longer than 7.5 seconds. When the instruction is given, it is determined that the music reproduction is not finished because the music reproduction is continued. On the other hand, if an instruction to stop displaying the still image is given after the still image is displayed on the display unit 4 for longer than 7.5 seconds, the music playback has already ended. Determined.

ステップS38において音楽の再生が終了したと判別された場合には(ステップS38、Yes)、制御部20は、静止画像の表示部4への表示を停止する(ステップS39)。一方、ステップS38において音楽の再生が終了していないと判別された場合には(ステップS38、No)、制御部20は、静止画像の表示部4への表示、及び音楽の再生を停止する(ステップS40)。   When it is determined in step S38 that the music reproduction has ended (step S38, Yes), the control unit 20 stops displaying the still image on the display unit 4 (step S39). On the other hand, when it is determined in step S38 that the music reproduction has not ended (step S38, No), the control unit 20 stops the display of the still image on the display unit 4 and the music reproduction ( Step S40).

第1の実施の形態に係る電子カメラ2によれば、スロー動画及び該スロー動画に関連する静止画像のテーマ情報を設定するため、スロー動画と、該スロー動画に関連する静止画像と共に再生される最適な音楽をテーマ情報に基づいて自動的に選択することができる。また、スロー動画を再生した後に該スロー動画に関連する静止画像を再生し、これらスロー動画及び静止画像を再生する際、フェードイン・フェードアウト・クロスフェード等のトランジションエフェクトを効果的に使用するため、スロー動画と静止画像の関連性を印象付けると共に、スロー動画が静止画撮影時前後の動画であること(静止画像がスロー動画を形成する複数のフレーム画像のうちの1枚のフレーム画像であること)を、ユーザーに直感的に認識させることができる。   According to the electronic camera 2 according to the first embodiment, in order to set the theme information of the slow movie and the still image related to the slow movie, the electronic camera 2 is reproduced together with the slow movie and the still image related to the slow movie. The optimal music can be automatically selected based on the theme information. In addition, after playing a slow video, play still images related to the slow video, and when playing these slow videos and still images, in order to effectively use transition effects such as fade-in, fade-out, cross-fade, Impress the relationship between the slow video and the still image, and the slow video is the video before and after the still image shooting (the still image is one of the frame images forming the slow video) ) Can be intuitively recognized by the user.

次に、図面を参照して、本発明の第2の実施の形態に係る画像処理装置としての電子カメラについて説明する。第2の実施の形態に係る電子カメラにおいては、第1の実施の形態に係る電子カメラ2の構成と同一の構成を有しているため、その説明を省略し、同一の構成には同一の符号を用いて説明を行う。   Next, an electronic camera as an image processing apparatus according to the second embodiment of the present invention will be described with reference to the drawings. Since the electronic camera according to the second embodiment has the same configuration as that of the electronic camera 2 according to the first embodiment, the description thereof is omitted, and the same configuration is the same. Explanation will be made using reference numerals.

この第2の実施の形態では、制御部20は、所定時間の間に、単位時間に撮像素子22からの撮像信号に基づき生成されるフレーム画像の数を示す第1フレームレートより少ない第2フレームレートで再生されるスロー動画のスロー動画データ、及び該スロー動画を形成する複数のフレーム画像の少なくとも1つのフレーム画像に基づく静止画像の静止画データを作成し、作成されたスロー動画データ及び静止画データの少なくとも一方を解析し、解析結果に基づいてテーマ情報を設定する。以下、図6に示すフローチャートを参照して、この実施の形態に係る電子カメラ2においてスロー動画及び静止画像を撮影する際の処理について説明する。なお、ステップS50及びS51の処理は、図3に示すステップS10及びS11の処理と同一のため、その説明を省略する。   In the second embodiment, the control unit 20 has a second frame that is less than the first frame rate indicating the number of frame images generated based on the imaging signal from the imaging element 22 per unit time during a predetermined time. Slow moving image data and still image created by creating slow moving image data of a slow moving image to be reproduced at a rate and still image data of a still image based on at least one frame image of a plurality of frame images forming the slow moving image Analyze at least one of the data and set theme information based on the analysis results. Hereinafter, with reference to the flowchart shown in FIG. 6, processing when the electronic camera 2 according to this embodiment captures a slow moving image and a still image will be described. In addition, since the process of step S50 and S51 is the same as the process of step S10 and S11 shown in FIG. 3, the description is abbreviate | omitted.

ステップS51において機能設定ボタン10が押下されたと判別された場合には(ステップS51、Yes)、制御部20は、図7に示すようなテーマ情報選択画面32を表示部4に表示する。ユーザーは、複数のテーマ情報(図7では、「AUTO」「きらめき」「ゆらめき」「やすらぎ」「愛らしさ」)の中から、所望のテーマ情報を十字キー12を用いて選択し、OKボタン14を押下する。ここで、図7に示す「AUTO」は、電子カメラ2(制御部20)が、これから撮影されるスロー動画のスロー動画データ及び静止画像の静止画データの少なくとも一方を解析し、その解析結果に基づいてテーマ情報を自動で設定する際に選択される。   If it is determined in step S51 that the function setting button 10 has been pressed (step S51, Yes), the control unit 20 displays the theme information selection screen 32 as shown in FIG. The user selects desired theme information from among a plurality of pieces of theme information (in FIG. 7, “AUTO”, “Kirameki”, “Yurameki”, “Ease”, “Loveliness”) using the cross key 12, and the OK button 14 Press. Here, “AUTO” shown in FIG. 7 indicates that the electronic camera 2 (the control unit 20) analyzes at least one of slow moving image data of a slow moving image and still image data of a still image to be shot. It is selected when the theme information is automatically set based on this.

次に、制御部20は、ユーザーにより図7に示すテーマ情報選択画面32において「AUTO」が選択されたか否かを判別する(ステップS52)。ステップS52において「AUTO」が選択されていないと判別された場合には(ステップS52、No)、制御部20は、ユーザーにより選択された所望のテーマ情報(図7では、「AUTO」以外の「きらめき」「ゆらめき」「やすらぎ」「愛らしさ」のいずれか)を記憶部26に記憶させ(ステップS53)、ステップS54の処理に進む。   Next, the control unit 20 determines whether or not “AUTO” has been selected on the theme information selection screen 32 shown in FIG. 7 by the user (step S52). If it is determined in step S52 that “AUTO” has not been selected (No in step S52), the control unit 20 selects desired theme information selected by the user (in FIG. 7, “AUTO” other than “AUTO”). “Sparkle”, “Sway”, “Ease”, or “Love” is stored in the storage unit 26 (step S53), and the process proceeds to step S54.

一方、ステップS51において機能設定ボタン10が押下されていないと判別された場合には(ステップS51、No)、制御部20は、デフォルトのテーマ情報として「AUTO」が選択されたものと判断し、ステップS54の処理に進む。同様に、ステップS52において「AUTO」が選択されたと判別された場合には(ステップS52、Yes)、制御部20は、ステップS54の処理に進む。なお、ステップS54〜S59の処理は、図3に示すステップS14〜S19の処理と同一のため、その説明を省略する。   On the other hand, when it is determined in step S51 that the function setting button 10 has not been pressed (No in step S51), the control unit 20 determines that “AUTO” is selected as default theme information, The process proceeds to step S54. Similarly, if it is determined in step S52 that “AUTO” has been selected (step S52, Yes), the control unit 20 proceeds to the process of step S54. In addition, since the process of step S54-S59 is the same as the process of step S14-S19 shown in FIG. 3, the description is abbreviate | omitted.

ステップS59の処理を終えた後、制御部20は、テーマ情報の設定を行う(ステップS60)。図8は、図6に示すステップS60においてテーマ情報を設定する際の処理について説明するためのフローチャートである。   After finishing the process of step S59, the control part 20 sets theme information (step S60). FIG. 8 is a flowchart for explaining processing when setting theme information in step S60 shown in FIG.

まず、制御部20は、スロー動画データ及び静止画データが作成される前に、「AUTO」以外のテーマ情報が選択されたか否かを判別する(ステップS70)。即ち、図7に示すテーマ情報選択画面32において、「AUTO」以外の「きらめき」「ゆらめき」「やすらぎ」「愛らしさ」のいずれかがユーザーにより選択されたか否かを判別する。ステップS70において「AUTO」以外のテーマ情報が選択されたと判別された場合には(ステップS70、Yes)、制御部20は、図6に示すステップS53において記憶部26に記憶させたテーマ情報(「きらめき」「ゆらめき」「やすらぎ」「愛らしさ」のいずれか)を読み出し、読み出したテーマ情報を、図6に示すステップS59において作成されたスロー動画及び静止画データのテーマ情報として設定する(ステップS71)。   First, the control unit 20 determines whether theme information other than “AUTO” has been selected before the slow moving image data and the still image data are created (step S70). That is, in the theme information selection screen 32 shown in FIG. 7, it is determined whether or not any one of “Kirameki”, “Yurameki”, “Ease”, and “Love” other than “AUTO” has been selected by the user. When it is determined in step S70 that theme information other than “AUTO” has been selected (step S70, Yes), the control unit 20 stores the theme information (““ Read any of “Klameki”, “Yurameki”, “Ease”, and “Love”, and set the read theme information as theme information of the slow video and still image data created in Step S59 shown in FIG. 6 (Step S71). ).

一方、ステップS70において「AUTO」以外のテーマ情報が選択されていないと判別された場合(ステップS70、No)、即ち「AUTO」が選択されていると判別された場合には、制御部20は、撮影されたスロー動画中(スロー動画を形成するフレーム画像中)の被写体の顔領域を、周知の顔領域認識機能を用いて検出する(ステップS72)。例えば、図9に示すように、人物や動物(周知の動物顔認識機能を用いる)の顔を含む顔領域34,36,38を検出する。   On the other hand, if it is determined in step S70 that theme information other than “AUTO” is not selected (No in step S70), that is, if it is determined that “AUTO” is selected, the control unit 20 Then, the face area of the subject in the shot slow movie (in the frame image forming the slow movie) is detected using a known face area recognition function (step S72). For example, as shown in FIG. 9, face areas 34, 36, and 38 including faces of people and animals (using a well-known animal face recognition function) are detected.

次に、制御部20は、ステップS72において少なくとも1つの顔領域が検出されたか否かを判別する(ステップS73)。ステップS73において、図9に示すように、人物や動物の顔領域34,36,38が検出されたと判別された場合には(ステップS73、Yes)、制御部20は、周知の子供または動物の顔認識機能を用いて、その検出された顔領域34,36,38内の顔が子供または動物の顔であるか否かを判別する(ステップS74)。例えば、図9(a)に示すように顔領域34内の顔が大人の顔である場合には、子供または動物の顔でないと判別し(ステップS74、No)、図9(b)に示すように顔領域36,38内の顔が子供や動物の顔である場合には、子供または動物の顔であると判別する(ステップS74、Yes)。なお、この実施の形態では、ステップS72において複数の顔領域が検出され、検出された複数の顔領域のうちの少なくとも一つの顔領域内の顔が子供または動物の顔である場合には、子供または動物の顔であると判別されるよう構成されているものとする。   Next, the control unit 20 determines whether or not at least one face area is detected in step S72 (step S73). In step S73, as shown in FIG. 9, when it is determined that the face areas 34, 36, and 38 of the person or animal are detected (step S73, Yes), the control unit 20 controls the well-known child or animal. Using the face recognition function, it is determined whether or not the face in the detected face area 34, 36, 38 is a child or animal face (step S74). For example, if the face in the face area 34 is an adult face as shown in FIG. 9A, it is determined that the face is not a child or animal face (No in step S74) and shown in FIG. 9B. As described above, when the faces in the face regions 36 and 38 are faces of children or animals, it is determined that they are faces of children or animals (Yes in step S74). In this embodiment, a plurality of face areas are detected in step S72, and if the face in at least one of the detected plurality of face areas is a child or animal face, Or it shall be comprised so that it may be discriminate | determined as an animal's face.

ステップS74において子供または動物の顔であると判別された場合(ステップS74、Yes)、例えばスロー動画中に図9(b)に示すようなフレーム画像が含まれる場合には、制御部20は、図6に示すステップS59において作成されたスロー動画及び静止画データのテーマ情報として「愛らしさ」を設定する(ステップS75)。一方、ステップS74において子供または動物の顔でないと判別された場合(ステップS74、No)、例えば図9(a)に示すように、スロー動画中に大人の顔のみが含まれる場合には、制御部20は、周知の笑顔認識機能を用いて、その大人の顔が笑顔であるか否かを判別する(ステップS76)。ステップS76において笑顔であると判別された場合には(ステップS76、Yes)、制御部20は、図6に示すステップS59において作成されたスロー動画及び静止画データのテーマ情報として「やすらぎ」を設定する(ステップS77)。これら顔認識関連の情報は、撮影後の静止画像または動画からの検出としているが、撮影時に顔認識処理を行う機能がカメラに搭載されている場合、その顔認識情報を記憶しておき、この保存時のテーマ情報設定に利用するようにしてもよい。それにより保存時の処理を一部省略でき、保存時間を短縮することも可能である。   When it is determined in step S74 that the face is a child or animal (step S74, Yes), for example, when a frame image as shown in FIG. “Loveliness” is set as the theme information of the slow video and still image data created in step S59 shown in FIG. 6 (step S75). On the other hand, if it is determined in step S74 that the face is not a child or animal (step S74, No), for example, as shown in FIG. The unit 20 determines whether or not the adult's face is a smile using a known smile recognition function (step S76). If it is determined in step S76 that it is a smile (step S76, Yes), the control unit 20 sets “easy” as the theme information of the slow video and still image data created in step S59 shown in FIG. (Step S77). These face recognition-related information is detected from still images or movies after shooting, but when the camera has a function for performing face recognition processing at the time of shooting, the face recognition information is stored in memory. You may make it utilize for the theme information setting at the time of a preservation | save. Thereby, part of the processing at the time of storage can be omitted, and the storage time can be shortened.

一方、ステップS73において人物や動物の顔領域が検出されていないと判別された場合(ステップS73、No)、またはステップS76において笑顔でないと判別された場合には(ステップS76、No)、制御部20は、スロー動画中の被写体の輝度分布情報を検出する(ステップS78)。具体的には、スロー動画中の被写体の輝度分布情報として、輝度強度、輝度強度が所定範囲内の輝度点の面積、所定面積以上の輝度点の数、所定面積以上の輝度点の輝度変化周期等を検出する。   On the other hand, if it is determined in step S73 that no face area of a person or animal has been detected (step S73, No), or if it is determined in step S76 that it is not a smile (step S76, No), the control unit 20 detects luminance distribution information of the subject in the slow video (step S78). Specifically, as the luminance distribution information of the subject in the slow movie, the luminance intensity, the area of the luminance point within the predetermined range, the number of luminance points over the predetermined area, the luminance change period of the luminance point over the predetermined area Etc. are detected.

この実施の形態では、例えば図10(a)に示すような水面を被写体とするスロー動画40の場合において、まず、所定最低輝度強度Imin以上かつ所定最高輝度強度Imax以下の輝度点を検出する。所定最低輝度強度Imin及び所定最高輝度強度Imaxは、予め設定されており、例えば図11に示すようなテーブルとして記憶部26に記憶されている。制御部20は、このテーブルを参照することにより所定最低輝度強度Imin及び所定最高輝度強度Imaxを取得し、所定最低輝度強度Imin以上かつ所定最高輝度強度Imax以下の輝度点を検出する。図10(a)に示すスロー動画40の場合において、検出された輝度点P1〜P7を図10(b)に示す。   In this embodiment, for example, in the case of a slow moving image 40 having a water surface as a subject as shown in FIG. 10A, first, a luminance point that is equal to or higher than a predetermined minimum luminance intensity Imin and equal to or lower than a predetermined maximum luminance intensity Imax is detected. The predetermined minimum luminance intensity Imin and the predetermined maximum luminance intensity Imax are set in advance, and are stored in the storage unit 26 as a table as shown in FIG. 11, for example. The control unit 20 obtains the predetermined minimum luminance intensity Imin and the predetermined maximum luminance intensity Imax by referring to this table, and detects a luminance point that is not less than the predetermined minimum luminance intensity Imin and not more than the predetermined maximum luminance intensity Imax. In the case of the slow movie 40 shown in FIG. 10A, the detected luminance points P1 to P7 are shown in FIG.

次に、制御部20は、検出された輝度点P1〜P7の面積を検出し、検出された輝度点P1〜P7の面積が所定面積より大きいか否かを判別する。所定面積は、予め設定されており、記憶部26に記憶されている。そして、制御部20は、所定面積より大きい輝度点(この実施の形態では、輝度点P1〜P7とする)の時間Tに対する輝度Iの変化を検出する。図12は、輝度点P7の時間Tに対する輝度Iの変化を示すグラフである。制御部20は、この時間Tに対する輝度Iの変化から、輝度点の輝度変化周期(Hz)を検出し、所定最低輝度変化周期Fimin以上かつ所定最高輝度変化周期Fimax以下の輝度変化周期の輝度点の数を検出する。所定最低輝度変化周期Fimin及び所定最高輝度変化周期Fimaxは、予め設定されており、例えば図11に示すようなテーブルとして記憶部26に記憶されている。   Next, the control unit 20 detects the areas of the detected luminance points P1 to P7, and determines whether or not the areas of the detected luminance points P1 to P7 are larger than a predetermined area. The predetermined area is set in advance and stored in the storage unit 26. And the control part 20 detects the change of the brightness | luminance I with respect to the time T of the brightness | luminance points (it is set as the brightness | luminance points P1-P7 in this embodiment) larger than a predetermined area. FIG. 12 is a graph showing a change in the luminance I with respect to the time T at the luminance point P7. The control unit 20 detects the luminance change period (Hz) of the luminance point from the change in the luminance I with respect to the time T, and the luminance point of the luminance change period not less than the predetermined minimum luminance change period Fimin and not more than the predetermined maximum luminance change period Fimax. Detect the number of The predetermined minimum luminance change period Fimin and the predetermined maximum luminance change period Fimax are set in advance, and are stored in the storage unit 26 as a table as shown in FIG. 11, for example.

次に、制御部20は、検出された輝度点の数が所定数min以上か否かを判別する。所定数minは、予め設定されており、例えば図11に示すようなテーブルとして記憶部26に記憶されている。そして、制御部20は、検出された輝度点の数が所定数min以上であると判別した場合には、テーマ情報として「きらめき」を設定する条件を満たしていると判別し(ステップS79、Yes)、図6に示すステップS59において作成されたスロー動画及び静止画データのテーマ情報として「きらめき」を設定する(ステップS80)。   Next, the control unit 20 determines whether or not the number of detected luminance points is a predetermined number min or more. The predetermined number min is set in advance, and is stored in the storage unit 26 as a table as shown in FIG. 11, for example. When determining that the number of detected luminance points is equal to or greater than the predetermined number min, the control unit 20 determines that the condition for setting “brilliant” as the theme information is satisfied (step S79, Yes). ), “Sparkle” is set as the theme information of the slow video and still image data created in Step S59 shown in FIG. 6 (Step S80).

一方、制御部20は、検出された輝度点の数が所定数min以上でないと判別した場合には、テーマ情報として「きらめき」を設定する条件を満たしていないと判別し(ステップS79、No)、スロー動画中の被写体の動き情報を検出する(ステップS81)。例えば、図13に示すような葉44がAからBへと往復移動を繰り返しているスロー動画42の場合において、まず、制御部20は、A−B間を往復移動する葉44の移動速度を算出し、算出結果に基づいて葉44の往復移動に係る往復周期を算出し、算出された往復周期が所定最低往復周期Fmin以上かつ所定最高往復周期Fmax以下であるか否かを判別する。所定最低往復周期Fmin及び所定最高往復周期Fmaxは、予め設定されており、例えば図11に示すようなテーブルとして記憶部26に記憶されている。そして、制御部20は、算出された往復周期が所定最低往復周期Fmin以上かつ所定最高往復周期Fmax以下であると判別した場合には、テーマ情報として「ゆらめき」を設定する条件を満たしていると判別し(ステップS82、Yes)、図6に示すステップS59において作成されたスロー動画及び静止画データのテーマ情報として「ゆらめき」を設定する(ステップS83)。   On the other hand, when it is determined that the number of detected luminance points is not equal to or greater than the predetermined number min, the control unit 20 determines that the condition for setting “brilliance” as the theme information is not satisfied (step S79, No). Then, the motion information of the subject in the slow movie is detected (step S81). For example, in the case of the slow movie 42 in which the leaf 44 is repeatedly reciprocating from A to B as shown in FIG. 13, the control unit 20 first determines the moving speed of the leaf 44 that reciprocates between A and B. And calculating a reciprocating cycle related to the reciprocating movement of the leaf 44 based on the calculation result, and determining whether or not the calculated reciprocating cycle is not less than a predetermined minimum reciprocating cycle Fmin and not more than a predetermined maximum reciprocating cycle Fmax. The predetermined minimum reciprocating cycle Fmin and the predetermined maximum reciprocating cycle Fmax are set in advance, and are stored in the storage unit 26 as, for example, a table as shown in FIG. When the control unit 20 determines that the calculated round-trip cycle is greater than or equal to the predetermined minimum round-trip cycle Fmin and less than or equal to the predetermined maximum round-trip cycle Fmax, the condition for setting “flicker” as theme information is satisfied. Judgment is made (step S82, Yes), and “fluctuation” is set as the theme information of the slow movie and still image data created in step S59 shown in FIG. 6 (step S83).

なお、移動する被写体が複数存在する場合には、例えば合焦位置に最も近い被写体等の代表の被写体の往復周期を算出する。一方、制御部20は、算出された往復周期が所定最低往復周期Fmin以上かつ所定最高往復周期Fmax以下でないと判別した場合には、テーマ情報として「ゆらめき」を設定する条件を満たしていないと判別し(ステップS82、No)、いずれの条件も満たしていない場合には、デフォルトのテーマ情報を設定する。または制御部20は、判定不可能と見做しテーマ情報選択画面32を表示部14に表示し、テーマ情報選択画面32から利用者が選択したテーマ情報に基づいてテーマ情報を設定する。(ステップS84)。   When there are a plurality of moving subjects, for example, the reciprocation cycle of a representative subject such as a subject closest to the in-focus position is calculated. On the other hand, when it is determined that the calculated reciprocation cycle is not less than the predetermined minimum reciprocation cycle Fmin and not more than the predetermined maximum reciprocation cycle Fmax, the control unit 20 determines that the condition for setting “flicker” as the theme information is not satisfied. However, if none of the conditions are satisfied, default theme information is set. Alternatively, the control unit 20 assumes that the determination is impossible, displays the theme information selection screen 32 on the display unit 14, and sets the theme information based on the theme information selected by the user from the theme information selection screen 32. (Step S84).

なお、図11のテーブルに示すテーマ情報「ゆらめき1」は、ユーザーが設定した条件(所定最低往復周期Fmin1及び所定最高往復周期Fmax1)を満たす場合に設定されるテーマ情報であり、算出された往復周期が、ユーザーにより設定された所定最低往復周期Fmin1以上かつ所定最高往復周期Fmax1以下であると判別された場合のみ、テーマ情報として「ゆらめき1」が設定される。このユーザーにより条件を設定することができる機能は、予め設定されている条件がユーザーの感覚に合わない場合等に有効である。また、他のテーマ情報(例えば、「きらめき」「やすらぎ」「愛らしさ」等)についても、ユーザーが独自の条件(輝度変化周期等)を設定し、制御部20がユーザー設定の条件を満たすか否かを判別し、判別結果に基づいてテーマ情報を設定することができる。また、図11に示すテーブルを、記憶部26でなく、サーバに記憶させておき、サーバから送信されるデータ信号を受信する受信部(図示せず)を電子カメラ2が備え、サーバから送信し、受信部により受信することによりテーブルを参照する構成にすることもできる。   The theme information “Yuremeki 1” shown in the table of FIG. 11 is theme information that is set when the conditions set by the user (the predetermined minimum reciprocation period Fmin1 and the predetermined maximum reciprocation period Fmax1) are satisfied. Only when it is determined that the period is not less than the predetermined minimum reciprocation period Fmin1 and not more than the predetermined maximum reciprocation period Fmax1 set by the user, "Yureki 1" is set as theme information. This function that allows the user to set conditions is effective when the preset conditions do not match the user's feeling. Also, for other theme information (for example, “brilliance”, “relaxation”, “loveliness”, etc.), whether the user sets unique conditions (such as a luminance change period) and whether the control unit 20 satisfies the user-set conditions It is possible to determine whether or not and set theme information based on the determination result. Further, the table shown in FIG. 11 is stored in the server instead of the storage unit 26, and the electronic camera 2 is provided with a receiving unit (not shown) for receiving a data signal transmitted from the server, and is transmitted from the server. The table may be referred to by being received by the receiving unit.

テーマ情報の設定を終えた後、制御部20は、図6に示すステップS60において設定したテーマ情報、及びセットID情報を、ステップS59において作成されたスロー動画データ及び静止画データに関連付けて、記録媒体28に記録する(ステップS61)。具体的な処理については、図3に示すステップS20の処理と同一のため、その詳細な説明を省略する。   After setting the theme information, the control unit 20 records the theme information and the set ID information set in step S60 shown in FIG. 6 in association with the slow motion picture data and the still image data created in step S59. Recording is performed on the medium 28 (step S61). Since the specific process is the same as the process of step S20 shown in FIG. 3, detailed description thereof is omitted.

次に、第2の実施の形態に係る電子カメラ2においてスロー動画及び静止画像を再生する際の処理について説明する。   Next, processing when a slow moving image and a still image are reproduced in the electronic camera 2 according to the second embodiment will be described.

まず、制御部20は、図5に示すステップS30〜S32の処理を実行する。そして、ステップS32の処理の後、即ち再生するスロー動画及び静止画像のテーマ情報を取得した後、取得したテーマ情報に基づいて、再生するスロー動画及び静止画像の少なくとも一方に対する画像処理を実行する。具体的には、再生するスロー動画及び静止画像の少なくとも一方に対する色調やトランジションエフェクト、再生するスロー動画の再生速度等を変化させる画像処理を実行する。   First, the control part 20 performs the process of step S30-S32 shown in FIG. Then, after the processing of step S32, that is, after acquiring the theme information of the slow video and still image to be played back, image processing is performed on at least one of the slow video and still image to be played back based on the acquired theme information. Specifically, image processing is performed to change the color tone or transition effect for at least one of the slow video to be played back and the still image, the playback speed of the slow video to be played back, and the like.

例えば、「レトロ」というテーマ情報を設定可能で、テーマ情報として「レトロ」が設定されている場合には、スロー動画や静止画像の色調をモノトーンやセピア調に変更する画像処理を実行する。また、「やすらぎ」や「ゆらめき」等のゆったりしたイメージのテーマ情報が設定されている場合には、スロー動画から静止画像に切り替わる際のトランジションエフェクト、即ちフェードイン及びフェードアウトの速度を設定速度より遅くする画像処理を実行する。具体的には、スロー動画を0.5秒かけてフェードアウトさせ、静止画像を0.5秒かけてフェードインさせるところを、スロー動画を0.7秒かけてフェードアウトさせ、静止画像を0.7秒かけてフェードインさせる等の画像処理を実行する。   For example, when the theme information “retro” can be set and “retro” is set as the theme information, image processing for changing the color tone of the slow movie or the still image to monotone or sepia is executed. In addition, if the theme information of a relaxed image such as “Easy” or “Fluctuation” is set, the transition effect when switching from a slow movie to a still image, that is, the speed of fade-in and fade-out is slower than the set speed. The image processing to be executed is executed. Specifically, the slow video is faded out over 0.5 seconds and the still image is faded in over 0.5 seconds. Image processing such as fading in over a second is executed.

また、「やすらぎ」や「ゆらめき」等のゆったりしたイメージのテーマ情報が設定されている場合には、スロー動画の再生速度を遅くする画像処理を実行する。具体的には、スロー動画の再生時間が2.5秒のところを、3.0秒や4.0秒にする画像処理を実行する。また、スロー動画中の被写体の輝度分布情報や動き情報を検出し、検出結果に基づいてスロー動画の再生速度を変化させる。   In addition, when the theme information of a relaxed image such as “Easy” or “Fluctuation” is set, image processing for slowing down the reproduction speed of the slow moving image is executed. Specifically, the image processing is executed to change the slow movie playback time from 2.5 seconds to 3.0 seconds or 4.0 seconds. In addition, the luminance distribution information and motion information of the subject in the slow video are detected, and the playback speed of the slow video is changed based on the detection result.

具体的には、上述したように、スロー動画中の被写体の、所定範囲内の往復周期を算出し、算出された往復周期に基づいて、スロー動画の再生速度を変化させる。例えば、算出された往復周期と、「ゆらめき」用に定義されている往復周期(図11参照)とを比較して、算出された往復周期が「ゆらめき」の往復周期に含まれているならば、「ゆらめき」の定義と調和するように、スロー動画の再生速度を変化させる。   Specifically, as described above, the reciprocation cycle within a predetermined range of the subject in the slow movie is calculated, and the playback speed of the slow movie is changed based on the calculated reciprocation cycle. For example, if the calculated round-trip cycle is included in the “round-trip cycle” of “flickering” by comparing the calculated round-trip cycle with the round-trip cycle defined for “flicker” (see FIG. 11). , To change the playback speed of the slow video to harmonize with the definition of “Yurameki”.

また、「きらめき」が設定されている場合には、上述したように、スロー動画中の被写体の、所定範囲内の輝度強度及び所定面積以上の面積を有する輝度点の輝度変化周期を算出し、算出された輝度変化周期に基づいて、スロー動画の再生速度を変化させる。例えば、算出された輝度変化周期と、「きらめき」用に定義されている輝度変化周期(図11参照)とを比較して、算出された輝度変化周期がどの「きらめき」の輝度変化周期に含まれているのかを特定し、その特定された「きらめき」の定義と調和するように、スロー動画の再生速度を変化させる。   In addition, when “brilliance” is set, as described above, the luminance change period of a luminance point having a luminance intensity within a predetermined range and an area equal to or larger than a predetermined area of the subject in the slow movie is calculated, Based on the calculated luminance change period, the playback speed of the slow video is changed. For example, the calculated luminance change period is compared with the luminance change period defined for “brilliance” (see FIG. 11), and the calculated luminance change period is included in which “brilliant” luminance change period. And the playback speed of the slow movie is changed so as to be in harmony with the specified definition of “glitter”.

次に、制御部20は、ステップS32において取得したテーマ情報、及びスロー動画の再生時間(再生速度)に基づいて、スロー動画を再生する際に、BGMとして再生する音楽を決定する(ステップS33)。このBGMとして再生される音楽はテーマ情報毎に設定され、複数の音楽の音楽データが記憶部26に記憶されている。第2の実施の形態では、スロー動画を再生した後、静止画像を再生するが、スロー動画から静止画像への切替り及びスロー動画と静止画像の関連性を印象付けるために、スロー動画から静止画像に切り替わるとき、テンポやリズムが変化する音楽の音楽データが記憶部26に記憶されている。例えば、スロー動画の再生時間が2.5秒、音楽の再生時間が10秒の場合には、スロー動画が再生されている間の2.5秒間の音楽のテンポやリズムは、スロー動画再生後、静止画像が再生されている間の7.5秒間の音楽のテンポやリズムと異なる。   Next, based on the theme information acquired in step S32 and the playback time (playback speed) of the slow video, the control unit 20 determines music to be played back as BGM when playing the slow video (step S33). . The music reproduced as BGM is set for each theme information, and music data of a plurality of music is stored in the storage unit 26. In the second embodiment, after a slow movie is played, a still image is played. However, in order to impress the relationship between the slow movie and the still image and the relationship between the slow movie and the still image, the still movie is stopped. When switching to an image, music data of music whose tempo or rhythm changes is stored in the storage unit 26. For example, when the slow video playback time is 2.5 seconds and the music playback time is 10 seconds, the tempo and rhythm of the music for 2.5 seconds during the slow video playback is This is different from the tempo and rhythm of music for 7.5 seconds while a still image is being reproduced.

なお、テーマ情報や被写体の動き情報に基づいて、スロー動画の再生時間が2.5秒から3.0秒、4.0秒と変化する場合があるため、テーマ情報毎に、2.5秒後にテンポやリズムが変化する音楽、3.0秒後にテンポやリズムが変化する音楽、及び4.0秒後にテンポやリズムが変化する音楽が設定され、各々の音楽データが記憶部26に記憶されている。   Note that the slow movie playback time may vary from 2.5 seconds to 3.0 seconds and 4.0 seconds based on theme information and subject movement information, so 2.5 seconds for each theme information. Music in which the tempo and rhythm change later, music in which the tempo and rhythm change in 3.0 seconds, and music in which the tempo and rhythm change in 4.0 seconds are set, and each music data is stored in the storage unit 26. ing.

制御部20は、テーマ情報及びスロー動画の再生時間に基づいて、記憶部26に記憶されている複数の音楽データの中から、一つの音楽データを選択し、選択した音楽データに基づく音楽をバッファメモリ24にバッファリングする。例えば、テーマ情報が「ゆらめき」で、スロー動画の再生時間が3.0秒の場合には、「ゆらめき」用に設定されている音楽で3.0秒後にテンポやリズムが変化する音楽の音楽データを選択する。   The control unit 20 selects one music data from the plurality of music data stored in the storage unit 26 based on the theme information and the playback time of the slow video, and buffers the music based on the selected music data. Buffer in memory 24. For example, if the theme information is “Yurameki” and the slow movie playback time is 3.0 seconds, the music that is set for “Yurameki” will change in tempo and rhythm after 3.0 seconds Select data.

ステップS33の処理の後、制御部20は、ステップS34〜S40の処理を実行する。このとき、テーマ情報に基づいて、スロー動画及び静止画像の少なくとも一方に対する画像処理、例えばスロー動画及び静止画像の少なくとも一方に対する色調やトランジションエフェクト、再生するスロー動画の再生速度等を変化させる画像処理を実行している場合には、画像処理後のスロー動画及び静止画像を再生する。   After the process of step S33, the control unit 20 executes the processes of steps S34 to S40. At this time, based on the theme information, image processing for at least one of the slow video and still image, for example, image processing for changing the color tone or transition effect for at least one of the slow video and still image, the playback speed of the slow video to be played back, etc. In the case of execution, the slow moving image and the still image after image processing are reproduced.

第2の実施の形態に係る電子カメラ2によれば、スロー動画及び該スロー動画に関連する静止画像のテーマ情報を自動で設定するため、スロー動画と、該スロー動画に関連する静止画像と共に再生される最適な音楽をテーマ情報に基づいて自動的に選択することができる。また第2の実施形態によれば、スロー動画及び静止画像を再生する際、テーマ情報や被写体の動き情報に基づいて、画像の色調やトランジションエフェクト、スロー動画の再生速度を変化させることができ、更に、スロー動画が再生されている間の音楽のテンポやリズムと、静止画像が再生されている間の音楽のテンポやリズムとを異ならせるため、スロー動画の鑑賞に適切な雰囲気、及び静止画像の鑑賞に適切な雰囲気を、それぞれ効果的に演出することができる。   According to the electronic camera 2 according to the second embodiment, the slow movie and the still image related to the slow movie are reproduced together with the slow movie and the still image related to the slow movie to automatically set the theme information of the still image related to the slow movie. The optimum music to be played can be automatically selected based on the theme information. Further, according to the second embodiment, when playing back a slow video and a still image, the color tone of the image, the transition effect, and the slow video playback speed can be changed based on the theme information and subject movement information. Furthermore, since the tempo and rhythm of the music while the slow video is being played is different from the tempo and rhythm of the music while the still image is being played back, an atmosphere suitable for watching slow videos and still images It is possible to effectively produce an atmosphere suitable for appreciation of each.

なお、第2の実施の形態においては、スロー動画の顔領域の検出結果、被写体の輝度分布情報の検出結果、及び被写体の動き情報の検出結果に基づいて、テーマ情報を設定しているが、スロー動画の顔領域の検出結果、被写体の輝度分布情報の検出結果、及び被写体の動き情報の検出結果の少なくとも一つに基づいて、テーマ情報を設定する構成にすることもできる。   In the second embodiment, the theme information is set based on the detection result of the face area of the slow video, the detection result of the luminance distribution information of the subject, and the detection result of the motion information of the subject. The theme information may be set based on at least one of the detection result of the slow motion face area, the detection result of the luminance distribution information of the subject, and the detection result of the motion information of the subject.

また、第2の実施の形態においては、テーマ情報または被写体の動き情報に基づいて、スロー動画の再生時間(換言すれば再生速度)を予め装置側にドラフト設定されている再生時間(2.5秒)からそれとは異なる再生時間(例えば3.0秒や4.0秒)に変化させている。そして、スロー動画再生時に同時に再生される音楽として、テンポやリズムが変化するタイミングがそれぞれ異なる、予め装置内に用意された複数の音楽データ(例えば変化タイミングが、音楽再生開始から2.5秒後、3.0秒後及び4.0秒後である3つの音楽データ)の中から、その変化タイミングがスロー動画の再生時間(すなわちスロー動画の再生終了タイミング = スロー動画再生から静止画再生への切り換わりタイミング)に等しい音楽データを1つ選んで、再生する。しかしながら、被写体の動き情報によっては、スロー動画の再生時間(換言すれば再生速度)を、3.0秒、4.0秒以外の再生時間(換言すれば再生速度)に変化させる方が最適な場合がある。しかし、だからといって、考えられうる様々なパターンの音楽データを事前に画像再生装置側に用意しておくことは、画像再生装置側のメモリ容量の効率的な利用という観点からすると望ましくない。   Further, in the second embodiment, based on the theme information or subject movement information, the playback time of slow video (in other words, the playback speed) is set to the playback time (2.5 which is set in advance on the device side). Seconds) to a different playback time (for example, 3.0 seconds or 4.0 seconds). A plurality of pieces of music data prepared in the apparatus in advance, each having different timings for changing the tempo and rhythm as music to be played at the same time during slow movie playback (for example, the change timing is 2.5 seconds after the start of music playback). , Three music data after 3.0 seconds and 4.0 seconds), the change timing is the playback time of the slow video (that is, the playback end timing of the slow video = from slow video playback to still image playback) One piece of music data equal to (switching timing) is selected and played. However, depending on the motion information of the subject, it is more optimal to change the slow movie playback time (in other words, playback speed) to a playback time other than 3.0 seconds or 4.0 seconds (in other words, playback speed). There is a case. However, it is not desirable from the viewpoint of efficient use of the memory capacity of the image playback device to prepare music data of various possible patterns in advance on the image playback device side.

そこで、このような場合には、予め画像再生装置内に用意されている音楽データを有効活用する。   Therefore, in such a case, music data prepared in advance in the image reproduction apparatus is effectively used.

1つの方法としては、例えば、選択された音楽データの再生時間(再生速度)を、スロー動画の再生時間(再生速度)に応じて変化させた上で、使用する。具体的に説明すると、例えば、被写体の動きに基づいて、スロー動画の再生時間が、ドラフト再生時間の2.5秒よりも倍の5秒間に変更されたとする。そして音楽データとしては、上記3つのパターン(テンポ又はリズムの変化タイミングが音楽再生開始からA=2.5秒後、B=3.0秒後、C=4.0秒後である、3パターンの音楽データ)しか備えていないとする。この場合、装置は、変化タイミングが、スロー動画再生時間の5秒に最も近い4.0秒であるCの音楽データを選択する。そして、このCの音楽データのテンポ又はリズムの変化タイミングが、音楽再生開始から5秒後になるように、Cの音楽データを加工(変調)する。そしてその加工後のCの音楽データを使って、5秒のスロー動画再生を行うようにする。なお変化させる対象としては、テンポやリズムだけでなく、音程なども変化させるようにしても良い。   As one method, for example, the playback time (playback speed) of the selected music data is changed in accordance with the playback time (playback speed) of the slow video, and then used. More specifically, for example, it is assumed that the playback time of the slow video is changed to 5 seconds, which is twice the draft playback time, based on the movement of the subject. The music data includes the above three patterns (three patterns in which the change timing of the tempo or rhythm is A = 2.5 seconds, B = 3.0 seconds, and C = 4.0 seconds after the start of music playback). Only music data). In this case, the apparatus selects the music data of C whose change timing is 4.0 seconds that is closest to 5 seconds of the slow video playback time. Then, the C music data is processed (modulated) so that the tempo or rhythm change timing of the C music data is 5 seconds after the start of the music reproduction. Then, using the processed music data C, a slow video reproduction of 5 seconds is performed. Note that the object to be changed may be not only the tempo and rhythm but also the pitch.

この手法によれば、例え音楽データの種類のストックが少なかったとしても、その音楽データを加工(変調や編集など)することによって、テンポやリズム、或いは音程をも、任意のタイミングで変更させた音楽データを得ることが出来、あたかも複数の音楽データを供えているのと同等の効果を得ることが出来る。   According to this method, even if there is little stock of music data types, the tempo, rhythm, or pitch can be changed at any timing by processing (modulating or editing) the music data. Music data can be obtained, and an effect equivalent to providing a plurality of music data can be obtained.

また別の方法としては、音楽データは加工せずにそのまま使用し、その代わりスロー動画の再生時間を音楽の再生時間に合わせる、という方法が考えられる。この場合において、スロー動画の再生速度は、被写体の動きに基づいて決定された再生速度のままにしておく。つまりこの方法の場合には、そのスロー動画を全て、再生時間内に再生完了することは出来ないが(途中で再生が打ち切られるが)、被写体の動きに応じたスロー動画を、予め用意された音楽データを使って再生することができる。具体的には、例えば再生時間が4.0秒以上の長さ(ex.5秒)に設定されたスロー動画を4.0秒間だけ再生する。そしてその時にBGMとして同時再生される音楽として、音楽再生開始から4.0秒後にテンポやリズムが変化する音楽を選択し、同時再生する。この手法によっても、記憶部26の記憶容量等の制限により、多くの音楽データを記憶できない場合等に有効である。また、音楽のテンポやリズムが変化する時間に拘束されることなく、被写体の動き情報に基づいてスロー動画の再生時間の長さを自由に設定することができる。   As another method, the music data is used as it is without being processed, and instead, the playback time of the slow video is matched with the playback time of the music. In this case, the playback speed of the slow video is kept at the playback speed determined based on the movement of the subject. In other words, in this method, it is not possible to complete the playback of all the slow videos within the playback time (although playback is interrupted halfway), a slow video corresponding to the movement of the subject is prepared in advance. It can be played back using music data. Specifically, for example, a slow motion video set with a playback time of 4.0 seconds or longer (ex. 5 seconds) is played back for 4.0 seconds. At that time, as music to be simultaneously reproduced as BGM, music whose tempo or rhythm changes 4.0 seconds after the start of music reproduction is selected and simultaneously reproduced. This method is also effective when a large amount of music data cannot be stored due to limitations on the storage capacity of the storage unit 26 and the like. In addition, the length of the playback time of the slow video can be freely set based on the movement information of the subject without being restricted by the time when the music tempo or rhythm changes.

また、第2の実施の形態においては、スロー動画や静止画像に対する色調やトランジションエフェクト、スロー動画の再生速度を変化させる画像処理を施したものを再生しているが、これら画像処理を施した後のスロー動画や静止画像を、画像処理を施す前のスロー動画及び静止画像に追加して、または代えて、記録媒体28に記録することができるようにしてもよい。   Also, in the second embodiment, the slow motion video and still images are reproduced with the color tone, transition effect, and image processing that changes the slow video playback speed. After these image processing has been performed, These slow moving images and still images may be recorded on the recording medium 28 in addition to or instead of the slow moving images and still images before image processing.

また、第2の実施の形態においては、スロー動画及び静止画像を再生するとき、スロー動画や静止画像に対する画像処理を実行しているが、スロー動画及び静止画像を記録するとき、スロー動画や静止画像に対する画像処理を実行してもよい。   In the second embodiment, when slow videos and still images are reproduced, image processing is performed on the slow videos and still images. However, when slow videos and still images are recorded, the slow videos and still images are recorded. Image processing may be performed on the image.

なお、上述の各実施の形態においては、画像処理装置として電子カメラ2を例に挙げて説明したが、電子カメラに限らず、撮像装置等により撮影されたスロー動画や静止画像に対して画像処理可能なパソコン等の他の画像処理装置においても本発明を適用することができる。また、上述の各実施の形態においては、電子カメラ2により撮影され、記録媒体28に記録されたスロー動画及び静止画像を再生しているが、他の撮像装置等により撮影され、記録媒体に記録されたスロー動画及び静止画像を電子カメラ2で再生することもできる。   In each of the above-described embodiments, the electronic camera 2 has been described as an example of the image processing device. However, the image processing is not limited to the electronic camera, and image processing is performed on slow moving images and still images captured by an imaging device or the like. The present invention can be applied to other image processing apparatuses such as a personal computer. Further, in each of the above-described embodiments, the slow motion video and the still image captured by the electronic camera 2 and recorded on the recording medium 28 are reproduced. However, they are captured by another imaging device or the like and recorded on the recording medium. The slow video and still images that have been played can also be reproduced by the electronic camera 2.

また、電子カメラ2においてスロー動画及び静止画像を撮影(記録)したときに設定されたテーマ情報を、電子カメラ2より高性能なテーマ情報設定機能を備えたパソコン等の画像処理装置において、スロー動画及び静止画像の再生時にスロー動画及び静止画像の少なくとも一方を解析し、解析結果に基づいて再設定することもできる。例えば、パソコン等の画像処理装置において、記録媒体に記録されているスロー動画データ及び静止画データを画像処理装置に設けられているハードディスク等に読み込むとき等、テーマ情報を再設定する処理を実行する。また、パソコン等の画像処理装置において、スロー動画及び静止画像を再生した際、ユーザーがBGMとして再生された音楽に違和感を覚えた場合や、設定されているテーマ情報を他のテーマ情報に変更したいと思った場合等、ユーザー操作によりテーマ情報を再設定するための画面を表示部に表示させ、テーマ情報を再設定する処理を実行することもできる。   Also, the theme information set when the electronic camera 2 captures (records) a slow movie and a still image is transferred to the slow motion movie in an image processing apparatus such as a personal computer having a higher-performance theme information setting function than the electronic camera 2. In addition, at the time of reproducing a still image, at least one of a slow moving image and a still image can be analyzed and reset based on the analysis result. For example, in an image processing apparatus such as a personal computer, a process for resetting theme information is executed, such as when slow moving image data and still image data recorded on a recording medium are read into a hard disk or the like provided in the image processing apparatus. . Also, when playing slow movies and still images on an image processing device such as a personal computer, if the user feels uncomfortable with the music played as BGM, or wants to change the set theme information to other theme information In such a case, a screen for resetting theme information can be displayed on the display unit by a user operation, and processing for resetting theme information can be executed.

また、上述の各実施の形態においては、スロー動画及び静止画像を撮影する直前または直後にテーマ情報を設定しているが、スロー動画及び静止画像を再生するとき、ユーザーがBGMとして再生された音楽に違和感を覚えたとき、設定されているテーマ情報を他のテーマ情報に変更したいと思ったとき等、スロー動画データ及び静止画データを記録媒体28に記録した後、設定されているテーマ情報を変更することもできる。この場合には、メニューの中に、テーマ情報を変更するためのメニュー項目を加え、メニュー画面を表示部4に表示し、十字キー12等を用いて操作することによりテーマ情報をユーザーにより手動で変更することもできる。なお、テーマ情報を自動または手動で再設定した際、再設定する前のテーマ情報から再設定した後のテーマ情報に変更して記録するか否かをユーザーに選択させる画面を表示する。ユーザーにより変更後のテーマ情報の記録が選択された場合には、制御部20は、再設定する前のテーマ情報を削除し、再設定した後のテーマ情報を新たに記録媒体26に記録する。一方、ユーザーにより変更後のテーマ情報の記録が選択されなかった場合には、制御部20は、テーマ情報を更新することなく、即ち再設定する前のテーマ情報が記録媒体26に記録された状態を維持する。   Further, in each of the above-described embodiments, the theme information is set immediately before or immediately after shooting the slow video and still image. However, when the slow video and still image are played back, the music played by the user as BGM is played back. If you feel a sense of discomfort, or if you want to change the set theme information to other theme information, record the slow movie data and still image data on the recording medium 28, and then change the set theme information. It can also be changed. In this case, a menu item for changing the theme information is added to the menu, the menu screen is displayed on the display unit 4, and the theme information is manually operated by the user by operating with the cross key 12 or the like. It can also be changed. When the theme information is reset automatically or manually, a screen is displayed that allows the user to select whether or not to change the theme information before resetting to the theme information after resetting. When recording of the changed theme information is selected by the user, the control unit 20 deletes the theme information before resetting and newly records the reset theme information on the recording medium 26. On the other hand, when recording of the changed theme information is not selected by the user, the control unit 20 does not update the theme information, that is, a state in which the theme information before resetting is recorded in the recording medium 26. To maintain.

また、上述の各実施の形態においては、記憶部26に記憶されている複数の音楽データの中から一つの音楽データを選択しているが、電子カメラ2が、サーバに記録され、サーバから送信される音楽データを受信する受信部(図示せず)を備え、テーマ情報及びスロー動画の再生時間に調和する音楽データをサーバから送信し、受信部により受信する構成にすることもできる。この場合には、サーバ内に格納されている多数の音楽データの中から最適な音楽データを選択することができ、記憶部26の記憶容量が小さい場合等、電子カメラ2が多くの音楽データを記憶することができない場合に有効である。   In each of the above-described embodiments, one music data is selected from a plurality of music data stored in the storage unit 26. However, the electronic camera 2 is recorded on the server and transmitted from the server. It is also possible to provide a receiving unit (not shown) for receiving the music data to be transmitted, transmitting music data that matches the theme information and the playback time of the slow video from the server, and receiving it by the receiving unit. In this case, the optimum music data can be selected from a large number of music data stored in the server, and when the storage capacity of the storage unit 26 is small, the electronic camera 2 can store a large amount of music data. This is effective when it cannot be memorized.

また、上述の各実施の形態においては、テーマ情報をスロー動画データ及び静止画データの両方に関連付けて、記録媒体28に記録しているが、スロー動画データと静止画データとのうちのいずれか一方に関連付けて、記録媒体28に記録してもよい。この場合には、制御部20は、テーマ情報が付加されているスロー動画データ(または静止画データ)のセットID情報から、関連する静止画データ(またはスロー動画データ)を識別し、スロー動画データ(または静止画データ)に付加されているテーマ情報が関連する静止画データ(またはスロー動画データ)のテーマ情報であると認識する。   In each of the above-described embodiments, the theme information is recorded on the recording medium 28 in association with both the slow moving image data and the still image data. However, any one of the slow moving image data and the still image data is recorded. You may record on the recording medium 28 in connection with one side. In this case, the control unit 20 identifies the related still image data (or slow video data) from the set ID information of the slow video data (or still image data) to which the theme information is added, and the slow video data It recognizes that the theme information added to (or still image data) is the theme information of the related still image data (or slow moving image data).

また、上述の各実施の形態においては、テーマ情報及びセットID情報をスロー動画データ及び静止画データの付属情報としてスロー動画データ及び静止画データに付加して記録しているが、スロー動画データ及び静止画データの画像ファイルと異なる設定ファイルを設け、テーマ情報及びセットID情報を、スロー動画データ及び静止画データの少なくとも一方に関連付けて、この設定ファイルに記録することもできる。   Further, in each of the above-described embodiments, the theme information and set ID information are added to the slow video data and the still image data and recorded as attached information of the slow video data and the still image data. A setting file different from the image file of the still image data may be provided, and the theme information and set ID information may be recorded in the setting file in association with at least one of the slow moving image data and the still image data.

また、上述の各実施の形態においては、スロー動画を再生した後、静止画像を再生しているが、静止画像を所定時間再生した後、スロー動画を再生することもできる。この場合には、静止画像の再生開始と同時に、テーマ情報に基づき決定された音楽の再生を開始する。また、上述の各実施の形態においては、スロー動画データ及び静止画データを作成し、記録媒体28に記録しているが、静止画データに代えて、静止画データに基づく画像として、1つの静止画像を所望期間連続するフレーム画像とするフリーズ動画を作成し、フリーズ動画のフリーズ動画データをスロー動画データと共に、記録媒体28に記録してもよい。この場合には、フリーズ動画データにテーマ情報及びセットID情報を付加し、再生時には、静止画像に代えてフリーズ動画を再生する。また、上述の各実施の形態においては、スロー動画を再生した後、静止画像を再生しているが、再生時に静止画像に基づいてフリーズ動画を生成し、静止画像に代えて、生成されたフリーズ動画を再生することもできる。なお、フリーズ動画データとスロー動画データは、1つのファイルとしてもよい。いずれの場合も、スロー動画データとフリーズ動画データの合計時間長さはBGMと同じ長さとする。   Further, in each of the above-described embodiments, a slow image is reproduced and then a still image is reproduced. However, a slow movie can be reproduced after a still image is reproduced for a predetermined time. In this case, playback of music determined based on the theme information is started simultaneously with the start of playback of the still image. In each of the above-described embodiments, the slow moving image data and the still image data are created and recorded on the recording medium 28. However, instead of the still image data, an image based on the still image data is one still image. It is also possible to create a freeze moving image in which the image is a frame image continuous for a desired period, and record the frozen moving image data of the frozen moving image together with the slow moving image data on the recording medium 28. In this case, theme information and set ID information are added to the freeze moving image data, and at the time of reproduction, the freeze movie is reproduced instead of the still image. Further, in each of the above-described embodiments, after playing a slow video, a still image is played back. However, a freeze video is generated based on the still image during playback, and the generated freeze is used instead of the still image. You can also play videos. Note that the freeze video data and the slow video data may be a single file. In any case, the total time length of the slow video data and the freeze video data is the same as that of the BGM.

また、上述の各実施の形態においては、テーマ情報毎に最適な音楽が記憶部26に記憶され、スロー動画及び静止画像のテーマ情報に基づいて音楽を決定し、決定された音楽をBGMとしてスロー動画及び静止画像と共に再生しているが、音楽に代えてまたは音楽に加えて、テーマ情報毎に最適な音声等の音を記憶部26に記憶させ、スロー動画及び静止画像のテーマ情報に基づいて音声等の音を決定し、決定された音声等の音をBGMとしてスロー動画及び静止画像と共に再生することもできる。   Further, in each of the above-described embodiments, the optimal music for each theme information is stored in the storage unit 26, music is determined based on the slow motion video and still image theme information, and the determined music is thrown as BGM. Although it plays with a moving image and a still image, instead of music or in addition to music, sound, such as the optimal sound for every theme information, is memorize | stored in the memory | storage part 26, and based on the theme information of a slow moving image and a still image It is also possible to determine a sound such as a sound and reproduce the determined sound such as a sound as a BGM together with a slow moving image and a still image.

なお、上述の各実施の形態においては、表示部4の表示画面を一旦暗転させた後、スロー動画の再生を開始するが、スロー動画が再生されることを印象付けるために、表示部4に表示されていた画像と、スロー動画を形成する最初のフレーム画像との間に、黒動画を所定時間(約0.5秒)表示部4に表示するようにしてもよい。   In each of the above-described embodiments, the display screen of the display unit 4 is once darkened, and then the reproduction of the slow movie is started. However, in order to impress that the slow movie is reproduced, A black moving image may be displayed on the display unit 4 for a predetermined time (about 0.5 seconds) between the displayed image and the first frame image forming the slow moving image.

2…電子カメラ、4…表示部、6…シャッタボタン、8…モードボタン、10…昨日設定ボタン、12…十字キー、14…OKボタン、20…制御部、22…撮像素子、24…バッファメモリ、26…記憶部、28…記録媒体。   2 ... electronic camera, 4 ... display unit, 6 ... shutter button, 8 ... mode button, 10 ... yesterday setting button, 12 ... cross key, 14 ... OK button, 20 ... control unit, 22 ... image sensor, 24 ... buffer memory , 26 ... storage unit, 28 ... recording medium.

Claims (22)

所定時間の間に、被写体からの光を撮像する撮像素子からの撮像信号に基づく複数のフレーム画像に基づき生成され、単位時間に前記撮像信号に基づき生成されるフレーム画像の数を示す第1フレームレートより少ない第2フレームレートで再生されるよう記録されるスローモーション動画像のスローモーション動画像データと、前記複数のフレーム画像の中の少なくとも1枚のフレーム画像に基づき静止画像として生成される静止画像用データとのうちの少なくとも一方に関連付けて、前記スローモーション動画像と前記静止画像用データに基づく画像とを時系列に画像再生する際に再生される音に関する情報であるテーマ情報を、記録媒体に記録する記録制御部と、
前記スローモーション動画像データと前記静止画像用データとのうちの少なくとも一方を解析する解析部と、
前記解析部による解析結果に基づいて、前記テーマ情報を設定する設定部とを備えることを特徴とする画像処理装置。
A first frame that is generated based on a plurality of frame images based on an imaging signal from an imaging device that captures light from a subject during a predetermined time, and indicates the number of frame images generated based on the imaging signal per unit time Still image generated as a still image based on slow motion moving image data of a slow motion moving image recorded to be played back at a second frame rate lower than the rate and at least one frame image of the plurality of frame images In association with at least one of the image data, the theme information, which is information related to sound to be reproduced when reproducing the slow motion moving image and the image based on the still image data in time series, is recorded. A recording control unit for recording on a medium;
An analysis unit that analyzes at least one of the slow motion moving image data and the still image data;
An image processing apparatus comprising: a setting unit configured to set the theme information based on an analysis result by the analysis unit.
スローモーションの動画及び前記スローモーションの動画に関連する静止画を表示部に表示する所定表示をする際に使用されるスローモーション動画像データ及び静止画像用データの少なくとも一方を解析した結果に基づいて前記所定表示をする際に再生される音に関するテーマ情報を設定する設定部と、
前記スローモーション動画像データ及び前記静止画像用データの少なくとも一方に関連付けて前記テーマ情報を記録媒体に記録する制御をする制御部とを備えることを特徴とする画像処理装置。
Based on the result of analyzing at least one of slow motion moving image data and still image data used when a predetermined display is performed to display a slow motion video and a still image related to the slow motion video on the display unit A setting unit for setting theme information relating to the sound to be played when the predetermined display is performed;
An image processing apparatus comprising: a control unit that controls to record the theme information on a recording medium in association with at least one of the slow motion moving image data and the still image data.
前記テーマ情報を複数記憶する記憶部と、
前記記憶部に記憶されている前記複数のテーマ情報の中から、所望のテーマ情報を選択可能な選択設定部と、を備え、
前記記録制御部は、前記選択設定部により選択設定されたテーマ情報を、前記スローモーション動画像データと前記静止画像用データとのうちの少なくとも一方に関連付けて前記記録媒体に記録することを特徴とする請求項1記載の画像処理装置。
A storage unit for storing a plurality of the theme information;
A selection setting unit capable of selecting desired theme information from the plurality of theme information stored in the storage unit,
The recording control unit records the theme information selected and set by the selection setting unit on the recording medium in association with at least one of the slow motion moving image data and the still image data. The image processing apparatus according to claim 1.
前記静止画像用データに基づく画像は、前記複数のフレーム画像の中の1枚のフレーム画像に基づき生成される静止画像であることを特徴とする請求項1または請求項3記載の画像処理装置。   4. The image processing apparatus according to claim 1, wherein the image based on the still image data is a still image generated based on one frame image of the plurality of frame images. 前記解析部は、前記スローモーション動画像データと前記静止画像用データとのうちの少なくとも一方から前記被写体の顔領域を認識する顔領域認識部を含み、
前記設定部は、前記顔領域認識部により認識された前記顔領域に基づいて、前記テーマ情報を設定することを特徴とする請求項1、請求項3及び請求項4の何れか一項に記載の画像処理装置。
The analysis unit includes a face area recognition unit that recognizes a face area of the subject from at least one of the slow motion moving image data and the still image data ,
The said setting part sets the said theme information based on the said face area | region recognized by the said face area | region recognition part, The Claim 1, The Claim 3 or Claim 4 characterized by the above-mentioned. Image processing apparatus.
前記解析部は、前記スローモーション動画像データから前記被写体の輝度分布情報を検出する輝度分布情報検出部を含み、
前記設定部は、前記輝度分布情報検出部により検出された前記輝度分布情報に基づいて、前記テーマ情報を設定することを特徴とする請求項1、請求項3及び請求項4の何れか一項に記載の画像処理装置。
The analysis unit includes a luminance distribution information detection unit that detects luminance distribution information of the subject from the slow motion moving image data ,
The said setting part sets the said theme information based on the said brightness distribution information detected by the said brightness distribution information detection part, The Claim 1, The Claim 3, and Claim 4 characterized by the above-mentioned. An image processing apparatus according to 1.
前記解析部は、前記スローモーション動画像データから前記被写体の動き情報を検出する動き情報検出部を含み、
前記設定部は、前記動き情報検出部により検出された前記動き情報に基づいて、前記テーマ情報を設定することを特徴とする請求項1、請求項3及び請求項4の何れか一項に記載の画像処理装置。
The analysis unit includes a motion information detection unit that detects motion information of the subject from the slow motion video data ,
The said setting part sets the said theme information based on the said motion information detected by the said motion information detection part, The Claim 1, The Claim 3, and Claim 4 characterized by the above-mentioned. Image processing apparatus.
前記解析部は、前記スローモーション動画像の再生時に前記解析を行い、
前記設定部は、前記スローモーション動画像データの前記記録媒体への記録時に前記設定部により設定された前記テーマ情報を、前記再生時の解析結果に基づいて再設定することを特徴とする請求項1及び請求項3〜請求項7の何れか一項に記載の画像処理装置。
The analysis unit performs the analysis when reproducing the slow motion video,
The said setting part resets the said theme information set by the said setting part at the time of recording to the said recording medium of the said slow motion moving image data based on the analysis result at the time of the said reproduction | regeneration. The image processing apparatus according to claim 1 or any one of claims 3 to 7.
前記テーマ情報に基づいて、前記スローモーション動画像と前記静止画像用データに基づく画像とのうちの少なくとも一方に対する画像処理を実行する画像処理部を更に備えることを特徴とする請求項1及び請求項3〜請求項8の何れか一項に記載の画像処理装置。   The image processing unit according to claim 1, further comprising: an image processing unit that performs image processing on at least one of the slow motion moving image and the image based on the still image data based on the theme information. The image processing apparatus according to any one of claims 3 to 8. 前記画像処理部は、前記スローモーション動画像と前記静止画像用データに基づく画像とのうちの少なくとも一方に対する色調、トランジションエフェクト、並びに前記スローモーション動画像の再生速度の少なくとも一つを変化させることを特徴とする請求項9記載の画像処理装置。   The image processing unit changes at least one of a color tone, a transition effect, and a reproduction speed of the slow motion moving image for at least one of the slow motion moving image and the image based on the still image data. The image processing apparatus according to claim 9. 前記解析部は、前記スローモーション動画像データから前記被写体の動き情報を検出する動き情報検出部を含み、
前記画像処理部は、前記動き情報検出部により検出された前記動き情報に基づいて、前記スローモーション動画像の再生速度を変化させることを特徴とする請求項9記載の画像処理装置。
The analysis unit includes a motion information detection unit that detects motion information of the subject from the slow motion video data ,
The image processing apparatus according to claim 9, wherein the image processing unit changes a reproduction speed of the slow motion moving image based on the motion information detected by the motion information detection unit.
前記テーマ情報に基づいて前記音を選択する選択部を備えることを特徴とする請求項1及び請求項3〜請求項11の何れか一項に記載の画像処理装置。   The image processing apparatus according to claim 1, further comprising a selection unit that selects the sound based on the theme information. 前記選択部は、前記スローモーション動画像の再生速度に基づいて、前記音を選択することを特徴とする請求項12記載の画像処理装置。   The image processing apparatus according to claim 12, wherein the selection unit selects the sound based on a reproduction speed of the slow motion moving image. サーバに記録され、前記サーバから送信される前記音を受信する受信部を備え、
前記受信部は、前記選択部により選択された前記音を受信することを特徴とする請求項12または請求項13記載の画像処理装置。
A receiver that receives the sound recorded on the server and transmitted from the server;
The image processing apparatus according to claim 12, wherein the reception unit receives the sound selected by the selection unit.
前記記録制御部は、前記テーマ情報を、前記スローモーション動画像データ及び前記静止画像用データの付属情報として、前記スローモーション動画像データ及び前記静止画像用データに付加して記録することを特徴とする請求項1及び請求項3〜請求項14の何れか一項に記載の画像処理装置。   The recording control unit records the theme information as additional information of the slow motion moving image data and the still image data added to the slow motion moving image data and the still image data. The image processing apparatus according to any one of claims 1 and 3 to 14. 前記音は、音楽または音声の少なくとも一方を含むことを特徴とする請求項1〜請求項15の何れか一項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the sound includes at least one of music and voice. 前記静止画像用データに基づく画像は、1つの静止画像を連続するフレーム画像として生成されるフリーズ動画像であることを特徴とする請求項1〜請求項16の何れか一項に記載の画像処理装置。   The image processing according to any one of claims 1 to 16, wherein the image based on the still image data is a frozen moving image generated as a continuous frame image of one still image. apparatus. 前記スローモーション動画像データを解析し、前記スローモーションの動画を構成するフレーム画像中の被写体の顔領域を認識する解析部を有し、
前記設定部は、前記解析部により認識された前記顔領域に基づいて、前記テーマ情報を設定することを特徴とする請求項2記載の画像処理装置。
An analysis unit that analyzes the slow motion moving image data and recognizes a face area of a subject in a frame image constituting the slow motion video;
The image processing apparatus according to claim 2, wherein the setting unit sets the theme information based on the face area recognized by the analysis unit.
前記スローモーション動画像データを解析し、前記スローモーションの動画中の被写体の輝度分布情報を検出する解析部を有し、
前記設定部は、前記解析部により検出された前記輝度分布情報に基づいて、前記テーマ情報を設定することを特徴とする請求項2記載の画像処理装置。
An analysis unit that analyzes the slow motion moving image data and detects luminance distribution information of a subject in the slow motion video;
The image processing apparatus according to claim 2, wherein the setting unit sets the theme information based on the luminance distribution information detected by the analysis unit.
前記スローモーション動画像データを解析し、前記スローモーションの動画中の被写体の動き情報を検出する解析部を有し、
前記設定部は、前記解析部により検出された前記動き情報に基づいて、前記テーマ情報を設定することを特徴とする請求項2記載の画像処理装置。
An analysis unit that analyzes the slow motion moving image data and detects movement information of a subject in the slow motion video;
The image processing apparatus according to claim 2, wherein the setting unit sets the theme information based on the motion information detected by the analysis unit.
前記解析部は、前記スローモーションの動画の再生時に前記解析を行い、
前記設定部は、前記スローモーションの動画の前記記録媒体への記録時に前記設定部により設定された前記テーマ情報を、前記再生時の解析結果に基づいて再設定することを特徴とする請求項18〜請求項20の何れか一項に記載の画像処理装置。
The analysis unit performs the analysis during playback of the slow motion video,
The setting unit, the theme information set by the setting unit at the time of recording on the recording medium of the slow motion video, billed you characterized in that re-set based on the analysis result at the time the reproduction Item 20. The image processing device according to any one of Items 18 to 20.
請求項1〜請求項21の何れか一項に記載の画像処理装置を含むカメラ。   A camera comprising the image processing apparatus according to any one of claims 1 to 21.
JP2011033157A 2011-02-18 2011-02-18 Image processing apparatus and camera Active JP5764964B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011033157A JP5764964B2 (en) 2011-02-18 2011-02-18 Image processing apparatus and camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011033157A JP5764964B2 (en) 2011-02-18 2011-02-18 Image processing apparatus and camera

Publications (2)

Publication Number Publication Date
JP2012175243A JP2012175243A (en) 2012-09-10
JP5764964B2 true JP5764964B2 (en) 2015-08-19

Family

ID=46977751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011033157A Active JP5764964B2 (en) 2011-02-18 2011-02-18 Image processing apparatus and camera

Country Status (1)

Country Link
JP (1) JP5764964B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6543147B2 (en) * 2015-09-14 2019-07-10 オリンパス株式会社 Image processing apparatus, photographing guide apparatus, imaging apparatus, image processing method and image processing program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4261317B2 (en) * 2002-11-25 2009-04-30 パナソニック株式会社 Short film generating and reproducing apparatus and method thereof
JP2006165767A (en) * 2004-12-03 2006-06-22 Nikon Corp Digital camera
JP2007172675A (en) * 2005-12-19 2007-07-05 Konica Minolta Photo Imaging Inc Reproduction device, program, and reproduction system
JP4743084B2 (en) * 2006-11-07 2011-08-10 カシオ計算機株式会社 Recording apparatus and recording program
JP2008153795A (en) * 2006-12-15 2008-07-03 Casio Comput Co Ltd Moving picture photographing device, moving picture reproduction control method, and moving picture reproduction control program
JP5058780B2 (en) * 2007-12-25 2012-10-24 キヤノン株式会社 Image processing device

Also Published As

Publication number Publication date
JP2012175243A (en) 2012-09-10

Similar Documents

Publication Publication Date Title
US8971689B2 (en) Imaging device and image-audio playback device
US8515237B2 (en) Imaging device and image processing apparatus
JP5528008B2 (en) Playback apparatus and playback method
EP1347455A2 (en) Contents recording/playback apparatus and contents edit method
JP2010187374A (en) Summary video-generating apparatus and summary video generating method
JP3870123B2 (en) Image processing apparatus, image processing method, program, and recording medium
JP2007329521A (en) Image reproducing system, digital camera and image reproducing apparatus
JP5682512B2 (en) Imaging apparatus and image / audio reproduction apparatus
JP5764964B2 (en) Image processing apparatus and camera
JP4348614B2 (en) Movie reproducing apparatus, imaging apparatus and program thereof
JP6229356B2 (en) Imaging apparatus, imaging method, and program
JP5902928B2 (en) Playback device, control method thereof, and program
JP5283433B2 (en) Digital still camera, image processing method and program
JP2013110562A (en) Imaging apparatus
US20100225786A1 (en) Method for creation of an animated series of photographs, and device to implement the method
JP6390097B2 (en) Image reproducing apparatus and imaging apparatus
JP2014120926A (en) Imaging apparatus
JP6952584B2 (en) Imaging device, imaging method and imaging program
JP6635093B2 (en) Image recording apparatus, image recording method, and program
JP5500188B2 (en) Imaging device
JP5593652B2 (en) Camera and movie playback program
JP2012137560A (en) Karaoke device and control method and control program for karaoke device
JP6562138B2 (en) Image playback device
JP3043330B1 (en) Photographic image processing device
JP2007329520A (en) Image reproducing system, digital camera and image reproducing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150601

R150 Certificate of patent or registration of utility model

Ref document number: 5764964

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250