JP6346529B2 - Imaging apparatus, a control method, and program - Google Patents

Imaging apparatus, a control method, and program Download PDF

Info

Publication number
JP6346529B2
JP6346529B2 JP2014181595A JP2014181595A JP6346529B2 JP 6346529 B2 JP6346529 B2 JP 6346529B2 JP 2014181595 A JP2014181595 A JP 2014181595A JP 2014181595 A JP2014181595 A JP 2014181595A JP 6346529 B2 JP6346529 B2 JP 6346529B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
imaging apparatus
video
effect
moving
special
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014181595A
Other languages
Japanese (ja)
Other versions
JP2016058792A (en )
JP2016058792A5 (en )
Inventor
篤史 藤田
篤史 藤田
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

本発明は、撮像装置、その制御方法、及びプログラムに関する。 The present invention relates to an imaging apparatus, a control method, and a program.

近年、撮影した動画をインターネット上で共有するという動画共有サイトが発展し、クリエイティブで面白い動画を撮影したいというユーザのニーズが高まっている。 In recent years, video sharing sites that share videos taken on the Internet has evolved, there has been an increasing needs of users who want to shoot funny videos in the creative. しかしながら、動画撮影に慣れていない一般的なユーザにとって、クリエイティブで面白い動画を撮影するということは容易ではない。 However, for general users who are not familiar with video shooting, it is not easy that shooting a funny video creative. また、そのようなユーザにとっては、動画に特殊効果を加えたり、動画を結合したりするなどの編集作業が煩雑であることも、面白い動画を生成する上での課題となっている。 Further, for such a user, it has become a challenge in producing a funny video or add special effects to video editing work such or combine video is complicated.

動画の結合を容易にする技術として、特許文献1が知られている。 As a technique to facilitate the binding of the videos, Patent Document 1 is known. 特許文献1のデジタルカメラによれば、モード設定ダイヤルによって連続記録モードが設定されると、撮影した動画が、動画が記録されている既存のファイルに追加記録される。 According to the digital camera described in Patent Document 1, when the continuous recording mode is set by the mode setting dial, and the movie, it is additionally recorded into existing files video is recorded.

また、スマートフォンアプリを中心に、簡単な操作でユーザに特殊効果を付加した動画撮影を可能とさせる機能が提案されている。 In addition, in the center of the smartphone app, functions to enable the video recording obtained by adding special effects to the user in a simple operation have been proposed. 例えば、動画に特殊な色・階調変換フィルタ効果を付加する機能や、予め決められた短秒の動画を複数回撮影し、それらを自動的に結合する機能などが提案されている。 For example, function for adding a special color tone conversion filter effect video, multiple times taking short seconds video previously determined, such as those automatically binding functions have been proposed.

特開2002−218384号公報 JP 2002-218384 JP

結合された複数の動画を連続再生する場合、各動画に付加された特殊効果が連続的にユーザに認識される。 When continuously reproducing the combined plurality of videos are special effects that are added to each video is recognized continuously user. 従って、動画間の特殊効果の関係も動画の面白さに影響すると考えられるが、従来の技術はこの点を考慮していない。 Therefore, it is considered to affect the relationship also fun of video special effects between video, the prior art does not consider this point.

本発明はこのような状況に鑑みてなされたものであり、複数の動画に付加する特殊効果を共通化するか否かを、特殊効果の種類に応じて制御する技術を提供することを目的とする。 The present invention has been made in view of such circumstances, and aims to provide a technique for whether to share the special effect to be added to the plurality of moving is controlled depending on the kind of special effects to.

上記課題を解決するために、本発明は、複数の動画を撮影する撮影手段と、前記複数の動画の各々に対して、特殊効果を付加する制御手段と、前記制御手段により特殊効果が付加された前記複数の動画から構成される結合動画を生成する生成手段と、を備え、前記特殊効果は、色及び階調のうちの少なくとも一方を変換するフィルタの適用制御に対応する色・階調変換フィルタ効果を含む第1の特殊効果と、動画の再生速度の制御に対応する可変フレームレート効果、及び、移動する被写体に対する残像の付加制御に対応する残像効果の少なくとも1つを含む第2の特殊効果と、を含み、前記制御手段は、前記撮影手段で撮影された動画を解析した結果に基づいて前記特殊効果を付加するものであって、前記結合動画を構成する前記複数の動 In order to solve the above problems, the present invention includes a photographing unit for photographing a plurality of moving, with respect to each of the plurality of moving image, and a control means for adding special effects, adding special effects by the control means is provided with a generating means for generating a combined moving composed of the plurality of moving image, the special effects, color and color-gradation corresponding to the application control of the filter for converting at least one of the gradation a first special effect involving the conversion filter effect, variable frame rate effect corresponding to the control of the reproduction speed of the video, and a second comprising at least one of the residual image effect corresponding to the addition control of the afterimage for a moving object includes a special effect, wherein the control means is for adding the special effect based on the result of the analysis of the moving image taken by the imaging means, the plurality of moving constituting the combined moving の全てに対して、同じ色・階調変換フィルタ効果を得るための前記第1の特殊効果を付加するとともに、前記結合動画を構成する前記複数の動画のそれぞれに対して、前記複数の動画のそれぞれに応じた可変フレームレート効果及び残像効果の少なくとも1つを得るための前記第2の特殊効果を付加することを特徴とする撮像装置を提供する。 Against all, with the addition of the first special effects to achieve the same color and gradation conversion filtering effect, for each of said plurality of video constituting the combined moving of said plurality of video to provide an imaging apparatus characterized that you added to the second special effect for obtaining at least one of the variable frame-rate effect and residual image effect corresponding to each.

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。 The feature of the other invention will be made more apparent by the description of embodiments of the accompanying drawings and the following invention.

本発明によれば、複数の動画に付加する特殊効果を共通化するか否かを、特殊効果の種類に応じて制御することが可能となる。 According to the present invention, whether a common special effects to be added to the plurality of video, it is possible to control depending on the kind of special effects.

第1の実施形態に係る撮像装置100の構成を示すブロック図。 Block diagram showing the configuration of an imaging apparatus 100 according to the first embodiment. 撮像装置100が生成する、複数のチャプタを含む結合動画ファイルの概念図。 Imaging device 100 generates a conceptual diagram of a combined moving file including a plurality of chapters. テンプレート合成効果の例を示す図。 It shows the template synthesis effect. 可変フレームレート効果の例を示す図。 It shows an example of a variable frame-rate effect. 各種の特殊効果の分類を示す図。 It shows the classification of various special effects. 撮像装置100による動画撮影処理を示すフローチャート。 Flowchart illustrating a moving image process by the imaging apparatus 100. 図6のS603における特殊効果処理A群の決定処理の詳細を示すフローチャート。 Flowchart showing details of decision processing for the special effect processing group A in S603 of FIG. 図7のS702における特殊効果処理A群の選択アルゴリズムの詳細を示すフローチャート。 Flowchart showing details of the special effect processing A group selection algorithm in S702 of FIG. 特殊効果処理A群の選択アルゴリズムにおける評価値の更新の概念図。 Conceptual diagram of the update of the evaluation value in the selection algorithm of the special effect process A group. 図6のS604における、特殊効果処理B群の可変フレームレート効果の決定処理の詳細を示すフローチャート。 In S604 in FIG. 6, a flow chart showing the details of the determination process of variable frame rate effects of the special effect processing B group. 被写体の動きを検出する方法の概念図。 Conceptual diagram of a method for detecting the motion of the subject. 動き判定エリアの概念図。 Conceptual diagram of the motion determination area. 可変フレームレート効果の重みパターンを決定する方法の概念図。 Conceptual diagram of a method for determining the weight pattern of the variable frame-rate effect. 可変フレームレート効果の重みパターンの例を示す図。 It shows an example of a weighting pattern of the variable frame-rate effect. 図10のS1007における処理の詳細を示すフローチャート。 Flowchart showing details of processing in S1007 in FIG. 10. 可変フレームレート効果決定処理の別の例を示す図。 Diagram showing another example of a variable frame-rate effect setting processing. 可変フレームレート効果決定処理の更に別の例を示す図。 It shows yet another example of a variable frame-rate effect setting processing. 各種の特殊効果が付加された結合動画ファイルを例示する図。 Diagram illustrating a combined moving files special effects for various are added.

以下、添付図面を参照して、本発明の実施形態を説明する。 Hereinafter, with reference to the accompanying drawings, an embodiment of the present invention. なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。 It should be noted that the technical scope of the present invention is to be established by the appended claims and is not limited by the following individual embodiments. また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。 Also, not all combinations of features described in the embodiments are not necessarily essential to the invention.

[第1の実施形態] First Embodiment
図1は、第1の実施形態に係る撮像装置100の構成を示すブロック図である。 Figure 1 is a block diagram showing a configuration of an imaging apparatus 100 according to the first embodiment. 図1において、101は複数のレンズ群と絞り機構を含む光学系であり、具体的には、測距用レンズ(FocusLens)、ズーム用レンズ(ZoomLens)、及び絞り機構を含む。 In Figure 1, 101 is an optical system including a diaphragm mechanism and a plurality of lens groups, specifically, the ranging lenses (FocusLens), zoom lens (ZoomLens), and a diaphragm mechanism.

102はCCDやCMOS等からなる撮像素子であり、アナログ信号をデジタル信号に変換するA/D変換器を含む。 102 denotes an image pickup element composed of CCD, CMOS or the like, comprising an A / D converter for converting an analog signal into a digital signal. 撮像素子102の表面は例えばベイヤー配列のようなRGBカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。 The surface of the image sensor 102 is covered with RGB color filters, such as Bayer array, and has a color photographing is configurable. 被写体像が撮像素子102上で結像されると、画像データ(画像信号)が生成され、メモリ103に記憶される。 When a subject image is formed on the image pickup device 102, image data (image signal) is generated and stored in the memory 103.

103はメモリであり、撮像素子102によって生成された画像信号や、撮像装置100の処理全般に必要なデータなどを保持することができる。 103 is a memory, it can be held and the image signals generated by image sensor 102, and data necessary for the whole processing of the imaging apparatus 100. 104は画像処理回路であり、メモリ103に保持された画像信号に対して所定の画素補間処理や色変換処理等を行う。 104 denotes an image processing circuit performs predetermined pixel interpolation processing and color conversion processing on the image signal stored in the memory 103. 画像処理回路104は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて撮影条件を決定し、システム制御部105に撮影条件を通知する。 The image processing circuit 104 performs predetermined calculation processing using the captured image data, determines a photographing condition based on the calculation results, and notifies the imaging conditions to the system controller 105. また、画像処理回路104は、画像の解析、フィルタ処理、ノイズリダクション処理、合成処理などの各種機能を有し、後述するアルゴリズムに従って撮影シーンに最適な特殊効果を選択する特殊効果処理決定部を含む。 The image processing circuit 104 analyzes the image, filtering, noise reduction processing, has various functions such as a synthetic process, including special effects processing determining unit that selects the best special effects shooting scene in accordance with an algorithm described later .

105は撮像装置100全体を制御するシステム制御部である。 105 is a system control unit that controls the entire imaging apparatus 100. システム制御部105は、画像処理回路104が決定した撮影条件で撮影を行うために、シャッター速度、絞り機構、フォーカスレンズ、及びズームレンズの制御を統括する。 The system control unit 105, in order to perform photographing by the photographing condition of the image processing circuit 104 is determined, shutter speed, aperture mechanism, centrally focusing lens, and the control of the zoom lens. そのために、システム制御部105は、露光量制御部106、フォーカスレンズ制御部107、及び焦点距離制御部108に対して指示を行う。 Therefore, the system control unit 105 instructs the exposure amount control unit 106, the focus lens control unit 107 and the focal length control unit 108,.

106は露光量制御部であり、光学系101の絞り機構、撮像素子102の露光時間、及び撮影感度を調整し、適切な露光量制御を行う。 106 is an exposure amount control unit, an optical system 101 of the diaphragm mechanism, the exposure time of the image pickup device 102, and adjusts the imaging sensitivity, perform appropriate exposure amount control. 107はフォーカスレンズ制御部であり、光学系101のフォーカスレンズを制御する。 107 denotes a focus lens control unit controls the focus lens of the optical system 101. 108は光学系101のズーム用レンズを制御する焦点距離制御部であり、システム制御部105の指示に従って焦点距離を変更する。 108 is the focal length control unit for controlling the zoom lens of the optical system 101, to change the focal length in accordance with an instruction from the system control unit 105.

109は圧縮回路であり、動画像をH. 109 is a compression circuit, a moving picture H. 264/AVCに代表される圧縮アルゴリズムに従って圧縮し、MPEGやMOVファイル等に変換する。 Compressed according to the compression algorithm represented by 264 / AVC, and converts the MPEG and MOV files, and the like. 変換後の動画像は、記録媒体110に記録される。 Moving image after the conversion is recorded on the recording medium 110.

111は表示部であり、画像処理回路104によって生成された撮影画像を、撮像装置100のLCDや、外部モニタなどに表示する。 111 is a display unit, a captured image generated by the image processing circuit 104, LCD or the imaging apparatus 100, and displays to an external monitor. 112はユーザの入力を受け付ける操作部材であり、ボタンやタッチパネル等が具備されている。 112 denotes an operating member for accepting input of the user, buttons, a touch panel or the like is provided. システム制御部105は、操作部材112により受け付けたユーザ操作に従って、撮像装置100の動作の決定や変更を行う。 The system control unit 105, in accordance with the user operation received by the operation member 112, make decisions and change operation of the imaging apparatus 100.

次に、図2乃至図5を参照して、撮像装置100による動画撮影処理の概要について説明する。 Next, with reference to FIGS, an outline of moving image processing by the imaging apparatus 100. 撮像装置100は、動画撮影を複数回行い、各撮影により得られた動画像データを結合して1つの動画像データを生成する。 Imaging apparatus 100 performs a plurality of times video recording, generates one of the moving image data by combining the moving image data obtained by each photographing. 図2において、「チャプタ」は1回の撮影により得られる動画像データを示し、「結合動画ファイル」は複数のチャプタを結合して得られる1つの動画像データを示す。 2, "chapter" indicates moving image data obtained by one shot, "combined moving files" denotes a single moving image data obtained by combining a plurality of chapters.

撮像装置100は、撮影される各動画(各チャプタ)に対して、例えば以下に列挙するような様々な種類の特殊効果を付加する。 The imaging apparatus 100, for each moving image to be photographed (each chapter), adding various kinds of special effects as listed below, for example.
(1)色・階調変換フィルタ効果(2)テンプレート合成効果(3)可変フレームレート効果(4)残像効果 (1) Color tone conversion filter effect (2) Template Synthesis Effect (3) variable frame rate effects (4) afterimage effect

「(1)色・階調変換フィルタ効果」は、画像処理回路104によって動画の色味やコントラストを変更することにより、被写体や撮影シーンに合った雰囲気を動画に加える特殊効果である。 "(1) Color tone conversion filter effect" by changing the video color and contrast by the image processing circuit 104, a special effect of adding an atmosphere matching the subject and shooting scene video. 換言すると、「(1)色・階調変換フィルタ効果」は、色及び階調のうちの少なくとも一方を変換するフィルタの適用制御に対応する。 In other words, "(1) Color tone conversion filter effect" corresponds to the application control of the filter for converting at least one of color and gray scale. 例えば、画像処理回路104は、撮影されたカラー動画から、コントラストの高いモノクロ動画を生成することができる。 For example, the image processing circuit 104, the captured color moving, it is possible to generate a high contrast black and white video.

「(2)テンプレート合成効果」は、画像処理回路104によって動画の各フレームに所定のテンプレートデータ(以下、単に「テンプレート」と呼ぶ)を合成する処理により得られる特殊効果である。 "(2) Template Synthesis effect", the image processing circuit 104 a predetermined template data (hereinafter, simply referred to as "template") to each frame of the moving image by a special effect obtained by the synthesizing process. 換言すると、「(2)テンプレート合成効果」は、テンプレートの合成制御に対応する。 In other words, "(2) Template Synthesis effect" corresponds to the synthesis control of the template. 例えば、画像処理回路104によっては、図3の左側に示すようにフレームに飾り枠を合成したり、図3の右側に示すように周辺減光効果を加えたりすることができる。 For example, the image processing circuit 104 can be added or or synthesized decorative frame to frame as shown on the left side of FIG. 3, the vignetting effect as shown on the right side of FIG.

「(3)可変フレームレート効果」は、動画の全体又は一部をスローモーションにしたり、早送り再生にしたりすることによって、被写体の動きを強調する特殊効果である。 "(3) variable frame rate effect", or the whole or a part of video slow motion, by or in fast-forward reproduction, a special effect to emphasize the movement of the subject. 換言すると、「(3)可変フレームレート効果」は、動画の再生速度の制御に対応する。 In other words, "(3) variable frame rate effect" corresponds to the control of the playback speed of the video. この効果の実現方法としては、再生フレームレートFplayのN倍のフレームレートFrec(=N×Fplay)で動画を記録することにより、(1/N)倍のスロー再生にすることが可能である。 The method for realizing this effect, by recording the moving image in reproduction frame rate Fplay of N times the frame rate Frec (= N × Fplay), it is possible to double the slow reproduction (1 / N). 反対に、Fplayと同じフレームレートFrec(=Fplay)で撮影した動画像のフレームを1/Nに間引いて再生することにより、N倍の早送り再生が可能である。 Conversely, by reproducing by thinning out the frames of the moving images at the same frame rate as Fplay Frec (= Fplay) to 1 / N, it is possible to N times fast forward reproduction. このように、再生速度の制御は、撮影フレームレート及び記録フレームレートの制御により実現可能である。 Thus, control of the reproduction speed can be realized by controlling the shooting frame rate and the recording frame rate. また、このような仕組みを用いて、例えば図4(B)に示すように、再生速度が「通常→スロー→通常」のように変化する動画を生成することができる。 Further, by using such a mechanism, for example, as shown in FIG. 4 (B), it is possible to generate a video playback speed changes as "Normal → Slow → Normal". 具体的には、再生フレームレートFplay=30[fps]の場合、撮像装置100は、Frec=90[fps]で数秒間撮影したデータの一部区間を1/3に間引いて記録する。 Specifically, if the reproduction frame rate Fplay = 30 [fps], the imaging apparatus 100 records by thinning out the partial section of the data captured few seconds Frec = 90 [fps] to 1/3. これにより、間引きが行われない区間を1/3倍のスロー再生することができる。 This makes it possible to slow reproduction of 1/3 times a section thinning is not performed. このように、動画の少なくとも一部がスロー再生される再生パターンを、「スロー再生パターン」と呼ぶ。 Thus, the reproduction pattern at least a portion of the moving image is slow reproduction, called a "slow reproduction pattern". また、図4(C)に示すように、再生速度が「通常→早送り→通常」のように変化する動画を生成することができる。 Further, as shown in FIG. 4 (C), it is possible to generate a video playback speed changes as "Normal → fast-forward → normal". 具体的には、再生フレームレートFplay=30[fps]の場合、撮像装置100は、Frec=30[fps]で数秒間撮影したデータの一部区間を1/3に間引いて記録する。 Specifically, if the reproduction frame rate Fplay = 30 [fps], the imaging apparatus 100 records by thinning out the partial section of the data captured few seconds Frec = 30 [fps] to 1/3. これにより、間引きが行われた区間を3倍の早送り再生することができる。 Thus, the thinning can be three times the fast-forward reproducing done interval. このように、動画の少なくとも一部が早送り再生される再生パターンを、「早送り再生パターン」と呼ぶ。 Thus, the reproduction pattern at least a portion of the moving image is fast forward playback, referred to as "fast forward reproduction pattern". また、図4(A)に示すように、Fplay=Frecであり、間引きが行われない場合には、動画全体が通常再生される。 Further, as shown in FIG. 4 (A), a Fplay = Frec, if the decimation is not performed, the whole video is normally reproduced. このように、動画の全体が通常の速度で再生される再生パターンを、通常再生パターンと呼ぶ。 Thus, the reproduction pattern the entire video is played at normal speed, it referred to as normal playback pattern.

「(4)残像効果」は、巡回型フィルタを用いて、動く被写体に残像を付加する特殊効果である。 "(4) residual image effect", using a recursive filter, a special effect of adding the residual image to the moving object. 換言すると、「(4)残像効果」は、移動する被写体に対する残像の付加制御に対応する。 In other words, "(4) residual image effect", corresponding to the additional control of the afterimage for a moving object.

撮像装置100は、それぞれの種類の特殊効果について、撮影シーンに基づいて特殊効果の内容を決定する。 The imaging apparatus 100, for each type of special effects, to determine the contents of the special effect based on the photographic scene. 例えば、撮像装置100は、「(2)テンプレート合成効果」という種類の特殊効果について、撮影シーンに基づいて、「飾り枠合成」、「周辺減光」、又は「合成なし」を選択する。 For example, the imaging apparatus 100, for "(2) Template Synthesis effect" that kind of special effects, based on the photographic scene, to select the "picture frame synthesis", "vignetting" or "no synthesis". 決定アルゴリズムの詳細については、後述する。 For more information about the decision algorithm, to be described later.

ところで、特殊効果の中には、チャプタ間で特殊効果を統一(共通化)した方が結合動画全体の品位が向上する種類のものもあれば、チャプタ毎(動画毎)に撮影シーンに応じた特殊効果を付加した方が動画の面白さが向上すると期待される種類のものもある。 Meanwhile, in the special effects, some of the type person who united special effects between chapters (common) is improved quality of the entire combined moving, according to the shooting scene for each chapter (per video) who adding special effects and some of the type expected to improve interest of the video. 本実施形態では、前者の種類の特殊効果を「特殊効果処理A群」と呼び、後者の種類の特殊効果を「特殊効果処理B群」と呼ぶ。 In this embodiment, the former type of the special effect called "special effect process A" group, referred to the latter type of special effects and "special effects group B". 図5に示すように、本実施形態では、「(1)色・階調変換フィルタ効果」及び「(2)テンプレート合成効果」が「特殊効果処理A群」であるものとし、「(3)可変フレームレート効果」及び「(4)残像効果」が「特殊効果処理B群」であるものとする。 As shown in FIG. 5, in this embodiment, assumed to be "(1) Color tone conversion filter effect" and "(2) Template Synthesis effect" "special effects group A", "(3) variable frame rate effect "and" (4) residual image effect "is assumed to be" special effects group B ". 図5から理解できるように、「(2)テンプレート合成効果」のような特定の種類の特殊効果(特殊効果グループ)の中に、「飾り枠合成」や「周辺減光」のような複数の特殊効果が含まれる。 As can be understood from FIG. 5, in the "(2) Template Synthesis effect" certain types of special effects, such as (special effects group), a plurality of, such as "decorative frame synthesis" or "vignetting" It includes special effects.

なお、「特殊効果処理A群」と「特殊効果処理B群」の分類は、図5に示すものに限定されない。 Note that the classification of the "special effect process A" group "special effects group B" is not limited to that shown in FIG. また、特殊効果の種類や、各種類の特殊効果について選択可能な特殊効果についても、図5に示すものに限定されない。 The types and special effects, also selectable special effect for each type of special effects are not limited to those shown in FIG. 本実施形態では、「特殊効果処理A群」に分類される少なくとも1種類の特殊効果(第1の特殊効果グループ)と、「特殊効果処理B群」に分類される少なくとも1種類の特殊効果(第2の特殊効果グループ)とがあればよい。 In this embodiment, the at least one special effect is classified as "special effects group A" (first special effect group), at least one special effect is classified as "special effects Group B" ( the second of the special effects group) and may, if any.

次に、図6を参照して、撮像装置100による動画撮影処理の詳細について説明する。 Next, referring to FIG. 6, details of moving image processing by the imaging apparatus 100. なお、本実施形態の各図のフローチャートの各ステップの処理は、特に断らない限り、システム制御部105が制御プログラムに従って撮像装置100の各構成要素を制御することにより実施される。 The processing in each step of the flow chart of each drawing of this embodiment, unless otherwise specified, is performed by the system control unit 105 controls the components of the imaging apparatus 100 according to the control program.

S601で、撮像装置100は、撮影シーンの解析を行う。 In S601, the imaging apparatus 100 performs the analysis of the shooting scene. 具体的には、撮像装置100は、撮影対象シーンの明るさ、被写体が人物かどうか、被写体が動いているかどうか、等を解析する。 Specifically, the imaging apparatus 100, the brightness of the imaging target scene, whether the subject is a person, whether the subject is moving, analyzing the like. この解析は、加速度センサ(不図示)やジャイロセンサ(不図示)等の各種センサからの情報や、撮像素子102により生成された画像データなどに基づいて行われる。 This analysis is performed on the basis of and information from various sensors such as an acceleration sensor (not shown) or a gyro sensor (not shown), such as the image data generated by the imaging element 102. 画像データに基づく解析は、画像処理回路104を用いて行うことができる。 Analysis based on the image data can be performed using the image processing circuit 104.

S602で、撮像装置100は、ユーザによる撮影指示が行われたか否かを判定する。 In S602, the imaging device 100 determines whether or not the photographing instruction is performed by the user. 撮影指示が行われるまでは、撮像装置100は、S601におけるシーン解析を繰り返す。 To the photographing instruction is performed, the imaging apparatus 100 repeats the scene analysis in S601. 撮影指示が行われると、処理はS603に進む。 When the shooting instruction is carried out, the process proceeds to S603.

S603で、撮像装置100は、S601におけるシーン解析結果に基づき、特殊効果処理A群(図5参照)に関して、撮影した動画に付加する特殊効果を決定する。 In S603, the imaging device 100, based on the scene analysis results in S601, with respect to special effect processing Group A (see FIG. 5), it determines the special effect to be added to the captured video. この決定処理の詳細については後述する。 The details of this determination process will be described later.

S604で、撮像装置100は、S601におけるシーン解析結果に基づき、特殊効果処理B群(図5参照)に関して、撮影した動画に付加する特殊効果を決定する。 In S604, the imaging device 100, based on the scene analysis results in S601, with respect to special effect processing Group B (see FIG. 5), it determines the special effect to be added to the captured video. この決定処理の詳細については後述する。 The details of this determination process will be described later.

S603及びS604の処理により、これから撮影するチャプタに付加する特殊効果が、このチャプタの撮影開始直前に決定される。 The process of S603 and S604, special effects to be added to the chapter to now captured, is determined shooting immediately before the chapter.

S605で、撮像装置100は、動画の撮像制御を行い、動画の1フレームを取得する。 In S605, the imaging apparatus 100 performs imaging control of video, obtaining one frame of the video. ここでは、撮像装置100は、S604で決定された可変フレームレート効果の内容に従い、撮像系の駆動周波数・露光量制御を行う。 Here, the imaging apparatus 100 in accordance with the contents of the variable frame rate effects determined in S604, performs the driving frequency, exposure control of the imaging system. 例えば、動画にスロー再生効果を付加する場合、撮像装置100は、再生フレームレートよりも高い周波数で撮像を行うように撮像素子102を制御する。 For example, when adding a slow reproduction effect in video, imaging apparatus 100 controls the image sensor 102 to perform imaging at a higher frequency than the reproduction frame rate. また、動画に早送り再生効果を付加する場合、撮像装置100は、再生フレームレートと同じ周波数で撮像を行うように撮像素子102を制御する。 Further, when adding the fast-forward reproduction effect in video, imaging apparatus 100 controls the image sensor 102 to perform imaging at the same frequency as the reproduction frame rate. また、撮像装置100は、絞り、シャッタースピード、感度からなる露光量を、露光量制御部106を介して正しく設定する。 The imaging device 100, aperture, shutter speed, the exposure amount consisting of sensitivity, set correctly via the exposure control unit 106.

S606で、撮像装置100は、S603において決定した特殊効果処理A群の特殊効果を、S605において取得したフレームに付加する。 In S606, the imaging device 100, special effects special effect process A group that has been determined in S603, is added to the frame acquired in S605. S607で、撮像装置100は、S604において決定した特殊効果処理B群の特殊効果を、S605において取得したフレームに付加する。 In S607, the imaging device 100, special effects of the special effect processing group B determined in S604, is added to the frame acquired in S605. 例えば、撮像装置100は、S604において決定された可変フレームレート効果に対応する再生速度で再生される動画が記録されるように、撮影フレームレート及び記録フレームレート(間引き)を制御することにより、動画に可変フレームレートを付加する。 For example, the imaging apparatus 100 includes, as video played by the playback speed corresponding to the variable frame rate effects determined in S604 is recorded, by controlling the shooting frame rate and the recording frame rate (decimation), videos adding a variable frame rate.

なお、特殊効果を付加する順序は、図6に示すものに限定されない。 The order of adding the special effects are not limited to those shown in FIG. 例えば、特殊効果処理B群の特殊効果を先に付加し、その後、特殊効果処理A群の特殊効果を付加してもよい。 For example, adding a special effect of the special effect processing Group B above, it may then be added to the special effect of the special effect processing A group. 或いは、特殊効果処理A群の特殊効果の一部を先に付加し、その後、特殊効果処理B群の特殊効果を付加し、最後に、特殊効果処理A群の特殊効果の残りを付加してもよい。 Alternatively, by adding some special effects special effect process A group first, and then, adds a special effect of the special effect processing B group, finally, by adding the rest of the special effects of the special effect processing group A it may be.

S608で、撮像装置100は、特殊効果が付加されたフレームを圧縮し、結合動画ファイル(図2参照)のフレームとして記録する。 In S608, the imaging device 100 compresses the frame special effect has been added, is recorded as a frame for coupling the moving image file (see FIG. 2). なお、撮像装置100は、任意のタイミングでチャプタの結合を行うことができる。 The imaging apparatus 100 can perform the binding of the chapter at any time. 例えば、撮像装置100は、チャプタ毎に別個の動画ファイルを生成し、所定数の動画ファイルが生成された後に、これらの動画ファイルを結合して結合動画ファイルを生成することができる。 For example, the imaging device 100 generates a separate video file for each chapter, after a predetermined number of the video file is generated, it is possible to produce a combined video file by combining these video files. 或いは、撮像装置100は、新たなチャプタのフレームを直前のチャプタに追記することにより、結合動画ファイルを生成してもよい。 Alternatively, the imaging apparatus 100, by appending the immediately preceding chapter frames of the new chapter, may generate a combined moving files. また、図4(B)及び図4(C)に示すように間引き記録を行う場合は、撮像装置100は、現在のフレームが間引き対象のフレームであれば、このフレームは記録せずに破棄する。 When performing the thinning recording as shown in FIG. 4 (B) and FIG. 4 (C) an imaging device 100, if the frame of interest thinning the current frame, the frame is discarded without being recorded .

S609で、撮像装置100は、ユーザによる撮影終了指示が行われたか否かを判定する。 In S609, the imaging device 100 determines whether or not the photographing end instruction is performed by the user. 撮影終了指示が行われるまでは、撮像装置100はS605からS608の処理を繰り返すことにより、現在のチャプタの撮影を継続する。 To the photographing end instruction is performed, the imaging apparatus 100 by repeating the process of S608 from S605, the continued shooting of the current chapter. あるいは、撮像装置100は、動画の撮影が開始されていから所定時間経過するまでS605からS608の処理を繰り返し、所定時間経過した場合に動画撮影を終了すると判断する。 Alternatively, the imaging apparatus 100, since being started moving shooting repeats the processing of S608 from S605 until a predetermined time elapses, it is determined to end the moving image capturing when a predetermined time has elapsed.

撮影終了指示が行われると、処理はS609からS601に戻り、次の撮影指示が行われるまで、撮像装置100はシーン解析を行う。 When the photographing end instruction is executed, the processing returns to S601 from S609, until the next shooting instruction is issued, the image pickup apparatus 100 performs a scene analysis. 次の撮影指示が行われると、撮像装置100は、再びS603以降の処理を実行することにより、次のチャプタの撮影を行う。 When the next shooting instruction is issued, the imaging apparatus 100 by executing again S603 and subsequent steps in order to carry out capturing of the next chapter. 但し、S603における特殊効果処理A群の決定処理については、2番目以降のチャプタの撮影を行う場合は、最初(先頭)のチャプタと同じ特殊効果が決定される。 However, processing for determining the special effect processing group A in step S603, when performing second and subsequent imaging of chapters, the same special effects as chapters of the first (top) is determined.

また、図示しないが、撮像装置100は、所定数のチャプタを撮影した後は、別の結合動画ファイルの1番目のチャプタを撮影してもよい。 Although not shown, the imaging apparatus 100, after taking a predetermined number of chapters may be taken first chapter of another combined moving files. 例えば、撮像装置100は、4つのチャプタからなる結合動画ファイルを生成するように構成されているものとする。 For example, the imaging apparatus 100 is assumed to be configured to produce a combined moving image file composed of four chapters. この場合、撮像装置100による4番目のチャプタの撮影を終了して処理がS609からS601に戻り、撮影指示が行われると、S603で、撮像装置100は、次の結合動画ファイルの1番目のチャプタのために、特殊効果処理A群の特殊効果を決定する。 In this case, it ends and handle shooting fourth chapter from the imaging apparatus 100 returns to S601 from S609, the photographing instruction is performed, in S603, the imaging device 100, the first chapter of the next combined moving files for, determining the special effects of the special effect processing a group.

次に、図7乃至図9を参照して、図6のS603における特殊効果処理A群の決定処理の詳細について説明する。 Next, with reference to FIGS, it will be described in detail determination process of the special effect processing group A in S603 of FIG. まず、図7のS701で、撮像装置100は、現在の撮影対象のチャプタが結合動画ファイルにおける最初(先頭)のチャプタであるか否かを判定する。 First, in step S701 of FIG. 7, the imaging apparatus 100 determines whether the chapter of the current imaging target is a chapter of the first (top) in the binding video files. 最初のチャプタの場合、S702で、撮像装置100は、特殊効果処理A群の選択アルゴリズムを実行する。 For the first chapter, in S702, the imaging apparatus 100 performs a selection algorithm of the special effect processing A group. 最初のチャプタでない場合、S703で、撮像装置100は、以前にS702において最初のチャプタについて選択したものと同じ特殊効果を選択する。 If not the first chapter, in S703, the imaging device 100 selects the same special effects as those selected for the first chapter in the previous S702.

図7の処理により、特殊効果処理A群については、結合動画ファイル内の各チャプタに付加される特殊効果を統一し、より高品位で一体感のある動画を生成することができる。 The process of FIG. 7, for the special effect processing group A unified special effects to be added to each chapter in the combined moving file, can generate a moving image with a sense of unity with higher quality. 但し、図示しないが、撮像装置100は、2番目以降のチャプタであっても、ユーザによるフィルタ効果の変更指示を受信した場合には、ユーザの意思(ユーザ指示)を優先してフィルタを選択することができる。 However, although not shown, the imaging device 100 may be a chapter of the second and subsequent, when receiving the change instruction of the filter effect due to the user selects a filter with priority the intention of the user (user instruction) be able to. 即ち、この場合、撮像装置100は、ユーザ指示に対応するチャプタに対して、最初のチャプタについてS702で選択された特殊効果の代わりに、ユーザ指示により選択された特殊効果を付加する。 That is, in this case, the imaging apparatus 100, to the chapter corresponding to the user instruction, in place of the special effect selected in S702 for the first chapter, adding a special effect selected by the user instruction.

図8は、図7のS702における特殊効果処理A群の選択アルゴリズムの詳細を示すフローチャートである。 Figure 8 is a flowchart showing details of the special effect process A group selection algorithm in S702 of FIG. ここでは、特殊効果処理A群に属する種類の特殊効果の一例である「(1)色・階調変換フィルタ効果」について説明するが、他の種類の特殊効果(例えば、「(2)テンプレート合成効果」)についても同様のアルゴリズムを利用可能である。 Here is an example of a type of special effects belonging to the special effect processing Group A will be described "(1) Color tone conversion filter effect" for other types of special effects (e.g., "(2) Template Synthesis it is possible to use the same algorithm applies to the effect ").

本実施形態においては、撮像装置100は、M種類の色・階調変換フィルタを選択可能なものとする。 In the present embodiment, the imaging apparatus 100 is assumed with selectable M kinds of color-tone conversion filter. まず、S801で、撮像装置100は、以下の式(1)に従い、M個のフィルタの評価値x[m]を一律に初期値Pに設定する。 First, in S801, the imaging device 100 in accordance with the following equation (1) is set to an initial value P uniformly evaluation value x of the M filter [m].
x[m]=P(m=0,1,2,…,M−1)・・・(1) x [m] = P (m = 0,1,2, ..., M-1) ··· (1)

S802で、撮像装置100は、図6のS601におけるシーン解析結果(例えば、被写体情報や撮影画像の色分布情報等)に従い、評価値を更新する。 In S802, the imaging device 100 in accordance with the scene analysis results in S601 in FIG. 6 (e.g., color distribution information of the object information and captured image, etc.), and updates the evaluation value. 例えば、撮像装置100は、被写体が人物を含む場合に、「人物と相性の良いフィルタの評価値を上げ、人物と相性の悪いフィルタの評価値を下げる」、等の評価値演算処理を、撮影シーンの解析結果に応じて複数回実行する。 For example, the imaging apparatus 100, when the subject includes a person, "raise the evaluation value of the good filters person compatible, lowers the evaluation value of the bad filters persons compatible", the evaluation value calculation process and the like, shooting to run multiple times in response to the scene of the analysis results. これにより、図に示すように、最終的な評価値x[m]は撮影シーンに応じたばらつきを持つ。 Thus, as shown in FIG. 9, the final evaluation value x [m] has a variation corresponding to the photographic scene.

その後、S803で、撮像装置100は、最も評価値の高いフィルタを選択する。 Thereafter, in S803, the imaging device 100 selects the highest evaluation value filter. 或いは、撮像装置100は、予め定められた閾値よりも評価値の高いフィルタの中からランダムに1つのフィルタを選択する等の方法により、撮影シーンに相性の良いフィルタ効果を選択することが可能である。 Alternatively, the imaging apparatus 100, by a method such as selecting one filter randomly from the filter higher evaluation value than a predetermined threshold value, can select a compatible good filter effect the shooting is there.

次に、図10乃至図17を参照して、図6のS604における特殊効果処理B群の決定処理の詳細について説明する。 Next, with reference to FIGS. 10 to 17, it will be described in detail determination process of the special effect processing group B in S604 of FIG. ここでは、特殊効果処理B群に属する種類の特殊効果の一例である「(3)可変フレームレート効果」について説明するが、他の種類の特殊効果(例えば、「(4)残像効果」)についても同様のアルゴリズムを利用可能である。 Here is an example of a type of special effects belonging to the special effect processing group B will be described "(3) variable frame rate effects", other types of special effects (e.g., "(4) residual image effect") for also available the same algorithm.

まず、S1001で、撮像装置100は、図6のS601におけるシーン解析結果に基づき、撮像装置100の動き情報を取得する。 First, in S1001, the imaging apparatus 100, based on the scene analysis results in S601 in FIG. 6, to acquire the motion information of the imaging apparatus 100. ユーザが移動被写体を追尾撮影している状態は、花や風景などの被写体を撮影している状態と比べて、撮像装置100自体の動き量が大きいと予測される。 State where the user is tracked shooting moving subject, compared to the state in which photographing a subject, such as flowers and landscapes, are predicted to motion amount of the imaging apparatus 100 itself is large. そのため、撮像装置100は、撮像装置100に具備された速度センサや加速度センサ等の出力に基づき、撮像装置100の動きの有無を検出する。 Therefore, the imaging apparatus 100 based on the output of the speed sensor or an acceleration sensor or the like which is provided in the imaging device 100, detects the presence or absence of motion of the imaging apparatus 100. 撮像装置100の動きの有無を決定する方法としては、速度センサ等の出力値を所定時間平均し、その平均値が予め決められた閾値Th_Gを上回る場合は「動き有り」、閾値以下の場合は「動き無し」とする方法が考えられる。 As a method of determining the presence or absence of motion of the imaging apparatus 100, the output value of such speed sensor averaged a predetermined time, "there movement" if above the threshold Th_G that the average value has been determined in advance, if the threshold value or less how to "no movement" can be considered.

S1002で、撮像装置100は、図6のS601におけるシーン解析結果に基づき、被写体種別(被写体に含まれる主要被写体の種類)を検出する。 In S1002, the imaging apparatus 100, based on the scene analysis results in S601 in FIG. 6, to detect the type of subject (the type of the main subject included in the subject). 一般的に、パターンマッチングなどの方法によって画面内の顔を検出することが可能であり、顔が見つかった場合は被写体種別を「人物」と定義する。 Generally, it is possible to detect the face of the screen by a method such as pattern matching, if the face is found to define an object type as "person". また、画面内の輝度や色の領域分布やエッジ情報から画面内に主要な被写体が存在するかどうかを判定する主要被写体検出アルゴリズムが一般的に知られている。 Further, the main subject detection algorithm to determine whether the main subject is present in the screen from the brightness or color region distribution or edge information of the screen is generally known. そこで、顔が検出されず、かつ主要被写体検出アルゴリズムによって被写体が検出された場合には、被写体種別を「人物以外の主要被写体有」と定義する。 Therefore, a face is not detected and when the subject is detected by the main subject detection algorithm, defining the object type as "main subject chromatic other than a person." 上記いずれの方法によっても被写体が検出されない場合は「主要被写体無」と定義する。 The case is not detected by the subject by any of the methods defined as "Mu main subject."

S1003で、撮像装置100は、S1002において検出した被写体種別に応じて、被写体の動き情報を取得する。 In S1003, the imaging apparatus 100 according to the object type detected in S1002, acquiring the motion information of the subject. 被写体の動きを検出する方法としては、被写体種別が「人物」の場合、例えば図11(A)に示すように、ある時刻F(t)のフレームとF(t+α)のフレームの間の顔位置の変化量が閾値Th_Fを上回る場合に「被写体動き有」と検出する方法がある。 As a method for detecting the motion of the subject, when the subject type is "person", for example, as shown in FIG. 11 (A), face position between the frame of the frame and F at a certain time F (t) (t + α) there is a method of detecting a "subject movement Yes" when the amount of change exceeds the threshold Th_f. また、被写体種別が「人物以外の主要被写体有」の場合、図11(B)に示すように、時刻F(t)のフレームとF(t+α)のフレームの間の主要被写体領域の重心位置の変化量が閾値Th_Mを上回る場合に「被写体動き有」と検出する方法がある。 Further, the object type is a case of "main subject chromatic other than a person", as shown in FIG. 11 (B), the time F frame and F of the center-of-gravity position of the main subject region between the frame (t + alpha) of (t) there is a method of detecting a "subject movement Yes" when the amount of change exceeds the threshold Th_m. また、被写体種別が「主要被写体無」の場合は、図11(C)に示すように、画面内の所定領域に対して、下記の式(2)に従ってフレーム間の輝度差分値の総和Sを計算し、総和Sが閾値Th_Sadを上回った場合に「被写体動き有」と検出する方法がある。 Also, if the object type is "Mu main subject", as shown in FIG. 11 (C), for a given area of ​​the screen, the sum S of the brightness difference value between frames according to the following formula (2) calculated, if the sum S exceeds the threshold Th_Sad a method of detecting a "subject movement present".
S=Σ(Y1(x,y)−Y0(x,y))・・・(2) S = Σ (Y1 (x, y) -Y0 (x, y)) ··· (2)
Y1:フレーム1の輝度 Y0:フレーム0の輝度 Y1: brightness of the frame 1 Y0: the brightness of the frame 0

次に、S1004で、撮像装置100は、S1001及びS1003にて取得した動き情報に基づき、動き検出エリアを判定する。 Next, in S1004, the imaging apparatus 100 based on the obtained motion information at S1001 and S1003, determines the motion detection area. 動き検出エリアは、撮像装置100の動き有・無、及び被写体の動き有・無に応じて、図12に示す4つのエリアに区分することができる。 Motion detection area, the motion organic- free of the imaging apparatus 100, and the object in response to the movement organic-free, and can be divided into four areas as shown in FIG. 12.

S1005で、撮像装置100は、S1004におけるエリア判定結果とS1002で検出した被写体種別に応じて、可変フレームレート効果の重みパターンを決定する。 In S1005, the imaging apparatus 100, depending on the type of subject detected by the area determination result and S1002 in S1004, to determine the weight pattern of the variable frame-rate effect. ここで、重みパターンとは、図4を参照して説明した通常/スロー/早送りの効果の発生比率を表すものである。 Here, a weight pattern is representative of the generation ratio of the effect of the normal / slow / fast forward described with reference to FIG. 重みパターンは、図13に示すように、エリアと被写体種別に応じて、図14に示す4つのパターンのいずれかが選択される。 Weight pattern, as shown in FIG. 13, in accordance with the area and the object type, one of the four patterns shown in FIG. 14 is selected. 各パターンには、「通常」が選択される確率(第1の確率)、「スロー」が選択される確率(第2の確率)、及び「早送り」が選択される確率(第3の確率)が定義されている。 Each pattern, the probability of "normal" is selected probability (first probability), the probability that "slow" is selected (the second probability), and "fast forward" is selected (third probability) There has been defined. そして、例えば「通常優先」のパターンについては、「通常」が優先的に選択されるように、「通常」が選択される確率(第1の確率)が最も高く設定されている。 Then, for example, the pattern of "normal priority" is "normal" is to be preferentially selected, the probability of "normal" is selected (first probability) is set highest. また、「通常固定」のパターンについては、「通常」が固定的に選択されるように、「通常」が選択される確率(第1の確率)が「100%」に設定されている。 Moreover, the pattern of "normal fixed" is "normal" is to be selectively fixedly, the probability of "normal" is selected (first probability) is set to "100%".

なお、図13の例では、撮像装置100は、撮像装置100の動き、被写体の動き、及び主要被写体の全てに基づいて重みパターンを決定しているが、撮像装置100は、これらのうちの一部にのみ基づいて重みパターンを決定してもよい。 In the example of FIG. 13, the imaging device 100, motion of the imaging apparatus 100, the object movement, and determines the weighting pattern based on all of the main subject, the imaging device 100, one of these it may determine a weighting pattern on the basis of only the parts. 例えば、撮像装置100は、被写体の動きの有無に応じては、「スロー優先」(被写体の動き有の場合)又は「通常優先」(被写体の動き無の場合)を選択するように構成されてもよい。 For example, the imaging apparatus 100, in response to the presence or absence of motion of the subject, is configured to select the "slow priority" (if the object motion with) or (in the case of movement of the object free) "Normal priority" it may be.

S1006で、撮像装置100は、現在の撮影対象のチャプタ番号や過去に選択した可変フレームレート効果の種類、及び撮像装置100の焦点距離などに基づき、S1005において決定された重みパターンを修正する。 In S1006, the imaging apparatus 100, the type of a variable frame-rate effect selected chapter number and past of the current imaging target, and based such as the focal length of the imaging apparatus 100 corrects the weighting pattern determined in S1005. 以下に、S1005において「スロー優先」が選択された場合における、重み修正方法の例を4つ挙げる。 Hereinafter, in the case of "slow priority" is selected in S1005, cited four examples of weighting correction method.

(i)現在の撮影対象のチャプタがチャプタ1である場合、「通常」の比率を少し上げてそれ以外の比率を下げる。 (I) If a chapter of the current shooting target is a chapter 1, lowering a little up in the other ratio of the ratio of "normal".
(修正前)通常:スロー:早送り=20:60:20 (Before correction) Normal: Slow: Fast forward = 20: 60: 20
(修正後)通常:スロー:早送り=30:40:30 (Revised) Normal: Slow: Fast forward = 30: 40: 30
→結合動画ファイルの先頭のチャプタにはなるべく特殊効果を付加しない。 → not as much as possible adding a special effect at the beginning of the chapter of the combined moving files.

(ii)現在の撮影対象のチャプタが最終チャプタNである場合、「スロー」と「早送り」の比率を少し上げてそれ以外の比率を下げる。 (Ii) chapter of the current object to be photographed when is the last chapter N, lowering a little up in the other ratio of the ratio of the "slow", "fast forward".
(修正前)通常:スロー:早送り=20:60:20 (Before correction) Normal: Slow: Fast forward = 20: 60: 20
(修正後)通常:スロー:早送り=10:65:25 (Revised) Normal: Slow: Fast forward = 10: 65: 25
→結合動画ファイルの最後(末尾)のチャプタにはなるべく特殊効果を付加する。 → as much as possible to add special effects to the chapter of the last (end) of the combined moving files.

(iii)現在の撮影対象のチャプタがチャプタ1以外であり、かつチャプタ1で選択された効果が「スロー」だった場合に、「スロー」の比率を上げてそれ以外の比率を下げる。 (Iii) the chapter of the current imaging target is other than chapter 1, and when the effect selected in chapter 1 was "slow", lowering the ratio of the others by increasing the proportion of "slow".
(修正前)通常:スロー:早送り=20:60:20 (Before correction) Normal: Slow: Fast forward = 20: 60: 20
(修正後)通常:スロー:早送り=10:80:10 (Revised) Normal: Slow: Fast forward = 10: 80: 10
→結合動画ファイル内で同じような特殊効果が選択される確率を上げる。 → increase the probability that the same kind of special effects in the combined moving within a file is selected.

(iv)撮像装置100の焦点距離が予め設定された焦点距離f_Th以上(閾値以上)である場合、手振れが動画像に与える影響が大きくなるため、「早送り」の比率を下げてそれ以外の比率を上げる。 (Iv) optionally focal length of the imaging apparatus 100 is a preset focal length f_Th above (above the threshold), the influence of camera shake given to the moving image is large, the ratio of the otherwise lower the percentage of "fast forward" a raise.
(修正前)通常:スロー:早送り=20:60:20 (Before correction) Normal: Slow: Fast forward = 20: 60: 20
(修正後)通常:スロー:早送り=30:70:0 (Revised) Normal: Slow: Fast forward = 30: 70: 0
以上に示した重みパターンの修正は、複数のチャプタを連結した結合動画ファイル全体として動画を鑑賞した場合に視聴者の満足度を高めることを目的とした工夫である。 Fixed weights pattern shown above is a device which aims to enhance the viewer's satisfaction when viewing the video as a whole combined moving files formed by coupling a plurality of chapters. なお、重みパターンの修正方法は、ここで説明した4種類に限定されず、設計者の思想に従って様々な重みパターンの修正方法が考えられる。 Incidentally, how to correct the weight pattern, it should not be construed as limited to the four types described, how to correct various weights patterns in accordance with the spirit of the designer can be considered. より一般的に言えば、撮像装置100は、可変フレームレート効果について、所定のチャプタに付加する特殊効果を、このチャプタの撮影パラメータ、結合動画ファイルにおけるこのチャプタの位置、及び先頭チャプタに付加される特殊効果を考慮して決定する。 More generally, the imaging apparatus 100, the variable frame rate effects, special effects to be added to the predetermined chapter, camera parameters of this chapter, is added this position of the chapter, and the head chapter in the combined moving image file determined in consideration of the special effects. なお、撮像装置100は、これらの要素の全てを考慮する必要はなく、そのうちの一部のみを考慮してもよい。 The imaging apparatus 100 is not necessary to consider all of these elements may be considered only a part of them.

最後に、S1007で、撮像装置100は、最終的な可変フレームレート効果の内容を決定する。 Finally, in S1007, the image pickup apparatus 100 determines the contents of the final variable frame rate effects. 具体的には、図15のS1501で、撮像装置100は、[1,100]の正規乱数Rを発生させ、R<Tdであるか否かを判定する。 Specifically, in S1501 of FIG. 15, the imaging device 100 generates a normal random number R of [1100], it is determined whether R <Td. Tdは、「通常」の発生確率である。 Td is a probability of occurrence of "normal". R<Tdの場合、S1502で、撮像装置100は、可変フレームレート効果として「通常」を選択する。 For R <Td, in S1502, the imaging device 100 selects the "normal" as the variable frame-rate effect. R≧Tdの場合、S1503で、撮像装置100は、R<Td+Tsであるか否かを判定する。 For R ≧ Td, in S1503, the imaging apparatus 100 determines whether R <Td + Ts. Tsは、「スロー」の発生確率である。 Ts is a probability of occurrence of "slow". R<Td+Tsの場合、S1504で、撮像装置100は、可変フレームレート効果として「スロー」を選択する。 For R <Td + Ts, in S1504, the imaging device 100 selects the "slow" as a variable frame rate effects. R≧Td+Tsの場合、S1505で、撮像装置100は、可変フレームレート効果として「早送り」を選択する。 For R ≧ Td + Ts, in S1505, the imaging device 100 selects the "fast forward" as a variable frame rate effects.

なお、図6及び図10の記載に従えば、可変フレームレート効果の内容は、撮影開始直前に決定される。 Incidentally, according to the description of FIG. 6 and FIG. 10, the contents of the variable frame-rate effect is determined photographing immediately before. しかしながら、撮像装置100は、他のタイミングで可変フレームレート効果の内容を決定してもよい。 However, the imaging apparatus 100 may determine the contents of the variable frame rate effects at another timing. 例えば、図16に示すように、撮像装置100は、撮影中に一定間隔で動き情報を解析し、被写体の動きがあることを検出した場合に、その後一定期間撮像レートを上げることにより、動画に可変フレームレート効果「スロー」を付加することができる。 For example, as shown in FIG. 16, the imaging apparatus 100 analyzes the motion information at regular intervals during the shooting, when it is detected that there is a movement of the object, by raising the subsequent predetermined period image pickup rate, the video it can be added a variable frame rate effects "slow". 或いは、図17に示すように、撮像装置100は、最も高いフレームレートで動画を撮影しておき、撮影後に動画中の被写体動きを解析した上で、動画に所定の内容の可変フレームレート効果を付加することができる。 Alternatively, as shown in FIG. 17, the imaging apparatus 100 in advance by photographing a moving image at the highest frame rates, in terms of the analysis of the subject moving in a moving after shooting, the variable frame rate effects of a given content video it can be added.

以上説明した処理により、撮影シーンに応じた各種の特殊効果が付加された結合動画ファイルが生成される。 Thus described processing, special effects various according to the photographic scene appended combined moving file is generated. こうして生成される結合動画ファイルの一例を図18に示す。 An example of a binding video file thus generated is shown in FIG. 18. 図18の結合動画ファイルは、4つのチャプタを含み、各チャプタに4種類の特殊効果が付加されている。 Binding video file of Figure 18 includes four chapters, four special effect is added to each chapter. 特殊効果処理A群に属する種類の特殊効果である「(1)色・階調変換フィルタ効果」及び「(2)テンプレート合成効果」については、各チャプタに共通の特殊効果が付加されている。 A belonging kinds of special effects to the special effect processing group A for the "(1) Color tone conversion filter effect" and "(2) Template Synthesis effect" common special effect is added to each chapter. また、特殊効果処理B群に属する種類の特殊効果である「(3)可変フレームレート効果」及び「(4)残像効果」については、チャプタ毎に、撮影シーンに応じた特殊効果が付加されている。 Also, the type of special effects belonging to the special effect processing group B for the "(3) variable frame rate effects" and "(4) residual image effect" for each chapter, is added special effects according to the photographic scene there. チャプタ1の残像効果が「なし」であることから理解できるように、特殊効果処理B群については、必ずしも全てのチャプタに特殊効果が付加されるとは限らない。 As afterimage effect of chapter 1 it can be seen because it is "no", the special effect processing B group, not always necessarily to all chapters special effect is added. 換言すると、撮像装置100は、特殊効果処理B群については、結合動画ファイルを構成する複数のチャプタのうちの1以上のチャプタの各々に対して、チャプタ毎に決定される特殊効果を付加する。 In other words, the imaging apparatus 100, for the special effect processing group B, for each of one or more chapters of a plurality of chapters constituting the combined moving file, adding a special effect to be determined for each chapter. これにより、結合動画ファイル全体としての統一感を維持しながらも、撮影シーンに適応的な「面白い」動画を生成することが可能である。 As a result, while maintaining a sense of unity as a whole combined moving files, it is possible to generate an adaptive "interesting" video to the shooting scene.

以上説明したように、第1の実施形態によれば、撮像装置100は、特殊効果処理A群については、各チャプタに共通の特殊効果を付加し、特殊効果処理B群については、チャプタ毎に決定される特殊効果を付加する。 As described above, according to the first embodiment, the imaging apparatus 100, for the special effect processing group A, adds the common special effects to each chapter, the special effect processing group B, in each chapter adding special effect to be determined. このように、撮像装置100は、複数の動画に付加する特殊効果を共通化するか否かを、特殊効果の種類に応じて制御するように構成されている。 Thus, the imaging apparatus 100, whether a common special effects to be added to the plurality of video, and is configured to control in accordance with the type of special effects. また、撮像装置100は、被写体の動きや主要被写体の種類などの従来は考慮されていなかった条件に基づいて、動画に可変フレームレート効果を付加する(即ち、記録される動画の再生速度を制御する)ように構成されている。 The imaging apparatus 100, a conventional kind of subject movement and the main subject on the basis of the conditions has not been considered, the addition of a variable frame-rate effect on video (i.e., control the playback speed of video recorded to) it is configured to.

[その他の実施形態] Other Embodiments
また、本発明は、以下の処理を実行することによっても実現される。 Further, the present invention can also be realized by a computer of a system or apparatus. 即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。 That is, software (program) for realizing the functions of the above is supplied to a system or an apparatus via a network or various storage medium, a computer of the system or apparatus (or CPU or MPU) reads the program is a process to be executed.

100…撮像装置、101…光学系、102…撮像素子、103…メモリ、104…画像処理回路、105…システム制御部、106…露光量制御部、107…フォーカスレンズ制御部、108…焦点距離制御部、109…圧縮回路、110…記録媒体、111…表示部、112…操作部材 100 ... imaging device, 101 ... optical system, 102 ... imaging element, 103 ... memory, 104 ... image processing circuit, 105 ... system control unit, 106 ... exposure control unit, 107 ... focus lens control unit, 108 ... focal length control Department, 109 ... compression circuit, 110 ... recording medium, 111 ... display unit, 112 ... operating member

Claims (7)

  1. 複数の動画を撮影する撮影手段と、 An imaging means for capturing a plurality of moving,
    前記複数の動画の各々に対して、特殊効果を付加する制御手段と、 For each of the plurality of moving image, and a control means for adding special effect,
    前記制御手段により特殊効果が付加された前記複数の動画から構成される結合動画を生成する生成手段と、 Generating means for generating a combined moving composed of the plurality of video special effect is added by the control means,
    を備え Equipped with a,
    前記特殊効果は、色及び階調のうちの少なくとも一方を変換するフィルタの適用制御に対応する色・階調変換フィルタ効果を含む第1の特殊効果と、動画の再生速度の制御に対応する可変フレームレート効果、及び、移動する被写体に対する残像の付加制御に対応する残像効果の少なくとも1つを含む第2の特殊効果と、を含み、 The special effects, variable corresponding to the first and special effects, the control of the playback speed of moving image including a color and color tone conversion filter effect corresponding to the application control of the filter for converting at least one of the gradation frame rate effects, and includes a second special effect comprising at least one of the residual image effect corresponding to the addition control of the afterimage for a moving object,
    前記制御手段は、前記撮影手段で撮影された動画を解析した結果に基づいて前記特殊効果を付加するものであって、前記結合動画を構成する前記複数の動画の全てに対して、同じ色・階調変換フィルタ効果を得るための前記第1の特殊効果を付加するとともに、前記結合動画を構成する前記複数の動画のそれぞれに対して、前記複数の動画のそれぞれに応じた可変フレームレート効果及び残像効果の少なくとも1つを得るための前記第2の特殊効果を付加することを特徴とする撮像装置。 Wherein said control means is for adding the special effect based on the result of the analysis of the moving image taken by the imaging means, for all of the plurality of moving image constituting the combined moving the same color and with the addition of the first special effect for obtaining the gradation conversion filtering effect, for each of said plurality of video constituting the combined moving, variable frame rate effects and corresponding to each of the plurality of video imaging apparatus characterized that you added to the second special effect for obtaining at least one of the afterimage effect.
  2. 前記制御手段は、前記結合動画における先頭の動画を解析した結果に基づいて、前記第1の特殊効果を決定する ことを特徴とする請求項1に記載の撮像装置。 It said control means, based on the result of analyzing the beginning of the video in the combined moving image pickup apparatus according to claim 1, characterized in that determining the first special effect.
  3. 前記複数の動画のうちの所定の動画に付加する色・階調変換フィルタ効果を含む特殊効果を選択するユーザ指示を受信する受信手段を更に備え、 Further comprising a receiving means for receiving a user instruction to select a special effect including color and gradation conversion filter effect of adding a predetermined video of the plurality of video,
    前記ユーザ指示が受信された場合、前記制御手段は、前記所定の動画に対して、 前記撮影手段で撮影された動画を解析した結果に基づく前記第1の特殊効果の代わりに前記ユーザ指示により選択された特殊効果を付加する ことを特徴とする請求項1又は2に記載の撮像装置。 Wherein when the user instruction is received selected, the control means, to said predetermined moving, by the user's instruction instead of the first special effect based on the result of the analysis of the moving image taken by the imaging means the imaging apparatus according to claim 1 or 2, characterized in that the addition of special effects that have been.
  4. 前記制御手段は、前記複数の動画のうちの所定の動画に付加する前記第2の特殊効果を、当該所定の動画を解析した結果に基づいて決定する ことを特徴とする請求項1乃至のいずれか1項に記載の撮像装置。 Said control means said second special effect of adding a predetermined video of the plurality of video, according to claim 1, wherein the determining based on a result of analysis of the the predetermined video the imaging apparatus according to any one.
  5. 前記制御手段は、前記複数の動画のうちの所定の動画に付加する前記第2の特殊効果を、当該所定の動画の撮影パラメータ、前記結合動画における当該所定の動画の位置、及び前記結合動画における先頭の動画に付加される前記第2の特殊効果のうちの少なくとも1つに基づいて決定する ことを特徴とする請求項1乃至のいずれか1項に記載の撮像装置。 It said control means said second special effect of adding a predetermined video of the plurality of video capturing parameters of the predetermined video, the position of the predetermined moving in the combined moving, and in the combined moving the head of the imaging apparatus according to any one of claims 1 to 4, wherein the determining based on at least one of said second special effect to be added to the moving image.
  6. 撮像装置の制御方法であって、 A method for controlling an imaging apparatus,
    数の動画を撮影する撮影工程と、 An imaging step of taking multiple videos,
    記複数の動画の各々に対して、特殊効果を付加する制御工程と、 For each of the previous SL multiple videos, and a control step of adding a special effect,
    記制御工程により特殊効果が付加された前記複数の動画から構成される結合動画を生成する生成工程と、 A generation step of generating combined moving composed before Symbol control step said plurality of video special effect is added by,
    を備え Equipped with a,
    前記特殊効果は、色及び階調のうちの少なくとも一方を変換するフィルタの適用制御に対応する色・階調変換フィルタ効果を含む第1の特殊効果と、動画の再生速度の制御に対応する可変フレームレート効果、及び、移動する被写体に対する残像の付加制御に対応する残像効果の少なくとも1つを含む第2の特殊効果を含み、 The special effects, variable corresponding to the first and special effects, the control of the playback speed of moving image including a color and color tone conversion filter effect corresponding to the application control of the filter for converting at least one of the gradation wherein the frame rate effects, and, a second special effect comprising at least one of the residual image effect corresponding to the addition control of the afterimage for a moving object,
    前記制御工程において、前記撮影工程で撮影された動画を解析した結果に基づいて前記特殊効果を付加するものであって、前記結合動画を構成する前記複数の動画の全てに対して、同じ色・階調変換フィルタ効果を得るための前記第1の特殊効果を付加するとともに、前記結合動画を構成する前記複数の動画のそれぞれに対して、前記複数の動画のそれぞれに応じた可変フレームレート効果及び残像効果の少なくとも1つを得るための前記第2の特殊効果を付加することを特徴とする制御方法。 In the control step, there is the addition of the special effect based on the result of the analysis of the moving image taken by the imaging process, for all the plurality of moving image constituting the combined moving the same color and with the addition of the first special effect for obtaining the gradation conversion filtering effect, for each of said plurality of video constituting the combined moving, variable frame rate effects and corresponding to each of the plurality of video control wherein that you added to the second special effect for obtaining at least one of the afterimage effect.
  7. コンピュータを、請求項1乃至のいずれか1項に記載の撮像装置の各手段として機能させるためのプログラム。 Program for causing a computer to function as each unit of the imaging apparatus according to any one of claims 1 to 5.
JP2014181595A 2014-09-05 2014-09-05 Imaging apparatus, a control method, and program Active JP6346529B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014181595A JP6346529B2 (en) 2014-09-05 2014-09-05 Imaging apparatus, a control method, and program

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014181595A JP6346529B2 (en) 2014-09-05 2014-09-05 Imaging apparatus, a control method, and program
EP20150181738 EP2993895A1 (en) 2014-09-05 2015-08-20 Image capturing apparatus and control method therefor
US14839787 US9723201B2 (en) 2014-09-05 2015-08-28 Image capturing apparatus and control method therefor
CN 201510551146 CN105407266B (en) 2014-09-05 2015-09-01 The imaging device and control method
KR20150123405A KR101871675B1 (en) 2014-09-05 2015-09-01 Image capturing apparatus and control method therefor

Publications (3)

Publication Number Publication Date
JP2016058792A true JP2016058792A (en) 2016-04-21
JP2016058792A5 true JP2016058792A5 (en) 2017-10-05
JP6346529B2 true JP6346529B2 (en) 2018-06-20

Family

ID=55756636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014181595A Active JP6346529B2 (en) 2014-09-05 2014-09-05 Imaging apparatus, a control method, and program

Country Status (1)

Country Link
JP (1) JP6346529B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006067065A (en) * 2004-08-25 2006-03-09 Canon Inc Imaging apparatus
US7752548B2 (en) * 2004-10-29 2010-07-06 Microsoft Corporation Features such as titles, transitions, and/or effects which vary according to positions
JP5646960B2 (en) * 2010-11-11 2014-12-24 オリンパスイメージング株式会社 Imaging apparatus, an imaging method and an imaging program
JP5750692B2 (en) * 2011-02-03 2015-07-22 オリンパス株式会社 Imaging device, an imaging program and an imaging method
JP2014057169A (en) * 2012-09-11 2014-03-27 Olympus Imaging Corp Image generating apparatus, imaging apparatus including the same, image generating method and image generation program

Also Published As

Publication number Publication date Type
JP2016058792A (en) 2016-04-21 application

Similar Documents

Publication Publication Date Title
US20090091633A1 (en) Image-taking method and apparatus
US20080094498A1 (en) Imaging apparatus and imaging control method
US20060115297A1 (en) Imaging device and imaging method
US20120242853A1 (en) Digital camera for capturing an image sequence
US20120243802A1 (en) Composite image formed from an image sequence
US20070230933A1 (en) Device and method for controlling flash
US20140354781A1 (en) Image capture apparatus and control method thereof
JP2007306225A (en) Imaging apparatus and method, and program
US20120307112A1 (en) Imaging apparatus, imaging method, and computer readable recording medium
CN103888683A (en) Mobile terminal and shooting method thereof
JP2007060449A (en) Imaging apparatus
US20080068466A1 (en) Imaging apparatus, method, and program
US20120242851A1 (en) Digital camera having burst image capture mode
US20070222884A1 (en) Thumbnail generating apparatus and image shooting apparatus
JP2002305683A (en) Image pickup device and recording medium for recording image pickup program
JP2005303731A (en) Signal processor, signal processing method and digital camera
US20090262218A1 (en) Image processing apparatus, image processing method, and program
JP2006019874A (en) Blur, out of focus informing method and imaging apparatus
US20090109310A1 (en) Imaging device, imaging method, display control device, display control method, and program
JP2006033123A (en) Image pickup device
US20110242368A1 (en) Image pickup apparatus, image pickup system, and image pickup method
JP2011199493A (en) Camera
JP2005055746A (en) Imaging apparatus, focusing control method and program
US20150002684A1 (en) Image processing apparatus
JP2008277896A (en) Imaging device and imaging method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170824

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180525

R151 Written notification of patent or utility model registration

Ref document number: 6346529

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151