WO2016175003A1 - 撮影装置、撮影装置の制御方法、および制御プログラム - Google Patents

撮影装置、撮影装置の制御方法、および制御プログラム Download PDF

Info

Publication number
WO2016175003A1
WO2016175003A1 PCT/JP2016/061298 JP2016061298W WO2016175003A1 WO 2016175003 A1 WO2016175003 A1 WO 2016175003A1 JP 2016061298 W JP2016061298 W JP 2016061298W WO 2016175003 A1 WO2016175003 A1 WO 2016175003A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
imaging
moving image
section
captured image
Prior art date
Application number
PCT/JP2016/061298
Other languages
English (en)
French (fr)
Inventor
海二 鍋谷
勇志 前嶋
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2016175003A1 publication Critical patent/WO2016175003A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Definitions

  • the present invention relates to a photographing apparatus capable of photographing a moving image.
  • Patent Document 1 describes an analysis device that analyzes a captured moving image based on a user's operation.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a photographing apparatus or the like that captures a moving image that is likely to match a user-desired portion and that can be played back in slow motion immediately after photographing. It is to be realized.
  • an imaging device includes an imaging unit that captures a moving image, and a subject in the captured image captured by the imaging unit during imaging by the imaging unit.
  • the imaging device control method includes an imaging step of capturing a moving image, and a degree of movement of a subject in the captured image being captured exceeds the predetermined amount during imaging in the imaging step.
  • the method includes a specifying step of specifying a section, and a storage control step of storing information indicating the section specified in the specifying step and the captured image as one moving image data.
  • one moving image data includes a captured image and information indicating a section in which the degree of movement of the subject exceeds a predetermined amount.
  • a section in which the degree of movement exceeds a predetermined amount can be recognized. Therefore, during the playback, only the section in which the degree of movement of the subject exceeds a predetermined amount can be played back in slow motion without analyzing the moving image data to be played back. Therefore, compared to the case where moving image data is analyzed before reproduction, the time until reproduction is started can be shortened.
  • the moving image data includes information for identifying a section in which the degree of movement of the subject exceeds a predetermined amount, it is possible to automatically perform slow motion playback in a section in which the degree of movement of the subject exceeds a predetermined amount. There is an effect.
  • a section where the degree of movement of the subject exceeds a predetermined amount can be considered as a section where the user desires slow motion playback
  • the user's desired section can be set as a slow motion playback section.
  • FIG. 1 It is a block diagram which shows the principal part structure of the imaging device which concerns on Embodiment 1 of this invention. It is a figure which shows the external appearance of the said imaging device, (a) is the figure seen from the front surface (display part side), (b) is the figure seen from the rear surface (imaging part side). It is a figure for demonstrating the data structure stored in the said embodiment, (a) is a figure which shows the slow area information stored in a header, (b) shows the relationship between a header and encoding data. FIG. It is a flowchart which shows the flow of the process in the said imaging device.
  • the photographing device 1 is a photographing device capable of high-speed photographing (high-speed photographing), and can obtain a smooth moving image when the photographed moving image is reproduced in slow motion.
  • high-speed shooting is shooting in which the number of frames taken per second is larger than that in normal shooting. In other words, the number of shooting processes is greater than the number of playback frames per second on the display unit 14.
  • the photographing apparatus 1 automatically determines a portion of the captured moving image that is preferably reproduced in slow motion, and records information indicating this together with the moving image.
  • FIG. 2A is a diagram of the photographing apparatus 1 viewed from the display unit 14 side (front side), and FIG. It is the figure seen from the rear surface.
  • the imaging device 1 may be any device as long as it can capture a moving image, and may be a mobile terminal, a PDA (Personal Digital Assistant), a tablet, a compact camera, a single-lens reflex camera, or the like. .
  • PDA Personal Digital Assistant
  • the photographing apparatus 1 has a touch panel format in which a display unit 14 and an operation receiving unit 13 are integrated.
  • the imaging unit 12 is provided on the surface opposite to the surface on which the display unit 14 is provided, and an image captured by the imaging unit 12 is displayed on the display unit 14. It has become.
  • FIG. 1 is a block diagram illustrating a configuration of a main part of the photographing apparatus 1.
  • the photographing apparatus 1 includes a control unit 10, a storage unit 11, an imaging unit 12, an operation reception unit 13, and a display unit 14.
  • the storage unit 11 stores a captured image 31 with slow section information.
  • the control unit 10 includes a captured image acquisition unit 21, an encoding unit 22, an image analysis unit 23, a moving image storage unit (storage control unit) 25, and a display control unit 26.
  • a section extraction unit (specification unit) 24 is included.
  • the storage unit 11 stores information, and includes a nonvolatile device such as a flash memory and a ROM (Read Only Memory), and a volatile device such as a RAM (Random Access Memory).
  • the contents stored in the nonvolatile device include various programs, various operation setting values, various data, and the like. Examples of the contents stored in the volatile device include a work file and a temporary file. As described above, in the present embodiment, the storage unit 11 stores the captured image 31 with slow section information.
  • FIG. 3 is a diagram showing the contents of the captured image 31 with slow section information
  • FIG. 3 (a) is a diagram for explaining the slow section information included in the header
  • FIG. It is a figure which shows the structure of digitization data (moving image data).
  • the captured image with slow section information (moving image data) 31 is obtained by encoding data including a captured image and slow section information obtained by analyzing the captured image (details will be described later).
  • the slow section information is associated with a size, an identifier, a number, and (start time, end time, detection type).
  • the size indicates the size of the moving image.
  • the identifier specifies the moving image.
  • the number indicates the number of slow sections included in the moving image.
  • (Start time, end time, detection type) is information indicating a slow section, the start time indicates the start time of the slow section, the end time indicates the end time of the slow section, and the detection type is a slow section Is shown.
  • the slow zone is a zone where slow motion reproduction is desirable, that is, a zone where the subject moves (or moves rapidly). In this embodiment, “MOVE” indicating that there is a motion is described as the detection type.
  • the captured image 31 with slow section information is composed of a header and moving image main body data, and the slow section information is stored in the header portion of the captured image 31 with slow section information. Yes.
  • the control unit 10 executes the function of the photographing apparatus 1. As described above, the control unit 10 includes the captured image acquisition unit 21, the encoding unit 22, the image analysis unit 23, the moving image storage unit 25, and the display control unit 26. Including.
  • the captured image acquisition unit 21 acquires an image captured by the imaging unit 12 to be described later, and transmits the acquired image to the encoding unit 22 and the image analysis unit 23.
  • the encoding unit 22 encodes the captured image acquired from the captured image acquisition unit 21 and transmits the encoded data to the moving image storage unit 25.
  • the image analysis unit 23 analyzes the captured image acquired from the captured image acquisition unit 21 and includes a slow section extraction unit 24.
  • the slow section extraction unit 24 extracts a slow section from the acquired captured image, and transmits slow section information indicating the extracted section to the moving image storage unit 25. That is, the slow section extraction unit 24 extracts a slow section from the moving image being captured during imaging.
  • the slow section is a section where it is desirable to perform slow motion playback, that is, a section where the degree of movement of the subject exceeds a predetermined amount (a section where the subject moves (or moves rapidly)). Note that the predetermined amount can be set as appropriate, thereby determining the degree of movement to be detected.
  • the movement of the subject is detected by moving the same object (may be a subject or a part of the subject) between adjacent frames (or during a predetermined period) in the moving image being shot. It is possible to use a technique such as detecting a distance.
  • the moving image storage unit 25 generates storage data from the encoded data transmitted from the encoding unit 22 and the slow section information transmitted from the image analysis unit 23, and stores it as a captured image 31 with slow section information in the storage unit 11. Store.
  • the display control unit 26 controls the display on the display unit 14. For example, an image being captured by the imaging unit 12 is displayed. Further, the captured moving image (captured image 31 with slow section information) stored in the storage unit 11 is displayed on the display unit 14. The function of displaying the captured moving image (the captured image 31 with slow section information) stored in the storage unit 11 is not essential, and the stored captured image 31 with slow section information is displayed on another display device. It may be transmitted and displayed.
  • the imaging unit 12 is equipped with a digital camera provided with, for example, a lens group, a diaphragm, an imaging element, and the like.
  • the imaging device include a charge coupled device (CCD) and a complementary metal-oxide semiconductor (CMOS) image sensor.
  • CCD charge coupled device
  • CMOS complementary metal-oxide semiconductor
  • the imaging unit 12 captures a subject to acquire a captured image, converts the captured image data into captured image data, and transmits the captured image data to the captured image acquisition unit 21 of the control unit 10.
  • the operation accepting unit 13 accepts an operation on the photographing apparatus 1 and notifies the control unit 10 of the accepted processing content.
  • the operation receiving unit 13 has a touch panel format and is assumed to be integrated with a display unit 14 to be described later, but is not limited thereto, and may be provided as a hard key.
  • the display unit 14 displays a captured image, an input screen, and the like.
  • the display unit 14 may be realized by any device as long as it is capable of displaying information. Specific examples include a liquid crystal display, an organic EL (Electro-Luminescence) display, a plasma display, and the like. Is mentioned.
  • FIG. 4 is a flowchart showing the flow of processing in the photographing apparatus 1.
  • the photographing apparatus 1 executes parallel processing.
  • One of the parallel processing is as follows.
  • the encoding unit 22 encodes (encodes) the acquired captured image (S2), and proceeds to step S3 after encoding.
  • the slow section extraction unit 24 determines whether or not the subject of the acquired captured image has a motion (S11). If the subject has a motion (YES in S11), the subject also has a motion in the previously acquired captured image. It is determined whether or not there is (S12). If there is no movement of the subject in the previously acquired captured image (NO in S12), this is the first captured image with the subject movement this time, so the imaging time is extracted as the start time of the captured image with the movement of the subject. (S13). On the other hand, if the captured image acquired in the previous time also has a subject motion in step S12 (YES in S12), it is determined that the captured image having the subject motion is continuous, and the process proceeds to step S3 as it is.
  • step S11 If there is no movement of the subject in step S11 (NO in S11), the slow section extraction unit 24 determines whether or not the start time point has not been extracted before the captured image acquired this time (S14). If the start time point has been extracted (YES in S14), the captured image acquired this time is the end point of the movement of the subject, so the image pickup time is extracted as the end point of the captured image with the subject movement (S15). Then, the process proceeds to step S3.
  • step S14 If the start time has not been extracted in step S14 (NO in S14), the process proceeds to step S3 as it is.
  • the moving image storage unit 25 stores the moving image data encoded by the encoding unit 22 and the slow interval information transmitted from the slow interval extracting unit 24 as storage information (slow interval).
  • the information-added captured image 31) is stored in the storage unit 11 (S4).
  • the processing (control method) in the imaging apparatus 1 includes the imaging step (S1 to S3) for capturing a moving image and the degree of movement of the subject in the captured image being captured during the imaging in the imaging step.
  • the moving image captured by the image capturing apparatus 1 is an image captured at high speed.
  • the same processing as that of the first embodiment is performed on a moving image shot by normal (normal) shooting, that is, by shooting with the same number of playback frames per second on the display unit 14. Even in the case of a normally captured moving image, the same effect as that of the first embodiment can be obtained by extracting and recording information indicating a moving section as a slow section.
  • the control blocks (particularly, the captured image acquisition unit 21, the encoding unit 22, the image analysis unit 23, the slow section extraction unit 24, the moving image storage unit 25, and the display control unit 26) of the photographing apparatus 1 are integrated circuits (IC chips). It may be realized by a logic circuit (hardware) formed in the same manner, or may be realized by software using a CPU (Central Processing Unit).
  • IC chips integrated circuits
  • CPU Central Processing Unit
  • the photographing apparatus 1 includes a CPU that executes instructions of a program that is software that realizes each function, a ROM (Read Only Memory) in which the program and various data are recorded so as to be readable by a computer (or CPU), or A storage device (these are referred to as “recording media”), a RAM (Random Access Memory) for expanding the program, and the like are provided.
  • a computer or CPU
  • the recording medium a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • a transmission medium such as a communication network or a broadcast wave
  • the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • An imaging apparatus (1) includes an imaging unit (12) that captures a moving image, and a degree of movement of a subject in a captured image captured by the imaging unit during imaging by the imaging unit.
  • a specifying unit (slow section extracting unit 24) that specifies a section exceeding the predetermined amount, and a storage control unit (moving image storage) that stores information indicating the section specified by the specifying unit and the captured image as one moving image data Part 25).
  • a section in which the degree of movement of the subject exceeds a predetermined amount is specified in the captured image, and information indicating the specified section and the captured image are stored as one moving image data.
  • one moving image data includes the captured image and information indicating a section in which the degree of movement of the subject exceeds a predetermined amount
  • the reproducing apparatus determines that the degree of movement of the subject is the predetermined amount when reproducing the moving image data. It is possible to recognize a section exceeding. Therefore, during the playback, only the section in which the degree of movement of the subject exceeds a predetermined amount can be played back in slow motion without analyzing the moving image data to be played back. Therefore, it is possible to shorten the time until the reproduction is started, compared with the case where the moving image data is analyzed before the reproduction.
  • the moving image data includes information for identifying a section in which the degree of movement of the subject exceeds a predetermined amount, it is possible to automatically perform slow motion playback in a section in which the degree of movement of the subject exceeds a predetermined amount.
  • a section where the degree of movement of the subject exceeds a predetermined amount can be considered as a section where the user desires slow motion playback
  • the user's desired section can be set as the slow motion playback section.
  • the imaging device is the imaging apparatus according to aspect 1, wherein the imaging unit can perform high-speed imaging that is greater than the number of playback frames per second of the display unit, and the specifying unit is controlled by the imaging unit. A section where the degree of movement of the subject in the captured image taken at a high speed exceeds a predetermined amount may be specified.
  • a section where the degree of movement of the subject exceeds a predetermined amount is specified using the captured image taken at high speed. Therefore, a smooth image can be presented when slow motion playback is performed.
  • the information indicating the section specified by the specifying unit may be stored in a header portion of the moving image data.
  • information for identifying a section in which the degree of movement of the subject exceeds a predetermined amount is stored in the header portion of the moving image data.
  • the method for controlling an imaging device includes an imaging step (S1 to S3) for capturing a moving image, and a degree of movement of a subject in the captured image being captured during the imaging in the imaging step.
  • a specifying step (S11 to S15) for specifying a section exceeding the fixed amount, and a storage control step (S4) for storing information indicating the section specified in the specifying step and the captured image as one moving image data are included.
  • the photographing apparatus may be realized by a computer.
  • the photographing apparatus is realized by the computer by causing the computer to operate as each unit (software element) included in the photographing apparatus.
  • a control program for the photographing apparatus and a computer-readable recording medium on which the control program is recorded also fall within the scope of the present invention.
  • the present invention can be used for a mobile terminal, a smartphone, a tablet, or the like having a moving image shooting function.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

ユーザ所望部分と一致する可能性が高く、かつ撮影後すぐにスローモーション再生が可能な動画像を撮影する。撮像部（１２）による撮像中に、撮像画像における被写体の動きの程度が所定量を超える区間を特定するスロー区間抽出部（２４）と、特定した区間を示す情報と撮像画像とを１つの動画データとして記憶させる動画像格納部（２５）と、を備える。

Description

撮影装置、撮影装置の制御方法、および制御プログラム
　本発明は、動画像を撮影可能な撮影装置等に関する。
　近年、動画撮影機能を備えた携帯端末、スマートフォン等が普及している。これらの中には、高速度撮影した動画像をスローモーションで再生する機能を有したものも存在する。また、撮影した動画像の中から特徴的なシーンをピックアップし、当該シーンのみをハイライト再生する機能を有するものも存在する。
　また、特許文献１には、撮影した動画像を、ユーザの操作に基づいて解析する解析装置が記載されている。
特表２００１－５２０８１９号公報（２００１年１０月３０日公表）
　しかしながら、上述のような従来技術は以下の問題がある。例えば、スローモーション再生が可能なものは、スローモーション再生を行う部分が予め指定されており、ユーザの所望部分と一致するとは限らない。また、ハイライト再生が可能なものは、撮影後に動画像を解析し、ハイライト再生を行うシーンを抽出する必要があり、撮影後すぐに再生することができない。また、特許文献１に記載された発明も、撮影後に動画像の解析が必要となる。
　本発明は、上記問題に鑑みてなされたものであり、その目的は、ユーザ所望部分と一致する可能性が高く、かつ撮影後すぐにスローモーション再生が可能な動画像を撮影する撮影装置等を実現することにある。
　上記の課題を解決するために、本発明の一態様に係る撮影装置は、動画像を撮像する撮像部と、上記撮像部による撮像中に、該撮像部が撮像している撮像画像における被写体の動きの程度が所定量を超える区間を特定する特定部と、上記特定部が特定した区間を示す情報と上記撮像画像とを１つの動画データとして記憶させる記憶制御部と、を備えている構成である。
　また、本発明の一態様に係る撮影装置の制御方法は、動画像を撮像する撮像ステップと、上記撮像ステップにおける撮像中に、撮像している撮像画像における被写体の動きの程度が所定量を超える区間を特定する特定ステップと、上記特定ステップで特定した区間を示す情報と上記撮像画像とを１つの動画データとして記憶させる記憶制御ステップと、を含む方法である。
　本発明の一態様によれば、１つの動画データに撮像画像と被写体の動きの程度が所定量を超える区間を示す情報とが含まれるので、再生装置は、当該動画データの再生時に、被写体の動きの程度が所定量を超える区間を認識することができる。よって、再生時に、再生対象の動画データを解析することなく、被写体の動きの程度が所定量を超える区間のみをスローモーション再生することができる。よって、再生前に動画データを解析する場合と比較して、再生が開始されるまでの時間を短縮することができるという効果を奏する。
　また、動画データに被写体の動きの程度が所定量を超える区間を特定する情報が含まれているので、自動的に被写体の動きの程度が所定量を超える区間をスローモーション再生することができるという効果を奏する。
　さらに、被写体の動きの程度が所定量を超える区間は、ユーザがスローモーション再生を望む区間と考えらえるので、ユーザの所望の区間をスローモーション再生区間とすることができるという効果を奏する。
本発明の実施形態１に係る撮影装置の要部構成を示すブロック図である。 上記撮影装置の外観を示す図であり、（a）は前面（表示部側）から見た図であり、（b）は後面（撮像部側）から見た図である。 上記実施形態において格納されるデータ構造を説明するための図であり、（a）はヘッダに格納されるスロー区間情報を示す図であり、（b）はヘッダと符号化データとの関係を示す図である。 上記撮影装置における処理の流れを示すフローチャートである。
　〔実施形態１〕
　　〔概要〕
　まず、本実施形態に係る撮影装置１の概要について説明する。撮影装置１は、高速度撮影（ハイスピード撮影）可能な撮影装置であり、撮影した動画像をスローモーション再生した時に滑らかな動画像を得ることができるものである。なお、高速度撮影とは、通常撮影よりも１秒当たりの撮影コマ数が多い撮影である。換言すれば、表示部１４の１秒当たりの再生フレーム数より多い撮影処理である。
　また、撮影装置１は、撮影時に、撮影した動画像のうち、スローモーション再生した方が望ましい部分を自動的に判定し、その旨を示す情報を動画像とともに記録するものである。
　これにより、撮影した動画像の再生時に、スローモーション再生した方が望ましい部分を自動的にスローモーション再生することができるようになる。また、動画像の再生の直前に再生対象の動画像を解析して、スローモーション再生が望ましい部分を抽出する必要がないので、再生開始までの時間を短縮することができる。
　　〔撮影装置１〕
　次に、図１～４を参照して、撮影装置１の詳細について説明する。まず、図２を参照して撮影装置１の外観について説明する。図２は、撮影装置１の外観を示す図であり、（ａ）は撮影装置１を表示部１４側（前面）から見た図であり、（ｂ）は撮影装置１を撮像部１２側（後面）から見た図である。
　なお、ここでは、撮影装置１としてスマートフォンを用いた場合を例に挙げて説明するが、撮影装置１はスマートフォンに限られるものではない。撮影装置１は、動画像を撮影可能な装置であれば、どのようなものであってもよく、携帯端末、ＰＤＡ（Personal Digital Assistant）、タブレット、コンパクトカメラ、一眼レフカメラ等であってもよい。
　図２（ａ）に示すように、撮影装置１は、表示部１４と操作受付部１３とが一体となったタッチパネル形式となっている。また、図２（ｂ）に示すように、表示部１４が備えられた面とは反対側の面に撮像部１２が設けられ、撮像部１２で撮像した画像が表示部１４に表示されるようになっている。
　次に、図１を参照して、撮影装置１の要部構成について説明する。図１は、撮影装置１の要部構成を示すブロック図である。図１に示すように、撮影装置１は、制御部１０、記憶部１１、撮像部１２、操作受付部１３、および表示部１４を備えている。また、記憶部１１には、スロー区間情報付撮像画像３１が格納されている。また、制御部１０には撮像画像取得部２１、符号化部２２、画像解析部２３、動画像格納部（記憶制御部）２５、および表示制御部２６が含まれ、画像解析部２３にはスロー区間抽出部（特定部）２４が含まれている。
　記憶部１１は、情報を記憶するものであり、フラッシュメモリ、ＲＯＭ（Read Only Memory）などの不揮発性のデバイスと、ＲＡＭ（Random Access Memory）などの揮発性のデバイスとによって構成されている。不揮発性のデバイスに記憶される内容としては、各種プログラム、各種動作設定値、各種データなどが挙げられる。揮発性のデバイスに記憶される内容としては、作業用ファイル、テンポラリファイルなどが挙げられる。上述したように、本実施の形態では、記憶部１１はスロー区間情報付撮像画像３１を格納している。
　ここで、スロー区間情報付撮像画像３１の内容について、図３を参照して説明する。図３は、スロー区間情報付撮像画像３１の内容を示す図であり、図３（ａ）は、ヘッダに含まれるスロー区間情報を説明するための図であり、図３（ｂ）は、符号化データ（動画データ）の構成を示す図である。
　スロー区間情報付撮像画像（動画データ）３１は、撮像画像と、撮像画像を解析（詳細は後述する）して得られたスロー区間情報とを含むデータを符号化したものである。図３（ａ）に示すように、スロー区間情報は、サイズ、識別子、個数、（開始時刻、終了時刻、検出種別）が対応付けられたものである。サイズとは、当該動画像の大きさを示すものである。識別子は、当該動画像を特定するものである。個数とは、当該動画像に含まれるスロー区間の数を示すものである。（開始時刻、終了時刻、検出種別）は、スロー区間を示す情報であり、開始時刻はスロー区間の開始時刻を示し、終了時刻はスロー区間の終了時刻を示し、検出種別はスロー区間であることを示している。スロー区間であるとは、スローモーション再生が望ましい区間、すなわち被写体の動きのある（または、動きの激しい）区間のことである。本実施形態では、検出種別として動きがあること示す“ＭＯＶＥ”が記述されている。
　なお、本実施形態では、検出種別として“ＭＯＶＥ”のみを記述しているが、顔の検出を示す“ＦＡＣＥ”を記述してもよいし、それ以外の検出種別を記述してもよい。
　また、図３（ｂ）に示すように、スロー区間情報付撮像画像３１は、ヘッダと動画本体データとで構成され、スロー区間情報は、スロー区間情報付撮像画像３１のヘッダ部分に格納されている。
　制御部１０は、撮影装置１の機能を実行するものであり、上述したように、撮像画像取得部２１、符号化部２２、画像解析部２３、動画像格納部２５、および表示制御部２６を含む。
　撮像画像取得部２１は、後述する撮像部１２が撮像した画像を取得し、符号化部２２および画像解析部２３に送信する。
　符号化部２２は、撮像画像取得部２１から取得した撮像画像を符号化し、符号化データを動画像格納部２５に送信する。
　画像解析部２３は、撮像画像取得部２１から取得した撮像画像を解析するものであり、スロー区間抽出部２４を含む。
　スロー区間抽出部２４は、取得した撮像画像からスロー区間を抽出し、抽出した区間を示すスロー区間情報を動画像格納部２５に送信する。すなわち、スロー区間抽出部２４は、撮像中の動画像からスロー区間を撮像中に抽出する。上述したように、スロー区間とは、スローモーション再生を行うことが望ましい区間、すなわち被写体の動きの程度が所定量を超える区間（被写体の動きのある（または動きの激しい）区間）である。なお、所定量は適宜設定でき、これにより検出する動きの程度を決定することができる。
　また、被写体の動きの検出は、撮影中の動画像において同一のオブジェクト（被写体であってもよいし被写体の一部であってもよい）が隣接する（または所定期間における）フレーム間で移動した距離を検出する等の技術を用いて行うことが可能である。
　動画像格納部２５は、符号化部２２から送信された符号化データと画像解析部２３から送信されたスロー区間情報とから格納データを生成し、スロー区間情報付撮像画像３１として記憶部１１に格納する。
　表示制御部２６は、表示部１４の表示を制御するものである。例えば、撮像部１２による撮像中の画像を表示させる。また、記憶部１１に格納されている撮像済みの動画像（スロー区間情報付撮像画像３１）を表示部１４に表示させる。なお、記憶部１１に格納されている撮像済みの動画像（スロー区間情報付撮像画像３１）を表示させる機能は必須ではなく、格納されているスロー区間情報付撮像画像３１を他の表示装置に送信して表示させるものであってもよい。
　撮像部１２は、内部に例えばレンズ群、絞り、撮像素子などを備えたデジタルカメラを搭載している。撮像素子の例としては、ＣＣＤ（charge coupled device）、およびＣＭＯＳ（Complementary Metal-oxide Semiconductor）イメージセンサが挙げられる。撮像部１２は、被写体の撮像を行って撮像画像を取得し、撮像画像のデータに変換して制御部１０の撮像画像取得部２１に送信する。
　操作受付部１３は、撮影装置１に対する操作を受け付け、受け付けた処理内容を制御部１０に通知するものである。本実施形態では、操作受付部１３はタッチパネル形式となっており、後述する表示部１４と一体化したものを想定しているが、これに限られず、ハードキーとして備えられていてもよい。
　表示部１４は、撮像画像、入力画面等の表示を行う。この表示部１４は、情報の表示が可能な表示装置であればどのような装置によって実現されてもよいが、具体的な例としては、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、プラズマディスプレイ等が挙げられる。
　　〔処理の流れ〕
　次に、図４を参照して、撮影装置１における処理の流れについて説明する。図４は、撮影装置１における処理の流れを示すフローチャートである。
　図４に示すように、撮影処理が開始すると（Ｓ１）、撮影装置１は並列処理を実行する。並列処理の一方は次の通りである。符号化部２２は、取得した撮像画像を符号化（エンコード）し（Ｓ２）、符号化後、ステップＳ３へ進む。
　並列処理の他方は次の通りである。スロー区間抽出部２４が、取得した撮像画像の被写体に動きがあるか否かを判定し（Ｓ１１）、被写体に動きがあれば（Ｓ１１でＹＥＳ）、前回取得した撮像画像にも被写体に動きがあったか否かを判定する（Ｓ１２）。前回取得した撮像画像には被写体の動きがなかった場合（Ｓ１２でＮＯ）、今回、被写体の動きがある初めての撮像画像となるので、撮像時刻を被写体の動きのある撮像画像の開始時点として抽出する（Ｓ１３）。一方、ステップＳ１２で、前回取得した撮像画像にも被写体の動きがあった場合（Ｓ１２でＹＥＳ）、被写体の動きのある撮像画像が連続しているとして、そのままステップＳ３へ進む。
　また、ステップＳ１１で被写体の動きがなかった場合（Ｓ１１でＮＯ）、スロー区間抽出部２４は、今回取得した撮像画像の前に、開始時点を抽出していたかないかを判定する（Ｓ１４）。開始時点を抽出していた場合（Ｓ１４でＹＥＳ）、今回取得した撮像画像が被写体の動きの終了時点となるので、撮像時刻を被写体の動きのある撮像画像の終了時点として抽出する（Ｓ１５）。そして、ステップＳ３に進む。
　また、ステップＳ１４で開始時点を抽出していなかった場合（Ｓ１４でＮＯ）、そのままステップＳ３に進む。
　その後、撮影が終了するまで（Ｓ３）、上記の処理を繰り返す。そして、撮影が終了すると（Ｓ３でＹＥＳ）、動画像格納部２５は、符号化部２２が符号化した動画像データとスロー区間抽出部２４から送信されたスロー区間情報とを格納情報（スロー区間情報付撮像画像３１）として記憶部１１に格納する（Ｓ４）。
　以上のように、撮影装置１における処理（制御方法）は、動画像を撮像する撮像ステップ（Ｓ１～Ｓ３）と、上記撮像ステップにおける撮像中に、撮像している撮像画像における被写体の動きの程度が所定量を超える区間を特定する特定ステップ（Ｓ１１～Ｓ１５）と、上記特定ステップで特定した区間を示す情報と上記撮像画像とを１つの動画データとして記憶させる記憶制御ステップ（Ｓ４）と、を含む。
　〔実施形態２〕
　本発明の他の実施形態について説明する。上記実施形態１では、撮影装置１が撮像する動画像は、高速度撮影された画像であった。本実施形態では、ノーマル（通常）撮影、すなわち、表示部１４における１秒当たりの再生フレーム数と同じ撮影により撮影した動画像に対し、実施形態１と同様の処理を実行するものである。ノーマル撮影された動画像であっても、動きのある区間を示す情報をスロー区間として抽出し記録することにより、上記実施形態１と同様の効果を奏することができる。
　〔実施形態３〕
　　（ソフトウェアによる実現例）
　撮影装置１の制御ブロック（特に撮像画像取得部２１、符号化部２２、画像解析部２３、スロー区間抽出部２４、動画像格納部２５、および表示制御部２６）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
　後者の場合、撮影装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の態様１に係る撮影装置（１）は、動画像を撮像する撮像部（１２）と、上記撮像部による撮像中に、該撮像部が撮像している撮像画像における被写体の動きの程度が所定量を超える区間を特定する特定部（スロー区間抽出部２４）と、上記特定部が特定した区間を示す情報と上記撮像画像とを１つの動画データとして記憶させる記憶制御部（動画像格納部２５）と、を備えている。
　上記の構成によれば、動画像の撮像中に、撮像画像において被写体の動きの程度が所定量を超える区間を特定し、特定した区間を示す情報と撮像画像とを１つの動画データとして記憶させる。これにより、１つの動画データに撮像画像と被写体の動きの程度が所定量を超える区間を示す情報とが含まれるので、再生装置は、当該動画データの再生時に、被写体の動きの程度が所定量を超える区間を認識することができる。よって、再生時に、再生対象の動画データを解析することなく、被写体の動きの程度が所定量を超える区間のみをスローモーション再生することができる。よって、再生前に動画データを解析する場合と比較して、再生が開始されるまでの時間を短縮することができる。
　また、動画データに被写体の動きの程度が所定量を超える区間を特定する情報が含まれているので、自動的に被写体の動きの程度が所定量を超える区間をスローモーション再生することができる。
　さらに、被写体の動きの程度が所定量を超える区間は、ユーザがスローモーション再生を望む区間と考えらえるので、ユーザの所望の区間をスローモーション再生区間とすることができる。
　本発明の態様２に係る撮影装置は、上記態様１において、上記撮像部は、表示部の１秒当たりの再生フレーム数より多い高速度撮影が可能であり、上記特定部は、上記撮像部により上記高速度撮影された撮像画像における被写体の動きの程度が所定量を超える区間を特定するものであってもよい。
　上記の構成によれば、高速度撮影された撮像画像を用いて被写体の動きの程度が所定量を超える区間を特定する。これにより、スローモーション再生したときに、滑らかな画像を提示することができる。
　本発明の態様３に係る撮影装置は、上記態様１または２において、上記特定部が特定した区間を示す情報は、上記動画データのヘッダ部分に格納されていてもよい。
　上記の構成によれば、動画データのヘッダ部分に、被写体の動きの程度が所定量を超える区間を特定する情報が格納される。これにより、再生装置は、動画そのもののデータを取得する前に被写体の動きの程度が所定量を超える区間を認識することができるので、予め被写体の動きの程度が所定量を超える区間、すなわち、スローモーション再生する区間を決定することができる。
　本発明の態様４に係る撮影装置の制御方法は、動画像を撮像する撮像ステップ（Ｓ１～Ｓ３）と、上記撮像ステップにおける撮像中に、撮像している撮像画像における被写体の動きの程度が所定量を超える区間を特定する特定ステップ（Ｓ１１～Ｓ１５）と、上記特定ステップで特定した区間を示す情報と上記撮像画像とを１つの動画データとして記憶させる記憶制御ステップ（Ｓ４）と、を含む。
　上記の構成によれば、上記態様１と同様の効果を奏する。
　本発明の各態様に係る撮影装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記撮影装置が備える各部（ソフトウェア要素）として動作させることにより上記撮影装置をコンピュータにて実現させる撮影装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
　本発明は、動画像の撮影機能を備えた携帯端末、スマートフォン、タブレット等に利用することができる。
　　１　撮影装置
　１２　撮像部
　１３　操作受付部
　１４　表示部
　２１　撮像画像取得部
　２２　符号化部
　２３　画像解析部
　２４　スロー区間抽出部（特定部）
　２５　動画像格納部（記憶制御部）
　２６　表示制御部

Claims (5)

  1. 　動画像を撮像する撮像部と、
    　上記撮像部による撮像中に、該撮像部が撮像している撮像画像における被写体の動きの程度が所定量を超える区間を特定する特定部と、
    　上記特定部が特定した区間を示す情報と上記撮像画像とを１つの動画データとして記憶させる記憶制御部と、を備えていることを特徴とする撮影装置。
  2. 　上記撮像部は、表示部の１秒当たりの再生フレーム数より多い高速度撮影が可能であり、
    　上記特定部は、上記撮像部により上記高速度撮影された撮像画像における被写体の動きの程度が所定量を超える区間を特定することを特徴とする請求項１に記載の撮影装置。
  3. 　上記特定部が特定した区間を示す情報は、上記動画データのヘッダ部分に格納されていることを特徴とする請求項１または２に記載の撮影装置。
  4. 　動画像を撮像する撮像ステップと、
    　上記撮像ステップにおける撮像中に、撮像している撮像画像における被写体の動きの程度が所定量を超える区間を特定する特定ステップと、
    　上記特定ステップで特定した区間を示す情報と上記撮像画像とを１つの動画データとして記憶させる記憶制御ステップと、を含むことを特徴とする撮影装置の制御方法。
  5. 　請求項１に記載の撮影装置としてコンピュータを機能させるための制御プログラムであって、上記特定部、および上記記憶制御部としてコンピュータを機能させるための制御プログラム。
PCT/JP2016/061298 2015-04-28 2016-04-06 撮影装置、撮影装置の制御方法、および制御プログラム WO2016175003A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-092315 2015-04-28
JP2015092315 2015-04-28

Publications (1)

Publication Number Publication Date
WO2016175003A1 true WO2016175003A1 (ja) 2016-11-03

Family

ID=57199634

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/061298 WO2016175003A1 (ja) 2015-04-28 2016-04-06 撮影装置、撮影装置の制御方法、および制御プログラム

Country Status (1)

Country Link
WO (1) WO2016175003A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021031915A1 (zh) * 2019-08-22 2021-02-25 华为技术有限公司 一种智能录像方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009065323A (ja) * 2007-09-05 2009-03-26 Sony Corp 画像処理装置、画像処理方法、撮像装置および撮像方法
JP2012010133A (ja) * 2010-06-25 2012-01-12 Nikon Corp 画像処理装置および画像処理プログラム
JP2013146017A (ja) * 2012-01-16 2013-07-25 Nikon Corp 撮像装置およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009065323A (ja) * 2007-09-05 2009-03-26 Sony Corp 画像処理装置、画像処理方法、撮像装置および撮像方法
JP2012010133A (ja) * 2010-06-25 2012-01-12 Nikon Corp 画像処理装置および画像処理プログラム
JP2013146017A (ja) * 2012-01-16 2013-07-25 Nikon Corp 撮像装置およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021031915A1 (zh) * 2019-08-22 2021-02-25 华为技术有限公司 一种智能录像方法和装置

Similar Documents

Publication Publication Date Title
US10403325B2 (en) Video camera with capture modes
US8665345B2 (en) Video summary including a feature of interest
US9013604B2 (en) Video summary including a particular person
US9456138B2 (en) Image processing apparatus, image processing method and computer readable recording medium having program for generating time-lapse moving image
US20140153900A1 (en) Video processing apparatus and method
TW201607314A (zh) 自動生成視訊以適合顯示時間
TW201602922A (zh) 自動插入視頻成爲相片故事
CN104580874B (zh) 一种摄像设备及其实现拍照的方法
TW201601074A (zh) 縮圖編輯
JP2006303961A (ja) 撮像装置
CN105391935B (zh) 影像撷取装置的控制方法及电子装置
CN104486544A (zh) 一种全景照片的拍摄方法及装置
JP2010087722A (ja) 撮影装置及び動画像編集方法
JP5266701B2 (ja) 撮像装置、被写体分離方法、およびプログラム
WO2016175003A1 (ja) 撮影装置、撮影装置の制御方法、および制御プログラム
WO2016019786A1 (zh) 物体运动轨迹拍摄方法、系统及计算机存储介质
JP2013126175A (ja) 画像記録装置、画像生成装置、画像記録装置の制御プログラムおよび画像生成装置の制御プログラム
JP2010087723A (ja) 撮影装置及び動画像編集方法
JP7003286B2 (ja) 撮影装置、撮影方法、及びプログラム
WO2020116102A1 (ja) 撮像装置、撮像方法、及びプログラム
WO2020110710A1 (ja) 撮像装置、撮像方法、及びプログラム
TWI590186B (zh) 影像擷取裝置及其影像處理方法
WO2020066316A1 (ja) 撮影装置、撮影方法、及びプログラム
JP6354377B2 (ja) 撮像装置およびその制御方法とプログラム
JP6218060B2 (ja) 撮像装置及び映像データ切替方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16786280

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16786280

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP