WO2020170670A1 - 撮像装置、電子機器、および撮像方法 - Google Patents

撮像装置、電子機器、および撮像方法 Download PDF

Info

Publication number
WO2020170670A1
WO2020170670A1 PCT/JP2020/001629 JP2020001629W WO2020170670A1 WO 2020170670 A1 WO2020170670 A1 WO 2020170670A1 JP 2020001629 W JP2020001629 W JP 2020001629W WO 2020170670 A1 WO2020170670 A1 WO 2020170670A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
image
unit
image data
movement
Prior art date
Application number
PCT/JP2020/001629
Other languages
English (en)
French (fr)
Inventor
渡部　剛史
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/429,867 priority Critical patent/US20220108457A1/en
Priority to CN202080014165.8A priority patent/CN113424519A/zh
Publication of WO2020170670A1 publication Critical patent/WO2020170670A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Definitions

  • the present disclosure relates to an imaging device, an electronic device, and an imaging method.
  • an imaging device equipped with a continuous shooting function that enables high-speed continuous shooting of moving subjects to capture the movement of the subject at the moment desired by the user.
  • a continuous shooting function that enables high-speed continuous shooting of moving subjects to capture the movement of the subject at the moment desired by the user.
  • Patent Document 1 when it is determined that the operation unit for continuous shooting is pressed by the user, continuous shooting is performed at a higher frame speed than the current frame speed, and the operation unit is not pressed. If it is determined that the current frame speed is maintained, an imaging device is described.
  • the imaging device may not be able to capture the motion of the subject at the moment desired by the user. Therefore, the present disclosure proposes an imaging device, an electronic device, and an imaging method capable of imaging a momentary motion desired by a user among motions of a subject.
  • the imaging device has an imaging unit, a memory, a detection unit, and an erasing unit.
  • the image capturing unit sequentially captures images of a subject and generates image data.
  • the memory stores the image data.
  • the detection unit detects the amount of movement of the subject based on the time-series image data.
  • the erasing unit erases the image data in which the amount of movement of the subject is less than a predetermined amount of movement.
  • FIG. 6 is an explanatory diagram showing a relationship between the amount of movement of a subject and the number of images stored in a memory according to the present disclosure.
  • 9 is a flowchart illustrating an example of processing executed by CIS according to the present disclosure.
  • FIG. 1 is a block diagram showing a schematic configuration example of an electronic device according to the present disclosure.
  • the electronic device 1 illustrated in FIG. 1 is a device that captures a still image or a moving image, and is, for example, a digital camera, a digital video camera, a tablet terminal having a camera function, a smartphone, or the like.
  • the electronic device 1 has a CMOS (Complementary Metal Oxide Semiconductor) image sensor (hereinafter referred to as CIS2), an application processor (hereinafter referred to as AP3), and a display operation unit 4. ..
  • CMOS Complementary Metal Oxide Semiconductor
  • AP3 Application processor
  • the display operation unit 4 is a touch panel liquid crystal display having a function of displaying an image and a function of receiving a touch operation by a user.
  • the electronic device 1 may be configured to include a liquid crystal display that displays an image, and an operation switch that receives a touch operation by a user, instead of the display operation unit 4.
  • CIS2 is an example of an imaging device that is configured with one chip and captures an image, and outputs the image data of the captured image to AP3.
  • the CIS 2 has a high-speed image capturing function of continuously shooting a subject at high speed (hereinafter, referred to as high-speed image capturing) in addition to a function of capturing a normal still image or a moving image.
  • the imaging device according to the present disclosure is not limited to the CIS2, and may be another image sensor such as a CCD (Charge Coupled Device) image sensor.
  • CCD Charge Coupled Device
  • the AP 3 communicates information between the AP control unit 31, which is an example of a processor such as a CPU (Central Processing Unit) that executes various application programs according to the use of the electronic device 1, and the CIS 2, and a communication I/F ( Interface) 32.
  • a processor such as a CPU (Central Processing Unit) that executes various application programs according to the use of the electronic device 1, and the CIS 2, and a communication I/F ( Interface) 32.
  • a communication I/F Interface
  • the AP 3 performs, for example, a correction process and a processing process for the image data input from the CIS 2, and also a display control process for displaying the image data on the display operation unit 4.
  • the AP 3 can reproduce the motion of the subject moving at high speed in super slow by displaying the image data of the captured image captured at high speed by the CIS 2 in frame-by-frame manner on the display operation unit 4. ..
  • the CIS sequentially and continuously captures a subject, and the image data of the captured image is stored in a memory in time series.
  • the electronic device reproduces the image data captured at high speed in super slow, the image data in which the motion of the subject at the moment desired by the user is captured is not stored in the memory. Cannot reproduce the image at the desired moment.
  • a general electronic device may not be able to capture an image of the movement of the subject at a moment desired by the user among the movements of the subject.
  • the CIS 2 has a configuration capable of capturing the movement of the subject at a moment desired by the user even when the user's operation for starting high-speed imaging is too fast.
  • the CIS 2 includes an image pickup unit 5, a memory 6, a communication I/F 7, and an image selection/selection unit 8.
  • the image pickup unit 5 includes a light receiving unit 51 and a reading unit 52.
  • the light receiving unit 51 includes, for example, an optical system including a zoom lens, a focus lens, a diaphragm, and the like, and a pixel array unit in which unit pixels including light receiving elements such as photodiodes are arranged in a two-dimensional matrix.
  • the light receiving unit 51 forms an image of light incident from the outside on the light receiving surface of the pixel array unit by an optical system.
  • Each unit pixel of the pixel array section photoelectrically converts the light incident on the light receiving element to readably store charges corresponding to the amount of incident light.
  • the reading unit 52 reads a charge accumulated in each unit pixel as a pixel signal and an ADC that generates digital image data by converting an analog pixel signal read by the read circuit into a digital value. (Analog to Digital Converter). The reading unit 52 outputs the generated image data to the memory 6 in image units of one frame.
  • the image pickup unit 5 also has an AF (autofocus) function.
  • the imaging unit 5 outputs information indicating the position of the focus point in the captured image to the image selection/selection unit 8 when the subject is in focus (focus point) by the AF function.
  • the image pickup unit 5 picks up a still image or a moving image when a signal indicating that the user has performed an image pickup operation is input from the display operation unit 4.
  • the image capturing unit 5 starts high-speed image capturing when it receives a signal (hereinafter, referred to as high-speed image capturing trigger) indicating that the user has performed a high-speed image capturing start operation from the display operation unit 4.
  • the memory 6 is, for example, a storage device such as a flash memory, and stores the image data of the captured image input from the imaging unit 5 in time series.
  • the communication I/F 7 receives an image data acquisition request from the AP 3, the communication I/F 7 outputs the image data stored in the memory 6 to the AP 3.
  • the AP control unit 31 outputs the image data input from the CIS 2 via the communication I/F 32 to the display operation unit 4 for display.
  • the AP control unit 31 outputs an image data acquisition request to the CIS 2 via the communication I/F 32 and acquires the image data from the CIS 2 when the display operation unit 4 receives an image display operation by the user, for example. Then, it is displayed on the display operation unit 4.
  • the image selection unit 8 includes, for example, a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and various circuits.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the image selection/selection unit 8 includes a specifying unit 81, a detecting unit 82, and an erasing unit 83 which function when the CPU executes the program stored in the ROM using the RAM as a work area.
  • a specifying unit 81 a detecting unit 82
  • an erasing unit 83 which function when the CPU executes the program stored in the ROM using the RAM as a work area.
  • Part or all of the identifying unit 81, the detecting unit 82, and the erasing unit 83 included in the image sorting unit 8 are configured by hardware such as ASIC (Application Specific Integrated Circuit) and FPGA (Field Programmable Gate Array). May be.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the identifying unit 81, the detecting unit 82, and the erasing unit 83 included in the image selection/selection unit 8 execute information processing described below.
  • the internal configuration of the image selection/selection unit 8 is not limited to the configuration shown in FIG. 1, and may be another configuration as long as it is a configuration for performing information processing described later.
  • the identifying unit 81 reads the image data from the memory 6 and identifies the subject in the image from the image data. For example, the identifying unit 81 identifies the subject from the image data of the preview image captured by the image capturing unit 5 before the high-speed image capturing by the image capturing unit 5 is started. The preview image is continuously displayed on the display operation unit 4 until high-speed imaging is started.
  • the identifying unit 81 identifies the subject by determining the composition of the image by DNN processing using DNN (Deep Neural Network) and determining the ROI (Region of Interest) region in which the subject appears from the determined composition, for example. .. Then, the identifying unit 81 outputs information indicating the position of the ROI region in the image in which the subject is identified to the detecting unit 82.
  • DNN Deep Neural Network
  • the identifying unit 81 can identify the subject using various neural networks such as RNN (Recurrent Neural Networks) and CNN (Convolutional Neural Networks), not limited to DNNs. Further, the specifying unit 81 may be configured to specify the subject using a learning model learned by various other machine learning such as a decision tree or a support vector machine.
  • RNN Recurrent Neural Networks
  • CNN Convolutional Neural Networks
  • the detection unit 82 reads the image data of the time-series high-speed captured image from the memory 6, and based on the information indicating the position of the ROI area input from the identification unit 81, the time-series image data. The amount of movement of the subject between them is detected.
  • the detection unit 82 detects the amount of movement of the subject in the ROI region in each time-series high-speed captured image. Then, the detection unit 82 outputs the image data of each high-speed captured image in which the movement amount of the subject is detected and the information indicating the movement amount of the subject to the erasing unit 83.
  • the deleting unit 83 deletes the image data input from the detecting unit 82, in which the moving amount of the subject is less than the predetermined moving amount.
  • the erasing unit 83 causes the memory 6 to store again the image in which the amount of movement of the subject is equal to or more than the predetermined amount of movement among the image data input from the detection unit 82.
  • the identifying unit 81 identifies the subject from the preview image before the high speed imaging is started. Therefore, the erasing unit 83 can select image data immediately after the start of high-speed imaging.
  • the CIS 2 effectively uses the storage area of the memory 6 which is an empty area by erasing the image data of the image in which the amount of movement of the subject is less than the predetermined amount of movement, thereby enabling high-speed imaging time. Can be extended. As a result, the CIS 2 can image the movement of the subject at the moment desired by the user among the movements of the subject even when the user's operation for starting high-speed imaging is too fast.
  • FIG. 2 is an operation explanatory diagram of the CIS according to the present disclosure. It should be noted that although two memories 6 are illustrated in FIG. 2, this is for easy understanding of the operation of the CIS 2, and the two memories 6 in FIG. 2 are physically the same. It is a thing.
  • the subject is specified from the preview image Pre by the image selection/selection unit 8 (step S1).
  • the CIS 2 outputs the high-speed imaged image data from the image pickup unit 5 to the memory 6 and stores the image data in the memory 6 (step S2).
  • the image selection/selection unit 8 reads the image data from the memory 6 (step S3). Then, the image selection/selection unit 8 deletes the image data in which the amount of movement of the subject is less than the predetermined amount of movement (step S4). After that, the image selection/selection unit 8 stores the image data in which the amount of movement of the subject is equal to or more than the predetermined amount of movement in the memory 6 (step S5).
  • an empty area 61 is formed in the area where the image data erased in step S4 was stored.
  • the CIS 2 can continue high-speed imaging by using the empty area 61 of the memory 6.
  • the CIS 2 can extend the duration of high-speed imaging as compared with the case where the image data is not deleted (thinned out) by the image selection/selection unit 8. Therefore, the CIS 2 can capture the movement of the subject at a moment desired by the user among the movements of the subject even when the user's operation for starting high-speed imaging is too fast.
  • the CIS 2 When displaying the high-speed captured image on the display operation unit 4, the CIS 2 outputs image data from the memory 6 to the communication I/F 32 of the AP 3 via the communication I/F 7 of the CIS 2 (step S6). ..
  • the AP 3 causes the display operation unit 4 to display the high-speed imaged image data input from the CIS 2 at a frame rate slower than the image capturing speed, so that the subject's movement at the moment desired by the user Images that show motion can be played back in super slow mode.
  • FIG. 3 is an explanatory diagram of a high-speed captured image according to the contrast of the present disclosure.
  • FIG. 4 is an explanatory diagram of a high-speed captured image according to the present disclosure.
  • the number of frames of images that can be stored in the memory 6 is assumed to be 7 frames, which is extremely smaller than the actual number.
  • the swinging motion of a baseball bat includes a series of actions of take back, swing, and follow through.
  • the image erasing/selecting unit 8 does not erase the image
  • the CIS 2 starts high-speed imaging at time t1 and ends high-speed imaging at time t2 when the image of the seventh frame is captured.
  • the reproduced image is, as shown in the lower part of FIG. 3, most of the reproduced image is the image of the subject being taken back, which is important for the user. The image during the swing and the moment of impact are not shown.
  • the image deletion/selection unit 8 when the image deletion/selection unit 8 performs image deletion, the image deletion/selection unit 8 moves the subject after the image of the first frame is captured at time t1, as shown in the upper part of FIG. The take back images of 2 to 4 frames whose amount is less than the predetermined movement amount are deleted.
  • the memory 6 still has only one frame of image stored, so the remaining six frames of image can be stored. Then, since the subject enters the swing motion from the fifth frame, the amount of movement of the subject becomes equal to or greater than the predetermined amount of movement. Therefore, the image selection/selection unit 8 stores the images of the 5th to 10th frames in the memory 6 without erasing the images, and the high-speed imaging ends at time t3.
  • the reproduced image includes images from the start to the end of the swing as shown in the lower part of FIG. 4, and includes the moment of impact desired by the user. Has been.
  • the reproduced image shown in the lower part of Fig. 4 is an image in which 2 to 4 frame images are thinned out, so it is not a super-throw image that accurately represents the actual movement of the subject.
  • the thinned out images of 2 to 4 frames are images in which the subject hardly moves, and are not images in the period in which high-speed imaging is required.
  • the reproduced image shown in the lower part of FIG. 4 can be said to be an image that has achieved the purpose of high-speed imaging from the user's viewpoint, and is a super-slow image in which the shooting time is extended as the user senses. ..
  • the CIS2 even when the user's operation for starting high-speed imaging is too fast, the motion of the subject at the moment desired by the user in the motion of the subject can be captured.
  • FIG. 5 is an explanatory diagram showing the relationship between the amount of movement of the subject and the number of images stored in the memory according to the present disclosure.
  • the horizontal axis shown in FIG. 5 is time, and the vertical axis is the amount of movement of the subject and the number of stored images.
  • the magnitude of the amount of movement of the subject in each time zone is shown by a bar graph.
  • the solid line graph shown in FIG. 5 shows the number of images stored in the memory 6 when the image selection/selection unit 8 erases images. Further, the dashed-dotted line graph shown in FIG. 5 shows the transition of the number of images stored in the memory 6 when the image selection/selection unit 8 does not erase the image.
  • step S11 when the entire area of the bat swing is imaged at 1000 fps without erasing the image (step S11), the number of imaged images before the swing is the upper limit of the number of images stored in the memory 6. Is reached and the image capturing is completed (step S12).
  • step S14 After that, when the swing is started, the amount of movement of the subject gradually increases, so an image of 800 fps is stored in the memory 6 (step S14). Then, at the impact that maximizes the amount of movement, an image of 1000 fps is stored in the memory 6 (step S15). As a result, according to CIS2, it is possible to capture an image from the beginning to the end of the swing (step S16).
  • FIG. 6 is a flowchart showing an example of processing executed by the CIS 2 according to the present disclosure.
  • the CIS 2 continuously executes the processing shown in FIG. 6 while the electronic device 1 is in the high-speed imaging mode. Specifically, in the CIS2, when the electronic device enters the high-speed imaging mode, the imaging unit 5 first starts the high-speed imaging preview as shown in FIG. 6 (step S101). Here, the imaging unit 5 captures the preview image at a lower speed than the high-speed imaging.
  • the image picking/selecting unit 8 acquires the preview image (step S102), determines the composition of the image (step S103), and determines the ROI area (step S104). Then, the imaging unit 5 determines whether or not a high-speed imaging trigger has been received (step S105).
  • step S105 determines that the high-speed imaging trigger has not been received (step S105, No).
  • step S105 determines that the high-speed imaging trigger has been received (step S105, Yes).
  • step S106 the high-speed imaging is started (step S106).
  • the image selection/selection unit 8 acquires a high-speed captured image (step S107) and determines whether the acquired high-speed captured image is not the first image (step S108). Then, when the image selection/selection unit 8 determines that the image is the first image (step S108, No), the process proceeds to step S107.
  • the image selection/selection unit 8 determines that the image is not the first image (Yes at step S108), it detects the amount of movement of the subject in the ROI area (step S109). Then, the image selection/selection unit 8 determines whether or not the amount of movement is less than a predetermined amount of movement (step S110).
  • the image selection/selection unit 8 deletes the image (step S111) and moves the process to step S107. Further, when the image pick-and-drop selecting unit 8 determines that the amount of movement is not less than the predetermined amount of movement, that is, the amount of movement is greater than or equal to the predetermined amount of movement (step S110, No), the image is stored in the memory 6 ( Step S112).
  • the image selection/selection unit 8 determines whether the number of images stored in the memory 6 has reached the upper limit of the number of images stored in the memory 6 (step S113). Then, when the image selection/selection unit 8 determines that the upper limit of the number of stored images has not been reached (step S113, No), the process proceeds to step S107.
  • step S113 If the image selection/selection unit 8 determines that the upper limit of the number of stored images has been reached (step S113, Yes), the process proceeds to step S102.
  • the CIS 2 continuously executes the series of processes described above while the electronic device 1 is in the high-speed imaging mode.
  • the identifying unit 81 determines that when there are a plurality of moving objects in the captured image, It is also possible to specify a moving object that is highly likely to be desired by the user as an object.
  • the identifying unit 81 identifies an object appearing in the center of the image as a subject. Accordingly, the identifying unit 81 can identify a moving object that is highly likely to be desired by the user as an object when there are a plurality of moving objects in the captured image.
  • the identifying unit 81 also identifies an object selected from the image by the user as a subject. In such a case, the specifying unit 81 specifies the object selected by the touch operation by the user in the preview image displayed on the display operation unit 4 as the subject. Accordingly, the specifying unit 81 can specify the moving body as a subject even if the moving body desired by the user to be imaged appears in a position other than the center of the image.
  • the specifying unit 81 can also exclude the object selected from the image by the user as a subject to be specified. With this, when the subject automatically specified by the specifying unit 81 is not the object intended by the user, the user selects the specified object being displayed on the display operation unit 4 to cause the specifying unit 81 to operate. It can be excluded from the objects specified as the subject.
  • the specifying unit 81 specifies the object closest to the autofocus point as the subject when the AF function is in operation. Accordingly, the identifying unit 81 can identify a moving body that is highly likely to be desired by the user as an object.
  • the CIS 2 can also include a storage unit that stores image data of an object that the specifying unit 81 specifies as a subject. In such a case, the CIS 2 stores the image data of the face or the object of the person who is the candidate of the subject in the storage unit in advance.
  • the identifying unit 81 identifies the subject based on the image data stored in the storage unit. For example, the identifying unit 81 acquires the feature amount of each divided area obtained by dividing the captured image, and calculates the score that is the similarity between the feature amount acquired from the captured image and the feature amount of the image data stored in the memory. The object in the divided area having the higher score is calculated and specified as the subject. Accordingly, the specifying unit 81 can specify an object that is likely to be an object for which image data has been registered by the user in advance as a subject.
  • CIS2 has a plurality of modes in which the types of objects specified as subjects are different. Then, the identifying unit 81 identifies an object according to the mode as a subject. For example, the specifying unit 81 specifies only a person as a subject when the sports mode is selected by the user, and registers only an animal as the subject when the animal mode is selected. Accordingly, the identifying unit 81 can identify an arbitrary object included in the type desired by the user as the subject, instead of the specific object.
  • the specifying unit 81 can also include an AI (artificial intelligence) that estimates an object that is likely to move in a captured image.
  • AI artificial intelligence
  • the identifying unit 81 identifies the object determined to have the highest possibility of movement due to AI as a subject. Accordingly, the specifying unit 81 can specify an object, which is highly likely to move and which the user desires to capture, as a subject even when the user does not select a mode or specifies an object.
  • the identifying unit 81 determines a person to be identified as a subject based on at least one of age and sex of the persons in the image. For example, the identifying unit 81 determines a person to be identified as a subject by setting the priority of children to high, the priority of women to medium, and the priority of men to low. The priority for age and sex can be arbitrarily changed. Accordingly, the specifying unit 81 can specify a person according to the user's preference as a subject.
  • the identifying unit 81 identifies, as a subject, an object that is continuously captured in the preview image for a predetermined time or longer. Accordingly, the identifying unit 81 can identify a moving object that is highly likely to be desired by the user to capture an image at a decisive moment, as a subject.
  • the CIS 2 includes the identifying unit 81
  • the identifying unit 81 may be provided on the AP 3 side.
  • the CIS 2 outputs the image stored in the memory 6 to the AP 3, acquires the subject specified by the specifying unit 81 provided in the AP 3 from the AP 3, and discards the image data to be deleted by the same procedure as the above-mentioned procedure. select.
  • the specifying unit 81 when the specifying unit 81 is provided on the AP3 side, it is necessary to output all the image data stored in the memory 6 to the AP3, which increases the power consumption of the CIS2. Therefore, it is desirable that the identifying unit 81 be provided on the CIS2 side.
  • each component of each illustrated device is functionally conceptual, and does not necessarily have to be physically configured as illustrated. That is, the specific form of distribution/integration of each device is not limited to that shown in the figure, and all or part of the device may be functionally or physically distributed/arranged in arbitrary units according to various loads and usage conditions. It can be integrated and configured.
  • the identifying unit 81, the detecting unit 82, and the erasing unit 83 illustrated in FIG. 1 may be integrated.
  • the CIS 2 has an imaging unit 5, a memory 6, a detection unit 82, and an erasing unit 83.
  • the image capturing section 5 captures images of a subject successively and sequentially to generate image data.
  • the memory 6 stores image data.
  • the detection unit 82 detects the amount of movement of the subject based on the time-series image data.
  • the erasing unit 83 erases image data in which the amount of movement of the subject is less than a predetermined amount of movement.
  • the CIS 2 when performing high-speed image capturing, erases images that have a small amount of movement between time-series images and that does not require high-speed image capturing, and secures a free area in the memory 6, thereby It is possible to capture an image of a motion at a moment desired by the user in the motion.
  • the CIS 2 also includes a specifying unit 81.
  • the identifying unit 81 identifies the subject in the image from the image data.
  • the detection unit 82 detects the amount of movement of the subject identified by the identification unit 81.
  • the identifying unit 81 also identifies the subject from the image data of the preview image captured by the image capturing unit 5 before the high-speed image capturing by the image capturing unit 5 is started. Accordingly, the detection unit 82 can detect the amount of movement of the subject immediately after the start of high-speed imaging.
  • the identifying unit 81 determines the composition of the image by the DNN process using the DNN, and determines the ROI area in which the subject is imaged from the composition.
  • the detection unit 82 detects the amount of movement of the subject within the ROI area. As a result, the detection unit 82 can detect the accurate amount of movement of the subject.
  • the identifying unit 81 also identifies an object appearing in the center of the image as a subject. Accordingly, the identifying unit 81 can identify a moving object that is highly likely to be desired by the user as an object when there are a plurality of moving objects in the captured image.
  • the identifying unit 81 also identifies an object selected from the image by the user as a subject. Accordingly, the identifying unit 81 can identify the moving body as a subject even if the moving body desired to be captured by the user appears in a position other than the center of the image.
  • the identifying unit 81 excludes the object selected from the image by the user as a subject to be identified. Accordingly, the identifying unit 81 can exclude the automatically identified subject from the subject candidates when the automatically identified subject is not the object intended by the user.
  • the specifying unit 81 also specifies an object close to the focus point of autofocus as a subject. Accordingly, the identifying unit 81 can identify a moving object that is highly likely to be imaged by the user who starts high-speed imaging as a subject when the focus point is in focus.
  • the CIS 2 also includes a storage unit that stores image data of an object that the specifying unit 81 specifies as a subject.
  • the identifying unit 81 identifies a subject based on the image data stored in the storage unit. Accordingly, the specifying unit 81 can specify an object that is likely to be an object for which image data has been registered by the user in advance as a subject.
  • the CIS 2 has a plurality of modes in which the types of objects to be identified by the identifying unit 81 as subjects are different.
  • the identifying unit 81 identifies an object according to the mode as a subject. Accordingly, the identifying unit 81 can identify an arbitrary object included in the type desired by the user as the subject, instead of the specific object.
  • the identifying unit 81 also identifies, as a subject, an object determined to have a high possibility of moving in the image by artificial intelligence. Accordingly, the specifying unit 81 can specify an object, which has a high possibility of moving and which the user desires to capture, as a subject even when the user does not select the mode or specifies the object.
  • the identifying unit 81 also determines a person to be identified as a subject based on the age and/or sex of the person when a plurality of persons are included in the image. Accordingly, the specifying unit 81 can specify a person according to the user's preference as a subject.
  • the identifying unit 81 also identifies, as a subject, an object that is continuously captured for a predetermined time or longer in the preview image captured by the image capturing unit 5 before the high-speed image capturing by the image capturing unit 5 is started. Accordingly, the specifying unit 81 can specify a moving object that is highly likely to be desired by the user to capture an image at a definite moment, as a subject.
  • the electronic device 1 has a CIS2.
  • the CIS 2 includes an image pickup unit 5, a memory 6, a detection unit 82, and an erasing unit 83.
  • the image capturing section 5 captures images of a subject successively and sequentially to generate image data.
  • the memory 6 stores image data.
  • the detection unit 82 detects the amount of movement of the subject based on the time-series image data.
  • the erasing unit 83 erases image data in which the amount of movement of the subject is less than a predetermined amount of movement.
  • the electronic device 1 erases images that do not need high-speed imaging and has a small amount of movement between time-series images when high-speed imaging is performed, and secures a free area in the memory 6, for example. It is possible to capture the movement of the subject at the moment desired by the user.
  • the CIS 2 sequentially and continuously captures images of the subject to generate image data, stores the image data in the memory 6, detects the amount of movement of the subject based on the time-series image data, and moves the subject. The image data whose amount is less than a predetermined amount of movement is deleted. As a result, the CIS 2 can capture the motion of the subject at the moment desired by the user.
  • An image capturing unit that sequentially captures images of a subject and generates image data, A memory for storing the image data, A detection unit that detects the amount of movement of the subject based on the time-series image data; An image capturing device including: an erasing unit that erases the image data in which the amount of movement of the subject is less than a predetermined amount of movement.
  • a specifying unit for specifying a subject in the image from the image data, The detection unit, The imaging device according to (1), wherein the amount of movement of the subject specified by the specifying unit is detected.
  • the specific unit is The imaging device according to (2), wherein the subject is specified from image data of a preview image captured by the imaging unit before high-speed imaging by the imaging unit is started.
  • the specific unit is The composition of the image is determined by the DNN process using DNN (Deep Neural Network), and the ROI (Region of Interest) region in which the subject is imaged is determined from the composition, The detection unit, The imaging device according to (2) or (3), wherein the amount of movement of the subject in the ROI region is detected.
  • the specific unit is The imaging device according to any one of (2) to (4), wherein an object appearing in the center of the image is specified as a subject.
  • the specific unit is The imaging device according to any one of (2) to (5), wherein an object selected from the image by a user is specified as the subject.
  • the specific unit is The imaging device according to any one of (2) to (6), wherein an object selected from the image by the user is excluded from targets to be specified as the subject.
  • the specific unit is The image pickup apparatus according to any one of (2) to (7), wherein an object close to a focus point of autofocus is specified as a subject.
  • a storage unit that stores image data of an object to be specified as the subject by the specifying unit;
  • the specific unit is The imaging device according to any one of (2) to (8), wherein the subject is specified based on the image data stored in the storage unit.
  • the specific unit is The image pickup apparatus according to any one of (2) to (9), wherein an object according to the mode is specified as a subject.
  • the specific unit is The imaging device according to any one of (2) to (10), wherein an object determined to have a high possibility of movement in the image by artificial intelligence is specified as a subject.
  • the specific unit is The imaging device according to any one of (2) to (11), wherein when a plurality of people are included in the image, the person to be identified as a subject is determined based on the age and/or sex of the person.
  • the specific unit is The object specified in any one of (2) to (12) above is specified as an object, which is continuously photographed for a predetermined time or longer in a preview image captured by the image capturing unit before high-speed image capturing by the image capturing unit is started.
  • Imaging device (14) An image capturing unit that sequentially captures images of a subject and generates image data, A memory for storing the image data, A detection unit that detects the amount of movement of the subject based on the time-series image data; And an erasing unit that erases the image data in which the amount of movement of the subject is less than a predetermined amount of movement.
  • Image of the subject is taken in sequence to generate image data, Storing the image data in a memory, Detecting the amount of movement of the subject based on the image data in time series, An imaging method for deleting the image data in which the amount of movement of the subject is less than a predetermined amount of movement.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

被写体の動きの中でユーザが所望する瞬間の動きを撮像することができる撮像装置および電子機器を提供すること。本開示に係る撮像装置の一例であるＣＩＳ（２）および電子機器（１）は、撮像部（５）と、メモリ（６）と、検出部（８２）と、消去部（８３）とを有する。撮像部（５）は、順次連続して被写体の画像を撮像して画像データを生成する。メモリ（６）は、画像データを記憶する。検出部（８２）は、時系列の画像データに基づいて被写体の動き量を検出する。消去部（８３）は、被写体の動き量が所定の動き量未満の画像データを消去する。

Description

撮像装置、電子機器、および撮像方法
　本開示は、撮像装置、電子機器、および撮像方法に関する。
　動く被写体を高速連写することによって、被写体の動きの中でユーザが所望する瞬間の動きを撮像可能とする連写機能を備えた撮像装置がある。例えば、特許文献１には、連写用の操作部がユーザによって押されていると判断した場合に、現在のコマ速よりも高速のコマ速で連写を行い、操作部が押されていないと判断した場合に、現在のコマ速を維持する制御を行う撮像装置が記載されている。
特開２０１２－１４７３５５号公報
　しかしながら、撮像装置は、高速連写を行う場合に、被写体の動きの中でユーザが所望する瞬間の動きを撮像することができないことがある。そこで、本開示では、被写体の動きの中でユーザが所望する瞬間の動きを撮像することができる撮像装置、電子機器、および撮像方法を提案する。
　本開示に係る撮像装置は、撮像部と、メモリと、検出部と、消去部とを有する。撮像部は、順次連続して被写体の画像を撮像して画像データを生成する。メモリは、前記画像データを記憶する。検出部は、時系列の前記画像データに基づいて前記被写体の動き量を検出する。消去部は、前記被写体の動き量が所定の動き量未満の前記画像データを消去する。
本開示に係る電子機器の概略構成例を示すブロック図である。 本開示に係るＣＩＳの動作説明図である。 本開示の対比例に係る高速撮像画像の説明図である。 本開示に係る高速撮像画像の説明図である。 本開示に係る被写体の動き量とメモリに記憶される画像の枚数との関係を示す説明図である。 本開示に係るＣＩＳが実行する処理の一例を示すフローチャートである。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
［１．電子機器の構成］
　図１は、本開示に係る電子機器の概略構成例を示すブロック図である。図１に示す電子機器１は、静止画や動画を撮像する装置であり、例えば、デジタルカメラ、デジタルビデオカメラ、カメラ機能を有するタブレット端末やスマートフォン等である。
　図１に示すように、電子機器１は、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサ（以下、ＣＩＳ２と記載する）と、アプリケーションプロセッサ（以下、ＡＰ３と記載する）と、表示操作部４とを有する。
　表示操作部４は、画像を表示する機能と、ユーザによるタッチ操作を受け付ける機能とを備えるタッチパネル液晶ディスプレイである。なお、電子機器１は、表示操作部４の代わりに、画像を表示する液晶ディスプレイと、ユーザによるタッチ操作を受け付ける操作スイッチとを備える構成であってもよい。
　ＣＩＳ２は、１チップで構成され、画像を撮像する撮像装置の一例であり、撮像画像の画像データをＡＰ３へ出力する。ＣＩＳ２は、通常の静止画や動画を撮像する機能に加えて、被写体を高速で連写（以下、高速撮像と記載する）する高速撮像機能を備える。なお、本開示に係る撮像装置は、ＣＩＳ２に限定されるものではなく、例えば、ＣＣＤ（Charge　Coupled　Device）イメージセンサ等、他のイメージセンサであってもよい。
　ＡＰ３は、電子機器１の用途に応じた各種アプリケーションプログラムを実行するＣＰＵ（Central　Processing　Unit）等のプロセッサの一例であるＡＰ制御部３１と、ＣＩＳ２との間で情報通信を行う通信Ｉ／Ｆ（インターフェイス）３２とを備える。
　ＡＰ３は、例えば、ＣＩＳ２から入力される画像データの補正処理や加工処理を行う他、画像データを表示操作部４に表示させる表示制御処理等を行う。また、ＡＰ３は、ＣＩＳ２によって高速撮像された撮像画像の画像データをコマ送りで時系列に表示操作部４で表示させることによって、例えば、高速で動く被写体の動きをスーパースローで再生することができる。
　ここで、例えば、一般的なスマートフォン等の電子機器に搭載されるカメラでは、高速撮像を行う場合、ＣＩＳが高速で順次連続して被写体を撮像し、撮像画像の画像データを時系列にメモリに記憶させる。
　ただし、電子機器は、画像データを記憶するメモリの容量に上限がある。このため、一般的な電子機器では、例えば、高速撮像を開始させるユーザの操作が早すぎると、被写体の動きの中でユーザが所望する瞬間になる前に、撮像画像の画像データ量がメモリ容量の上限に達する場合がある。
　かかる場合、電子機器は、高速撮像した画像データをスーパースローで再生しても、被写体の動きの中でユーザが所望する瞬間の動きが撮像された画像データがメモリに記憶されていないため、ユーザが望む瞬間の画像を再生することができない。このように、一般的な電子機器では、被写体の動きの中でユーザが所望する瞬間の被写体の動きを撮像することができないことがある。
　そこで、本開示に係るＣＩＳ２は、高速撮像を開始させるユーザの操作が早すぎる場合であっても、ユーザが所望する瞬間の被写体の動きを撮像することができる構成を備える。具体的には、ＣＩＳ２は、撮像部５と、メモリ６と、通信Ｉ／Ｆ７と、画像取捨選択部８とを備える。
　撮像部５は、受光部５１と、読出部５２とを備える。受光部５１は、例えば、ズームレンズ、フォーカスレンズ、絞り等を備える光学系と、フォトダイオードなどの受光素子を含む単位画素が２次元マトリクス状に配列された画素アレイ部とを備える。
　受光部５１は、外部から入射する光を光学系によって画素アレイ部の受光面に結像する。画素アレイ部の各単位画素は、受光素子に入射した光を光電変換することで、入射光の光量に応じた電荷を読出可能に蓄積する。
　読出部５２は、各単位画素に蓄積された電荷を画素信号として読み出す読出回路と、読出回路によって読み出されたアナログの画素信号をデジタル値に変換することで、デジタルの画像データを生成するＡＤＣ（Analog　to　Digital　Converter）とを備える。読出部５２は、生成した画像データを１フレームの画像単位でメモリ６へ出力する。
　また、撮像部５は、ＡＦ（オートフォーカス）機能を備える。撮像部５は、ＡＦ機能によって被写体に焦点（フォーカスポイント）が合った場合に、撮像画像におけるフォーカスポイントの位置を示す情報を画像取捨選択部８へ出力する。
　かかる撮像部５は、表示操作部４からユーザによる撮像操作が行われたことを示す信号が入力される場合に、静止画や動画の撮像を行う。また、撮像部５は、表示操作部４からユーザによる高速撮像の開始操作が行われたことを示す信号（以下、高速撮像トリガという）を受信した場合に、高速撮像を開始する。
　メモリ６は、例えば、フラッシュメモリ等の記憶デバイスであり、撮像部５から入力される撮像画像の画像データを時系列に記憶する。通信Ｉ／Ｆ７は、ＡＰ３から画像データの取得要求を受け付けた場合に、メモリ６に記憶された画像データをＡＰ３へ出力する。
　ＡＰ制御部３１は、通信Ｉ／Ｆ３２を介してＣＩＳ２から入力される画像データを表示操作部４へ出力して表示させる。なお、ＡＰ制御部３１は、例えば、表示操作部４がユーザによる画像表示操作を受け付けた場合に、通信Ｉ／Ｆ３２を介してＣＩＳ２へ画像データの取得要求を出力し、ＣＩＳ２から画像データを取得して表示操作部４に表示させる。
　画像取捨選択部８は、例えば、ＣＰＵ（Central　Processing　Unit）、ＲＯＭ（Read　Only　Memory）、ＲＡＭ（Random　Access　Memory）などを有するマイクロコンピュータや各種の回路を含む。
　画像取捨選択部８は、ＣＰＵがＲＯＭに記憶されたプログラムを、ＲＡＭを作業領域として使用して実行することにより機能する特定部８１と、検出部８２と、消去部８３とを備える。なお、画像取捨選択部８が備える特定部８１、検出部８２、および消去部８３は、一部または全部がＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等のハードウェアで構成されてもよい。
　画像取捨選択部８が備える特定部８１、検出部８２、および消去部８３は、それぞれ以下に説明する情報処理を実行する。なお、画像取捨選択部８の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば、他の構成であってもよい。
　特定部８１は、メモリ６から画像データを読み出し、画像データから画像中の被写体を特定する。例えば、特定部８１は、撮像部５による高速撮像が開始される前に、撮像部５によって撮像されるプレビュー画像の画像データから被写体を特定する。プレビュー画像は、高速撮像が開始されるまで継続的に表示操作部４に表示される。
　特定部８１は、例えば、ＤＮＮ（Deep　Neural　Network）を使用するＤＮＮ処理によって画像の構図を判定し、判定した構図から被写体が写るＲＯＩ（Region　of　Interest）領域を決定することで、被写体を特定する。そして、特定部８１は、被写体を特定した画像におけるＲＯＩ領域の位置を示す情報を検出部８２へ出力する。
　なお、特定部８１は、ＤＮＮに限らず、ＲＮＮ（Recurrent　Neural　Networks）やＣＮＮ（Convolutional　Neural　Network）など様々なニューラルネットワークを用いて被写体を特定することができる。また、特定部８１は、決定木やサポートベクタマシンなどの他の様々な機械学習で学習した学習モデルを用いて被写体を特定する構成であってもよい。
　検出部８２は、高速撮像が開始されると、メモリ６から時系列の高速撮像画像の画像データを読み出し、特定部８１から入力されるＲＯＩ領域の位置を示す情報に基づき、時系列の画像データ間での被写体の動き量を検出する。
　つまり、検出部８２は、時系列の各高速撮像画像におけるＲＯＩ領域内の被写体の動き量を検出する。そして、検出部８２は、被写体の動き量を検出した各高速撮像画像の画像データと、被写体の動き量を示す情報とを消去部８３へ出力する。
　消去部８３は、検出部８２から入力される画像データのうち、被写体の動き量が所定の動き量未満であった画像データを消去する。また、消去部８３は、検出部８２から入力される画像データのうち、被写体の動き量が所定の動き量以上であった画像については、再度、メモリ６に記憶させる。
　また、上記したように、特定部８１は、高速撮像が開始される前のプレビュー画像から被写体を特定する。このため、消去部８３は、高速撮像の開始直後から画像データの取捨選択を行うことができる。
　このように、ＣＩＳ２は、被写体の動き量が所定の動き量未満であった画像の画像データを消去することにより空き領域となるメモリ６の記憶領域を有効利用することによって、高速撮像可能な時間を延長することができる。これにより、ＣＩＳ２は、高速撮像を開始させるユーザの操作が早すぎる場合であっても、被写体の動きの中でユーザが所望する瞬間の被写体の動きを撮像することができる。
［２．電子機器の動作説明］
　次に、図２を参照し、本開示に係るＣＩＳの動作について説明する。図２は、本開示に係るＣＩＳの動作説明図である。なお、図２には、２つのメモリ６を図示しているが、これは、ＣＩＳ２の動作の理解を容易にするためであり、図２中の２つのメモリ６は、物理的には同一の物である。
　図２に示すように、ＣＩＳ２では、高速撮像を開始する前に、まず、画像取捨選択部８によってプレビュー画像Ｐｒｅから被写体を特定する（ステップＳ１）。その後、ＣＩＳ２は、高速撮像を開始すると、撮像部５からメモリ６へ高速撮像した画像データを出力してメモリ６に記憶させる（ステップＳ２）。
　続いて、画像取捨選択部８は、メモリ６から画像データの読出しを行う（ステップＳ３）。そして、画像取捨選択部８は、被写体の動き量が所定の動き量未満の画像データを消去する（ステップＳ４）。その後、画像取捨選択部８は、被写体の動き量が所定の動き量以上の画像データをメモリ６に記憶させる（ステップＳ５）。
　このため、メモリ６には、ステップＳ４で消去された画像データが記憶されていた領域に空き領域６１ができる。ＣＩＳ２は、かかるメモリ６の空き領域６１を使用することによって、高速撮像を継続することができる。
　これにより、ＣＩＳ２は、画像取捨選択部８による画像データの削除（間引き）を行わない場合に比べて、高速撮像の継続時間を延長することができる。したがって、ＣＩＳ２は、高速撮像を開始させるユーザの操作が早すぎる場合であっても、被写体の動きの中でユーザが所望する瞬間の被写体の動きを撮像することができる。
　そして、ＣＩＳ２は、高速撮像した画像を表示操作部４に表示させる場合には、メモリ６からＣＩＳ２の通信Ｉ／Ｆ７を介して、ＡＰ３の通信Ｉ／Ｆ３２へ画像データを出力する（ステップＳ６）。
　これにより、ＡＰ３は、ＣＩＳ２から入力される高速撮像された画像データを撮像速度よりも遅いフレームレートで表示操作部４に表示させることで、被写体の動きの中でユーザが所望する瞬間の被写体の動きが写る画像をスーパースローで再生することができる。
［３．高速撮像画像の具体例］
　次に、本開示に係る高速撮像画像の具体例について説明する。ここでは、野球のバットでボールを打つインパクトの瞬間の被写体をユーザが撮像しようとする場合について説明する。また、ここでは、画像取捨選択部８による画像データの消去を行わない対比例の高速撮像について説明した後に、画像取捨選択部８による画像データの消去を行う高速撮像について説明する。
　図３は、本開示の対比例に係る高速撮像画像の説明図である。図４は、本開示に係る高速撮像画像の説明図である。なお、ここでは、画像取捨選択部８が奏する効果の理解を容易にするため、メモリ６に記憶可能な画像のフレーム数が実際より極端に少ない７フレームであるものとして説明する。
　図３の上段に示すように、野球のバットをスイングする動作には、テイクバック、スイング、およびフォロースル―という一連の動作が含まれる。ＣＩＳ２は、例えば、画像取捨選択部８による画像消去を行わない場合、時刻ｔ１で高速撮像を開始すると、７フレーム目の画像を撮像した時刻ｔ２の時点で高速撮像を終了する。
　こうして撮像された高速撮像画像をスーパースローで再生した場合、再生画像は、図３の下段に示すように、再生される画像の大半がテイクバック中の被写体の画像となり、ユーザが所望する肝心なスイング中の画像やインパクトの瞬間が写っていない。
　これに対して、画像取捨選択部８による画像消去を行う場合、図４の上段に示すように、画像取捨選択部８は、時刻ｔ１で１フレーム目の画像が撮像された後、被写体の動き量が所定の動き量未満となる２～４フレームのテイクバックの画像を消去する。
　この時点で、メモリ６は、まだ、１フレームの画像しか記憶していないので、残り６フレームの画像を記憶可能である。そして、５フレーム目から被写体がスイング動作に入るため、被写体の動き量が所定の動き量以上となる。このため、画像取捨選択部８は、５～１０フレームの画像を消去することなくメモリ６に記憶させ、時刻ｔ３で高速撮像が終了となる。
　こうして撮像された高速撮像画像をスーパースローで再生した場合、再生画像は、図４の下段に示すように、スイングの開始から終了前までの画像が写っており、ユーザが望むインパクトの瞬間も含まれている。
　なお、図４の下段に示す再生画像は、２～４フレームの画像が間引かれた画像であるため、厳密には実際の被写体の動きを正確に表現したスーパースローの映像ではない。しかし、間引かれた２～４フレームの画像は、被写体の動きが殆どない画像であり、高速撮像が要求される期間の画像ではない。
　このため、図４の下段に示す再生画像は、ユーザの視点では高速撮像の目的を達成している画像ということができ、ユーザの感覚的には撮影時間が延長されたスーパースローの映像となる。このように、ＣＩＳ２によれば、高速撮像を開始させるユーザの操作が早すぎる場合であっても、被写体の動きの中でユーザが所望する瞬間の被写体の動きを撮像することができる。
［４．被写体の動き量とメモリに記憶される画像の枚数との関係］
　次に、図５を参照し、図３および図４を用いて説明したバットスイングのシーンを１０００ｆｐｓのフレームレートで撮像した場合における被写体の動き量と、メモリ６に記憶される画像の枚数との関係について説明する。
　図５は、本開示に係る被写体の動き量とメモリに記憶される画像の枚数との関係を示す説明図である。図５に示す横軸は時間であり、縦軸は被写体の動き量・画像の記憶枚数である。また、図５では、各時間帯における被写体の動き量の大きさを棒グラフで示している。
　また、図５に示す実線の折れ線グラフは、画像取捨選択部８による画像消去を行った場合に、メモリ６に記憶される画像の枚数を示している。また、図５に示す一点鎖線の折れ線グラフは、画像取捨選択部８による画像消去を行わなかった場合に、メモリ６に記憶される画像の枚数の推移を示している。
　図５に一転鎖線の折れ線グラフで示すように、画像消去をせずにバットスイングの全領域を１０００ｆｐｓで撮像した場合（ステップＳ１１）、スイング前に撮像画像の枚数がメモリ６の画像記憶枚数上限に達して撮像終了となる（ステップＳ１２）。
　これに対して、画像消去を行う場合、１０００ｆｐｓで撮像しても、図５に実線の折れ線グラフで示すように、テイクバック中で被写体の動き量が所定の動き量未満である画像が消去されるため、メモリ６には１００ｆｐｓの画像が記憶される（ステップＳ１３）。
　その後、スイングが開始されると、被写体の動き量が徐々に大きくなるため、メモリ６には８００ｆｐｓの画像が記憶される（ステップＳ１４）。そして、動き量が最大となるインパクトでは、メモリ６には１０００ｆｐｓの画像が記憶される（ステップＳ１５）。その結果、ＣＩＳ２によれば、スイングの最初から最後まで撮像が可能となる（ステップＳ１６）。
［５．画像取捨選択部が実行する処理］
　次に、図６を参照し、本開示に係るＣＩＳ２が実行する処理の一例について説明する。図６は、本開示に係るＣＩＳ２が実行する処理の一例を示すフローチャートである。
　ＣＩＳ２は、電子機器１が高速撮像モードとなっている期間、図６に示す処理を継続的に実行する。具体的には、ＣＩＳ２では、電子機器が高速撮像モードになると、図６に示すように、まず、撮像部５が高速撮像プレビューを開始する（ステップＳ１０１）。ここでは、撮像部５は、高速撮像よりも低速でプレビュー画像を撮像する。
　続いて、画像取捨選択部８は、プレビュー画像を取得し（ステップＳ１０２）、画像の構図判定を行って（ステップＳ１０３）、ＲＯＩ領域を決定する（ステップＳ１０４）。その後、撮像部５は、高速撮像トリガを受信したか否かを判定する（ステップＳ１０５）。
　そして、撮像部５は、高速撮像トリガを受信していないと判定した場合（ステップＳ１０５，Ｎｏ）、処理をステップＳ１０２へ移す。また、撮像部５は、高速撮像トリガを受信したと判定した場合（ステップＳ１０５，Ｙｅｓ）、高速撮像を開始する（ステップＳ１０６）。
　その後、画像取捨選択部８は、高速撮像画像を取得し（ステップＳ１０７）、取得した高速撮像画像が１枚目の画像でないか否かを判定する（ステップＳ１０８）。そして、画像取捨選択部８は、画像が１枚目の画像であると判定した場合（ステップＳ１０８，Ｎｏ）、処理をステップＳ１０７へ移す。
　また、画像取捨選択部８は、画像が１枚目の画像でないと判定した場合（ステップＳ１０８，Ｙｅｓ）、ＲＯＩ領域の被写体の動き量を検出する（ステップＳ１０９）。そして、画像取捨選択部８は、動き量が所定の動き量未満か否かを判定する（ステップＳ１１０）。
　そして、画像取捨選択部８は、動き量が所定の動き量未満であると判定した場合（ステップＳ１２０，Ｙｅｓ）、画像を消去し（ステップＳ１１１）、処理をステップＳ１０７へ移す。また、画像取捨選択部８は、動き量が所定の動き量未満でない、つまり、動き量が所定の動き量以上であると判定した場合（ステップＳ１１０，Ｎｏ）、画像をメモリ６に記憶させる（ステップＳ１１２）。
　続いて、画像取捨選択部８は、メモリ６に記憶させた画像の枚数がメモリ６の記憶枚数の上限に達したか否かを判定する（ステップＳ１１３）。そして、画像取捨選択部８は、記憶枚数の上限に達していないと判定した場合（ステップＳ１１３，Ｎｏ）、処理をステップＳ１０７へ移す。
　また、画像取捨選択部８は、記憶枚数の上限に達したと判定した場合（ステップＳ１１３，Ｙｅｓ）、処理をステップＳ１０２へ移す。ＣＩＳ２は、上記した一連の処理を電子機器１が高速撮像モードとなっている期間、継続的に実行する。
［６．その他の実施形態］
　上述した各実施形態に係る処理は、上記した実施形態以外にも種々の異なる形態にて実施されてよい。
　例えば、上記した実施形態では、撮像画像中に存在する動体が１つである場合を例に挙げて説明したが、特定部８１は、撮像画像中に複数の動体が存在している場合に、ユーザが撮像を望む可能性が高い動体を被写体として特定することも可能である。
　例えば、カメラのユーザは、撮像しようとする被写体を画像の中央に収めようとするのが一般的である。そこで、特定部８１は、画像の中央に写る物体を被写体として特定する。これにより、特定部８１は、撮像画像中に複数の動体が存在している場合に、ユーザが撮像を望む可能性が高い動体を被写体として特定することができる。
　また、特定部８１は、ユーザによって画像から選択される物体を被写体として特定する。かかる場合、特定部８１は、例えば、表示操作部４に表示中のプレビュー画像の中で、ユーザによるタッチ操作で選択された物体を被写体として特定する。これにより、特定部８１は、例えば、ユーザが撮像を望む動体が画像の中央以外の位置に写っていても、その動体を被写体として特定することができる。
　なお、特定部８１は、ユーザによって画像から選択された物体を被写体として特定する対象から除外することもできる。これにより、ユーザは、特定部８１によって自動的に特定された被写体が自身の意図する物体でない場合に、表示操作部４に表示中の特定された物体を選択操作することによって、特定部８１に被写体として特定させる対象から除外することができる。
　また、通常、カメラのユーザは、ＡＦ機能が作動中の場合、撮像したい物体にフォーカスポイントが合うまでシャッタを切らないのが一般的である。そこで、特定部８１は、ＡＦ機能が作動中の場合、オートフォーカスポイントに最も近い物体を被写体として特定する。これにより、特定部８１は、ユーザが撮像を望む可能性が高い動体を被写体として特定することができる。
　また、ＣＩＳ２は、特定部８１に被写体として特定させる物体の画像データを記憶する記憶部を備えることができる。かかる場合、ＣＩＳ２は、予めユーザに被写体の候補となる人の顔や物体の画像データを記憶部に登録させて記憶する。
　そして、特定部８１は、記憶部に記憶された画像データに基づいて被写体を特定する。例えば、特定部８１は、撮像画像を分割した各分割領域の特徴量を取得し、撮像画像から取得した特徴量と、記憶に記憶している画像データの特徴量との類似度となるスコアを算出し、スコアの高い分割領域中の物体を被写体として特定する。これにより、特定部８１は、事前にユーザによって画像データが登録された物体である可能性が高い物体を被写体として特定することができる。
　また、ＣＩＳ２は、被写体として特定させる物体の種別が異なる複数のモードを備える。そして、特定部８１は、モードに応じた物体を被写体として特定する。例えば、特定部８１は、ユーザによってスポーツモードが選択されている場合には、人だけを被写体として特定し、動物モードが選択されている場合には、動物だけを被写体として登録する。これにより、特定部８１は、特定の物体ではなく、ユーザが望む種別に含まれる任意の物体を被写体として特定することができる。
　また、特定部８１は、撮像画像中で動く可能性が高い物体を推定するＡＩ（人工知能）を備えることもできる。かかる場合、特定部８１は、ＡＩによって動く可能性が最も高いと判断した物体を被写体として特定する。これにより、特定部８１は、ユーザからモードの選択や物体の指定が行われない場合であっても、ユーザが撮像を望む動く可能性が高い物体を被写体として特定することができる。
　また、特定部８１は、撮像画像に複数の人が写っている場合、写っている人の年齢および性別の少なくとも何れか一方に基づいて被写体として特定する人を決定する。例えば、特定部８１は、子供の優先度を高、女性の優先度を中、男性の優先度を低として、被写体として特定する人を決定する。なお、年齢および性別についての優先度は、任意に設定変更が可能である。これにより、特定部８１は、ユーザの嗜好に応じた人を被写体として特定することができる。
　また、一般に、被写体の決定的瞬間を撮像しようとするユーザは、高速撮像を開始する以前から被写体を画角内に収めていることが多い。そこで、特定部８１は、プレビュー画像に所定時間以上継続して写っている物体を被写体として特定する。これにより、特定部８１は、ユーザが決定的瞬間の撮像を望む可能性が高い動体を被写体として特定することができる。
　なお、上述した実施形態では、ＣＩＳ２が特定部８１を備える場合について説明したが、特定部８１は、ＡＰ３側に設けられてもよい。かかる場合、ＣＩＳ２は、メモリ６に記憶した画像をＡＰ３へ出力し、ＡＰ３に設けられる特定部８１によって特定された被写体をＡＰ３から取得し、上述した手順と同様の手順により消去する画像データを取捨選択する。
　ただし、特定部８１がＡＰ３側に設けられる場合には、メモリ６に記憶される全画像データをＡＰ３へ出力する必要がるため、ＣＩＳ２の消費電力が嵩む。このため、特定部８１は、ＣＩＳ２側に設けられることが望ましい。
　上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更することができる。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図１に示した特定部８１、検出部８２、および消去部８３は統合されてもよい。
　また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
［７．効果］
　ＣＩＳ２は、撮像部５と、メモリ６と、検出部８２と、消去部８３とを有する。撮像部５は、順次連続して被写体の画像を撮像して画像データを生成する。メモリ６は、画像データを記憶する。検出部８２は、時系列の画像データに基づいて被写体の動き量を検出する。消去部８３は、被写体の動き量が所定の動き量未満の画像データを消去する。これにより、ＣＩＳ２は、例えば、高速撮像を行う場合に、時系列の画像間で動き量が少なく、高速撮像が必要とされない画像を消去し、メモリ６の空き領域を確保することにより、被写体の動きの中でユーザが所望する瞬間の動きを撮像することができる。
　また、ＣＩＳ２は、特定部８１を備える。特定部８１は、画像データから画像中の被写体を特定する。検出部８２は、特定部８１によって特定された被写体の動き量を検出する。これにより、ＣＩＳ２は、例えば、ＣＩＳ２の外部に特定部８１が設けられる場合、外部の特定部８１へ画像データを出力する必要があり消費電力が嵩むが、内部に特定部８１を備えることで、消費電力を低減することができる。
　また、特定部８１は、撮像部５による高速撮像が開始される前に撮像部５によって撮像されるプレビュー画像の画像データから被写体を特定する。これにより、検出部８２は、高速撮像の開始直後から被写体の動き量を検出することができる。
　また、特定部８１は、ＤＮＮを使用するＤＮＮ処理によって画像の構図を判定し、構図から被写体が写るＲＯＩ領域を決定する。検出部８２は、ＲＯＩ領域内の被写体の動き量を検出する。これにより、検出部８２は、被写体の正確な動き量を検出することができる。
　また、特定部８１は、画像の中央に写る物体を被写体として特定する。これにより、特定部８１は、撮像画像中に複数の動体が存在している場合に、ユーザが撮像を望む可能性が高い動体を被写体として特定することができる。
　また、特定部８１は、ユーザによって画像から選択される物体を被写体として特定する。これにより、特定部８１は、ユーザが撮像を望む動体が画像の中央以外の位置に写っていても、その動体を被写体として特定することができる。
　また、特定部８１は、ユーザによって画像から選択される物体を被写体として特定する対象から除外する。これにより、特定部８１は、自動的に特定した被写体がユーザの意図する物体でない場合に、自動的に特定した被写体を被写体の候補から除外することができる。
　また、特定部８１は、オートフォーカスのフォーカスポイントに近い物体を被写体として特定する。これにより、特定部８１は、フォーカスポイントが合った場合に、高速撮像を開始させるユーザが撮像を望む可能性が高い動体を被写体として特定することができる。
　また、ＣＩＳ２は、特定部８１に被写体として特定させる物体の画像データを記憶する記憶部を備える。特定部８１は、記憶部に記憶された画像データに基づいて被写体を特定する。これにより、特定部８１は、事前にユーザによって画像データが登録された物体である可能性が高い物体を被写体として特定することができる。
　また、ＣＩＳ２は、特定部８１に被写体として特定させる物体の種別が異なる複数のモードを有する。特定部８１は、モードに応じた物体を被写体として特定する。これにより、特定部８１は、特定の物体ではなく、ユーザが望む種別に含まれる任意の物体を被写体として特定することができる。
　また、特定部８１は、人工知能によって画像中で動く可能性が高いと判断した物体を被写体として特定する。これにより、特定部８１は、ユーザからモードの選択や物体の指定が行われない場合であっても、ユーザが撮像を望む動く可能性が高い物体を被写体として特定することができる。
　また、特定部８１は、画像に複数の人が写っている場合、人の年齢および／または性別に基づいて被写体として特定する人を決定する。これにより、特定部８１は、ユーザの嗜好に応じた人を被写体として特定することができる。
　また、特定部８１は、撮像部５による高速撮像が開始される前に撮像部５によって撮像されるプレビュー画像に所定時間以上継続して写っている物体を被写体として特定する。これにより、特定部８１は、ユーザが決定的瞬間の撮像を望む可能性が高い動体を被写体として特定することができる。
　また、電子機器１は、ＣＩＳ２を有する。ＣＩＳ２は、撮像部５と、メモリ６と、検出部８２と、消去部８３とを備える。撮像部５は、順次連続して被写体の画像を撮像して画像データを生成する。メモリ６は、画像データを記憶する。検出部８２は、時系列の画像データに基づいて被写体の動き量を検出する。消去部８３は、被写体の動き量が所定の動き量未満の画像データを消去する。これにより、電子機器１は、例えば、高速撮像を行う場合に、時系列の画像間で動き量が少なく、高速撮像が必要とされない画像を消去し、メモリ６の空き領域を確保することにより、被写体の動きの中でユーザが所望する瞬間の動きを撮像することができる。
　また、ＣＩＳ２は、順次連続して被写体の画像を撮像して画像データを生成し、画像データをメモリ６に記憶させ、時系列の画像データに基づいて被写体の動き量を検出し、被写体の動き量が所定の動き量未満の前記画像データを消去する。これにより、ＣＩＳ２は、被写体の動きの中でユーザが所望する瞬間の動きを撮像することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　順次連続して被写体の画像を撮像して画像データを生成する撮像部と、
　前記画像データを記憶するメモリと、
　時系列の前記画像データに基づいて前記被写体の動き量を検出する検出部と、
　前記被写体の動き量が所定の動き量未満の前記画像データを消去する消去部と
　を有する撮像装置。
（２）
　前記画像データから前記画像中の被写体を特定する特定部
　を備え、
　前記検出部は、
　前記特定部によって特定された被写体の動き量を検出する
　前記（１）に記載の撮像装置。
（３）
　前記特定部は、
　前記撮像部による高速撮像が開始される前に前記撮像部によって撮像されるプレビュー画像の画像データから前記被写体を特定する
　前記（２）に記載の撮像装置。
（４）
　前記特定部は、
　ＤＮＮ（Deep　Neural　Network）を使用するＤＮＮ処理によって画像の構図を判定し、前記構図から前記被写体が写るＲＯＩ（Region　of　Interest）領域を決定し、
　前記検出部は、
　前記ＲＯＩ領域内の前記被写体の動き量を検出する
　前記（２）または（３）に記載の撮像装置。
（５）
　前記特定部は、
　前記画像の中央に写る物体を被写体として特定する
　前記（２）～（４）のいずれかに記載の撮像装置。
（６）
　前記特定部は、
　ユーザによって前記画像から選択される物体を前記被写体として特定する
　前記（２）～（５）のいずれかに記載の撮像装置。
（７）
　前記特定部は、
　ユーザによって前記画像から選択される物体を前記被写体として特定する対象から除外する
　前記（２）～（６）に記載の撮像装置。
（８）
　前記特定部は、
　オートフォーカスのフォーカスポイントに近い物体を被写体として特定する
　前記（２）～（７）のいずれかに記載の撮像装置。
（９）
　前記特定部に前記被写体として特定させる物体の画像データを記憶する記憶部
　を備え、
　前記特定部は、
　前記記憶部に記憶された画像データに基づいて被写体を特定する
　前記（２）～（８）のいずれかに記載の撮像装置。
（１０）
　前記特定部に被写体として特定させる物体の種別が異なる複数のモードを有し、
　前記特定部は、
　前記モードに応じた物体を被写体として特定する
　前記（２）～（９）のいずれかに記載の撮像装置。
（１１）
　前記特定部は、
　人工知能によって前記画像中で動く可能性が高いと判断した物体を被写体として特定する
　前記（２）～（１０）のいずれかに記載の撮像装置。
（１２）
　前記特定部は、
　前記画像に複数の人が写っている場合、前記人の年齢および／または性別に基づいて被写体として特定する前記人を決定する
　前記（２）～（１１）のいずれかに記載の撮像装置。
（１３）
　前記特定部は、
　前記撮像部による高速撮像が開始される前に前記撮像部によって撮像されるプレビュー画像に所定時間以上継続して写っている物体を被写体として特定する
　前記（２）～（１２）のいずれかに記載の撮像装置。
（１４）
　順次連続して被写体の画像を撮像して画像データを生成する撮像部と、
　前記画像データを記憶するメモリと、
　時系列の前記画像データに基づいて前記被写体の動き量を検出する検出部と、
　前記被写体の動き量が所定の動き量未満の前記画像データを消去する消去部と
　を備える撮像装置
　を有する電子機器。
（１５）
　順次連続して被写体の画像を撮像して画像データを生成し、
　前記画像データをメモリに記憶させ、
　時系列の前記画像データに基づいて前記被写体の動き量を検出し、
　前記被写体の動き量が所定の動き量未満の前記画像データを消去する
　撮像方法。
　１　電子機器
　２　ＣＩＳ
　３　ＡＰ
　３１　ＡＰ制御部
　３２　通信Ｉ／Ｆ
　４　表示操作部
　５　撮像部
　５１　受光部
　５２　読出部
　６　メモリ
　７　通信Ｉ／Ｆ
　８　画像取捨選択部
　８１　特定部
　８２　検出部
　８３　消去部

Claims (15)

  1. 　順次連続して被写体の画像を撮像して画像データを生成する撮像部と、
    　前記画像データを記憶するメモリと、
    　時系列の前記画像データに基づいて前記被写体の動き量を検出する検出部と、
    　前記被写体の動き量が所定の動き量未満の前記画像データを消去する消去部と
    　を有する撮像装置。
  2. 　前記画像データから前記画像中の被写体を特定する特定部
    　を備え、
    　前記検出部は、
    　前記特定部によって特定された被写体の動き量を検出する
    　請求項１に記載の撮像装置。
  3. 　前記特定部は、
    　前記撮像部による高速撮像が開始される前に前記撮像部によって撮像されるプレビュー画像の画像データから前記被写体を特定する
    　請求項２に記載の撮像装置。
  4. 　前記特定部は、
    　ＤＮＮ（Deep　Neural　Network）を使用するＤＮＮ処理によって画像の構図を判定し、前記構図から前記被写体が写るＲＯＩ（Region　of　Interest）領域を決定し、
    　前記検出部は、
    　前記ＲＯＩ領域内の前記被写体の動き量を検出する
    　請求項２に記載の撮像装置。
  5. 　前記特定部は、
    　前記画像の中央に写る物体を被写体として特定する
    　請求項２に記載の撮像装置。
  6. 　前記特定部は、
    　ユーザによって前記画像から選択される物体を前記被写体として特定する
    　請求項２に記載の撮像装置。
  7. 　前記特定部は、
    　ユーザによって前記画像から選択される物体を前記被写体として特定する対象から除外する
    　請求項２に記載の撮像装置。
  8. 　前記特定部は、
    　オートフォーカスのフォーカスポイントに近い物体を被写体として特定する
    　請求項２に記載の撮像装置。
  9. 　前記特定部に前記被写体として特定させる物体の画像データを記憶する記憶部
    　を備え、
    　前記特定部は、
    　前記記憶部に記憶された画像データに基づいて被写体を特定する
    　請求項２に記載の撮像装置。
  10. 　前記特定部に被写体として特定させる物体の種別が異なる複数のモードを有し、
    　前記特定部は、
    　前記モードに応じた物体を被写体として特定する
    　請求項２に記載の撮像装置。
  11. 　前記特定部は、
    　人工知能によって前記画像中で動く可能性が高いと判断した物体を被写体として特定する
    　請求項２に記載の撮像装置。
  12. 　前記特定部は、
    　前記画像に複数の人が写っている場合、前記人の年齢および／または性別に基づいて被写体として特定する前記人を決定する
    　請求項２に記載の撮像装置。
  13. 　前記特定部は、
    　前記撮像部による高速撮像が開始される前に前記撮像部によって撮像されるプレビュー画像に所定時間以上継続して写っている物体を被写体として特定する
    　請求項２に記載の撮像装置。
  14. 　順次連続して被写体の画像を撮像して画像データを生成する撮像部と、
    　前記画像データを記憶するメモリと、
    　時系列の前記画像データに基づいて前記被写体の動き量を検出する検出部と、
    　前記被写体の動き量が所定の動き量未満の前記画像データを消去する消去部と
    　を備える撮像装置
    　を有する電子機器。
  15. 　順次連続して被写体の画像を撮像して画像データを生成し、
    　前記画像データをメモリに記憶させ、
    　時系列の前記画像データに基づいて前記被写体の動き量を検出し、
    　前記被写体の動き量が所定の動き量未満の前記画像データを消去する
    　撮像方法。
PCT/JP2020/001629 2019-02-19 2020-01-20 撮像装置、電子機器、および撮像方法 WO2020170670A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/429,867 US20220108457A1 (en) 2019-02-19 2020-01-20 Imaging device, electronic device, and imaging method
CN202080014165.8A CN113424519A (zh) 2019-02-19 2020-01-20 成像装置、电子装置和成像方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019027847A JP2020136899A (ja) 2019-02-19 2019-02-19 撮像装置、電子機器、および撮像方法
JP2019-027847 2019-02-19

Publications (1)

Publication Number Publication Date
WO2020170670A1 true WO2020170670A1 (ja) 2020-08-27

Family

ID=72143445

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/001629 WO2020170670A1 (ja) 2019-02-19 2020-01-20 撮像装置、電子機器、および撮像方法

Country Status (4)

Country Link
US (1) US20220108457A1 (ja)
JP (1) JP2020136899A (ja)
CN (1) CN113424519A (ja)
WO (1) WO2020170670A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004072655A (ja) * 2002-08-09 2004-03-04 Ricoh Co Ltd Ｒｏｉ領域設定装置、電子カメラ装置、ｒｏｉ領域設定方法、プログラム、記録媒体
JP2006157428A (ja) * 2004-11-29 2006-06-15 Fuji Photo Film Co Ltd 撮影装置及び撮影方法
JP2009157242A (ja) * 2007-12-27 2009-07-16 Fujifilm Corp 撮像装置
JP2013146017A (ja) * 2012-01-16 2013-07-25 Nikon Corp 撮像装置およびプログラム
WO2013153883A1 (ja) * 2012-04-09 2013-10-17 ソニー株式会社 表示制御装置、表示制御方法、プログラム
US20180188045A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. High definition map updates based on sensor data collected by autonomous vehicles

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005277724A (ja) * 2004-03-24 2005-10-06 Casio Comput Co Ltd 画像撮影装置及びプログラム
JP4717539B2 (ja) * 2005-07-26 2011-07-06 キヤノン株式会社 撮像装置及び撮像方法
JP4396712B2 (ja) * 2006-09-15 2010-01-13 カシオ計算機株式会社 カメラ装置、撮影制御プログラム、及び、撮影制御方法
KR101445606B1 (ko) * 2008-02-05 2014-09-29 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
KR20090124319A (ko) * 2008-05-29 2009-12-03 삼성디지털이미징 주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
JP4760928B2 (ja) * 2009-02-13 2011-08-31 カシオ計算機株式会社 撮像装置、連写速度の設定方法及びプログラム
JP2011147109A (ja) * 2009-12-16 2011-07-28 Canon Inc 撮像装置及び画像処理装置
JP5810307B2 (ja) * 2010-05-10 2015-11-11 パナソニックＩｐマネジメント株式会社 撮像装置
JP2012015889A (ja) * 2010-07-02 2012-01-19 Sony Corp 画像処理装置および画像処理方法
US8630454B1 (en) * 2011-05-31 2014-01-14 Google Inc. Method and system for motion detection in an image
JP2015115899A (ja) * 2013-12-13 2015-06-22 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム
CN104901994B (zh) * 2014-10-22 2018-05-25 腾讯科技（深圳）有限公司 网络系统中用户的属性数值转移方法、装置及系统
CN105323456B (zh) * 2014-12-16 2018-11-30 维沃移动通信有限公司 用于拍摄装置的图像预览方法、图像拍摄装置
JP2016213548A (ja) * 2015-04-30 2016-12-15 カシオ計算機株式会社 撮影システム、撮影方法、検知装置及び撮影装置
US10582125B1 (en) * 2015-06-01 2020-03-03 Amazon Technologies, Inc. Panoramic image generation from video
US10701261B2 (en) * 2016-08-01 2020-06-30 International Business Machines Corporation Method, system and computer program product for selective image capture
US10412321B2 (en) * 2016-12-12 2019-09-10 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and image synthesis method
JP6723937B2 (ja) * 2017-01-31 2020-07-15 キヤノン株式会社 プログラム、画像処理装置、および画像処理方法
JP7098601B2 (ja) * 2017-03-31 2022-07-11 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP7023613B2 (ja) * 2017-05-11 2022-02-22 キヤノン株式会社 画像認識装置および学習装置
KR102438201B1 (ko) * 2017-12-01 2022-08-30 삼성전자주식회사 사진 촬영과 관련된 추천 정보를 제공하는 방법 및 시스템
US10834365B2 (en) * 2018-02-08 2020-11-10 Nortek Security & Control Llc Audio-visual monitoring using a virtual assistant
WO2019160194A1 (ko) * 2018-02-14 2019-08-22 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN108388886A (zh) * 2018-03-16 2018-08-10 广东欧珀移动通信有限公司 图像场景识别的方法、装置、终端和计算机可读存储介质
US11030486B2 (en) * 2018-04-20 2021-06-08 XNOR.ai, Inc. Image classification through label progression
CN108765404B (zh) * 2018-05-31 2019-10-18 南京行者易智能交通科技有限公司 一种基于深度学习图像分类的道路破损检测方法及装置
JP7004852B2 (ja) * 2018-12-26 2022-01-21 富士フイルム株式会社 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004072655A (ja) * 2002-08-09 2004-03-04 Ricoh Co Ltd Ｒｏｉ領域設定装置、電子カメラ装置、ｒｏｉ領域設定方法、プログラム、記録媒体
JP2006157428A (ja) * 2004-11-29 2006-06-15 Fuji Photo Film Co Ltd 撮影装置及び撮影方法
JP2009157242A (ja) * 2007-12-27 2009-07-16 Fujifilm Corp 撮像装置
JP2013146017A (ja) * 2012-01-16 2013-07-25 Nikon Corp 撮像装置およびプログラム
WO2013153883A1 (ja) * 2012-04-09 2013-10-17 ソニー株式会社 表示制御装置、表示制御方法、プログラム
US20180188045A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. High definition map updates based on sensor data collected by autonomous vehicles

Also Published As

Publication number Publication date
JP2020136899A (ja) 2020-08-31
CN113424519A (zh) 2021-09-21
US20220108457A1 (en) 2022-04-07

Similar Documents

Publication Publication Date Title
US8610796B2 (en) Digital camera capable of continuous shooting
KR100991030B1 (ko) 화상기록방법, 화상기록장치, 및 기억매체
US8411997B2 (en) Image capture device and program storage medium
US9367746B2 (en) Image processing apparatus for specifying an image relating to a predetermined moment from among a plurality of images
US8994783B2 (en) Image pickup apparatus that automatically determines shooting mode most suitable for shooting scene, control method therefor, and storage medium
JP4780205B2 (ja) 撮像装置、画角調節方法、及び、プログラム
US20090295931A1 (en) Digital photography apparatus and method for storing consecutive images according to a motion of an object
JP5754458B2 (ja) 動画像抽出装置、動画像抽出方法及びプログラム
WO2020170705A1 (ja) 撮像装置、電子機器、および撮像方法
TWI477887B (zh) 影像處理裝置、影像處理方法及記錄媒體
US9215426B2 (en) Imaging apparatus and imaging method
WO2020170670A1 (ja) 撮像装置、電子機器、および撮像方法
JP2014116878A (ja) 撮像装置および撮像方法
JP5635546B2 (ja) 撮影機器および撮影機器の制御方法
JP7444604B2 (ja) 画像処理装置及び方法、及び撮像装置
US20200244863A1 (en) Imaging apparatus, method of controlling the imaging apparatus, and program
JP2011018989A (ja) 撮像装置、画像選択方法、及び、プログラム
JP2010141911A (ja) 画像記録方法、画像記録装置、およびプログラム
CN101442615A (zh) 摄像装置、摄像方法、图像检索装置以及图像检索方法
CN107566713B (zh) 提高相机在用户行走中定时拍照质量的拍照方法与装置
WO2019082832A1 (ja) 撮像装置、撮像装置の制御方法、および、プログラム
JP5683898B2 (ja) 追尾装置および追尾方法
JP2010034686A (ja) デジタルカメラ
JP2006039254A (ja) カメラ
JP5616745B2 (ja) 追尾装置および追尾方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20759432

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20759432

Country of ref document: EP

Kind code of ref document: A1