WO2021187148A1 - 撮像装置、撮像制御方法及びプログラム - Google Patents

撮像装置、撮像制御方法及びプログラム Download PDF

Info

Publication number
WO2021187148A1
WO2021187148A1 PCT/JP2021/008554 JP2021008554W WO2021187148A1 WO 2021187148 A1 WO2021187148 A1 WO 2021187148A1 JP 2021008554 W JP2021008554 W JP 2021008554W WO 2021187148 A1 WO2021187148 A1 WO 2021187148A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
feature
image information
motion
detection mode
Prior art date
Application number
PCT/JP2021/008554
Other languages
English (en)
French (fr)
Inventor
克彦 半澤
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/905,879 priority Critical patent/US20230156323A1/en
Publication of WO2021187148A1 publication Critical patent/WO2021187148A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Definitions

  • This technology relates to an imaging device used for, for example, a surveillance camera.
  • surveillance cameras have been widely used in fields such as crime prevention and transportation. Since a surveillance camera basically needs to be driven at all times, there is a problem that power consumption increases if an image is always captured at a high resolution.
  • Patent Document 1 is mentioned as a technique related to such a problem.
  • the transition between the pixel addition mode and the normal mode is controlled.
  • the mode In the pixel addition mode, a low-resolution image is acquired by pixel addition, and the movement (event) of the subject is detected based on this image.
  • the mode In the pixel addition mode, when the movement of the subject is detected, the mode shifts to the normal mode. In the normal mode, an image is captured at a high resolution without pixel addition. After capturing a predetermined number of images in the normal mode, the mode shifts to the pixel addition mode.
  • the purpose of this technology is to provide technology such as an imaging device that can appropriately reduce power consumption.
  • the imaging device includes a mode control unit.
  • the mode control unit detects the feature based on the image information having a higher resolution than the image information used for the motion detection when the motion is detected. Move the mode to the detection mode and When a specific feature is detected in the feature detection mode, the mode is shifted to an imaging mode for acquiring image information having a higher resolution than the image information used for the feature detection.
  • the feature detection mode is interposed between the motion detection mode and the image pickup mode, it is possible to prevent an unnecessary shift to the image pickup mode and appropriately reduce the power consumption of the image pickup device. Can be made to.
  • the mode control unit may shift the mode to the motion detection mode when the specific feature is not detected in the feature detection mode.
  • the mode control unit when the mode control unit acquires a predetermined number of image information in the image pickup mode, the mode control unit may shift the mode to the motion detection mode.
  • the feature detection mode may include a first feature detection mode and a second feature detection mode in which feature detection is performed in more detail than the first feature detection mode.
  • the resolution of the image information used for feature detection in the second feature detection mode may be higher than the resolution of the image information used for feature detection in the first feature detection mode.
  • the image information used for feature detection in the first feature detection mode is an entire image
  • the image information used for feature detection in the second feature detection mode is the first feature detection mode. It may be a partial image corresponding to the portion where the feature is detected in.
  • the partial image may have a higher resolution than the whole image.
  • the mode control unit shifts the mode to the first feature detection mode, and a specific feature is detected in the first feature detection mode. At that time, the mode may be shifted to the second feature detection mode, and when a specific feature is detected in the second feature detection mode, the mode may be shifted to the imaging mode.
  • the mode control unit shifts the mode to the motion detection mode, and is specific in the second feature detection mode.
  • the mode may be shifted to the motion detection mode.
  • the imaging device may further include a motion extraction unit that extracts the motion from the image information in the motion detection mode.
  • the motion extraction unit may extract the motion from the image information of the analog signal.
  • the motion extraction unit may extract the motion from the image information of the digital signal.
  • the image pickup apparatus may further include a feature extraction unit that extracts the feature from the image information in the feature detection mode.
  • the feature extraction unit may extract the feature from the image information of the analog signal.
  • the feature extraction unit may extract the feature from the image information of the digital signal.
  • the image pickup apparatus includes an image sensor including a pixel array unit for obtaining the image information. Inside the image sensor, With the mode control unit In the motion detection mode, a motion extraction unit that extracts motion from the image information and In the motion detection mode, a motion determination unit that determines whether or not the motion is detected based on the motion extracted by the motion extraction unit, and a motion determination unit. In the feature detection mode, a feature extraction unit for extracting features from the image information may be provided.
  • a feature determination unit for determining whether or not the specific feature is detected based on the feature extracted by the feature extraction unit in the feature detection mode is provided inside the image sensor. May be good.
  • a feature determination unit for determining whether or not the specific feature is detected based on the feature extracted by the feature extraction unit in the feature detection mode is provided outside the image sensor. May be good.
  • the imaging control method is In the motion detection mode that detects motion based on image information, when the motion is detected, the mode is changed to the feature detection mode that detects features based on image information having a higher resolution than the image information used for motion detection.
  • the mode is shifted to an imaging mode for acquiring image information having a resolution higher than that of the image information used for the feature detection.
  • the program In the motion detection mode in which the motion is detected based on the image information, the program according to the present technology detects the feature based on the image information having a higher resolution than the image information used for the motion detection when the motion is detected. Shift the mode to the feature detection mode and When a specific feature is detected in the feature detection mode, the computer is made to execute a process of shifting the mode to an imaging mode for acquiring image information having a resolution higher than that of the image information used for the feature detection.
  • FIG. 1 is a block diagram showing the configuration of the image pickup apparatus 100.
  • the imaging device 100 is, for example, a surveillance camera, which is installed and used at a fixed place.
  • the image pickup apparatus 100 includes an image sensor 10, a control unit 1, a storage unit 2, a display unit 3, an operation unit 4, and a communication unit 5. Each of these parts is electrically connected to each other via a bus 6.
  • the image sensor 10 has, for example, a solid-state image sensor (pixel array unit 11) such as a CCD (Charge Coupled Device) sensor and a CMOS (Complemented Metal Oxide Semiconductor) sensor. Further, the image sensor 10 has an optical system including a plurality of lenses, an aperture, a shutter and the like. The image sensor 10 outputs the acquired image information to the storage unit 2 and the display unit 3 as needed. The detailed configuration of the image sensor 10 will be described later with reference to FIG.
  • a solid-state image sensor pixel array unit 11
  • CCD Charge Coupled Device
  • CMOS Complement Metal Oxide Semiconductor
  • the control unit 1 is composed of, for example, a CPU (Central Processing Unit) or the like.
  • the control unit 1 executes various calculations based on various programs stored in the storage unit 2, and controls each unit of the image pickup apparatus 100 in an integrated manner.
  • CPU Central Processing Unit
  • the storage unit 2 is a non-volatile memory for storing various programs required for processing of the control unit 1 and image information acquired by the image sensor 10, and a volatile memory used as a work area of the control unit 1. And include.
  • the various programs may be read from a portable recording medium such as an optical disk or a semiconductor memory, or may be downloaded from a server device on a network.
  • the display unit 3 is composed of, for example, a liquid crystal display, an EL (Electro-Luminescence) display, or the like. Based on the control of the control unit 1, the display unit 3 displays the image information acquired by the image sensor 10 on the screen as needed.
  • EL Electro-Luminescence
  • the operation unit 4 is various operation units such as a push button type and a proximity type, and detects an operation by a user and outputs the operation to the control unit 1.
  • the communication unit 5 communicates with an external device by wire or wirelessly.
  • Examples of the external device that communicates with the image pickup device 100 include a mobile phone (including a smartphone), a PC (Personal computer), and a server device on a network.
  • an image sensor 10 In the example shown in FIG. 1, an image sensor 10, a control unit 1, a storage unit 2, a display unit 3, and an operation unit 4 are provided in the same device, but each of these units is distributed to a plurality of devices. May be provided.
  • the image sensor 10 is provided in the imaging device 100, and the other parts (control unit 1, storage unit 2, operation unit 4, etc.) are provided in a separate device.
  • the image pickup apparatus 100 may include at least the image sensor 10.
  • the device separate from the image pickup device 100 may be a dedicated device or a general-purpose device.
  • the separate device may be a mobile phone (including a smartphone), a PC, a server device on a network, or the like.
  • FIG. 2 is a block diagram showing the configuration of the image sensor 10.
  • the image sensor 10 includes a pixel array unit 11, an ADC 12 (ADC: Analog to Digital Converter), a row scanning circuit 13, a column scanning circuit 14, and a sensor control unit 15.
  • the sensor control unit 15 includes a mode control unit 16, a timing control unit 17, a motion detection unit 18, a feature detection unit 19, an image processing unit 20, and a switch 21.
  • three modes of motion detection mode, feature detection mode, and imaging mode are prepared. These three modes are shifted under the control of the mode control unit 16.
  • the motion detection mode is a mode in which image information having a resolution relatively lower than the image information used in the feature detection mode and the imaging mode is acquired, and the motion of the subject is detected based on the image information of the low resolution.
  • the mode In the following description, the image information acquired in the motion detection mode will be referred to as low-resolution image information for convenience.
  • the feature detection mode is a mode in which image information having a resolution relatively higher than the image information used in the motion detection mode and a resolution relatively lower than the image information used in the imaging mode is acquired. This mode detects the characteristics of the subject based on the resolution image information.
  • the image information acquired in the feature detection mode will be referred to as medium-resolution image information for convenience.
  • the imaging mode is a mode in which image information having a resolution relatively higher than the image information used in the motion detection mode and the feature detection mode is acquired and imaging is performed.
  • the image information acquired in the imaging mode will be referred to as high-resolution image information for convenience.
  • the pixel array unit 11 has a plurality of pixels arranged in a two-dimensional grid pattern. Each pixel photoelectrically converts the light incident through an optical system such as a lens, and generates charge information according to the intensity of the light. The pixel array unit 11 performs photoelectric conversion by a plurality of pixels to generate image information of an analog signal, and outputs the image information of the generated analog signal to the ADC 12.
  • FIG. 5 is a diagram showing the resolution of the image information acquired in each mode in the pixel array unit 11.
  • the charge information is read out for each block and the image information is acquired (binning technology).
  • the charge information of any one pixel in each block may be read from each block to acquire image information (random sampling technique).
  • the resolution of the image information in the motion detection mode is, for example, 40 ⁇ 30 px, 32 ⁇ 20 px, 16 ⁇ 5 px, or the like.
  • the number of pixels included in one block unit in the feature detection mode is set to be smaller than the number of pixels included in one block unit in the motion detection mode.
  • the charge information is read out for each block and the image information is acquired (binning technology).
  • the charge information of any one pixel in each block may be read from each block to acquire image information (random sampling technique).
  • the resolution of the image information in this feature detection mode corresponds to, for example, VGA (Video Graphics Array) (640 x 480 px), QVGA (Quarter VGA) (320 x 240 px), QQVGA ((Quarter QVGA) (160 x 120 px), etc. do.
  • VGA Video Graphics Array
  • QVGA Quantarter VGA
  • QQVGA (Quarter QVGA) (160 x 120 px), etc. do.
  • the imaging mode for example, charge information is read out for each pixel in the pixel array unit 11 to acquire image information.
  • the resolution of the image information in this imaging mode corresponds to, for example, FHD (Full High Definition) (1920 ⁇ 1080), HD (High Definition) (1280 ⁇ 720), VGA (640 ⁇ 480), and the like.
  • the row scanning circuit 13 drives each pixel in the pixel array unit 11 to cause the pixel array unit 11 to acquire image information of an analog signal.
  • a mode signal indicating which of the three modes the current mode is is input from the mode control unit 16 to the row scanning circuit 13.
  • the row scanning circuit 13 controls the pixel array unit 11 in the motion detection mode to generate image information having a resolution for each block (that is, low-resolution image information). Further, the row scanning circuit 13 controls the pixel array unit 11 to provide image information having a resolution of each block (less than the number of pixels included in one block in the motion detection mode) (that is, medium-resolution image information). To generate. Further, the row scanning circuit 13 controls the pixel array unit 11 in the imaging mode to generate image information having a resolution for each pixel (that is, high-resolution image information).
  • the ADC 12 converts the image information of the analog signal input from the pixel array unit 11 into the image information of the digital signal in synchronization with the clock signal. Then, the ADC 12 outputs the image information of the generated digital signal to the switch 21.
  • the amount of data that needs to be A / D converted in the ADC 12 is the smallest in the motion detection mode, then the feature detection mode, and the largest in the imaging mode. Therefore, the power consumption of the ADC 12 is the smallest in the motion detection mode, then the feature detection mode, and the largest in the imaging mode.
  • the power consumption in the ADC 12 can be reduced as compared with the case where the pixel array unit 11 constantly acquires the high-resolution image information and the ACD performs A / D conversion of the high-resolution image information.
  • the column scanning circuit 14 controls the ADC 12 to output the image information of the digital signal to the switch 21.
  • the sensor control unit 15 comprehensively controls each unit of the image sensor 10, for example, based on a program.
  • the specific processing of the sensor control unit 15 (particularly, the mode control unit 16, the motion detection unit 18, and the feature detection unit 19) will be described in detail later with reference to FIG.
  • the timing control unit 17 controls the operation timing of the row scanning circuit 13, the ADC 12, and the column scanning timing.
  • a vertical synchronization signal having a predetermined frequency (for example, 30 Hz or the like) is input to the timing control unit 17.
  • the timing control unit 17 generates a timing signal indicating the operation timing of each of the row scanning circuit 13, the ADC 12 and the column scanning circuit 14 in synchronization with the vertical synchronization signal, and outputs the corresponding timing signal to each unit.
  • the switch 21 switches the output destination of the image information output from the ADC 12 based on the mode signal input from the mode control unit 16.
  • the switch 21 outputs the image information (low resolution image information) from the ADC 12 to the motion detection unit 18 in the motion detection mode. Further, the switch 21 outputs the image information (medium resolution image information) from the ADC 12 to the feature detection unit 19 in the feature detection mode. Further, the switch 21 outputs the image information (high-resolution image information) from the ADC 12 to the image processing unit 20 in the imaging mode.
  • the motion detection unit 18 determines whether or not the motion of the subject is detected based on the low-resolution image information input from the ADC 12 via the switch 21, and sends the determination result to the mode control unit 16. Is output.
  • the motion detection unit 18 includes a motion extraction unit 18a and a motion determination unit 18b.
  • the motion extraction unit 18a extracts the motion of the subject based on the low-resolution image information input from the ADC 12 via the switch 21, and outputs the extracted motion information to the motion determination unit 18b.
  • the motion determination unit 18b determines whether or not the motion is detected based on the motion information, and outputs the determination result to the mode control unit 16.
  • the feature detection unit 19 determines whether or not a specific feature has been detected based on the medium-resolution image information input from the ADC 12 via the switch 21, and sends the determination result to the mode control unit 16. Is output.
  • the feature detection unit 19 includes a feature extraction unit 19a and a feature determination unit 19b.
  • the feature extraction unit 19a extracts the features of the subject based on the medium-resolution image information input from the ADC 12 via the switch 21, and outputs the extracted feature information to the feature determination unit 19b.
  • the feature determination unit 19b determines whether or not a specific feature has been detected based on the feature information, and outputs the determination result to the mode control unit 16.
  • the image processing unit 20 executes various image processing such as demosaic processing, white balance processing, and filter processing on the high resolution image information input from the ADC 12 via the switch 21. Then, the image processing unit 20 outputs the high-resolution image information after the image processing to the storage unit 2 and the display unit 3.
  • the mode control unit 16 controls the transition of the three modes in the motion detection mode, the feature detection mode, and the imaging mode based on the determination result input from the motion detection unit 18 and the determination result input from the feature detection unit 19. do. Further, when the mode is shifted, the mode control unit 16 outputs a mode signal indicating the mode of the shift destination (indicating the current mode) to the row scanning circuit 13 and the switch 21.
  • the mode control unit 16 shifts the mode from the motion detection mode to the feature detection mode. Further, the mode control unit 16 shifts the mode from the feature detection mode to the imaging mode when a specific feature (feature corresponding to the imaging target) is detected in the feature detection mode. On the other hand, the mode control unit 16 shifts the mode from the feature detection mode to the motion detection mode when a specific feature is not detected in the feature detection mode. Further, the mode control unit 16 shifts the mode from the imaging mode to the motion detection mode when a predetermined number of image information is acquired in the imaging mode.
  • the image sensor 10 is in the activated state regardless of the mode, but the control unit 1, the storage unit 2, the display unit 3, the communication unit 5, etc. (hereinafter, the control unit 1 and the like) are in the activated state.
  • the control unit 1 and the like are exceptionally activated regardless of the mode.
  • the mode control unit 16 activates the control unit 1 and the like from the sleep state when the mode shifts from the feature detection mode to the imaging mode. At this time, the mode control unit 16 also activates a reference clock generation circuit (not shown) that supplies a reference clock to the control unit 1 and the like.
  • the mode control unit 16 puts the control unit 1 and the like from the activated state to the sleep state when the mode is changed from the imaging mode to the motion detection mode. At this time, the mode control unit 16 also stops the reference clock generation circuit (not shown) that supplies the reference clock to the control unit 1 and the like.
  • the power saving of the entire image pickup apparatus 100 can be saved by activating the control unit 1 and the like and the reference clock generation circuit only at the required timing (imaging mode).
  • FIG. 3 is a flowchart showing the processing of the sensor control unit 15.
  • FIG. 4 is a diagram showing an example of mode transition.
  • the current mode is first set to the motion detection mode.
  • the motion detection mode low-resolution image information is output from the pixel array unit 11, and this image information is A / D converted by the ADC 12 (the power consumption of the ADC is relatively low). Then, low-resolution image information as a digital signal is input to the motion extraction unit 18a of the motion detection unit 18 via the switch 21.
  • the motion extraction unit 18a extracts the motion of the subject from this image information (step 101). At this time, for example, the motion extraction unit 18a integrates the charge information (luminance information) for each block included in the image information to generate the integrated information. Then, the motion extraction unit 18a extracts the difference between the integrated information based on the current image information and the integrated information based on the previous image information as motion information, and transfers this motion information (difference) to the motion determination unit 18b. Is output.
  • the motion extraction unit 18a integrates the charge information (luminance information) for each block included in the image information to generate the integrated information. Then, the motion extraction unit 18a extracts the difference between the integrated information based on the current image information and the integrated information based on the previous image information as motion information, and transfers this motion information (difference) to the motion determination unit 18b. Is output.
  • the motion determination unit 18b of the motion detection unit 18 determines whether or not the motion of the subject is detected based on the motion information (step 102). ).
  • the motion determination unit 18b compares the above difference with a predetermined threshold value, and determines that the motion of the subject is detected when the difference exceeds the threshold value (YES in step 102). On the other hand, the motion determination unit 18b determines that the motion of the subject has not been detected when the difference is equal to or less than the threshold value (NO in step 102). Then, the motion determination unit 18b outputs the determination result of whether or not the motion is detected to the mode control unit 16.
  • the mode control unit 16 shifts the current mode from the motion detection mode to the feature detection mode (step 103). At this time, the mode control unit 16 outputs a mode signal indicating that the current mode is the feature detection mode to the row scanning circuit 13 and the switch 21.
  • the row scanning circuit 13 controls the pixel array unit 11 to cause the pixel array unit 11 to acquire medium-resolution image information. Further, when the mode signal indicating the feature detection mode is input, the switch 21 shifts the output destination of the image information from the ADC 12 from the motion detection unit 18 (motion extraction unit 18a) to the feature detection unit 19 (feature extraction unit 19a). Switch to.
  • medium-resolution image information is output from the pixel array unit 11, and this image information is A / D converted by the ADC 12 (the power consumption of the ADC is relatively medium). Then, medium-resolution image information as a digital signal is input to the feature extraction unit 19a of the feature detection unit 19 via the switch 21.
  • the feature extraction unit 19a extracts the feature information of the subject (feature point group information, edge information, distance information, polarization information, spectral information, etc.) from the image information. This feature information is output to the feature determination unit 19b (step 104).
  • the feature extraction unit 19a may extract the feature information from the entire image information, or may extract the feature information from a specific part of the image information. That is, in the feature detection mode, since the portion where the movement has already occurred is specified in the motion detection, the feature information can be partially extracted from the portion corresponding to the portion where the movement has occurred. In this case, the power consumption of the image sensor 10 can be further reduced.
  • the feature determination unit 19b of the feature detection unit 19 determines whether or not a specific feature is detected based on the feature information (step 105).
  • the feature determination unit 19b compares the extracted feature information with the recognition model, and if the feature information and the recognition model match, it is determined that a specific feature has been detected (step 105). YES). On the other hand, when the feature information and the recognition model do not match, the feature determination unit 19b determines that a specific feature has not been detected (NO in step 105). Then, the feature determination unit 19b outputs the determination result of whether or not a specific feature is detected to the mode control unit 16.
  • the recognition model is a model corresponding to a subject (for example, a person, an animal, a car, etc.) assumed to be an imaging target, and is stored in advance in the feature determination unit 19b.
  • the feature determination unit 19b compares the extracted feature information with a recognition model showing the whole body of the person and a recognition model showing the face of the person. To determine whether a specific feature has been detected (human detection, face detection).
  • the feature determination unit 19b compares the extracted feature information with a recognition model showing the whole body of the animal and a recognition model showing the face of the animal. To determine whether a particular feature has been detected (animal detection, animal face detection). Further, when the car is assumed to be an imaging target, the feature determination unit 19b identifies the extracted feature information by comparing the extracted feature information with a recognition model showing the entire car and a recognition model showing a part of the car. Judge whether or not the feature of is detected (vehicle detection, partial detection).
  • the feature determination unit 19b compares the feature information with the corresponding recognition models to determine whether or not a specific feature has been detected. .. For example, when a person and a car are to be imaged, the feature determination unit 19b includes the extracted feature information, a recognition model showing the whole body of the person, a recognition model showing the face of the person, a recognition model showing the whole car, and a car. It is determined whether or not a specific feature is detected by comparing with the recognition model showing each part of.
  • the user may be able to select a necessary imaging target from a plurality of types of imaging targets prepared in advance via the operation unit 4. For example, suppose that each type of imaging target such as a person, an animal, or a car is prepared in advance, and the user selects a person as a necessary imaging target from these. In this case, the feature determination unit 19b compares the feature information with the recognition model showing the whole body of the person and the recognition model showing the face of the person to determine whether or not a specific feature is detected.
  • the mode control unit 16 shifts the current mode from the feature detection mode to the motion detection mode (step 107).
  • the mode control unit 16 When the mode is shifted from the feature detection mode to the motion detection mode, the mode control unit 16 outputs a mode signal indicating that the current mode is the motion detection mode to the row scanning circuit 13 and the switch 21.
  • the row scanning circuit 13 controls the pixel array unit 11 to cause the pixel array unit 11 to acquire low-resolution image information. Further, when the mode signal indicating the motion detection mode is input, the switch 21 shifts the output destination of the image information from the ADC 12 from the feature detection unit 19 (feature extraction unit 19a) to the motion detection unit 18 (motion extraction unit 18a). Switch to.
  • the mode control unit 16 shifts the current mode from the feature detection mode to the imaging mode (step 106).
  • the mode control unit 16 When the mode is shifted to the imaging mode, the mode control unit 16 outputs a mode signal indicating that the current mode is the imaging mode to the row scanning circuit 13 and the switch 21. At this time, the mode control unit 16 also activates the control unit 1 and the like from the sleep state, and also activates the reference clock generation circuit that supplies the reference clock to the control unit 1 and the like.
  • the row scanning circuit 13 controls the pixel array unit 11 to cause the pixel array unit 11 to acquire high-resolution image information. Further, when the mode signal indicating the imaging mode is input, the switch 21 switches the output destination of the image information from the ADC 12 from the feature detection unit 19 (feature extraction unit 19a) to the image processing unit 20.
  • high-resolution image information is output from the pixel array unit 11, and this image information is A / D converted by the ADC 12 (the power consumption of the ADC is relatively high). Then, high-resolution image information as a digital signal is input to the image processing unit 20 via the switch 21.
  • the image processing unit 20 executes various image processing such as demosaic processing on the high-resolution image information, and outputs the high-resolution image information after the image processing to the storage unit 2 and the display unit 3 (step 108). ).
  • the high-resolution image information in the imaging mode is output from the image sensor 10 and stored in the storage unit 2, and is also displayed in the display unit 3.
  • the low-resolution image information in the motion detection mode is only used for motion detection, not for storage or display.
  • the medium resolution image information in the feature detection mode is only used for feature detection, not for storage or display.
  • low-resolution image information in the motion detection mode and medium-resolution image information in the feature detection mode can also be used for storage and display (especially in the case of medium-resolution image information).
  • the mode control unit 16 determines whether or not the number of image information acquired in the imaging mode has reached a predetermined number (step 109). When the number of acquired image information has not reached the predetermined number (NO in step 109), the mode control unit 16 outputs high-resolution image information from the image sensor 10 while maintaining the mode in the imaging mode (NO in step 109). Step 108).
  • the mode control unit 16 shifts the current mode from the imaging mode to the motion detection mode (step 110).
  • the number of image information acquired in the imaging mode may be appropriately set, such as one, two, three, and so on. Further, the number of image information acquired in the imaging mode may be changed by the user by input from the user via the operation unit 4.
  • the mode control unit 16 When the mode is shifted to the motion detection mode, the mode control unit 16 outputs a mode signal indicating that the current mode is the motion detection mode to the row scanning circuit 13 and the switch 21. Further, at this time, the mode control unit 16 puts the control unit 1 and the like from the activated state to the sleep state, and also stops the reference clock generation circuit that supplies the reference clock to the control unit 1 and the like.
  • the row scanning circuit 13 controls the pixel array unit 11 to cause the pixel array unit 11 to acquire low-resolution image information. Further, when the mode signal indicating the motion detection mode is input, the switch 21 switches the output destination of the image information from the ADC 12 from the image processing unit 20 to the motion detection unit 18 (motion extraction unit 18a).
  • the feature information of the animal is extracted, and the feature information of this animal is compared with the recognition model of the person to be imaged. In this case, since the feature information and the recognition model do not match, the mode is returned from the feature detection mode to the motion detection mode (see the left side of FIG. 4).
  • the imaging target is a person
  • the mode is shifted from the motion detection mode to the feature detection mode by detecting the movement of the person.
  • the feature detection mode the feature information of a person is extracted, and the feature information of this person is compared with the recognition model of the person to be imaged.
  • the mode is shifted from the feature detection mode to the imaging mode (see the right side of FIG. 4).
  • the imaging mode the mode is returned from the imaging mode to the motion detection mode after a predetermined number of high-resolution image information in which a person is captured is acquired.
  • the mode is not shifted to the imaging mode when the subject in which the motion is detected is not the imaging target. Then, when the movement of the subject is detected in the motion detection mode, the mode is shifted to the imaging mode only when the subject whose motion is detected is the imaging target.
  • the modes are two modes, a motion detection mode and an imaging mode.
  • the mode is immediately shifted to the imaging mode, so that the number of unnecessary transitions to the imaging mode increases and the power consumption (power consumption).
  • power consumption power consumption
  • the mode is changed to the imaging mode only when the subject in which the motion is detected is the imaging target. Will be migrated.
  • the mode can be shifted to the imaging mode only when necessary, so that it is possible to prevent the mode from being unnecessarily shifted to the imaging mode due to erroneous detection.
  • the image information acquired in the feature detection mode has a lower resolution than the image information acquired in the imaging mode, so that the power consumption of the image sensor 10 (particularly, during A / D conversion by the ADC 12) Power consumption) can be reduced. Further, since the image information acquired in the feature detection mode has a higher resolution than the image information acquired in the motion detection mode, it is possible to appropriately determine whether or not the subject whose motion is detected is the imaging target. ..
  • control unit 1 and the like are put into a sleep state in the motion detection mode and the feature detection mode, and are put into an activation state only in the imaging mode.
  • the reference clock generation circuit that supplies the reference clock to the control unit 1 and the like is stopped in the motion detection mode and the feature detection mode, and is activated only in the imaging mode. As a result, the power consumption of the entire image pickup apparatus 100 can be further reduced.
  • the imaging target is an object such as a car that moves at high speed and the imaging target passes near the imaging device 100
  • the imaging in the imaging mode may not be in time. Therefore, when the imaging target is a fast-moving object such as a car (for example, when the vehicle is selected by the user as the imaging target), the medium-resolution image information acquired in the feature detection mode is stored in the storage unit 2. It may be made to be done.
  • the feature detection mode is a mode in which the movement is immediately shifted when the movement of the subject is detected in the motion detection mode, and the resolution of the acquired image information is not so high, so that the image information is acquired.
  • the time is short. Further, in the feature detection mode, it is not necessary to wait for the activation of the control unit or the like as in the imaging mode. Therefore, by storing the image information used for feature detection in the feature detection mode in the storage unit 2, the image information (although the resolution is not so high) of a high-speed moving object such as a car can be appropriately stored.
  • the bit resolution (ADC resolution) at the time of A / D conversion in the ADC 12 may be different.
  • both the resolution of the image information acquired by the pixel array unit 11 and the bit resolution at the time of A / D conversion in the ADC 12 may be different. That is, the "image information resolution” means the resolution of the image information output from the pixel array unit 11 and / or the bit resolution (ADC resolution) of the image information output from the ADC 12.
  • bit resolutions are different, for example, in each mode, image information of the same resolution (although they may be different) is output from the pixel array unit 11.
  • the power consumption of the ADC 12 is the smallest in the motion detection mode, then the feature detection mode, and the largest in the imaging mode. Therefore, in this case, the power consumption in the ADC 12 can be reduced as compared with the case where the image information from the pixel array unit 11 is always A / D converted at a high bit resolution.
  • the bit resolution (ADC resolution) at the time of A / D conversion in the ADC 12 may be different in each mode.
  • Second Embodiment a second embodiment of the present technology will be described.
  • the parts having the same functions and configurations as those of the first embodiment are designated by the same reference numerals, and the description will be omitted or simplified.
  • the feature detection mode is divided into two, a first feature detection mode and a second feature detection mode.
  • the second feature detection mode is a mode in which feature detection is performed in more detail than the first feature detection mode.
  • the first feature detection mode has a resolution relatively higher than the image information used in the motion detection mode, and the resolution is relatively lower than the image information used in the second feature detection mode and the imaging mode.
  • This is a mode in which information is acquired, and is a mode in which the features of the subject are detected based on the image information of this resolution.
  • the image information acquired in the first feature detection mode will be referred to as medium lower resolution image information for convenience.
  • the second feature detection mode is an image having a relatively higher resolution than the image information used in the motion detection mode and the first feature detection mode, and a relatively lower resolution than the image information used in the imaging mode.
  • This is a mode in which information is acquired, and is a mode in which the features of the subject are detected based on the image information of this resolution.
  • the image information acquired in the second feature detection mode will be referred to as medium upper resolution image information for convenience.
  • the feature detection is performed based on the image information having a higher resolution than the image information used in the first feature detection mode, so that the feature detection accuracy is higher than that in the first feature detection mode. Will be higher.
  • FIG. 6 is a block diagram showing the configuration of the image sensor 31 according to the second embodiment.
  • the image sensor 31 according to the second embodiment has basically the same configuration as the image sensor 10 according to the first embodiment, but as a feature detection unit, two feature detection units, that is, a first feature detection unit. 22 and a second feature detection unit 23 are provided. Further, in the second embodiment, the output destination of the switch 24 is branched into four.
  • the pixel array unit 11 outputs image information (low resolution image information) having a resolution of 40 ⁇ 30 px, 32 ⁇ 20 px, 16 ⁇ 5 px, or the like in the motion detection mode. Further, in the first feature detection mode, the pixel array unit 11 has image information (lower resolution image in the middle) having resolutions such as QVGA (Quarter VGA) (320 ⁇ 240 px) and QQVGA (Quarter QVGA) (160 ⁇ 120 px). Information) is output.
  • the pixel array unit 11 has image information (medium upper resolution) having a resolution of VGA (Video Graphics Array) (640 ⁇ 480 px), QVGA (Quarter VGA) (320 ⁇ 240 px), or the like. Image information) is output. Further, in the imaging mode, the pixel array unit 11 has image information (high resolution) having a resolution such as FHD (Full High Definition) (1920 ⁇ 1080), HD (High Definition) (1280 ⁇ 720), VGA (640 ⁇ 480). Image information) is output.
  • FHD Full Definition
  • HD High Definition
  • VGA 640 ⁇ 480
  • the switch 24 outputs the image information (low resolution image information) from the ADC 12 to the motion detection unit 18 in the motion detection mode. Further, the switch 24 outputs the image information (image information having a lower resolution in the middle) from the ADC 12 to the first feature detection unit 22 in the first feature detection mode.
  • the switch 24 outputs the image information (image information of the upper resolution in the middle) from the ADC 12 to the second feature detection unit 23 in the second feature detection mode. Further, the switch 24 outputs the image information (high-resolution image information) from the ADC 12 to the image processing unit 20 in the imaging mode.
  • the first feature detection unit 22 determines whether or not a specific feature has been detected based on the lower resolution image information input from the ADC 12 via the switch 24 in the first feature detection mode. The determination result is output to the mode control unit 16.
  • the first feature detection unit 22 includes a first feature extraction unit 22a and a first feature determination unit 22b.
  • the first feature extraction unit 22a extracts the features of the subject based on the lower resolution image information input from the ADC 12 via the switch 24, and uses the extracted feature information as the first feature determination unit 22b. Output to.
  • the first feature determination unit 22b determines whether or not a specific feature has been detected based on the feature information, and outputs the determination result to the mode control unit 16.
  • the second feature detection unit 23 determines whether or not a specific feature has been detected in the second feature detection mode based on the image information of the upper resolution being input from the ADC 12 via the switch 24. The determination result is output to the mode control unit 16.
  • the second feature detection unit 23 includes a second feature extraction unit 23a and a second feature determination unit 23b.
  • the second feature extraction unit 23a extracts the features of the subject based on the image information of the upper resolution being input from the ADC 12 via the switch 24, and the extracted feature information is used as the second feature determination unit 23b. Output to.
  • the second feature determination unit 23b determines whether or not a specific feature has been detected based on the feature information, and outputs the determination result to the mode control unit 16.
  • FIG. 7 is a flowchart showing the processing of the sensor control unit 15 according to the second embodiment.
  • FIG. 8 is a diagram showing an example of mode transition.
  • the motion extraction unit 18a extracts the motion of the subject from the low-resolution image information (step 201).
  • the motion determination unit 18b determines whether or not the motion of the subject is detected based on the motion information from the motion extraction unit 18a (step 202).
  • the mode control unit 16 shifts the current mode from the motion detection mode to the first feature detection mode (step 203).
  • the first feature extraction unit 22a extracts the feature information of the subject from the image information having a lower resolution in the middle, and outputs this feature information to the first feature determination unit 22b (step). 204).
  • the first feature determination unit 22b determines whether or not a specific feature has been detected based on the feature information (step 205).
  • the first feature determination unit 22b compares the extracted feature information with a recognition model (for example, a recognition model corresponding to a person), and when the feature information and the recognition model match, , It is determined that a specific feature has been detected (YES in step 205). On the other hand, when the feature information and the recognition model do not match, the first feature determination unit 22b determines that a specific feature has not been detected (NO in step 205).
  • a recognition model for example, a recognition model corresponding to a person
  • the mode control unit 16 shifts the current mode from the first feature detection mode to the motion detection mode (NO in step 205). Step 207).
  • the mode control unit 16 changes the current mode from the first feature detection mode to the second feature detection mode. (Step 206).
  • the second feature extraction unit 23a extracts the feature information of the subject from the medium upper resolution image information and outputs this feature information to the second feature determination unit 23b (step). 208).
  • the second feature determination unit 23b determines whether or not a specific feature has been detected based on the feature information (step 209).
  • the second feature determination unit 23b compares the extracted feature information with the recognition model (for example, a recognition model corresponding to a person), and when the feature information and the recognition model match, , It is determined that a specific feature has been detected (YES in step 209). On the other hand, when the feature information and the recognition model do not match, the second feature determination unit 23b determines that a specific feature has not been detected (NO in step 209).
  • the recognition model for example, a recognition model corresponding to a person
  • the recognition model may be the same or different in the first feature detection mode and the second feature detection mode.
  • the recognition model differs between the two modes, for example, in the first feature detection mode, the human whole body recognition model is used (human detection), and in the second feature detection mode, the human face recognition model is used. May be done (face detection).
  • the mode control unit 16 shifts the current mode from the second feature detection mode to the motion detection mode (NO in step 209). Step 211).
  • the mode control unit 16 shifts the current mode from the second feature detection mode to the imaging mode (YES in step 209). Step 210).
  • motion is detected in the motion detection mode, a specific feature is detected in the first feature detection mode, and a specific feature is detected in the second feature detection mode, so that the mode is the imaging mode.
  • the state when it was migrated to is shown.
  • the image processing unit 20 executes various image processing such as demosaic processing on the high-resolution image information input from the ADC 12 via the switch 24, and stores the high-resolution image information after the image processing. Output to unit 2 and display unit 3 (step 212).
  • the mode control unit 16 determines whether or not the number of image information acquired in the imaging mode has reached a predetermined number (step 213).
  • the mode control unit 16 shifts the current mode from the imaging mode to the motion detection mode (step 214).
  • the feature detection mode is set to multiple stages, it is possible to more appropriately prevent the shift to the imaging mode unnecessarily due to erroneous detection.
  • the feature detection mode may be set to three or more stages.
  • the feature detection mode in the latter stage is configured so that the feature can be detected in more detail than the feature detection mode in the previous stage.
  • the second (second stage) feature detection mode is a mode in which feature detection is performed in more detail than the first (previous stage) feature detection mode
  • what method is used for feature detection in these modes ? It may be used.
  • the following examples can be given as a difference between the first feature detection mode and the second feature detection mode.
  • the above-mentioned second embodiment is described in the following 1. Corresponds to the example of.
  • the resolution of the image information (whole image) used for feature detection in the second (second stage) feature detection mode is the resolution of the image information (whole image) used for feature detection in the first (previous stage) feature detection mode. Higher than. 2.
  • the image information used for feature detection in the first (previous stage) feature detection mode is the entire image, and the image information used for feature detection in the second (second stage) feature detection mode is the first (previous stage) feature detection mode.
  • the partial image in the second (posterior) feature detection mode may have a higher resolution than the corresponding portion of the entire image in the first (previous) feature detection mode. 3.
  • the image information used for feature detection in the first (first stage) feature detection mode is a black-and-white image
  • the image information used for feature detection in the second (second stage) feature detection mode is a color image.
  • FIG. 9 is a block diagram showing the configuration of the image sensor 32 according to the third embodiment.
  • the feature detection unit 19 feature detection mode
  • the feature detection unit 19 feature detection mode
  • the motion extraction unit 18a of the motion detection unit 18 extracts the motion of the subject from the image information of the digital signal after the A / D conversion.
  • the motion extraction unit 18a in the motion detection unit 18 is provided in the ADC 12, and the motion extraction unit 18a receives the analog signal from the pixel array unit 11 in the motion detection mode. Extract the movement of the subject from the image information.
  • a mode signal from the mode control unit 16 is input to the motion extraction unit 18a, and the motion extraction unit 18a operates only when the current mode is the motion detection mode.
  • the motion extraction unit 18a extracts motion from low-resolution image information (analog signal) output from the pixel array unit 11 and outputs motion information (analog signal) to the ADC 12.
  • the ADC 12 converts the motion information of the analog signal input from the motion extraction unit 18a into a digital signal, and outputs the motion information of this digital signal to the motion determination unit 18b via the switch 21. do.
  • the motion determination unit 18b determines whether or not the motion is detected based on the motion information of the digital signal.
  • the image information itself is A / D converted in the ADC 12 in the motion detection mode.
  • the motion information is A / D converted, not the image information itself, in the motion detection mode. Therefore, since the amount of data to be A / D converted in the ADC 12 is smaller than that in the first embodiment or the like, the power consumption in the ADC 12 can be further reduced. Further, when the motion information is A / D converted, the A / D conversion can be performed with a smaller bit resolution than when the entire image information is A / D converted, and from this point as well, the power consumption in the ADC 12 can be reduced. Can be done.
  • the motion of the subject in the motion detection mode, is extracted based on the image information of the digital signal.
  • the motion of the subject is extracted based on the image information of the analog signal.
  • FIG. 10 is a block diagram showing the configuration of the image sensor 33 according to the fourth embodiment.
  • the feature extraction unit 19a of the feature detection unit 19 is provided in the ADC 12, and the feature extraction unit 19a is the subject from the image information of the analog signal from the pixel array unit 11 in the feature detection mode. Extract features.
  • a mode signal from the mode control unit 16 is input to the feature extraction unit 19a, and the feature extraction unit 19a operates only when the current mode is the feature extraction mode.
  • the feature extraction unit 19a extracts the features of the subject from the medium-resolution image information (analog signal) output from the pixel array unit 11 and outputs the feature information (analog signal) to the ADC 12.
  • the ADC 12 converts the feature information of the analog signal input from the feature extraction unit 19a into a digital signal, and outputs the feature information of this digital signal to the feature determination unit 19b via the switch 21.
  • the feature determination unit 19b determines whether or not motion is detected based on the feature information of the digital signal.
  • the feature information is A / D converted, not the image information itself, in the feature detection mode. Therefore, since the amount of data to be A / D converted in the ADC 12 is smaller than that in the first embodiment or the like, the power consumption in the ADC 12 can be further reduced. Further, when the feature information is A / D converted, A / D conversion can be performed with a smaller bit resolution than when the entire image information is A / D converted, and from this point as well, the power consumption in the ADC 12 can be reduced. Can be done.
  • the accuracy of feature extraction is lower than that of the first embodiment and the like, but the power consumption in the ADC 12 can be reduced. can.
  • the power consumption in the ADC 12 is higher than that in the fourth embodiment, but the accuracy of the feature extraction (feature detection) is improved. Can be improved.
  • the configuration as in the fourth embodiment is adopted.
  • the accuracy of feature extraction (feature detection) is prioritized, a configuration such as that of the first embodiment is adopted.
  • FIG. 11 is a block diagram showing an image sensor 34 according to the fifth embodiment.
  • the fifth embodiment is, so to speak, a combination of the third embodiment and the fourth embodiment. That is, in the fifth embodiment, both the motion extraction unit 18a in the motion detection unit 18 and the feature extraction unit 19a in the feature detection unit 19 are provided in the ADC 12.
  • the image information itself but the motion information and the feature information are A / D converted in the ADC 12, so that the power consumption in the ADC can be further reduced.
  • FIG. 12 is a block diagram showing the configuration of the image pickup apparatus 101 according to the sixth embodiment.
  • a DSP circuit 7 DSP: Digital Signal Processor
  • An ISP circuit or the like ISP: Image Signal Processor may be used instead of the DSP circuit 7.
  • FIG. 13 is a block diagram showing the configurations of the image sensor 35 and the DSP circuit 7.
  • the feature determination unit 19b in the feature detection unit 19 is provided in the DSP circuit 7. That is, in the sixth embodiment, the feature determination unit 19b is provided outside the image sensor 35.
  • the feature determination unit 19b is provided in the DSP circuit 7 specially provided in the image pickup apparatus 101.
  • the feature determination process is more complicated than the other processes. Because it is.
  • the feature extraction unit 19a of the feature detection unit 19 extracts the feature of the subject from the medium-resolution image information input from the ADC 12. Then, the feature extraction unit 19a outputs the feature information to the feature determination unit 19b in the DSP circuit 7.
  • the DSP circuit 7 is activated only in the feature detection mode, for example.
  • the feature determination unit 19b in the DSP circuit 7 determines whether or not a specific feature has been detected based on the feature information, and outputs the determination result to the mode control unit 16 in the image sensor 35.
  • the feature determination unit 19b since the feature determination unit 19b is provided in the DSP circuit 7 specially provided outside the image sensor 35, the accuracy of the feature determination (feature detection) is improved as compared with the first embodiment and the like. Can be improved.
  • the feature determination unit 19b when the feature determination unit 19b is provided inside the image sensor 10 as in the first embodiment, there is an advantage that the time required for feature determination (feature detection) is shorter than that in the sixth embodiment. (For example, there is no need to activate the DPS circuit, there is no communication time between the DSP circuit 7 and the image sensor 35, and so on).
  • the feature determination unit 19b when the feature determination unit 19b is provided inside the image sensor 10 as in the first embodiment, there is an advantage that the power consumption is reduced as compared with the sixth embodiment (DSP circuit 7). Because it doesn't need power to supply).
  • the feature determination unit 19b when the feature determination unit 19b is provided in the DSP circuit 7 as in the sixth embodiment, the time required for the feature determination (feature detection) becomes longer and the power consumption increases as compared with the first embodiment and the like. However, the accuracy of feature determination (feature detection) can be improved. On the other hand, when the feature determination unit 19b is provided in the image sensor 10 as in the first embodiment, the accuracy of the feature determination (feature detection) is lower than that in the sixth embodiment, but the feature determination (feature detection). It is possible to shorten the time required for the operation and reduce the power consumption.
  • the configuration as in the sixth embodiment is adopted, and when the shortening of the feature determination and the reduction of the power consumption are prioritized, the third embodiment is adopted.
  • the configuration as in one embodiment is adopted.
  • the image processing unit 20 may be provided in the DSP circuit 7.
  • the motion extraction unit 18a and the feature extraction unit 19a perform motion extraction and feature extraction from the image information of the digital signal.
  • the motion extraction unit 18a Alternatively, at least one of the feature extraction units 19a may perform motion extraction and feature extraction from the image information of the analog signal.
  • the present technology can also adopt the following configurations.
  • the mode control unit is an imaging device that shifts the mode to the motion detection mode when the specific feature is not detected in the feature detection mode.
  • the mode control unit is an imaging device that shifts the mode to the motion detection mode when a predetermined number of image information is acquired in the imaging mode.
  • the feature detection mode is an imaging device including a first feature detection mode and a second feature detection mode in which feature detection is performed in more detail than the first feature detection mode.
  • An image pickup device in which the resolution of image information used for feature detection in the second feature detection mode is higher than the resolution of image information used for feature detection in the first feature detection mode.
  • the image information used for feature detection in the first feature detection mode is an entire image
  • the image information used for feature detection in the second feature detection mode is feature detection in the first feature detection mode.
  • An image pickup device that is a partial image corresponding to a part.
  • the partial image is an image pickup device having a higher resolution than the whole image.
  • the mode control unit shifts the mode to the first feature detection mode, and when a specific feature is detected in the first feature detection mode, the second feature is detected.
  • An imaging device that shifts the mode to the feature detection mode of the above, and shifts the mode to the imaging mode when a specific feature is detected in the second feature detection mode. (9) The imaging device according to (8) above.
  • the mode control unit shifts the mode to the motion detection mode, and the specific feature is not detected in the second feature detection mode.
  • An image pickup device that shifts the mode to the motion detection mode when the mode is changed.
  • the motion extraction unit is an imaging device that extracts the motion from image information of an analog signal.
  • the motion extraction unit is an imaging device that extracts the motion from image information of a digital signal. (13) The imaging device according to any one of (1) to (12) above.
  • An imaging device further comprising a feature extraction unit that extracts the feature from the image information in the feature detection mode.
  • the feature extraction unit is an imaging device that extracts the features from the image information of an analog signal.
  • the feature extraction unit is an imaging device that extracts the features from image information of a digital signal.
  • An image sensor including a pixel array unit for obtaining the image information is provided.
  • a motion extraction unit that extracts motion from the image information and In the motion detection mode, a motion determination unit that determines whether or not the motion is detected based on the motion extracted by the motion extraction unit, and a motion determination unit.
  • An imaging device provided with a feature extraction unit that extracts features from the image information in the feature detection mode. (17) The imaging device according to (16) above.
  • An imaging device provided outside the image sensor with a feature determination unit that determines whether or not the specific feature is detected based on the feature extracted by the feature extraction unit in the feature detection mode.
  • shift the mode An imaging control method for shifting the mode to an imaging mode for acquiring image information having a higher resolution than the image information used for the feature detection when a specific feature is detected in the feature detection mode.
  • the feature detection mode for detecting features based on image information when the motion is detected, the feature detection mode for detecting features based on image information having a higher resolution than the image information used for motion detection.
  • a program that causes a computer to execute a process of shifting the mode to an imaging mode for acquiring image information having a higher resolution than the image information used for the feature detection when a specific feature is detected in the feature detection mode.

Abstract

本技術に係る撮像装置は、モード制御部を具備する。前記モード制御部は、画像情報に基づいて動きを検出する動き検出モードにおいて、前記動きが検出されたとき、動き検出に用いられる画像情報よりも解像度が高い画像情報に基づいて特徴を検出する特徴検出モードへとモードを移行させ、前記特徴検出モードにおいて、特定の特徴が検出されたとき、前記特徴検出に用いられる画像情報よりも解像度が高い画像情報を取得する撮像モードへと前記モードを移行させる。

Description

撮像装置、撮像制御方法及びプログラム
　本技術は、例えば、監視カメラなどに用いられる撮像装置に関する。
　従来から防犯、交通などの分野において、監視カメラが広く用いられている。監視カメラは、基本的に常時駆動する必要があるので、常に高解像度での画像の撮像を行うと、消費電力が大きくなってしまうといった問題がある。
　このような問題に関連する技術として下記特許文献１が挙げられる。下記特許文献１に記載の技術では、画素加算モード及び通常モードの移行が制御される。
　画素加算モードでは、画素加算による低解像度の画像が取得されてこの画像に基づいて被写体の動き（イベント）が検出される。画素加算モードにおいて、被写体の動きが検出されたとき、モードが通常モードに移行される。通常モードでは、画素加算によらない高解像度での画像の撮像が行われる。通常モードにおいて所定枚数の画像の撮像が行われた後、モードが画素加算モードに移行される。
特開２０１８－２２９３５号公報
　しかしながら、特許文献１における技術の場合、動き検出において誤検出が生じた場合にも通常モードに移行してしまうため、不必要に通常モードへ移行する回数が多くなり、消費電力の低減に限界があった。
　以上のような事情に鑑み、本技術の目的は、適切に消費電力を低減させることが可能な撮像装置等の技術を提供することにある。
　本技術に係る撮像装置は、モード制御部を具備する。
　前記モード制御部は、画像情報に基づいて動きを検出する動き検出モードにおいて、前記動きが検出されたとき、動き検出に用いられる画像情報よりも解像度が高い画像情報に基づいて特徴を検出する特徴検出モードへとモードを移行させ、
　前記特徴検出モードにおいて、特定の特徴が検出されたとき、前記特徴検出に用いられる画像情報よりも解像度が高い画像情報を取得する撮像モードへと前記モードを移行させる。
　本技術では、動き検出モード及び撮像モードの間に特徴検出モードが介在されているので、不必要に撮像モードへ移行してしまうことを防止することができ、撮像装置の消費電を適切に低減させることができる。
　上記撮像装置において、前記モード制御部は、前記特徴検出モードにおいて、前記特定の特徴が検出されなかったとき、前記動き検出モードへと前記モードを移行させてもよい。
　上記撮像装置において、前記モード制御部は、前記撮像モードにおいて、既定枚数の画像情報を取得したとき、前記動き検出モードへと前記モードを移行させてもよい。
　上記撮像装置において、前記特徴検出モードは、第１の特徴検出モードと、前記第１の特徴検出モードよりも詳細に特徴検出を行う第２の特徴検出モードとを含んでいてもよい。
　上記撮像装置において、前記第２の特徴検出モードの特徴検出に用いられる画像情報の解像度は、前記第１の特徴検出モードの特徴検出に用いられる画像情報の解像度よりも高くてもよい。
　上記撮像装置において、前記第１の特徴検出モードの特徴検出に用いられる画像情報は全体画像であり、前記第２の特徴検出モードの特徴検出に用いられる画像情報は、前記第１の特徴検出モードにおいて特徴検出された部分に対応する部分画像であってもよい。
　前記部分画像は、前記全体画像よりも解像度が高くてもよい。
　上記撮像装置において、前記モード制御部は、前記動き検出モードにおいて動きが検出されたとき、前記第１の特徴検出モードへモードを移行させ、前記第１の特徴検出モードにおいて特定の特徴が検出されたとき前記第２の特徴検出モードへとモードを移行させ、前記第２の特徴検出モードにおいて特定の特徴が検出されたとき前記撮像モードへモードを移行させてもよい。
　上記撮像装置において、前記モード制御部は、前記第１の特徴検出モードにおいて特定の特徴が検出されなかったとき、前記動き検出モードへとモードを移行させ、前記第２の特徴検出モードにおいて特定の特徴が検出されなかったとき、前記動き検出モードへとモードを移行させてもよい。
　上記撮像装置において、前記動き検出モードにおいて前記画像情報から前記動きを抽出する動き抽出部をさらに具備していてもよい。
　上記撮像装置において、前記動き抽出部は、アナログ信号の画像情報から前記動きを抽出してもよい。
　上記撮像装置において、前記動き抽出部は、デジタル信号の画像情報から前記動きを抽出してもよい。
　上記撮像装置において、前記特徴検出モードにおいて前記画像情報から前記特徴を抽出する特徴抽出部をさらに具備していてもよい。
　上記撮像装置において、前記特徴抽出部は、アナログ信号の画像情報から前記特徴を抽出してもよい。
　上記撮像装置において、前記特徴抽出部は、デジタル信号の画像情報から前記特徴を抽出してもよい。
　上記撮像装置において、前記画像情報を得る画素アレイ部を含むイメージセンサを具備し、
　前記イメージセンサの内部に、
　前記モード制御部と、
　前記動き検出モードにおいて、前記画像情報から動きを抽出する動き抽出部と、
　前記動き検出モードにおいて、前記動き抽出部により抽出された動きに基づいて前記動きが検出されたかどうかを判定する動き判定部と、
　前記特徴検出モードにおいて前記画像情報から特徴を抽出する特徴抽出部と
　が設けられていてもよい。
　上記撮像装置において、前記イメージセンサの内部に、前記特徴検出モードにおいて、前記特徴抽出部により抽出された特徴に基づいて前記特定の特徴が検出されたかどうかを判定する特徴判定部が設けられていてもよい。
　上記撮像装置において、前記イメージセンサの外部に、前記特徴検出モードにおいて、前記特徴抽出部により抽出された特徴に基づいて前記特定の特徴が検出されたかどうかを判定する特徴判定部が設けられていてもよい。
　本技術に係る撮像制御方法は、
　画像情報に基づいて動きを検出する動き検出モードにおいて、前記動きが検出されたとき、動き検出に用いられる画像情報よりも解像度が高い画像情報に基づいて特徴を検出する特徴検出モードへとモードを移行させ、
　前記特徴検出モードにおいて、特定の特徴が検出されたとき、前記特徴検出に用いられる画像情報よりも解像度が高い画像情報を取得する撮像モードへと前記モードを移行させることを含む。
　本技術に係るプログラムは、画像情報に基づいて動きを検出する動き検出モードにおいて、前記動きが検出されたとき、動き検出に用いられる画像情報よりも解像度が高い画像情報に基づいて特徴を検出する特徴検出モードへとモードを移行させ、
　前記特徴検出モードにおいて、特定の特徴が検出されたとき、前記特徴検出に用いられる画像情報よりも解像度が高い画像情報を取得する撮像モードへと前記モードを移行させる
　処理をコンピュータに実行させる。
第１実施形態に係る撮像装置の構成を示すブロック図である。 第１実施形態に係るイメージセンサの構成を示すブロック図である。 センサ制御部の処理を示すフローチャートである。 モードの移行における一例を示す図である。 画素アレイ部において各モードで取得される画像情報の解像度を示す図である。 第２実施形態に係るイメージセンサの構成を示すブロック図である。 第２実施形態に係るセンサ制御部の処理を示すフローチャートである。 モードの移行における一例を示す図である。 第３実施形態に係るイメージセンサの構成を示すブロック図である。 第４実施形態に係るイメージセンサの構成を示すブロック図である。 第５実施形態に係るイメージセンサを示すブロック図である。 第６実施形態に係る撮像装置の構成を示すブロック図である。 イメージセンサ及びＤＳＰ回路の構成を示すブロック図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
　≪第１実施形態≫
　＜撮像装置１００の全体構成及び各部の構成＞
　図１は、撮像装置１００の構成を示すブロック図である。この撮像装置１００は、例えば、監視カメラであり、一定の場所に設置されて使用される。
　図１に示すように、撮像装置１００は、イメージセンサ１０、制御部１、記憶部２、表示部３、操作部４及び通信部５を備えている。これらの各部は、バス６を介して互いに電気的に接続されている。
　イメージセンサ１０は、例えば、ＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complemented Metal Oxide Semiconductor）センサ等の固体撮像素子（画素アレイ部１１）を有している。また、イメージセンサ１０は、複数のレンズ、絞り、シャッター等を含む光学系を有している。イメージセンサ１０は、必要に応じて取得した画像情報を記憶部２及び表示部３に出力する。なお、イメージセンサ１０の詳細な構成については、図２を参照して後述する。
　制御部１は、例えば、ＣＰＵ（Central Processing Unit）等により構成されている。この制御部１は、記憶部２に記憶された各種のプログラムに基づき種々の演算を実行し、撮像装置１００の各部を統括的に制御する。
　記憶部２は、制御部１の処理に必要な各種のプログラムや、イメージセンサ１０により取得された画像情報が記憶される不揮発性のメモリと、制御部１の作業領域として用いられる揮発性のメモリとを含む。なお、上記各種のプログラムは、光ディスク、半導体メモリなどの可搬性の記録媒体から読み取られてもよいし、ネットワーク上のサーバ装置からダウンロードされてもよい。
　表示部３は、例えば、液晶ディスプレイや、ＥＬ（Electro-Luminescence）ディスプレイ等により構成されている。表示部３は、制御部１の制御に基づき、必要に応じて画面上にイメージセンサ１０により取得された画像情報を表示させる。
　操作部４は、押しボタン式、近接式等の各種の操作部であり、ユーザによる操作を検出して制御部１へと出力する。
　通信部５は、有線又は無線により外部機器との間で通信を行う。なお、撮像装置１００と通信を行う外部機器としては、例えば、携帯電話機（スマートフォンを含む）、ＰＣ（Personal computer）、ネットワーク上のサーバ装置などが挙げられる。
　なお、図１に示す例では、同一の装置内に、イメージセンサ１０、制御部１、記憶部２、表示部３、操作部４が設けられているが、これらの各部が複数の装置に分散して設けられていてよい。この場合、例えば、イメージセンサ１０が撮像装置１００に設けられ、それ以外の各部（制御部１、記憶部２、操作部４等）が別体の装置に設けられる。
　つまり、撮像装置１００は、少なくともイメージセンサ１０を備えていればよい。撮像装置１００とは別体の装置は、専用の装置であってもよいし、汎用の装置であってもよい。別体の装置が汎用の装置である場合、別体の装置は、携帯電話機（スマートフォンを含む）、ＰＣ、ネットワーク上のサーバ装置などであってもよい。
＜イメージセンサ１０＞
　図２は、イメージセンサ１０の構成を示すブロック図である。図２に示すように、イメージセンサ１０は、画素アレイ部１１、ＡＤＣ１２（ＡＤＣ：Analog to Digital Converter）、行走査回路１３、列走査回路１４及びセンサ制御部１５を有している。センサ制御部１５は、モード制御部１６、タイミング制御部１７、動き検出部１８、特徴検出部１９、画像処理部２０及びスイッチ２１を有している。
　ここで、本実施形態においては、動き検出モード、特徴検出モード、撮像モードの３つのモードが用意されている。この３つのモードは、モード制御部１６の制御により移行される。
　動き検出モードは、特徴検出モード及び撮像モードで用いられる画像情報よりも解像度が相対的に低い画像情報が取得されるモードであり、この低い解像度の画像情報に基づいて被写体の動きが検出されるモードである。なお、以降の説明では、動き検出モードにおいて取得される画像情報を、便宜的に低解像度の画像情報と呼ぶ。
　特徴検出モードは、動き検出モードで用いられる画像情報よりも解像度が相対的に高く、かつ、撮像モードで用いられる画像情報よりも解像度が相対的に低い画像情報が取得されるモードであり、この解像度の画像情報に基づいて被写体の特徴が検出されるモードである。なお、以降の説明では、特徴検出モードにおいて取得される画像情報を、便宜的に中解像度の画像情報と呼ぶ。
　撮像モードは、動き検出モード及び特徴検出モードで用いられる画像情報よりも解像度が相対的に高い画像情報が取得されて撮像が行われるモードである。なお、以降の説明では、撮像モードにおいて取得される画像情報を、便宜的に高解像度の画像情報と呼ぶ。
　画素アレイ部１１は、２次元格子状に配列された複数の画素を有している。各画素は、レンズ等の光学系を介して入射された光を光電変換し、光の強度に応じた電荷情報を生成する。画素アレイ部１１は、複数の画素により光電変換を行ってアナログ信号の画像情報を生成し、生成されたアナログ信号の画像情報をＡＤＣ１２に出力する。
　図５は、画素アレイ部１１において各モードで取得される画像情報の解像度を示す図である。
　動き検出モードでは、例えば、画素アレイ部１１における複数画素（例えば、１６×１６＝２５６画素、３２×３２＝１０２４画素等）が１つのブロックとされる。
　そして、動き検出モードでは、このブロック毎に電荷情報が読み出されて画像情報が取得される（ビニング技術）。なお、動き検出モードにおいて、各ブロック内の任意の１つの画素の電荷情報が各ブロックからそれぞれ読み出されて画像情報が取得されてもよい（ランダムサンプリング技術）。
　動き検出モードにおける画像情報の解像度は、例えば、４０×３０ｐｘ、３２×２０ｐｘ、１６×５ｐｘ等とされる。
　特徴検出モードにおいても、動き検出モードと同様に、画素アレイ部１１における複数画素（例えば、２×２＝４画素、４×４＝１６画素等）が１つのブロックとされる。なお、特徴検出モードにおける１つのブロック単位に含まれる画素数は、動き検出モードにおける１つのブロック単位に含まれる画素数よりも少なく設定される。
　そして、特徴検出モードでは、このブロック毎に電荷情報が読み出されて画像情報が取得される（ビニング技術）。なお、特徴検出モードにおいて、各ブロック内の任意の１つの画素の電荷情報が各ブロックからそれぞれ読み出されて画像情報が取得されてもよい（ランダムサンプリング技術）。
　この特徴検出モードにおける画像情報の解像度は、例えば、ＶＧＡ（Video Graphics Array）（６４０×４８０ｐｘ）、ＱＶＧＡ（Quarter VGA）（３２０×２４０ｐｘ）、ＱＱＶＧＡ（（Quarter QVGA）（１６０×１２０ｐｘ）等に対応する。
　撮像モードでは、例えば、画素アレイ部１１における１画素毎に電荷情報が読み出されて画像情報が取得される。この撮像モードにおける画像情報の解像度は、例えば、ＦＨＤ（Full High Definition）（１９２０×１０８０）、ＨＤ（High Definition）（１２８０×７２０）、ＶＧＡ（６４０×４８０）等に対応する。
　行走査回路１３は、画素アレイ部１１における各画素を駆動して画素アレイ部１１にアナログ信号の画像情報を取得させる。行走査回路１３には、モード制御部１６から、現在のモードが３つのモードのうちどのモードであるかを示すモード信号が入力される。
　行走査回路１３は、動き検出モードにおいて、画素アレイ部１１を制御して１ブロック毎の解像度の画像情報（つまり、低解像度の画像情報）を生成させる。また、行走査回路１３は、画素アレイ部１１を制御して１ブロック毎（動き検出モードでの１ブロックに含まれる画素数よりも少ない）の解像度の画像情報（つまり、中解像度の画像情報）を生成させる。また、行走査回路１３は、撮像モードにおいて、画素アレイ部１１を制御して１画素毎の解像度の画像情報（つまり、高解像度の画像情報）を生成させる。
　ＡＤＣ１２は、画素アレイ部１１から入力されたアナログ信号の画像情報を、クロック信号に同期してデジタル信号の画像情報へ変換する。そして、ＡＤＣ１２は、生成されたデジタル信号の画像情報をスイッチ２１へと出力する。
　ここで、ＡＤＣ１２は、動き検出モードにおいて、低解像度の画像情報をＡ／Ｄ変換し、特徴検出モードにおいて、中解像度の画像情報をＡ／Ｄ変換する。また、ＡＣＤは、撮像モードにおいて、高解像度の画像情報をＡ／Ｄ変換する。
　従って、ＡＤＣ１２においてＡ／Ｄ変換する必要があるデータ量は、動き検出モードが最も小さく、次に特徴検出モードが小さく、撮像モードが最も大きくなる。従って、ＡＤＣ１２における消費電力は、動き検出モードが最も小さく、次に特徴検出モードが小さく、撮像モードが最も大きくなる。
　従って、常時、画素アレイ部１１が高解像度の画像情報を取得してＡＣＤがこの高解像度の画像情報をＡ／Ｄ変換する場合に比べて、ＡＤＣ１２における消費電力を低減することができる。
　列走査回路１４は、ＡＤＣ１２を制御してデジタル信号の画像情報をスイッチ２１へと出力させる。
　センサ制御部１５は、例えば、プログラムに基づいて、イメージセンサ１０の各部を統括的に制御する。なお、センサ制御部１５（特に、モード制御部１６、動き検出部１８、特徴検出部１９）の具体的な処理については、図３を参照して後に詳述する。
　タイミング制御部１７は、行走査回路１３、ＡＤＣ１２及び列走査タイミングの動作タイミングを制御する。このタイミング制御部１７には、所定の周波数（例えば、３０Ｈｚ等）の垂直同期信号が入力される。
　タイミング制御部１７は、垂直同期信号に同期して、行走査回路１３、ＡＤＣ１２及び列走査回路１４のそれぞれの動作タイミングを示すタイミング信号を生成し、対応するタイミング信号を各部に出力する。
　スイッチ２１は、モード制御部１６から入力されるモード信号に基づいて、ＡＤＣ１２から出力された画像情報の出力先を切り替える。
　スイッチ２１は、動き検出モードにおいて、ＡＤＣ１２からの画像情報（低解像度の画像情報）を動き検出部１８に出力する。また、スイッチ２１は、特徴検出モードにおいて、ＡＤＣ１２からの画像情報（中解像度の画像情報）を特徴検出部１９に出力する。また、スイッチ２１は、撮像モードにおいて、ＡＤＣ１２からの画像情報（高解像度の画像情報）を画像処理部２０へと出力する。
　動き検出部１８は、動き検出モードにおいて、ＡＤＣ１２からスイッチ２１を介して入力される低解像度の画像情報に基づいて、被写体の動きが検出されたかどうかを判定し、判定結果をモード制御部１６へと出力する。
　動き検出部１８は、動き抽出部１８ａと動き判定部１８ｂとを含む。動き抽出部１８ａは、ＡＤＣ１２からスイッチ２１を介して入力される低解像度の画像情報に基づいて、被写体の動きを抽出し、抽出された動きの情報を動き判定部１８ｂへと出力する。動き判定部１８ｂは、動きの情報に基づいて動きが検出されたかどうかを判定し、判定結果をモード制御部１６へと出力する。
　特徴検出部１９は、特徴検出モードにおいて、ＡＤＣ１２からスイッチ２１を介して入力される中解像度の画像情報に基づいて、特定の特徴が検出されたかどうかを判定し、判定結果をモード制御部１６へと出力する。
　特徴検出部１９は、特徴抽出部１９ａと特徴判定部１９ｂとを含む。特徴抽出部１９ａは、ＡＤＣ１２からスイッチ２１を介して入力される中解像度の画像情報に基づいて、被写体の特徴を抽出し、抽出された特徴情報を特徴判定部１９ｂへと出力する。特徴判定部１９ｂは、特徴情報に基づいて、特定の特徴が検出されたかどうかを判定し、判定結果をモード制御部１６へと出力する。
　画像処理部２０は、撮像モードにおいて、ＡＤＣ１２からスイッチ２１を介して入力される高解像度の画像情報に対して、デモザイク処理、ホワイトバランス処理、フィルタ処理等の各種の画像処理を実行する。そして、画像処理部２０は、画像処理後の高解像度の画像情報を記憶部２及び表示部３に対して出力する。
　モード制御部１６は、動き検出部１８から入力される判定結果、及び特徴検出部１９から入力される判定結果に基づいて、動き検出モード、特徴検出モード及び撮像モードにおける３つのモードの移行を制御する。また、モード制御部１６は、モードが移行されたとき、移行先のモードを示す（現在のモードを示す）モード信号を行走査回路１３及びスイッチ２１へと出力する。
　後述の図４を参照して、典型的には、モード制御部１６は、動き検出モードにおいて被写体の動きが検出されたとき、モードを動き検出モードから特徴検出モードへ移行させる。また、モード制御部１６は、特徴検出モードにおいて特定の特徴（撮像対象に対応する特徴）が検出されたとき、モードを特徴検出モードから撮像モードへ移行させる。一方、モード制御部１６は、特徴検出モードにおいて特定の特徴が検出されなかったとき、モードを特徴検出モードから動き検出モードへ移行させる。また、モード制御部１６は、撮像モードにおいて、既定枚数の画像情報が取得されたとき、モードを撮像モードから動き検出モードへ移行させる。
　ここで、本実施形態では、イメージセンサ１０は、モードに関係なく起動状態とされているが、制御部１、記憶部２、表示部３、通信部５等（以下、制御部１等）は、一部のモードにおいてスリープ状態とされている。つまり、制御部１等は、動き検出モード及び特徴検出モードにおいてスリープ状態とされ、撮像モードでのみ起動状態とされる。なお、操作部４介したユーザからの入力があった場合には、例外的に制御部１等はモードに関係なく起動状態とされる。
　モード制御部１６は、モードが特徴検出モードから撮像モードへ移行されたとき、制御部１等をスリープ状態から起動させる。また、このとき、モード制御部１６は、制御部１等に基準クロックを供給する基準クロック生成回路（不図示）も起動させる。
　また、モード制御部１６は、モードが撮像モードから動き検出モードへ移行されたとき、制御部１等を起動状態からスリープ状態とさせる。また、このとき、モード制御部１６は、制御部１等に基準クロックを供給する基準クロック生成回路（不図示）も停止させる。
　本実施形態では、制御部１等や、基準クロック生成回路を必要なタイミング（撮像モード）でのみ起動させることで、撮像装置１００全体の省電力化が可能とされている。
　＜動作説明＞
　次に、センサ制御部１５（特に、モード制御部１６、動き検出部１８、特徴検出部１９）の処理について説明する。図３は、センサ制御部１５の処理を示すフローチャートである。図４は、モードの移行における一例を示す図である。
　図３の説明では、最初に現在のモードが動き検出モードに設定されているとする。動き検出モードでは、画素アレイ部１１から低解像度の画像情報が出力されて、この画像情報がＡＤＣ１２によりＡ／Ｄ変換される（ＡＤＣの消費電力が相対的に低）。そして、デジタル信号とされた低解像度の画像情報がスイッチ２１を介して動き検出部１８の動き抽出部１８ａへと入力される。
　動き抽出部１８ａは、低解像度の画像情報が入力されると、この画像情報から被写体の動きを抽出する（ステップ１０１）。このとき、例えば、動き抽出部１８ａは、画像情報に含まれる１ブロック毎の電荷情報（輝度情報）を積算して積算情報を生成する。そして、動き抽出部１８ａは、今回の画像情報に基づく積算情報と、前回の画像情報に基づく積算情報との差分を動きの情報として抽出し、この動きの情報（差分）を動き判定部１８ｂへと出力する。
　動き検出部１８の動き判定部１８ｂは、動き抽出部１８ａから動きの情報（差分）が入力されると、この動きの情報に基づいて、被写体の動きが検出されたかどうかを判定する（ステップ１０２）。
　例えば、動き判定部１８ｂは、上記差分と所定の閾値とを比較し、差分が閾値を超えた場合に被写体の動きが検出されたと判定する（ステップ１０２のＹＥＳ）。一方、動き判定部１８ｂは、差分が閾値以下である場合には被写体の動きが検出されなかったと判定する（ステップ１０２のＮＯ）。そして、動き判定部１８ｂは、動きが検出されたかどうかの判定結果をモード制御部１６へと出力する。
　被写体の動きが検出されなかった場合（ステップ１０２のＮＯ）、モードは、動き検出モードのままであり、処理がステップ１０１に戻る。一方、被写体の動きが検出された場合（ステップ１０２のＹＥＳ）、モード制御部１６は、現在のモードを、動き検出モードから特徴検出モードへと移行させる（ステップ１０３）。このとき、モード制御部１６は、現在のモードが特徴検出モードであることを示すモード信号を行走査回路１３及びスイッチ２１へと出力する。
　行走査回路１３は、特徴検出モードを示すモード信号が入力されると、画素アレイ部１１を制御して画素アレイ部１１に中解像度の画像情報を取得させる。また、スイッチ２１は、特徴検出モードを示すモード信号が入力されると、ＡＤＣ１２からの画像情報の出力先を動き検出部１８（動き抽出部１８ａ）から特徴検出部１９（特徴抽出部１９ａ）へと切り替える。
　従って、特徴検出モードでは、画素アレイ部１１から中解像度の画像情報が出力されて、この画像情報がＡＤＣ１２によりＡ／Ｄ変換される（ＡＤＣの消費電力が相対的に中）。そして、デジタル信号とされた中解像度の画像情報がスイッチ２１を介して特徴検出部１９の特徴抽出部１９ａへと入力される。
　特徴抽出部１９ａは、中解像度の画像情報が入力されると、この画像情報から被写体の特徴情報（特徴点群の情報、エッジの情報、距離情報、偏光情報、分光情報等）を抽出し、この特徴情報を特徴判定部１９ｂへと出力する（ステップ１０４）。
　なお、特徴抽出部１９ａは、画像情報の全体から特徴情報を抽出してもよいし、画像情報における特定の部分から特徴情報を抽出してもよい。つまり、特徴検出モードでは、動き検出において既に動きがあった箇所が特定されているので、この動きがあった箇所に対応する部分から部分的に特徴情報を抽出することもできる。この場合、イメージセンサ１０における消費電力をさらに低減させることができる。
　特徴検出部１９の特徴判定部１９ｂは、特徴抽出部１９ａから特徴情報が入力されると、この特徴情報に基づいて、特定の特徴が検出されたかどうかを判定する（ステップ１０５）。
　この場合、例えば、特徴判定部１９ｂは、抽出された特徴情報と、認識モデルとを比較し、特徴情報と認識モデルとが一致した場合には、特定の特徴が検出されたと判定する（ステップ１０５のＹＥＳ）。一方、特徴判定部１９ｂは、特徴情報と認識モデルとが不一致である場合には、特定の特徴が検出されなかったと判定する（ステップ１０５のＮＯ）。そして、特徴判定部１９ｂは、特定の特徴が検出されたかどうかの判定結果をモード制御部１６へと出力する。
　認識モデルは、撮像対象として想定されている被写体（例えば、人、動物、車など）に対応するモデルであり、予め特徴判定部１９ｂに記憶されている。
　ここで、例えば、人が撮像対象として想定されている場合には、特徴判定部１９ｂは、抽出された特徴情報と、人の全身を示す認識モデル、人の顔を示す認識モデルとを比較して特定の特徴が検出されたかどうかを判定する（人検出、顔検出）。
　また、猫や犬などの動物が撮像対象とされている場合には、特徴判定部１９ｂは、抽出された特徴情報と、動物の全身を示す認識モデル、動物の顔を示す認識モデルとを比較して特定の特徴が検出されたどうかを判定する（動物検出、動物の顔検出）。また、特徴判定部１９ｂは、車が撮像対象として想定されている場合には、抽出された特徴情報と、車の全体を示す認識モデル、車の一部を示す認識モデルとを比較して特定の特徴が検出されたかどうかを判定する（車検出、部分検出）。
　なお、複数種類の被写体が撮像対象とされる場合には、特徴判定部１９ｂは、特徴情報と、それぞれの対応する認識モデルとの比較を行って、特定の特徴が検出されたかどうかを判定する。例えば、人及び車が撮像対象である場合、特徴判定部１９ｂは、抽出された特徴情報と、人の全身を示す認識モデル、人の顔を示す認識モデル、車の全体を示す認識モデル、車の各部を示す認識モデルとを比較して特定の特徴が検出されたかどうかを判定する。
　なお、予め用意された複数種類の撮像対象の中から必要な撮像対象をユーザが操作部４を介して選択可能であってもよい。例えば、予め、人、動物、車等の各種類の撮像対象が用意され、ユーザがこれらの中から必要な撮像対象として人を選択したとする。この場合、特徴判定部１９ｂは、特徴情報と、人の全身を示す認識モデル、人の顔を示す認識モデルとを比較して特定の特徴が検出されたかどうかを判定する。
　特徴検出モードにおいて、特定の特徴が検出されなかった場合（ステップ１０５のＮＯ）、モード制御部１６は、現在のモードを、特徴検出モードから動き検出モードへと移行させる（ステップ１０７）。
　図４の左側には、動き検出モードにおいて動きが検出されてモードが特徴検出モードに移行された後、特徴検出モードにおいて特定の特徴が検出されずにモードが動き検出モードに戻されたときの様子が示されている。
　モード制御部１６は、モードを特徴検出モードから動き検出モードへと移行させると、現在のモードが動き検出モードであることを示すモード信号を行走査回路１３及びスイッチ２１へと出力する。
　行走査回路１３は、動き検出モードを示すモード信号が入力されると、画素アレイ部１１を制御して画素アレイ部１１に低解像度の画像情報を取得させる。また、スイッチ２１は、動き検出モードを示すモード信号が入力されると、ＡＤＣ１２からの画像情報の出力先を特徴検出部１９（特徴抽出部１９ａ）から動き検出部１８（動き抽出部１８ａ）へと切り替える。
　モードが動き検出モードへと移行されると、処理がステップ１０１へ戻る。
　特徴検出モードにおいて、特定の特徴が検出された場合（ステップ１０５のＹＥＳ）、モード制御部１６は、現在のモードを、特徴検出モードから撮像モードへと移行させる（ステップ１０６）。
　図４の右側には、動き検出モードにおいて動きが検出されてモードが特徴検出モードに移行された後、特徴検出モードにおいて特定の特徴が検出されてモードが撮像モードに移行されたときの様子が示されている。
　モード制御部１６は、モードを撮像モードへと移行させると、現在のモードが撮像モードであることを示すモード信号を行走査回路１３及びスイッチ２１へと出力する。また、このとき、モード制御部１６は、制御部１等をスリープ状態から起動させ、制御部１等に基準クロックを供給する基準クロック生成回路も起動させる。
　行走査回路１３は、撮像モードを示すモード信号が入力されると、画素アレイ部１１を制御して画素アレイ部１１に高解像度の画像情報を取得させる。また、スイッチ２１は、撮像モードを示すモード信号が入力されると、ＡＤＣ１２からの画像情報の出力先を特徴検出部１９（特徴抽出部１９ａ）から画像処理部２０へと切り替える。
　従って、撮像モードでは、画素アレイ部１１から高解像度の画像情報が出力されて、この画像情報がＡＤＣ１２によりＡ／Ｄ変換される（ＡＤＣの消費電力が相対的に高）。そして、デジタル信号とされた高解像度の画像情報がスイッチ２１を介して画像処理部２０へと入力される。画像処理部２０は、高解像度の画像情報にデモザイク処理等の各種の画像処理を実行し、画像処理後の高解像度の画像情報を、記憶部２及び表示部３に対して出力する（ステップ１０８）。これにより、撮像モードにおける高解像度の画像情報は、イメージセンサ１０から出力されて記憶部２に記憶され、また、表示部３において表示される。
　なお、本実施形態では、動き検出モードにおける低解像度の画像情報は、動き検出に用いられるのみであり、記憶用や表示用には用いられない。同様に、特徴検出モードにおける中解像度の画像情報は、特徴検出に用いられるのみであり、記憶用や表示用には用いられない。これにより、記憶部２に不必要な情報が記憶されてしまうことを防止することができる。
　但し、動き検出モードにおける低解像度の画像情報、特徴検出モードにおける中解像度の画像情報を記憶用や表示用に用いることもできる（特に、中解像度の画像情報の場合）。
　モード制御部１６は、撮像モードにおいて高解像度の画像情報の取得が開始されると、撮像モードにおいて取得された画像情報の数が既定枚数に達したかどうかを判定する（ステップ１０９）。取得された画像情報の数が既定枚数に達していない場合（ステップ１０９のＮＯ）、モード制御部１６は、モードを撮像モードに維持したまま、高解像度の画像情報をイメージセンサ１０から出力させる（ステップ１０８）。
　一方、取得された画像情報の数が既定枚数に達した場合（ステップ１０９のＹＥＳ）、モード制御部１６は、現在のモードを、撮像モードから動き検出モードへ移行させる（ステップ１１０）。
　なお、撮像モードにおいて取得される画像情報の枚数は、１枚、２枚、３枚・・等、適宜設定されればよい。また、撮像モードにおいて取得される画像情報の枚数は、操作部４を介したユーザからの入力により、ユーザにより変更可能であってもよい。
　モード制御部１６は、モードを動き検出モードへと移行させると、現在のモードが動き検出モードであることを示すモード信号を行走査回路１３及びスイッチ２１へと出力する。また、このとき、モード制御部１６は、制御部１等を起動状態からスリープ状態とさせ、制御部１等に基準クロックを供給する基準クロック生成回路も停止させる。
　行走査回路１３は、動き検出モードを示すモード信号が入力されると、画素アレイ部１１を制御して画素アレイ部１１に低解像度の画像情報を取得させる。また、スイッチ２１は、動き検出モードを示すモード信号が入力されると、ＡＤＣ１２からの画像情報の出力先を画像処理部２０から動き検出部１８（動き抽出部１８ａ）へと切り替える。
　モードが動き検出モードへと移行されると、処理がステップ１０１へ戻る。
　＜作用等＞
　次に、本実施形態における作用等について説明する。まず、本実施形態において、撮像対象が人である場合に、動き検出モードにおいて撮像対象ではない動物の動きが検出された場合を想定する。この場合、動物の動きが検出されることで、モードが動き検出モードから特徴検出モードへ移行される。
　特徴検出モードでは、動物の特徴情報が抽出されて、この動物の特徴情報と、撮像対象である人の認識モデルとが比較される。この場合、特徴情報と認識モデルとが一致しないので、モードが特徴検出モードから動き検出モードへと戻される（図４左側参照）。
　これに対して、撮像対象が人である場合に、動き検出モードにおいて撮像対象である人の動きが検出された場合を想定する。この場合、人の動きが検出されることで、モードが動き検出モードから特徴検出モードへ移行される。
　特徴検出モードでは、人の特徴情報が抽出されて、この人の特徴情報と、撮像対象である人の認識モデルとが比較される。この場合、特徴情報と認識モデルとが一致するので、モードが特徴検出モードから撮像モードへ移行される（図４右側参照）。そして、撮像モードにおいて、人が写りこんでいる高解像度の画像情報が、既定枚数取得された後、モードが撮像モードから動き検出モードへ戻される。
　このように、本実施形態では、被写体の動きが動き検出モードにおいて検出されたとしても、動きが検出された被写体が撮像対象ではない場合には、モードは、撮像モードへは移行されない。そして、被写体の動きが動き検出モードにおいて検出された場合において、動きが検出された被写体が撮像対象である場合に限り、モードが、撮像モードへ移行される。
　ここで、比較例としてモードが動き検出モード及び撮像モードの２つのモードである場合を想定する。この場合、動き検出において誤検出（撮像対象ではない動きの検出）が生じた場合、直ちに撮像モードに移行してしまうため、不必要に撮像モードへ移行する回数が多くなってしまい、消費電力（特に、ＡＤＣの消費電力）の低減に限界がある。
　これに対して、本実施形態では、上述のように、被写体の動きが動き検出モードにおいて検出された場合において、動きが検出された被写体が撮像対象である場合に限り、モードが、撮像モードへ移行される。
　このように、本実施形態では、必要な場合に限って、モードを撮像モードへと移行させることができるので、誤検出によって不必要に撮像モードへ移行してしまうことを防止することができる。
　また、本実施形態では、特徴検出モードにおいて取得される画像情報は、撮像モードで取得される画像情報よりも解像度が低いので、イメージセンサ１０における消費電力（特に、ＡＤＣ１２によるＡ／Ｄ変換時の消費電力）を削減することができる。また、特徴検出モードにおいて取得される画像情報は、動き検出モードで取得される画像情報よりも解像度が高いので、動きが検出された被写体が撮像対象であるかどうかを適切に判定することができる。
　また、本実施形態では、制御部１等は、動き検出モード及び特徴検出モードにおいてスリープ状態とされ、撮像モードでのみ起動状態とされる。また、本実施形態では、制御部１等に基準クロックを供給する基準クロック生成回路が、動き検出モード及び特徴検出モードにおいて停止状態とされ、撮像モードでのみ起動状態とされる。これにより、撮像装置１００全体の消費電力をさらに低減することができる。
＜第１実施形態変形例＞
　ここで、撮像対象が車などの高速に移動する物体であり、その撮像対象が撮像装置１００の近くを通過する場合、撮像モードにおける撮像が間に合わない可能性がある。そこで、撮像対象が車などの高速に移動する物体である場合（例えば、車が撮像対象としてユーザにより選択された場合）、特徴検出モードにおいて取得された中解像度の画像情報が記憶部２に記憶されるようにされてもよい。
　つまり、特徴検出モードは、動き検出モードにおいて被写体の動きが検出されれば直ちに移行されるモードであり、かつ、取得される画像情報の解像度もそれほど高くないので、画像情報が取得されるまでの時間も短い。また、特徴検出モードでは、撮像モードのように制御部等の起動を待つ必要もない。従って、特徴検出モードにおいて特徴検出に用いられた画像情報を記憶部２に記憶することで、車などの高速移動物体の画像情報（解像度はそれほど高くないが）を適切に保存することができる。
　第１実施形態の説明では、各モードにおける画像情報の解像度が異なる場合の一例として、画素アレイ部１１で取得される画像情報の解像度が異なる場合について説明した。一方、各モードにおいて、ＡＤＣ１２におけるＡ／Ｄ変換時のビット解像度（ＡＤＣ解像度）が異なっていてもよい。あるいは、各モードにおいて、画素アレイ部１１で取得される画像情報の解像度及びＡＤＣ１２におけるＡ／Ｄ変換時のビット解像度の両方が異なっていてもよい。つまり、「画像情報の解像度」とは、画素アレイ部１１から出力される画像情報の解像度及び／又はＡＤＣ１２から出力される画像情報のビット解像度（ＡＤＣ解像度）を意味する。
　ビット解像度が異なる場合、例えば、各モードにおいて、画素アレイ部１１から同じ解像度（異なっていてもよいが）の画像情報が出力される。この場合、ＡＤＣ１２は、動き検出モードにおいて、特徴検出モード及び撮像モードよりも低いビット解像度で画像情報をＡ／Ｄ変換して出力する。また、ＡＤＣ１２は、特徴検出モードにおいて、動き検出モードよりも高く、かつ、撮像モードよりも低いビット解像度で画像情報をＡ／Ｄ変換して出力する。また、ＡＤＣ１２は、撮像モードにおいて、動き検出モード及び特徴検出モードよりも高いビット解像度で画像情報をＡ／Ｄ変換して出力する。
　この場合、ＡＤＣ１２における消費電力は、動き検出モードが最も小さく、次に特徴検出モードが小さく、撮像モードが最も大きくなる。従って、この場合、常時、画素アレイ部１１からの画像情報を高ビット解像度でＡ／Ｄ変換する場合に比べて、ＡＤＣ１２における消費電力を低減することができる。
　なお、以降で説明される各実施形態においても、各モードにおける画像情報の解像度が異なる場合の一例として、画素アレイ部１１で取得される画像情報の解像度が異なる場合について説明する。一方、以降で説明される各実施形態においても、各モードにおいて、ＡＤＣ１２におけるＡ／Ｄ変換時のビット解像度（ＡＤＣ解像度）が異なっていてもよい
　≪第２実施形態≫
　次に、本技術の第２実施形態について説明する。なお、第２実施形態以降の説明では、第１実施形態と同一の機能及び構成を有する部分については同一符号を付し、説明を省略又は簡略化する。
　第２実施形態では、特徴検出モードが、第１の特徴検出モード及び第２の特徴検出モードの２つに区分されている。第２の特徴検出モードは、第１の特徴検出モードよりも詳細に特徴検出を行うモードである。
　第１の特徴検出モードは、動き検出モードで用いられる画像情報よりも解像度が相対的に高く、かつ、第２の特徴検出モード及び撮像モードで用いられる画像情報よりも解像度が相対的に低い画像情報が取得されるモードであり、この解像度の画像情報に基づいて被写体の特徴が検出されるモードである。なお、以降の説明では、第１の特徴検出モードにおいて取得される画像情報を、便宜的に中の下解像度の画像情報と呼ぶ。
　第２の特徴検出モードは、動き検出モード及び第１の特徴検出モードで用いられる画像情報よりも解像度が相対的に高く、かつ、撮像モードで用いられる画像情報よりも解像度が相対的に低い画像情報が取得されるモードであり、この解像度の画像情報に基づいて被写体の特徴が検出されるモードである。なお、以降の説明では、第２の特徴検出モードにおいて取得される画像情報を、便宜的に中の上解像度の画像情報と呼ぶ。
　なお、第２の特徴検出モードでは、第１の特徴検出モードで用いられる画像情報よりも解像度が高い画像情報に基づき、特徴検出が行われるので、第１の特徴検出モードよりも特徴検出の精度が高くなる。
　図６は、第２実施形態に係るイメージセンサ３１の構成を示すブロック図である。
　第２実施形態に係るイメージセンサ３１は、基本的に第１実施形態に係るイメージセンサ１０と同様の構成であるが、特徴検出部として、２つの特徴検出部、つまり、第１の特徴検出部２２及び第２の特徴検出部２３が設けられている。また、第２実施形態では、スイッチ２４の出力先が４つに分岐されている。
　画素アレイ部１１は、動き検出モードにおいて、４０×３０ｐｘ、３２×２０ｐｘ、１６×５ｐｘ等の解像度の画像情報（低解像度の画像情報）を出力する。また、画素アレイ部１１は、第１の特徴検出モードにおいて、ＱＶＧＡ（Quarter VGA）（３２０×２４０ｐｘ）、ＱＱＶＧＡ（Quarter QVGA）（１６０×１２０ｐｘ）等の解像度の画像情報（中の下解像度の画像情報）を出力する。
　また、画素アレイ部１１は、第２の特徴検出モードにおいて、ＶＧＡ（Video Graphics Array）（６４０×４８０ｐｘ）、ＱＶＧＡ（Quarter VGA）（３２０×２４０ｐｘ）等の解像度の画像情報（中の上解像度の画像情報）を出力する。また、画素アレイ部１１は、撮像モードにおいて、ＦＨＤ（Full High Definition）（１９２０×１０８０）、ＨＤ（High Definition）（１２８０×７２０）、ＶＧＡ（６４０×４８０）等の解像度の画像情報（高解像度の画像情報）を出力する。
　ＡＤＣ１２は、動き検出モードにおいて、低解像度の画像情報をＡ／Ｄ変換し（消費電力低）、第１の特徴検出モードにおいて、中の下解像度の画像情報をＡ／Ｄ変換する（消費電力中の下）。また、ＡＣＤは、第２の特徴検出モードにおいて、中の上解像度の画像情報をＡ／Ｄ変換し（消費電力中の上）、撮像モードにおいて、高解像度の画像情報をＡ／Ｄ変換する（消費電力高）。
　スイッチ２４は、動き検出モードにおいて、ＡＤＣ１２からの画像情報（低解像度の画像情報）を動き検出部１８に出力する。また、スイッチ２４は、第１の特徴検出モードにおいて、ＡＤＣ１２からの画像情報（中の下解像度の画像情報）を第１の特徴検出部２２に出力する。
　また、スイッチ２４は、第２の特徴検出モードにおいて、ＡＤＣ１２からの画像情報（中の上解像度の画像情報）を第２の特徴検出部２３に出力する。また、スイッチ２４は、撮像モードにおいて、ＡＤＣ１２からの画像情報（高解像度の画像情報）を画像処理部２０へと出力する。
　第１の特徴検出部２２は、第１の特徴検出モードにおいて、ＡＤＣ１２からスイッチ２４を介して入力される中の下解像度の画像情報に基づいて、特定の特徴が検出されたかどうかを判定し、判定結果をモード制御部１６へと出力する。
　第１の特徴検出部２２は、第１の特徴抽出部２２ａと第１の特徴判定部２２ｂとを含む。第１の特徴抽出部２２ａは、ＡＤＣ１２からスイッチ２４を介して入力される中の下解像度の画像情報に基づいて、被写体の特徴を抽出し、抽出された特徴情報を第１の特徴判定部２２ｂへと出力する。第１の特徴判定部２２ｂは、特徴情報に基づいて、特定の特徴が検出されたかどうかを判定し、判定結果をモード制御部１６へと出力する。
　第２の特徴検出部２３は、第２の特徴検出モードにおいて、ＡＤＣ１２からスイッチ２４を介して入力される中の上解像度の画像情報に基づいて、特定の特徴が検出されたかどうかを判定し、判定結果をモード制御部１６へと出力する。
　第２の特徴検出部２３は、第２の特徴抽出部２３ａと第２の特徴判定部２３ｂとを含む。第２の特徴抽出部２３ａは、ＡＤＣ１２からスイッチ２４を介して入力される中の上解像度の画像情報に基づいて、被写体の特徴を抽出し、抽出された特徴情報を第２の特徴判定部２３ｂへと出力する。第２の特徴判定部２３ｂは、特徴情報に基づいて、特定の特徴が検出されたかどうかを判定し、判定結果をモード制御部１６へと出力する。
　＜動作説明＞
　次に、センサ制御部１５（特に、モード制御部１６、動き検出部１８、第１の特徴検出部２２、第２の特徴検出部２３）の処理について説明する。図７は、第２実施形態に係るセンサ制御部１５の処理を示すフローチャートである。図８は、モードの移行における一例を示す図である。
　動き検出モードにおいて、動き抽出部１８ａは、低解像度の画像情報から被写体の動きを抽出する（ステップ２０１）。動き判定部１８ｂは、動き抽出部１８ａから動きの情報に基づいて、被写体の動きが検出されたかどうかを判定する（ステップ２０２）。
　被写体の動きが検出された場合（ステップ２０２のＹＥＳ）、モード制御部１６は、現在のモードを、動き検出モードから第１の特徴検出モードへと移行させる（ステップ２０３）。
　第１の特徴抽出モードにおいて、第１の特徴抽出部２２ａは、中の下解像度の画像情報から被写体の特徴情報を抽出し、この特徴情報を第１の特徴判定部２２ｂへと出力する（ステップ２０４）。
　第１の特徴判定部２２ｂは、特徴情報に基づいて、特定の特徴が検出されたかどうかを判定する（ステップ２０５）。
　この場合、例えば、第１の特徴判定部２２ｂは、抽出された特徴情報と、認識モデル（例えば、人に対応する認識モデル）とを比較し、特徴情報と認識モデルとが一致した場合には、特定の特徴が検出されたと判定する（ステップ２０５のＹＥＳ）。一方、第１の特徴判定部２２ｂは、特徴情報と認識モデルとが不一致である場合には、特定の特徴が検出されなかったと判定する（ステップ２０５のＮＯ）。
　第１の特徴検出モードにおいて、特定の特徴が検出されなかった場合（ステップ２０５のＮＯ）、モード制御部１６は、現在のモードを、第１の特徴検出モードから動き検出モードへと移行させる（ステップ２０７）。
　一方、第１の特徴検出モードにおいて、特定の特徴が検出された場合（ステップ２０５のＹＥＳ）、モード制御部１６は、現在のモードを、第１の特徴検出モードから第２の特徴検出モードへと移行させる（ステップ２０６）。
　第２の特徴検出モードにおいて、第２の特徴抽出部２３ａは、中の上解像度の画像情報から被写体の特徴情報を抽出し、この特徴情報を第２の特徴判定部２３ｂへと出力する（ステップ２０８）。
　第２の特徴判定部２３ｂは、特徴情報に基づいて、特定の特徴が検出されたかどうかを判定する（ステップ２０９）。
　この場合、例えば、第２の特徴判定部２３ｂは、抽出された特徴情報と、認識モデル（例えば、人に対応する認識モデル）とを比較し、特徴情報と認識モデルとが一致した場合には、特定の特徴が検出されたと判定する（ステップ２０９のＹＥＳ）。一方、第２の特徴判定部２３ｂは、特徴情報と認識モデルとが不一致である場合には、特定の特徴が検出されなかったと判定する（ステップ２０９のＮＯ）。
　ここで、認識モデルは、第１の特徴検出モード及び第２の特徴検出モードで同じであってもよいし、異なっていてもよい。認識モデルが２つのモードで異なる場合、例えば、第１の特徴検出モードにおいて、人の全身の認識モデルが用いられ（人検出）、第２の特徴検出モードにおいて、人の顔の認識モデルが用いられてもよい（顔検出）。
　第２の特徴検出モードにおいて、特定の特徴が検出されなかった場合（ステップ２０９のＮＯ）、モード制御部１６は、現在のモードを、第２の特徴検出モードから動き検出モードへと移行させる（ステップ２１１）。
　図８の左側には、動き検出モードにおいて動きが検出され、第１の特徴検出モードにおいて特定の特徴が検出されたものの、第２の特徴検出モードにおいて特定の特徴が検出されずにモードが動き検出モードに戻されたときの様子が示されている。
　一方、第２の特徴検出モードにおいて、特定の特徴が検出された場合（ステップ２０９のＹＥＳ）、モード制御部１６は、現在のモードを、第２の特徴検出モードから撮像モードへと移行させる（ステップ２１０）。
　図８の右側には、動き検出モードにおいて動きが検出され、第１の特徴検出モードにおいて特定の特徴が検出され、第２の特徴検出モードにおいて特定の特徴が検出されたので、モードが撮像モードに移行されたときの様子が示されている。
　撮像モードでは、画像処理部２０は、スイッチ２４を介してＡＤＣ１２から入力される高解像度の画像情報にデモザイク処理等の各種の画像処理を実行し、画像処理後の高解像度の画像情報を、記憶部２及び表示部３に対して出力する（ステップ２１２）。
　モード制御部１６は、撮像モードにおいて高解像度の画像情報の取得が開始されると、撮像モードにおいて取得された画像情報の数が既定枚数に達したかどうかを判定する（ステップ２１３）。
　撮像モードにおいて取得された画像情報の数が既定枚数に達した場合（ステップ２１３のＹＥＳ）、モード制御部１６は、現在のモードを、撮像モードから動き検出モードへ移行させる（ステップ２１４）。
　第２実施形態では、特徴検出モードが、多段階とされているので、誤検出によって不必要に撮像モードへ移行してしまうことをさらに適切に防止することができる。
　＜第２実施形態変形例＞
　第２実施形態の説明では、特徴検出モードが２段階である場合について説明した。一方、特徴検出モードが３段階以上とされていてもよい。この場合、後段の特徴検出モードは、前段の特徴検出モードよりも詳細に特徴検出可能に構成される。
　ここで、第２の（後段の）特徴検出モードは、第１の（前段の）特徴検出モードよりも詳細に特徴検出を行うモードであれば、これらのモードにおける特徴検出はどのような方法が用いられてもよい。例えば、第１の特徴検出モード及び第２の特徴検出モードの違いとして、以下の例が挙げられる。なお、上述の第２実施形態は、以下の１．の例に相当する。
　１．第２の（後段の）特徴検出モードの特徴検出に用いられる画像情報（全体画像）の解像度が、第１の（前段の）特徴検出モードの特徴検出に用いられる画像情報（全体画像）の解像度よりも高い。
　２．第１の（前段の）特徴検出モードの特徴検出に用いられる画像情報は全体画像であり、第２の（後段の）特徴検出モードの特徴検出に用いられる画像情報は、第１の（前段の）特徴検出モードにおいて特徴検出された部分に対応する部分画像（ＲＯＩ：Region of Interest）である。この場合、第２の（後段の）特徴検出モードにおける部分画像は、第１の（前段の）特徴検出モードにおける全体画像の対応する箇所よりも解像度が高くされてもよい。
３．第１の（前段の）特徴検出モードの特徴検出に用いられる画像情報は白黒画像であり、第２の（後段の）特徴検出モードの特徴検出に用いられる画像情報はカラー画像である。なお、この３．については、１．及び２．と組み合わせることができる。
　≪第３実施形態≫
　次に、本技術の第３実施形態について説明する。
　図９は、第３実施形態に係るイメージセンサ３２の構成を示すブロック図である。第３実施形態では、第１実施形態と同様に特徴検出部１９（特徴検出モード）が１段階とされているが、第２実施形態と同様に特徴検出部１９（特徴検出モード）が多段階とされていてもよい。これについては、後述の第４実施形態以降についても同様である。
　上述の第１実施形態、第２実施形態では、動き検出部１８の動き抽出部１８ａがＡ／Ｄ変換後のデジタル信号の画像情報から被写体の動きを抽出していた。これに対して、第３実施形態では、動き検出部１８における動き抽出部１８ａがＡＤＣ１２内に設けられており、この動き抽出部１８ａは、動き検出モードにおいて、画素アレイ部１１からのアナログ信号の画像情報から被写体の動きを抽出する。
　動き抽出部１８ａには、モード制御部１６からのモード信号が入力され、現在のモードが動き検出モードである場合にのみ動作する。動き抽出部１８ａは、動き検出モードにおいて、画素アレイ部１１から出力される低解像度の画像情報（アナログ信号）から動きを抽出して動きの情報（アナログ信号）をＡＤＣ１２へ出力する。
　ＡＤＣ１２は、動き検出モードにおいて、動き抽出部１８ａから入力されるアナログ信号の動きの情報をデジタル信号へ変換し、このデジタル信号の動きの情報を、スイッチ２１を介して動き判定部１８ｂへと出力する。動き判定部１８ｂは、デジタル信号の動きの情報に基づいて動きが検出されたかどうかを判定する。
　その他の処理については、上述の第１実施形態と基本的に同様である。
　ここで、第１実施形態等では、動き検出モードにおいて、画像情報自体がＡＤＣ１２においてＡ／Ｄ変換されていた。一方、第３実施形態では、動き検出モードにおいて画像情報自体ではなく、動きの情報がＡ／Ｄ変換される。このため、第１実施形態等と比べて、ＡＤＣ１２においてＡ／Ｄ変換されるデータ量が少ないので、ＡＤＣ１２における消費電力をさらに低減させることができる。また、動き情報をＡ／Ｄ変換する場合、画像情報全体をＡ／Ｄ変換する場合に比べて、小さなビット解像度でＡ／Ｄ変換可能であり、この点からもＡＤＣ１２における消費電力を低減させることができる。
　なお、第１実施形態等では、動き検出モードにおいて、デジタル信号の画像情報に基づいて被写体の動きが抽出されるが、この場合、アナログ信号の画像情報に基づいて被写体の動きが抽出される第３実施形態と比べて動きの抽出（動き検出）の精度が高いといった利点がある。
　つまり、第３実施形態のように、アナログ信号の画像情報から動き抽出を行う場合、第１実施形態等と比べて、動き抽出（動き検出）の精度は下がるものの、ＡＤＣ１２における消費電力は低減することができる。一方、第１実施形態のように、デジタル信号の画像情報から動き抽出を行う場合、第３実施形態と比べて、ＡＤＣ１２における消費電力は上昇してしまうものの、動き抽出（動き検出）の精度を向上させることができる。
　したがって、消費電力と動き抽出（動き検出）の精度とはトレードオフであり、消費電力の低減が優先される場合には、第３実施形態のような構成が採用される。一方、動き抽出（動き検出）の精度が優先される場合には、第１実施形態等のような構成が採用される。
　≪第４実施形態≫
　次に、本技術の第４実施形態について説明する。図１０は、第４実施形態に係るイメージセンサ３３の構成を示すブロック図である。
　第４実施形態では、特徴検出部１９における特徴抽出部１９ａがＡＤＣ１２内に設けられており、この特徴抽出部１９ａは、特徴検出モードにおいて、画素アレイ部１１からのアナログ信号の画像情報から被写体の特徴を抽出する。
　特徴抽出部１９ａには、モード制御部１６からのモード信号が入力され、現在のモードが特徴抽出モードである場合にのみ動作する。特徴抽出部１９ａは、特徴抽出モードにおいて、画素アレイ部１１から出力される中解像度の画像情報（アナログ信号）から被写体の特徴を抽出して特徴情報（アナログ信号）をＡＤＣ１２へ出力する。
　ＡＤＣ１２は、特徴抽出モードにおいて、特徴抽出部１９ａから入力されるアナログ信号の特徴情報をデジタル信号へ変換し、このデジタル信号の特徴情報を、スイッチ２１を介して特徴判定部１９ｂへと出力する。特徴判定部１９ｂは、デジタル信号の特徴情報に基づいて動きが検出されたかどうかを判定する。
　第４実施形態では、特徴検出モードにおいて画像情報自体ではなく、特徴情報がＡ／Ｄ変換される。このため、第１実施形態等と比べて、ＡＤＣ１２においてＡ／Ｄ変換されるデータ量が少ないので、ＡＤＣ１２における消費電力をさらに低減させることができる。また、特徴情報をＡ／Ｄ変換する場合、画像情報全体をＡ／Ｄ変換する場合に比べて、小さなビット解像度でＡ／Ｄ変換可能であり、この点からもＡＤＣ１２における消費電力を低減させることができる。
　第４実施形態のように、アナログ信号の画像情報から特徴抽出を行う場合、第１実施形態等と比べて、特徴抽出（特徴検出）の精度は下がるものの、ＡＤＣ１２における消費電力は低減することができる。一方、第１実施形態のように、デジタル信号の画像情報から特徴抽出を行う場合、第４実施形態と比べて、ＡＤＣ１２における消費電力は上昇してしまうものの、特徴抽出（特徴検出）の精度を向上させることができる。
　従って、消費電力の低減が優先される場合には、第４実施形態のような構成が採用される。一方、特徴抽出（特徴検出）の精度が優先される場合には、第１実施形態等のような構成が採用される。
　≪第５実施形態≫
　次に、本技術の第５実施形態について説明する。図１１は、第５実施形態に係るイメージセンサ３４を示すブロック図である。
　第５実施形態は、言わば、第３実施形態及び第４実施形態の組み合わせである。つまり、第５実施形態では、動き検出部１８における動き抽出部１８ａ及び特徴検出部１９における特徴抽出部１９ａの両方がＡＤＣ１２内に設けられている。
　第５実施形態では、画像情報自体ではなく、動きの情報及び特徴情報がＡＤＣ１２においてＡ／Ｄ変換されるので、ＡＤＣにおける消費電力をさらに低減させることができる。
　≪第６実施形態≫
　次に、本技術の第６実施形態について説明する。図１２は、第６実施形態に係る撮像装置１０１の構成を示すブロック図である。図１２に示すように、第６実施形態では、上述の各実施形態に係る撮像装置に比べて、ＤＳＰ回路７（ＤＳＰ：Digital Signal Processor）が付加されている。なお、ＤＳＰ回路７に代えて、ＩＳＰ回路等（ＩＳＰ：Image Signal Processor）が用いられてもよい。
　図１３は、イメージセンサ３５及びＤＳＰ回路７の構成を示すブロック図である。図１３に示すように、第６実施形態では、特徴検出部１９における特徴判定部１９ｂがＤＳＰ回路７内に設けられている。つまり、第６実施形態では、特徴判定部１９ｂがイメージセンサ３５の外部に設けられている。
　なお、第６実施形態において、撮像装置１０１に特別に設けられたＤＳＰ回路７内に、特徴判定部１９ｂが設けられているのは、特徴判定における処理は、他の処理に比べて処理が複雑であるためである。
　特徴検出モードでは、特徴検出部１９の特徴抽出部１９ａは、ＡＤＣ１２から入力される中解像度の画像情報から被写体の特徴を抽出する。そして、特徴抽出部１９ａは、特徴情報をＤＳＰ回路７内の特徴判定部１９ｂへと出力する。なお、ＤＳＰ回路７は、例えば、特徴検出モードでのみ起動状態とされる。
　ＤＳＰ回路７内の特徴判定部１９ｂは、特徴情報に基づいて、特定の特徴が検出されたかどうかを判定し、判定結果をイメージセンサ３５内のモード制御部１６へと出力する。
　その他の処理については、上述の第１実施形態と基本的に同様である。
　第６実施形態では、イメージセンサ３５の外部に特別に設けられたＤＳＰ回路７内に特徴判定部１９ｂが設けられているので、第１実施形態等に比べて特徴判定（特徴検出）の精度を向上させることができる。一方、第１実施形態等のように、イメージセンサ１０の内部に特徴判定部１９ｂが設けられている場合、第６実施形態に比べて特徴判定（特徴検出）にかかる時間が短いといった利点がある（例えば、ＤＰＳ回路を起動させる必要がない、ＤＳＰ回路７及びイメージセンサ３５間の通信時間がない等の理由）。また、第１実施形態等のように、イメージセンサ１０の内部に特徴判定部１９ｂが設けられている場合、第６実施形態に比べて消費電力が低減されるといったメリットがある（ＤＳＰ回路７に供給する電力が必要ないので）。
　つまり、第６実施形態のようにＤＳＰ回路７内に特徴判定部１９ｂが設けられる場合、第１実施形態等と比べて、特徴判定（特徴検出）にかかる時間が長くなり、消費電力が大きくなるものの、特徴判定（特徴検出）の精度を上げることができる。一方、第１実施形態等のようにイメージセンサ１０内に特徴判定部１９ｂが設けられる場合、第６実施形態と比べて、特徴判定（特徴検出）の精度が下がるものの、特徴判定（特徴検出）にかかる時間を短くすることができ、また、消費電力を低減させることができる。
　したがって、特徴判定（特徴検出）の精度が優先される場合には、第６実施形態のような構成が採用され、特徴判定の短時間化、消費電力の低減が優先される場合には、第１実施形態のような構成が採用される。
　なお、第６実施形態のように、撮像装置１０１においてＤＳＰ回路７が付加される場合、ＤＳＰ回路７内に画像処理部２０が設けられていてもよい。
　第６実施形態では、動き抽出部１８ａ及び特徴抽出部１９ａがデジタル信号の画像情報から動き抽出、特徴抽出を行っているが、第３実施形態～第５実施形態のように、動き抽出部１８ａ又は特徴抽出部１９ａのうち少なくとも一方がアナログ信号の画像情報から動き抽出、特徴抽出を行ってもよい。
　≪各種変形例≫
　本技術は、以下の構成を採ることもできる。
（１）　画像情報に基づいて動きを検出する動き検出モードにおいて、前記動きが検出されたとき、動き検出に用いられる画像情報よりも解像度が高い画像情報に基づいて特徴を検出する特徴検出モードへとモードを移行させ、
　前記特徴検出モードにおいて、特定の特徴が検出されたとき、前記特徴検出に用いられる画像情報よりも解像度が高い画像情報を取得する撮像モードへと前記モードを移行させるモード制御部
　を具備する撮像装置。
（２）　上記（１）に記載の撮像装置であって、
　前記モード制御部は、前記特徴検出モードにおいて、前記特定の特徴が検出されなかったとき、前記動き検出モードへと前記モードを移行させる
　撮像装置。
（３）　上記（１）又は（２）に記載の撮像装置であって、
　前記モード制御部は、前記撮像モードにおいて、既定枚数の画像情報を取得したとき、前記動き検出モードへと前記モードを移行させる
　撮像装置。
（４）　上記（１）に記載の撮像装置であって、
　前記特徴検出モードは、第１の特徴検出モードと、前記第１の特徴検出モードよりも詳細に特徴検出を行う第２の特徴検出モードとを含む
　撮像装置。
（５）　上記（４）に記載の撮像装置であって、
　前記第２の特徴検出モードの特徴検出に用いられる画像情報の解像度は、前記第１の特徴検出モードの特徴検出に用いられる画像情報の解像度よりも高い
　撮像装置。
（６）　上記（４）に記載の撮像装置であって、
　前記第１の特徴検出モードの特徴検出に用いられる画像情報は全体画像であり、前記第２の特徴検出モードの特徴検出に用いられる画像情報は、前記第１の特徴検出モードにおいて特徴検出された部分に対応する部分画像である
　撮像装置。
（７）　上記（６）に記載の撮像装置であって、
　前記部分画像は、前記全体画像よりも解像度が高い
　撮像装置。
（８）　上記（４）～（７）のうちいずれか１つに記載の撮像装置であって、
　前記モード制御部は、前記動き検出モードにおいて動きが検出されたとき、前記第１の特徴検出モードへモードを移行させ、前記第１の特徴検出モードにおいて特定の特徴が検出されたとき前記第２の特徴検出モードへとモードを移行させ、前記第２の特徴検出モードにおいて特定の特徴が検出されたとき前記撮像モードへモードを移行させる
　撮像装置。
（９）　上記（８）に記載の撮像装置であって、
　前記モード制御部は、前記第１の特徴検出モードにおいて特定の特徴が検出されなかったとき、前記動き検出モードへとモードを移行させ、前記第２の特徴検出モードにおいて特定の特徴が検出されなかったとき、前記動き検出モードへとモードを移行させる
　撮像装置。
（１０）　上記（１）～（９）のうちいずれか１つに記載の撮像装置であって、
　前記動き検出モードにおいて前記画像情報から前記動きを抽出する動き抽出部
　をさらに具備する撮像装置。
（１１）　上記（１０）に記載の撮像装置であって、
　前記動き抽出部は、アナログ信号の画像情報から前記動きを抽出する
　撮像装置。
（１２）　上記（１０）に記載の撮像装置であって、
　前記動き抽出部は、デジタル信号の画像情報から前記動きを抽出する
　撮像装置。
（１３）　上記（１）～（１２）のうちいずれか１つに記載の撮像装置であって、
　前記特徴検出モードにおいて前記画像情報から前記特徴を抽出する特徴抽出部
　をさらに具備する撮像装置。
（１４）　上記（１３）に記載の撮像装置であって、
　前記特徴抽出部は、アナログ信号の画像情報から前記特徴を抽出する
　撮像装置。
（１５）　上記（１３）に記載の撮像装置であって、
　前記特徴抽出部は、デジタル信号の画像情報から前記特徴を抽出する
　撮像装置。
（１６）　上記（１）～（１５）のうちいずれか１つに記載の撮像装置であって、
　前記画像情報を得る画素アレイ部を含むイメージセンサを具備し、
　前記イメージセンサの内部に、
　前記モード制御部と、
　前記動き検出モードにおいて、前記画像情報から動きを抽出する動き抽出部と、
　前記動き検出モードにおいて、前記動き抽出部により抽出された動きに基づいて前記動きが検出されたかどうかを判定する動き判定部と、
　前記特徴検出モードにおいて前記画像情報から特徴を抽出する特徴抽出部とが設けられる
　撮像装置。
（１７）　上記（１６）に記載の撮像装置であって、
　前記イメージセンサの内部に、前記特徴検出モードにおいて、前記特徴抽出部により抽出された特徴に基づいて前記特定の特徴が検出されたかどうかを判定する特徴判定部が設けられる
　撮像装置。
（１８）　上記（１６）に記載の撮像装置であって、
　前記イメージセンサの外部に、前記特徴検出モードにおいて、前記特徴抽出部により抽出された特徴に基づいて前記特定の特徴が検出されたかどうかを判定する特徴判定部が設けられる
　撮像装置。
（１９）　画像情報に基づいて動きを検出する動き検出モードにおいて、前記動きが検出されたとき、動き検出に用いられる画像情報よりも解像度が高い画像情報に基づいて特徴を検出する特徴検出モードへとモードを移行させ、
　前記特徴検出モードにおいて、特定の特徴が検出されたとき、前記特徴検出に用いられる画像情報よりも解像度が高い画像情報を取得する撮像モードへと前記モードを移行させる
　撮像制御方法。
（２０）　画像情報に基づいて動きを検出する動き検出モードにおいて、前記動きが検出されたとき、動き検出に用いられる画像情報よりも解像度が高い画像情報に基づいて特徴を検出する特徴検出モードへとモードを移行させ、
　前記特徴検出モードにおいて、特定の特徴が検出されたとき、前記特徴検出に用いられる画像情報よりも解像度が高い画像情報を取得する撮像モードへと前記モードを移行させる
　処理をコンピュータに実行させるプログラム。
　１０、３１～３５…イメージセンサ
　１１…画素アレイ部
　１２…ＡＤＣ
　１３…行走査回路
　１４…列走査回路
　１５…センサ制御部
　１６…モード制御部
　１７…タイミング制御部
　１８…動き検出部
　１９…特徴検出部
　２０…画像処理部
　１００、１０１…撮像装置

Claims (20)

  1. 　画像情報に基づいて動きを検出する動き検出モードにおいて、前記動きが検出されたとき、動き検出に用いられる画像情報よりも解像度が高い画像情報に基づいて特徴を検出する特徴検出モードへとモードを移行させ、
    　前記特徴検出モードにおいて、特定の特徴が検出されたとき、前記特徴検出に用いられる画像情報よりも解像度が高い画像情報を取得する撮像モードへと前記モードを移行させるモード制御部
    　を具備する撮像装置。
  2. 　請求項１に記載の撮像装置であって、
    　前記モード制御部は、前記特徴検出モードにおいて、前記特定の特徴が検出されなかったとき、前記動き検出モードへと前記モードを移行させる
    　撮像装置。
  3. 　請求項１に記載の撮像装置であって、
    　前記モード制御部は、前記撮像モードにおいて、既定枚数の画像情報を取得したとき、前記動き検出モードへと前記モードを移行させる
    　撮像装置。
  4. 　請求項１に記載の撮像装置であって、
    　前記特徴検出モードは、第１の特徴検出モードと、前記第１の特徴検出モードよりも詳細に特徴検出を行う第２の特徴検出モードとを含む
    　撮像装置。
  5. 　請求項４に記載の撮像装置であって、
    　前記第２の特徴検出モードの特徴検出に用いられる画像情報の解像度は、前記第１の特徴検出モードの特徴検出に用いられる画像情報の解像度よりも高い
    　撮像装置。
  6. 　請求項４に記載の撮像装置であって、
    　前記第１の特徴検出モードの特徴検出に用いられる画像情報は全体画像であり、前記第２の特徴検出モードの特徴検出に用いられる画像情報は、前記第１の特徴検出モードにおいて特徴検出された部分に対応する部分画像である
    　撮像装置。
  7. 　請求項６に記載の撮像装置であって、
    　前記部分画像は、前記全体画像よりも解像度が高い
    　撮像装置。
  8. 　請求項４に記載の撮像装置であって、
    　前記モード制御部は、前記動き検出モードにおいて動きが検出されたとき、前記第１の特徴検出モードへモードを移行させ、前記第１の特徴検出モードにおいて特定の特徴が検出されたとき前記第２の特徴検出モードへとモードを移行させ、前記第２の特徴検出モードにおいて特定の特徴が検出されたとき前記撮像モードへモードを移行させる
    　撮像装置。
  9. 　請求項８に記載の撮像装置であって、
    　前記モード制御部は、前記第１の特徴検出モードにおいて特定の特徴が検出されなかったとき、前記動き検出モードへとモードを移行させ、前記第２の特徴検出モードにおいて特定の特徴が検出されなかったとき、前記動き検出モードへとモードを移行させる
    　撮像装置。
  10. 　請求項１に記載の撮像装置であって、
    　前記動き検出モードにおいて前記画像情報から前記動きを抽出する動き抽出部
    　をさらに具備する撮像装置。
  11. 　請求項１０に記載の撮像装置であって、
    　前記動き抽出部は、アナログ信号の画像情報から前記動きを抽出する
    　撮像装置。
  12. 　請求項１０に記載の撮像装置であって、
    　前記動き抽出部は、デジタル信号の画像情報から前記動きを抽出する
    　撮像装置。
  13. 　請求項１に記載の撮像装置であって、
    　前記特徴検出モードにおいて前記画像情報から前記特徴を抽出する特徴抽出部
    　をさらに具備する撮像装置。
  14. 　請求項１３に記載の撮像装置であって、
    　前記特徴抽出部は、アナログ信号の画像情報から前記特徴を抽出する
    　撮像装置。
  15. 　請求項１３に記載の撮像装置であって、
    　前記特徴抽出部は、デジタル信号の画像情報から前記特徴を抽出する
    　撮像装置。
  16. 　請求項１に記載の撮像装置であって、
    　前記画像情報を得る画素アレイ部を含むイメージセンサを具備し、
    　前記イメージセンサの内部に、
    　前記モード制御部と、
    　前記動き検出モードにおいて、前記画像情報から動きを抽出する動き抽出部と、
    　前記動き検出モードにおいて、前記動き抽出部により抽出された動きに基づいて前記動きが検出されたかどうかを判定する動き判定部と、
    　前記特徴検出モードにおいて前記画像情報から特徴を抽出する特徴抽出部とが設けられる
    　撮像装置。
  17. 　請求項１６に記載の撮像装置であって、
    　前記イメージセンサの内部に、前記特徴検出モードにおいて、前記特徴抽出部により抽出された特徴に基づいて前記特定の特徴が検出されたかどうかを判定する特徴判定部が設けられる
    　撮像装置。
  18. 　請求項１６に記載の撮像装置であって、
    　前記イメージセンサの外部に、前記特徴検出モードにおいて、前記特徴抽出部により抽出された特徴に基づいて前記特定の特徴が検出されたかどうかを判定する特徴判定部が設けられる
    　撮像装置。
  19. 　画像情報に基づいて動きを検出する動き検出モードにおいて、前記動きが検出されたとき、動き検出に用いられる画像情報よりも解像度が高い画像情報に基づいて特徴を検出する特徴検出モードへとモードを移行させ、
    　前記特徴検出モードにおいて、特定の特徴が検出されたとき、前記特徴検出に用いられる画像情報よりも解像度が高い画像情報を取得する撮像モードへと前記モードを移行させる
    　撮像制御方法。
  20. 　画像情報に基づいて動きを検出する動き検出モードにおいて、前記動きが検出されたとき、動き検出に用いられる画像情報よりも解像度が高い画像情報に基づいて特徴を検出する特徴検出モードへとモードを移行させ、
    　前記特徴検出モードにおいて、特定の特徴が検出されたとき、前記特徴検出に用いられる画像情報よりも解像度が高い画像情報を取得する撮像モードへと前記モードを移行させる
    　処理をコンピュータに実行させるプログラム。
PCT/JP2021/008554 2020-03-19 2021-03-04 撮像装置、撮像制御方法及びプログラム WO2021187148A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/905,879 US20230156323A1 (en) 2020-03-19 2021-03-04 Imaging apparatus, imaging control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-048950 2020-03-19
JP2020048950A JP2021150814A (ja) 2020-03-19 2020-03-19 撮像装置、撮像制御方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2021187148A1 true WO2021187148A1 (ja) 2021-09-23

Family

ID=77772064

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008554 WO2021187148A1 (ja) 2020-03-19 2021-03-04 撮像装置、撮像制御方法及びプログラム

Country Status (3)

Country Link
US (1) US20230156323A1 (ja)
JP (1) JP2021150814A (ja)
WO (1) WO2021187148A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11922642B1 (en) 2023-01-30 2024-03-05 SimpliSafe, Inc. Methods and apparatus for detecting unrecognized moving objects
US11922669B1 (en) 2023-07-31 2024-03-05 SimpliSafe, Inc. Object detection via regions of interest

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010041435A (ja) * 2008-08-05 2010-02-18 Canon Inc 撮像装置及びその制御方法
JP2010171666A (ja) * 2009-01-21 2010-08-05 Panasonic Corp 固体撮像素子の駆動方法および固体撮像素子
WO2019146178A1 (ja) * 2018-01-29 2019-08-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像素子の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010041435A (ja) * 2008-08-05 2010-02-18 Canon Inc 撮像装置及びその制御方法
JP2010171666A (ja) * 2009-01-21 2010-08-05 Panasonic Corp 固体撮像素子の駆動方法および固体撮像素子
WO2019146178A1 (ja) * 2018-01-29 2019-08-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像素子の制御方法

Also Published As

Publication number Publication date
JP2021150814A (ja) 2021-09-27
US20230156323A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
JP5051473B2 (ja) 撮像装置中の電気的な安定化のために画素格納ゲートの電荷の感知を提供する方法と装置
US8810664B2 (en) Imaging apparatus, imaging method and computer program
US8619168B2 (en) Image sensor with high dynamic range imaging and integrated motion detection
US10089548B2 (en) Image recognition device and image recognition method
US20210075979A1 (en) Information processing device and information processing method
WO2021187148A1 (ja) 撮像装置、撮像制御方法及びプログラム
KR101044647B1 (ko) 촬상 장치
US11882375B2 (en) Imaging element, imaging apparatus, operation method of imaging element, and program
JP2019193184A (ja) 撮像装置及び撮像装置の駆動方法
JP2012023497A (ja) 撮像装置、撮像制御方法、およびプログラム
US20150358566A1 (en) Image capturing apparatus and method for controlling the same
JP2006203395A (ja) 動体認識カメラおよび動体監視システム
JP7410675B2 (ja) 撮像装置及びその制御方法
WO2018025658A1 (ja) 撮像素子、駆動方法、および電子機器
US11290631B2 (en) Image capture apparatus, image capture system, and control method
US20230269344A1 (en) Imaging element, imaging apparatus, operation method of imaging element, and program
US11689816B2 (en) Imaging apparatus, operation method of imaging apparatus, and program
CN112640429A (zh) 成像元件、摄像装置、图像数据处理方法及程序
WO2021014867A1 (ja) 撮像装置およびその制御方法
JP7325211B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
WO2021014921A1 (ja) 撮像装置およびその制御方法
US10638045B2 (en) Image processing apparatus, image pickup system and moving apparatus
CN116132805A (zh) 成像元件、摄像装置、成像元件的工作方法及存储介质
CN114258672B (zh) 摄像装置、摄像装置的工作方法及存储介质
JP7357596B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム並びに撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21771132

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21771132

Country of ref document: EP

Kind code of ref document: A1