WO2025205010A1 - 撮像装置、撮像方法、並びにプログラム - Google Patents

撮像装置、撮像方法、並びにプログラム

Info

Publication number
WO2025205010A1
WO2025205010A1 PCT/JP2025/009664 JP2025009664W WO2025205010A1 WO 2025205010 A1 WO2025205010 A1 WO 2025205010A1 JP 2025009664 W JP2025009664 W JP 2025009664W WO 2025205010 A1 WO2025205010 A1 WO 2025205010A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
imaging
unit
shutter
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/009664
Other languages
English (en)
French (fr)
Inventor
裕平 吉本
玲哉 河村
達也 平野
拓哉 三橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of WO2025205010A1 publication Critical patent/WO2025205010A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time

Definitions

  • This technology relates to an imaging device, an imaging method, and a program, for example, an imaging device, an imaging method, and a program that enable reduced power consumption.
  • Imaging elements such as CCD (Charge Coupled Device) image sensors and CMOS (Complementary Metal Oxide Semiconductor) image sensors are widely used in digital cameras, mobile phones, and other devices.
  • a known method for CMOS image sensors is the column AD method, which provides an ADC (Analog-to-Digital Converter) for each pixel column and operates the ADCs in parallel, thereby increasing the readout speed.
  • Patent Document 1 proposes reducing the power consumption of imaging devices such as CMOS image sensors.
  • An imaging method is an imaging method in which an imaging device controls one of a first frame in which a read operation and a shutter operation are performed, a second frame in which a read operation is performed, a third frame in which a shutter operation is performed, or a fourth frame in which neither a read operation nor a shutter operation is performed, and sets the third frame as one of the consecutive fourth frames.
  • One aspect of the present technology is a program that causes a computer controlling an imaging device to execute processing including a step of controlling one of a first frame in which a read operation and a shutter operation are performed, a second frame in which a read operation is performed, a third frame in which a shutter operation is performed, or a fourth frame in which neither a read operation nor a shutter operation is performed, and setting the third frame as one of the consecutive fourth frames.
  • control is performed on one of the following frames: a first frame in which a read operation and a shutter operation are performed, a second frame in which a read operation is performed, a third frame in which a shutter operation is performed, or a fourth frame in which neither a read operation nor a shutter operation is performed, and the third frame is set as one of the consecutive fourth frames.
  • the imaging device may be an independent device, or may be an internal block that makes up a single device.
  • FIG. 1 is a diagram illustrating a configuration of an embodiment of an imaging device to which the present technology is applied.
  • FIG. 1 is a diagram illustrating an example of a functional configuration of an imaging device to which the present technology is applied.
  • FIG. 2 is a diagram for explaining an imaging process of the imaging device.
  • FIG. 2 is a diagram for explaining an imaging process of the imaging device.
  • FIG. 10 is a diagram for explaining setting of a shutter operating position of the imaging device.
  • FIG. 10 is a diagram for explaining setting of a shutter operating position of the imaging device.
  • FIG. 10 is a diagram for explaining setting of a shutter operating position of the imaging device.
  • FIG. 1 illustrates an example of the configuration of a PC.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system.
  • FIG. 2 is a block diagram showing an example of the functional configuration of a camera head and a CCU.
  • 1 is a block diagram showing an example of a schematic configuration of a vehicle control system;
  • FIG. 2 is an explanatory diagram showing an example of the installation positions of an outside-vehicle information detection unit and an imaging unit.
  • the present technology is applicable to electronic devices in general that use an imaging element in an image capture unit (photoelectric conversion unit), such as photographing devices such as digital still cameras and video cameras, portable terminal devices with imaging functions, copiers that use an imaging element in an image reading unit, etc.
  • the imaging element may be formed as a single chip, or may be in the form of a module having an imaging function in which the imaging unit and a signal processing unit or an optical system are packaged together.
  • Fig. 1 is a block diagram showing an example configuration of one embodiment of an imaging device 11 as an electronic device to which the present technology is applied.
  • the imaging device 11 in Fig. 1 comprises an optical unit 21 consisting of a group of lenses, etc., an imaging element (imaging device) 22, and a DSP (Digital Signal Processor) circuit 23, which is a camera signal processing circuit.
  • the imaging device 11 also comprises a frame memory 24, a display unit 25, a recording unit 26, an operation unit 27, and a power supply unit 28.
  • the DSP circuit 23, frame memory 24, display unit 25, recording unit 26, operation unit 27, and power supply unit 28 are interconnected via a bus line 29.
  • the optical unit 21 captures incident light (image light) from the subject and forms an image on the imaging surface of the image sensor 22.
  • the image sensor 22 converts the amount of incident light formed on the imaging surface by the optical unit 21 into an electrical signal on a pixel-by-pixel basis and outputs it as a pixel signal.
  • the display unit 25 is composed of a thin display such as an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display, and displays video or still images captured by the imaging element 22.
  • the recording unit 26 records the video or still images captured by the imaging element 22 on a recording medium such as a hard disk or semiconductor memory.
  • the operation unit 27 issues operation commands for the various functions of the image sensor 22.
  • the power supply unit 28 appropriately supplies various types of power to the DSP circuit 23, frame memory 24, display unit 25, recording unit 26, and operation unit 27 to these devices.
  • FIG. 2 is a block diagram showing the functions of the imaging device 11.
  • the imaging unit 51 includes an imaging element and a lens, receives light reflected from the subject, and outputs a signal corresponding to the amount of light received to the signal processing unit 52.
  • the signal processing unit 52 performs processes such as defect correction, noise reduction, and high dynamic range synthesis (HDR) on the input signal, and outputs the signal to, for example, the display unit 25 or recording unit 26 ( Figure 1).
  • the synchronization signal generation unit 53 generates a synchronization signal and supplies it to the signal processing unit 52.
  • the synchronization signal generated by the synchronization signal generation unit 53 is, for example, a vertical synchronization signal.
  • the control unit 54 controls each unit within the imaging device 11.
  • the thinning-out counter 58 When the thinning-out imaging mode is set, the thinning-out counter 58 counts the number of frames to be thinned out as frames for which no image is to be captured.
  • the shutter position setting unit 59 sets which of the frames set as thinned out in the thinning-out imaging mode will perform the shutter operation; in other words, which of the thinned-out frames will be used as the shutter frame.
  • a frame is generated for each synchronization signal by repeatedly performing read and shutter operations in synchronization with the synchronization signal XVS.
  • the period from a given synchronization signal to the next synchronization signal is considered one frame, and a frame in which read and shutter operations are performed is hereinafter referred to as a lead/shutter frame.
  • Control of the imaging of the lead shutter frame is performed by the frame control unit 57 when the mode switching unit 55 is set to normal imaging mode.
  • the frame control unit 57 executes the read operation in accordance with the synchronization signal generated by the synchronization signal generation unit 53, and executes the shutter operation in accordance with the set exposure time.
  • ⁇ Operation of the imaging device in thinning imaging mode The imaging process in the thinning imaging mode will be described with reference to Fig. 4.
  • the processing in the thinning imaging mode is performed by the frame control unit 57 based on the frame status managed by the frame status management unit 56.
  • frames F12, F13, and F14 are set as thinned frames.
  • Frame F11 is set in the frame status management unit 56 as a read/shutter frame, and based on this setting, the frame control unit 57 performs control, so that read and shutter operations are performed within one frame.
  • Frame F13 is a skipped frame, and is a frame in which no read or shutter operations are performed.
  • Information indicating that frame F13 is a skipped frame is set in the frame status management unit 56, and based on this setting, the frame control unit 57 does not perform control, resulting in a frame in which no read or shutter operations are performed.
  • Frame F14 is a thinned frame, but a shutter operation is performed to generate a signal that will be read out in the readout operation executed in the subsequent frame F15, so it is treated as a shutter frame.
  • Information indicating that frame F14 is a shutter frame is set in the frame status management unit 56, and based on this setting, the frame control unit 57 performs control to perform a shutter operation within one frame.
  • the frame status management unit 56 can be configured, for example, as a register.
  • the frame control unit 57 controls the read operation and shutter operation depending on the frame type managed by the frame status management unit 56.
  • shutter and read operations are not performed, in shutter frames, read operations are not performed, and in lead frames, shutter operations are not performed.
  • driving related to the imaging process can be stopped.
  • low power consumption can be achieved by turning off analog circuits such as clock oscillation circuits such as PLL circuits and charge pump circuits such as step-up circuits and step-down circuits.
  • ⁇ Shutter frame position> The position of the shutter frame will be described with reference to Fig. 5.
  • the shutter frame is set by the shutter position setting unit 59, and as in the example shown in Fig. 4, it is set to the last thinned-out frame of the thinned-out frames set to skip imaging, in other words, the frame before the read operation is performed.
  • the position of the shutter frame will be further described using an example in which six thinned-out frames are set as shown in Fig. 5.
  • Frames F12 to F17 are set as skip frames in which imaging is skipped. Of frames F12 to F17 set as skip frames, frame F11 is set as a lead frame, and frame F17 is set as a shutter frame. Frame F11 is set as a lead frame because a read operation is performed to read out the signal obtained by the shutter operation in the previous frame (not shown). Frame F17 is set as a shutter frame because it is the frame in which a shutter operation is performed to obtain the signal read out by the read operation performed in frame F18.
  • the frame status managed is "2'b01" for a lead frame, "2'b00” for a thinned frame, and "2'b10" for a shutter frame.
  • the frame status management unit 56 is, for example, a register, and writes the information "01" represented by two bits into the register if it is a lead frame, the information "00" if it is a thinned frame, and the information "10" if it is a shutter frame.
  • the frame control unit 57 references the frame status managed by the frame status management unit 56 to determine the type of frame to be processed and performs frame control based on this determination.
  • frame F11 is managed as information "2'b01" by the frame status management unit 56, and is assigned a counter value of "7'd0" by the thinning counter 58. Because frame F11 is not a thinned frame whose imaging is skipped, no counting is performed by the thinning counter 58, and a counter value of "0" is assigned.
  • the frame status management unit 56 manages the information "2'b00", and the thinning counter 58 assigns it a counter value of "7'd1".
  • the frame status management unit 56 manages the information "2'b00”, and the thinning counter 58 assigns it a counter value of "7'd2".
  • the frame status management unit 56 manages the information "2'b00", and the thinning counter 58 assigns it a counter value of "7'd3".
  • the frame status management unit 56 manages the information "2'b00”, and the thinning counter 58 assigns it a counter value of "7'd4".
  • the frame status management unit 56 manages the information "2'b00", and the thinning counter 58 assigns it a counter value of "7'd5".
  • the frame status management unit 56 manages the information "2'b00”, and the thinning counter 58 assigns it a counter value of "7'd6".
  • Frame F18 is managed as "2'b01" by the frame status management unit 56, and is assigned a counter value of "7'd0" by the thinning counter 58. Because frame F18 is not a thinned frame whose imaging is skipped, a counter value of "0" is assigned.
  • the shutter position setting unit 59 can set a thinned-out frame corresponding to the exposure time as the shutter frame.
  • frame F14 is set as the shutter frame.
  • frame F14 is managed as information "2'b10" by the frame status management unit 56, and is assigned a counter value of "7'd3" by the thinned-out counter 58.
  • frame F14 is set as a shutter frame in which a shutter operation is performed but a read operation is not performed, and is the third frame among the frames set as thinned-out frames.
  • the exposure time can be secured to span the four frames of frame F14, frame F15, frame F16, and frame F17, thereby expanding the exposure time constraints.
  • the shutter position setting unit 59 is configured to be able to set a frame that can achieve the desired exposure time as the shutter frame. Furthermore, the shutter position setting unit 59 can change the position of the shutter frame. This will be explained with reference to Figure 7.
  • the shutter position setting unit 59 specifies frame F14, where the counter value of the thinning counter 58 is "7'd3", as the shutter frame, and in response to this specification, the frame status management unit 56 sets the information "2'd10" as the frame status information.
  • FIG. 8 is a block diagram showing an example of the hardware configuration of a computer that executes the above-mentioned series of processes using a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 2005 is also connected to the bus 2004.
  • An input unit 2006, an output unit 2007, a storage unit 2008, a communication unit 2009, and a drive 2010 are connected to the input/output interface 2005.
  • the CPU 2001 loads a program stored in the storage unit 2008 into the RAM 2003 via the input/output interface 2005 and bus 2004, and executes the program, thereby performing the series of processes described above.
  • the program executed by the computer can be provided by being recorded on removable media 2011, such as package media.
  • the program can also be provided via wired or wireless transmission media, such as a local area network, the Internet, or digital satellite broadcasting.
  • Figure 9 is a diagram showing an example of the general configuration of an endoscopic surgery system to which the technology disclosed herein (the present technology) can be applied.
  • Figure 9 shows an operator (doctor) 11131 performing surgery on a patient 11132 on a patient bed 11133 using an endoscopic surgery system 11000.
  • the endoscopic surgery system 11000 is composed of an endoscope 11100, other surgical tools 11110 such as an insufflation tube 11111 and an energy treatment tool 11112, a support arm device 11120 that supports the endoscope 11100, and a cart 11200 on which various devices for endoscopic surgery are mounted.
  • the endoscope 11100 is composed of a lens barrel 11101, a predetermined length of which is inserted from the tip into the body cavity of the patient 11132, and a camera head 11102 connected to the base end of the lens barrel 11101.
  • the endoscope 11100 is configured as a so-called rigid scope having a rigid lens barrel 11101, but the endoscope 11100 may also be configured as a so-called flexible scope having a flexible lens barrel.
  • the camera head 11102 contains an optical system and an image sensor, and the optical system focuses reflected light (observation light) from the object being observed onto the image sensor.
  • the image sensor converts the observation light photoelectrically, generating an electrical signal corresponding to the observation light, i.e., an image signal corresponding to the observed image. This image signal is sent to the camera control unit (CCU) 11201 as RAW data.
  • CCU camera control unit
  • the CCU 11201 is composed of a CPU (Central Processing Unit), GPU (Graphics Processing Unit), etc., and controls the overall operation of the endoscope 11100 and the display device 11202. Furthermore, the CCU 11201 receives image signals from the camera head 11102 and performs various image processing on the image signals, such as development processing (demosaic processing), to display an image based on the image signals.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the display device 11202 Under the control of the CCU 11201, the display device 11202 displays an image based on the image signal that has been subjected to image processing by the CCU 11201.
  • the light source device 11203 is composed of a light source such as an LED (light emitting diode), and supplies illumination light to the endoscope 11100 when photographing the surgical site, etc.
  • a light source such as an LED (light emitting diode)
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • the user can input various information and instructions to the endoscopic surgery system 11000 via the input device 11204.
  • the user can input instructions to change the imaging conditions (type of illumination light, magnification, focal length, etc.) used by the endoscope 11100.
  • the treatment tool control device 11205 controls the operation of the energy treatment tool 11112 for cauterizing tissue, incising, sealing blood vessels, etc.
  • the insufflation device 11206 sends gas into the body cavity of the patient 11132 via the insufflation tube 11111 to inflate the body cavity in order to ensure a clear field of view for the endoscope 11100 and to ensure working space for the surgeon.
  • the recorder 11207 is a device capable of recording various types of information related to the surgery.
  • the printer 11208 is a device capable of printing various types of information related to the surgery in various formats, such as text, images, or graphs.
  • the light source device 11203 which supplies illumination light to the endoscope 11100 when photographing the surgical site, can be configured from a white light source, such as an LED, a laser light source, or a combination of these.
  • a white light source such as an LED, a laser light source, or a combination of these.
  • the white light source is configured from a combination of RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high precision, making it possible to adjust the white balance of the captured image in the light source device 11203.
  • the light source device 11203 may be controlled to change the intensity of the light it outputs at predetermined time intervals.
  • the operation of the image sensor of the camera head 11102 in synchronization with the timing of the change in light intensity to acquire images in a time-division manner and combining these images, it is possible to generate an image with a high dynamic range that is free of so-called blocked-up shadows and blown-out highlights.
  • excitation light is irradiated onto body tissue and the fluorescence from the body tissue is observed (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and excitation light corresponding to the fluorescent wavelength of the reagent is irradiated onto the body tissue to obtain a fluorescent image.
  • the light source device 11203 may be configured to supply narrow band light and/or excitation light corresponding to such special light observation.
  • Figure 10 is a block diagram showing an example of the functional configuration of the camera head 11102 and CCU 11201 shown in Figure 9.
  • the camera head 11102 has a lens unit 11401, an imaging unit 11402, a drive unit 11403, a communication unit 11404, and a camera head control unit 11405.
  • the CCU 11201 has a communication unit 11411, an image processing unit 11412, and a control unit 11413.
  • the camera head 11102 and the CCU 11201 are connected to each other via a transmission cable 11400 so that they can communicate with each other.
  • Lens unit 11401 is an optical system provided at the connection point with the lens barrel 11101. Observation light taken in from the tip of the lens barrel 11101 is guided to the camera head 11102 and enters the lens unit 11401. Lens unit 11401 is composed of a combination of multiple lenses, including a zoom lens and a focus lens.
  • the imaging unit 11402 may comprise one imaging element (a so-called single-chip type) or multiple elements (a so-called multi-chip type). If the imaging unit 11402 is configured as a multi-chip type, then, for example, each imaging element may generate an image signal corresponding to each of the RGB colors, and these may then be combined to produce a color image. Alternatively, the imaging unit 11402 may be configured to have a pair of imaging elements for acquiring image signals for the right and left eyes, respectively, corresponding to a 3D (dimensional) display. 3D display allows the surgeon 11131 to more accurately grasp the depth of the biological tissue at the surgical site. Note that if the imaging unit 11402 is configured as a multi-chip type, multiple lens units 11401 may be provided corresponding to each imaging element.
  • the imaging unit 11402 does not necessarily have to be provided in the camera head 11102.
  • the imaging unit 11402 may be provided inside the lens barrel 11101, immediately after the objective lens.
  • the drive unit 11403 is composed of an actuator, and under the control of the camera head control unit 11405, moves the zoom lens and focus lens of the lens unit 11401 a predetermined distance along the optical axis. This allows the magnification and focus of the image captured by the imaging unit 11402 to be adjusted as appropriate.
  • the communication unit 11404 is composed of a communication device for sending and receiving various information to and from the CCU 11201.
  • the communication unit 11404 transmits the image signal obtained from the imaging unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
  • the communication unit 11411 is composed of a communication device for sending and receiving various information to and from the camera head 11102.
  • the communication unit 11411 receives image signals transmitted from the camera head 11102 via the transmission cable 11400.
  • the image processing unit 11412 performs various image processing operations on the image signal, which is RAW data transmitted from the camera head 11102.
  • control unit 11413 causes the display device 11202 to display the captured image showing the surgical area, etc., based on the image signal that has been image processed by the image processing unit 11412.
  • the control unit 11413 may recognize various objects in the captured image using various image recognition technologies.
  • the control unit 11413 can recognize surgical tools such as forceps, specific biological parts, bleeding, mist generated when using the energy treatment tool 11112, etc., by detecting the shape and color of the edges of objects included in the captured image.
  • the control unit 11413 may use the recognition results to superimpose various surgical support information on the image of the surgical area. By superimposing the surgical support information and presenting it to the surgeon 11131, the burden on the surgeon 11131 can be reduced and the surgeon 11131 can proceed with the surgery reliably.
  • the transmission cable 11400 connecting the camera head 11102 and the CCU 11201 is an electrical signal cable for electrical signal communication, an optical fiber for optical communication, or a composite cable of these.
  • communication is performed wired using a transmission cable 11400, but communication between the camera head 11102 and the CCU 11201 may also be performed wirelessly.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be realized as a device mounted on any type of moving body, such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, or a robot.
  • FIG. 11 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile object control system to which the technology disclosed herein can be applied.
  • the drivetrain control unit 12010 controls the operation of devices related to the vehicle's drivetrain in accordance with various programs.
  • the drivetrain control unit 12010 functions as a control device for a driveforce generating device such as an internal combustion engine or drive motor that generates vehicle driveforce, a driveforce transmission mechanism that transmits driveforce to the wheels, a steering mechanism that adjusts the vehicle's steering angle, and a braking device that generates vehicle braking force.
  • the body system control unit 12020 controls the operation of various devices installed in the vehicle body according to various programs.
  • the body system control unit 12020 functions as a control device for a keyless entry system, a smart key system, a power window device, or various lamps such as headlamps, backup lamps, brake lamps, turn signals, and fog lamps.
  • radio waves transmitted from a portable device that serves as a key or signals from various switches can be input to the body system control unit 12020.
  • the body system control unit 12020 accepts these radio waves or signal inputs and controls the vehicle's door lock device, power window device, lamps, etc.
  • the outside vehicle information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the outside vehicle information detection unit 12030 is connected to an imaging unit 12031.
  • the outside vehicle information detection unit 12030 causes the imaging unit 12031 to capture images outside the vehicle and receives the captured images.
  • the outside vehicle information detection unit 12030 may perform object detection processing or distance detection processing for people, cars, obstacles, signs, characters on the road surface, etc. based on the received images.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of light received.
  • the imaging unit 12031 can output the electrical signal as an image, or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light, or may be invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects information inside the vehicle. Connected to the in-vehicle information detection unit 12040 is, for example, a driver state detection unit 12041 that detects the driver's state.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 may calculate the driver's level of fatigue or concentration based on the detection information input from the driver state detection unit 12041, or may determine whether the driver is dozing off.
  • the microcomputer 12051 can calculate control target values for the driving force generating device, steering mechanism, or braking device based on information inside and outside the vehicle acquired by the outside vehicle information detection unit 12030 or the inside vehicle information detection unit 12040, and output control commands to the drive system control unit 12010.
  • the microcomputer 12051 can perform cooperative control aimed at realizing the functions of an ADAS (Advanced Driver Assistance System), including vehicle collision avoidance or impact mitigation, following driving based on the distance between vehicles, maintaining vehicle speed, vehicle collision warning, or vehicle lane departure warning.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, steering mechanism, braking device, etc. based on information about the vehicle's surroundings acquired by the outside vehicle information detection unit 12030 or the inside vehicle information detection unit 12040, thereby enabling cooperative control aimed at autonomous driving, which allows the vehicle to travel autonomously without relying on driver operation.
  • the microcomputer 12051 can output control commands to the body system control unit 12020 based on information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 can control the headlamps according to the position of a preceding vehicle or an oncoming vehicle detected by the vehicle exterior information detection unit 12030, and perform cooperative control aimed at preventing glare, such as switching from high beams to low beams.
  • Figure 12 shows an example of the installation location of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as the front nose, side mirrors, rear bumper, back door, and the top of the windshield inside the vehicle cabin of the vehicle 12100.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the top of the windshield inside the vehicle cabin mainly capture images of the front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided on the side mirrors mainly capture images of the sides of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or back door mainly captures images of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the top of the windshield inside the vehicle cabin is mainly used to detect leading vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, etc.
  • Imaging range 12111 indicates the imaging range of imaging unit 12101 provided on the front nose
  • imaging ranges 12112 and 12113 indicate the imaging ranges of imaging units 12102 and 12103 provided on the side mirrors, respectively
  • imaging range 12114 indicates the imaging range of imaging unit 12104 provided on the rear bumper or back door.
  • At least one of the image capturing units 12101 to 12104 may have a function for acquiring distance information.
  • at least one of the image capturing units 12101 to 12104 may be a stereo camera consisting of multiple image capturing elements, or an image capturing element having pixels for phase difference detection.
  • the microcomputer 12051 can classify and extract three-dimensional object data regarding three-dimensional objects into categories such as motorcycles, standard vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects, and use this data for automatic obstacle avoidance. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into those that are visible to the driver of the vehicle 12100 and those that are difficult to see.
  • the microcomputer 12051 determines the collision risk, which indicates the risk of collision with each obstacle, and when the collision risk is equal to or exceeds a set value and a collision is possible, it can provide driving assistance to avoid a collision by outputting an alarm to the driver via the audio speaker 12061 or the display unit 12062, or by performing forced deceleration or evasive steering via the drivetrain control unit 12010.
  • a computer that controls the imaging device performing control over any one of a first frame in which a read operation and a shutter operation are performed, a second frame in which a read operation is performed, a third frame in which a shutter operation is performed, and a fourth frame in which neither a read operation nor a shutter operation is performed; a program for executing a process including a step of setting the third frame to one of the consecutive fourth frames.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、低消費電力化した場合においても、所望の露光時間で撮像が行えるようにする撮像装置、撮像方法、並びにプログラムに関する。 リード動作とシャッタ動作が行われる第１のフレーム、リード動作が行われる第２のフレーム、シャッタ動作が行われる第３のフレーム、またはリード動作とシャッタ動作のどちらも行われない第４のフレームのうちのいずれかのフレームに対する制御を行うフレーム制御部と、第３のフレームを、連続する第４のフレームのうちの１フレームに設定するフレーム設定部とを備える。本技術は、例えば撮像装置に適用できる。

Description

撮像装置、撮像方法、並びにプログラム
　本技術は、撮像装置、撮像方法、並びにプログラムに関し、例えば、消費電量を低減することができるようにした撮像装置、撮像方法、並びにプログラムに関する。
　CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子は、デジタルカメラや携帯電話機等に広く採用されている。ＣＭＯＳイメージセンサにおいて、画素列毎にＡＤＣ（ＡＤコンバータ）を設け、ＡＤＣを並列に動作させることにより、読み出し速度を高速化するカラムＡＤ方式が知られている。例えば特許文献１においては、このようなＣＭＯＳイメージセンサ等の撮像装置の消費電力を低減することが提案されている。
特開2013-240002号公報
　撮像装置においてさらなる消費電力の低減が望まれている。消費電力を低減した撮像においても、撮像処理に制限が掛かるようなことなく、所望とされる撮像処理が行われるようにすることが望まれている。
　本技術は、このような状況に鑑みてなされたものであり、消費電力を低減することができ、所望な撮像処理に制限がかかるようなことを防ぐことができるようにするものである。
　本技術の一側面の撮像装置は、リード動作とシャッタ動作が行われる第１のフレーム、リード動作が行われる第２のフレーム、シャッタ動作が行われる第３のフレーム、またはリード動作とシャッタ動作のどちらも行われない第４のフレームのうちのいずれかのフレームに対する制御を行うフレーム制御部と、前記第３のフレームを、連続する前記第４のフレームのうちの１フレームに設定するフレーム設定部とを備える撮像装置である。
　本技術の一側面の撮像方法は、撮像装置が、リード動作とシャッタ動作が行われる第１のフレーム、リード動作が行われる第２のフレーム、シャッタ動作が行われる第３のフレーム、またはリード動作とシャッタ動作のどちらも行われない第４のフレームのうちのいずれかのフレームに対する制御を行い、前記第３のフレームを、連続する前記第４のフレームのうちの１フレームに設定する撮像方法である。
　本技術の一側面のプログラムは、撮像装置を制御するコンピュータに、リード動作とシャッタ動作が行われる第１のフレーム、リード動作が行われる第２のフレーム、シャッタ動作が行われる第３のフレーム、またはリード動作とシャッタ動作のどちらも行われない第４のフレームのうちのいずれかのフレームに対する制御を行い、前記第３のフレームを、連続する前記第４のフレームのうちの１フレームに設定するステップを含む処理を実行させるためのプログラムである。
　本技術の一側面の撮像装置、撮像方法、並びにプログラムにおいては、リード動作とシャッタ動作が行われる第１のフレーム、リード動作が行われる第２のフレーム、シャッタ動作が行われる第３のフレーム、またはリード動作とシャッタ動作のどちらも行われない第４のフレームのうちのいずれかのフレームに対する制御が行われ、第３のフレームが、連続する第４のフレームのうちの１フレームに設定される。
　なお、撮像装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　なお、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
本技術を適用した撮像装置の一実施の形態の構成を示す図である。 本技術を適用した撮像装置の機能構成例を示す図である。 撮像装置の撮像処理について説明するための図である。 撮像装置の撮像処理について説明するための図である。 撮像装置のシャッタ動作位置の設定について説明するための図である。 撮像装置のシャッタ動作位置の設定について説明するための図である。 撮像装置のシャッタ動作位置の設定について説明するための図である。 PCの構成例を示す図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
　＜撮像装置の構成例＞
　本技術は、デジタルスチルカメラやビデオカメラ等の撮影装置や、撮像機能を有する携帯端末装置や、画像読取部に撮像素子を用いる複写機など、画像取込部（光電変換部）に撮像素子を用いる電子機器全般に対して適用可能である。撮像素子は、ワンチップとして形成された形態であってもよいし、撮像部と信号処理部または光学系とがまとめてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。
　図１は、本技術を適用した電子機器としての、撮像装置１１の一実施の形態の構成例を示すブロック図である。図１の撮像装置１１は、レンズ群などからなる光学部２１、撮像素子（撮像デバイス）２２、およびカメラ信号処理回路であるDSP(Digital Signal Processor)回路２３を備える。撮像装置１１は、フレームメモリ２４、表示部２５、記録部２６、操作部２７、および電源部２８も備える。DSP回路２３、フレームメモリ２４、表示部２５、記録部２６、操作部２７および電源部２８は、バスライン２９を介して相互に接続されている。
　光学部２１は、被写体からの入射光（像光）を取り込んで撮像素子２２の撮像面上に結像する。撮像素子２２は、光学部２１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。
　表示部２５は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等の薄型ディスプレイで構成され、撮像素子２２で撮像された動画または静止画を表示する。記録部２６は、撮像素子２２で撮像された動画または静止画を、ハードディスクや半導体メモリ等の記録媒体に記録する。
　操作部２７は、ユーザによる操作の下に、撮像素子２２が持つ様々な機能について操作指令を発する。電源部２８は、DSP回路２３、フレームメモリ２４、表示部２５、記録部２６および操作部２７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
　＜撮像装置の機能＞
　図２は、撮像装置１１の機能を表すブロック図である。
　撮像装置１１は、撮像部５１、信号処理部５２、同期信号生成部５３、制御部５４、モード切替部５５、フレームステータス管理部５６、フレーム制御部５７、間引きカウンタ５８、およびシャッタ位置設定部５９を備える構成とされている。各ブロックは、ハードウエアまたは／およびソフトウエアにより構成される。
　撮像部５１は、撮像素子やレンズを含み、被写体からの反射光を受光し、受光量に応じた信号を信号処理部５２に出力する。信号処理部５２は、欠陥補正、ノイズリダクション、ハイダイナミックレンジ合成処理（ＨＤＲ）などの処理を、入力された信号に対して施し、例えば表示部２５や記録部２６（図１）に出力する。
　同期信号生成部５３は、同期信号を生成し、信号処理部５２に供給する。同期信号生成部５３が生成する同期信号は、例えば、垂直同期信号である。制御部５４は、撮像装置１１内の各部を制御する。
　モード切替部５５は、後述する通常撮像モードと間引き撮像モードと切り替える処理を実行する。フレームステータス管理部５６は、後述するリードシャッタフレーム、リードフレーム、間引きフレーム、およびシャッタフレームの４種類のフレームのうちの、どのフレームを処理しているのかを管理する。フレーム制御部５７は、フレームステータス管理部５６で管理されているフレームステータスに応じた処理を実行する。
　間引きカウンタ５８は、間引き撮像モードに設定されている場合に、撮像を行わないフレームとして間引くフレーム数をカウントする。シャッタ位置設定部５９は、間引き撮像モードの場合に間引くとして設定されたフレームのどのフレームにおいてシャッタ動作を行うか、換言すれば、間引きフレームのうちのどの間引きフレームをシャッタフレームとするかを設定する。
　＜撮像装置の通常撮像モード時の動作＞
　撮像装置１１が撮像処理を行う場合の動作について、図３を参照して説明する。以下の説明においては、同期信号毎に、フレームを生成（出力）するモードを、通常撮像モードと記述し、通常撮像モード時に撮像されるフレーム数よりも少ないフレーム数を撮像するモードを、間引き撮像モードと記述する。図３を参照して通常撮像モード時の撮像について説明し、図４を参照して間引き撮像モード時の撮像について説明する。
　通常撮像モードにおける撮像は、図３に示すように、同期信号XVSに同期して、リード動作とシャッタ動作が行われる処理が繰り返し行われることで、同期信号毎にフレームが生成される。所定の同期信号から次の同期信号までを１フレームとし、その１フレーム内にリード動作とシャッタ動作が行われるフレームを、以下、リードシャッタフレームと記述する。
　リードシャッタフレームの撮像に関する制御は、モード切替部５５において通常撮像モードに設定されているときに、フレーム制御部５７により行われる。フレーム制御部５７は、同期信号生成部５３が生成する同期信号に合わせて、リード動作を実行し、設定されている露光時間に合わせてシャッタ動作を実行する。
　＜撮像装置の間引き撮像モード時の動作＞
　図４を参照し、間引き撮像モードにおける撮像処理について説明する。間引き撮像モードの処理は、モード切替部５５において間引き撮像モードに設定されている場合に、フレームステータス管理部５６により管理されているフレームのステータスに基づき、フレーム制御部５７により行われる。
　図４に示した例では、フレームＦ１２、フレームＦ１３、およびフレームＦ１４が間引きフレームとして設定されている場合を示している。
　フレームＦ１１は、フレームステータス管理部５６に、リードシャッタフレームであるとの情報が設定され、その設定に基づき、フレーム制御部５７が制御を行うことで、１フレーム内でリード動作とシャッタ動作が行われる。
　フレームＦ１２は、間引きフレームであるが、前のフレームＦ１１において実行されたシャッタ動作で得られた信号の読み出しが行われるため、リードフレームとして扱われる。フレームＦ１２は、フレームステータス管理部５６に、リードフレームであるとの情報が設定され、その設定に基づき、フレーム制御部５７が制御を行うことで、１フレーム内でリード動作が行われる。
　フレームＦ１３は、間引きフレームであり、リード動作やシャッタ動作は行われないフレームである。フレームＦ１３は、フレームステータス管理部５６に、間引きフレームであるとの情報が設定され、その設定に基づき、フレーム制御部５７が制御を行わないことで、１フレーム内でリード動作やシャッタ動作が実行されないフレームとされる。
　フレームＦ１４は、間引きフレームであるが、後のフレームＦ１５において実行される読み出し動作で読み出される信号を生成するために、シャッタ動作が行われるため、シャッタフレームとして扱われる。フレームＦ１４は、フレームステータス管理部５６に、シャッタフレームであるとの情報が設定され、その設定に基づき、フレーム制御部５７が制御を行うことで、１フレーム内でシャッタ動作が行われる。
　このように、本実施の形態においては、リードシャッタフレーム、リードフレーム、間引きフレーム、シャッタフレームという４種類のフレームが設定されており、フレームステータス管理部５６により、フレームの種類が管理されている。フレームステータス管理部５６は、例えばレジスタで構成することができる。フレーム制御部５７は、フレームステータス管理部５６で管理しているフレームの種類に応じて、リード動作、シャッタ動作を制御する。
　間引きフレームにおいては、シャッタ動作とリード動作が行われず、シャッタフレームにおいては、リード動作が行われず、リードフレームにおいては、シャッタ動作が行われない。このシャッタ動作やリード動作が行われない区間は、撮像処理に係わる駆動を停止することができる。撮像処理に係わる駆動を停止することができる区間において、例えばPLL回路などのクロック発振回路や、昇圧回路や降圧回路などのチャージポンプ回路などのアナログ回路をオフにすることで低消費電力を実現することができる。
　間引き撮像モードの場合に、撮像がスキップされるリードフレーム、間引きフレーム、シャッタフレームにおいて、リード動作やシャッタ動作が行われない区間は、クロック発振回路やアナログ回路などのうちの少なくとも１つの回路がオフにされ、低消費電力で駆動する低消費電力区間とされる。リードシャッタフレームも、リード動作やシャッタ動作を行わない区間があり、低消費電力区間とすることができる区間（時間）がある場合、クロック発振回路やアナログ回路がオフにされ、低消費電力区間とされ、低消費電力で駆動されるように構成することができる。
　撮像をスキップするフレームを設けることで、そのフレームにおいては少なくとも低消費電力で駆動する区間とすることができるため、撮像装置１１を低消費電力とすることができる。また、撮像をスキップするフレームを設けることで、リード動作だけ行うフレームやシャッタ動作だけ行うフレームが設定され、それらのフレームにおいても、低消費電力区間を設けることができるため、撮像装置１１を低消費電力とすることができる。
　＜シャッタフレームの位置＞
　図５を参照し、シャッタフレームの位置について説明をする。シャッタフレームは、シャッタ位置設定部５９により設定されるが、図４に例示した場合のように、撮像をスキップするとして設定された間引きフレームのうちの最後の間引きフレーム、換言すれば、リード動作が行われる前のフレームに設定される。図５に示すように、間引きフレームが、６フレーム設定されている場合を例に挙げてさらに、シャッタフレームの位置について説明を加える。
　フレームＦ１２からフレームＦ１７までが、撮像をスキップする間引きフレームとして設定されている。間引きフレームに設定されているフレームＦ１２からフレームＦ１７までのうち、フレームＦ１１はリードフレームに設定され、フレームＦ１７は、シャッタフレームに設定されている。フレームＦ１１は、図示していない前のフレームでのシャッタ動作で得られた信号を読み出すためのリード動作を行うため、リードフレームに設定される。フレームＦ１７は、フレームＦ１８で実行されるリード動作で読み出される信号を取得するために行われるシャッタ動作が実行されるフレームであるため、シャッタフレームに設定される。
　フレームステータス管理部５６により管理されるフレームステータスについて説明を加える。図５に示した例では、フレームステータスとしてリードフレームの場合、“２’ｂ０１”との情報が管理され、間引きフレームの場合、“２’ｂ００”との情報が管理され、シャッタフレームの場合、“２’ｂ１０”との情報が管理される。
　“２’ｂ”は、２ビット幅の２進数表記であることを表し、“２’ｂ”の後の“０１”は、シャッタ動作はなく、リード動作はあることを表し、“００”は、シャッタ動作とリード動作の両方がないことを表し、“１０”は、シャッタ動作はあり、リード動作はないことを表す。図示していないが、リードシャッタフレームの場合、リード動作とシャッタ動作の両方が行われるため、“２’ｂ１１”との情報が管理される。
　フレームステータス管理部５６は、例えばレジスタであり、そのレジスタに、リードフレームである場合、２ビットで表される“０１”との情報を書き込み、間引きフレームである場合、“００”との情報を書き込み、シャッタフレームである場合、“１０”との情報を書き込む。フレーム制御部５７は、フレームステータス管理部５６で管理されているフレームステータスを参照することで、処理対象とされるフレームの種類を判別し、その判別に基づいてフレーム制御を行う。
　間引きカウンタ５８は、間引き撮像モードに設定され、撮像をスキップする（間引く）として設定されたフレーム数をカウントする。図５に示した例では、間引くとして設定されたフレーム数が６である場合を示している。
　フレームＦ１２からフレームＦ１７までが間引くフレームとして設定されており、間引きカウンタ５８には、フレームＦ１２から順に、“７’ｄ１”、“７’ｄ２”、“７’ｄ３”、“７’ｄ４”、“７’ｄ５”、“７’ｄ６”とのカウント値が記載されている。“７’ｄ”は、７ビット幅の１０進数表記であることを表し、“７’ｄ”の後の数値は、カウント値を表し、１からカウントが開始される。カウント値は、連続する間引きフレームのうちの何番目の間引きフレームであるかを表す。
　図５に示した例では、フレームＦ１１には、フレームステータス管理部５６により“２’ｂ０１”との情報が管理され、間引きカウンタ５８により“７’ｄ０”とのカウンタ値が割り振られている。フレームＦ１１は、撮像がスキップされる間引きフレームではないため、間引きカウンタ５８によるカウントは行われず、カウンタ値として“０”が割り振られる。
　フレームＦ１２には、フレームステータス管理部５６により“２’ｂ００”との情報が管理され、間引きカウンタ５８により“７’ｄ１”とのカウンタ値が割り振られている。フレームＦ１３には、フレームステータス管理部５６により“２’ｂ００”との情報が管理され、間引きカウンタ５８により“７’ｄ２”とのカウンタ値が割り振られている。
　フレームＦ１４には、フレームステータス管理部５６により“２’ｂ００”との情報が管理され、間引きカウンタ５８により“７’ｄ３”とのカウンタ値が割り振られている。フレームＦ１５には、フレームステータス管理部５６により“２’ｂ００”との情報が管理され、間引きカウンタ５８により“７’ｄ４”とのカウンタ値が割り振られている。
　フレームＦ１６には、フレームステータス管理部５６により“２’ｂ００”との情報が管理され、間引きカウンタ５８により“７’ｄ５”とのカウンタ値が割り振られている。フレームＦ１７には、フレームステータス管理部５６により“２’ｂ００”との情報が管理され、間引きカウンタ５８により“７’ｄ６”とのカウンタ値が割り振られている。
　フレームＦ１８には、フレームステータス管理部５６により“２’ｂ０１”との情報が管理され、間引きカウンタ５８により“７’ｄ０”とのカウンタ値が割り振られている。フレームＦ１８は、撮像がスキップされる間引きフレームではないため、カウンタ値として“０”が割り振られる。
　図５に示した例では、シャッタフレームは、フレームＦ１７に設定されている。フレームＦ１７で行われたシャッタ動作で得られた信号は、次のフレームＦ１８で行われるリード動作で読み出される。この場合、露光時間は、フレームＦ１７の１フレームの長さ（同期信号XVSが出される時刻ｔ１７から時刻t１８までの時間）内になるという制約がある。
　シャッタ位置設定部５９は、１フレーム以上の露光時間を設定したい場合、露光時間に応じた間引きフレームをシャッタフレームとして設定することができる。図６に示した例では、フレームＦ１４がシャッタフレームに設定されている。図６に示した例では、フレームＦ１４には、フレームステータス管理部５６により“２’ｂ１０”との情報が管理され、間引きカウンタ５８により“７’ｄ３”とのカウンタ値が割り振られている。図６に示した例においてフレームＦ１４は、シャッタ動作が行われ、リード動作は行われないシャッタフレームに設定されており、間引きフレームとして設定されたフレームのうちの３番目のフレームである。
　フレームＦ１４をシャッタフレームとすることで、フレームＦ１４、フレームＦ１５、フレームＦ１６、およびフレームＦ１７の４フレームに跨いだ時間を露光時間として確保できることになり、露光時間の制約を拡張することができる。
　シャッタ位置設定部５９は、所望とされる露光時間を実現できるフレームをシャッタフレームに設定することができるように構成されている。さらにシャッタ位置設定部５９は、シャッタフレームの位置を変更することができる。このことについて図７を参照して説明する。
　図７に示した例では、図６に示した例と同じく、フレームＦ１４がシャッタフレームに設定されている場合を示している。シャッタ位置設定部５９は、間引きカウンタ５８のカウンタ値が“７’ｄ３”のフレームＦ１４を、シャッタフレームに指定し、その指定に応じてフレームステータス管理部５６は、フレームステータスの情報として“２’ｄ１０”という情報を設定する。
　時刻ｔ１５から時刻ｔ１６の間（フレームＦ１５）のときに、露光時間の変更が指示された場合、時刻t１６で発行される同期信号XVSにおいて、その露光時間の変更が反映される。すなわち、シャッタ位置設定部５９は、間引きカウンタ５８のカウンタ値が“７’ｄ５”のフレームＦ１６を、シャッタフレームに再指定し、その再指定に応じてフレームステータス管理部５６は、フレームＦ１６のフレームステータスの情報を“２’ｄ１０”という情報に変更する。
　フレームＦ１６のフレームステータスの情報が“２’ｄ１０”という情報に変更されたことにより、フレーム制御部５７は、フレームＦ１６において、シャッタ動作が実行される。このような処理が実行されることで、設定されたシャッタフレームの位置を変更することができる。
　図７では、フレームＦ１６がシャッタフレームに変更される場合を示したが、変更された露光時間により、フレームＦ１７がシャッタフレームに変更される場合もある。このように、シャッタ位置設定部５９は、露光時間が変更された場合、変更後の露光時間に適した位置の間引きフレームを、シャッタ動作を行うシャッタフレームに変更する（設定する）ことができる。
　シャッタ位置設定部５９は、連続する間引きフレームのうちの１フレームにシャッタフレームを割り振ることができる。よって、間引きフレームが連続するような設定の場合であっても、所望とされる露光時間を実現できる位置に、シャッタフレーム（シャッタ動作）を設定することができ、所望とされる撮像を行うことができる。
　上述したように、１以上のフレームの撮像処理をスキップする間引き撮像モードを設け、間引き撮像モードにおいては、クロック発振回路やアナログ回路がオフにされる低消費電力区間とすることで、撮像装置１１を低消費電力化することができる。
　低電力区間が設けられた間引き撮像モードの場合においても、所望の撮像、例えば所望とされる露光時間で撮像を行えるようにすることで、低電力化したことにより撮像処理に制限が掛かるようなことをなくすことができる。よって本実施の形態によれば、低電力化を実現しつつ、所望な撮像処理を実行することができる。
　＜記録媒体について＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）２００１、ＲＯＭ（Read Only Memory）２００２、ＲＡＭ（Random Access Memory）２００３は、バス２００４により相互に接続されている。バス２００４には、さらに、入出力インタフェース２００５が接続されている。入出力インタフェース２００５には、入力部２００６、出力部２００７、記憶部２００８、通信部２００９、及びドライブ２０１０が接続されている。
　入力部２００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２００７は、ディスプレイ、スピーカなどよりなる。記憶部２００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２００９は、ネットワークインタフェースなどよりなる。ドライブ２０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２０１１を駆動する。
　以上のように構成されるコンピュータでは、ＣＰＵ２００１が、例えば、記憶部２００８に記憶されているプログラムを、入出力インタフェース２００５及びバス２００４を介して、ＲＡＭ２００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（ＣＰＵ２００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア２０１１をドライブ２０１０に装着することにより、入出力インタフェース２００５を介して、記憶部２００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２００９で受信し、記憶部２００８にインストールすることができる。その他、プログラムは、ＲＯＭ２００２や記憶部２００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　＜内視鏡手術システムへの応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
　図９は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
　図９では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
　内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。
　ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
　表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
　光源装置１１２０３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
　入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
　処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　図１０は、図９に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
　カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
　レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
　撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
　また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
　また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。
　カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
　通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
　また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
　画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
　制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
　また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
　カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
　＜移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１１に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１１の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１２は、撮像部１２０３１の設置位置の例を示す図である。
　図１２では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１２には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
（１）
　リード動作とシャッタ動作が行われる第１のフレーム、リード動作が行われる第２のフレーム、シャッタ動作が行われる第３のフレーム、またはリード動作とシャッタ動作のどちらも行われない第４のフレームのうちのいずれかのフレームに対する制御を行うフレーム制御部と、
　前記第３のフレームを、連続する前記第４のフレームのうちの１フレームに設定するフレーム設定部と
　を備える撮像装置。
（２）
　前記連続する前記第４のフレームに対して何番目の第４のフレームであるかをカウントするカウンタをさらに備え、
　前記フレーム設定部は、前記カウンタのカウンタ値を指定することで、前記第３のフレームを設定する
　前記（１）に記載の撮像装置。
（３）
　前記フレーム設定部は、露光時間の変更が指示された場合、変更後の前記露光時間に適した前記第４のフレームを、前記第３のフレームに設定し直す
　前記（１）または（２）に記載の撮像装置。
（４）
　フレーム制御部により前記第４のフレームが制御されている場合、撮像駆動を停止する
　前記（１）から（３）のいずれかに記載の撮像装置。
（５）
　フレーム制御部により前記第４のフレームが制御されている場合、クロック発振回路、電圧の昇圧回路、または降圧回路の少なくとも１つの回路が停止される
　前記（１）から（３）のいずれかに記載の撮像装置。
（６）
　撮像装置が、
　リード動作とシャッタ動作が行われる第１のフレーム、リード動作が行われる第２のフレーム、シャッタ動作が行われる第３のフレーム、またはリード動作とシャッタ動作のどちらも行われない第４のフレームのうちのいずれかのフレームに対する制御を行い、
　前記第３のフレームを、連続する前記第４のフレームのうちの１フレームに設定する
　撮像方法。
（７）
　撮像装置を制御するコンピュータに、
　リード動作とシャッタ動作が行われる第１のフレーム、リード動作が行われる第２のフレーム、シャッタ動作が行われる第３のフレーム、またはリード動作とシャッタ動作のどちらも行われない第４のフレームのうちのいずれかのフレームに対する制御を行い、
　前記第３のフレームを、連続する前記第４のフレームのうちの１フレームに設定する
　ステップを含む処理を実行させるためのプログラム。
　１１　撮像装置，　２１　光学部，　２２　撮像素子，　２３　DSP回路，　２４　フレームメモリ，　２５　表示部，　２６　記録部，　２７　操作部，　２８　電源部，　２９　バスライン，　５１　撮像部，　５２　信号処理部，　５３　同期信号生成部，　５４　制御部，　５５　モード切替部，　５６　フレームステータス管理部，　５７　フレーム制御部，　５８　間引きカウンタ，　５９　シャッタ位置設定部

Claims (7)

  1. 　リード動作とシャッタ動作が行われる第１のフレーム、リード動作が行われる第２のフレーム、シャッタ動作が行われる第３のフレーム、またはリード動作とシャッタ動作のどちらも行われない第４のフレームのうちのいずれかのフレームに対する制御を行うフレーム制御部と、
    　前記第３のフレームを、連続する前記第４のフレームのうちの１フレームに設定するフレーム設定部と
    　を備える撮像装置。
  2. 　前記連続する前記第４のフレームに対して何番目の第４のフレームであるかをカウントするカウンタをさらに備え、
    　前記フレーム設定部は、前記カウンタのカウンタ値を指定することで、前記第３のフレームを設定する
    　請求項１に記載の撮像装置。
  3. 　前記フレーム設定部は、露光時間の変更が指示された場合、変更後の前記露光時間に適した前記第４のフレームを、前記第３のフレームに設定し直す
    　請求項１に記載の撮像装置。
  4. 　フレーム制御部により前記第４のフレームが制御されている場合、撮像駆動を停止する
    　請求項１に記載の撮像装置。
  5. 　フレーム制御部により前記第４のフレームが制御されている場合、クロック発振回路、電圧の昇圧回路、または降圧回路の少なくとも１つの回路が停止される
    　請求項１に記載の撮像装置。
  6. 　撮像装置が、
    　リード動作とシャッタ動作が行われる第１のフレーム、リード動作が行われる第２のフレーム、シャッタ動作が行われる第３のフレーム、またはリード動作とシャッタ動作のどちらも行われない第４のフレームのうちのいずれかのフレームに対する制御を行い、
    　前記第３のフレームを、連続する前記第４のフレームのうちの１フレームに設定する
    　撮像方法。
  7. 　撮像装置を制御するコンピュータに、
    　リード動作とシャッタ動作が行われる第１のフレーム、リード動作が行われる第２のフレーム、シャッタ動作が行われる第３のフレーム、またはリード動作とシャッタ動作のどちらも行われない第４のフレームのうちのいずれかのフレームに対する制御を行い、
    　前記第３のフレームを、連続する前記第４のフレームのうちの１フレームに設定する
    　ステップを含む処理を実行させるためのプログラム。
PCT/JP2025/009664 2024-03-28 2025-03-13 撮像装置、撮像方法、並びにプログラム Pending WO2025205010A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024053657 2024-03-28
JP2024-053657 2024-03-28

Publications (1)

Publication Number Publication Date
WO2025205010A1 true WO2025205010A1 (ja) 2025-10-02

Family

ID=97219593

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/009664 Pending WO2025205010A1 (ja) 2024-03-28 2025-03-13 撮像装置、撮像方法、並びにプログラム

Country Status (1)

Country Link
WO (1) WO2025205010A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023048A (ja) * 1998-07-03 2000-01-21 Sony Corp ビデオカメラ
JP2002209145A (ja) * 2001-01-09 2002-07-26 Sanyo Electric Co Ltd 固体撮像装置
JP2007110337A (ja) * 2005-10-12 2007-04-26 Sanyo Electric Co Ltd 撮影装置
JP2023031698A (ja) * 2021-08-25 2023-03-09 株式会社ニコン 撮像素子および撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023048A (ja) * 1998-07-03 2000-01-21 Sony Corp ビデオカメラ
JP2002209145A (ja) * 2001-01-09 2002-07-26 Sanyo Electric Co Ltd 固体撮像装置
JP2007110337A (ja) * 2005-10-12 2007-04-26 Sanyo Electric Co Ltd 撮影装置
JP2023031698A (ja) * 2021-08-25 2023-03-09 株式会社ニコン 撮像素子および撮像装置

Similar Documents

Publication Publication Date Title
JP7600129B2 (ja) 撮像装置
JP2022044653A (ja) 撮像装置
JP7520804B2 (ja) 信号処理方法および撮像装置
US11889177B2 (en) Electronic device and solid-state imaging device
JP2021019171A (ja) 固体撮像素子および電子機器
WO2020158400A1 (ja) 固体撮像装置および電子機器
CN115225813A (zh) 图像处理装置、图像处理方法和电子设备
US11778345B2 (en) Information processing device, information processing method, and information processing program
WO2021075116A1 (ja) 固体撮像装置及び電子機器
WO2023171146A1 (ja) 光検出装置
WO2021029252A1 (ja) 撮像装置および撮像方法
JP7504802B2 (ja) 固体撮像素子、固体撮像装置及び電子機器
US20260095653A1 (en) Imaging device and electronic device
US20250392811A1 (en) Imaging apparatus, imaging method, and program
WO2018051819A1 (ja) 撮像素子および駆動方法、並びに電子機器
WO2025205010A1 (ja) 撮像装置、撮像方法、並びにプログラム
WO2025204834A1 (ja) 撮像装置、撮像方法、並びにプログラム
JP7830477B2 (ja) 撮影装置、撮影方法、プログラム
CN116325782A (zh) 摄像装置
JP2024075798A (ja) 撮像装置
WO2021090727A1 (ja) 撮像装置及び電子機器
WO2024101076A1 (ja) 故障判定回路、撮像装置、及び、電圧検出回路
WO2024252786A1 (ja) 画像処理装置、画像処理システム、画像処理方法、および、プログラム
WO2019082775A1 (ja) 画像処理装置、画像処理方法および撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25775044

Country of ref document: EP

Kind code of ref document: A1