WO2018207664A1 - 撮像装置、撮像方法、並びにプログラム - Google Patents

撮像装置、撮像方法、並びにプログラム Download PDF

Info

Publication number
WO2018207664A1
WO2018207664A1 PCT/JP2018/017154 JP2018017154W WO2018207664A1 WO 2018207664 A1 WO2018207664 A1 WO 2018207664A1 JP 2018017154 W JP2018017154 W JP 2018017154W WO 2018207664 A1 WO2018207664 A1 WO 2018207664A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
sensor
imaging
imaging device
clock signal
Prior art date
Application number
PCT/JP2018/017154
Other languages
English (en)
French (fr)
Inventor
典弘 市丸
亨介 笠原
真生 全
真也 野村
賢政 坂本
長尾　俊治
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2018207664A1 publication Critical patent/WO2018207664A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present technology relates to an imaging apparatus, an imaging method, and a program.
  • the present technology relates to an imaging apparatus, an imaging method, and a program that are suitable for use when performing imaging with a plurality of imaging apparatuses.
  • Patent Document 1 discloses a technique for synchronizing two imaging devices by controlling a position signal of a lens serving as a master as a position command signal on the slave side.
  • the present technology has been made in view of such a situation, and makes it possible to use a plurality of imaging devices more effectively.
  • a first imaging device operates in synchronization with an imaging unit, a signal processing unit that processes a signal from the imaging unit, a generation unit that generates a clock signal, and another imaging device. And a control unit that controls each unit in the first mode or the second mode that operates asynchronously.
  • a first imaging method is an imaging method of an imaging device including an imaging unit, which processes a signal from the imaging unit, generates a clock signal, and operates in synchronization with another imaging device.
  • the method includes a step of controlling each unit in a first mode or a second mode that operates asynchronously.
  • a first program according to an aspect of the present technology is a first mode in which an imaging device including an imaging unit processes a signal from the imaging unit, generates a clock signal, and operates in synchronization with another imaging device. Or the process including the step which controls each part is performed in the 2nd mode which operate
  • a second imaging device includes a plurality of imaging devices including an imaging unit, a signal processing unit that processes a signal from the imaging unit, and a generation unit that generates a clock signal.
  • the imaging device includes a first imaging device operating in the master mode and a second imaging device operating in the slave mode, and the second imaging device is the first imaging device.
  • the master mode includes a pause mode
  • the slave mode includes a synchronous mode that operates in synchronization with the first imaging device and an asynchronous mode that operates asynchronously. .
  • a second imaging method includes a plurality of imaging devices including an imaging unit, a signal processing unit that processes a signal from the imaging unit, and a generation unit that generates a clock signal.
  • imaging devices in the imaging method of an imaging device comprising a first imaging device operating in a master mode and a second imaging device operating in a slave mode, the second imaging device The master mode operates in an operation mode or a pause mode, and the slave mode operates in synchronization with the first imaging device by receiving a clock signal generated by the first imaging device. Or a step of operating in an asynchronous mode that operates asynchronously.
  • a second program includes a plurality of imaging devices including an imaging unit, a signal processing unit that processes a signal from the imaging unit, and a generation unit that generates a clock signal, and the plurality of imaging units Among the devices, the second imaging device includes the first imaging device that includes the first imaging device that operates in the master mode and the second imaging device that operates in the slave mode.
  • the master mode operates in an operation mode or a sleep mode
  • the slave mode operates in a synchronous mode or asynchronously that operates in synchronization with the first imaging device.
  • the process including the step that operates in the asynchronous mode is executed.
  • an imaging unit is provided, a signal from the imaging unit is processed, and a clock signal is generated.
  • Each unit is controlled in a first mode that operates in synchronization with another imaging device or in a second mode that operates asynchronously.
  • a second imaging device includes a plurality of imaging devices, each of the plurality of imaging devices includes an imaging unit, processes a signal from the imaging unit, and generates a clock signal. .
  • a first imaging device operating in the master mode and a second imaging device operating in the slave mode are provided.
  • the second imaging device is supplied with the clock signal generated by the first imaging device, the master mode includes a pause mode, and the slave mode operates in synchronization with the first imaging device. It includes a synchronous mode and an asynchronous mode that operates asynchronously.
  • the imaging device may be an independent device or an internal block constituting one device.
  • the program can be provided by being transmitted through a transmission medium or by being recorded on a recording medium.
  • a plurality of imaging devices can be used more effectively.
  • FIG. 1 is a diagram illustrating a configuration of an embodiment of an imaging apparatus to which the present technology is applied.
  • the imaging apparatus 10 illustrated in FIG. 1 includes a sensor 11-1, a sensor 11-2, and a control unit 12.
  • a sensor 11-1 and a sensor 11-2 are a CCD (Charge Coupled Device) or a CMOS (Complementary An imaging device such as a metal-oxide semiconductor sensor can be used.
  • the control unit 12 may be an ISP (Image Signal Processor), for example.
  • the control unit 12 processes a signal from the sensor 11 and outputs the signal to a subsequent processing unit (not shown) or controls the sensor 11.
  • the sensor 11-1 and the sensor 11-2 will be described later in detail, and there are a mode in which they operate synchronously and a mode in which they operate individually.
  • a mode in which they operate in synchronization there is a master-slave relationship between the sensor 11-1 and the sensor 11-2, one operating as a master (main) and the other operating as a slave (slave).
  • the sensor 11 is an image pickup element (image sensor) such as a CCD or a CMOS sensor as an example.
  • image sensor image sensor
  • the present technology can be applied to other sensors.
  • a sensor such as a pressure sensor, a temperature sensor, an acceleration sensor, or an illuminance sensor may be used.
  • the senor 11-1 and the sensor 11-2 are described as being the same type of sensor, in this case, an image sensor, but may be different types of sensors. According to the present technology, as will be described below, the sensor 11-1 and the sensor 11-2 can operate synchronously or individually. Information can be acquired at the same timing, and information can be acquired at different timings.
  • the imaging apparatus 10 shown in FIG. 1 will continue to be described on the assumption that it has two sensors 11 of the same type, that is, a sensor 11-1 and a sensor 11-2 configured by an imaging element or the like. 11 is also applicable.
  • FIG. 2 is a diagram illustrating a configuration example of the sensor 11.
  • the sensor 11 includes an imaging unit 31, a signal processing unit 32, a clock generation unit 33, and a control unit 34.
  • the control unit 34 includes a master mode control unit 41 and a slave mode control unit 42.
  • the sensor 11 shown in FIG. 2 shows a configuration corresponding to both modes when operating as a master (master mode) and when operating as a slave (slave mode).
  • control unit 34 can be configured to include only the master mode control unit 41.
  • control unit 34 can be configured to include only the slave mode control unit 42.
  • the imaging unit 31 includes an imaging element and a lens, receives reflected light from the subject, and outputs a signal corresponding to the amount of received light to the signal processing unit 32.
  • the signal processing unit 32 performs processing such as defect correction, noise reduction, and high dynamic range synthesis processing (HDR) on the input signal and outputs the signal to the control unit 12 (FIG. 1). Note that the function of processing the signal output from the imaging unit 31 may be distributed between the signal processing unit 32 and the control unit 12 (FIG. 1), or may be provided in only one of them.
  • the clock generation unit 33 generates a clock signal and supplies it to the signal processing unit 32.
  • the clock signal generated by the clock generation unit 33 is also supplied to the slave-side sensor 11 when operating in the master mode.
  • the generation of the clock signal by the clock generation unit 33 is stopped, and the clock signal from the sensor 11 operating in the master mode is supplied to the signal processing unit 32.
  • the clock signal generated by the clock generation unit 33 is a synchronization signal (XVS), and for example, the description is continued assuming that it is a vertical synchronization signal, and the clock signal is also described as a vertical synchronization signal as appropriate.
  • XVS synchronization signal
  • the control unit 34 operates in a master mode in which control is performed by the master mode control unit 41 or is controlled by the slave mode control unit 42 based on an external signal (control signal from the control unit 12 (FIG. 1)). Whether to operate in the slave mode is set, and each unit in the sensor 11 is controlled in the set mode.
  • the master mode control unit 41 has an operation mode 51 and a pause mode 52.
  • the operation mode 51 is a mode when operating in the master mode.
  • the pause mode 52 is a mode in which the operation is paused. In the pause mode 52, power consumption is reduced because imaging in the imaging unit 31, signal processing in the signal processing unit 32, generation of a clock signal in the clock generation unit 33, and the like are stopped.
  • the slave mode control unit 42 has a synchronous mode 61 and an asynchronous mode 62.
  • the synchronization mode 61 is a mode in which a clock signal is supplied from the master-side sensor 11 and operates in synchronization with the master-side sensor 11.
  • the asynchronous mode 62 is a mode that operates based on the clock signal generated by its own clock generation unit 33 without receiving the supply of the clock signal from the master-side sensor 11, and operates asynchronously with the master-side sensor 11. This is the mode to use.
  • the synchronous mode is a mode in which the sensor 11 set as the master and the sensor 11 set as the slave operate in synchronization.
  • the sensor 11 set as the master is described as a sensor 11M, for example, the sensor 11-1 in FIG. 1, and the sensor 11 set as the slave is described as a sensor 11S.
  • the sensor 11 in FIG. The description will be continued assuming that it is 11-2.
  • FIG. 3 is a diagram showing a portion that is operating when the sensor 11M operates in the master mode. Since the sensor 11M operates in the master mode, the master mode control unit 41 is operating. Further, when the sensor 11M operates in the synchronous mode, the master mode control unit 41 is set to a mode that operates in the operation mode 51.
  • the master-side sensor 11M supplies a clock signal to the slave-side sensor 11S, so that the clock generation unit 33M is also operating to generate a clock signal when the sensor 11M operates, and the generated clock Output the signal to the outside. Further, the signal processing unit 32M is in a state where it is not supplied with a clock signal from the outside (a state where it is blocked).
  • FIG. 4 is a diagram showing a portion that is operating when the sensor 11S operates in the slave mode. Since the sensor 11S operates in the slave mode, the slave mode control unit 42 is operating. Further, when the sensor 11S operates in the synchronous mode, the slave mode control unit 42 is set to a mode that operates in the synchronous mode 61.
  • the clock generation unit 33S is brought into a stopped state.
  • the signal processing unit 32S is in a state of receiving a supply of a clock signal from the outside (sensor 11M), and operates based on the supplied clock signal.
  • FIG. 5 shows a clock signal (vertical synchronization signal, described as XVS in FIG. 3) generated by the sensor 11M set as the master, data output from the sensor 11M, and a sensor set from the sensor 11M to the slave. It is a figure which shows the relationship between the clock signal (vertical synchronizing signal) supplied to 11S, internal XVS of the sensor 11S, and the data which the sensor 11S outputs.
  • a clock signal vertical synchronization signal, described as XVS in FIG. 3
  • a clock signal (XVS) is generated by the clock generation unit 33M of the sensor 11M.
  • An image of one frame is output before the next vertical synchronization signal with a vertical synchronization signal (XVS) as a trigger.
  • the clock generation unit 33M generates such a vertical synchronization signal.
  • the vertical synchronization signal generated at time t1 is described as a vertical synchronization signal 1M.
  • a vertical synchronization signal 2M is generated by the clock generation unit 33M of the sensor 11M.
  • the frame 1M is output from the sensor 11S between time t1 and time t2 (between the vertical synchronization signal 1M and the vertical synchronization signal 2M).
  • the vertical synchronization signal 1M generated by the clock generation unit 33M is also supplied from the sensor 11M to the sensor 11S.
  • the signal processing unit 32S of the sensor 11S is supplied with the vertical synchronization signal 1M at time t1.
  • the sensor 11S starts outputting the frame S1 upon receiving the supply of the vertical synchronization signal 1M at time t1.
  • the sensor 11S receives the vertical synchronization signal 2M from the sensor 11M at time t2.
  • the sensor 11S starts to output the frame 2S upon receiving the supply of the vertical synchronization signal 2M at time t2.
  • the vertical synchronization signal 1M generated by the master side sensor 11M is supplied to the inside of the sensor 11M and also to the slave side sensor 11S. Therefore, at time t1, the sensor 11M and the sensor 11S start imaging and output the frame 1M and the frame 1S, respectively.
  • the sensor 11M and the sensor 11S perform synchronized imaging. Similarly, at time t2, the sensor 11M and the sensor 11S output a frame 2M and a frame 2S, respectively, according to the vertical synchronization signal 2M generated at the time t2. Such synchronized imaging is sequentially performed.
  • a parallax image can be obtained by performing synchronized imaging with the sensor 11M and the sensor 11S (sensor 11-1 and sensor 11-2).
  • a parallax image can be obtained by using the sensor 11-1 as a sensor that captures an image for the right eye and the sensor 11-2 as a sensor that captures an image for the left eye, and performing synchronized imaging.
  • one of the sensor 11M and the sensor 11S can be stopped, the other can be operated, and imaging can be performed with the sensor 11 that is operating.
  • the present technology By applying the present technology, this is possible.
  • the operation of the master-side sensor 11M cannot be stopped for the following reason.
  • the vertical synchronization signal M generated by the sensor 11M is supplied to the sensor 11M and the sensor 11S, and synchronization is performed.
  • the sensor 11M is stopped in such a state, the vertical synchronization signal M is not generated by the sensor 11M, and the vertical synchronization signal M is not supplied from the sensor 11M to the sensor 11S. Therefore, the sensor 11S cannot be operated.
  • one of the sensor 11M and the sensor 11S can be stopped, the other can be operated, and imaging can be performed with the sensor 11 that is operating.
  • the mode in which the sensor 11 is stopped is referred to as a pause mode.
  • the senor 11M and the sensor 11S are individually operated, so that, for example, imaging with a long exposure time is performed on one side and imaging with a short exposure time is performed on the other side. Imaging can be performed.
  • the vertical synchronization signal M generated by the sensor 11M is supplied to the sensor 11M and the sensor 11S, so that the sensor 11M and the sensor 11S respectively perform imaging. Since the sensor 11M and the sensor 11S perform processing based on the same signal, it is difficult to perform shooting with different exposure times, but according to the present technology, it is possible.
  • an asynchronous mode As described above, the case where imaging is performed under different conditions between the sensor 11M and the sensor 11S is referred to as an asynchronous mode.
  • the pause mode is a state in which the sensor 11M as a master is in a pause mode and the sensor 11S as a slave is in an asynchronous mode.
  • FIG. 6 shows the relationship between the clock signal (master XVS) generated by the sensor 11M on the master side, the mode of the sensor 11M, the clock signal (slave XVS) supplied or generated to the sensor 11S on the slave side, and the mode of the sensor 11S. It is a figure for demonstrating.
  • the master side sensor 11M operates in the operation mode 51, and the slave side sensor 11S operates in the synchronous mode 61.
  • the sensor 11M Before the time t11, the sensor 11M is in a state as shown in FIG. 3 and is controlled by the master mode control unit 41, and the master mode control unit 41 is operating in the operation mode 51. It is.
  • the sensor 11S is controlled by the slave mode control unit 42, and the slave mode control unit 42 is operating in the synchronous mode 61.
  • the control unit 12 instructs the control unit 34S of the sensor 11S to shift from the synchronous mode 61 to the asynchronous mode 62.
  • the control unit 34 is set to execute the instruction after two clock signals after receiving the instruction from the control unit 12 (external)
  • the sensor 11S operates in the asynchronous mode after two clock signals from time t11. Shift to 62.
  • the control unit 12 (FIG. 1) instructs the control unit 34M of the sensor 11M to shift from the operation mode 51 to the sleep mode 52.
  • the sensor 11M shifts to a state where no clock signal is supplied to the sensor 11S. If the sensor 11S on the slave side shifts to the asynchronous mode 62, in other words, when the clock signal is not supplied from the sensor 11M in the synchronous mode 61, the sensor 11S becomes inoperable. There is a possibility that.
  • the mode of the sensor 11M is shifted from the operation mode 51 to the sleep mode 52 at a time after the sensor 11S has shifted to the asynchronous mode 62. To. Here, it is assumed that such timing is time t12.
  • the control unit 34M of the sensor 11M may be instructed to shift from the operation mode 51 to the sleep mode 52.
  • the sensor 11M and the sensor 11S operate in synchronization, so that when the mode switching is instructed at the same time, the mode switching is executed at the same timing. Therefore, the mode switching may be instructed to the sensor 11M and the sensor 11S at the same time.
  • the timing of such mode switching instruction can be set in consideration of the characteristics of the sensor 11 and the like.
  • the control unit 12 (FIG. 1) instructs the control unit 34M of the sensor 11M to shift from the operation mode 51 to the pause mode 52.
  • the master mode control unit 41 of the control unit 34M of the sensor 11M shifts to the sleep mode 52 and starts operation in the sleep mode 52.
  • FIG. 7 is a diagram showing a portion that is operating when the sensor 11M operates in the sleep mode 52.
  • the master-side sensor 11M when the master-side sensor 11M operates in the pause mode 52, it is not necessary to supply a clock signal to the inside or supply a clock signal to the slave-side sensor 11S. Has been stopped.
  • the imaging unit 31M and the signal processing unit 32M are also stopped because they can stop the operation.
  • the sleep mode 52 since each part in the sensor 11M is in a stopped state, the power consumed by the sensor 11M can be reduced. That is, by realizing such a sleep mode 52, it is possible to realize low power consumption.
  • FIG. 8 is a diagram showing a portion that is operating when the sensor 11S operates in the slave mode and operates in the asynchronous mode. Since the sensor 11S operates in the slave mode, the slave mode control unit 42 is operating. Further, when the sensor 11S operates in the asynchronous mode, the slave mode control unit 42 is set to a mode in which the asynchronous mode 62 operates.
  • the clock signal is supplied from the master-side sensor 11M without generating a clock signal by the self-side clock generation unit 33S.
  • the sensor 11S operates based on the clock signal generated by the clock generation unit 33S.
  • the signal processing unit 32S is changed from a state in which an external clock signal is supplied to a state in which the clock signal generated by the clock generation unit 33S is supplied, and operates based on the supplied clock signal.
  • the control unit 12M of the sensor 11M is instructed to switch from the sleep mode 52 to the operation mode 51.
  • the sensor 11M is switched from a state where the pause mode 52 as shown in FIG. 7 is valid to a state where the operation mode 51 as shown in FIG. 3 is valid.
  • the clock generation unit 33M starts generating the clock signal, and the clock signal can be supplied to the slave-side sensor 11S.
  • the control unit 41S of the sensor 11S is instructed to switch from the asynchronous mode 62 to the synchronous mode 61. .
  • the sensor 11S is switched from a state where the asynchronous mode 62 as shown in FIG. 8 is valid to a state where the synchronous mode 61 as shown in FIG. 4 is valid.
  • the plurality of sensors 11 can be driven synchronously or can be driven asynchronously.
  • the plurality of sensors 11 are driven asynchronously, it is possible to provide sensors 11 that are not driven. Further, the power consumption of the sensor 11 that is not driven can be reduced, and the power consumption of the imaging device 10 can also be reduced.
  • the slave-side sensor 11S continues to be driven in the synchronous mode 61 and the asynchronous mode 62, but the slave-side sensor 11S is controlled by the master mode control unit 41.
  • the state to operate in the pause mode 52 it is possible to enter a pause state (a state in which it is not driven). Therefore, it is possible to stop the driving of the plurality of sensors 11 as well as the single sensor 11 among the plurality of sensors 11.
  • FIG. 9 shows the relationship between the clock signal (master XVS) generated by the sensor 11M on the master side, the mode of the sensor 11M, the clock signal (slave XVS) supplied or generated to the sensor 11S on the slave side, and the mode of the sensor 11S. It is a figure for demonstrating.
  • the control unit 41 is instructed to switch from the synchronous mode 61 to the asynchronous mode 62 to the control unit 41S of the sensor 11S.
  • the synchronous mode 61 is switched to the asynchronous mode 62 after two clock signals.
  • the frequency (frame rate) of the clock signal after shifting to the asynchronous mode 62 is also instructed.
  • the control unit 41 is instructed to change the frequency of the clock signal to the control unit 41M of the sensor 11M.
  • the frequency at the time before the instruction is the frequency 11MA
  • the frequency at the later time is the frequency 11MB.
  • the sensor 11M When the sensor 11M receives an instruction to change the frequency of the clock signal from the frequency 11MA to the frequency 11MB at time t22, the sensor 11M changes the frequency of the clock signal to the frequency 11MB after receiving two clock signals from the time t22. .
  • the sensor 11S receives the two clock signals from time t21 and then generates a clock signal by its own clock generation unit 33S.
  • the frequency of the generated clock signal is a frequency 11SB.
  • the sensor 11M continues to operate in the operation mode 51, but the frequency of the clock signal is changed, and a clock signal having a frequency of 11 MB after the change is generated.
  • the sensor 11S transitions from the synchronous mode 61 to the asynchronous mode 62, and enters a state of generating a clock signal having a frequency of 11SB from the state in which the supply of the clock signal is received.
  • the frequency 11MB and the frequency 11SB can be different frequencies. Therefore, the sensor 11M and the sensor 11S can be operated at different frequencies. In other words, the sensor 11S set as the slave can be operated at a frame rate that does not depend on the sensor 11M set as the master.
  • the control unit 12M of the sensor 11M instructs the control unit 12 to change the frequency of the clock signal from the frequency 11MB to the frequency 11MC.
  • the control unit 41 is instructed to switch from the asynchronous mode 62 to the synchronous mode 61 to the control unit 41S of the sensor 11S.
  • the sensor 11M Upon receiving an instruction to change the frequency of the clock signal from the frequency 11 MB to the frequency 11MC at time t23, the sensor 11M changes the frequency of the clock signal to the frequency 11MC after receiving the two clock signals from time t22. .
  • the sensor 11S shifts to a state in which the clock signal is input from the sensor 11M after receiving the two clock signals from the time t23.
  • the operation is synchronized with the sensor 11M.
  • FIG. 10 shows the relationship between the clock signal (master XVS) generated by the sensor 11M on the master side, the mode of the sensor 11M, the clock signal (slave XVS) supplied or generated to the sensor 11S on the slave side, and the mode of the sensor 11S. It is a figure for demonstrating.
  • the sensor 11 operating in the slave mode can be switched to the master mode and operated.
  • the sensor 11 operating in the slave mode is operated by switching to the master mode.
  • the sensor 11S is operating in the slave mode. That is, as shown in FIG. 4, the slave mode control unit 42 operates in a state where the synchronization mode 61 is valid.
  • the control unit 41S of the sensor 11S is instructed to switch from the slave mode to the master mode. After receiving such an instruction and receiving the 2-clock signal, the sensor 11S switches from the slave mode to the master mode. By switching to the master mode, as shown in FIG. 3, the operation mode 51 of the master mode control unit 41 is in a valid state.
  • the frequency of the clock signal after shifting to the master mode is also specified for the sensor 11S, and the sensor 11S starts generating the clock signal at the specified frequency.
  • the control unit 41 of the sensor 11M is instructed to change the frequency of the clock signal. After receiving such an instruction and receiving the two clock signal, the sensor 11M switches the frequency of the clock signal to the instructed frequency.
  • the sensor 11M Before and after time t32, the sensor 11M is operating in the master mode (maintaining the operation in the master mode). On the other hand, the sensor 11S operates in the master mode after time t31. In this case, after time t32, the two sensors 11 are both operating in the master mode.
  • the clock signal is supplied to the outside, but the external clock signal is not input. Therefore, even if the two sensors 11 are operating in the master mode, the external clock signal is not input, so that the two sensors 11 can operate without interfering with each other.
  • the sensor 11S operating in the slave mode can be operated in the master mode. It is also possible to operate the sensor 11M operating in the master mode in the slave mode.
  • the control unit 41M of the sensor 11M is instructed to switch from the master mode to the slave mode.
  • the sensor 11M After receiving such an instruction and receiving the 2-clock signal, the sensor 11M switches from the master mode to the slave mode. By switching to the slave mode, the synchronization mode 61 of the slave mode control unit 42 is enabled as shown in FIG.
  • the sensor 11M starts operating in the slave mode synchronous mode 61, the clock signal supplied from the sensor 11S is input, and the sensor 11M operates based on the input clock signal.
  • each sensor 11 can be operated in a desired mode of either a master mode or a slave mode. It is also possible to operate a plurality of sensors 11 in the master mode.
  • FIG. 11 shows the relationship between the clock signal (master XVS) generated by the sensor 11M on the master side, the mode of the sensor 11M, the clock signal (slave XVS) supplied or generated to the sensor 11S on the slave side, and the mode of the sensor 11S. It is a figure for demonstrating.
  • the sensor 11M shifts from the master mode to the slave mode. However, the sensor 11M can continue to operate in the master mode. Further, the frequency (frame rate) of the clock signal can be changed.
  • Such an operation example will be described as a fourth operation example.
  • the sensor 11S is operating in the slave mode. That is, as shown in FIG. 4, the slave mode control unit 42 operates in a state where the synchronization mode 61 is valid.
  • the control unit 41 of the sensor 11S is instructed to switch from the slave mode to the master mode. After receiving such an instruction and receiving the 2-clock signal, the sensor 11S switches from the slave mode to the master mode. By switching to the master mode, as shown in FIG. 3, the operation mode 51 of the master mode control unit 41 is in a valid state.
  • the frequency of the clock signal after shifting to the master mode is also designated for the sensor 11S, and the sensor 11S starts generating the clock signal at the designated frequency.
  • the control unit 41 of the sensor 11M is instructed to change the frequency of the clock signal. After receiving such an instruction and receiving the 2-clock signal, the sensor 11M switches to the instructed frequency.
  • the control unit 41 of the sensor 11M is instructed to change the frequency of the clock signal.
  • the control unit 12S of the sensor 11S is instructed to change the frequency of the clock signal. After receiving such an instruction and receiving the 2-clock signal, the sensor 11M and the sensor 11S each change the frequency of the clock signal.
  • the sensor 11M continues to operate in a state where the operation mode 51 of the master mode control unit 41 is enabled. Further, the sensor 11S shifts from the state in which the synchronization mode 61 of the slave mode control unit 42 is enabled to the state in which the operation mode 51 of the master mode control unit 41 is enabled, and operates in the master mode. continuing.
  • each sensor 11 can be operated in a desired mode of either a master mode or a slave mode. It is also possible to operate a plurality of sensors 11 in the master mode.
  • FIG. 12 shows the relationship between the clock signal (master XVS) generated by the sensor 11M on the master side, the mode of the sensor 11M, the clock signal (slave XVS) supplied or generated to the sensor 11S on the slave side, and the mode of the sensor 11S. It is a figure for demonstrating.
  • the sensor 11M continues to operate in a state where the operation mode 51 of the master mode control unit 41 is enabled. Further, the sensor 11S continues to operate in a state where the synchronization mode 61 of the slave mode control unit 42 is enabled.
  • the sensor 11S Since the sensor 11S operates in the synchronous mode 61 of the slave mode control unit 42, the sensor 11S operates based on the clock signal supplied from the sensor 11M (operates at the same frame rate as the sensor 11M).
  • FIG. 12 shows a case where the frame rate is changed only on the sensor 11S side.
  • the control unit 41 of the sensor 11S is instructed to change the frequency of the clock signal (change of the frame rate) by the control unit 12.
  • the sensor 11S changes the frequency by thinning out the clock signal supplied from the sensor 11M.
  • FIG. 12 shows an example in which the frame rate is reduced to 1 ⁇ 4.
  • the sensor 11S applies only once out of four input clock signals (vertical synchronization signals) from the sensor 1M, and discards the remaining three times, thereby reducing the frame rate to 1 ⁇ 4.
  • the control unit 41S of the sensor 11S is instructed by the control unit 12 to change the frequency of the clock signal (change of the frame rate). That is, an instruction to use the clock signal of the sensor 11M as it is is issued. As a result, the sensor 11S performs the process without thinning out in the synchronous mode 61.
  • each sensor 11 it is possible to allow each sensor 11 to perform processing at a desired frame rate as in the asynchronous mode by changing the way of obtaining the synchronization signal while synchronizing.
  • FIG. 13 shows the relationship between the clock signal (master XVS) generated by the sensor 11M on the master side, the mode of the sensor 11M, the clock signal (slave XVS) supplied or generated to the sensor 11S on the slave side, and the mode of the sensor 11S. It is a figure for demonstrating.
  • a plurality of sensors 11 are operated in synchronization, but a case will be described in which the plurality of sensors 11 operate at different frame rates.
  • the sensor 11M continues to operate in a state where the operation mode 51 of the master mode control unit 41 is enabled, but the frame rate is instructed at time t61 and time t62.
  • the sensor 11S is instructed to reduce the frame rate to 1 ⁇ 4 at time t61, and the instruction to return the frame rate to the original is issued at time t62. Yes.
  • the sensor 11S is instructed to operate while maintaining the frame rate while being synchronized with the sensor 11M.
  • the control unit 12 instructs the sensor 11S to interpolate a clock signal in order to maintain the frame rate.
  • an instruction to reduce the frame rate to 1 ⁇ 4 is issued to the sensor 11M, and the sensor 11S is synchronized with the sensor 11M but not to decrease the frame rate.
  • An instruction to interpolate the vertical synchronization signal is issued.
  • the sensor 11S synchronizes with the vertical signal of the sensor 11M once every four times, but the remaining three clock signals other than the clock signal used for the synchronization are: The sensor 11S itself generates.
  • a clock signal indicated by a dotted line represents a signal generated by the clock generator 33S by the sensor 11S.
  • three clock signals (in this case, XVS) are signals generated by the clock generation unit 33S, and one clock signal is transmitted from the sensor 11M. This is a signal to be supplied.
  • the senor 11M and the sensor 11S can be operated asynchronously while being synchronized.
  • signals required other than the synchronized signal can be interpolated to perform different operations.
  • each sensor 11 it is possible to allow each sensor 11 to perform processing at a desired frame rate as in the asynchronous mode by changing the way of obtaining the synchronization signal while synchronizing.
  • the sensor 11M returns to the original frequency after two clock signals from the clock signal generated by the sensor 11M from time t62, and starts synchronization with the sensor 11S from that point. In addition, from time t63, the sensor 11S starts complete synchronization with the sensor 11M after two clock signals after the clock signal interpolated by the sensor 11S and the clock signal supplied from the sensor 11M are combined.
  • time t62 and time t63 are set. It is necessary to set different times, in other words, different timings for giving instructions to the sensor 11M and the sensor 11S.
  • the timing for issuing a complete synchronization instruction to the sensor 11S needs to be output at an appropriate timing in consideration of the clock signal generated by the sensor 11S itself and the timing at which the clock signal from the sensor 11M is supplied. There is.
  • FIG. 14 shows a clock signal (master XVS) generated by the sensor 11M on the master side, a mode of the sensor 11M, a clock signal (slave XVS) supplied or generated to the sensor 11S on the slave side, a mode of the sensor 11S, and communication. It is a figure for demonstrating the relationship of a reflection mask.
  • the seventh operation example is the same as the sixth operation except that a communication reflection mask is added to the sixth operation example (FIG. 13). Omitted.
  • the communication reflection mask performs a masking process in the sensor 11S so that the clock signal is not counted when the clock signal is generated in the sensor 11S.
  • the individual sensors 11 in the asynchronous mode are changed to the desired frames by changing the method of obtaining the synchronization signal while synchronizing. It can also be processed at a rate.
  • the plurality of sensors 11 can be operated in synchronization or can be operated asynchronously.
  • Sensor 11-1 is a wide sensor and sensor 11-2 is a telesensor.
  • the wide sensor is a sensor that captures an image on the wide end side, and captures a relatively wide range of images.
  • the telesensor is a sensor that captures an image on the tele end side, and captures a relatively narrow range of images.
  • FIG. 15 shows an example of an image picked up when the wide sensor and the telesensor are picked up at the same time.
  • the wide sensor (sensor 11-1) captures an image as shown in FIG. 15A, for example.
  • the sensor 11-1 which is a wide sensor
  • three persons and a background are imaged.
  • the telesensor (sensor 11-2) captures an image as shown in FIG. 15B, for example.
  • FIG. 15B when the image is taken by the sensor 11-2 which is a telesensor, two people are imaged greatly.
  • the operation illustrated in FIG. 16 is an operation in which imaging is performed by gradually enlarging a subject, in other words, imaging is performed when moving from the wide end to the tele end side.
  • an image captured by the sensor 11-1 (wide sensor) is output to a display unit (not shown). While the image from the sensor 11-1 is displayed on the display unit (between time t81 and time t83), the sensor 11-2 (telesensor) is set to the pause mode 52. Assume that zooming at a magnification of 2 is instructed at time t82.
  • the senor 11-1 operates in the slave mode
  • the sensor 11-2 operates in the master mode.
  • the sensor 11-1 is a state where the asynchronous mode 62 of the slave mode control unit 42 is enabled
  • the sensor 11-2 is a state where the pause mode 52 of the master mode control unit 41 is enabled.
  • Such a state can be executed by applying an operation corresponding to the first operation example described above, for example.
  • the sensor 11-1 is in a state in which the operation mode 51 of the master mode control unit 41 is enabled, and the sensor 11-2 is in a state in which the pause mode 52 of the master mode control unit 41 is enabled.
  • Such a state can be executed, for example, by applying the third operation example or the fourth operation example described above.
  • an image with a magnification of 1 ⁇ is 1500 ⁇ 500 (pix)
  • an image with a magnification of 2 ⁇ is 750 ⁇ 250 (pix).
  • the image captured at 750 ⁇ 250 (pix) of the wide sensor corresponds to an image of 1500 ⁇ 500 (pix) of the telesensor as shown in FIG. 15B.
  • an image with a magnification of 1 ⁇ is 1500 ⁇ 500 (pix)
  • an image with a magnification of 2 ⁇ is 750 ⁇ 250 (pix). Therefore, when an image with a magnification of 1 by a wide sensor (image captured at 1500 ⁇ 500 (pix)) is used as a reference, the magnification of an image captured at 750 ⁇ 250 (pix) of a telesensor is 4 ⁇ . It becomes an image.
  • the pause mode 52 of the sensor 11-2 is canceled and the operation mode 51 is entered. From time t83, the image captured by the sensor 11-1 and the image captured by the sensor 11-2 are combined, and the combined image is displayed on the display unit.
  • the sensor 11-1 wide sensor captures an image of 750 ⁇ 250 (pix)
  • the sensor 11-2 telesensor captures an image of 1500 ⁇ 500 (pix).
  • An image obtained by combining images with different resolutions is displayed on the display unit.
  • the sensor 11-1 operates in the asynchronous mode 62 in the slave mode and the sensor 11-2 operates in the sleep mode 52 in the master mode at a time point before the time t83, the sensor 11- 1 shifts to the synchronization mode 61, and the sensor 11-2 shifts to the operation mode 51.
  • the sensor 11-1 when the sensor 11-1 operates in the operation mode 51 of the master mode and the sensor 11-2 operates in the pause mode 52 of the master mode, at time t83, the sensor 11-1 The operation in the operation mode 51 is maintained, and the sensor 11-2 shifts to the operation mode 51 in the master mode.
  • the sensor 11-1 when the sensor 11-1 operates in the operation mode 51 of the master mode and the sensor 11-2 operates in the pause mode 52 of the master mode, at time t83, the sensor 11-1 The operation in the operation mode 51 is maintained, and the sensor 11-2 shifts to the synchronization mode 61 in the slave mode.
  • the magnification is further instructed to 4 times.
  • the sensor 11-1 shifts from the operation mode 51 to the pause mode 52. After time t85, an image captured and output by the sensor 11-2 is displayed on the display unit.
  • the sensor 11-1 When the sensor 11-1 operates in the slave mode synchronous mode 61 and the sensor 11-2 operates in the master mode operation mode 51 at a time point before the time t85, the sensor 11- 1 shifts to the sleep mode 52 of the master mode, and the sensor 11-2 maintains the operation mode 51.
  • the sensor 11-1 shifts to the master mode pause mode 52 at time t85, and the sensor 11 -2 maintains the operation mode 51 of the master mode.
  • the sensor 11-1 may shift to the sleep mode 52 in the master mode, and the sensor 11-2 may shift to the asynchronous mode 62 in the slave mode.
  • the present technology can be applied when the sensor 11-1 and the sensor 11-2 capture images having different angles of view. Further, when switching from the image captured by the sensor 11-1 to the image captured by the sensor 11-2, a process of outputting a composite image in the middle by switching the mode of each sensor 11 is performed. It can be easily included.
  • the composite image is not entered when switching from the image from the wide sensor to the image from the telesensor, the image from the wide sensor is suddenly changed at a certain point in time. Such an abrupt image change may cause discomfort to the user.
  • FIGS. 17 and 18 Other specific examples will be described with reference to FIGS. 17 and 18.
  • the specific examples shown in FIGS. 17 and 18 are different from the specific examples shown in FIGS. 16 and 18 only in the role of the sensor 11 and are the same with respect to mode transitions, and therefore the description thereof will be omitted as appropriate. To do.
  • Sensor 11-1 is a high resolution sensor and sensor 11-2 is a low resolution sensor.
  • the high-resolution sensor is configured by small pixels (Small) Pixel), and is a sensor that captures an image that looks dark but has high resolution.
  • the low resolution sensor is configured by a big pixel (Big Pixel), and is a sensor that captures an image that looks bright although the resolution is low.
  • FIG. 17 shows an example of an image captured when the high-resolution sensor and the low-resolution sensor are imaged at the same time.
  • the high resolution sensor (sensor 11-1) captures an image as shown in FIG. 17A, for example.
  • the sensor 11-1 which is a high resolution sensor
  • an image of 1500 ⁇ 500 (pix) is captured.
  • the low resolution sensor (sensor 11-2) captures an image as shown in FIG. 17B, for example.
  • FIG. 17B when imaging is performed by the sensor 11-2 which is a low resolution sensor, an image of 750 ⁇ 250 (pix) is captured.
  • the high resolution sensor and the low resolution sensor capture images with the same angle of view, but the number of pixels (resolution) is different. Therefore, as described above, the high resolution sensor (sensor 11-1) captures a dark image while the high resolution sensor (sensor 11-1) captures a dark image, and the low resolution sensor (sensor 11-2) captures a low resolution but bright image. It is comprised so that it can image.
  • FIG. 18 An example of the operation of the imaging apparatus 10 including a high resolution sensor and a low resolution sensor will be described with reference to FIG.
  • the gain and exposure time are gradually increased from a sensor with high resolution but low sensitivity (high resolution sensor).
  • the resolution is low but the sensitivity is high. It is an operation example when switching to a sensor (low resolution sensor).
  • the high-resolution sensor (sensor 11-1) is set to the operation mode 51, performs imaging, and an image captured by the sensor 11-1 is displayed on a display unit (not shown). It is in a state. From time t91 to time t92, the high resolution sensor (sensor 11-1) is in a state of performing shooting with gradually increasing gain and exposure time.
  • the low resolution sensor (sensor 11-2) is set to the pause mode 52 and is not in the state of performing the imaging operation.
  • the low resolution sensor transitions to the operation mode 51.
  • the sensor 11-1 and the sensor 11-2 operate, and the image captured by the sensor 11-1 and the image captured by the sensor 11-2 are combined and combined. The image is displayed on the display unit.
  • the high resolution sensor (sensor 11-1) transitions to the pause mode 52. After time t93, an image captured by the sensor 11-2 is displayed on the display unit.
  • the present technology can be applied when the sensor 11-1 and the sensor 11-2 capture images of different resolutions. Further, when switching from the image captured by the sensor 11-1 to the image captured by the sensor 11-2, a process of outputting a composite image in the middle by switching the mode of each sensor 11 is performed. It can be easily included.
  • the composite image is not included when switching from the image from the high resolution sensor to the image from the low resolution sensor, the image from the high resolution sensor is suddenly changed to the image from the low resolution sensor at a certain point in time. Will be replaced. Such a sudden image change (brightness change) may cause discomfort to the user.
  • the present technology it is possible to prevent a sudden change of an image by inserting a composite image when switching from an image from a high resolution sensor to an image from a low resolution sensor, and the user feels uncomfortable. This can be prevented.
  • the plurality of imaging apparatuses can be operated synchronously or individually. Therefore, the necessary processing can be performed by the imaging device as necessary, and a plurality of imaging devices can be used effectively.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 19 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a storage unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 1007 includes a display, a speaker, and the like.
  • the storage unit 1008 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 1009 includes a network interface.
  • the drive 1010 drives a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 1001) can be provided by being recorded on the removable medium 1011 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by attaching the removable medium 1011 to the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be installed in advance in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device that is mounted on any type of mobile body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 20 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, a sound image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are illustrated as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 12020 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle on which the vehicle control system 12000 is mounted.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal corresponding to the amount of received light.
  • the imaging unit 12031 can output an electrical signal as an image, or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared rays.
  • the vehicle interior information detection unit 12040 detects vehicle interior information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the vehicle interior information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside / outside the vehicle acquired by the vehicle outside information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintenance traveling, vehicle collision warning, or vehicle lane departure warning. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12030 based on information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare, such as switching from a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 21 is a diagram illustrating an example of an installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 21 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, an overhead image when the vehicle 12100 is viewed from above is obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100).
  • a solid object that travels at a predetermined speed (for example, 0 km / h or more) in the same direction as the vehicle 12100, particularly the closest three-dimensional object on the traveling path of the vehicle 12100. it can.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • cooperative control for the purpose of autonomous driving or the like autonomously traveling without depending on the operation of the driver can be performed.
  • the microcomputer 12051 converts the three-dimensional object data related to the three-dimensional object to other three-dimensional objects such as a two-wheeled vehicle, a normal vehicle, a large vehicle, a pedestrian, and a utility pole based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 as obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is connected via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such pedestrian recognition is, for example, whether or not the user is a pedestrian by performing a pattern matching process on a sequence of feature points indicating the outline of an object and a procedure for extracting feature points in the captured images of the imaging units 12101 to 12104 as infrared cameras. It is carried out by the procedure for determining.
  • the audio image output unit 12052 When the microcomputer 12051 determines that there is a pedestrian in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 has a rectangular contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to be superimposed and displayed.
  • voice image output part 12052 may control the display part 12062 so that the icon etc. which show a pedestrian may be displayed on a desired position.
  • system represents the entire apparatus composed of a plurality of apparatuses.
  • this technique can also take the following structures.
  • An imaging apparatus comprising: a control unit that controls each unit in a first mode that operates in synchronization with another imaging apparatus or in a second mode that operates asynchronously.
  • a clock signal supplied from the other imaging device is supplied to the signal processing unit, The imaging device according to (1), wherein the generation unit is in a stopped state.
  • the generation unit In the case of the second mode, the generation unit generates the clock signal, The imaging apparatus according to (1) or (2), wherein the signal processing unit processes the signal based on the clock signal generated by the generation unit.
  • the imaging apparatus according to any one of (1) to (3), further including a third mode for supplying the other imaging apparatus with the clock signal generated by the generation unit.
  • the imaging apparatus according to any one of (1) to (4), further including a fourth mode in which at least one of the imaging unit, the signal processing unit, and the generation unit is stopped.
  • the imaging device according to any one of (1) to (5), wherein in the second mode, a clock signal having a frequency different from a clock signal of the other imaging device is generated.
  • the imaging apparatus according to any one of (1) to (6), wherein in the first mode, the clock signal is interpolated so that the clock signal has a predetermined frame rate.
  • the imaging device according to (7), wherein the interpolated clock signal is masked.
  • an imaging method of an imaging device including an imaging unit, Processing the signal from the imaging unit; Generate a clock signal, An imaging method including a step of controlling each unit in a first mode that operates in synchronization with another imaging device or in a second mode that operates asynchronously.
  • An imaging method including a step of controlling each unit in a first mode that operates in synchronization with another imaging device or in a second mode that operates asynchronously.
  • a program for executing processing including a step of controlling each unit in a first mode that operates in synchronization with another imaging apparatus or a second mode that operates in an asynchronous manner.
  • An imaging unit A signal processing unit for processing a signal from the imaging unit; A plurality of imaging devices including a generation unit that generates a clock signal, A first imaging device operating in a master mode among the plurality of imaging devices; A second imaging device operating in slave mode, The second imaging device is supplied with a clock signal generated by the first imaging device,
  • the master mode includes a sleep mode
  • the slave mode includes an imaging mode that includes a synchronous mode that operates in synchronization with the first imaging device and an asynchronous mode that operates asynchronously.
  • the imaging device according to (11) wherein the second imaging device is operating in the asynchronous mode when the first imaging device is operating in the pause mode.
  • the first imaging device and the second imaging device are operating based on different clock signals (11) or (12) The imaging device described in 1.
  • the first imaging device and the second imaging device have the master mode and the slave mode, respectively.
  • the imaging apparatus according to any one of (11) to (13), wherein both the first imaging apparatus and the second imaging apparatus operate in a master mode.
  • the second imaging device operates in the synchronous mode, and performs imaging at a predetermined frame rate by interpolating the clock signal generated by the generation unit to the clock signal supplied from the first imaging device.
  • the imaging device according to any one of (11) to (14).
  • the first imaging device images the wide end side, The imaging device according to any one of (11) to (16), wherein the second imaging device images the tele end side.
  • the first imaging device captures a high-resolution image, The imaging device according to any one of (11) to (16), wherein the second imaging device captures a low-resolution image.
  • An imaging unit A signal processing unit for processing a signal from the imaging unit; A plurality of imaging devices including a generation unit that generates a clock signal, A first imaging device operating in a master mode among the plurality of imaging devices;
  • an imaging method of an imaging device comprising: a second imaging device operating in slave mode; The second imaging device is supplied with a clock signal generated by the first imaging device, The master mode operates in an operation mode or a sleep mode,
  • the slave mode is an imaging method including a step of operating in a synchronous mode operating in synchronization with the first imaging device or an asynchronous mode operating asynchronously.
  • An imaging unit A signal processing unit for processing a signal from the imaging unit; A plurality of imaging devices including a generation unit that generates a clock signal, A first imaging device operating in a master mode among the plurality of imaging devices; An imaging device comprising: a second imaging device operating in slave mode; The second imaging device is supplied with a clock signal generated by the first imaging device, The master mode operates in an operation mode or a sleep mode, The slave mode is a program for executing processing including a step of operating in a synchronous mode that operates in synchronization with the first imaging device or an asynchronous mode that operates asynchronously.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、複数の撮像装置を備える装置において、複数の撮像装置を有効利用できるようにする撮像装置、撮像方法、並びにプログラムに関する。 撮像部と、撮像部からの信号を処理する信号処理部と、クロック信号を生成する生成部と、他の撮像装置と同期して動作する第１のモードまたは非同期で動作する第２のモードで各部を制御する制御部とを備える。第１のモードの場合、他の撮像装置から供給されるクロック信号が信号処理部に供給され、生成部は、停止状態とされる。本技術は、複数の撮像装置を備える撮像装置に適用できる。

Description

撮像装置、撮像方法、並びにプログラム
　本技術は撮像装置、撮像方法、並びにプログラムに関し、例えば、複数の撮像装置で撮像を行うときに用いて好適な撮像装置、撮像方法、並びにプログラムに関する。
　例えば、単体で撮像可能な撮像装置を複数台利用し、立体撮影を行うことが提案されている。複数台の撮像装置で立体撮影を行う場合、それらの撮像装置のフォーカス、ズーム、絞りなどの被写体の状態（位置）によって変化する光学条件が、一致するように同時に駆動される。
　例えば、特許文献１ではマスターとなるレンズの位置信号をスレーブ側の位置指令信号として制御することで、２台の撮像装置を同期させる技術が開示されている。
特許第３２７８６６７号公報
　複数の撮像装置を同期させて撮像を行うようなシステムにおいて、複数の撮像装置をより有効に用いることが望まれている。例えば、複数の撮像装置を同期させて撮像を行ったり、それぞれの撮像装置が独立して撮像を行ったりすることで、複数の撮像装置をより有効に用いることができるようにすること望まれている。
　本技術は、このような状況に鑑みてなされたものであり、複数の撮像装置をより有効に用いることができるようにするものである。
　本技術の一側面の第１の撮像装置は、撮像部と、前記撮像部からの信号を処理する信号処理部と、クロック信号を生成する生成部と、他の撮像装置と同期して動作する第１のモードまたは非同期で動作する第２のモードで各部を制御する制御部とを備える。
　本技術の一側面の第１の撮像方法は、撮像部を備える撮像装置の撮像方法において、前記撮像部からの信号を処理し、クロック信号を生成し、他の撮像装置と同期して動作する第１のモードまたは非同期で動作する第２のモードで各部を制御するステップを含む。
　本技術の一側面の第１のプログラムは、撮像部を備える撮像装置に、前記撮像部からの信号を処理し、クロック信号を生成し、他の撮像装置と同期して動作する第１のモードまたは非同期で動作する第２のモードで各部を制御するステップを含む処理を実行させる。
　本技術の一側面の第２の撮像装置は、撮像部と、前記撮像部からの信号を処理する信号処理部と、クロック信号を生成する生成部とを備える撮像装置を複数備え、前記複数の撮像装置のうち、マスターモードで動作している第１の撮像装置と、スレーブモードで動作している第２の撮像装置とを備え、前記第２の撮像装置は、前記第１の撮像装置で生成されているクロック信号の供給を受け、前記マスターモードは、休止モードを含み、前記スレーブモードは、前記第１の撮像装置と同期して動作する同期モードと非同期に動作する非同期モードとを含む。
　本技術の一側面の第２の撮像方法は、撮像部と、前記撮像部からの信号を処理する信号処理部と、クロック信号を生成する生成部とを備える撮像装置を複数備え、前記複数の撮像装置のうち、マスターモードで動作している第１の撮像装置と、スレーブモードで動作している第２の撮像装置とを備える撮像装置の撮像方法において、前記第２の撮像装置は、前記第１の撮像装置で生成されているクロック信号の供給を受け、前記マスターモードは、動作モードまたは休止モードで動作し、前記スレーブモードは、前記第１の撮像装置と同期して動作する同期モードまたは非同期に動作する非同期モードで動作するステップを含む。
　本技術の一側面の第２のプログラムは、撮像部と、前記撮像部からの信号を処理する信号処理部と、クロック信号を生成する生成部とを備える撮像装置を複数備え、前記複数の撮像装置のうち、マスターモードで動作している第１の撮像装置と、スレーブモードで動作している第２の撮像装置とを備える撮像装置に、前記第２の撮像装置は、前記第１の撮像装置で生成されているクロック信号の供給を受け、前記マスターモードは、動作モードまたは休止モードで動作し、前記スレーブモードは、前記第１の撮像装置と同期して動作する同期モードまたは非同期に動作する非同期モードで動作するステップを含む処理を実行させる。
　本技術の一側面の第１の撮像装置、撮像方法、並びにプログラムにおいては、撮像部が備えられ、撮像部からの信号が処理され、クロック信号が生成される。また、他の撮像装置と同期して動作する第１のモードまたは非同期で動作する第２のモードで各部が制御される。
　本技術の一側面の第２の撮像装置は、複数の撮像装置を備え、それらの複数の撮像装置のそれぞれに撮像部が備えられ、撮像部からの信号が処理され、クロック信号が生成される。複数の撮像装置のうち、マスターモードで動作している第１の撮像装置と、スレーブモードで動作している第２の撮像装置とが備えられる。また、第２の撮像装置は、第１の撮像装置で生成されているクロック信号の供給を受け、マスターモードは、休止モードを含み、スレーブモードは、第１の撮像装置と同期して動作する同期モードと非同期に動作する非同期モードとを含む。
　なお、撮像装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
　本技術の一側面によれば、複数の撮像装置をより有効に用いることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した撮像装置の一実施の形態の構成を示す図である。 センサの構成例を示す図である。 マスターモード時のセンサの構成例を示す図である。 スレーブモード時のセンサの構成例を示す図である。 センサ同士の同期について説明するための図である。 センサの動作例について説明するための図である。 マスターモード時のセンサの他の構成例を示す図である。 スレーブモード時のセンサの他の構成例を示す図である。 他の動作例について説明するための図である。 他の動作例について説明するための図である。 他の動作例について説明するための図である。 他の動作例について説明するための図である。 他の動作例について説明するための図である。 他の動作例について説明するための図である。 センサで撮像される画像例を示す図である。 センサの動作の具体例について説明するための図である。 センサで撮像される画像例を示す図である。 センサの動作の具体例について説明するための図である。 記録媒体について説明するための図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
　＜撮像装置の構成＞
　本技術は、撮像装置に適用できるため、以下の説明においては、本技術を撮像装置に適用した場合を例に挙げて説明を行う。
　図１は、本技術を適用した撮像装置の一実施の形態の構成を示す図である。図１に示した撮像装置１０は、センサ１１－１、センサ１１－２、および制御部１２を含む構成とされている。
　センサ１１－１、センサ１１－２（以下、センサ１１－１，１１－２を、個々に区別する必要がない場合、単にセンサ１１と記述する）は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等の撮像素子とすることができる。
　制御部１２は、例えば、ＩＳＰ（Image Signal Processor）とすることができる。制御部１２は、センサ１１からの信号を処理し、図示していない後段の処理部に出力したり、センサ１１を制御したりする。
　センサ１１－１とセンサ１１－２は、詳細は後述するが、同期して動作するモードと、個別に動作するモードとがある。同期して動作するモードの場合、センサ１１－１とセンサ１１－２との間には、主従関係があり、一方がマスター（主）として動作し、他方がスレーブ（従）として動作する。
　ここでは、撮像装置１０を例に挙げて説明するため、センサ１１は、ＣＣＤやＣＭＯＳセンサなどの撮像素子（イメージセンサ）である場合を例に挙げて説明を続けるが、センサ１１は、撮像素子以外のセンサであっても、本技術を適用することはできる。例えば、圧力センサ、温度センサ、加速度センサ、照度センサなどのセンサであっても良い。
　また、センサ１１－１とセンサ１１－２は、同一種類のセンサ、この場合、イメージセンサであるとして説明を続けるが、異なる種類のセンサであっても良い。本技術によれば、以下に説明するように、センサ１１－１とセンサ１１－２が同期して動作することも可能であるし、個別に動作することも可能であるため、複数のセンサで、同じタイミングで情報を取得することもできるし、異なるタイミングで情報を取得することもできる。
　図１に示した撮像装置１０は、撮像素子などで構成されるセンサ１１－１とセンサ１１－２という２個の同一種類のセンサ１１を有しているとして説明と続けるが、２以上のセンサ１１を備えている場合にも、本技術を適用できる。
　＜センサの構成＞
　図２は、センサ１１の構成例を示す図である。
　センサ１１は、撮像部３１、信号処理部３２、クロック生成部３３、および制御部３４を含む構成とされている。また制御部３４は、マスターモード制御部４１とスレーブモード制御部４２を含む構成とされている。
　図２に示したセンサ１１は、マスターとして動作するとき（マスターモード）と、スレーブとして動作するとき（スレーブモード）の両方のモードに対応している構成を示している。
　センサ１１がマスターとしてしか動作しないセンサである場合、制御部３４は、マスターモード制御部４１のみを備える構成とすることができる。また、センサ１１が、スレーブとしてしか動作しないセンサである場合、制御部３４は、スレーブモード制御部４２のみを備える構成とすることができる。
　撮像部３１は、撮像素子やレンズを含み、被写体からの反射光を受光し、受光量に応じた信号を信号処理部３２に出力する。信号処理部３２は、欠陥補正、ノイズリダクション、ハイダイナミックレンジ合成処理（ＨＤＲ）などの処理を、入力された信号に対して施し、制御部１２（図１）に出力する。なお、撮像部３１から出力された信号を処理する機能は、信号処理部３２と制御部１２（図１）に分散されていても良いし、どちらか一方にのみ持たせても良い。
　クロック生成部３３は、クロック信号を生成し、信号処理部３２に供給する。クロック生成部３３が生成したクロック信号は、マスターモードで動作しているときには、スレーブ側のセンサ１１に対しても供給される。スレーブモードで動作しているときには、クロック生成部３３によるクロック信号の生成は停止され、マスターモードで動作しているセンサ１１からのクロック信号が、信号処理部３２に供給される。
　なお、クロック生成部３３が生成するクロック信号は、同期信号（XVS）であり、例えば、垂直同期信号であるとして説明を続け、適宜クロック信号を垂直同期信号とも記述する。
　制御部３４は、外部からの信号（制御部１２（図１）からの制御信号）に基づき、マスターモード制御部４１による制御を行うマスターモードで動作するか、スレーブモード制御部４２による制御を行うスレーブモードで動作するかを設定し、その設定されたモードで、センサ１１内の各部を制御する。
　マスターモード制御部４１は、動作モード５１と休止モード５２を有している。動作モード５１は、マスターモードで動作する場合のモードである。休止モード５２は、動作を休止するモードである。休止モード５２のときには、撮像部３１における撮像、信号処理部３２における信号処理、クロック生成部３３におけるクロック信号の生成などが停止されるため、消費電力が低減される。
　スレーブモード制御部４２は、同期モード６１と非同期モード６２を有している。同期モード６１は、マスター側のセンサ１１から、クロック信号の供給を受け、マスター側のセンサ１１と同期して動作する場合のモードである。非同期モード６２は、マスター側のセンサ１１から、クロック信号の供給を受けずに、自己のクロック生成部３３で生成したクロック信号に基づいて動作するモードであり、マスター側のセンサ１１と非同期で動作する場合のモードである。
　＜同期モードでの動作＞
　図２に示したセンサ１１を備える図１に示した撮像装置１０の動作について説明を加える。
　まず同期モードのときの動作について説明を加える。同期モードは、マスターに設定されたセンサ１１とスレーブに設定されたセンサ１１とが同期して動作するモードである。ここでは、マスターに設定されたセンサ１１をセンサ１１Ｍと記述し、例えば、図１におけるセンサ１１－１であるとし、スレーブに設定されたセンサ１１をセンサ１１Ｓと記述し、例えば、図１におけるセンサ１１－２であるとして説明を続ける。
　図３は、センサ１１Ｍがマスターモードで動作するときに、動作している部分を示す図である。センサ１１Ｍは、マスターモードで動作するため、マスターモード制御部４１が動作している状態である。また、同期モードでセンサ１１Ｍが動作するときには、マスターモード制御部４１は、動作モード５１で動作するモードとされる。
　また、マスター側のセンサ１１Ｍは、スレーブ側のセンサ１１Ｓにクロック信号を供給するため、クロック生成部３３Ｍも動作しており、センサ１１Ｍが動作するときのクロック信号を生成するとともに、生成されたクロック信号を外部に出力する。また信号処理部３２Ｍは、外部からのクロック信号の供給を受けない状態（遮断する状態）とされる。
　図４は、センサ１１Ｓがスレーブモードで動作するときに、動作している部分を示す図である。センサ１１Ｓは、スレーブモードで動作するため、スレーブモード制御部４２が動作している状態である。また、同期モードでセンサ１１Ｓが動作するときには、スレーブモード制御部４２は、同期モード６１で動作するモードとされる。
　また、スレーブ側のセンサ１１Ｓは、マスター側のセンサ１１Ｍからのクロック信号の供給を受け、そのクロック信号に基づいて動作するため、クロック生成部３３Ｓは動作が停止された状態とされる。また信号処理部３２Ｓは、外部(センサ１１Ｍ)からのクロック信号の供給を受ける状態とされ、供給されるクロック信号に基づいて動作する。
　図５は、マスターに設定されているセンサ１１Ｍが生成するクロック信号（垂直同期信号であり、図３ではXVSと記述する）、センサ１１Ｍが出力するデータ、センサ１１Ｍからスレーブに設定されているセンサ１１Ｓに供給されるクロック信号（垂直同期信号）、センサ１１Ｓの内部XVS、およびセンサ１１Ｓが出力するデータの関係を示す図である。
　時刻ｔ１において、センサ１１Ｍのクロック生成部３３Ｍでクロック信号（XVS）が生成される。１フレームの画像は、垂直同期信号（ＸＶＳ）をトリガーとして、次の垂直同期信号までに出力される。クロック生成部３３Ｍは、このような垂直同期信号を生成する。時刻t１において生成された垂直同期信号を、垂直同期信号１Ｍと記述する。
　時刻ｔ２において、センサ１１Ｍのクロック生成部３３Ｍで垂直同期信号２Ｍが生成される。時刻t１から時刻t２の間（垂直同期信号１Ｍから垂直同期信号２Ｍの間）に、センサ１１Ｓからは、フレーム１Ｍが出力される。
　時刻t１において、クロック生成部３３Ｍで生成された垂直同期信号１Ｍは、センサ１１Ｍからセンサ１１Ｓにも供給される。センサ１１Ｓの信号処理部３２Ｓは、時刻t１において、垂直同期信号１Ｍの供給を受ける。センサ１１Ｓは、時刻t１において、垂直同期信号１Ｍの供給を受けたことで、フレームＳ１の出力を開始する。
　またセンサ１１Ｓは、時刻t２において、センサ１１Ｍから垂直同期信号２Ｍの供給を受ける。センサ１１Ｓは、時刻t２において、垂直同期信号２Ｍの供給を受けたことで、フレーム２Ｓの出力を開始する。
　すなわち、この場合、時刻t１において、マスター側のセンサ１１Ｍで生成された垂直同期信号１Ｍは、センサ１１Ｍ内部に供給されるとともに、スレーブ側のセンサ１１Ｓに対しても供給される。よって、時刻ｔ１において、センサ１１Ｍとセンサ１１Ｓは、撮像を開始し、フレーム１Ｍとフレーム１Ｓを、それぞれ出力する。
　すなわち、時刻ｔ１において、センサ１１Ｍとセンサ１１Ｓは、同期した撮像を行う。同様に、時刻ｔ２においても、時刻ｔ２において生成された垂直同期信号２Ｍにより、センサ１１Ｍとセンサ１１Ｓは、それぞれフレーム２Ｍとフレーム２Ｓを出力する。このような同期が取られた撮像が、順次行われる。
　センサ１１Ｍとセンサ１１Ｓ（センサ１１－１とセンサ１１－２）で同期した撮像を行うことで、例えば、視差画像を得ることができる。例えば、センサ１１－１を右目用の画像を撮像するセンサとし、センサ１１－２を左目用の画像を撮像するセンサとし、同期した撮像を行うことで、視差画像を得ることができる。
　本技術を適用することで、以下に説明するように、同期した撮影以外の撮影も行えるようになる。
　例えば、センサ１１Ｍとセンサ１１Ｓの一方を停止させ、他方を動作させ、その動作しているセンサ１１で撮像を行うこともできる。本技術を適用することで、このようなことは可能となるが、本技術を適用していないセンサ１１では、以下の理由から、マスター側のセンサ１１Ｍの動作を停止させることはできない。
　図３乃至５を参照して説明したように、センサ１１Ｍで生成された垂直同期信号Ｍが、センサ１１Ｍとセンサ１１Ｓに供給されることで、同期が行われる。このような状態で、センサ１１Ｍを停止させた場合、センサ１１Ｍで垂直同期信号Ｍが生成されず、センサ１１Ｍからセンサ１１Ｓに、垂直同期信号Ｍが供給されない状態となる。よって、センサ１１Ｓを動作させることができない状態となってしまう。
　しかしながら、以下に説明するように、本技術によれば、センサ１１Ｍとセンサ１１Ｓの一方を停止させ、他方を動作させ、その動作しているセンサ１１で撮像を行うこともできる。このように、センサ１１を停止させるモードを、休止モードとする。
　また本技術を適用することで、センサ１１Ｍとセンサ１１Ｓを、個別に動作させることで、例えば、一方で、露光時間の長い撮像を行い、他方で露光時間の短い撮像を行うといった、条件の異なる撮像を行うことができる。
　図３乃至５を参照して説明したように、センサ１１Ｍで生成された垂直同期信号Ｍが、センサ１１Ｍとセンサ１１Ｓに供給されることで、センサ１１Ｍとセンサ１１Ｓは、それぞれ撮像を行う。センサ１１Ｍとセンサ１１Ｓは、同一の信号に基づいて処理を行うため、異なる露光時間での撮影を行うといったことは、困難であるが、本技術によれば、可能となる。
　このように、センサ１１Ｍとセンサ１１Ｓで条件が異なる撮像を行う場合を、非同期モードとする。
　＜休止モードについて＞
　＜第１の動作例＞
　休止モードについて説明を加える。休止モードは、マスターとされているセンサ１１Ｍが休止モードとなり、スレーブとされているセンサ１１Ｓは、非同期モードとなる状態である。
　図６は、マスター側のセンサ１１Ｍで生成されるクロック信号（マスターXVS）、センサ１１Ｍのモード、スレーブ側のセンサ１１Ｓに供給または生成されるクロック信号（スレーブXVS）、およびセンサ１１Ｓのモードの関係を説明するための図である。
　時刻ｔ１１より前の時点ではマスター側のセンサ１１Ｍは、動作モード５１で動作し、スレーブ側のセンサ１１Ｓは、同期モード６１で動作している。
　時刻ｔ１１より前の時点では、センサ１１Ｍは、図３に示したような状態であり、マスターモード制御部４１で制御が行われ、マスターモード制御部４１は、動作モード５１で動作している状態である。
　また、時刻ｔ１１より前の時点では、センサ１１Ｓは、スレーブモード制御部４２で制御が行われ、スレーブモード制御部４２は、同期モード６１で動作している状態である。
　時刻ｔ１１において、制御部１２から、センサ１１Ｓの制御部３４Ｓに対して、同期モード６１から非同期モード６２への移行が指示される。例えば、制御部３４は、制御部１２（外部）からの指示を受けてから、２クロック信号後に、指示を実行すると設定されていた場合、時刻ｔ１１から２クロック信号後に、センサ１１Ｓは、非同期モード６２へと移行する。
　時刻ｔ１１より後の時点である時刻ｔ１２において、制御部１２（図１）から、センサ１１Ｍの制御部３４Ｍに対して、動作モード５１から休止モード５２への移行が指示される。
　センサ１１Ｍが、動作モード５１から休止モード５２へと移行すると、センサ１１Ｍからセンサ１１Ｓにクロック信号が供給されない状態へと移行することになる。仮に、スレーブ側のセンサ１１Ｓが、非同期モード６２に移行する前に、換言すれば、同期モード６１のときに、センサ１１Ｍからクロック信号が供給されない状態になると、センサ１１Ｓは、動作できない状態となってしまう可能性がある。
　よって、このように、センサ１１Ｓが動作できない状態にならないように、例えば、センサ１１Ｓが非同期モード６２に移行した後の時点で、センサ１１Ｍのモードが動作モード５１から休止モード５２に移行されるようにする。このようなタイミングが、ここでは時刻ｔ１２であるとする。
　または、時刻ｔ１１において、センサ１１Ｍの制御部３４Ｍに対して、動作モード５１から休止モード５２への移行が指示されても良い。時刻ｔ１１の時点では、センサ１１Ｍとセンサ１１Ｓは、同期して動作しているため、同時にモードの切り替えが指示された場合、同じタイミングでモードの切り替えが実行される。よって、同時刻に、センサ１１Ｍとセンサ１１Ｓに、モードの切り替えが指示されるようにしても良い。
　このようなモードの切り替えの指示のタイミングは、センサ１１の特性などを考慮して、設定されるようにすることができる。
　時刻ｔ１２において、制御部１２（図１）から、センサ１１Ｍの制御部３４Ｍに対して、動作モード５１から休止モード５２への移行が指示される。このような指示が出されることで、時刻ｔ１２において、センサ１１Ｍの制御部３４Ｍのマスターモード制御部４１は、休止モード５２へと移行し、休止モード５２で動作を開始する。
　図７は、センサ１１Ｍが休止モード５２で動作するときに、動作している部分を示す図である。センサ１１Ｍは、マスターモードで動作するため、マスターモード制御部４１が動作している状態であり、そのマスターモードの休止モード５２で動作するモードとされている。
　また、マスター側のセンサ１１Ｍは、休止モード５２で動作するときには、内部にクロック信号を供給したり、スレーブ側のセンサ１１Ｓにクロック信号を供給したりする必要がないため、クロック生成部３３Ｍの動作は停止されている。また、撮像部３１Ｍと信号処理部３２Ｍも、動作を停止することが可能であるため、停止されている。
　このように、休止モード５２のときには、センサ１１Ｍ内の各部が停止された状態となるため、センサ１１Ｍで消費される電力を低減させることができる。すなわち、このような休止モード５２を実現することができることで、低消費電力化を実現することが可能となる。
　図８は、センサ１１Ｓがスレーブモードで動作するときであり、非同期モードで動作するときに、動作している部分を示す図である。センサ１１Ｓは、スレーブモードで動作するため、スレーブモード制御部４２が動作している状態である。また、非同期モードでセンサ１１Ｓが動作するときには、スレーブモード制御部４２は、非同期モード６２で動作するモードとされる。
　また、スレーブ側のセンサ１１Ｓは、非同期モード６２で動作するときには、マスター側のセンサ１１Ｍからのクロック信号の供給を受けずに、自己内のクロック生成部３３Ｓでクロック信号を生成する。そして、クロック生成部３３Ｓで生成したクロック信号に基づいて、センサ１１Ｓは動作する。
　また信号処理部３２Ｓは、外部からのクロック信号の供給を受ける状態から、クロック生成部３３Ｓで生成されるクロック信号の供給を受ける状態とされ、供給されるクロック信号に基づいて動作する。
　時刻ｔ１３において、センサ１１Ｍの制御部４１Ｍに対して、制御部１２から、休止モード５２から動作モード５１への切り替えが指示される。このような指示が出されることで、センサ１１Ｍは、図７に示したような休止モード５２が有効な状態から、図３に示したような動作モード５１が有効な状態へと切り替えられる。
　また、動作モード５１が有効な状態となることで、クロック生成部３３Ｍがクロック信号の生成を開始し、スレーブ側のセンサ１１Ｓに対してもクロック信号を供給することが可能な状態となる。
　センサ１１Ｍからクロック信号が出力される状態となった後の時点の時刻ｔ１４において、センサ１１Ｓの制御部４１Ｓに対して、制御部１２から、非同期モード６２から同期モード６１への切り替えが指示される。このような指示が出されることで、センサ１１Ｓは、図８に示したような非同期モード６２が有効な状態から、図４に示したような同期モード６１が有効な状態へと切り替えられる。
　また、同期モード６１が有効な状態となることで、センサ１１Ｍから供給されるクロック信号の入力を開始する。
　このように、複数のセンサ１１を備える撮像装置１０において、複数のセンサ１１を同期させて駆動させることも可能であるし、非同期で駆動させることも可能である。また、複数のセンサ１１を非同期で駆動させるとき、駆動させないセンサ１１を設けることも可能である。また、駆動させないセンサ１１の消費電力を低減させることができ、撮像装置１０の消費電力も低減させることが可能となる。
　また、図６に示した例では、スレーブ側のセンサ１１Ｓは、同期モード６１と非同期モード６２のモードで駆動し続けるが、スレーブ側のセンサ１１Ｓを、マスターモード制御部４１で制御する状態とし、休止モード５２で動作する状態とすることで、休止状態（駆動させない状態）とすることができる。よって、複数のセンサ１１のうち、１台のセンサ１１だけでなく、複数のセンサ１１の駆動を停止させることも可能である。
　＜第２の動作例＞
　次に、非同期モードのときの動作例（第２の動作例）について説明する。
　図９は、マスター側のセンサ１１Ｍで生成されるクロック信号（マスターXVS）、センサ１１Ｍのモード、スレーブ側のセンサ１１Ｓに供給または生成されるクロック信号（スレーブXVS）、およびセンサ１１Ｓのモードの関係を説明するための図である。
　図９に示したセンサ１１Ｍとセンサ１１Ｓの動作のうち、図６に示したセンサ１１Ｍとセンサ１１Ｓの動作と同一の箇所については、説明を省略する。スレーブ側のセンサ１１Ｓの動作は、図６に示したセンサ１１Ｓの動作と同じく、同期モード６１から非同期モード６２に移行し、非同期モード６２から同期モード６１に移行する。
　時刻ｔ２１において、センサ１１Ｓの制御部４１Ｓに対して、制御部１２から、同期モード６１から非同期モード６２への切り替えが指示される。このような指示を受けてから、２クロック信号後に、同期モード６１から非同期モード６２へと切り替えられる。また、このとき、非同期モード６２に移行した後のクロック信号の周波数（フレームレート）も指示される。
　時刻ｔ２２において、センサ１１Ｍの制御部４１Ｍに対して、制御部１２から、クロック信号の周波数の変更が指示される。例えばここでは、指示前の時点での周波数を周波数１１ＭＡとし、後の時点での周波数を周波数１１ＭＢとする。
　センサ１１Ｍは、時刻ｔ２２において、クロック信号の周波数を、周波数１１ＭＡから周波数１１ＭＢに変更するという指示を受け取ると、時刻ｔ２２より２クロック信号を受信した後に、クロック信号の周波数を、周波数１１ＭＢに変更する。
　一方、センサ１１Ｓは、時刻ｔ２１において、同期モード６１から非同期モード６２への切り替えが指示されると、時刻ｔ２１より２クロック信号を受信した後に、クロック信号を自己内のクロック生成部３３Ｓで生成し、その生成するクロック信号の周波数を、周波数１１ＳＢとする。
　センサ１１Ｍは、動作モード５１のまま動作し続けるが、クロック信号の周波数が変更され、その変更後の周波数１１ＭＢのクロック信号を生成する状態となる。センサ１１Ｓは、同期モード６１から非同期モード６２に遷移し、クロック信号の供給を受けていた状態から、周波数１１ＳＢのクロック信号を生成する状態となる。
　周波数１１ＭＢと周波数１１ＳＢは、異なる周波数とすることができる。よって、センサ１１Ｍとセンサ１１Ｓは、異なる周波数で動作させることができる。換言すれば、スレーブに設定されているセンサ１１Ｓを、マスターに設定されているセンサ１１Ｍに依存しないフレームレートで動作させることができる。
　時刻ｔ２３において、センサ１１Ｍの制御部４１Ｍに対して、制御部１２から、クロック信号の周波数を、周波数１１ＭＢから周波数１１ＭＣに変更するという指示が出される。また時刻ｔ２３において、センサ１１Ｓの制御部４１Ｓに対して、制御部１２から、非同期モード６２から同期モード６１への切り替えが指示される。
　センサ１１Ｍは、時刻ｔ２３において、クロック信号の周波数を、周波数１１ＭＢから周波数１１ＭＣに変更するという指示を受け取ると、時刻ｔ２２より２クロック信号を受信した後に、クロック信号の周波数を、周波数１１ＭＣに変更する。
　一方、センサ１１Ｓは、時刻ｔ２３において、非同期モード６２から同期モード６１への切り替えが指示されると、時刻ｔ２３より２クロック信号を受信した後に、クロック信号をセンサ１１Ｍから入力する状態に移行し、センサ１１Ｍと同期した動作を行う状態にされる。
　このように、複数のセンサ１１が同期した状態と、非同期の状態を、動的に切り替えることができる。
　＜第３の動作例＞
　次に、第３の動作例について説明する。
　図１０は、マスター側のセンサ１１Ｍで生成されるクロック信号（マスターXVS）、センサ１１Ｍのモード、スレーブ側のセンサ１１Ｓに供給または生成されるクロック信号（スレーブXVS）、およびセンサ１１Ｓのモードの関係を説明するための図である。
　センサ１１Ｍとセンサ１１Ｓが、図２に示したセンサ１１の構成を有している場合、例えば、スレーブモードで動作しているセンサ１１を、マスターモードに切り替えて動作させることもできる。第３の動作例として、スレーブモードで動作しているセンサ１１を、マスターモードに切り替えて動作させるときの動作について説明する。
　時刻ｔ３１より前の時点では、センサ１１Ｓは、スレーブモードで動作している。すなわち、図４に示したように、スレーブモード制御部４２の同期モード６１が有効になっている状態で動作している。
　時刻ｔ３１において、センサ１１Ｓの制御部４１Ｓに対して、制御部１２から、スレーブモードからマスターモードに切り替えるようにという指示が出される。このような指示を受け取り、２クロック信号を受信した後に、センサ１１Ｓは、スレーブモードからマスターモードに切り替える。マスターモードに切り替えられたことにより、図３に示したように、マスターモード制御部４１の動作モード５１が有効になっている状態とされる。
　また、時刻ｔ３１においては、センサ１１Ｓに対して、マスターモードに移行後のクロック信号の周波数も指定されており、その指定されている周波数で、センサ１１Ｓは、クロック信号の生成を開始する。
　一方で、時刻ｔ３２において、センサ１１Ｍの制御部４１Ｍに対して、制御部１２から、クロック信号の周波数の変更が指示される。このような指示を受け取り、２クロック信号を受信した後に、センサ１１Ｍは、指示された周波数にクロック信号の周波数を切り替える。
　時刻ｔ３２の前後において、センサ１１Ｍは、マスターモードで動作している（マスターモードでの動作を維持している）。一方で、センサ１１Ｓは、時刻ｔ３１の後、マスターモードで動作する。この場合、時刻ｔ３２の後、２つのセンサ１１は、両方ともマスターモードで動作していることになる。
　センサ１１が、マスターモードのときは、クロック信号を外部に供給するが、外部からのクロック信号を入力しない。よって、２つのセンサ１１がマスターモードで動作していても、外部からのクロック信号は入力しないように構成されているため、互いに干渉するようなことなく動作することができる。
　このように、スレーブモードで動作しているセンサ１１Ｓをマスターモードで動作させることも可能である。またマスターモードで動作していたセンサ１１Ｍを、スレーブモードで動作させることも可能である。
　図１０を参照するに、時刻ｔ３３において、センサ１１Ｍの制御部４１Ｍに対して、制御部１２から、マスターモードからスレーブモードに切り替えるようにという指示が出される。
　このような指示を受け取り、２クロック信号を受信した後に、センサ１１Ｍは、マスターモードからスレーブモードに切り替える。スレーブモードに切り替えられたことにより、図４に示したように、スレーブモード制御部４２の同期モード６１が有効になっている状態とされる。センサ１１Ｍがスレーブモードの同期モード６１で動作を開始すると、センサ１１Ｓから供給されるクロック信号を入力する状態とされ、その入力されるクロック信号に基づき動作する状態となる。
　このように、マスターモードやスレーブモードは、動的に変更することができる。また、複数のセンサ１１が含まれるシステムにおいて、個々のセンサ１１を、マスターモードまたはスレーブモードのどちらかの所望とされるモードで動作させることができる。また、複数のセンサ１１をマスターモードで動作させることも可能である。
　＜第４の動作例＞
　次に、第４の動作例について説明する。
　図１１は、マスター側のセンサ１１Ｍで生成されるクロック信号（マスターXVS）、センサ１１Ｍのモード、スレーブ側のセンサ１１Ｓに供給または生成されるクロック信号（スレーブXVS）、およびセンサ１１Ｓのモードの関係を説明するための図である。
　図１０を参照して説明した動作においては、センサ１１Ｍは、マスターモードからスレーブモードに移行したが、マスターモードのままで動作し続けるようにすることもできる。さらに、クロック信号の周波数（フレームレート）を変更することもできる。そのような動作例を、第４の動作例として説明する。
　時刻ｔ４１より前の時点では、センサ１１Ｓは、スレーブモードで動作している。すなわち、図４に示したように、スレーブモード制御部４２の同期モード６１が有効になっている状態で動作している。
　時刻ｔ４１において、センサ１１Ｓの制御部４１Ｓに対して、制御部１２から、スレーブモードからマスターモードに切り替えるようにという指示が出される。このような指示を受け取り、２クロック信号を受信した後に、センサ１１Ｓは、スレーブモードからマスターモードに切り替える。マスターモードに切り替えられたことにより、図３に示したように、マスターモード制御部４１の動作モード５１が有効になっている状態とされる。
　また、時刻ｔ４１においては、センサ１１Ｓに対して、マスターモードに移行後のクロック信号の周波数も指定されており、その指定されている周波数で、センサ１１Ｓは、クロック信号の生成を開始する。
　一方で、時刻ｔ４２において、センサ１１Ｍの制御部４１Ｍに対して、制御部１２から、クロック信号の周波数の変更が指示される。このような指示を受け取り、２クロック信号を受信した後に、センサ１１Ｍは、指示された周波数に切り替える。
　時刻ｔ４３において、センサ１１Ｍの制御部４１Ｍに対して、制御部１２から、クロック信号の周波数の変更が指示される。また時刻ｔ４３において、センサ１１Ｓの制御部４１Ｓに対して、制御部１２から、クロック信号の周波数の変更が指示される。このような指示を受け取り、２クロック信号を受信した後に、センサ１１Ｍとセンサ１１Ｓは、それぞれ、クロック信号の周波数を変更する。
　図１１に示した動作例においては、センサ１１Ｍは、マスターモード制御部４１の動作モード５１が有効にされている状態で動作を継続している。また、センサ１１Ｓは、スレーブモード制御部４２の同期モード６１が有効にされていた状態から、マスターモード制御部４１の動作モード５１が有効にされている状態に移行し、マスターモードでの動作を継続している。
　このように、マスターモードやスレーブモードは、動的に変更することができる。また、複数のセンサ１１が含まれるシステムにおいて、個々のセンサ１１を、マスターモードまたはスレーブモードのどちらかの所望とされるモードで動作させることができる。また、複数のセンサ１１をマスターモードで動作させることも可能である。
　＜第５の動作例＞
　次に、第５の動作例について説明する。
　図１２は、マスター側のセンサ１１Ｍで生成されるクロック信号（マスターXVS）、センサ１１Ｍのモード、スレーブ側のセンサ１１Ｓに供給または生成されるクロック信号（スレーブXVS）、およびセンサ１１Ｓのモードの関係を説明するための図である。
　第５の動作例として、複数のセンサ１１が同期して動作しているが、センサ１１のフレームレートが異なる動作について説明する。
　図１２において、センサ１１Ｍは、マスターモード制御部４１の動作モード５１が有効にされている状態で動作を継続している。また、センサ１１Ｓは、スレーブモード制御部４２の同期モード６１が有効にされている状態で動作を継続している。
　センサ１１Ｓは、スレーブモード制御部４２の同期モード６１で動作しているため、センサ１１Ｍから供給されるクロック信号に基づいて動作する（センサ１１Ｍと同じフレームレートで動作する）。そのフレームレートを、センサ１１Ｓ側だけ変更される場合を図１２では示している。
　すなわち、時刻ｔ５１において、センサ１１Ｓの制御部４１Ｓに対して、制御部１２から、クロック信号の周波数の変更（フレームレートの変更）が指示される。センサ１１Ｓは、センサ１１Ｍから供給されるクロック信号を間引くことで、周波数の変更を行う。図１２に示した例では、フレームレートを１／４に落とした例を示している。
　すなわち、センサ１１Ｓは、センサ１Ｍから、クロック信号（垂直同期信号）を４回入力したうちの、１回だけ適用し、残りの３回は破棄することで、フレームレートを１／４に落とす。
　このように、同期しつつも、入力されるクロック数を制御することで、異なる動作を行うようにすることもできる。
　図１２に示した例では、時刻ｔ１２において、センサ１１Ｓの制御部４１Ｓに対して、制御部１２から、クロック信号の周波数の変更（フレームレートの変更）が指示され、その指示が、間引きなし、すなわちセンサ１１Ｍのクロック信号をそのまま用いる指示が出される。その結果、センサ１１Ｓは、同期モード６１のまま、間引きなしでの処理を行う。
　このように、同期をとりつつも、同期信号の取り方を変えることで、非同期モードのときのような、個々のセンサ１１が、所望とされるフレームレートで処理できるようにすることもできる。
　また、フレームレートを落とすことで、低消費動作を実現することができる。
　＜第６の動作例＞
　次に、第６の動作例について説明する。
　図１３は、マスター側のセンサ１１Ｍで生成されるクロック信号（マスターXVS）、センサ１１Ｍのモード、スレーブ側のセンサ１１Ｓに供給または生成されるクロック信号（スレーブXVS）、およびセンサ１１Ｓのモードの関係を説明するための図である。
　第６の動作例も、第５の動作例と同じく、複数のセンサ１１が同期して動作しているが、複数のセンサ１１が異なるフレームレートで動作する場合について説明する。
　図１３において、センサ１１Ｍは、マスターモード制御部４１の動作モード５１が有効にされている状態で動作を継続しているが、時刻ｔ６１と時刻ｔ６２において、フレームレートの変更が指示されている。図１３に示して例では、時刻ｔ６１において、センサ１１Ｓに対して、フレームレートを１／４に落とす指示が出され、時刻ｔ６２において、フレームレートを元に戻す指示が出された状態を示している。
　一方で、センサ１１Ｓは、センサ１１Ｍと同期した状態で、かつフレームレートを維持した動作が指示されている。フレームレートを維持するために、時刻ｔ６１において、センサ１１Ｓに対して、制御部１２から、フレームレートを維持するために、クロック信号を補間するという指示が出される。
　すなわちこの場合、時刻ｔ６１において、センサ１１Ｍに対しては、フレームレートを１／４に落とす指示が出され、センサ１１Ｓに対しては、センサ１１Ｍと同期しつつも、フレームレートを落とさないように、垂直同期信号を補間する指示が出される。
　時刻ｔ６１より、２クロック信号後、センサ１１Ｓは、センサ１１Ｍの垂直信号と４回に１回の同期をとるが、その同期を取るときのクロック信号以外の、残りの３回のクロック信号は、センサ１１Ｓ自身が生成する。
　図１３中のスレーブXVSのところで、点線で示したクロック信号は、センサ１１Ｓが、クロック生成部３３Ｓで生成した信号を表す。図１３に示したように、センサ１１Ｓの４つのクロック信号のうち、３つのクロック信号（この場合、XVS）は、クロック生成部３３Ｓで生成した信号であり、１つのクロック信号は、センサ１１Ｍから供給される信号である。
　このように、センサ１１Ｍとセンサ１１Ｓは、同期しつつも、非同期に動作させることも可能である。また同期しつつも、非同期に動作させるとき、同期した信号以外で必要とされる信号は、補間することで、異なる動作を行えるようにすることができる。
　時刻t６３において、センサ１１Ｓに対して、クロック信号の補間（生成）を停止し、センサ１１Ｍと完全に同期（完全同期と記述する）するという指示が出される。その結果、時刻t６３より２クリック信号後に、センサ１１Ｓは、センサ１１Ｍと完全同期する。
　このように、同期をとりつつも、同期信号の取り方を変えることで、非同期モードのときのような、個々のセンサ１１が、所望とされるフレームレートで処理できるようにすることもできる。
　また、フレームレートを落とすことで、低消費動作を実現することができる。
　＜第７の動作例＞
　次に、第７の動作例について説明する。
　図１３を再度参照する。時刻ｔ６２において、センサ１１Ｍに対して、クロック信号を元に戻す指示が出される。そして、時刻ｔ６３において、センサ１１Ｓに対して、センサ１１Ｍと完全同期することが指示される。この時刻ｔ６２と時刻ｔ６３は異なる時刻である。
　センサ１１Ｍは、時刻ｔ６２より、センサ１１Ｍが生成するクロック信号で２クロック信号後から、元の周波数に戻し、その時点から、センサ１１Ｓとの同期を開始する。また、センサ１１Ｓは、時刻ｔ６３より、センサ１１Ｓが補間するクロック信号とセンサ１１Ｍから供給されるクロック信号を合わせて２クロック信号後から、センサ１１Ｍとの完全同期を開始する。
　完全同期前のセンサ１１Ｍとセンサ１１Ｓのフレームレート（クロック信号の周波数）は、異なるため、同時刻に、完全同期を開始するためには、図１３に示したように、時刻ｔ６２と時刻ｔ６３を異なる時刻とする、換言すれば、センサ１１Ｍとセンサ１１Ｓに指示を出すタイミングを異ならせる必要がある。
　また、センサ１１Ｓに完全同期の指示を出すタイミングは、センサ１１Ｓ自身が生成するクロック信号と、センサ１１Ｍからのクロック信号が供給されるタイミングを考慮して、適切なタイミングで出されるようにする必要がある。
　第７の動作例として、完全同期を指示するときのタイミングを同タイミングで行うときの動作例について説明する。
　図１４は、マスター側のセンサ１１Ｍで生成されるクロック信号（マスターXVS）、センサ１１Ｍのモード、スレーブ側のセンサ１１Ｓに供給または生成されるクロック信号（スレーブXVS）、センサ１１Ｓのモード、および通信反映マスクの関係を説明するための図である。
　第７の動作例は、第６の動作例（図１３）に、通信反映マスクを加えた動作となっている点以外は、第６の動作と同じであるため、同一の動作に関しては説明を省略する。
　通信反映マスクは、センサ１１Ｓにおいて、センサ１１Ｓ内でクロック信号を生成しているときに、そのクロック信号をカウントしないようなマスキング処理を行う。
　通信反映マスクを行うことで、クロック信号としては、センサ１１Ｍからの信号のみが反映されたカウントを行うことができる。よって、時刻ｔ６２において、センサ１１Ｍとセンサ１１Ｓに、指示が出され、その指示が実行されるタイミングは、センサ１１Ｍとセンサ１１Ｓの両方のセンサにおいて、センサ１１Ｍで生成したクロック信号の２クロック信号後となる。
　このように、通信反映マスク処理を追加することで、センサ１１Ｍとセンサ１１Ｓに同タイミングで指示を出し、同タイミングで，指示された動作が開始されるようにすることもできる。
　第７の動作例も、第６の動作例と同じく、同期をとりつつも、同期信号の取り方を変えることで、非同期モードのときのような、個々のセンサ１１が、所望とされるフレームレートで処理できるようにすることもできる。
　また、フレームレートを落とすことで、低消費動作を実現することができる。
　＜具体例＞
　上記したように、複数のセンサ１１を備える撮像装置１０において、本技術を適用することで、複数のセンサ１１を同期させて動作させることもできるし、非同期で動作させることもできる。また、複数のセンサ１１を同期させて動作させつつも、個々のセンサ１１で、所望とされる周波数（例えば、フレームレート）で処理を行うことも可能である。
　ここで、上記したような動作を行うセンサ１１－１とセンサ１１－２（図１）を備える撮像装置１０の具体的な動作例を挙げて説明を続ける。
　センサ１１－１をワイドセンサとし、センサ１１－２をテレセンサとする。ワイドセンサは、ワイド端側の画像を撮像するセンサであり、比較的広範囲の画像を撮像する。テレセンサは、テレ端側の画像を撮像するセンサであり、比較的狭範囲の画像を撮像する。
　図１５に、ワイドセンサとテレセンサで同時刻に撮像したときに撮像される画像例を示す。ワイドセンサ（センサ１１－１）は、例えば、図１５のＡのような画像を撮像する。図１５のＡを参照するに、ワイドセンサであるセンサ１１－１により撮像が行われると、３人の人物と、背景（空、地面、太陽など）が撮像される。
　テレセンサ（センサ１１－２）は、例えば、図１５のＢのような画像を撮像する。図１５のＢを参照するに、テレセンサであるセンサ１１－２により撮像が行われると、２人の人物が大きく撮像される。
　ワイドセンサとテレセンサを備えた撮像装置１０における動作の一例について、図１６を参照して説明する。図１６に示した動作は、徐々に被写体を拡大して撮像する撮像、換言すれば、ワイド端からテレ端側に移るときの撮像が行われているときの動作である。
　まず、センサ１１－１（ワイドセンサ）で撮像されている画像が、表示部（不図示）に出力される。センサ１１－１からの画像が表示部に表示されている間（時刻ｔ８１から時刻ｔ８３間）、センサ１１－２（テレセンサ）は、休止モード５２とされる。時刻ｔ８２において、倍率２倍のズームが指示されたとする。
　この場合、センサ１１－１はスレーブモードで動作し、センサ１１－２は、マスターモードで動作している。センサ１１－１は、スレーブモード制御部４２の非同期モード６２が有効にされている状態であり、センサ１１－２は、マスターモード制御部４１の休止モード５２が有効にされている状態である。このような状態は、例えば、上記した第１の動作例に該当する動作を適用することで実行できる。
　または、センサ１１－１とセンサ１１－２を、ともにマスターモードで動作させることでも実現できる。センサ１１－１は、マスターモード制御部４１の動作モード５１が有効にされている状態であり、センサ１１－２は、マスターモード制御部４１の休止モード５２が有効にされている状態である。このような状態は、例えば、上記した第３の動作例や第４の動作例を適用することで実行できる。
　ワイドセンサで撮像される画像、例えば図１５のＡにおいて、倍率１倍の画像は、１５００×５００（pix）である場合、倍率２倍の画像は、７５０×２５０（pix）となる。また、ワイドセンサの７５０×２５０（pix）に撮像されている画像は、図１５のＢに示すように、テレセンサの１５００×５００（pix）の画像に相当する。
　さらに、テレセンサで撮像される画像において、倍率１倍の画像が、１５００×５００（pix）である場合、倍率２倍の画像は、７５０×２５０（pix）となる。よって、ワイドセンサで倍率１倍の画像（１５００×５００（pix）で撮像される画像）を基準とした場合、テレセンサの７５０×２５０（pix）で撮像される画像の倍率は、倍率４倍の画像となる。
　図１６を参照するに、時刻ｔ８２において、倍率２倍が指示されると、センサ１１－２の休止モード５２が解除され、動作モード５１へと移行される。時刻ｔ８３から、センサ１１－１で撮像されている画像と、センサ１１－２で撮像されている画像とが合成され、その合成された合成画像が、表示部に表示される。
　センサ１１－１（ワイドセンサ）は、７５０×２５０（pix）での画像を撮像し、センサ１１－２（テレセンサ）は、１５００×５００（pix）の画像を撮像する。この解像度が異なる画像が合成された画像が、表示部に表示される。
　時刻ｔ８３の前の時点において、センサ１１－１が、スレーブモードの非同期モード６２で動作し、センサ１１－２が、マスターモードの休止モード５２で動作していた場合、時刻ｔ８３において、センサ１１－１は、同期モード６１に移行し、センサ１１－２は、動作モード５１に移行する。
　または、センサ１１－１が、マスターモードの動作モード５１で動作し、センサ１１－２が、マスターモードの休止モード５２で動作していた場合、時刻ｔ８３において、センサ１１－１は、マスターモードの動作モード５１での動作を維持し、センサ１１－２は、マスターモードの動作モード５１に移行する。
　または、センサ１１－１が、マスターモードの動作モード５１で動作し、センサ１１－２が、マスターモードの休止モード５２で動作していた場合、時刻ｔ８３において、センサ１１－１は、マスターモードの動作モード５１での動作を維持し、センサ１１－２は、スレーブモードの同期モード６１に移行する。
　時刻t８４において、さらに、倍率が４倍に指示される。時刻ｔ８５において、センサ１１－１は、動作モード５１から休止モード５２へと移行する。時刻ｔ８５以降は、センサ１１－２で撮像され出力された画像が、表示部に表示される。
　時刻ｔ８５の前の時点で、センサ１１－１が、スレーブモードの同期モード６１で動作し、センサ１１－２が、マスターモードの動作モード５１で動作していた場合、時刻ｔ８５において、センサ１１－１は、マスターモードの休止モード５２に移行し、センサ１１－２は、動作モード５１を維持する。
　または、センサ１１－１とセンサ１１－２がともに、マスターモードの動作モード５１で動作していた場合、時刻ｔ８５において、センサ１１－１は、マスターモードの休止モード５２へと移行し、センサ１１－２は、マスターモードの動作モード５１を維持する。
　または、センサ１１－１は、マスターモードの休止モード５２に移行し、センサ１１－２は、スレーブモードの非同期モード６２に移行しても良い。
　このように、センサ１１－１とセンサ１１－２が、異なる画角の画像を撮像する場合に本技術を適用することができる。また、センサ１１－１で撮像されている画像からセンサ１１－２で撮像されている画像へと切り替えるときに、各センサ１１のモードを切り替えることで、途中に合成した画像を出力するといった処理を含ませることも容易に行えるようになる。
　このように、センサ１１－１で撮像されている画像からセンサ１１－２で撮像されている画像へと切り替えるときに、センサ１１－１とセンサ１１－２からの画像を合成した画像を表示させることで、ワイドセンサからの画像からテレセンサからの画像へと切り替えるときの段差を見えにくくすることが可能となる。
　仮に、ワイドセンサからの画像からテレセンサからの画像へと切り替えるときに、合成画像を入れなかった場合、ワイドセンサからの画像から、テレセンサからの画像へとある時点で急に入れ替わることになる。そのような急な画像の変化は、ユーザに不快感を与える可能性もある。
　本技術によれば、ワイドセンサからの画像からテレセンサからの画像へと切り替えるとき合成画像を入れることで、急に画像が変化するようなことを防ぐことができ、ユーザが不快に感じるようなことを防ぐことが可能となる。
　図１６に示した具体的な動作例においては、センサ１１－１またはセンサ１１－２が休止モード５２で動作している期間がある。この休止モード５２で動作している間は、電力の消費が抑えられるため、低消費電力化することが可能となる。
　図１７、図１８を参照し、他の具体例について説明する。図１７、図１８に示した具体例は、センサ１１の役割が、図１６、図１８に示した具体例と異なるだけであり、モードの遷移などに関しては同様であるため、その説明は適宜省略する。
　センサ１１－１を高解像度センサとし、センサ１１－２を低解像度センサとする。高解像度センサは、スモールピクセル（Small Pixel）で構成され、解像度は高いが、暗く見える画像を撮像するセンサである。低解像度センサは、ビッグピクセル（Big Pixel）で構成され、解像度は低いが、明るく見える画像を撮像するセンサである。
　図１７に、高解像度センサと低解像度センサで同時刻に撮像したときに撮像される画像例を示す。高解像度センサ（センサ１１－１）は、例えば、図１７のＡのような画像を撮像する。図１７のＡを参照するに、高解像度センサであるセンサ１１－１により撮像が行われると、１５００×５００（pix）の画像が撮像される。
　低解像度センサ（センサ１１－２）は、例えば、図１７のＢのような画像を撮像する。図１７のＢを参照するに、低解像度センサであるセンサ１１－２により撮像が行われると、７５０×２５０（pix）の画像が撮像される。
　高解像度センサと低解像度センサは、同じ画角の画像を撮像するが、ピクセル数（解像度）が異なる。よって、上記したように、高解像度センサ（センサ１１－１）は、高解像であるが、暗い画像を撮像し、低解像度センサ（センサ１１－２）は、低解像度であるが、明るい画像を撮像することができるように構成されている。
　高解像度センサと低解像度センサを備えた撮像装置１０における動作の一例について、図１８を参照して説明する。図１８に示した動作は、暗いシーンにおいて、解像度は高いが感度が低いセンサ（高解像度センサ）から、徐々にゲインや露光時間を上げていき、上限に達すると、解像度は低いが感度が高いセンサ（低解像度センサ）に切り替えるときの動作例である。
　時刻t９１から時刻ｔ９２において、高解像度センサ（センサ１１－１）は、動作モード５１とされ、撮像を行い、センサ１１－１により撮像されている画像が、表示部（不図示）に表示されている状態である。時刻t９１から時刻ｔ９２において、高解像度センサ（センサ１１－１）は、徐々にゲインや露光時間を上げた撮影を行っている状態である。
　時刻t９１から時刻ｔ９２において、低解像度センサ（センサ１１－２）は、休止モード５２とされ、撮像動作を行わない状態とされている。
　時刻ｔ９２において、低解像度センサ（センサ１１－２）が動作モード５１に遷移する。時刻ｔ９２から時刻ｔ９３の間は、センサ１１－１とセンサ１１－２が動作し、センサ１１－１で撮像されている画像とセンサ１１－２で撮像されている画像が合成され、その合成された画像が、表示部に表示されている状態である。
　時刻ｔ９３において、高解像度センサ（センサ１１－１）が休止モード５２に遷移する。時刻ｔ９３以降は、センサ１１－２で撮像されている画像が、表示部に表示される。
　このように、センサ１１－１とセンサ１１－２が、異なる解像度の画像を撮像する場合に本技術を適用することができる。また、センサ１１－１で撮像されている画像からセンサ１１－２で撮像されている画像へと切り替えるときに、各センサ１１のモードを切り替えることで、途中に合成した画像を出力するといった処理を含ませることも容易に行えるようになる。
　このように、センサ１１－１で撮像されている画像からセンサ１１－２で撮像されている画像へと切り替えるときに、センサ１１－１とセンサ１１－２からの画像を合成した画像を表示させることで、高解像度センサからの画像（暗い画像）から低解像度センサからの画像（明るい画像）へと切り替えるときの明るさの変化を見えにくくすることが可能となる。
　仮に、高解像度センサからの画像から低解像度センサからの画像へと切り替えるときに、合成画像を入れなかった場合、高解像度センサからの画像から、低解像度センサからの画像へとある時点で急に入れ替わることになる。そのような急な画像の変化（明るさの変化）は、ユーザに不快感を与える可能性もある。
　本技術によれば、高解像度センサからの画像から低解像度センサからの画像へと切り替えるとき合成画像を入れることで、急に画像が変化するようなことを防ぐことができ、ユーザが不快に感じるようなことを防ぐことが可能となる。
　本技術によれば、複数の撮像装置(センサ)を備える撮像装置において、複数の撮像装置を同期して動作させたり、非同期に個々に動作させたりすることができる。よって、必要に応じた撮像装置で、必要とされる処理を行うことができるようになり、複数の撮像装置を有効的に用いることが可能となる。
　また、必要な処理を行うのに必要な撮像装置のみを駆動させることが可能となり、換言すれば、処理を行うのに不必要な撮像装置は、駆動させずに停止させることができるため、消費電力を低減させることが可能となる。
　＜記録媒体について＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
　以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　＜移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図２１は、撮像部１２０３１の設置位置の例を示す図である。
　図２１では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本技術は以下のような構成も取ることができる。
（１）
　撮像部と、
　前記撮像部からの信号を処理する信号処理部と、
　クロック信号を生成する生成部と、
　他の撮像装置と同期して動作する第１のモードまたは非同期で動作する第２のモードで各部を制御する制御部と
　を備える撮像装置。
（２）
　前記第１のモードの場合、前記他の撮像装置から供給されるクロック信号が前記信号処理部に供給され、
　前記生成部は、停止状態とされる
　前記（１）に記載の撮像装置。
（３）
　前記第２のモードの場合、前記生成部により前記クロック信号を生成し、
　前記信号処理部は、前記生成部により生成される前記クロック信号に基づき前記信号を処理する
　前記（１）または（２）に記載の撮像装置。
（４）
　前記他の撮像装置に、前記生成部により生成される前記クロック信号を供給する第３のモードをさらに備える
　前記（１）乃至（３）のいずれかに記載の撮像装置。
（５）
　前記撮像部、前記信号処理部、および前記生成部のうちの少なくとも１つを停止する第４のモードをさらに備える
　前記（１）乃至（４）のいずれかに記載の撮像装置。
（６）
　前記第２のモードの場合、前記他の撮像装置のクロック信号と異なる周波数のクロック信号を生成する
　前記（１）乃至（５）のいずれかに記載の撮像装置。
（７）
　前記第１のモードにおいて、前記クロック信号が、所定のフレームレートとなるように、前記クロック信号を補間する
　前記（１）乃至（６）のいずれかに記載の撮像装置。
（８）
　補間した前記クロック信号をマスキングする
　前記（７）に記載の撮像装置。
（９）
　撮像部を備える撮像装置の撮像方法において、
　前記撮像部からの信号を処理し、
　クロック信号を生成し、
　他の撮像装置と同期して動作する第１のモードまたは非同期で動作する第２のモードで各部を制御する
　ステップを含む撮像方法。
（１０）
　撮像部を備える撮像装置に、
　前記撮像部からの信号を処理し、
　クロック信号を生成し、
　他の撮像装置と同期して動作する第１のモードまたは非同期で動作する第２のモードで各部を制御する
　ステップを含む処理を実行させるためのプログラム。
（１１）
　撮像部と、
　前記撮像部からの信号を処理する信号処理部と、
　クロック信号を生成する生成部と
　を備える撮像装置を複数備え、
　前記複数の撮像装置のうち、マスターモードで動作している第１の撮像装置と、
　スレーブモードで動作している第２の撮像装置と
　を備え、
　前記第２の撮像装置は、前記第１の撮像装置で生成されているクロック信号の供給を受け、
　前記マスターモードは、休止モードを含み、
　前記スレーブモードは、前記第１の撮像装置と同期して動作する同期モードと非同期に動作する非同期モードとを含む
　撮像装置。
（１２）
　前記第１の撮像装置が、前記休止モードで動作しているとき、前記第２の撮像装置は、前記非同期モードで動作している
　前記（１１）に記載の撮像装置。
（１３）
　前記第２の撮像装置が、前記非同期モードで動作しているとき、前記第１の撮像装置と前記第２の撮像装置は、異なるクロック信号に基づき動作している
　前記（１１）または（１２）に記載の撮像装置。
（１４）
　前記第１の撮像装置と前記第２の撮像装置は、それぞれ前記マスターモードと前記スレーブモードを有し、
　前記第１の撮像装置と前記第２の撮像装置がともに、マスターモードで動作する
　前記（１１）乃至（１３）のいずれかに記載の撮像装置。
（１５）
　前記第２の撮像装置は、前記同期モードで動作し、前記第１の撮像装置から供給されるクロック信号に、生成部で生成されるクロック信号を補間することで、所定のフレームレートでの撮像を行う
　前記（１１）乃至（１４）のいずれかに記載の撮像装置。
（１６）
　補間した前記クロック信号をマスキングする
　前記（１５）に記載の撮像装置。
（１７）
　前記第１の撮像装置は、ワイド端側を撮像し、
　前記第２の撮像装置は、テレ端側を撮像する
　前記（１１）乃至（１６）のいずれかに記載の撮像装置。
（１８）
　前記第１の撮像装置は、高解像度の画像を撮像し、
　前記第２の撮像装置は、低解像度の画像を撮像する
　前記（１１）乃至（１６）のいずれかに記載の撮像装置。
（１９）
　撮像部と、
　前記撮像部からの信号を処理する信号処理部と、
　クロック信号を生成する生成部と
　を備える撮像装置を複数備え、
　前記複数の撮像装置のうち、マスターモードで動作している第１の撮像装置と、
　スレーブモードで動作している第２の撮像装置と
　を備える撮像装置の撮像方法において、
　前記第２の撮像装置は、前記第１の撮像装置で生成されているクロック信号の供給を受け、
　前記マスターモードは、動作モードまたは休止モードで動作し、
　前記スレーブモードは、前記第１の撮像装置と同期して動作する同期モードまたは非同期に動作する非同期モードで動作する
　ステップを含む撮像方法。
（２０）
　撮像部と、
　前記撮像部からの信号を処理する信号処理部と、
　クロック信号を生成する生成部と
　を備える撮像装置を複数備え、
　前記複数の撮像装置のうち、マスターモードで動作している第１の撮像装置と、
　スレーブモードで動作している第２の撮像装置と
　を備える撮像装置に、
　前記第２の撮像装置は、前記第１の撮像装置で生成されているクロック信号の供給を受け、
　前記マスターモードは、動作モードまたは休止モードで動作し、
　前記スレーブモードは、前記第１の撮像装置と同期して動作する同期モードまたは非同期に動作する非同期モードで動作する
　ステップを含む処理を実行させるためのプログラム。
　１０　撮像装置，　１１　センサ，　１２　制御部，　３１　撮像部，　３２　信号処理部，　３３　クロック生成部，　３４　制御部，　４１　マスターモード制御部，　４２　スレーブモード制御部，　５１　動作モード，　５２　休止モード，　６１　同期モード，　６２　非同期モード

Claims (20)

  1. 　撮像部と、
    　前記撮像部からの信号を処理する信号処理部と、
    　クロック信号を生成する生成部と、
    　他の撮像装置と同期して動作する第１のモードまたは非同期で動作する第２のモードで各部を制御する制御部と
    　を備える撮像装置。
  2. 　前記第１のモードの場合、前記他の撮像装置から供給されるクロック信号が前記信号処理部に供給され、
    　前記生成部は、停止状態とされる
    　請求項１に記載の撮像装置。
  3. 　前記第２のモードの場合、前記生成部により前記クロック信号を生成し、
    　前記信号処理部は、前記生成部により生成される前記クロック信号に基づき前記信号を処理する
    　請求項１に記載の撮像装置。
  4. 　前記他の撮像装置に、前記生成部により生成される前記クロック信号を供給する第３のモードをさらに備える
    　請求項１に記載の撮像装置。
  5. 　前記撮像部、前記信号処理部、および前記生成部のうちの少なくとも１つを停止する第４のモードをさらに備える
    　請求項１に記載の撮像装置。
  6. 　前記第２のモードの場合、前記他の撮像装置のクロック信号と異なる周波数のクロック信号を生成する
    　請求項１に記載の撮像装置。
  7. 　前記第１のモードにおいて、前記クロック信号が、所定のフレームレートとなるように、前記クロック信号を補間する
    　請求項１に記載の撮像装置。
  8. 　補間した前記クロック信号をマスキングする
    　請求項７に記載の撮像装置。
  9. 　撮像部を備える撮像装置の撮像方法において、
    　前記撮像部からの信号を処理し、
    　クロック信号を生成し、
    　他の撮像装置と同期して動作する第１のモードまたは非同期で動作する第２のモードで各部を制御する
    　ステップを含む撮像方法。
  10. 　撮像部を備える撮像装置に、
    　前記撮像部からの信号を処理し、
    　クロック信号を生成し、
    　他の撮像装置と同期して動作する第１のモードまたは非同期で動作する第２のモードで各部を制御する
    　ステップを含む処理を実行させるためのプログラム。
  11. 　撮像部と、
    　前記撮像部からの信号を処理する信号処理部と、
    　クロック信号を生成する生成部と
    　を備える撮像装置を複数備え、
    　前記複数の撮像装置のうち、マスターモードで動作している第１の撮像装置と、
    　スレーブモードで動作している第２の撮像装置と
    　を備え、
    　前記第２の撮像装置は、前記第１の撮像装置で生成されているクロック信号の供給を受け、
    　前記マスターモードは、休止モードを含み、
    　前記スレーブモードは、前記第１の撮像装置と同期して動作する同期モードと非同期に動作する非同期モードとを含む
    　撮像装置。
  12. 　前記第１の撮像装置が、前記休止モードで動作しているとき、前記第２の撮像装置は、前記非同期モードで動作している
    　請求項１１に記載の撮像装置。
  13. 　前記第２の撮像装置が、前記非同期モードで動作しているとき、前記第１の撮像装置と前記第２の撮像装置は、異なるクロック信号に基づき動作している
    　請求項１１に記載の撮像装置。
  14. 　前記第１の撮像装置と前記第２の撮像装置は、それぞれ前記マスターモードと前記スレーブモードを有し、
    　前記第１の撮像装置と前記第２の撮像装置がともに、マスターモードで動作する
    　請求項１１に記載の撮像装置。
  15. 　前記第２の撮像装置は、前記同期モードで動作し、前記第１の撮像装置から供給されるクロック信号に、生成部で生成されるクロック信号を補間することで、所定のフレームレートでの撮像を行う
    　請求項１１に記載の撮像装置。
  16. 　補間した前記クロック信号をマスキングする
    　請求項１５に記載の撮像装置。
  17. 　前記第１の撮像装置は、ワイド端側を撮像し、
    　前記第２の撮像装置は、テレ端側を撮像する
    　請求項１１に記載の撮像装置。
  18. 　前記第１の撮像装置は、高解像度の画像を撮像し、
    　前記第２の撮像装置は、低解像度の画像を撮像する
    　請求項１１に記載の撮像装置。
  19. 　撮像部と、
    　前記撮像部からの信号を処理する信号処理部と、
    　クロック信号を生成する生成部と
    　を備える撮像装置を複数備え、
    　前記複数の撮像装置のうち、マスターモードで動作している第１の撮像装置と、
    　スレーブモードで動作している第２の撮像装置と
    　を備える撮像装置の撮像方法において、
    　前記第２の撮像装置は、前記第１の撮像装置で生成されているクロック信号の供給を受け、
    　前記マスターモードは、動作モードまたは休止モードで動作し、
    　前記スレーブモードは、前記第１の撮像装置と同期して動作する同期モードまたは非同期に動作する非同期モードで動作する
    　ステップを含む撮像方法。
  20. 　撮像部と、
    　前記撮像部からの信号を処理する信号処理部と、
    　クロック信号を生成する生成部と
    　を備える撮像装置を複数備え、
    　前記複数の撮像装置のうち、マスターモードで動作している第１の撮像装置と、
    　スレーブモードで動作している第２の撮像装置と
    　を備える撮像装置に、
    　前記第２の撮像装置は、前記第１の撮像装置で生成されているクロック信号の供給を受け、
    　前記マスターモードは、動作モードまたは休止モードで動作し、
    　前記スレーブモードは、前記第１の撮像装置と同期して動作する同期モードまたは非同期に動作する非同期モードで動作する
    　ステップを含む処理を実行させるためのプログラム。
PCT/JP2018/017154 2017-05-11 2018-04-27 撮像装置、撮像方法、並びにプログラム WO2018207664A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-094824 2017-05-11
JP2017094824A JP2018191248A (ja) 2017-05-11 2017-05-11 撮像装置、撮像方法、並びにプログラム

Publications (1)

Publication Number Publication Date
WO2018207664A1 true WO2018207664A1 (ja) 2018-11-15

Family

ID=64104685

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/017154 WO2018207664A1 (ja) 2017-05-11 2018-04-27 撮像装置、撮像方法、並びにプログラム

Country Status (2)

Country Link
JP (1) JP2018191248A (ja)
WO (1) WO2018207664A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7118911B2 (ja) 2019-03-08 2022-08-16 株式会社東芝 画像処理装置
CN114424032A (zh) * 2019-11-18 2022-04-29 谷歌有限责任公司 传感器输出样本的同步
WO2023002660A1 (ja) * 2021-07-20 2023-01-26 ソニーセミコンダクタソリューションズ株式会社 撮影装置、撮影方法、プログラム
JP2023021833A (ja) * 2021-08-02 2023-02-14 日立Astemo株式会社 マルチカメラ装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6202164B1 (en) * 1998-07-02 2001-03-13 Advanced Micro Devices, Inc. Data rate synchronization by frame rate adjustment
JP2002122935A (ja) * 2001-08-28 2002-04-26 Nikon Corp カメラの信号入出力制御装置
JP2005039409A (ja) * 2003-07-17 2005-02-10 Ricoh Co Ltd デジタルカメラ
JP2008507229A (ja) * 2004-07-19 2008-03-06 グランドアイ，エルティーディー 広角ビデオカメラのズーム機能の自動拡張
JP2012053443A (ja) * 2010-08-06 2012-03-15 Canon Inc 撮像装置及びアクセサリ及び撮像装置システム
JP2015019118A (ja) * 2011-11-08 2015-01-29 株式会社ニコン 撮像装置、撮像システムおよび撮像装置の制御プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6202164B1 (en) * 1998-07-02 2001-03-13 Advanced Micro Devices, Inc. Data rate synchronization by frame rate adjustment
JP2002122935A (ja) * 2001-08-28 2002-04-26 Nikon Corp カメラの信号入出力制御装置
JP2005039409A (ja) * 2003-07-17 2005-02-10 Ricoh Co Ltd デジタルカメラ
JP2008507229A (ja) * 2004-07-19 2008-03-06 グランドアイ，エルティーディー 広角ビデオカメラのズーム機能の自動拡張
JP2012053443A (ja) * 2010-08-06 2012-03-15 Canon Inc 撮像装置及びアクセサリ及び撮像装置システム
JP2015019118A (ja) * 2011-11-08 2015-01-29 株式会社ニコン 撮像装置、撮像システムおよび撮像装置の制御プログラム

Also Published As

Publication number Publication date
JP2018191248A (ja) 2018-11-29

Similar Documents

Publication Publication Date Title
WO2018207664A1 (ja) 撮像装置、撮像方法、並びにプログラム
JP7214363B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
JP6724982B2 (ja) 信号処理装置および撮像装置
WO2018163725A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
JP6977722B2 (ja) 撮像装置、および画像処理システム
WO2017169233A1 (ja) 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
WO2017195459A1 (ja) 撮像装置、および撮像方法
WO2019142660A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
US11025828B2 (en) Imaging control apparatus, imaging control method, and electronic device
WO2017149964A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2020209079A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
WO2018186019A1 (ja) 電子機器、および、電子機器の制御方法
WO2020246264A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
JP2019191119A (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
WO2019167363A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2017203752A1 (ja) 撮像装置、および制御方法
WO2017212722A1 (ja) 制御装置及び制御方法
TWI742636B (zh) 攝像裝置及攝像方法
WO2021065500A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
JP2021085822A (ja) 測距センサ、測距システム、および、電子機器
WO2018220993A1 (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
WO2018179695A1 (ja) 制御装置、撮像装置、制御方法及びプログラム
US10791287B2 (en) Imaging control apparatus and method, and vehicle
WO2021106623A1 (ja) 測距センサ、測距システム、および、電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18797549

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18797549

Country of ref document: EP

Kind code of ref document: A1