WO2022097470A1 - 信号処理装置、撮像装置及び信号処理方法 - Google Patents

信号処理装置、撮像装置及び信号処理方法 Download PDF

Info

Publication number
WO2022097470A1
WO2022097470A1 PCT/JP2021/038713 JP2021038713W WO2022097470A1 WO 2022097470 A1 WO2022097470 A1 WO 2022097470A1 JP 2021038713 W JP2021038713 W JP 2021038713W WO 2022097470 A1 WO2022097470 A1 WO 2022097470A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image frame
unit
signal processing
output
Prior art date
Application number
PCT/JP2021/038713
Other languages
English (en)
French (fr)
Inventor
直也 羽田
征司 門田
幹太 安田
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US18/250,253 priority Critical patent/US20230412923A1/en
Publication of WO2022097470A1 publication Critical patent/WO2022097470A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Definitions

  • the present disclosure relates to a signal processing device, an imaging device, and a signal processing method.
  • an image pickup element having an input image frame (total number of pixels area) wider than the output image frame (image image frame) is used, and the image data of the input image frame is stored in the buffer memory.
  • the image data of the output image frame is recorded while shifting the output image frame according to the amount of camera shake during imaging.
  • the present disclosure provides a signal processing device, an imaging device, and a signal processing method capable of suppressing chipping of captured images and suppressing storage capacity.
  • One form of the signal processing apparatus determines an area in the output image frame on the side opposite to the deflection direction based on the deflection direction of the image pickup device having an input image frame wider than the output image frame.
  • a unit and a storage unit for storing an image of the predetermined area in the output image frame are provided.
  • FIG. 1 shows the schematic configuration example of the image pickup apparatus. It is a block diagram which shows an example of the schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of the vehicle exterior information detection unit and the image pickup unit.
  • each of one or more embodiments (including examples and modifications) described below can be implemented independently.
  • at least a part of the plurality of embodiments described below may be carried out in combination with at least a part of other embodiments as appropriate.
  • These plurality of embodiments may contain novel features that differ from each other. Therefore, these plurality of embodiments may contribute to solving different purposes or problems, and may have different effects. It should be noted that the effects in each embodiment are merely examples and are not limited, and other effects may be obtained.
  • First Embodiment 1-1 Schematic configuration example of signal processing device 1-2. Image processing 1-3. Area determination process 1-4. Image composition processing 1-5. Schematic configuration example of the image signal synthesizer 1-6. Modification example of area determination processing 1-7. Action / effect 2. Second embodiment 3. Other embodiments 4. Application example 5. Application example 6. Addendum
  • FIG. 1 is a block diagram showing a schematic configuration example of the signal processing device 100 according to the first embodiment.
  • the signal processing device 100 includes a sensor signal input unit 101, a runout detection unit 102, an image signal input unit 103, a frame memory 104, a runout correction unit 105, and a region determination unit 106. It includes a buffer memory 107, an image signal synthesis unit 108, and an image signal output unit 109.
  • the buffer memory 107 functions as a storage unit.
  • the signal processing device 100 is built in, for example, an image pickup device having an image pickup element, various sensors, a monitor, and the like.
  • an image sensor for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, a CCD (Charge Coupled Device) image sensor, or the like is used.
  • various sensors for example, an acceleration sensor, an angular velocity sensor, or the like is used.
  • the sensor signal input unit 101 receives sensor signals (for example, acceleration and angular velocity) supplied from various sensors of the image pickup device, performs AD (analog-digital) conversion, and transmits the AD-converted data to the shake detection unit 102. ..
  • the runout detection unit 102 receives data transmitted from the sensor signal input unit 101 (for example, acceleration and angular velocity data), analyzes the posture state of the image pickup device from the received data, and obtains runout information regarding runout of the image pickup device. demand. Then, the runout detection unit 102 transmits the obtained runout information to the runout correction unit 105 and the area determination unit 106.
  • data transmitted from the sensor signal input unit 101 for example, acceleration and angular velocity data
  • analyzes the posture state of the image pickup device from the received data and obtains runout information regarding runout of the image pickup device. demand. Then, the runout detection unit 102 transmits the obtained runout information to the runout correction unit 105 and the area determination unit 106.
  • the shake detection unit 102 receives data (for example, acceleration and angular velocity data) for each image captured by the image pickup device, analyzes the posture state of the image pickup device for each image captured by the image pickup device, and performs data before and after. From the change in the posture state of the image pickup device based on the above, the runout information regarding the runout of the image pickup device is obtained.
  • data for example, acceleration and angular velocity data
  • the runout information includes the runout direction and the runout amount (movement direction and movement amount) of the image pickup device, that is, the image pickup element.
  • the runout information may include a movement direction and a movement amount (movement vector) of an image (for example, the next image) with respect to a reference image (for example, the previous image) based on the runout direction and the runout amount of the image sensor.
  • This runout information includes, for example, an image frame unit, a pixel block unit, or a pixel unit movement direction and movement amount.
  • the image signal input unit 103 receives the image signal (image data) supplied from the image sensor of the image pickup device and transmits it to the frame memory 104 as an image frame.
  • the frame memory 104 receives an image frame (image data) transmitted from the image signal input unit 103 and temporarily stores it.
  • the runout correction unit 105 reads an image signal (image data) from the frame memory 104, and performs runout correction processing on the read image signal based on the runout information transmitted from the runout detection unit 102.
  • the runout correction unit 105 corrects the image signal so as to cancel the runout in an image frame unit, a pixel block unit, or a pixel unit, based on the runout direction and the runout amount included in the runout information.
  • the runout correction unit 105 moves the output image frame by the runout amount (movement amount) in the direction opposite to the runout direction (movement direction) based on the movement direction and the movement amount included in the runout information.
  • the shake correction unit 105 coordinates the missing portion (missing area) that does not include the image signal. Is transmitted to the image signal synthesizing unit 108 as missing information.
  • the area determination unit 106 determines an image signal area to be held, that is, a storage area, from the output image signals based on the runout information transmitted from the runout detection unit 102. The details of this area determination process will be described later.
  • the buffer memory 107 holds an image signal (image signal in the storage area) corresponding to the storage area determined by the area determination unit 106 among the output image signals.
  • the image signal synthesis unit 108 When the image signal synthesis unit 108 does not receive the missing information from the runout correction unit 105, the image signal synthesis unit 108 transmits the image signal with the runout correction to the image signal output unit 109 as it is.
  • the image signal synthesizing unit 108 when the image signal synthesizing unit 108 receives the missing information from the runout correction unit 105, it acquires the missing image signal (image signal corresponding to the missing portion) from the buffer memory 107 based on the received missing information. Then, the image signal synthesizing unit 108 synthesizes the missing image signal acquired from the buffer memory 107 and the image signal to which the shake correction has been performed, and the shake-corrected and combined image signal is sent to the image signal output unit 109. Send.
  • the image signal output unit 109 outputs an image signal with runout correction or an image signal with runout correction and composition to the monitor of the image pickup apparatus.
  • Each functional unit such as 109 may be configured by hardware and / or software, and the configuration thereof is not particularly limited.
  • each of the above-mentioned functional units is realized by a computer such as a CPU (Central Processing Unit) or an MPU (Micro Control Unit), a program stored in advance in ROM is executed using RAM or the like as a work area. good.
  • each functional unit may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array).
  • the frame memory 104 and the buffer memory 107 may be realized by, for example, a non-volatile memory such as a flash memory or a hard disk drive.
  • FIG. 2 is a flowchart showing the flow of image processing according to the first embodiment.
  • step S101 the image signal input unit 103 acquires an image signal (input image signal) input to the signal processing device 100 and stores it in the frame memory 104.
  • step S102 the sensor signal input unit 101 acquires acceleration and angular velocity data input to the signal processing device 100.
  • step S103 the shake detection unit 102 calculates the movement direction and movement amount of the image pickup device (for example, the movement direction and movement amount of the image with respect to the reference image) as the shake information.
  • step S104 the runout correction unit 105 performs runout correction processing on the input image signal of the frame memory 104 based on the movement direction and the movement amount included in the runout information.
  • step S105 the runout correction unit 105 determines whether or not there is a missing portion in the image signal after the runout correction processing.
  • step S105 If it is determined in step S105 that there is a missing portion (Yes), the runout correction unit 105 generates missing information indicating the missing portion in step S106.
  • the missing information includes coordinate information indicating a missing portion (missing area).
  • step S107 the image signal synthesizing unit 108 reads out the missing portion (the image signal corresponding to the missing portion) from the buffer memory 107 based on the missing information, and synthesizes the missing portion into the image signal after the runout correction processing, whereby the output image signal is output. To generate.
  • step S105 when the runout correction unit 105 determines that there is no missing portion (No), step S106 and step S107 are skipped, and the image signal after the runout correction processing is used as an output image signal.
  • step S108 the area determination unit 106 determines a storage area for recording the output image signal in the buffer memory 107 based on the movement direction and the movement amount included in the runout information.
  • step S109 the area determination unit 106 stores the image signal of the storage area among the output image signals in the buffer memory 107 based on the storage area determined in step S108.
  • step S110 the image signal output unit 109 outputs the corrected output image signal or the corrected and combined output image signal.
  • each processing step may be executed when the data required for the step is prepared.
  • an image sensor having an input image frame W1 and an output image frame (imaging image frame) W2 is used.
  • the input image frame W1 is a frame showing an area of an input image (input image)
  • the output image frame W2 is a frame showing an area of an output image (output image).
  • the input image frame W1 has a wider area than the output image frame W2.
  • the input image frame W1 is a total number of pixels region (imageable pixel region) of the image pickup device.
  • the area determination unit 106 is a lower predetermined area in which there is a high possibility that the image signal to be output is missing according to the upward movement direction and the movement amount based on the runout information J11 indicated by the arrow.
  • the lower area of the output image frame W2 is set as the storage area H11.
  • the size of the predetermined area is set according to the movement amount, and the predetermined area is set based on the size according to the movement amount.
  • the shape of the storage area H11 is rectangular, and the lower end of the storage area H11 overlaps with the lower end of the output image frame W2.
  • the horizontal width (length in the left-right direction) of the storage area H11 is the same as the horizontal width of the output image frame W2
  • the vertical width (length in the vertical direction) of the storage area H11 is the vertical width (for example, vertical width) of the output image frame W2. It is narrower than 1/2).
  • the region determination unit 106 has a predetermined region on the left side where there is a high possibility that the image signal to be output is missing, depending on the movement direction and the movement amount to the right based on the runout information J12 indicated by the arrow.
  • the area on the left side of the output image frame W2) is set as the storage area V11.
  • the shape of the storage area V11 is rectangular, and the left end of the storage area V11 overlaps with the left end of the output image frame W2.
  • the vertical width of the storage area V11 is the same as the vertical width of the output image frame W2, and the horizontal width of the storage area V11 is narrower than the horizontal width of the output image frame W2 (for example, 1/2 of the horizontal width).
  • the region determination unit 106 has a left region (output) in which there is a high possibility that the image signal to be output is missing according to the movement direction and the movement amount to the right based on the runout information J13 indicated by the arrow.
  • the left side area of the image frame W2) is made larger than the storage area V11 shown in FIG. 4 to be a storage area V12.
  • the amount of movement of the runout information J13 is larger than the amount of movement of the runout information J12 shown in FIG.
  • the shape and position of the storage area V12 are the same as those of the storage area V11 shown in FIG. 4, but the width of the storage area V12 is wider than the width of the storage area V11 shown in FIG.
  • the area determination unit 106 has a predetermined area on the left side where there is a high possibility that the image signal to be output is missing according to the movement direction and the movement amount to the upper right based on the runout information J14 indicated by the arrow.
  • the left side area of the output image frame W2) is set as the storage area V13, and the lower predetermined area (lower area of the output image frame W2) where the possibility that the output image signal is likely to be lost is set as the storage area H12.
  • the shape, size, position, etc. of the storage area V13 are the same as those of the storage area V12 shown in FIG. 5, and the shape, size, position, etc. of the storage area H12 are the same as those of the storage area H11 shown in FIG. The same is true.
  • the area determination unit 106 divides the movement direction and the movement amount to the upper right based on the runout information J14 indicated by the arrow into the movement direction and the movement amount to the right and the movement direction and the movement amount to the right, and moves to the right.
  • the predetermined area on the left side is designated as the storage area V13 according to the moving direction and the moving amount
  • the lower predetermined area is designated as the storage area H12 according to the moving direction and the moving amount.
  • the storage areas V11 to V13 and H11 to H12 are predetermined areas on the side opposite to the moving direction in the output image frame W2, and for example, the area on the side where the distance from the input image frame W1 in the output image frame W2 becomes narrow.
  • the lower side of the output image frame W2 is a portion approaching the input image frame W1
  • the left side of the output image frame W2 is a portion approaching the input image frame W1.
  • the left side and the lower side of the output image frame W2 are the portions approaching the input image frame W1. Areas including these parts that are likely to be missing are designated as storage areas V11 to V13 and H11 to H12, and are preferentially stored in the buffer memory 107.
  • the area determination unit 106 stores a predetermined area on the output image frame W2 on the opposite side of the moving direction according to the moving direction based on the runout information J11 to J14, as storage areas V11 to V13, H11 to H11. Let it be H12. Further, the area determination unit 106 changes the sizes of the storage areas V11 to V13 and H11 to H12 of the output image frame W2 according to the amount of movement based on the runout information J11 to J14.
  • the area determination unit 106 stores a relational expression showing the relationship (for example, a proportional relationship) between the movement amount and the sizes of the storage areas V11 to V13 and H11 to H12, and uses the relational expression to provide runout information.
  • the sizes of the storage areas V11 to V13 and H11 to H12 of the output image frame W2 are determined according to the movement amount based on J11 to J14. When the movement amount is zero, the size of the storage area is also zero, and the storage area is not set.
  • FIG. 7 is an explanatory diagram for explaining the image composition process according to the first embodiment.
  • (a), (b) and (c) in FIG. 7 show the time passage order.
  • the area determination unit 106 determines the storage area H21 and the storage area V21 from the runout information J21, and outputs the image signals (image data) of the determined storage area H21 and the storage area V21. Saved in the buffer memory 107.
  • the area determination unit 106 determines the storage area H22 and the storage area V22 from the runout information J22, and outputs the image signals of the determined storage areas H22 and the storage area V22. Saved in the buffer memory 107.
  • the image signal synthesizing unit 108 buffers the image signal corresponding to the missing portion of the output image 107. Is obtained from, and combined with the image signal from the runout correction unit 105.
  • the image signal synthesis unit 108 acquires an image signal corresponding to the synthesis area G21 which is a missing portion (missing area) from the storage area V21 and the storage area H21 stored in the above (a), and the acquired image signal.
  • Low-pass filter processing low-pass filter processing
  • the image signal synthesizing unit 108 updates the image signal of the buffer memory 107 with the image signals of the storage area V22 including the synthesizing area G21 and the storage area H22.
  • the area determination unit 106 determines the storage area H23 and the storage area V23 from the runout information J23, and outputs the image signals of the determined storage areas H23 and the storage area V23. Saved in the buffer memory 107.
  • the image signal synthesizing unit 108 lacks the output image as in the process in (b). The image signal corresponding to the portion is acquired from the buffer memory 107 and combined with the image signal from the runout correction unit 105.
  • the image signal synthesizing unit 108 acquires the image signal corresponding to the synthesizing area G22, which is the missing portion, from the storage area V22 and the storage area H22 saved in the above (b), and the acquired image signal and the output image frame.
  • the low-pass filter processing is performed on the boundary portion with the image signal of W2, and the acquired image signal and the image signal of the output image frame W2 are combined.
  • the image signal synthesizing unit 108 acquires an image signal corresponding to the synthesizing area G23, which is a missing portion, from the storage area H22 saved in (b) above, and together with the acquired image signal and the image signal of the output image frame W2.
  • the low-pass filter processing is performed on the boundary portion of the above, and the acquired image signal and the image signal of the output image frame W2 are combined. Further, the image signal synthesizing unit 108 updates the image signal of the buffer memory 107 with the image signals of the storage area V23 and the storage area H23 including the synthesis area G22 and the synthesis area G23.
  • the image signal composition unit 108 is stored in the buffer memory 107.
  • the image signal corresponding to the missing portion is acquired from the stored image signals of the storage areas V21 to V23 and H21 to H23, and the acquired image signal is combined with the image signal from the shake correction unit 105.
  • the image signal synthesizing unit 108 superimposes the image signal corresponding to the missing portion on the image signal stored in the buffer memory 107, and updates the image signal stored in the buffer memory 107. In other words, the image signal synthesizing unit 108 updates the region of the image signal stored in the buffer memory 107 that overlaps with the subsequent image signal with the subsequent image signal. As a result, the image signal stored in the buffer memory 107 is updated at any time, so that the missing portion of the output image can be reliably filled.
  • the image signal synthesizing unit 108 synthesizes the image signal stored in the buffer memory 107 into the image signal from the shake correction unit 105, or when updating the image signal stored in the buffer memory 107, the image in the boundary region is imaged.
  • Filter processing for example, low-pass filter processing
  • FIG. 8 is a block diagram showing a schematic configuration example of the image signal synthesis unit 108 according to the first embodiment.
  • the image signal synthesis unit 108 includes a boundary separation unit (correction image) 601 for a corrected image, a boundary separation unit (missing image) 602 for a missing image, a filter unit 603, and a composition unit 604. And.
  • the boundary separation unit 601 separates the corrected image signal from the runout correction unit 105 into a corrected image signal around the boundary and a corrected image signal other than the boundary periphery, based on the missing information from the runout correction unit 105.
  • the boundary is the boundary between the corrected image and the missing image.
  • the boundary separation unit 602 acquires a missing image signal (missing image data) from the buffer memory 107 based on the missing information from the runout correction unit 105, and uses the missing image signal as the missing image signal around the boundary and other than the boundary area. Separate into missing image signals.
  • the filter unit 603 performs filter processing (filitaling) such as a low-pass filter by inputting the corrected image signal around the boundary from the boundary separation unit 601 and the missing image signal around the boundary from the boundary separation unit 602, and performs filter processing (filitaling) on the boundary image signal (border image signal). Generates an image signal around the boundary).
  • filter processing such as a low-pass filter
  • the synthesizing unit 604 synthesizes the corrected image signal other than the boundary peripheral area from the boundary separation unit 601, the missing image signal other than the boundary area from the boundary separation unit 602, and the boundary image signal from the filter unit 603, and outputs the combined image signal. It is transmitted as an image to the image signal output unit 109 and the buffer memory 107.
  • the region determination unit 106 has a lower region (a lower region in which there is a high possibility that the image signal to be output is missing, depending on the upward movement direction and the movement amount based on the runout information J31 indicated by the arrow.
  • the storage area H31 is a predetermined area (lower area of the output image frame W2) whose upper side is parallel to the inclination of the input image frame W1.
  • the shape of the storage area H31 is a right triangle, and the lower end of the storage area H31 overlaps with the lower end of the output image frame W2.
  • the width of the lower end of the storage area H31 is the same as the width of the output image frame W2, and the vertical width of the right end of the storage area H31 is narrower than the vertical width of the output image frame W2 (for example, 1/2 of the vertical width).
  • the area determination unit 106 has a left area (output) in which there is a high possibility that the image signal to be output is missing according to the movement direction and the amount of movement to the right based on the runout information J32 indicated by the arrow.
  • the storage area V31 is a predetermined area (the left side area of the image frame W2) and one side on the right side is parallel to the inclination of the input image frame W1.
  • the shape of the storage area V31 is a right triangle, and the left end of the storage area V31 overlaps with the left end of the output image frame W2.
  • the vertical width of the left end of the storage area V31 is the same as the vertical width of the output image frame W2, and the horizontal width of the lower end of the storage area V31 is narrower than the horizontal width of the output image frame W2 (for example, 1/2 of the horizontal width).
  • the region determination unit 106 has a left region (output) in which there is a high possibility that the image signal to be output is missing according to the movement direction and the movement amount to the right based on the runout information J33 indicated by the arrow.
  • the area which is the left side area of the image frame W2 and whose right side is parallel to the inclination of the input image frame W1 is made larger than the storage area V31 shown in FIG. 10 to be the storage area V32.
  • the amount of movement of the runout information J33 is larger than the amount of movement of the runout information J32 shown in FIG.
  • the position of the storage area V32 is the same as that of the storage area V31 shown in FIG. 10, but the shape of the storage area V32 is trapezoidal, and the width of the upper end and the lower end of the storage area V32 is FIG. It is wider than the width of the upper end and the lower end of the storage area V31 shown in 1.
  • the region determination unit 106 has a left region (output) in which there is a high possibility that the image signal to be output is missing according to the movement direction and the movement amount to the upper right based on the runout information J34 indicated by the arrow.
  • the storage area V33 is a predetermined area which is the left side area of the image frame W2 and whose right side is parallel to the inclination of the input image frame W1, and is a lower area where there is a high possibility that the output image signal is lost.
  • the storage area H32 is a predetermined area (lower area of the output image frame W2) and one upper side of which is parallel to the inclination of the input image frame W1.
  • the shape, size, position, etc. of the storage area V33 are the same as those of the storage area V32 shown in FIG. 11, and the shape, size, position, etc. of the storage area H32 are the same as those of the storage area H31 shown in FIG. The same is true.
  • the storage areas V31 to V33 and H31 to H32 are predetermined areas on the side opposite to the moving direction in the output image frame W2, and for example, the area on the side where the distance from the input image frame W1 in the output image frame W2 becomes narrow.
  • the lower side of the output image frame W2 is a portion approaching the input image frame W1
  • the left side of the output image frame W2 is a portion approaching the input image frame W1.
  • the left side and the lower side of the output image frame W2 are the portions approaching the input image frame W1. Areas including these parts that are likely to be missing are designated as storage areas V31 to V33 and H31 to H32, and are preferentially stored in the buffer memory 107.
  • the area determination unit 106 stores a predetermined area on the output image frame W2 on the opposite side of the moving direction according to the moving direction based on the runout information J31 to J34, as storage areas V31 to V33, H31 to H31. Let it be H32. Further, the area determination unit 106 changes the sizes of the storage areas V31 to V33 and H31 to H32 of the output image frame W2 according to the amount of movement based on the runout information J31 to J34.
  • the area determination unit 106 defines storage areas V31 to V33 and H31 to H32 as areas in which one inner side of the output image frame W2 is parallel to the inclination of the input image frame W1.
  • the areas of the storage areas V31 to V33 and H31 to H32 are smaller than those of the storage areas V11 to V13 and H11 to H12 shown in FIGS. 3 to 6, so that the amount of the buffer memory 107 used can be suppressed. ..
  • the area determination unit 106 is determined on the side opposite to the deflection direction in the output image frame W2 based on the deflection direction of the image pickup device having the input image frame W1 wider than the output image frame W2 (for example, the deflection direction of the image with respect to the reference image). Regions (eg, storage regions V11 to V13, V21 to V23, V31 to V33, H11 to H12, H21 to H23, H31 to H32) are determined.
  • the buffer memory 107 that functions as a storage unit stores an image in a predetermined area in the output image frame W2.
  • the missing portion of the output image can be compensated for by using the stored image in a predetermined area, so that camera shake or vibration can occur. It is possible to suppress image chipping due to vibration such as. Further, since the size of the image to be stored can be suppressed and the amount of the buffer memory 107 used can be suppressed, the storage capacity can be suppressed.
  • the region determination unit 106 changes the size of the predetermined region according to the amount of vibration of the image sensor.
  • an image of a predetermined area having a size corresponding to the amount of shake is stored, so that it is possible to surely make up for a missing portion of the output image by using the image of the stored predetermined area, so that camera shake, vibration, etc. It is possible to reliably suppress the chipping of the output image due to the runout of the image.
  • the runout correction unit 105 moves the output image frame W2 by the amount of runout of the image pickup element in the direction opposite to the runout direction of the image pickup element.
  • the output image frame W2 moves according to the shake direction and the amount of shake of the image sensor, and it becomes possible to suppress the chipping of the output image, so that the chipping of the output image due to the shake such as camera shake and vibration is surely suppressed. can do.
  • the image signal synthesizing unit 108 synthesizes the image of the predetermined area in the stored output image frame W2 with the newly obtained image of the output image frame W2. For example, the image signal synthesizing unit 108 acquires an image corresponding to the missing portion of the newly obtained image of the output image frame W2 from the image of the predetermined region in the stored output image frame W2, and newly obtains the image. It is combined with the image of the output image frame W2. As a result, it is possible to reliably make up for the missing portion of the output image by using the stored image in the predetermined region, so that it is possible to reliably suppress the missing portion of the output image due to shake such as camera shake or vibration.
  • the image signal synthesizing unit 108 superimposes the image corresponding to the missing portion on the stored image of the predetermined area, and updates the stored image of the predetermined area. As a result, it is possible to reliably make up for the missing portion of the output image by using the stored image in the predetermined region, so that it is possible to reliably suppress the missing portion of the output image due to shake such as camera shake or vibration.
  • the image signal synthesis unit 108 performs a filter process on the boundary region between the newly obtained image of the output image frame W2 and the image corresponding to the missing portion. For example, by performing low-pass filter processing as filter processing, it is possible to obtain an output image in which noise is suppressed in the boundary region.
  • the shape of the predetermined area may change according to the inclination of the input image frame W1 with respect to the output image frame W2.
  • one side of the inside of the predetermined area (inside of the output image frame W2) may be parallel to the inclination of the input image frame W1.
  • the size of the predetermined area can be suppressed, the size of the image to be stored can be suppressed, and the amount of the buffer memory 107 used can be further suppressed, so that the storage capacity can be further suppressed.
  • FIG. 13 is a block diagram showing a schematic configuration example of the signal processing device 200 according to the second embodiment.
  • the differences from the first embodiment will be mainly described, and other explanations will be omitted.
  • the runout detection unit 201 includes an image signal of the previous frame held in the frame memory 104 and an image signal of the current frame input from the image signal input unit 103. From the difference between the above, a movement vector indicating the movement direction and movement amount of the image pickup device, that is, the movement direction and movement amount of the image pickup device (for example, the movement direction and movement amount of the image with respect to the reference image) is calculated. Then, the runout detection unit 201 uses the calculated movement vector as runout information.
  • the shake detection unit 201 can form the shake information from the image signals of the front and rear frames, and the sensor signals from the image pickup apparatus (for example, acceleration and angular velocity) can be formed. ) Is unnecessary.
  • the sensor signal input unit 101 according to the first embodiment can be omitted, and the device configuration can be simplified. It should be noted that the same effect as that of the first embodiment can be obtained in the second embodiment.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of them may be functionally or physically distributed / physically in any unit according to various loads and usage conditions. Can be integrated and configured.
  • the signal processing devices 100 and 200 are built in the image pickup device, but the present invention is not limited to this, and the signal processing devices 100 and 200 may be provided outside the image pickup device.
  • the signal processing devices 100 and 200 may be provided outside the image pickup device.
  • wireless or wired communication between the signal processing devices 100 and 200 and the image pickup device is possible.
  • the configuration may be used.
  • the signal processing device 100 described above can be applied to various electronic devices such as an image pickup device such as a digital still camera and a digital video camera, and other devices having an image pickup function.
  • image pickup devices such as a digital still camera and a digital video camera
  • other devices having an image pickup function include various devices such as smartphones, tablet terminals, mobile phones, PDAs (Personal Digital Assistants), notebook PCs (Personal Computers), and desktop PCs.
  • FIG. 14 is a block diagram showing a configuration example of an image pickup apparatus 300 as an electronic device to which the present technology is applied.
  • the image pickup device 300 includes an optical system 301, a shutter device 302, an image pickup element 303, a control circuit (drive circuit) 304, a signal processing circuit 305, a monitor 306, and a memory 307.
  • the image pickup device 300 can capture still images and moving images.
  • the signal processing circuit 305 is an example of the above-mentioned signal processing devices 100 and 200.
  • various sensors are provided in the image pickup device 300.
  • an acceleration sensor and an angular velocity sensor are used as the various sensors.
  • the optical system 301 has one or a plurality of lenses.
  • the optical system 301 guides the light (incident light) from the subject to the image pickup device 303 and forms an image on the light receiving surface of the image pickup device 303.
  • the shutter device 302 is arranged between the optical system 301 and the image pickup element 303.
  • the shutter device 302 controls the light irradiation period and the light blocking period of the image pickup device 303 according to the control of the control circuit 304.
  • the image pickup device 303 accumulates signal charges for a certain period of time according to the light imaged on the light receiving surface via the optical system 301 and the shutter device 302.
  • the signal charge stored in the image pickup device 303 is transferred according to the drive signal (timing signal) supplied from the control circuit 304.
  • the image pickup device 303 for example, a CMOS image sensor, a CCD image sensor, or the like is used.
  • the control circuit 304 outputs a drive signal for controlling the transfer operation of the image pickup device 303 and the shutter operation of the shutter device 302 to drive the image pickup device 303 and the shutter device 302.
  • the signal processing circuit 305 performs various signal processing on the signal charge output from the image sensor 303.
  • the image (image data) obtained by the signal processing circuit 305 performing signal processing is supplied to the monitor 306 for display, and is supplied to the memory 307 for storage (recording).
  • the image pickup device 300 configured in this way, by applying the above-mentioned signal processing devices 100 and 200 as the signal processing circuit 305, it is possible to suppress chipping of the captured image due to shaking such as camera shake and vibration and to reduce the storage capacity. Suppression can be achieved.
  • the technique according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is any kind of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor). It may be realized as a device mounted on the body.
  • FIG. 15 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. ..
  • the communication network 7010 connecting these multiple control units conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network) or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various arithmetic, and a drive circuit that drives various controlled devices. To prepare for.
  • Each control unit is provided with a network I / F for communicating with other control units via the communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication.
  • a communication I / F for performing communication is provided. In FIG.
  • control unit 7600 the microcomputer 7610, the general-purpose communication I / F7620, the dedicated communication I / F7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F7660, the audio image output unit 7670,
  • vehicle-mounted network I / F 7680 and the storage unit 7690 are illustrated.
  • Other control units also include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 has a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • the vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 may include, for example, a gyro sensor that detects the angular speed of the axial rotation motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an accelerator pedal operation amount, a brake pedal operation amount, or steering wheel steering. It includes at least one of sensors for detecting angles, engine speeds, wheel speeds, and the like.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, and the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, turn signals or fog lamps.
  • a radio wave transmitted from a portable device that substitutes for a key or signals of various switches may be input to the body system control unit 7200.
  • the body system control unit 7200 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source of the drive motor, according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 7300 from the battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature control of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 is connected to the vehicle exterior information detection unit 7400.
  • the image pickup unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle outside information detection unit 7420 is used, for example, to detect the current weather or an environment sensor for detecting the weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the ambient information detection sensors is included.
  • the environment sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 16 shows an example of the installation position of the image pickup unit 7410 and the vehicle exterior information detection unit 7420.
  • the image pickup unit 7910, 7912, 7914, 7916, 7918 are provided, for example, at at least one of the front nose, side mirror, rear bumper, back door, and upper part of the windshield of the vehicle interior of the vehicle 7900.
  • the image pickup unit 7910 provided in the front nose and the image pickup section 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • the image pickup units 7912 and 7914 provided in the side mirrors mainly acquire images of the side of the vehicle 7900.
  • the image pickup unit 7916 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 7900.
  • the image pickup unit 7918 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 16 shows an example of the shooting range of each of the imaging units 7910, 7912, 7914, 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging range of the imaging units 7914 and 7912 provided on the side mirrors, respectively
  • the imaging range d indicates the imaging range d.
  • the imaging range of the imaging unit 7916 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the image pickup units 7910, 7912, 7914, 7916, a bird's-eye view image of the vehicle 7900 can be obtained.
  • the vehicle exterior information detection unit 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, side, corner and the upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle exterior information detection units 7920, 7926, 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, a lidar device.
  • These out-of-vehicle information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like.
  • the vehicle outside information detection unit 7400 causes the image pickup unit 7410 to capture an image of the outside of the vehicle and receives the captured image data. Further, the vehicle outside information detection unit 7400 receives the detection information from the connected vehicle outside information detection unit 7420.
  • the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a lidar device
  • the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the out-of-vehicle information detection unit 7400 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on a road surface based on the received information.
  • the out-of-vehicle information detection unit 7400 may perform an environment recognition process for recognizing rainfall, fog, road surface conditions, etc. based on the received information.
  • the out-of-vehicle information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
  • the vehicle outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a vehicle, an obstacle, a sign, a character on the road surface, or the like based on the received image data.
  • the vehicle outside information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and synthesizes the image data captured by different image pickup units 7410 to generate a bird's-eye view image or a panoramic image. May be good.
  • the vehicle exterior information detection unit 7400 may perform the viewpoint conversion process using the image data captured by different image pickup units 7410.
  • the in-vehicle information detection unit 7500 detects the in-vehicle information.
  • a driver state detection unit 7510 that detects the state of the driver is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that captures the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
  • the biosensor is provided on, for example, a seat surface or a steering wheel, and detects biometric information of a passenger sitting on the seat or a driver holding the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and may determine whether the driver is asleep. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input-operated by the occupant, such as a touch panel, a button, a microphone, a switch, or a lever. Data obtained by recognizing the voice input by the microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) corresponding to the operation of the vehicle control system 7000. You may.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Further, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on the information input by the passenger or the like using the above input unit 7800 and outputs the input signal to the integrated control unit 7600. By operating the input unit 7800, the passenger or the like inputs various data to the vehicle control system 7000 and instructs the processing operation.
  • the storage unit 7690 may include a ROM (Read Only Memory) for storing various programs executed by the microcomputer, and a RAM (Random Access Memory) for storing various parameters, calculation results, sensor values, and the like. Further, the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the general-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-A Long Term Evolution-A
  • Wi-Fi also referred to as Wi-Fi®
  • Bluetooth® Bluetooth®
  • the general-purpose communication I / F7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a business-specific network) via a base station or an access point, for example. You may. Further, the general-purpose communication I / F7620 uses, for example, P2P (Peer To Peer) technology, and is a terminal existing in the vicinity of the vehicle (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal). May be connected with.
  • P2P Peer To Peer
  • MTC Machine Type Communication
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication I / F7630 uses a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), which is a combination of the lower layer IEEE802.11p and the upper layer IEEE1609, or a cellular communication protocol. May be implemented.
  • Dedicated communication I / F7630 is typically vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-house (Vehicle to Home) communication, and pedestrian-to-vehicle (Vehicle to Pedestrian) communication. ) Carry out V2X communication, a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), executes positioning, and executes positioning, and the latitude, longitude, and altitude of the vehicle. Generate location information including.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives radio waves or electromagnetic waves transmitted from a radio station or the like installed on the road, and acquires information such as the current position, traffic jam, road closure, or required time.
  • the function of the beacon receiving unit 7650 may be included in the above-mentioned dedicated communication I / F 7630.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 existing in the vehicle.
  • the in-vehicle device I / F7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • the in-vehicle device I / F7660 is via a connection terminal (and a cable if necessary) (not shown), USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface, or MHL (Mobile High)).
  • -Definition Link and other wired connections may be established.
  • the in-vehicle device 7760 includes, for example, at least one of a passenger's mobile device or wearable device, or an information device carried in or attached to the vehicle. Further, the in-vehicle device 7760 may include a navigation device for searching a route to an arbitrary destination.
  • the in-vehicle device I / F 7660 may be a control signal to and from these in-vehicle devices 7760. Or exchange the data signal.
  • the in-vehicle network I / F7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the vehicle-mounted network I / F7680 transmits / receives signals and the like according to a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is via at least one of general-purpose communication I / F7620, dedicated communication I / F7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F7660, and in-vehicle network I / F7680.
  • the vehicle control system 7000 is controlled according to various programs based on the information acquired. For example, the microcomputer 7610 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. May be good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. Cooperative control may be performed for the purpose of.
  • the microcomputer 7610 automatically travels autonomously without relying on the driver's operation by controlling the driving force generator, steering mechanism, braking device, etc. based on the acquired information on the surroundings of the vehicle. Coordinated control may be performed for the purpose of driving or the like.
  • the microcomputer 7610 has information acquired via at least one of general-purpose communication I / F 7620, dedicated communication I / F 7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F 7660, and in-vehicle network I / F 7680. Based on the above, three-dimensional distance information between the vehicle and an object such as a surrounding structure or a person may be generated, and local map information including peripheral information of the current position of the vehicle may be created. Further, the microcomputer 7610 may predict the danger of a vehicle collision, a pedestrian or the like approaching or entering a closed road, and generate a warning signal based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are exemplified as output devices.
  • the display unit 7720 may include, for example, at least one of an onboard display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as eyeglass-type displays worn by passengers, projectors or lamps other than these devices.
  • the display device displays the results obtained by various processes performed by the microcomputer 7610 or the information received from other control units in various formats such as texts, images, tables, and graphs. Display visually.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, or the like into an analog signal and outputs the audio signal audibly.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • the vehicle control system 7000 may include another control unit (not shown).
  • the other control unit may have a part or all of the functions carried out by any of the control units. That is, as long as information is transmitted and received via the communication network 7010, predetermined arithmetic processing may be performed by any of the control units.
  • a sensor or device connected to any control unit may be connected to another control unit, and a plurality of control units may send and receive detection information to and from each other via the communication network 7010. .
  • a computer program for realizing each function of the signal processing devices 100 and 200 according to each embodiment described with reference to FIGS. 1 or 13 can be mounted on any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed, for example, via a network without using a recording medium.
  • the signal processing devices 100 and 200 according to each embodiment described with reference to FIGS. 1 or 13 can be applied to the integrated control unit 7600 of the application example shown in FIG. ..
  • each part of the signal processing devices 100 and 200 corresponds to the microcomputer 7610 of the integrated control unit 7600, the storage unit 7690, and the like.
  • the integrated control unit 7600 appropriately executes various processes such as image processing, area determination processing, image composition processing, and shake correction processing to suppress chipping of captured images due to shake such as camera shake and vibration, and to reduce storage capacity. It becomes possible to realize suppression.
  • the components of the signal processing devices 100 and 200 according to each embodiment described with reference to FIG. 1 or FIG. 13 is a module for the integrated control unit 7600 of the application example shown in FIG. 15 (for example). , An integrated circuit module composed of one die).
  • the signal processing devices 100 and 200 according to each embodiment described with reference to FIG. 1 or FIG. 13 may be realized by a plurality of control units of the vehicle control system 7000 shown in FIG.
  • the present technology can also have the following configurations.
  • a region determination unit that determines a predetermined region on the output image frame opposite to the deflection direction based on the deflection direction of the image sensor having an input image frame wider than the output image frame.
  • a storage unit that stores an image in the predetermined area in the output image frame, and a storage unit.
  • a signal processing device (2) The area determination unit The size of the predetermined region is changed according to the amount of vibration of the image sensor.
  • a shake correction unit for moving the output image frame by the amount of shake of the image sensor in the direction opposite to the runout direction is further provided. The signal processing device according to (1) or (2) above.
  • the predetermined area is an area on the side where the distance between the output image frame and the input image frame is narrowed.
  • (5) Further provided with a runout detection unit for detecting the runout direction.
  • the runout detection unit is Detecting the amount of shake of the image,
  • (7) Further comprising an image signal synthesizing unit for synthesizing the stored image of the predetermined area with the newly obtained image of the output image frame.
  • the image signal synthesizer is From the stored image of the predetermined area, an image corresponding to the missing portion of the image of the newly obtained output image frame is acquired and combined with the image of the newly obtained output image frame.
  • the signal processing device according to (7) above.
  • the image signal synthesizer is The image corresponding to the missing portion is superimposed on the stored image of the predetermined area, and the stored image of the predetermined area is updated.
  • the signal processing device according to (8) above.
  • the image signal synthesizer is Filtering is performed on the boundary region between the newly obtained image of the output image frame and the image corresponding to the missing portion.
  • the signal processing apparatus according to (8) or (9) above.
  • the shape of the predetermined region changes according to the inclination of the input image frame with respect to the output image frame.
  • the signal processing device according to any one of (1) to (10). (12) One side inside the predetermined area is parallel to the inclination of the input image frame.
  • An image sensor with an input image frame wider than the output image frame, and Signal processing equipment and Equipped with The signal processing device is A region determination unit that determines a predetermined region on the output image frame opposite to the deflection direction based on the deflection direction of the image sensor, and a region determination unit.
  • a storage unit that stores an image in the predetermined area in the output image frame, and a storage unit. Imaging device with.
  • Signal processing device 101 Sensor signal input unit 102 Image signal input unit 103 Image signal input unit 104 Frame memory 105 Vibration correction unit 106 Area determination unit 107 Buffer memory 108 Image signal synthesis unit 109 Image signal output unit 200 Signal processing unit 201 Signal processing unit 201 300 Image pickup device 303 Image pickup element 305 Signal processing circuit 601 Boundary separation part (corrected image) 602 Boundary separation (missing image) 603 Filter section 604 Synthesis section H11 to H12 Storage area H21 to H23 Storage area H31 to H32 Storage area J11 to J14 Runout information J21 to J23 Runout information J31 to J34 Runout information V11 to V13 Storage area V21 to V23 Storage area V31 to V33 Area W1 Input image frame W2 Output image frame

Abstract

本開示に係る一形態に係る信号処理装置（１００）は、出力画枠より広い入力画枠を有する撮像素子の振れ方向に基づいて、前記出力画枠における前記振れ方向と反対側の所定領域を決定する領域決定部（１０６）と、前記出力画枠における前記所定領域の画像を記憶する記憶部（例えば、バッファメモリ１０７）と、を備える。

Description

信号処理装置、撮像装置及び信号処理方法
　本開示は、信号処理装置、撮像装置及び信号処理方法に関する。
　電子式手振れ補正技術では、例えば、出力画枠（撮像画枠）より広い入力画枠（総画素数領域）を有する撮像素子を用い、入力画枠の画像データをバッファメモリに記憶しておき、撮像時の手振れ量に応じて出力画枠をずらしながら、出力画枠の画像データを記録している。
　また、他の電子式手振れ補正技術では、出力画枠の画像データ、すなわち撮像画像をバッファメモリに記憶しておき、次の撮像画像をバッファメモリに記憶する際、前の撮像画像と次の撮像画像とが重複する部分を次の撮像画像から抽出し、抽出した重複部分の画像のみを前の撮像画像に上書きする装置が提案されている（例えば、特許文献１参照）。
特開平８－４６８５６号公報
　しなしがなら、前述のような技術では、手振れや振動による振れ量が大きい場合、出力画枠が入力画枠から外れると、出力画枠の画像データの一部が得られず、撮像画像が欠けてしまう。また、バッファメモリに撮像画像の全データを記憶するため、大きな記憶容量が必要になる。
　そこで、本開示では、撮像画像の欠けの抑制及び記憶容量の抑制を実現することが可能な信号処理装置、撮像装置及び信号処理方法を提供する。
　本開示に係る一形態の信号処理装置は、出力画枠より広い入力画枠を有する撮像素子の振れ方向に基づいて、前記出力画枠における前記振れ方向と反対側の所定領域を決定する領域決定部と、前記出力画枠における前記所定領域の画像を記憶する記憶部と、を備える。
第１の実施形態に係る信号処理装置の概略構成例を示すブロック図である。 第１の実施形態に係る画像処理の流れを示すフローチャートである。 第１の実施形態に係る領域決定処理を説明するための第１の説明図である。 第１の実施形態に係る領域決定処理を説明するための第２の説明図である。 第１の実施形態に係る領域決定処理を説明するための第３の説明図である。 第１の実施形態に係る領域決定処理を説明するための第４の説明図である。 第１の実施形態に係る画像合成処理を説明するための説明図である。 第１の実施形態に係る画像信号合成部の概略構成例を示すブロック図である。 第１の実施形態に係る領域決定処理の変形例を説明するための第１の説明図である。 第１の実施形態に係る領域決定処理の変形例を説明するための第２の説明図である。 第１の実施形態に係る領域決定処理の変形例を説明するための第３の説明図である。 第１の実施形態に係る領域決定処理の変形例を説明するための第４の説明図である。 第２の実施形態に係る信号処理装置の概略構成例を示すブロック図である。 撮像装置の概略構成例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本開示に係る信号処理装置、撮像装置及び信号処理方法などが限定されるものではない。また、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　以下に説明される１又は複数の実施形態（実施例、変形例を含む）は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。なお、各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　以下に示す項目順序に従って本開示を説明する。
　１．第１の実施形態
　１－１．信号処理装置の概略構成例
　１－２．画像処理
　１－３．領域決定処理
　１－４．画像合成処理
　１－５．画像信号合成部の概略構成例
　１－６．領域決定処理の変形例
　１－７．作用・効果
　２．第２の実施形態
　３．他の実施形態
　４．適用例
　５．応用例
　６．付記
　＜１．第１の実施形態＞
　＜１－１．信号処理装置の概略構成例＞
　第１の実施形態に係る信号処理装置１００の概略構成例について図１を参照して説明する。図１は、第１の実施形態に係る信号処理装置１００の概略構成例を示すブロック図である。
　図１に示すように、信号処理装置１００は、センサ信号入力部１０１と、振れ検出部１０２と、画像信号入力部１０３と、フレームメモリ１０４と、振れ補正部１０５と、領域決定部１０６と、バッファメモリ１０７と、画像信号合成部１０８と、画像信号出力部１０９とを備える。バッファメモリ１０７は、記憶部として機能する。
　この信号処理装置１００は、例えば、撮像素子や各種センサ、モニタなどを有する撮像装置に内蔵される。撮像素子としては、例えば、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサやＣＣＤ（Charge　Coupled　Device）イメージセンサなどが用いられる。また、各種センサとしては、例えば、加速度センサや角速度センサなどが用いられる。
　センサ信号入力部１０１は、撮像装置の各種センサから供給されるセンサ信号（例えば、加速度および角速度）を受信してＡＤ（アナログ－デジタル）変換し、ＡＤ変換したデータを振れ検出部１０２に送信する。
　振れ検出部１０２は、センサ信号入力部１０１から送信されたデータ（例えば、加速度および角速度のデータ）を受信し、受信したデータから撮像装置の姿勢状態を解析し、撮像装置の振れに関する振れ情報を求める。そして、振れ検出部１０２は、求めた振れ情報を振れ補正部１０５及び領域決定部１０６に送信する。
　例えば、振れ検出部１０２は、撮像装置が撮像した画像毎にデータ（例えば、加速度および角速度のデータ）を受信し、撮像装置が撮像した画像毎に撮像装置の姿勢状態を解析し、前後のデータに基づく撮像装置の姿勢状態の変化から、撮像装置の振れに関する振れ情報を求める。
　ここで、振れ情報は、撮像装置、すなわち撮像素子の振れ方向および振れ量（移動方向および移動量）を含む。例えば、振れ情報は、撮像素子の振れ方向および振れ量に基づき、基準画像（例えば、前の画像）に対する画像（例えば、次の画像）の移動方向および移動量（移動ベクトル）を含んでもよい。この振れ情報は、例えば、画像フレーム単位、画素ブロック単位、または、画素単位の移動方向および移動量を含む。
　画像信号入力部１０３は、撮像装置の撮像素子から供給される画像信号（画像データ）を受信し、画像フレームとしてフレームメモリ１０４に送信する。
　フレームメモリ１０４は、画像信号入力部１０３から送信された画像フレーム（画像データ）を受信し、一時記憶する。
　振れ補正部１０５は、フレームメモリ１０４から画像信号（画像データ）を読み出し、振れ検出部１０２から送信された振れ情報に基づいて、読み出した画像信号に対して振れ補正処理を行う。
　例えば、振れ補正部１０５は、振れ情報に含まれる振れ方向および振れ量に基づいて、画像フレーム単位、画素ブロック単位または画素単位で振れを打ち消すように画像信号を補正する。一例として、振れ補正部１０５は、振れ情報に含まれる移動方向および移動量に基づき、振れ方向（移動方向）と反対方向に振れ量（移動量）だけ出力画枠を移動させる。
　なお、振れ補正部１０５は、フレームメモリ１０４から読み出した画像信号の中に、振れを打ち消すための画像信号が含まれていない場合、その画像信号が含まれていない欠落部分（欠落領域）の座標を欠落情報として画像信号合成部１０８に送信する。
　領域決定部１０６は、振れ検出部１０２から送信された振れ情報に基づいて、出力される画像信号の中から保持しておく画像信号の領域、すなわち記憶領域を決定する。この領域決定処理について詳しくは後述する。
　バッファメモリ１０７は、出力される画像信号のうち、領域決定部１０６により決定された記憶領域に対応する画像信号（記憶領域の画像信号）を保持する。
　画像信号合成部１０８は、振れ補正部１０５から欠落情報を受信しない場合、振れ補正が行われた画像信号をそのまま画像信号出力部１０９に送信する。
　一方、画像信号合成部１０８は、振れ補正部１０５から欠落情報を受信すると、受信した欠落情報に基づき、バッファメモリ１０７から欠落画像信号（欠落部分に相当する画像信号）を取得する。そして、画像信号合成部１０８は、バッファメモリ１０７から取得した欠落画像信号と、振れ補正が行われた画像信号とを合成し、振れ補正および合成が行われた画像信号を画像信号出力部１０９に送信する。
　画像信号出力部１０９は、振れ補正が行われた画像信号、あるいは、振れ補正および合成が行われた画像信号を撮像装置のモニタに出力する。
　ここで、前述のセンサ信号入力部１０１、振れ検出部１０２、画像信号入力部１０３、フレームメモリ１０４、振れ補正部１０５、領域決定部１０６、バッファメモリ１０７、画像信号合成部１０８、画像信号出力部１０９などの各機能部は、ハードウェア及びソフトウェアの両方又はどちらか一方により構成されてもよく、それらの構成は、特に限定されるものではない。
　例えば、前述の各機能部は、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Control　Unit）などのコンピュータによって、ＲＯＭに予め記憶されたプログラムがＲＡＭなどを作業領域として実行されることにより実現されてもよい。また、各機能部は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field-Programmable　Gate　Array）などの集積回路により実現されてもよい。また、フレームメモリ１０４やバッファメモリ１０７は、例えば、フラッシュメモリやハードディスクドライブなどの不揮発性メモリにより実現されてもよい。
　＜１－２．画像処理＞
　第１の実施形態に係る画像処理について図２を参照して説明する。図２は、第１の実施形態に係る画像処理の流れを示すフローチャートである。
　図２に示すように、ステップＳ１０１において、画像信号入力部１０３は、信号処理装置１００に入力される画像信号（入力画像信号）を取得し、フレームメモリ１０４に保存する。
　ステップＳ１０２において、センサ信号入力部１０１は、信号処理装置１００に入力される加速度および角速度データを取得する。
　ステップＳ１０３において、振れ検出部１０２は、振れ情報として撮像素子の移動方向および移動量（例えば、基準画像に対する画像の移動方向および移動量）を計算する。
　ステップＳ１０４において、振れ補正部１０５は、振れ情報に含まれる移動方向及び移動量に基づいて、フレームメモリ１０４の入力画像信号に対して振れ補正処理を行う。
　ステップＳ１０５において、振れ補正部１０５は、振れ補正処理後の画像信号に欠落部分があるか否かを判定する。
　ステップＳ１０５において、振れ補正部１０５は、欠落部分があると判定した場合（Ｙｅｓ）、ステップＳ１０６において、欠落部分を示す欠落情報を生成する。例えば、欠落情報は、欠落部分（欠落領域）を示す座標情報を含む。
　ステップＳ１０７において、画像信号合成部１０８は、欠落情報に基づいて欠落部分（欠落部分に相当する画像信号）をバッファメモリ１０７から読み出し、振れ補正処理後の画像信号に合成することで、出力画像信号を生成する。
　一方、ステップＳ１０５において、振れ補正部１０５は、欠落部分がないと判定した場合（Ｎｏ）、ステップＳ１０６およびステップＳ１０７をスキップし、振れ補正処理後の画像信号を出力画像信号とする。
　ステップＳ１０８において、領域決定部１０６は、振れ情報に含まれる移動方向及び移動量に基づいて、出力画像信号をバッファメモリ１０７に記録する際の記憶領域を判定する。
　ステップＳ１０９において、領域決定部１０６は、ステップＳ１０８で決定した記憶領域に基づいて、出力画像信号のうち記憶領域の画像信号をバッファメモリ１０７に保存する。
　ステップＳ１１０において、画像信号出力部１０９は、補正した出力画像信号、あるいは、補正および合成した出力画像信号を出力する。
　なお、上述した処理ステップの実行順序は一例であり、各処理ステップは、当該ステップにおいて必要とするデータがそろった段階で実行されてもよい。
　＜１－３．領域決定処理＞
　第１の実施形態に係る領域決定処理について図３から図６を参照して説明する。図３から図６は、第１の実施形態に係る領域決定処理を説明するための説明図である。
　図３から図６に示すように、入力画枠Ｗ１および出力画枠（撮像画枠）Ｗ２を有する撮像素子が用いられる。入力画枠Ｗ１は、入力される画像（入力画）の領域を示す枠であり、出力画枠Ｗ２は、出力される画像（出力画）の領域を示す枠である。入力画枠Ｗ１は、出力画枠Ｗ２よりも広い領域を有する。例えば、入力画枠Ｗ１は、撮像素子の総画素数領域（撮像可能画素領域）である。
　図３に示すように、領域決定部１０６は、矢印で示す振れ情報Ｊ１１に基づく上への移動方向と移動量に応じて、出力する画像信号が欠落する可能性が高くなる下側の所定領域（出力画枠Ｗ２の下側領域）を記憶領域Ｈ１１とする。なお、所定領域のサイズは移動量に応じて設定されており、この移動量に応じたサイズに基づいて所定領域が設定される。
　図３の例では、記憶領域Ｈ１１の形状は長方形であり、記憶領域Ｈ１１の下端は出力画枠Ｗ２の下端に重なっている。記憶領域Ｈ１１の横幅（左右方向の長さ）は出力画枠Ｗ２の横幅と同じであり、記憶領域Ｈ１１の縦幅（上下方向の長さ）は出力画枠Ｗ２の縦幅（例えば、縦幅の１／２）よりも狭い。
　図４に示すように、領域決定部１０６は、矢印で示す振れ情報Ｊ１２に基づく右への移動方向と移動量に応じて、出力する画像信号が欠落する可能性が高くなる左側の所定領域（出力画枠Ｗ２の左側領域）を記憶領域Ｖ１１とする。
　図４の例では、記憶領域Ｖ１１の形状は長方形であり、記憶領域Ｖ１１の左端は出力画枠Ｗ２の左端に重なっている。記憶領域Ｖ１１の縦幅は出力画枠Ｗ２の縦幅と同じであり、記憶領域Ｖ１１の横幅は出力画枠Ｗ２の横幅（例えば、横幅の１／２）よりも狭い。
　図５に示すように、領域決定部１０６は、矢印で示す振れ情報Ｊ１３に基づく右への移動方向と移動量に応じて、出力する画像信号が欠落する可能性が高くなる左側の領域（出力画枠Ｗ２の左側領域）を図４に示す記憶領域Ｖ１１よりも大きくして記憶領域Ｖ１２とする。なお、振れ情報Ｊ１３の移動量は、図４に示す振れ情報Ｊ１２の移動量よりも大きい。
　図５の例では、記憶領域Ｖ１２の形状や位置などは図４に示す記憶領域Ｖ１１と同様であるが、記憶領域Ｖ１２の横幅は、図４に示す記憶領域Ｖ１１の横幅よりも広い。
　図６に示すように、領域決定部１０６は、矢印で示す振れ情報Ｊ１４に基づく右上への移動方向と移動量に応じて、出力する画像信号が欠落する可能性が高くなる左側の所定領域（出力画枠Ｗ２の左側領域）を記憶領域Ｖ１３とし、出力する画像信号が欠落する可能性が高くなる下側の所定領域（出力画枠Ｗ２の下側領域）を記憶領域Ｈ１２とする。
　図６の例では、記憶領域Ｖ１３の形状や大きさ、位置などは図５に示す記憶領域Ｖ１２と同様であり、記憶領域Ｈ１２の形状や大きさ、位置などは図３に示す記憶領域Ｈ１１と同様である。
　詳しくは、領域決定部１０６は、矢印で示す振れ情報Ｊ１４に基づく右上への移動方向と移動量を右への移動方向及び移動量と上への移動方向及び移動量とに分け、右への移動方向及び移動量に応じて左側の所定領域を記憶領域Ｖ１３とし、上への移動方向及び移動量に応じて下側の所定領域を記憶領域Ｈ１２とする。
　ここで、記憶領域Ｖ１１～Ｖ１３、Ｈ１１～Ｈ１２は、出力画枠Ｗ２における移動方向と反対側の所定領域であり、例えば、出力画枠Ｗ２における入力画枠Ｗ１との間隔が狭くなる側の領域である。図３の例では、出力画枠Ｗ２の下側が入力画枠Ｗ１に近づいている部分であり、図４及び図５の例では、出力画枠Ｗ２の左側が入力画枠Ｗ１に近づいている部分であり、図６の例では、出力画枠Ｗ２の左側および下側が入力画枠Ｗ１に近づいている部分である。これらの欠落する可能性が高い部分を含む領域が記憶領域Ｖ１１～Ｖ１３、Ｈ１１～Ｈ１２とされ、優先してバッファメモリ１０７に記憶される。
　図３から図６に示すように、領域決定部１０６は、振れ情報Ｊ１１～Ｊ１４に基づく移動方向に応じ、出力画枠Ｗ２における移動方向の反対側の所定領域を記憶領域Ｖ１１～Ｖ１３、Ｈ１１～Ｈ１２とする。さらに、領域決定部１０６は、振れ情報Ｊ１１～Ｊ１４に基づく移動量に応じて、出力画枠Ｗ２の記憶領域Ｖ１１～Ｖ１３、Ｈ１１～Ｈ１２の大きさを変える。
　例えば、領域決定部１０６は、移動量と記憶領域Ｖ１１～Ｖ１３、Ｈ１１～Ｈ１２の大きさとの関係（例えば、比例関係）を示す関係式を記憶しておき、その関係式を用いて、振れ情報Ｊ１１～Ｊ１４に基づく移動量に応じて出力画枠Ｗ２の記憶領域Ｖ１１～Ｖ１３、Ｈ１１～Ｈ１２の大きさ（例えば、縦幅や横幅など）を決定する。なお、移動量がゼロである場合には、記憶領域の大きさもゼロであり、記憶領域は設定されない。
　＜１－４．画像合成処理＞
　第１の実施形態に係る画像合成処理について図７を参照して説明する。図７は、第１の実施形態に係る画像合成処理を説明するための説明図である。なお、図７中の（ａ）、（ｂ）および（ｃ）は時間的な経過順序を示す。
　図７に示すように、（ａ）では、領域決定部１０６は、振れ情報Ｊ２１から記憶領域Ｈ２１および記憶領域Ｖ２１を決定し、決定した記憶領域Ｈ２１および記憶領域Ｖ２１の画像信号（画像データ）をバッファメモリ１０７に保存する。
　（ｂ）では、上記（ａ）での処理と同様に、領域決定部１０６は、振れ情報Ｊ２２から記憶領域Ｈ２２および記憶領域Ｖ２２を決定し、決定した記憶領域Ｈ２２および記憶領域Ｖ２２の画像信号をバッファメモリ１０７に保存する。ただし、出力画枠Ｗ２が入力画枠Ｗ１（入力画枠Ｗ１が出力画枠Ｗ２）から外れた場合には、画像信号合成部１０８は、出力画像の欠落部分に相当する画像信号をバッファメモリ１０７から取得し、振れ補正部１０５からの画像信号と合成する。
　詳しくは、画像信号合成部１０８は、欠落部分（欠落領域）である合成領域Ｇ２１に対応する画像信号を、上記（ａ）で保存した記憶領域Ｖ２１および記憶領域Ｈ２１から取得し、取得した画像信号と出力画枠Ｗ２の画像信号との境界部分（境界領域の画像信号）に対して低域通過フィルタ処理（ローパスフィルタ処理）を行い、取得した画像信号と出力画枠Ｗ２の画像信号とを合成する。また、画像信号合成部１０８は、合成領域Ｇ２１を含む記憶領域Ｖ２２および記憶領域Ｈ２２の画像信号によりバッファメモリ１０７の画像信号を更新する。
　（ｃ）では、上記（ｂ）での処理と同様に、領域決定部１０６は、振れ情報Ｊ２３から記憶領域Ｈ２３および記憶領域Ｖ２３を決定し、決定した記憶領域Ｈ２３および記憶領域Ｖ２３の画像信号をバッファメモリ１０７に保存する。ただし、出力画枠Ｗ２が入力画枠Ｗ１（入力画枠Ｗ１が出力画枠Ｗ２）から外れた場合には、（ｂ）での処理と同様に、画像信号合成部１０８は、出力画像の欠落部分に相当する画像信号をバッファメモリ１０７から取得し、振れ補正部１０５からの画像信号と合成する。
　詳しくは、画像信号合成部１０８は、欠落部分である合成領域Ｇ２２に対応する画像信号を、上記（ｂ）で保存した記憶領域Ｖ２２および記憶領域Ｈ２２から取得し、取得した画像信号と出力画枠Ｗ２の画像信号との境界部分に対して低域通過フィルタ処理を行い、取得した画像信号と出力画枠Ｗ２の画像信号とを合成する。さらに、画像信号合成部１０８は、欠落部分である合成領域Ｇ２３に対応する画像信号を、上記（ｂ）で保存した記憶領域Ｈ２２から取得し、取得した画像信号と出力画枠Ｗ２の画像信号との境界部分に対して低域通過フィルタ処理を行い、取得した画像信号と出力画枠Ｗ２の画像信号とを合成する。また、画像信号合成部１０８は、合成領域Ｇ２２および合成領域Ｇ２３を含む記憶領域Ｖ２３および記憶領域Ｈ２３の画像信号により、バッファメモリ１０７の画像信号を更新する。
　このような画像合成処理によれば、画像信号合成部１０８は、出力画枠Ｗ２が入力画枠Ｗ１から外れた場合（入力画枠Ｗ１が出力画枠Ｗ２から外れた場合）、バッファメモリ１０７に記憶しておいた記憶領域Ｖ２１～Ｖ２３、Ｈ２１～Ｈ２３の画像信号から、欠落部分に対応する画像信号を取得し、取得した画像信号を振れ補正部１０５からの画像信号と合成する。これにより、出力画像の欠落部分を補うことが可能になるので、手振れや振動などの振れによる出力画像の欠けを確実に抑制することができる。
　また、画像信号合成部１０８は、バッファメモリ１０７に記憶した画像信号に、欠落部分に対応する画像信号を重ね、バッファメモリ１０７に記憶した画像信号を更新する。言い換えると、画像信号合成部１０８は、バッファメモリ１０７に記憶した画像信号のうち、後続の画像信号と重複する領域を後続の画像信号で更新する。これにより、バッファメモリ１０７に記憶した画像信号が随時更新されるので、出力画像の欠落部分を確実に補うことができる。
　また、画像信号合成部１０８は、バッファメモリ１０７に記憶した画像信号を振れ補正部１０５からの画像信号に合成する場合、または、バッファメモリ１０７に記憶した画像信号を更新する場合、境界領域の画像信号に対してフィルタ処理（例えば、低域通過フィルタ処理）を行う。これにより、境界領域においてノイズが抑えられた出力画像を得ることができる。
　＜１－５．画像信号合成部の概略構成例＞
　第１の実施形態に係る画像信号合成部１０８の概略構成例について図８を参照して説明する。図８は、第１の実施形態に係る画像信号合成部１０８の概略構成例を示すブロック図である。
　図８に示すように、画像信号合成部１０８は、補正画像用の境界分離部（補正画像）６０１と、欠落画像用の境界分離部（欠落画像）６０２と、フィルタ部６０３と、合成部６０４とを備える。
　境界分離部６０１は、振れ補正部１０５からの欠落情報に基づいて、振れ補正部１０５からの補正後画像信号を境界周辺の補正後画像信号と境界周辺以外の補正後画像信号に分離する。境界とは、補正後画像と欠落画像との境界である。
　境界分離部６０２は、振れ補正部１０５からの欠落情報に基づいて、バッファメモリ１０７から欠落画像信号（欠落画像データ）を取得し、その欠落画像信号を境界周辺の欠落画像信号と境界周辺以外の欠落画像信号に分離する。
　フィルタ部６０３は、境界分離部６０１からの境界周辺の補正後画像信号および境界分離部６０２からの境界周辺の欠落画像信号を入力としてローパスフィルタ等のフィルタ処理（フィリタリング）を行い、境界画像信号（境界周辺の画像信号）を生成する。
　合成部６０４は、境界分離部６０１からの境界周辺以外の補正後画像信号と、境界分離部６０２からの境界周辺以外の欠落画像信号と、フィルタ部６０３からの境界画像信号とを合成し、出力画像として画像信号出力部１０９およびバッファメモリ１０７に伝送する。
　＜１－６．領域決定処理の変形例＞
　第１の実施形態に係る領域決定処理の変形例（他の実施例）について図９から図１２を参照して説明する。図９から図１２は、第１の実施形態に係る領域決定処理の変形例を説明するための説明図である。
　図９に示すように、領域決定部１０６は、矢印で示す振れ情報Ｊ３１に基づく上への移動方向と移動量に応じて、出力する画像信号が欠落する可能性が高くなる下側の領域（出力画枠Ｗ２の下側領域）であり、かつ、上側の一辺が入力画枠Ｗ１の傾きに平行である所定領域を記憶領域Ｈ３１とする。
　図９の例では、記憶領域Ｈ３１の形状は直角三角形であり、記憶領域Ｈ３１の下端は出力画枠Ｗ２の下端に重なっている。記憶領域Ｈ３１の下端の横幅は出力画枠Ｗ２の横幅と同じであり、記憶領域Ｈ３１の右端の縦幅は出力画枠Ｗ２の縦幅（例えば、縦幅の１／２）よりも狭い。
　図１０に示すように、領域決定部１０６は、矢印で示す振れ情報Ｊ３２に基づく右への移動方向と移動量に応じて、出力する画像信号が欠落する可能性が高くなる左側の領域（出力画枠Ｗ２の左側領域）であり、かつ、右側の一辺が入力画枠Ｗ１の傾きに平行である所定領域を記憶領域Ｖ３１とする。
　図１０の例では、記憶領域Ｖ３１の形状は直角三角形であり、記憶領域Ｖ３１の左端は出力画枠Ｗ２の左端に重なっている。記憶領域Ｖ３１の左端の縦幅は出力画枠Ｗ２の縦幅と同じであり、記憶領域Ｖ３１の下端の横幅は出力画枠Ｗ２の横幅（例えば、横幅の１／２）よりも狭い。
　図１１に示すように、領域決定部１０６は、矢印で示す振れ情報Ｊ３３に基づく右への移動方向と移動量に応じて、出力する画像信号が欠落する可能性が高くなる左側の領域（出力画枠Ｗ２の左側領域）であり、かつ、右側の一辺が入力画枠Ｗ１の傾きに平行である領域を図１０に示す記憶領域Ｖ３１よりも大きくして記憶領域Ｖ３２とする。なお、振れ情報Ｊ３３の移動量は、図１０に示す振れ情報Ｊ３２の移動量よりも大きい。
　図１１の例では、記憶領域Ｖ３２の位置などは図１０に示す記憶領域Ｖ３１と同様であるが、記憶領域Ｖ３２の形状は台形であり、記憶領域Ｖ３２の上端や下端などの横幅は、図１０に示す記憶領域Ｖ３１の上端や下端などの横幅よりも広い。
　図１２に示すように、領域決定部１０６は、矢印で示す振れ情報Ｊ３４に基づく右上への移動方向と移動量に応じて、出力する画像信号が欠落する可能性が高くなる左側の領域（出力画枠Ｗ２の左側領域）であり、かつ、右側の一辺が入力画枠Ｗ１の傾きに平行である所定領域を記憶領域Ｖ３３とし、出力する画像信号が欠落する可能性が高くなる下側の領域（出力画枠Ｗ２の下側領域）であり、かつ、上側の一辺が入力画枠Ｗ１の傾きに平行である所定領域を記憶領域Ｈ３２とする。
　図１２の例では、記憶領域Ｖ３３の形状や大きさ、位置などは図１１に示す記憶領域Ｖ３２と同様であり、記憶領域Ｈ３２の形状や大きさ、位置などは図９に示す記憶領域Ｈ３１と同様である。
　ここで、記憶領域Ｖ３１～Ｖ３３、Ｈ３１～Ｈ３２は、出力画枠Ｗ２における移動方向と反対側の所定領域であり、例えば、出力画枠Ｗ２における入力画枠Ｗ１との間隔が狭くなる側の領域である。図９の例では、出力画枠Ｗ２の下側が入力画枠Ｗ１に近づいている部分であり、図１０及び図１１の例では、出力画枠Ｗ２の左側が入力画枠Ｗ１に近づいている部分であり、図１２の例では、出力画枠Ｗ２の左側および下側が入力画枠Ｗ１に近づいている部分である。これらの欠落する可能性が高い部分を含む領域が記憶領域Ｖ３１～Ｖ３３、Ｈ３１～Ｈ３２とされ、優先してバッファメモリ１０７に記憶される。
　図９から図１２に示すように、領域決定部１０６は、振れ情報Ｊ３１～Ｊ３４に基づく移動方向に応じ、出力画枠Ｗ２における移動方向の反対側の所定領域を記憶領域Ｖ３１～Ｖ３３、Ｈ３１～Ｈ３２とする。さらに、領域決定部１０６は、振れ情報Ｊ３１～Ｊ３４に基づく移動量に応じて、出力画枠Ｗ２の記憶領域Ｖ３１～Ｖ３３、Ｈ３１～Ｈ３２の大きさを変える。
　さらに、領域決定部１０６は、出力画枠Ｗ２の内側の一辺が入力画枠Ｗ１の傾きに平行になる領域を記憶領域Ｖ３１～Ｖ３３、Ｈ３１～Ｈ３２とする。この場合、記憶領域Ｖ３１～Ｖ３３、Ｈ３１～Ｈ３２の面積は、図３から図６に示す記憶領域Ｖ１１～Ｖ１３、Ｈ１１～Ｈ１２に比べて小さくなるため、バッファメモリ１０７の使用量を抑えることができる。
　＜１－７．作用・効果＞
　以上説明したように、第１の実施形態によれば、振れが大きく出力画枠Ｗ２が入力画枠Ｗ１から外れた場合でも、あらかじめ記憶しておいた画像を合成する補正を行うことで出力画像の欠落を抑えることができる。また、振れ方向や振れ量に応じて出力画枠Ｗ２の記憶領域を決定し、決定した記憶領域の画像を記憶することで、メモリ使用量を低減することができる。また、記憶領域の画像を画像フレーム毎に更新するとともに、欠落部分と画像との境界でフィルタ処理、例えば、低域通過フィルタ処理を行うことで、ノイズが抑えられた出力画像を得ることができる。
　領域決定部１０６は、出力画枠Ｗ２より広い入力画枠Ｗ１を有する撮像素子の振れ方向（例えば、基準画像に対する画像の振れ方向）に基づいて、出力画枠Ｗ２における振れ方向と反対側の所定領域（例えば、記憶領域Ｖ１１～Ｖ１３、Ｖ２１～Ｖ２３、Ｖ３１～Ｖ３３、Ｈ１１～Ｈ１２、Ｈ２１～Ｈ２３、Ｈ３１～Ｈ３２）を決定する。記憶部として機能するバッファメモリ１０７は、出力画枠Ｗ２における所定領域の画像を記憶する。これにより、出力画枠Ｗ２の出力画像における振れ方向の反対側に欠落部分が生じても、記憶した所定領域の画像を用いて出力画像の欠落部分を補うことが可能になるので、手振れや振動などの振れによる画像の欠けを抑制することができる。さらに、記憶する画像のサイズを抑え、バッファメモリ１０７の使用量を抑えることが可能となるので、記憶容量を抑制することができる。
　また、領域決定部１０６は、撮像素子の振れ量に応じて所定領域の大きさを変える。これにより、振れ量に対応する大きさの所定領域の画像が記憶されるので、記憶した所定領域の画像を用いて出力画像の欠落部分を確実に補うことが可能になるので、手振れや振動などの振れによる出力画像の欠けを確実に抑制することができる。
　また、振れ補正部１０５は、撮像素子の振れ方向と反対方向に撮像素子の振れ量だけ出力画枠Ｗ２を移動させる。これにより、撮像素子の振れ方向および振れ量に応じて出力画枠Ｗ２が移動し、出力画像の欠けを抑えることが可能になるので、手振れや振動などの振れによる出力画像の欠けを確実に抑制することができる。
　また、画像信号合成部１０８は、記憶された出力画枠Ｗ２における所定領域の画像を、新たに得られた出力画枠Ｗ２の画像に合成する。例えば、画像信号合成部１０８は、記憶された出力画枠Ｗ２における所定領域の画像から、新たに得られた出力画枠Ｗ２の画像の欠落部分に対応する画像を取得し、新たに得られた出力画枠Ｗ２の画像に合成する。これにより、記憶した所定領域の画像を用いて出力画像の欠落部分を確実に補うことが可能になるので、手振れや振動などの振れによる出力画像の欠けを確実に抑制することができる。
　また、画像信号合成部１０８は、記憶された所定領域の画像に、欠落部分に対応する画像を重ね、記憶された所定領域の画像を更新する。これにより、記憶した所定領域の画像を用いて出力画像の欠落部分を確実に補うことが可能になるので、手振れや振動などの振れによる出力画像の欠けを確実に抑制することができる。
　また、画像信号合成部１０８は、新たに得られた出力画枠Ｗ２の画像と、欠落部分に対応する画像との境界領域に対してフィルタ処理を行う。例えば、フィルタ処理として低域通過フィルタ処理を行うことで、境界領域においてノイズが抑えられた出力画像を得ることができる。
　なお、所定領域の形状は、出力画枠Ｗ２に対する入力画枠Ｗ１の傾きに応じて変わってもよい。例えば、所定領域の内側（出力画枠Ｗ２の内側）の一辺は、入力画枠Ｗ１の傾きに平行であってもよい。この場合、所定領域のサイズを抑えることが可能となり、記憶する画像のサイズを抑え、バッファメモリ１０７の使用量をより抑えることが可能となるので、記憶容量をさらに抑制することができる。
　＜２．第２の実施形態＞
　第２の実施形態に係る信号処理装置２００の概略構成例について図１３を参照して説明する。図１３は、第２の実施形態に係る信号処理装置２００の概略構成例を示すブロック図である。以下、第１の実施形態との相違点を中心に説明を行い、その他の説明を省略する。
　図１３に示すように、第２の実施形態に係る振れ検出部２０１は、フレームメモリ１０４に保持されている前フレームの画像信号と、画像信号入力部１０３から入力された現フレームの画像信号との差分から、撮像装置の移動方向と移動量、すなわち撮像素子の移動方向と移動量（例えば、基準画像に対する画像の移動方向及び移動量）を示す移動ベクトルを計算する。そして、振れ検出部２０１は、算出した移動ベクトルを振れ情報として使用する。
　以上説明したように、第２の実施形態によれば、振れ検出部２０１が前後のフレームの画像信号から振れ情報を形成することが可能であり、撮像装置からのセンサ信号（例えば、加速度および角速度）が不要となる。これにより、第１の実施形態に係るセンサ信号入力部１０１を省略することが可能となり、装置構成を簡略化することができる。なお、第２の実施形態でも、第１の実施形態と同じ効果を得ることができる。
　＜３．他の実施形態＞
　前述の実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態（変形例）にて実施されてよい。例えば、システム構成は、上述した例に限らず、種々の態様であってもよい。また、例えば、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　前述の各実施形態においては、信号処理装置１００、２００を撮像装置に内蔵することを例示したが、これに限るものではなく、撮像装置の外部に設けてもよい。この場合には、信号処理装置１００、２００と撮像装置との間での各種データの送受信を実現するため、例えば、信号処理装置１００、２００と撮像装置との無線又は有線による通信を可能とする構成を用いてもよい。
　＜４．適用例＞
　上述した信号処理装置１００は、例えば、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置、また、撮像機能を備える他の機器等、各種の電子機器に適用することができる。撮像機能を備える他の機器（撮像装置）としては、例えば、スマートフォン、タブレット型端末、携帯電話機、ＰＤＡ（Personal　Digital　Assistant）、ノート型ＰＣ（Personal　Computer）、デスクトップＰＣ等の各種機器が挙げられる。
　撮像装置３００について図１４を参照して説明する。図１４は、本技術を適用した電子機器としての撮像装置３００の構成例を示すブロック図である。
　図１４に示すように、撮像装置３００は、光学系３０１、シャッタ装置３０２、撮像素子３０３、制御回路（駆動回路）３０４、信号処理回路３０５、モニタ３０６及びメモリ３０７を備える。この撮像装置３００は、静止画像および動画像を撮像可能である。
　ここで、信号処理回路３０５は、上述した信号処理装置１００、２００の一例である。なお、信号処理回路３０５として信号処理装置１００を用いる場合、各種センサが撮像装置３００に設けられる。この各種センサとしては、例えば、加速度センサや角速度センサが用いられる。
　光学系３０１は、１枚または複数枚のレンズを有する。この光学系３０１は、被写体からの光（入射光）を撮像素子３０３に導き、撮像素子３０３の受光面に結像させる。
　シャッタ装置３０２は、光学系３０１及び撮像素子３０３の間に配置される。このシャッタ装置３０２は、制御回路３０４の制御に従って、撮像素子３０３への光照射期間及び遮光期間を制御する。
　撮像素子３０３は、光学系３０１及びシャッタ装置３０２を介して受光面に結像される光に応じて、一定期間、信号電荷を蓄積する。撮像素子３０３に蓄積された信号電荷は、制御回路３０４から供給される駆動信号（タイミング信号）に従って転送される。撮像素子３０３としては、例えば、ＣＭＯＳイメージセンサやＣＣＤイメージセンサなどが用いられる。
　制御回路３０４は、撮像素子３０３の転送動作及びシャッタ装置３０２のシャッタ動作を制御する駆動信号を出力して、撮像素子３０３及びシャッタ装置３０２を駆動する。
　信号処理回路３０５は、撮像素子３０３から出力された信号電荷に対して各種の信号処理を施す。信号処理回路３０５が信号処理を施すことにより得られた画像（画像データ）は、モニタ３０６に供給されて表示され、また、メモリ３０７に供給されて記憶（記録）される。
　このように構成されている撮像装置３００においても、信号処理回路３０５として、上述した信号処理装置１００、２００を適用することにより、手振れや振動などの振れによる撮像画像の欠けの抑制及び記憶容量の抑制を実現することができる。
　＜５．応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１５に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１５では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図１６は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１６には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１４，７９１２の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図１５に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１５の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図１５に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図１又は図１３を用いて説明した各実施形態に係る信号処理装置１００、２００の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、図１又は図１３を用いて説明した各実施形態に係る信号処理装置１００、２００は、図１５に示した応用例の統合制御ユニット７６００に適用することができる。例えば、信号処理装置１００、２００の各部は、統合制御ユニット７６００のマイクロコンピュータ７６１０や記憶部７６９０などに相当する。例えば、統合制御ユニット７６００が、画像処理や領域決定処理、画像合成処理、振れ補正処理などの各種処理を適宜実行することによって、手振れや振動などの振れによる撮像画像の欠けの抑制及び記憶容量の抑制を実現することが可能になる。
　また、図１又は図１３を用いて説明した各実施形態に係る信号処理装置１００、２００の少なくとも一部の構成要素は、図１５に示した応用例の統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１又は図１３を用いて説明した各実施形態に係る信号処理装置１００、２００が、図１５に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
　＜６．付記＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　出力画枠より広い入力画枠を有する撮像素子の振れ方向に基づいて、前記出力画枠における前記振れ方向と反対側の所定領域を決定する領域決定部と、
　前記出力画枠における前記所定領域の画像を記憶する記憶部と、
　を備える信号処理装置。
（２）
　前記領域決定部は、
　前記撮像素子の振れ量に応じて前記所定領域の大きさを変える、
　前記（１）に記載の信号処理装置。
（３）
　前記振れ方向と反対方向に前記撮像素子の振れ量だけ前記出力画枠を移動させる振れ補正部をさらに備える、
　前記（１）または（２）に記載の信号処理装置。
（４）
　前記所定領域は、前記出力画枠における前記入力画枠との間隔が狭くなる側の領域である、
　前記（３）に記載の信号処理装置。
（５）
　前記振れ方向を検出する振れ検出部をさらに備える、
　前記（１）から（４）のいずれか一つに記載の信号処理装置。
（６）
　前記振れ検出部は、
　前記画像の振れ量を検出する、
　前記（５）に記載の信号処理装置。
（７）
　記憶された前記所定領域の前記画像を、新たに得られた前記出力画枠の画像に合成する画像信号合成部をさらに備える、
　前記（１）から（６）のいずれか一つに記載の信号処理装置。
（８）
　前記画像信号合成部は、
　記憶された前記所定領域の前記画像から、新たに得られた前記出力画枠の前記画像の欠落部分に対応する画像を取得し、新たに得られた前記出力画枠の前記画像に合成する、
　前記（７）に記載の信号処理装置。
（９）
　前記画像信号合成部は、
　記憶された前記所定領域の前記画像に、前記欠落部分に対応する前記画像を重ね、記憶された前記所定領域の前記画像を更新する、
　前記（８）に記載の信号処理装置。
（１０）
　前記画像信号合成部は、
　新たに得られた前記出力画枠の前記画像と、前記欠落部分に対応する前記画像との境界領域に対してフィルタ処理を行う、
　前記（８）または（９）に記載の信号処理装置。
（１１）
　前記所定領域の形状は、前記出力画枠に対する前記入力画枠の傾きに応じて変わる、
　前記（１）から（１０）のいずれか一つに記載の信号処理装置。
（１２）
　前記所定領域の内側の一辺は、前記入力画枠の傾きに平行である、
　前記（１１）に記載の信号処理装置。
（１３）
　出力画枠より広い入力画枠を有する撮像素子と、
　信号処理装置と、
　を備え、
　前記信号処理装置は、
　前記撮像素子の振れ方向に基づいて、前記出力画枠における前記振れ方向と反対側の所定領域を決定する領域決定部と、
　前記出力画枠における前記所定領域の画像を記憶する記憶部と、
　を有する撮像装置。
（１４）
　出力画枠より広い入力画枠を有する撮像素子の振れ方向に基づいて、前記出力画枠における前記振れ方向と反対側の所定領域を決定し、
　前記出力画枠における前記所定領域の画像を記憶する、
　信号処理方法。
（１５）
　前記（１）から（１２）のいずれか一つに記載の信号処理装置を備える、撮像装置。
（１６）
　前記（１）から（１２）のいずれか一つに記載の信号処理装置を用いる、信号処理方法。
　１００　信号処理装置
　１０１　センサ信号入力部
　１０２　振れ検出部
　１０３　画像信号入力部
　１０４　フレームメモリ
　１０５　振れ補正部
　１０６　領域決定部
　１０７　バッファメモリ
　１０８　画像信号合成部
　１０９　画像信号出力部
　２００　信号処理装置
　２０１　振れ検出部
　３００　撮像装置
　３０３　撮像素子
　３０５　信号処理回路
　６０１　境界分離部（補正画像）
　６０２　境界分離部（欠落画像）
　６０３　フィルタ部
　６０４　合成部
　Ｈ１１～Ｈ１２　記憶領域
　Ｈ２１～Ｈ２３　記憶領域
　Ｈ３１～Ｈ３２　記憶領域
　Ｊ１１～Ｊ１４　振れ情報
　Ｊ２１～Ｊ２３　振れ情報
　Ｊ３１～Ｊ３４　振れ情報
　Ｖ１１～Ｖ１３　記憶領域
　Ｖ２１～Ｖ２３　記憶領域
　Ｖ３１～Ｖ３３　記憶領域
　Ｗ１　入力画枠
　Ｗ２　出力画枠

Claims (14)

  1. 　出力画枠より広い入力画枠を有する撮像素子の振れ方向に基づいて、前記出力画枠における前記振れ方向と反対側の所定領域を決定する領域決定部と、
    　前記出力画枠における前記所定領域の画像を記憶する記憶部と、
    　を備える信号処理装置。
  2. 　前記領域決定部は、
    　前記撮像素子の振れ量に応じて前記所定領域の大きさを変える、
    　請求項１に記載の信号処理装置。
  3. 　前記振れ方向と反対方向に前記撮像素子の振れ量だけ前記出力画枠を移動させる振れ補正部をさらに備える、
    　請求項１に記載の信号処理装置。
  4. 　前記所定領域は、前記出力画枠における前記入力画枠との間隔が狭くなる側の領域である、
    　請求項３に記載の信号処理装置。
  5. 　前記振れ方向を検出する振れ検出部をさらに備える、
    　請求項１に記載の信号処理装置。
  6. 　前記振れ検出部は、
    　前記画像の振れ量を検出する、
    　請求項５に記載の信号処理装置。
  7. 　記憶された前記所定領域の前記画像を、新たに得られた前記出力画枠の画像に合成する画像信号合成部をさらに備える、
    　請求項１に記載の信号処理装置。
  8. 　前記画像信号合成部は、
    　記憶された前記所定領域の前記画像から、新たに得られた前記出力画枠の前記画像の欠落部分に対応する画像を取得し、新たに得られた前記出力画枠の前記画像に合成する、
    　請求項７に記載の信号処理装置。
  9. 　前記画像信号合成部は、
    　記憶された前記所定領域の前記画像に、前記欠落部分に対応する前記画像を重ね、記憶された前記所定領域の前記画像を更新する、
    　請求項８に記載の信号処理装置。
  10. 　前記画像信号合成部は、
    　新たに得られた前記出力画枠の前記画像と、前記欠落部分に対応する前記画像との境界領域に対してフィルタ処理を行う、
    　請求項８に記載の信号処理装置。
  11. 　前記所定領域の形状は、前記出力画枠に対する前記入力画枠の傾きに応じて変わる、
    　請求項１に記載の信号処理装置。
  12. 　前記所定領域の内側の一辺は、前記入力画枠の傾きに平行である、
    　請求項１１に記載の信号処理装置。
  13. 　出力画枠より広い入力画枠を有する撮像素子と、
    　信号処理装置と、
    　を備え、
    　前記信号処理装置は、
    　前記撮像素子の振れ方向に基づいて、前記出力画枠における前記振れ方向と反対側の所定領域を決定する領域決定部と、
    　前記出力画枠における前記所定領域の画像を記憶する記憶部と、
    　を有する撮像装置。
  14. 　出力画枠より広い入力画枠を有する撮像素子の振れ方向に基づいて、前記出力画枠における前記振れ方向と反対側の所定領域を決定し、
    　前記出力画枠における前記所定領域の画像を記憶する、
    　信号処理方法。
PCT/JP2021/038713 2020-11-04 2021-10-20 信号処理装置、撮像装置及び信号処理方法 WO2022097470A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/250,253 US20230412923A1 (en) 2020-11-04 2021-10-20 Signal processing device, imaging device, and signal processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-184096 2020-11-04
JP2020184096A JP2022074227A (ja) 2020-11-04 2020-11-04 信号処理装置、撮像装置及び信号処理方法

Publications (1)

Publication Number Publication Date
WO2022097470A1 true WO2022097470A1 (ja) 2022-05-12

Family

ID=81457217

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/038713 WO2022097470A1 (ja) 2020-11-04 2021-10-20 信号処理装置、撮像装置及び信号処理方法

Country Status (3)

Country Link
US (1) US20230412923A1 (ja)
JP (1) JP2022074227A (ja)
WO (1) WO2022097470A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04255179A (ja) * 1991-02-06 1992-09-10 Sony Corp ビデオデータの手振れ補正装置およびその方法
JP2003289470A (ja) * 2002-01-25 2003-10-10 Canon Inc 振れ補正装置、撮像装置、振れ補正方法、及び振れ補正用コンピュータ制御プログラム
JP2005033785A (ja) * 2003-06-17 2005-02-03 Matsushita Electric Ind Co Ltd 情報生成装置、撮影装置および撮影方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04255179A (ja) * 1991-02-06 1992-09-10 Sony Corp ビデオデータの手振れ補正装置およびその方法
JP2003289470A (ja) * 2002-01-25 2003-10-10 Canon Inc 振れ補正装置、撮像装置、振れ補正方法、及び振れ補正用コンピュータ制御プログラム
JP2005033785A (ja) * 2003-06-17 2005-02-03 Matsushita Electric Ind Co Ltd 情報生成装置、撮影装置および撮影方法

Also Published As

Publication number Publication date
JP2022074227A (ja) 2022-05-18
US20230412923A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
US10957029B2 (en) Image processing device and image processing method
US11076141B2 (en) Image processing device, image processing method, and vehicle
JP7196063B2 (ja) 撮像制御装置、および撮像制御装置の制御方法、並びに移動体
US11942494B2 (en) Imaging device
JP2018029280A (ja) 撮像装置と撮像方法
WO2018150683A1 (ja) 情報処理装置と情報処理方法とプログラムおよび撮像装置
US20200349367A1 (en) Image processing device, image processing method, and program
US11585898B2 (en) Signal processing device, signal processing method, and program
JP2021192442A (ja) 固体撮像装置、および電子装置
WO2020085101A1 (ja) 画像処理装置と画像処理方法およびプログラム
US20200358933A1 (en) Imaging device and electronic apparatus
JP7139584B2 (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
WO2022097470A1 (ja) 信号処理装置、撮像装置及び信号処理方法
EP4080869A1 (en) Information processing device, information processing method, program, image capturing device, and image capturing system
WO2020195965A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7160085B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2019215979A1 (ja) 画像処理装置、車載装置、画像処理方法及びプログラム
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
WO2020255589A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2022196316A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7173056B2 (ja) 認識装置と認識方法およびプログラム
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21889023

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21889023

Country of ref document: EP

Kind code of ref document: A1