WO2018061739A1 - 画像生成装置、画像生成方法、プログラムおよび記録媒体 - Google Patents

画像生成装置、画像生成方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
WO2018061739A1
WO2018061739A1 PCT/JP2017/032767 JP2017032767W WO2018061739A1 WO 2018061739 A1 WO2018061739 A1 WO 2018061739A1 JP 2017032767 W JP2017032767 W JP 2017032767W WO 2018061739 A1 WO2018061739 A1 WO 2018061739A1
Authority
WO
WIPO (PCT)
Prior art keywords
multiple exposure
control unit
image
section
vehicle
Prior art date
Application number
PCT/JP2017/032767
Other languages
English (en)
French (fr)
Inventor
柴田　修
岩井　浩
西村　佳壽子
康夫 三宅
嘉晃 佐藤
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to DE112017004987.3T priority Critical patent/DE112017004987B4/de
Priority to US16/331,629 priority patent/US10957028B2/en
Priority to CN201780059040.5A priority patent/CN109792491B/zh
Publication of WO2018061739A1 publication Critical patent/WO2018061739A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Definitions

  • the present disclosure relates to an image generation device, an image generation method, a program, and a recording medium.
  • the image processing apparatus disclosed in Patent Document 1 includes an image acquisition unit, a region setting unit, and a processing unit.
  • the image acquisition unit acquires infrared image data.
  • the region setting unit sets a boundary line that divides the image region into a plurality of regions for the image region based on the infrared image data acquired by the image acquisition unit, and among the plurality of regions divided by the boundary line At least one area is set as a pixel density change area.
  • the processing unit performs a process of reducing the pixel density of the infrared image data in the pixel density change area, performs a detection process on the object based on the infrared image data of the image area including the pixel density change area, and determines the result of the detection process. Based on this, display image data is generated.
  • This disclosure provides an image generation apparatus, an image generation method, a program, and a recording medium that appropriately capture a high-speed moving object by a camera mounted on a moving body.
  • One embodiment of the present disclosure is directed to an image generation apparatus that includes a first reception unit and a control unit.
  • the first receiving unit receives travel information related to the travel state of the mobile object.
  • the control unit sets a multiple exposure area in the imaging area of the image sensor used in the moving body based on the travel information, the multiple exposure area in the imaging area is multiple exposed, and the areas other than the multiple exposure area are Image data not subjected to multiple exposure is generated.
  • the one form may be any of a method, a program, and a non-temporary tangible recording medium on which the program is recorded.
  • an image generation device an image generation method, a program, and a recording medium that appropriately capture a high-speed moving object with a camera mounted on a moving body.
  • FIG 2 is a diagram illustrating a configuration example of an image generation apparatus and an image processing apparatus according to the present disclosure
  • the figure which shows the functional block of the image generation apparatus contained in an imaging device The figure which shows typically the division comprised with respect to an image sensor Diagram showing compression level information The figure which shows the compression level of each division determined based on driving
  • region with respect to a surround view camera 6 is a diagram illustrating a modification of the hardware configuration of the image generation device and the image processing device of the present disclosure.
  • a camera mounted on a moving body such as an in-vehicle camera has many opportunities to image a high-speed moving object. It is known that high-speed moving objects can be imaged by increasing the shutter speed, but high-speed continuous shooting increases the amount of image data (or frame rate) per unit time.
  • constituent elements are not necessarily indispensable unless otherwise specified or apparently essential in principle.
  • FIG. 1 is a diagram illustrating a configuration example of an image generation device and an image processing device according to the present disclosure.
  • the vehicle 1 which is an example of a moving body, includes an imaging device 10 including the image generation device 32 of the present disclosure, an ECU (Electronic Control Unit) 12 as an embodiment of the image processing device 12 of the present disclosure, and a travel information transmission device. 14 and the active sensor 16 are connected via the network 20.
  • the network 20 includes, for example, a CAN (Controller Area Network) mainly used for transmission of control signals, and MOST (Media Oriented Systems Transport) and IDB-1394 (ITS (Intelligent) mainly used for transmission of signals related to multimedia. (Transport Systems), Data Bus-1394).
  • the vehicle 1 does not necessarily need to have all the apparatuses 10, 12, 14, and 16, and may have only some apparatuses. In the case of a one-to-one connection, the connection may be made by a serial interface such as LVDS (Low voltage differential signaling).
  • the imaging device 10 is a device that is mounted on the vehicle 1 and images the surroundings (typically forward) of the vehicle 1.
  • the imaging device 10 includes an image sensor 30 and a DSP (Digital Signal Processor) 32 as an embodiment of the image generation device 32 of the present disclosure.
  • a pixel signal output from the image sensor 30 is input to the DSP 32 via a predetermined transmission path 34.
  • an ADC Analog to Digital Converter
  • the DSP 32 may output a control signal to the image sensor 30 via a predetermined transmission path 36. Details of the imaging device 10 will be described later (see FIG. 2).
  • the traveling information transmitting device 14 transmits traveling information including information regarding the traveling state of the moving body such as the vehicle 1 at a predetermined timing to the imaging device 10 via the network 20.
  • traveling information including information regarding the traveling state of the moving body such as the vehicle 1 at a predetermined timing to the imaging device 10 via the network 20.
  • the imaging device 10 determines a traveling scene of a moving body such as the vehicle 1 based on the received traveling information. Examples of travel scenes of a moving body such as the vehicle 1 include straight traveling, turning right, turning left, turning right, turning left, just before the top of the uphill, or just before the bottom of the downhill. Reach, etc. Details of the travel information transmitting device 14 will be described later.
  • the active sensor 16 emits a wave such as a millimeter wave or a laser beam in order to sense information around the vehicle 1, and reflects the vehicle 1 and the object based on a return wave reflected by the surrounding object and returning to itself. Measure the distance between and the like.
  • a wave such as a millimeter wave or a laser beam
  • the ECU 12 controls each device connected to the network 20.
  • the ECU 12 may include a communication I / F (Interface) 56, a microcomputer (hereinafter referred to as “microcomputer”) 50, a program memory 52, and a main memory 54.
  • microcomputer hereinafter referred to as “microcomputer”
  • program memory 52 a program memory 52
  • main memory 54 a main memory 54.
  • These components 50, 52, 54, 56 may be capable of two-way communication via an internal bus 59. In the case of a one-to-one connection, information regarding image data may be unidirectional communication.
  • the communication I / F 56 controls transmission / reception of data via the network 20.
  • the program memory 52 holds a program 58.
  • the program memory 52 may be a nonvolatile semiconductor memory such as an EEPROM (Electrically Erasable Programmable Read Only Memory).
  • the main memory 54 stores various data related to the execution of the program 58.
  • the main memory 54 may be a volatile semiconductor memory such as SRAM (Static Random Access Memory) or DRAM (Dynamic Random Access Memory).
  • the microcomputer 50 implements various functions of the ECU 12 by reading the program 58 from the program memory 52 and executing the program 58 using the main memory 54.
  • the microcomputer 50 may be able to transmit / receive data to / from other devices 10, 14, 16 via the communication I / F 56 and the network 20.
  • FIG. 2 is a diagram illustrating functional blocks of the image generation device included in the imaging device 10.
  • the image sensor 30 includes a plurality of pixels 90 (see FIG. 3) having photoelectric conversion elements, and outputs a signal obtained by photoelectrically converting incident light to each pixel 90.
  • the image sensor 30 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge-Coupled Device) image sensor.
  • the signal output from the image sensor 30 may be either analog or digital.
  • the unit of one pixel may be, for example, a one-pixel configuration in black and white BW or a one-pixel configuration in color RGB.
  • the DSP 32 is an embodiment of the image generation apparatus, and the DSP 32 of the present disclosure includes a first receiving unit 62 and a control unit 60 as functions.
  • the functions of the first receiving unit 62 and the control unit 60 may be implemented as a logic circuit such as an FPGA (Field-Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit), or may be implemented as a program.
  • the first receiving unit 62 receives the travel information 100 from the travel information transmitting device 14.
  • the travel information 100 may be appropriately transmitted by the travel information transmitter 14 or may be appropriately acquired from the travel information transmitter 14 by the first receiver 62.
  • the control unit 60 controls reading of signals from each pixel of the image sensor 30 and exposure of the image sensor 30 based on the traveling information 100 received by the first receiving unit 62.
  • a control signal from the control unit 60 to the image sensor 30 may be transmitted through the transmission path 36, and a pixel signal from the image sensor 30 to the control unit 60 may be transmitted through the transmission path 34.
  • the control unit 60 sets a multiple exposure area in the imaging area of the image sensor 30 based on the travel information 100, the multiple exposure area in the imaging area is subjected to multiple exposure, and other than the multiple exposure area Image data that is not subjected to multiple exposure (referred to as “image data including multiple exposure”) is generated.
  • the control unit 60 has image data with a smaller number of pixels than the number of pixels when signals are read from all the pixels of the image sensor 30 (more specifically, the first part set based on the travel information 100). Image data whose resolution other than the area is lower than the resolution of the first partial area) may be generated. The generated image data is output to the ECU 12, which is an embodiment of the image processing device, for example. “Setting” a multiple exposure area means, for example, “selecting” or “determining” a partial area from the entire area of the image sensor pixels, imaging area, image data, and the like.
  • the control unit 60 may reduce the number of pixels of the image data to be output by skipping and reading the signals of the pixels arranged in the image sensor 30 at predetermined intervals. Alternatively, the control unit 60 reads out signals from all the pixels of the image sensor 30 and compresses them with a predetermined image compression algorithm (for example, MPEG (Moving Picture Experts Group)), thereby reducing the number of pixels of the output image data. Also good. In any case, the number of pixels of the image data output by the DSP 32 is smaller than the number of pixels when signals are read from all the pixels of the image sensor 30.
  • a predetermined image compression algorithm for example, MPEG (Moving Picture Experts Group)
  • the controller 60 picks up multiple exposures by reading out signals from the pixels after being imaged multiple times at a high shutter speed at the pixels in the multiple exposure region (in this case, charge is accumulated in the pixels each time the shutter is opened and closed). Including image data may be generated. Alternatively, the control unit 60 may generate image data including multiple exposures by superimposing a plurality of image data captured at a high shutter speed. In the image data including multiple exposure, an image corresponding to the locus of movement of the moving object is captured.
  • the shutter may be a global shutter (all pixel simultaneous exposure batch reading) in which all pixels of the image sensor 30 receive light at the same timing. Thereby, image data without distortion is generated.
  • image data 120 including an area captured by multiple exposure and having a reduced number of pixels output from the DSP 32 may be referred to as “compressed multiple exposure image data 120”.
  • each pixel of the image sensor 30 belongs to one of the plurality of sections, and the control unit 60 multiplexes at least one of the plurality of sections based on the travel information 100 received by the first receiving unit 62.
  • the exposure area may be determined.
  • the relationship between the image sensor 30 and the section 200 will be described with reference to FIGS. 3 and 4.
  • FIG. 3 is a diagram showing a section 200 configured for the image sensor 30.
  • FIG. 3 shows the image sensor 30 in which horizontal 90 ⁇ vertical 1080 (about 2.70 million) pixels 90 corresponding to full HD (High Definition) are arrayed, and the number of horizontal and vertical pixels is divided into three equal parts.
  • nine sections 200 are formed.
  • the number of pixels before compression in each section 200 is 640 ⁇ 360 (about 230,000).
  • the resolution before compression (number of pixels per unit length) of each section 200 is the same, but the number of pixels before compression of each section may be different.
  • the image sensor 30 may be divided so that the number of pixels in the central section in FIG. 3 is larger than the number of pixels in the other sections.
  • the control unit 60 may determine a section including a pixel that receives light from the side with respect to the traveling direction of the vehicle 1 as a multiple exposure region.
  • the light received from the side with respect to the traveling direction may be light received from the periphery of the traveling path of the vehicle 1.
  • the periphery of the travel path may include at least a lane (such as an overtaking lane, an uphill lane, or an oncoming lane) adjacent to the lane in which the host vehicle 1 is traveling. This is because moving objects are easily imaged in the overtaking lane, the oncoming lane, and the like, and therefore it is preferable to image with multiple exposure.
  • the periphery of the traveling road may be left, right, lower left, and lower right sections 200L, 200R, 200LD, and 200RD.
  • FIG. 4 is a diagram showing compression level information.
  • the compression level that each partition 200 can take may be defined as compression level information as shown in FIG.
  • the compression level (compression LV) may be a compression rate, the number of pixels after compression, or the resolution after compression.
  • compression level information of FIG. 4 will be described.
  • the number of pixels (more specifically, resolution) determined for the compression level “1” is maintained (uncompressed).
  • the resolution of the section after compression is 640 ⁇ 360 (approximately 230,000 pixels, “full HD” equivalent).
  • the number of pixels (more specifically, the resolution) of the section determined at the compression level “2” is reduced (compressed) to 1 ⁇ 2.
  • the resolution of the section after compression is 640 ⁇ 180 horizontal or 320 ⁇ 360 horizontal (about 115,000 pixels, corresponding to “HD”).
  • the number of pixels in the section determined at the compression level “3” is reduced (compressed) to 1 ⁇ 4.
  • the resolution of the section after compression is 320 ⁇ 180 (approximately 57,000 pixels, “HD-” equivalent).
  • the number of pixels in the section determined at the compression level “4” is reduced (compressed) to 1 ⁇ 4.
  • the resolution of the section after compression is 640 ⁇ 90 (about 57,000 pixels, “SD (Standard Definition) +” equivalent).
  • the number of pixels in the section determined at the compression level “5” is reduced (compressed) to 1/8.
  • the resolution of the section after compression is 320 ⁇ 90 (about 28,000 pixels, corresponding to “SD”).
  • FIG. 5 is a diagram showing the compression level of each section 200 determined based on the travel information 100.
  • the controller 60 determines that the travel scene of the vehicle 1 is “straightly traveling”, “turning right”, “turning left”, “top of the uphill” Whether it is “immediately before” or “immediately before the bottom of the downhill” is determined.
  • the control unit 60 determines that the travel scene of the vehicle 1 is “straightly traveling”, “turning right”, or It may be determined whether it is “turning left”.
  • the steering angle may be an angle of the steering wheel of the vehicle 1.
  • the control unit 60 may determine that the vehicle is “straightly traveling” when the steering angle is within a predetermined first angle range from 0 degree to right rotation or left rotation.
  • the control unit 60 determines that the vehicle is turning right when the steering angle is in the range of greater than the first angle to the right and less than the predetermined second angle, and the steering angle is turned to the left. If the angle is within the range of greater than the first angle and less than or equal to the second angle, it may be determined that “turning left”.
  • the control unit 60 determines that the traveling scene of the vehicle 1 is “just before the top of the uphill” or “downhill” based on the traveling information 100 including the angular velocity around the pitch axis transmitted by the gyro sensor which is an example of the traveling information transmitting device 14. It may be determined whether it is “just before the bottom of the slope” or none. For example, when the angular velocity around the pitch axis indicates the forward rotation of the vehicle 1, the control unit 60 determines “immediately before the top of the uphill”, and the angular velocity around the pitch axis is rotated toward the rear of the vehicle 1. May indicate “just before the bottom of the downhill”.
  • control unit 60 may determine the traveling scene by other methods. For example, the control unit 60 determines that the traveling scene of the vehicle 1 is “uphill” based on the traveling information 100 including the gradient angle ahead of the traveling point of the vehicle transmitted by the navigation device that is one form of the traveling information transmitting device 14. It may be determined whether it is “just before the top”, “just before the bottom of the downhill”, or neither.
  • the control unit 60 sets the section 200 including pixels that receive light from at least the straight traveling direction of the image sensor 30 as the first partial region. Then, the control unit 60 determines that the resolution of at least one partition 200 other than the first partial region is lower than that of the first partial region while maintaining the resolution of the partition 200 of the first partial region. In other words, the control unit 60 may determine the compression rate of each partition so that the compression rate (for example, the compression level; the same applies hereinafter) of the partition 200 of the first partial region is minimized. This is because it is preferable that an object ahead of the vehicle 1 is detected in a short time and with high accuracy during straight traveling.
  • the control unit 60 may determine the central section 200 ⁇ / b> C as the first partial region at the compression level “1”. Further, the control unit 60 may determine the left, right, and lower sections 200L, 200R, and 200D other than the first partial region as the compression level “2”. Further, the control unit 60 may determine the lower left and lower right sections 200LD and 200RD as the compression level “3”. Further, the control unit 60 may determine the upper section 200U as the compression level “4”. Further, the control unit 60 may determine the upper left and upper right sections 200LU and 200RU to the compression level “5”.
  • the control unit 60 may exclude at least a partition including pixels that receive light from the straight traveling direction from the multiple exposure region. For example, as shown in the center of FIG. 5, the control unit 60 may exclude the center section 200 ⁇ / b> C from the section having the multiple exposure region. Then, the control unit 60 may determine the left, right, lower left and lower right sections 200L, 200R, 200LU, and 200RU corresponding to the periphery of the traveling road as the multiple exposure areas. As shown in the center of FIG. 5, an image (302A, 302B, 302C) corresponding to the trajectory of the other vehicle 302 traveling in the lane on the left is taken in the section 200L of the left multiple exposure region. Has been.
  • the central section 200C is set to a high resolution without making it a multiple exposure area is that the possibility that other vehicles in front will approach at high speed is small, and it is preferable to increase the resolution rather than to improve the high-speed tracking of the image. It is.
  • the control unit 60 sets at least one section 200 including the pixel 90 that receives light from the turning direction (rightward) of the vehicle 1 as the first partial region. Then, the control unit 60 determines that the resolution of at least one partition 200 other than the first partial region is lower than that of the first partial region while maintaining the resolution of the partition 200 of the first partial region. In other words, the control unit 60 may determine the compression rate of each partition 200 so that the compression rate of the partition 200 of the first partial region is minimized. This is because it is preferable that the right front object of the vehicle 1 is detected in a short time with high accuracy during a right turn.
  • the control unit 60 may determine the right section 200 ⁇ / b> R as the first partial region to the compression level “1”. Further, the control unit 60 may determine the center, lower right, and left sections 200C, 200RD, and 200L other than the first partial region as the compression level “2”. Further, the control unit 60 may determine the lower and lower left sections 200D and 200LD at the compression level “3”. Further, the control unit 60 may determine the upper right section 200RU as the compression level “4”. Further, the control unit 60 may determine the upper and left upper sections 200U and 200LU to the compression level “5”.
  • the control unit 60 determines that the vehicle is turning (rightward) from the multiple exposure region. Good. For example, as shown on the right side of FIG. 5, the control unit 60 may exclude the right section 200 ⁇ / b> R from the multiple exposure area. Then, the control unit 60 may determine the left and lower left sections 200L and 200LD as the multiple exposure areas. As a result, when the host vehicle 1 is turning right (or turning right), it is possible to detect another vehicle (such as a vehicle in an oncoming lane or a vehicle that pops out) approaching at a high speed from the left front of the host vehicle 1.
  • another vehicle such as a vehicle in an oncoming lane or a vehicle that pops out
  • the control unit 60 sets at least one section 200 including the pixel 90 that receives light from the turning direction (left side) of the vehicle 1 as the first partial region. Determines that the resolution of at least one section 200 other than the first partial area is lower than that of the first partial area while maintaining the resolution of the section 200 of the first partial area. In other words, the control unit 60 may determine the compression rate of each partition 200 so that the compression rate of the partition 200 of the first partial region is minimized. This is because it is preferable that the left front object of the vehicle 1 is detected in a short time and with high accuracy during a left turn.
  • the control unit 60 may determine the compression level “1” for the left section 200 ⁇ / b> L as the first partial region. Further, the control unit 60 may determine the center, lower left, and right sections 200C, 200LD, and 200R other than the first partial region as the compression level “2”. Further, the control unit 60 may determine the lower and lower right sections 200D and 200RD as the compression level “3”. In addition, the control unit 60 may determine the upper left section 200LU at the compression level “4”. Further, the control unit 60 may determine the upper and upper right sections 200U and 200RU to the compression level “5”.
  • a section including pixels that receive light from the turning destination direction (left front) of the plurality of pixels is defined as a multiple exposure region. You may exclude it from the section to do. For example, as shown on the left side of FIG. 5, the control unit 60 may exclude the left section 200 ⁇ / b> L from the sections having the multiple exposure area. Then, the control unit 60 may determine the right and lower right sections 200R and 200RD as the multiple exposure areas.
  • the host vehicle 1 is turning left (or turning left), it is possible to detect another vehicle (such as a vehicle in an opposite lane or a vehicle that pops out) approaching at a high speed from the front right of the host vehicle 1.
  • the control unit 60 sets at least one section 200 including the pixel 90 that receives light from obliquely below with respect to the traveling direction of the vehicle 1 as the first partial region. . Then, the control unit 60 determines that the resolution of at least one partition 200 other than the first partial region is lower than that of the first partial region while maintaining the resolution of the partition 200 of the first partial region. In other words, the control unit 60 may determine the compression rate of each partition 200 so that the compression rate of the partition 200 of the first partial region is minimized. This is because it is preferable to detect an object obliquely below the traveling direction of the vehicle 1 in a short time and with high accuracy while traveling just before the top of the uphill.
  • the control unit 60 may determine the lower section 200 ⁇ / b> D as the first partial region to the compression level “1”. Further, the control unit 60 may determine the center, lower left and lower right sections 200C, 200LD, and 200RD other than the first partial region as the compression level “2”. Further, the control unit 60 may determine the left and right sections 200L and 200R at the compression level “3”. Further, the control unit 60 may determine the upper section 200U as the compression level “4”. Further, the control unit 60 may determine the upper left and upper right sections 200LU and 200RU to the compression level “5”.
  • the control unit 60 may exclude a section including at least a pixel that receives light from the straight traveling direction from a section that is a multiple exposure area. For example, as shown in the upper side of FIG. 5, the control unit 60 may exclude the upper section 200 ⁇ / b> U from the sections having the multiple exposure area. The control unit 60 may determine the left, right, lower left, and lower right sections 200L, 200R, 200LD, and 200RD as the multiple exposure areas.
  • the control unit 60 sets at least one section 200 including the pixels 90 that receive light from obliquely above the traveling direction of the vehicle 1 as the first partial region. . Then, the control unit 60 determines that the resolution of at least one of the sections 200 other than the first partial area is lower than that of the first partial area while maintaining the resolution of the section 200 of the first partial area. In other words, the control unit 60 may determine the compression rate of each partition 200 so that the compression rate of the partition 200 of the first partial region is minimized. This is because it is preferable to detect an object obliquely above the traveling direction of the vehicle 1 in a short time and with high accuracy while traveling just before the bottom of the downhill.
  • the control unit 60 may determine the upper section 200U as the first partial region to the compression level “1”. Further, the control unit 60 may determine the central, upper left, and upper right sections 200C, 200LU, and 200RU other than the first partial region as the compression level “2”. Further, the control unit 60 may determine the left and right sections 200L and 200R at the compression level “3”. Further, the control unit 60 may determine the lower section 200D at the compression level “4”. Further, the control unit 60 may determine the lower left and lower right sections 200LD and 200RD to the compression level “5”.
  • the control unit 60 may exclude a section including pixels that receive light from at least a straight traveling direction from a section that is a multiple exposure area. For example, as shown in the lower side of FIG. 5, the control unit 60 may exclude the lower section 200 ⁇ / b> D from the section having the multiple exposure region. Then, the control unit 60 may determine the left, right, upper left and upper right sections 200L, 200R, 200LU, and 200RU as the multiple exposure areas.
  • the control unit 60 reads out the signal of each pixel arranged in the image sensor 30 to the built-in memory according to the compression level of each section determined by itself. Specifically, skipping is not performed on the pixels belonging to the section 200 having the compression level “1” as the first partial region. For pixels belonging to the section 200 having the compression level “2” other than the first partial region, one of the two pixels in either the horizontal direction or the vertical direction is read out. For the pixels belonging to the sections 200 of the compression levels “3” and “4” as other than the first partial region, one of the two pixels in both the horizontal direction and the vertical direction is read out.
  • the pixels belonging to the section 200 of the compression level “5” other than the first partial region For the pixels belonging to the section 200 of the compression level “5” other than the first partial region, one of the two pixels in either the horizontal direction or the vertical direction is read, and of the four pixels in the other One is read out.
  • the pixel signal read by such a method is read to the memory of the control unit 60, and compressed multiple exposure image data is generated.
  • the compressed multiple exposure image data is transmitted from the memory to the image processing apparatus 12 via the network 20 under the control of the control unit 60.
  • the configuration in which reading is performed in the built-in memory is shown. However, the configuration may be such that the pixel output of the image sensor is selected and the compressed output is directly read out.
  • control unit 60 may exclude the section to be the first partial area from the section to be the multiple exposure area. In other words, the control unit 60 may determine a section to be a multiple exposure area from the sections other than the first partial area. This is because, depending on the configuration of an object detection unit 74 described later, multiple exposure may hinder improvement in the accuracy of object detection due to higher resolution.
  • Compressed multiple exposure image data may be generated in the memory by the control unit 60 multiplexing the image data of the sections of the multiple exposure region on the memory. Therefore, in the compressed multiple exposure image data, the sections other than the multiple exposure area correspond to images captured by a single shutter, and the multiple exposure area sections overlap a plurality of images captured by two or more shutters. Corresponds to the image.
  • the compressed multiple exposure image data is transmitted from the memory to the image processing apparatus 12 via the network 20 under the control of the control unit 60.
  • FIG. 6 is a diagram showing image format information determined based on the travel information.
  • the control unit 60 When the control unit 60 outputs the compressed multiple exposure image data, the control unit 60 also outputs image format information including information on the resolution of each section 200. That is, the image format information includes information necessary for the image processing unit that receives the output to correctly decompress the compressed multiple exposure image data. Accordingly, the ECU 12 that receives the output compressed multiple exposure image data can appropriately combine the image data of the sections 200 having different resolutions to generate one combined image data.
  • the image format information may be sent from the DSP 32 during the blanking period (preferably the vertical blanking period) of the output signal of the compressed multiple exposure image data.
  • the image format information includes the total resolution of image data before compression obtained from the image sensor 30, the total resolution of image data after compression, and the number of sections in the vertical and horizontal directions.
  • the horizontal resolution and the vertical resolution in each section may be included.
  • the total resolution before compression indicates the resolution of the image data before compression (horizontal resolution ⁇ vertical resolution). In the case of FIG. 5, the resolution before compression is “horizontal 1920 ⁇ vertical 1080”.
  • the total resolution after compression indicates the resolution of the image data after compression (horizontal resolution ⁇ vertical resolution).
  • the resolution of the compressed image data is “horizontal 1280 ⁇ vertical 630”.
  • the number of sections in the vertical direction and the horizontal direction indicates a matrix of sections 200 (the number of sections divided by the number of sections vertically).
  • the partition matrix is “3 ⁇ 3”.
  • the horizontal resolution indicates the horizontal resolution of each section with respect to the horizontal resolution after compression.
  • the resolution in the horizontal direction can change depending on the determination result of the travel information.
  • the vertical resolution indicates the vertical resolution of each section relative to the vertical resolution after compression.
  • the resolution in the vertical direction can change depending on the determination result of the travel information.
  • the control unit 60 sets the resolution of each section in the horizontal direction to “320, 640, 320” from left to right and the resolution of each section in the vertical direction. From top to bottom, it may be “90, 360, 180”.
  • the control unit 60 sets the resolution of each section in the horizontal direction to “320, 320, 640” from left to right, The resolution may be “90, 360, 180” from top to bottom.
  • the control unit 60 sets the resolution of each section in the horizontal direction to “640, 320, 320” from left to right, and the resolution of each section in the vertical direction. May be “90, 360, 180” from top to bottom.
  • the control unit 60 sets the resolution of each section in the horizontal direction to “320, 640, 320” from the left to the right.
  • the resolution may be “90, 180, 360” from top to bottom.
  • the control unit 60 sets the horizontal resolution to “320, 640, 320” from left to right as shown in the lower side of FIG.
  • the resolution of the section may be “360, 180, 90” from top to bottom.
  • control unit 60 may include, in the image format information, predetermined information that can identify the sections of the multiple exposure region.
  • the control unit 60 determines whether the traveling state of the vehicle 1 is “turning right” or “turning left” based on the traveling information 100 including the instruction direction transmitted by the direction indicator that is one form of the traveling information transmitting device 14. May be determined. When it is determined that the vehicle is turning right, the control unit 60 may perform the same process as that performed when it is determined that the vehicle is turning right. If it is determined that the vehicle is turning left, the control unit 60 may perform the same process as that performed when it is determined that the vehicle is turning left.
  • the control unit 60 develops a plurality of frames of compressed multiple exposure image data in its own memory, and determines the compression rate of each partition 200 so that the total resolution of the compressed multiple exposure image data of the plurality of frames is the same. It's okay. For example, the control unit 60 compresses each section (or the resolution in the horizontal direction and the resolution in the vertical direction) so that the compressed resolution in the example of FIG. May be determined.
  • the control unit 60 sets the one partition 200 to the compression level “1” and the three partitions 200 to the compression level “1” among the nine partitions 200 even if the traveling scene changes. “2”, two partitions 200 are determined to be compression level “3”, one partition 200 is determined to be compression level “4”, and two partitions 200 are determined to be compression level “5”. That is, the control unit 60 determines the compression level of each image so that the total resolution of the output compressed image frame is horizontal 1280 ⁇ vertical 630 (approximately 810,000 pixels) at any time point. As a result, the data transmission rate relating to the compressed image frame output from the control unit 60 becomes constant. Therefore, it is possible to reduce the processing load on the side of the image processing apparatus (ECU 12) that receives and processes the compressed image frame, and to simplify the configuration.
  • ECU 12 image processing apparatus
  • FIG. 7 is a diagram illustrating functional blocks of the image processing apparatus.
  • ECU12 which is an example of an image processing apparatus may have the 2nd receiving part 70, the image processing part 72, the object detection part 74, and the sensor control part 76 as a function.
  • the second receiving unit 70 receives the compressed multiple exposure image data 120 and the image format information 140 stored in the DSP 32 of the imaging apparatus 10 via the network 20.
  • the second receiving unit 70 may directly receive the compressed multiple exposure image data 120 and the image format information 140 from the DSP 32 without using a memory.
  • ECU12 and DSP32 are comprised integrally, ECU12 does not need to have the 2nd receiving part 70.
  • the image processing unit 72 converts the resolution of each section 200 of the compressed multiple exposure image data 120 received by the second receiving unit 70 based on the image format information 140 received by the second receiving unit 70.
  • the horizontal and vertical resolutions are each doubled and the horizontal 640 ⁇ vertical same as the resolution of the uncompressed section 200 is obtained.
  • 360 image data is generated.
  • the image processing unit 72 generates image data having a resolution of horizontal 640 ⁇ longitudinal 360 by the same process for the other compressed sections 200. Then, the image processing unit 72 combines the generated image data to generate combined image data with a resolution of 1920 ⁇ 1080 corresponding to the original full HD. Note that processing for increasing the resolution may be referred to as “decompression processing”.
  • the image processing unit 72 may supplement the pixels by using a so-called super-resolution technique when increasing the resolution of the compressed multiple exposure image data (that is, increasing the number of pixels).
  • the object detection unit 74 detects a predetermined object from the combined multiple exposure image data generated by the image processing unit 72 by, for example, edge extraction processing.
  • the predetermined object may be an object related to travel of the vehicle 1 such as another vehicle, a pedestrian, or a sign as an example of another moving body.
  • the object detection unit 74 may detect an object based on an image pattern (for example, a trajectory pattern of a moving object) when a moving object is imaged by multiple exposure from the image data of a section of the multiple exposure region.
  • the combined image data generated by the image processing unit 72 is small (uncompressed) with no deterioration in image quality for the section 200 determined to be relatively important based on the driving information 100 by the processing of the control unit 60 of the DSP 32. (Low compression). Therefore, the object detection unit 74 can detect an object with high accuracy in a shorter time. For example, in the case of simply compressed image data, a plurality of combined image frames (that is, a long time) are required to detect an object. However, the image data according to the present disclosure has high image quality of the relatively important section 200. Therefore, the possibility that an object can be detected from one image frame is increased.
  • the object detection unit 74 can detect the moving object in a shorter time.
  • the image data according to the present disclosure includes a section 200 in which a moving object is relatively easily captured. It is a multiple exposure image. Therefore, there is a high possibility that a moving object can be detected from one image frame (that is, in a short time).
  • FIG. 8 is a diagram illustrating a change in the sensing method based on the detection result of the object.
  • the sensor control unit 76 changes the sensing method of the active sensor 16 according to the detection result of the object by the object detection unit 74. For example, the sensor control unit 76 transmits a sensor control command 210 for controlling the active sensor 16 to the active sensor 16 to change the active sensor 16 sensing method. As described above, since the object detection unit 74 according to the present disclosure can detect an object in a shorter time with higher accuracy, the sensor control unit 76 also transmits an appropriate sensor control command 210 with higher accuracy in a shorter time. Can do.
  • FIG. 8 is an example of combined image data in the case where the active sensor 16 is a distance measurement sensor that measures the distance between the host vehicle 1 and an object by irradiating the millimeter wave 300 (or laser light).
  • the central section 201C is a high-resolution image
  • the left section 201L is a multiple exposure image.
  • the object detection unit 74 is an example of another moving body in both the central section 201C (that is, the front side of the host vehicle 1) and the left section 201L (that is, the left side of the host vehicle 1).
  • the other vehicles 302 and 306 are detected.
  • the sensor control unit 76 it may be set which of the high resolution section 201C and the multiple exposure area section 201L is to be emphasized.
  • the sensor control unit 76 sends a sensor control command 210 for changing the irradiation direction of the millimeter wave 300 to the forward direction with respect to the active sensor 16. May be sent.
  • ECU12 can measure the distance between the own vehicle 1 and the other vehicle 306 in a shorter time.
  • the sensor control unit 76 may transmit a sensor control command 210 for changing the irradiation direction of the millimeter wave 300 to the left direction to the active sensor 16.
  • ECU12 can measure the distance between the own vehicle 1 and the other vehicle 302 in a shorter time.
  • FIG. 9 is a diagram illustrating an example in which multiple exposure areas are set for the side imaging apparatus.
  • the control unit 60 is an area relatively far from the host vehicle 1 (for example, a predetermined distance from the host vehicle 1). You may exclude the division which images the above area
  • FIG. 9 shows a left image 400L in which the imaging device 10 installed on the left side of the vehicle 1 images the rear, and a right image 400R in which the imaging device 10 installed on the right side of the vehicle 1 images the rear.
  • the control unit 60 excludes the right section 401R that is relatively far from the host vehicle 1 from the section that is the multiple exposure region for the left image 400L, and the left and lower left sections 401L that are relatively close to the host vehicle 1.
  • 401LD may be used as a multiple exposure region.
  • the control unit 60 excludes the left section 402L that is relatively far from the host vehicle 1 from the section that uses the multiple exposure region, and the right and lower right sections that are relatively close to the host vehicle 1 from the right image 400R.
  • 402R and 402RD may be used as a multiple exposure region.
  • FIG. 10 is a diagram illustrating an example of setting a multiple exposure region for a surround view camera.
  • the control unit 60 is arranged around the host vehicle 1 when the surround view image is generated.
  • a section to be a multiple exposure region may be determined from the sections where the image is captured.
  • FIG. 10 shows a lower left image 500L in which the imaging device 10 installed on the left side of the vehicle 1 images the lower left, and a lower right image 500R in which the imaging device 10 installed on the right side of the vehicle 1 images the lower right.
  • a front lower image 500U in which the imaging device 10 installed on the front side of the vehicle 1 images the front lower side and a rear lower image 500D in which the imaging device 10 installed on the rear side of the vehicle 1 images the rear lower side are shown.
  • FIG. 10 shows a surround view image 520 generated based on these images.
  • the control unit 60 determines the left, lower left, upper left, right, lower right and upper right sections 501L, 501LD, 501LU, 501R, 501RD, and 501RU of the lower left image 500L as the multiple exposure areas. Good. Similarly, the control unit 60 may determine a section in which the sections 502L, 502LD, 502LU, 502R, 502RD, and 502RU are set as the multiple exposure areas for the lower right image 500R. Further, the control unit 60 may determine the left, lower left, right, and lower right sections 503L, 503LD, 503R, and 503RD of the front lower image 500U as the multiple exposure areas. In addition, the control unit 60 may determine the upper left and upper right sections 504LU and 504RU of the rear lower image 500D as the multiple exposure areas.
  • An example of the active sensor 16 is a TOF (Time Of Flight) sensor.
  • the TOF sensor is a sensor that measures the distance to an object based on the time difference (or phase difference) between the transmission timing of the irradiation wave and the reception timing of the reflected wave that is the wave reflected by the object. is there. Therefore, you may measure the distance between the vehicle 1 in the example of FIG. 10, and the other vehicle 302 using a TOF sensor. Note that the distance may be measured by directly receiving the light of the TOF sensor with the image sensor 30.
  • the image generation device 32 (camera system) of the present disclosure can be applied to a stereo camera.
  • FIG. 11 is a diagram illustrating a modification of the hardware configuration of the image generation device and the image processing device according to the present disclosure.
  • the image generation device (DSP) 32 may be disposed outside the imaging device 10. Further, the image generation device (DSP) 32 and the image processing device (ECU) 12 may be a single device (chip). Further, the above-described embodiment may be realized by an image processing system 11 including an image generation device (DSP) 32 and an image processing device (ECU) 12. In addition, each configuration of the control unit 60 and the image processing device 12 of the image generation device 32 may be realized by a computer program.
  • the computer program may be provided by being stored in a distribution medium such as a DVD (Digital Versatile Disc), or may be stored in a server device on the network so as to be downloadable via the network.
  • the image generation apparatus, the image generation method, the program, and the recording medium according to the present disclosure can appropriately capture a high-speed moving object, and are suitable for use in an imaging apparatus or a mobile body mounted device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

画像生成装置は、第１受信部と、制御部と、を有する。第１受信部は、移動体の走行状態に関する走行情報を受信する。制御部は、移動体において用いられるイメージセンサの撮像領域のうち多重露光領域を走行情報に基づいて設定し、撮像領域のうちの多重露光領域が多重露光されており、かつ、多重露光領域以外が多重露光されていない画像データを生成する。

Description

画像生成装置、画像生成方法、プログラムおよび記録媒体
　本開示は、画像生成装置、画像生成方法、プログラムおよび記録媒体に関する。
　車載カメラによって撮像された画像データから対象物を検出する技術、および、当該画像データを低減する技術が知られている。特許文献１に開示されている画像処理装置は、画像取得部と、領域設定部と、処理部とを有する。画像取得部は、赤外線画像データを取得する。領域設定部は、画像取得部により取得された赤外線画像データに基づく画像領域に対して、画像領域を複数の領域に分割する境界線を設定し、境界線によって分割された複数の領域のうちの少なくとも１つの領域を画素密度変更領域に設定する。処理部は、画素密度変更領域の赤外線画像データの画素密度を低減する処理を行い、画素密度変更領域を含む画像領域の赤外線画像データに基づいて対象物の検出処理を行い、検出処理の結果に基づいて表示用画像データを生成する。
特開２０１３－４１４８１号公報
　本開示は、移動体搭載カメラによる高速な移動物体を適切に撮像する画像生成装置、画像生成方法、プログラムおよび記録媒体を提供する。
　本開示の一形態は、第１受信部と、制御部と、を有する画像生成装置に向けられる。第１受信部は、移動体の走行状態に関する走行情報を受信する。制御部は、移動体において用いられるイメージセンサの撮像領域のうち多重露光領域を走行情報に基づいて設定し、撮像領域のうちの多重露光領域が多重露光されており、かつ、多重露光領域以外が多重露光されていない画像データを生成する。
　上記一形態は、方法、プログラムおよびプログラムを記録した一時的でない有形の記録媒体のいずれかであっても良い。
　本開示によれば、移動体搭載カメラによる高速な移動物体を適切に撮像する画像生成装置、画像生成方法、プログラムおよび記録媒体を提供することができる。
本開示に係る画像生成装置および画像処理装置の構成例を示す図 撮像装置に含まれる画像生成装置の機能ブロックを示す図 イメージセンサに対して構成される区画を模式的に示す図 圧縮レベル情報を示す図 走行情報に基づいて決定された各区画の圧縮レベルを示す図 走行情報に基づいて決定された画像フォーマット情報を示す図 画像処理装置の機能ブロックを示す図 物体の検知結果に基づくセンシング方法の変更を示す図 側方の撮像装置に対して多重露光領域を設定する例を示す図 サラウンドビューカメラに対して多重露光領域を設定する例を示す図 本開示の画像生成装置および画像処理装置のハードウェア構成の変形例を示す図
　本開示の実施の形態の説明に先立ち、従来の技術における問題点を簡単に説明する。車載カメラ等の移動体搭載カメラは、高速な移動物体を撮像する機会も多い。高速な移動物体は、シャッター速度を高速にすることにより撮像できることが知られているが、高速な連続撮影は、単位時間あたりの画像データ量（またはフレームレート）が大きくなってしまう。
　以下、図面を参照しながら、実施の形態を説明する。
　なお、同種の要素を区別して説明する場合には、「区画２００Ｌ」、「区画２００Ｒ」のように参照符号を使用し、同種の要素を区別しないで説明する場合には、「区画２００」のように参照符号のうちの共通番号のみを使用することがある。
　また、以下の実施の形態において、その構成要素（要素ステップなどを含む）は、特に明示した場合及び原理的に明らかに必須であると考えられる場合などを除き、必ずしも必須のものではない。
　＜全体構成＞
　図１は、本開示に係る画像生成装置および画像処理装置の構成例を示す図である。
　移動体の一例である車両１には、本開示の画像生成装置３２を含む撮像装置１０、本開示の画像処理装置１２の一実施の形態としてのＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）１２、走行情報送信装置１４、およびアクティブセンサ１６が、ネットワーク２０を介して接続される。ネットワーク２０は、例えば、主に制御信号の伝送に用いられるＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、および、主にマルチメディアに関する信号の伝送に用いられるＭＯＳＴ（Ｍｅｄｉａ　Ｏｒｉｅｎｔｅｄ　Ｓｙｓｔｅｍｓ　Ｔｒａｎｓｐｏｒｔ）やＩＤＢ－１３９４（ＩＴＳ（Ｉｎｔｅｌｌｉｇｅｎｔ　Ｔｒａｎｓｐｏｒｔ　Ｓｙｓｔｅｍｓ）　Ｄａｔａ　Ｂｕｓ－１３９４）の組み合わせで構成されうる。なお、車両１は、必ずしも装置１０、１２、１４、１６の全てを有する必要はなく、一部の装置のみを有してもよい。また、１対１接続の場合、ＬＶＤＳ（Ｌｏｗ　ｖｏｌｔａｇｅ　ｄｉｆｆｅｒｅｎｔｉａｌ　ｓｉｇｎａｌｉｎｇ）などのシリアルインターフェースで接続してもよい。
　撮像装置１０は、車両１に搭載され、車両１の周囲（典型的には前方）を撮像する装置である。撮像装置１０は、イメージセンサ３０と、本開示の画像生成装置３２の一実施の形態としてのＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）３２とを有する。イメージセンサ３０から出力される画素信号は、所定の伝送路３４を介してＤＳＰ３２へ入力される。なお、通常、イメージセンサ３０がアナログの画像信号をＤＳＰ３２へ送信する場合、これらの間には、通常、ＡＤＣ（Ａｎａｌｏｇ　ｔｏ　Ｄｉｇｉｔａｌ　Ｃｏｎｖｅｒｔｅｒ）（図示せず）が配置される。ＤＳＰ３２は、所定の伝送路３６を介してイメージセンサ３０へ制御信号を出力してもよい。撮像装置１０の詳細については後述する（図２参照）。
　走行情報送信装置１４は、所定のタイミングにおける車両１等の移動体の走行状態に関する情報を含む走行情報を、ネットワーク２０を介して撮像装置１０へ送信する。走行情報の具体例については後述する。撮像装置１０は、受信した走行情報に基づいて、車両１等の移動体の走行シーンを判定する。車両１等の移動体の走行シーンの例としては、直進中、右旋回中、左旋回中、右折中、左折中、上り坂の頂上の直前に到達、または、下り坂の底の直前に到達、などがある。走行情報送信装置１４の詳細については後述する。
　アクティブセンサ１６は、車両１の周辺の情報をセンシングするために、ミリ波またはレーザー光などの波を出射し、周囲の物体で反射されて自身に戻ってきた戻り波に基づき、車両１と物体との間の距離等を測定する。
　ＥＣＵ１２は、ネットワーク２０に接続されている各機器を制御する。ＥＣＵ１２は、通信Ｉ／Ｆ（ＩｎｔｅｒＦａｃｅ）５６、マイクロコンピュータ（以下、「マイコン」とする）５０、プログラムメモリ５２、およびメインメモリ５４を有してよい。これらの構成要素５０、５２、５４、５６は、内部バス５９を介して双方向通信可能であってよい。また、１対１接続の場合、画像データに関する情報は単方向通信でもよい。
　通信Ｉ／Ｆ５６は、ネットワーク２０を介するデータの送受信を制御する。
　プログラムメモリ５２は、プログラム５８を保持する。プログラムメモリ５２は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）のような不揮発性半導体メモリであってよい。
　メインメモリ５４には、プログラム５８の実行に関する各種データが格納される。メインメモリ５４は、ＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）またはＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）のような揮発性半導体メモリであってよい。
　マイコン５０は、プログラムメモリ５２からプログラム５８を読み出して、メインメモリ５４を用いてプログラム５８を実行することにより、ＥＣＵ１２の有する各種機能を実現する。マイコン５０は、通信Ｉ／Ｆ５６およびネットワーク２０を介して、他の機器１０、１４、１６とデータを送受信できてよい。
　＜画像生成装置の機能構成＞
　図２は、撮像装置１０に含まれる画像生成装置の機能ブロックを示す図である。
　イメージセンサ３０は、光電変換素子を有する複数の画素９０（図３参照）が配列されており、各画素９０への入射光を光電変換して得られた信号を出力する。イメージセンサ３０は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、またはＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサである。イメージセンサ３０が出力する信号は、アナログまたはデジタルのいずれであってもよい。また、１画素の単位は、例えば白黒ＢＷでの１画素構成でも、カラーＲＧＢでの１画素構成でもよい。
　ＤＳＰ３２は、画像生成装置の一実施の形態であり、本開示のＤＳＰ３２は、機能として、第１受信部６２と、制御部６０とを有する。第１受信部６２および制御部６０の機能は、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などの論理回路として実現されてもよいし、プログラムとして実現されてもよい。
　第１受信部６２は、走行情報送信装置１４から走行情報１００を受信する。走行情報１００は、走行情報送信装置１４が適宜送信してもよいし、第１受信部６２によって走行情報送信装置１４から適宜取得されてもよい。
　制御部６０は、第１受信部６２が受信した走行情報１００に基づいて、イメージセンサ３０の各画素からの信号の読み出しおよびイメージセンサ３０の露光を制御する。制御部６０からイメージセンサ３０への制御信号は伝送路３６を介して伝送され、イメージセンサ３０から制御部６０への画素の信号は伝送路３４を介して伝送されてよい。例えば、制御部６０は、イメージセンサ３０の撮像領域のうち多重露光領域を走行情報１００に基づいて設定し、撮像領域のうちの多重露光領域が多重露光されており、かつ、多重露光領域以外が多重露光されていない画像データ（「多重露光を含む画像データ」と呼ぶ）を生成する。このとき、制御部６０は、イメージセンサ３０の全画素から信号を読み出した場合の画素数よりも小さい画素数の画像データ（より具体的には、走行情報１００に基づいて設定される第１部分領域以外の解像度が、第１部分領域の解像度よりも低い画像データ）を生成してもよい。生成された画像データは、例えば画像処理装置の一実施の形態であるＥＣＵ１２へ出力される。多重露光領域を「設定する」とは、例えば、イメージセンサの画素、撮像領域、画像データ等の全体の領域からその一部分の領域を「選択する」こと、または「決定する」ことである。
　制御部６０は、イメージセンサ３０に配列されている画素の信号を所定の間隔で飛ばし読みすることによって、出力する画像データの画素数を低減してよい。または、制御部６０は、イメージセンサ３０の全画素から信号を読み出して所定の画像圧縮アルゴリズム（例えばＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ））で圧縮することによって、出力する画像データの画素数を低減してもよい。いずれにおいても、ＤＳＰ３２が出力する画像データの画素数は、イメージセンサ３０の全画素から信号を読み出した場合の画素数よりも小さくなる。
　制御部６０は、多重露光領域の画素において高速なシャッター速度で複数回撮像された後（この場合シャッターの開閉毎に画素に電荷が蓄積される）、画素から信号を読み出すことによって、多重露光を含む画像データを生成してよい。または、制御部６０は、高速なシャッター速度で撮像された複数の画像データを重ねることによって、多重露光を含む画像データを生成してもよい。多重露光を含む画像データには、移動物体の移動の軌跡に相当するものが撮像される。なお、シャッターは、イメージセンサ３０の全ての画素が同時のタイミングで受光するグローバルシャッター（全画素同時露光一括読み出し）であってよい。これにより、歪みのない画像データが生成される。
　上述の構成によれば、移動物体を適切に撮像することができる。さらに、撮像装置１０とＥＣＵ１２との間の画像データのデータ伝送量（またはデータ伝送レート）を低減することもできる。なお、ＤＳＰ３２から出力される画素数が低減され、かつ、多重露光で撮影された領域を含む画像データを、「圧縮多重露光画像データ１２０」と呼んでもよい。
　ここで、イメージセンサ３０の各画素は複数の区画の何れかに属しており、制御部６０は、第１受信部６２が受信した走行情報１００に基づいて、複数の区画の少なくとも１つを多重露光領域として決定してよい。以下、図３および図４を参照しながら、イメージセンサ３０と区画２００との関係について説明する。
　図３は、イメージセンサ３０に対して構成される区画２００を示す図である。
　図３は、フルＨＤ（Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ）に相当する横１９２０×縦１０８０（約２０７万）の画素９０が配列されているイメージセンサ３０において、横および縦の画素数をそれぞれ３等分に分割して９つの区画２００を形成する例である。この場合、各区画２００の圧縮前の画素数は横６４０×縦３６０（約２３万）である。なお、本開示では各区画２００の圧縮前の解像度（単位長あたりの画素数）が同じであるが、各区画の圧縮前の画素数は異なってもよい。例えば、図３における中央の区画の画素数が他の区画の画素数よりも大きくなるように、イメージセンサ３０を分割してもよい。
　制御部６０は、車両１の進行方向を基準として側方からの光を受光する画素を含む区画を、多重露光領域として決定してよい。進行方向を基準として側方から受ける光とは、車両１の走行路の周辺から受ける光であってよい。走行路の周辺は、少なくとも、自車両１が走行している車線に隣接する車線（追い越し車線、登坂車線または対向車線等）を含んでよい。追い越し車線や対向車線などには移動物体が撮像されやすいため、多重露光で撮像されることが好ましいからである。図３の例の場合、走行路の周辺は、左、右、左下および右下の区画２００Ｌ、２００Ｒ、２００ＬＤ、２００ＲＤであってよい。
　図４は、圧縮レベル情報を示す図である。各区画２００が取り得る圧縮レベルは、図４のように、圧縮レベル情報として定義されてよい。圧縮レベル（圧縮ＬＶ）は、圧縮率であってもよいし、圧縮後の画素数であってもよいし、圧縮後の解像度であってもよい。以下、図４の圧縮レベル情報について説明する。
　圧縮レベル「１」に決定された区画の画素数（さらに言えば、解像度）は維持される（非圧縮である）。図３の例では、圧縮後の区画の解像度は、横６４０×縦３６０（約２３万画素。「フルＨＤ」相当）となる。
　圧縮レベル「２」に決定された区画の画素数（さらに言えば、解像度）は１／２に低減（圧縮）される。図３の例では、圧縮後の区画の解像度は、横６４０×縦１８０または横３２０×縦３６０（約１１．５万画素。「ＨＤ」に相当）となる。
　圧縮レベル「３」に決定された区画の画素数は１／４に低減（圧縮）される。図３の例では、圧縮後の区画の解像度は、横３２０×縦１８０（約５．７万画素。「ＨＤ－」相当）となる。
　圧縮レベル「４」に決定された区画の画素数は１／４に低減（圧縮）される。図３の例では、圧縮後の区画の解像度は、横６４０×縦９０（約５．７万画素。「ＳＤ（Ｓｔａｎｄａｒｄ　Ｄｅｆｉｎｉｔｉｏｎ）＋」相当）となる。
　圧縮レベル「５」に決定された区画の画素数は１／８に低減（圧縮）される。図３の例では、圧縮後の区画の解像度は、横３２０×縦９０（約２．８万画素。「ＳＤ」相当）となる。
　＜走行情報に基づいて各区画の圧縮レベルを決定する処理＞
　図５は、走行情報１００に基づいて決定された各区画２００の圧縮レベルを示す図である。
　制御部６０は、第１受信部６２が受信した走行情報１００に基づいて、車両１の走行シーンが、「直進中」、「右旋回中」、「左旋回中」、「上り坂の頂上直前」または「下り坂の底直前」のいずれであるかを判定する。
　制御部６０は、走行情報送信装置１４の例である操舵角センサが送信する操舵角を含む走行情報１００に基づいて、車両１の走行シーンが、「直進中」、「右旋回中」または「左旋回中」のいずれであるかを判定してよい。操舵角とは、車両１のステアリングホイールの角度であってよい。例えば、制御部６０は、操舵角が０度から右回転または左回転に所定の第１の角度の範囲内である場合に「直進中」と、判定してよい。また、制御部６０は、操舵角が右回転に第１の角度より大きく所定の第２の角度以下の範囲内である場合に「右旋回中」と、判定し、操舵角が左回転に第１の角度より大きく第２の角度以下の範囲内である場合に「左旋回中」と判定してよい。
　制御部６０は、走行情報送信装置１４の例であるジャイロセンサが送信するピッチ軸周りの角速度を含む走行情報１００に基づいて、車両１の走行シーンが、「上り坂の頂上直前」または「下り坂の底直前」のいずれであるか、もしくは、いずれでもないかを判定してよい。例えば、制御部６０は、ピッチ軸周りの角速度が車両１の前方への回転を示している場合に「上り坂の頂上直前」と判定し、ピッチ軸周りの角速度が車両１の後方への回転を示している場合に「下り坂の底直前」と判定してよい。
　なお、制御部６０は、他の方法によって走行シーンを判定してもよい。例えば、制御部６０は、走行情報送信装置１４の一形態であるナビゲーション装置が送信する車両の走行地点の先方の勾配角を含む走行情報１００に基づいて、車両１の走行シーンが、「上り坂の頂上直前」または「下り坂の底直前」のいずれであるか、もしくは、いずれでもないかを判定してもよい。
　＜直進中と判定した場合＞
　直進中と判定した場合、制御部６０は、イメージセンサ３０の少なくとも直進方向からの光を受光する画素を含む区画２００を第１部分領域に設定する。そして、制御部６０は、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも１つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率（例えば圧縮レベル。以下同じ）が最小となるように、各区画の圧縮率を決定してよい。なぜなら、直進中は、車両１の前方の物体が短時間かつ高精度で検知されることが好ましいからである。
　例えば図５の中央に示すように、制御部６０は、第１部分領域としての中央の区画２００Ｃを圧縮レベル「１」に、決定してよい。また、制御部６０は、第１部分領域以外の左、右および下の区画２００Ｌ、２００Ｒ、２００Ｄを圧縮レベル「２」に、決定してよい。また、制御部６０は、左下および右下の区画２００ＬＤ、２００ＲＤを圧縮レベル「３」に、決定してよい。また、制御部６０は、上の区画２００Ｕを圧縮レベル「４」に、決定してよい。また、制御部６０は、左上および右上の区画２００ＬＵ、２００ＲＵを圧縮レベル「５」に決定してよい。左上および右上の区画２００ＬＵ、２００ＲＵの圧縮レベルを高くしている（つまり画素数を小さくしている）理由は、直進中、区画２００ＬＵ、２００ＲＵにはほとんど空やトンネルの天井などが撮像され、区画２００ＬＵ、２００ＲＵにおける物体検知の重要性が低いからである。
　また、制御部６０は、直進中と判定した場合、少なくとも直進方向からの光を受光する画素を含む区画を、多重露光領域とする区画から除外してよい。例えば、図５の中央に示すように、制御部６０は、中央の区画２００Ｃを多重露光領域とする区画から除外してよい。そして、制御部６０は、走行路の周辺に相当する、左、右、左下および右下の区画２００Ｌ、２００Ｒ、２００ＬＵ、２００ＲＵを多重露光領域とする区画に決定してよい。図５の中央に示すように、左の多重露光領域の区画２００Ｌには、左隣の車線を走行している他の車両３０２の移動の軌跡に相当するもの（３０２Ａ、３０２Ｂ、３０２Ｃ）が撮像されている。また、右の多重露光領域の区画２００Ｒには、対向車線を走行している他の移動体の一例である他の車両３０４の移動の軌跡に相当するもの（３０４Ａ、３０４Ｂ、３０４Ｃ）が撮像されている。これにより、自車両１が直進中に、自車両１の左方および右方から高速で近づく他の車両を検出することができる。また、中央の区画２００Ｃを多重露光領域とせず高解像度としている理由は、前方の他の車両が高速で近づく可能性は小さく、画像の高速追従性を高めるよりも、解像度を高める方が好ましいからである。
　＜右旋回中と判定した場合＞
　右旋回中と判定した場合、制御部６０は、車両１の旋回方向（右方）からの光を受光する画素９０を含む少なくとも１つの区画２００を第１部分領域に設定する。そして、制御部６０は、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも１つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率が最小となるように、各区画２００の圧縮率を決定してよい。なぜなら、右旋回中は、車両１の右前方の物体が短時間かつ高精度で検知されることが好ましいからである。
　例えば図５の右側に示すように、制御部６０は、第１部分領域としての右の区画２００Ｒを圧縮レベル「１」に、決定してよい。また、制御部６０は、第１部分領域以外の中央、右下および左の区画２００Ｃ、２００ＲＤ、２００Ｌを圧縮レベル「２」に、決定してよい。また、制御部６０は、下および左下の区画２００Ｄ、２００ＬＤを圧縮レベル「３」に、決定してよい。また、制御部６０は、右上の区画２００ＲＵを圧縮レベル「４」に、決定してよい。また、制御部６０は、上および左上の区画２００Ｕ、２００ＬＵを圧縮レベル「５」に決定してよい。
　また、制御部６０は、旋回中（右方）と判定した場合、車両の旋回先の方向（右前方）からの光を受光する画素を含む区画を、多重露光領域とする区画から除外してよい。例えば、図５の右側に示すように、制御部６０は、右の区画２００Ｒを多重露光領域とする区画から除外してよい。そして、制御部６０は、左および左下の区画２００Ｌ、２００ＬＤを多重露光領域とする区画に決定してよい。これにより、自車両１が右旋回中（または右折中）に、自車両１の左前方から高速で近づく他の車両（対向車線の車両や飛び出してくる車両など）を検出することができる。
　＜左旋回中と判定した場合＞
　左旋回中と判定した場合、制御部６０は、車両１の旋回方向（左方）からの光を受光する画素９０を含む少なくとも１つの区画２００を第１部分領域に設定するそして、制御部６０は、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも一つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率が最小となるように、各区画２００の圧縮率を決定してよい。なぜなら、左旋回中は、車両１の左前方の物体が短時間かつ高精度で検知されることが好ましいからである。
　例えば図５の左側に示すように、制御部６０は、第１部分領域としての左の区画２００Ｌを圧縮レベル「１」に、決定してよい。また、制御部６０は、第１部分領域以外の中央、左下および右の区画２００Ｃ、２００ＬＤ、２００Ｒを圧縮レベル「２」に、決定してよい。また、制御部６０は、下および右下の区画２００Ｄ、２００ＲＤを圧縮レベル「３」に、決定してよい。また、制御部６０は、左上の区画２００ＬＵを圧縮レベル「４」に、決定してよい。また、制御部６０は、上および右上の区画２００Ｕ、２００ＲＵを圧縮レベル「５」に決定してよい。
　また、制御部６０は、旋回中（左方）と判定した場合、複数の画素の内、車両の旋回先の方向（左前方）からの光を受光する画素を含む区画を、多重露光領域とする区画から除外してよい。例えば、図５の左側に示すように、制御部６０は、左の区画２００Ｌを多重露光領域とする区画から除外してよい。そして、制御部６０は、右および右下の区画２００Ｒ、２００ＲＤを多重露光領域とする区画に決定してよい。これにより、自車両１が左旋回中（または左折中）に、自車両１の右前方から高速で近づく他の車両（対向車線の車両や飛び出してくる車両など）を検出することができる。
　＜上り坂の頂上直前を走行中と判定した場合＞
　上り坂の頂上直前を走行中と判定した場合、制御部６０は、車両１の進行方向に対し斜め下方からの光を受光する画素９０を含む少なくとも１つの区画２００を第１部分領域に設定する。そして、制御部６０は、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも１つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率が最小となるように、各区画２００の圧縮率を決定してよい。なぜなら、上り坂の頂上直前を走行中は、車両１の進行方向に対し斜め下方の物体が短時間かつ高精度で検知されることが好ましいからである。
　例えば図５の上側に示すように、制御部６０は、第１部分領域としての下の区画２００Ｄを圧縮レベル「１」に、決定してよい。また、制御部６０は、第１部分領域以外の中央、左下および右下の区画２００Ｃ、２００ＬＤ、２００ＲＤを圧縮レベル「２」に、決定してよい。また、制御部６０は、左および右の区画２００Ｌ、２００Ｒを圧縮レベル「３」に、決定してよい。また、制御部６０は、上の区画２００Ｕを圧縮レベル「４」に、決定してよい。また、制御部６０は、左上および右上の区画２００ＬＵ、２００ＲＵを圧縮レベル「５」に決定してよい。
　また、制御部６０は、上り坂の頂上直前と判定した場合、少なくとも直進方向からの光を受光する画素を含む区画を、多重露光領域とする区画から除外してよい。例えば、図５の上側に示すように、制御部６０は、上の区画２００Ｕを多重露光領域とする区画から除外してよい。そして、制御部６０は、左、右、左下および右下の区画２００Ｌ、２００Ｒ、２００ＬＤ、２００ＲＤを多重露光領域とする区画に決定してよい。
　＜下り坂の底直前を走行中と判定した場合＞
　下り坂の底直前を走行中と判定した場合、制御部６０は、車両１の進行方向に対し斜め上方からの光を受光する画素９０を含む少なくとも１つの区画２００を第１部分領域に設定する。そして、制御部６０は、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも一つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率が最小となるように、各区画２００の圧縮率を決定してよい。なぜなら、下り坂の底直前を走行中は、車両１の進行方向に対し斜め上方の物体が短時間かつ高精度で検知されることが好ましいからである。
　例えば図５の下側に示すように、制御部６０は、第１部分領域としての上の区画２００Ｕを圧縮レベル「１」に、決定してよい。また、制御部６０は、第１部分領域以外の中央、左上および右上の区画２００Ｃ、２００ＬＵ、２００ＲＵを圧縮レベル「２」に、決定してよい。また、制御部６０は、左および右の区画２００Ｌ、２００Ｒを圧縮レベル「３」に、決定してよい。また、制御部６０は、下の区画２００Ｄを圧縮レベル「４」に、決定してよい。また、制御部６０は、左下および右下の区画２００ＬＤ、２００ＲＤを圧縮レベル「５」に決定してよい。
　また、制御部６０は、下り坂の底直前と判定した場合、少なくとも直進方向からの光を受光する画素を含む区画を、多重露光領域とする区画から除外してよい。例えば、図５の下側に示すように、制御部６０は、下の区画２００Ｄを多重露光領域とする区画から除外してよい。そして、制御部６０は、左、右、左上および右上の区画２００Ｌ、２００Ｒ、２００ＬＵ、２００ＲＵを多重露光領域とする区画に決定してよい。
　上記の通り、制御部６０は、自身が決定した各区画の圧縮レベルに従って、イメージセンサ３０に配列される各画素の信号を、内蔵のメモリに読み出す。具体的には、第１部分領域としての圧縮レベル「１」の区画２００に属する画素については、読み飛ばしは行われない。第１部分領域以外としての圧縮レベル「２」の区画２００に属する画素については、横方向および縦方向のいずれか一方における２個の画素の１つが読み出される。第１部分領域以外としての圧縮レベル「３」，「４」の区画２００に属する画素については、横方向および縦方向の両方向における２個の画素の１つが読み出される。第１部分領域以外としての圧縮レベル「５」の区画２００に属する画素については、横方向および縦方向のいずれか一方における２個の画素の１つが読み出されると共に、いずれか他方における４画素のうち１つが読み出される。このような手法で読み出された画素の信号が、制御部６０のメモリに読み出されて、圧縮多重露光画像データが生成される。この圧縮多重露光画像データは、制御部６０の制御下で、メモリからネットワーク２０を介して画像処理装置１２に送信される。なお、本実施の形態では、内蔵メモリに読み出す構成を示したが、イメージセンサの画素出力を選択するような構成にして、圧縮した出力を直接読み出す構成にしてもよい。
　なお、制御部６０は、第１部分領域とする区画を、多重露光領域とする区画から除外してもよい。換言すると、制御部６０は、第１部分領域以外の区画の中から、多重露光領域とする区画を決定してよい。なぜなら、後述の物体検出部７４の構成次第ではあるが、多重露光が、高解像度化による物体検出の精度向上を阻害する可能性があるからである。
　制御部６０が多重露光領域の区画の画像データをメモリ上で多重することにより、当該メモリに圧縮多重露光画像データが生成されてもよい。したがって、圧縮多重露光画像データにおいて、多重露光領域以外の区画は１回のシャッターによって撮像された画像に相当し、多重露光領域の区画は２回以上のシャッターによって撮像された複数の画像が重複された画像に相当する。圧縮多重露光画像データは、制御部６０の制御下で、メモリからネットワーク２０を介して画像処理装置１２に送信される。
　図６は、走行情報に基づいて決定された画像フォーマット情報を示す図である。
　制御部６０は、圧縮多重露光画像データを出力する際に、各区画２００の解像度に関する情報を含む画像フォーマット情報も合わせて出力する。すなわち、画像フォーマット情報は、当該出力を受信する画像処理部が圧縮多重露光画像データを正しく伸長するために必要な情報を含む。これにより、出力された圧縮多重露光画像データを受信するＥＣＵ１２が、解像度の異なる各区画２００の画像データを適切に結合して１つの結合画像データを生成することができる。なお、画像フォーマット情報は、圧縮多重露光画像データの出力信号のブランキング期間（好ましくは垂直ブランキング期間）に、ＤＳＰ３２から送出されてよい。
　例えは、画像フォーマット情報は、図６に示すように、イメージセンサ３０から得られる圧縮前の画像データの総解像度と、圧縮後の画像データの総解像度と、縦方向および横方向における区画数と、各区画における横方向解像度および縦方向解像度と、を含んでよい。
　圧縮前の総解像度は、圧縮前の画像データの解像度（横の解像度×縦の解像度）を示す。図５の場合、圧縮前の解像度は「横１９２０×縦１０８０」となる。
　圧縮後の総解像度は、圧縮後の画像データの解像度（横の解像度×縦の解像度）を示す。図５の場合、圧縮後の画像データの解像度は「横１２８０×縦６３０」となる。
　縦方向および横方向における区画数は、区画２００の行列（区画の横の数×区画の縦の数）を示す。図５の場合、区画行列は「３×３」となる。
　横方向における解像度は、圧縮後の横の解像度に対する各区画の横の解像度を示す。図５の場合、横方向における解像度は、走行情報の判定結果によって変化し得る。
　縦方向における解像度は、圧縮後の縦の解像度に対する各区画の縦の解像度を示す。図５の場合、縦方向における解像度は、走行情報の判定結果によって変化し得る。
　＜直進中と判定した場合＞
　直進中と判定した場合、例えば図６の中央に示すように、制御部６０は、横方向における各区画の解像度を左から右へ「３２０、６４０、３２０」、縦方向における各区画の解像度を上から下へ「９０、３６０、１８０」としてよい。
　＜右旋回中と判定した場合＞
　右旋回中と判定した場合、例えば図６の右側に示すように、制御部６０は、横方向における各区画の解像度を左から右へ「３２０、３２０、６４０」、縦方向における各区画の解像度を上から下へ「９０、３６０、１８０」としてよい。
　＜左旋回中と判定した場合＞
　左旋回中と判定した場合、例えば図６の左側に示すように、制御部６０は、横方向における各区画の解像度を左から右へ「６４０、３２０、３２０」、縦方向における各区画の解像度を上から下へ「９０、３６０、１８０」としてよい。
　＜上り坂の頂上直前を走行中と判定した場合＞
　上り坂の頂上直前を走行中と判定した場合、例えば図６の上側に示すように、制御部６０は、横方向における各区画の解像度を左から右へ「３２０、６４０、３２０」、縦方向における解像度を上から下へ「９０、１８０、３６０」としてよい。
　＜下り坂の底直前を走行中と判定した場合＞
　下り坂の底直前を走行中と判定した場合、例えば図６の下側に示すように、制御部６０は、横方向における解像度を左から右へ「３２０、６４０、３２０」、縦方向における各区画の解像度を上から下へ「３６０、１８０、９０」としてよい。
　なお、制御部６０は、多重露光領域の区画を識別可能とする所定の情報を、画像フォーマット情報に含めてもよい。
　＜その他の走行状態＞
　制御部６０は、走行情報送信装置１４の一形態である方向指示器が送信する指示方向を含む走行情報１００に基づいて、車両１の走行状態が「右折中」または「左折中」であるかを判定してもよい。右折中と判定した場合、制御部６０は、上記の右旋回中と判定した場合と同様の処理を行ってよい。左折中と判定した場合、制御部６０は、上記の左旋回中と判定した場合と同様の処理を行ってよい。
　＜圧縮レベルの決定条件＞
　制御部６０は、自身のメモリに、圧縮多重露光画像データを複数フレーム展開するが、これら複数フレームの圧縮多重露光画像データの総解像度が互いに同じなるように、各区画２００の圧縮率を決定してよい。例えば、制御部６０は、出力される全ての圧縮画像フレームにおいて、図６の例における圧縮後の解像度が同じになるように、各区画の圧縮率（または横方向における解像度および縦方向における解像度）を決定してよい。
　図５の全ての走行状態において、制御部６０は、走行シーンが変化しても、９個の区画２００のうち、１つの区画２００を圧縮レベル「１」に、３つの区画２００を圧縮レベル「２」に、２つの区画２００を圧縮レベル「３」に、１つの区画２００を圧縮レベル「４」に、２つの区画２００を圧縮レベル「５」に決定している。すなわち、制御部６０は、出力される圧縮画像フレームの総解像度が、いずれの時点においても横１２８０×縦６３０（約８１万画素）となるように、各画像の圧縮レベルを決定している。これにより、制御部６０から出力される圧縮画像フレームに係るデータ伝送レートが一定となる。よって、圧縮画像フレームを受信して処理する画像処理装置（ＥＣＵ１２）側の処理負荷を軽減したり、構成を簡易にしたりすることができる。
　＜画像処理装置の機能構成＞
　図７は、画像処理装置の機能ブロックを示す図である。
　画像処理装置の例であるＥＣＵ１２は、機能として、第２受信部７０と、画像処理部７２と、物体検出部７４と、センサ制御部７６とを有してよい。
　＜第２受信部＞
　第２受信部７０は、撮像装置１０のＤＳＰ３２に備わるメモリの圧縮多重露光画像データ１２０および画像フォーマット情報１４０を、ネットワーク２０を介して受信する。なお、第２受信部７０は、圧縮多重露光画像データ１２０および画像フォーマット情報１４０を、メモリを介さず、ＤＳＰ３２から直接受信してもよい。また、ＥＣＵ１２とＤＳＰ３２とが一体に構成されている場合、ＥＣＵ１２は第２受信部７０を有さなくてもよい。
　＜画像処理部＞
　画像処理部７２は、第２受信部７０が受信した画像フォーマット情報１４０に基づいて、第２受信部７０が受信した圧縮多重露光画像データ１２０の各区画２００の解像度を変換する。
　例えば、画像処理部７２は、解像度が横３２０×縦１８０に圧縮されている区画２００について、解像度の横および縦をそれぞれ２倍に大きくし、非圧縮の区画２００の解像度と同じ横６４０×縦３６０の画像データを生成する。画像処理部７２は、他の圧縮されている区画２００についても同様の処理によって横６４０×縦３６０の解像度の画像データを生成する。そして、画像処理部７２は、これら生成した画像データを結合することにより、元のフルＨＤに相当する横１９２０×縦１０８０の解像度の結合画像データを生成する。なお、解像度を大きくする処理を「伸長処理」と呼んでもよい。
　画像処理部７２は、圧縮多重露光画像データの解像度を大きくする（つまり画素数を増やす）際に、いわゆる超解像技術を用いて画素を補完してもよい。
　＜物体検出部＞
　物体検出部７４は、画像処理部７２によって生成された結合多重露光画像データから、例えばエッジ抽出処理などによって、所定の物体を検出する。所定の物体とは、他の移動体の一例としての他の車両、歩行者または標識など、車両１の走行に関連する物体であってよい。物体検出部７４は、多重露光領域の区画の画像データからは、多重露光で移動物体を撮像したときの画像パターン（例えば移動物体の軌跡パターン）に基づいて物体を検出してよい。
　画像処理部７２によって生成された結合画像データは、ＤＳＰ３２の制御部６０の処理によって、走行情報１００に基づいて比較的重要と判定された区画２００については画質の劣化が無いか（非圧縮）小さく（低圧縮に）なっている。したがって、物体検出部７４は、より短時間で高精度に物体を検出し得る。例えば、単純に圧縮された画像データの場合、物体の検出に複数の結合画像フレーム（つまり長時間）を要するところ、本開示に係る画像データは、比較的重要性の高い区画２００の画質が高いので、１つの画像フレームから物体を検出できる可能性が高くなる。
　さらに、画像処理部７２によって生成された結合画像データは、ＤＳＰ３２の制御部６０の処理によって、走行情報１００に基づいて移動物体が撮像されやすい区画２００が多重露光の画像になっている。したがって、物体検出部７４は、移動物体をより短時間で検出し得る。例えば、単純に撮像された画像データの場合、移動物体の検出に複数の結合画像フレーム（つまり長時間）を要するところ、本開示に係る画像データは、比較的移動物体が撮像されやすい区画２００は多重露光の画像になっている。このため、１つの画像フレームから（つまり短時間で）移動物体を検出できる可能性が高い。
　＜センサ制御部＞
　図８は、物体の検知結果に基づくセンシング方法の変更を示す図である。
　センサ制御部７６は、物体検出部７４による物体の検出結果に応じて、アクティブセンサ１６のセンシング方法を変更する。例えば、センサ制御部７６は、アクティブセンサ１６を制御するためのセンサ制御コマンド２１０をアクティブセンサ１６に送信し、アクティブセンサ１６センシング方法を変更する。上述のとおり、本開示に係る物体検出部７４は、より短時間で高精度に物体を検出し得るので、センサ制御部７６もまた、より短時間で高精度に適切なセンサ制御コマンド２１０を送信し得る。
　図８は、アクティブセンサ１６が、ミリ波３００（レーザー光でもよい）を照射して自車両１と物体との間の距離を測定する距離測定センサの場合の結合画像データの例である。図８の例の結合画像データは、中心の区画２０１Ｃが高解像度の画像であり、左の区画２０１Ｌが多重露光の画像である。物体検出部７４は、結合多重露光画像データから、中心の区画２０１Ｃ（つまり自車両１の前方）と、左の区画２０１Ｌ（つまり自車両１の左方）との両方に他の移動体の一例としての他の車両３０２、３０６を検出する。
　センサ制御部７６には、高解像度の区画２０１Ｃと多重露光領域の区画２０１Ｌとの何れを重視するかが設定されてよい。図８の例において、高解像度の区画２０１Ｃを重視する設定の場合、センサ制御部７６は、アクティブセンサ１６に対して、ミリ波３００の照射方向を前方向に変更する旨のセンサ制御コマンド２１０を送信してよい。これにより、ＥＣＵ１２は、より短時間で、自車両１と他の車両３０６との間の距離を測定することができる。多重露光領域の区画２０１Ｌを重視する設定の場合、センサ制御部７６は、アクティブセンサ１６に対して、ミリ波３００の照射方向を左方向に変更する旨のセンサ制御コマンド２１０を送信してよい。これにより、ＥＣＵ１２は、より短時間で自車両１と他の車両３０２との間の距離を測定することができる。
　＜側方の撮像装置に対する適用例＞
　図９は、側方の撮像装置に対して多重露光領域を設定する例を示す図である。
　車両１の前側方または後側方を撮像するように設置された撮像装置１０のイメージセンサ３０に対して、制御部６０は、自車両１から比較的遠い領域（例えば自車両１から所定の距離以上の領域）を撮像する区画を、多重露光領域とする区画から除外してよい。
　例えば、図９は、車両１の左側に設置された撮像装置１０が後方を撮像した左側画像４００Ｌと、車両１の右側に設置された撮像装置１０が後方を撮像した右側画像４００Ｒとを示す。この場合、制御部６０は、左側画像４００Ｌに対して、自車両１から比較的遠い右の区画４０１Ｒを多重露光領域とする区画から除外し、自車両１から比較的近い左および左下の区画４０１Ｌ、４０１ＬＤを多重露光領域としてよい。同様に、制御部６０は、右側画像４００Ｒに対して、自車両１から比較的遠い左の区画４０２Ｌを多重露光領域とする区画から除外し、自車両１から比較的近い右および右下の区画４０２Ｒ、４０２ＲＤを多重露光領域としてよい。
　＜サラウンドビューの撮像装置に対する適用例＞
　図１０は、サラウンドビューカメラに対して多重露光領域を設定する例を示す図である。
　車両１のサラウンドビュー画像を生成可能なように車両１に設置された複数の撮像装置１０のイメージセンサ３０に対して、制御部６０は、サラウンドビュー画像が生成されたときに自車両１の周辺が撮像される区画の中から、多重露光領域とする区画を決定してよい。
　例えば、図１０は、車両１の左側に設置された撮像装置１０が左下方を撮像した左下画像５００Ｌと、車両１の右側に設置された撮像装置１０が右下方を撮像した右下画像５００Ｒと、車両１の前側に設置された撮像装置１０が前下方を撮像した前下画像５００Ｕと、車両１の後側に設置された撮像装置１０が後下方を撮像した後下画像５００Ｄとを示す。さらに、図１０は、それらの画像に基づいて生成されたサラウンドビュー画像５２０を示す。この場合、制御部６０は、左下画像５００Ｌの、左、左下、左上、右、右下および右上の区画５０１Ｌ、５０１ＬＤ、５０１ＬＵ、５０１Ｒ、５０１ＲＤ、５０１ＲＵを、多重露光領域とする区画に決定してよい。また、制御部６０は、右下画像５００Ｒについても同様に、区画５０２Ｌ、５０２ＬＤ、５０２ＬＵ、５０２Ｒ、５０２ＲＤ、５０２ＲＵを、多重露光領域とする区画を決定してよい。また、制御部６０は、前下画像５００Ｕの、左、左下、右および右下の区画５０３Ｌ、５０３ＬＤ、５０３Ｒ、５０３ＲＤを、多重露光領域とする区画に決定してよい。また、制御部６０は、後下画像５００Ｄの、左上および右上の区画５０４ＬＵ、５０４ＲＵを、多重露光領域とする区画に決定してよい。
　アクティブセンサ１６の一例としてＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）センサが挙げられる。ＴＯＦセンサは、照射波の送信タイミングと、当該照射波が物体で反射された波である反射波の受信タイミングとの時間差（または位相差）に基づいて、当該物体までの距離を測定するセンサである。したがって、ＴＯＦセンサを用いて、図１０の例における車両１と他の車両３０２との間の距離を測定してもよい。なお、ＴＯＦセンサの受光を直接イメージセンサ３０で受光して距離を計測する構成にしてもよい。また、本開示の画像生成装置３２（カメラシステム）は、ステレオカメラへの適用が可能である。
　＜付記＞
　図１１は、本開示の画像生成装置および画像処理装置のハードウェア構成の変形例を示す図である。
　図１１の例に示すように、画像生成装置（ＤＳＰ）３２は、撮像装置１０の外部に配置されてもよい。また、画像生成装置（ＤＳＰ）３２と画像処理装置（ＥＣＵ）１２とは１つの装置（チップ）であってもよい。また、上述の実施の形態は、画像生成装置（ＤＳＰ）３２と画像処理装置（ＥＣＵ）１２とを含む画像処理システム１１によって実現されてもよい。また、画像生成装置３２の制御部６０および画像処理装置１２の各構成はそれぞれコンピュータプログラムで実現されても良い。コンピュータプログラムは、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等のような配布媒体に格納されて提供されても良いし、ネットワークを介してダウンロード可能にネットワーク上のサーバ装置に格納されても良い。
　＜注釈＞
　その他、上記実施の形態および各変形例は、何れも本開示の実施をするにあたっての具体化の一例を示したものに過ぎず、これらによって本開示の技術的範囲が限定的に解釈されてはならないものである。すなわち、本開示はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
　本開示に係る画像生成装置、画像生成方法、プログラムおよび記録媒体は、高速な移動物体を適切に撮像可能であり、撮像装置または移動体搭載機器等への利用に好適である。
　１　自車両（車両、移動体）
　１０　撮像装置
　１１　画像処理システム
　１２　画像処理装置
　１４　走行情報送信装置
　１６　アクティブセンサ
　２０　ネットワーク
　３０　イメージセンサ
　３２　画像生成装置
　３４　伝送路
　３６　伝送路
　５０　マイコン
　５２　プログラムメモリ
　５４　メインメモリ
　５６　通信Ｉ／Ｆ
　５８　プログラム
　５９　内部バス
　６０　制御部
　６２　第１受信部
　７０　第２受信部
　７２　画像処理部
　７４　物体検出部
　７６　センサ制御部
　９０　画素
　１００　走行情報
　１２０　圧縮多重露光画像データ
　１４０　画像フォーマット情報
　２００　区画
　２１０　センサ制御コマンド
　３００　ミリ波
　３０２　他の車両（他の移動体）
　３０４　他の車両（他の移動体）
　３０６　他の車両（他の移動体）
　４００Ｌ　左側画像
　４００Ｒ　右側画像
　５００Ｄ　後下画像
　５００Ｌ　左下画像
　５００Ｒ　右下画像
　５００Ｕ　前下画像
　５２０　サラウンドビュー画像

Claims (8)

  1. 　移動体の走行状態に関する走行情報を受信する第１受信部と、
    　前記移動体において用いられるイメージセンサの撮像領域のうち多重露光領域を前記走行情報に基づいて設定し、前記撮像領域のうちの前記多重露光領域が多重露光されており、かつ、前記多重露光領域以外が多重露光されていない画像データを生成する制御部と、
    　を備えた画像生成装置。
  2. 　前記イメージセンサは、予め定められた複数の区画の何れかに属する複数の画素を有し、
    　前記制御部は、
    　　前記走行情報に基づいて、前記複数の区画の少なくとも一つを前記多重露光領域として決定する、
    　請求項１に記載の画像生成装置。
  3. 　前記制御部は、前記移動体の進行方向を基準として側方からの光を受光する画素を含む区画を、前記多重露光領域として決定する、
    　請求項２に記載の画像生成装置。
  4. 　前記制御部は、前記走行情報から前記移動体が直進中と判定した場合、少なくとも直進方向からの光を受光する画素を含む区画を、前記多重露光領域とする区画から除外する、
    　請求項３に記載の画像生成装置。
  5. 　前記制御部は、前記走行情報から前記移動体が旋回中と判定した場合、前記移動体の旋回先の方向からの光を受光する画素を含む区画を、前記多重露光領域とする区画から除外する、
    　請求項３に記載の画像生成装置。
  6. 　移動体の走行状態に関する走行情報を受信するステップと、
    　前記移動体において用いられるイメージセンサの撮像領域のうち多重露光領域を前記走行情報に基づいて設定し、前記撮像領域のうちの前記多重露光領域が多重露光されており、かつ、前記多重露光領域以外が多重露光されていない画像データを生成するステップと、
    　を備えた画像生成方法。
  7. 　コンピュータに、
    　　移動体の走行状態に関する走行情報を受信するステップと、
    　　前記移動体において用いられるイメージセンサの撮像領域のうち多重露光領域を前記走行情報に基づいて設定し、前記撮像領域のうちの前記多重露光領域が多重露光されており、かつ、前記多重露光領域以外が多重露光されていない画像データを生成するステップと、
    　を実行させるプログラム。
  8. 　コンピュータに、
    　　移動体の走行状態に関する走行情報を受信するステップと、
    　　前記移動体において用いられるイメージセンサの撮像領域のうち多重露光領域を前記走行情報に基づいて設定し、前記撮像領域のうちの前記多重露光領域が多重露光されており、かつ、前記多重露光領域以外が多重露光されていない画像データを生成するステップと、
    　を実行させるプログラムを記録した記録媒体。
PCT/JP2017/032767 2016-09-30 2017-09-12 画像生成装置、画像生成方法、プログラムおよび記録媒体 WO2018061739A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112017004987.3T DE112017004987B4 (de) 2016-09-30 2017-09-12 Bilderzeugungsvorrichtung, Bilderzeugungsverfahren und Aufzeichnungsmedium
US16/331,629 US10957028B2 (en) 2016-09-30 2017-09-12 Image generation device, image generation method and recording medium
CN201780059040.5A CN109792491B (zh) 2016-09-30 2017-09-12 图像生成装置、图像生成方法以及记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016193050A JP6715463B2 (ja) 2016-09-30 2016-09-30 画像生成装置、画像生成方法、プログラムおよび記録媒体
JP2016-193050 2016-09-30

Publications (1)

Publication Number Publication Date
WO2018061739A1 true WO2018061739A1 (ja) 2018-04-05

Family

ID=61762864

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/032767 WO2018061739A1 (ja) 2016-09-30 2017-09-12 画像生成装置、画像生成方法、プログラムおよび記録媒体

Country Status (5)

Country Link
US (1) US10957028B2 (ja)
JP (1) JP6715463B2 (ja)
CN (1) CN109792491B (ja)
DE (1) DE112017004987B4 (ja)
WO (1) WO2018061739A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021104792A (ja) * 2019-12-27 2021-07-26 船井電機株式会社 電子ミラー

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7374581B2 (ja) * 2018-10-01 2023-11-07 カシオ計算機株式会社 ロボット、画像処理方法及びプログラム
US20200153926A1 (en) * 2018-11-09 2020-05-14 Toyota Motor North America, Inc. Scalable vehicle data compression systems and methods
US11032370B2 (en) * 2018-11-14 2021-06-08 Toyota Jidosha Kabushiki Kaisha Wireless communications in a vehicular macro cloud
JP7433792B2 (ja) * 2019-07-19 2024-02-20 キヤノン株式会社 撮像装置およびその制御方法
DE102020106967A1 (de) 2020-03-13 2021-09-16 Valeo Schalter Und Sensoren Gmbh Festlegen eines aktuellen Fokusbereichs eines Kamerabildes basierend auf der Position der Fahrzeugkamera an dem Fahrzeug und einem aktuellen Bewegungsparameter
CN113538967B (zh) * 2021-06-18 2022-07-12 杭州电子科技大学 一种十字路口场景下的车路协同装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006197192A (ja) * 2005-01-13 2006-07-27 Sony Corp 撮像装置及び撮像結果の処理方法
JP2010035050A (ja) * 2008-07-30 2010-02-12 Nikon Corp 電子カメラ
JP2010191867A (ja) * 2009-02-20 2010-09-02 Panasonic Corp 画像圧縮器、画像圧縮方法および車載画像記録装置
JP2012019450A (ja) * 2010-07-09 2012-01-26 Yazaki Corp ドライブレコーダおよびドライブレコーダの映像記録方法
JP2013211623A (ja) * 2012-03-30 2013-10-10 Panasonic Corp ドライブレコーダ

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1134718B1 (en) 2000-02-29 2004-11-10 Matsushita Electric Industrial Co., Ltd. Image pickup system and vehicle-mounted-type sensor system
JP2003018559A (ja) 2001-07-02 2003-01-17 National Aerospace Laboratory Of Japan データ多重化無線通信システム
JP4685561B2 (ja) 2005-09-12 2011-05-18 株式会社日立国際電気 カメラシステムの表示方法及びカメラシステム
JP4984915B2 (ja) 2006-03-27 2012-07-25 セイコーエプソン株式会社 撮像装置、撮像システム及び撮像方法
CN100574376C (zh) 2006-03-27 2009-12-23 精工爱普生株式会社 摄像装置、摄像系统以及摄像方法
KR20110076729A (ko) * 2009-12-18 2011-07-06 삼성전자주식회사 전자 셔터를 이용한 다단계 노출 이미지 획득 방법 및 이를 이용한 촬영 장치
JP2013041481A (ja) 2011-08-18 2013-02-28 Seiko Epson Corp 画像処理装置、画像処理システム、カメラ及びカメラシステム
JP6136085B2 (ja) * 2011-10-05 2017-05-31 ソニー株式会社 画像取得装置、画像取得方法、およびコンピュータプログラム
JP5365823B2 (ja) * 2011-10-14 2013-12-11 株式会社モルフォ 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
CN103293825B (zh) * 2013-06-26 2014-11-26 深圳市中兴移动通信有限公司 多重曝光方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006197192A (ja) * 2005-01-13 2006-07-27 Sony Corp 撮像装置及び撮像結果の処理方法
JP2010035050A (ja) * 2008-07-30 2010-02-12 Nikon Corp 電子カメラ
JP2010191867A (ja) * 2009-02-20 2010-09-02 Panasonic Corp 画像圧縮器、画像圧縮方法および車載画像記録装置
JP2012019450A (ja) * 2010-07-09 2012-01-26 Yazaki Corp ドライブレコーダおよびドライブレコーダの映像記録方法
JP2013211623A (ja) * 2012-03-30 2013-10-10 Panasonic Corp ドライブレコーダ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021104792A (ja) * 2019-12-27 2021-07-26 船井電機株式会社 電子ミラー
JP7404871B2 (ja) 2019-12-27 2023-12-26 船井電機株式会社 電子ミラー

Also Published As

Publication number Publication date
CN109792491A (zh) 2019-05-21
DE112017004987T5 (de) 2019-06-27
JP6715463B2 (ja) 2020-07-01
US10957028B2 (en) 2021-03-23
JP2018056882A (ja) 2018-04-05
DE112017004987B4 (de) 2023-01-19
CN109792491B (zh) 2021-04-23
US20190362479A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
WO2018061739A1 (ja) 画像生成装置、画像生成方法、プログラムおよび記録媒体
US11131753B2 (en) Method, apparatus and computer program for a vehicle
JP6735506B2 (ja) 画像生成装置、および、画像処理システム
JP6060282B2 (ja) 車載カメラ画像処理装置
JP4984915B2 (ja) 撮像装置、撮像システム及び撮像方法
WO2020195966A1 (ja) 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
WO2020105314A1 (ja) 固体撮像素子、および、撮像装置
JP2015066956A (ja) 車両制御システム、画像センサ
WO2020075525A1 (ja) センサフュージョンシステム、同期制御装置、及び同期制御方法
US11895398B2 (en) Imaging device and imaging system
JP6739066B2 (ja) 撮像制御装置、撮像制御方法、プログラムおよびそれを記録した記録媒体
WO2013140873A1 (ja) 車載用画像処理装置及び方法
US11127147B2 (en) Three-dimensional point cloud generation using a polarimetric camera in a drive assistance system equipped vehicle
WO2019073726A1 (ja) 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器
KR20160034004A (ko) 차량용 카메라 해상도 제어 장치 및 방법
JP2019047401A (ja) 画像処理装置
US11064145B2 (en) Imaging device, imaging system, and moving body
WO2022153888A1 (ja) 固体撮像装置、固体撮像装置の制御方法及び固体撮像装置の制御プログラム
WO2024024464A1 (ja) 固体撮像素子、および電子機器
CN113615152B (zh) 成像设备和成像系统
WO2023100640A1 (ja) 半導体装置および信号処理方法、並びにプログラム
US20200191950A1 (en) Vehicle and method of controlling the same
JP4086025B2 (ja) 動き検出装置及び方法
JP2012070309A (ja) 車載用撮像装置
JP2008160383A (ja) イメージセンサ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17855696

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17855696

Country of ref document: EP

Kind code of ref document: A1