WO2018061740A1 - 画像生成装置、画像生成方法、プログラムおよび記録媒体、並びに、画像処理システム - Google Patents

画像生成装置、画像生成方法、プログラムおよび記録媒体、並びに、画像処理システム Download PDF

Info

Publication number
WO2018061740A1
WO2018061740A1 PCT/JP2017/032768 JP2017032768W WO2018061740A1 WO 2018061740 A1 WO2018061740 A1 WO 2018061740A1 JP 2017032768 W JP2017032768 W JP 2017032768W WO 2018061740 A1 WO2018061740 A1 WO 2018061740A1
Authority
WO
WIPO (PCT)
Prior art keywords
resolution
image
image data
control unit
moving body
Prior art date
Application number
PCT/JP2017/032768
Other languages
English (en)
French (fr)
Inventor
柴田　修
岩井　浩
西村　佳壽子
康夫 三宅
嘉晃 佐藤
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN201780059063.6A priority Critical patent/CN109792506B/zh
Priority to DE112017004892.3T priority patent/DE112017004892T5/de
Publication of WO2018061740A1 publication Critical patent/WO2018061740A1/ja
Priority to US16/293,823 priority patent/US10763285B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present disclosure relates to an image generation device, an image generation method, a program and a recording medium, and an image processing system.
  • the image processing apparatus disclosed in Patent Document 1 includes an image acquisition unit, a region setting unit, and a processing unit.
  • the image acquisition unit acquires infrared image data.
  • the region setting unit sets a boundary line that divides the image region into a plurality of regions for the image region based on the infrared image data acquired by the image acquisition unit, and among the plurality of regions divided by the boundary line At least one area is set as a pixel density change area.
  • the processing unit performs a process of reducing the pixel density of the infrared image data in the pixel density change area, performs a detection process on the object based on the infrared image data of the image area including the pixel density change area, and determines the result of the detection process. Based on this, display image data is generated.
  • the present disclosure provides an image generation apparatus that appropriately compresses image data captured by a camera mounted on a moving body.
  • the present disclosure also provides an image processing apparatus that processes image data compressed by the above-described image generation apparatus.
  • One embodiment of the present disclosure is directed to an image generation apparatus that includes a first reception unit and a control unit.
  • the first receiving unit receives travel information related to the travel state of the mobile object.
  • the control unit sets the first partial area of the imaging area of the image sensor used in the moving body based on the travel information, and the resolution of the area other than the first partial area in the imaging area is the resolution of the first partial area. Lower image data.
  • the one form may be any of a method, a program, and a non-temporary tangible recording medium on which the program is recorded.
  • another embodiment of the present disclosure is directed to an image processing system further including an image processing unit that converts the resolution of image data based on image format information related to the image generation device.
  • an image generation apparatus that appropriately compresses image data captured by a moving body mounted camera. Further, it is possible to provide an image processing system that processes image data compressed by the above-described image generation apparatus.
  • the figure which shows the hardware constitutions of the image generation apparatus of this indication, and an image processing apparatus, and its periphery structure The figure which shows the functional block of the image generation apparatus contained in an imaging device
  • working information The figure which shows the image format information determined based on driving
  • the figure which shows the functional block of an image processing apparatus The figure explaining the modification of the process which converts resolution Diagram showing an example of deep learning layer configuration
  • the figure which shows the modification of the division comprised with respect to an image sensor 6 is a diagram illustrating a modification of the hardware configuration of the image generation device and the image processing device of the present disclosure.
  • Patent Document 1 discloses that at least one of a plurality of image areas is set as a pixel density change area.
  • the image data picked up by the in-vehicle camera which is a camera mounted on a vehicle that is an example of a moving body, changes every moment according to the traveling of the vehicle, the pixel density of the region set as the pixel density change region In many cases, it is inappropriate to reduce the amount of light.
  • constituent elements are not necessarily indispensable unless otherwise specified or apparently essential in principle.
  • FIG. 1 is a diagram illustrating a hardware configuration of an image generation apparatus and an image processing apparatus according to the present disclosure and a peripheral configuration thereof.
  • the vehicle 1 as an example of a moving body includes an imaging device 10 including the image generation device 32 of the present disclosure, an ECU (Electronic Control Unit) 12 as an embodiment of the image processing device 12 of the present disclosure, and a travel information transmission device. 14 and the active sensor 16 are connected via the network 20.
  • the network 20 includes, for example, a CAN (Controller Area Network) mainly used for transmission of control signals, and MOST (Media Oriented Systems Transport) and IDB-1394 (ITS (Intelligent) mainly used for transmission of signals related to multimedia. (Transport Systems), Data Bus-1394).
  • MOST Media Oriented Systems Transport
  • IDB-1394 Intelligent Data Bus-1394
  • the vehicle 1 does not necessarily have all of the devices 10 to 16, and may have only some devices. In the case of a one-to-one connection, the connection may be made by a serial interface such as LVDS (Low voltage differential signaling).
  • the imaging device 10 is a device that is mounted on the vehicle 1 and images the surroundings (typically forward) of the vehicle 1.
  • the imaging device 10 includes an image sensor 30 and a DSP (Digital Signal Processor) 32 as an embodiment of the image generation device 32 of the present disclosure.
  • a pixel signal output from the image sensor 30 is input to the DSP 32 via a predetermined transmission path 34.
  • an ADC Analog to Digital Converter
  • the DSP 32 may output a control signal to the image sensor 30 via a predetermined transmission path 36. Details of the imaging device 10 will be described later (see FIG. 2).
  • the traveling information transmitting device 14 transmits traveling information including information regarding the traveling state of the moving body such as the vehicle 1 at a predetermined timing to the imaging device 10 via the network 20.
  • traveling information including information regarding the traveling state of the moving body such as the vehicle 1 at a predetermined timing to the imaging device 10 via the network 20.
  • the imaging device 10 determines a traveling scene of a moving body such as the vehicle 1 based on the received traveling information. Examples of travel scenes of a moving body such as the vehicle 1 include straight traveling, turning right, turning left, turning right, turning left, just before the top of the uphill, or just before the bottom of the downhill. Reach, etc. Details of the travel information transmitting device 14 will be described later.
  • the active sensor 16 emits a wave such as a millimeter wave or a laser beam in order to sense information around the vehicle 1, and reflects the vehicle 1 and the object based on a return wave reflected by the surrounding object and returning to itself. Measure the distance between and the like.
  • a wave such as a millimeter wave or a laser beam
  • the ECU 12 controls each device connected to the network 20.
  • the ECU 12 may include a communication I / F (Interface) 56, a microcomputer (hereinafter referred to as “microcomputer”) 50, a program memory 52, and a main memory 54.
  • microcomputer hereinafter referred to as “microcomputer”
  • program memory 52 a program memory 52
  • main memory 54 a main memory 54.
  • These components 50 to 56 may be capable of bidirectional communication via the internal bus 59. In the case of a one-to-one connection, information regarding image data may be unidirectional communication.
  • the communication I / F 56 controls transmission / reception of data via the network 20.
  • the program memory 52 holds a program 58.
  • the program memory 52 may be a nonvolatile semiconductor memory such as an EEPROM (Electrically Erasable Programmable Read Only Memory).
  • the main memory 54 stores various data related to the execution of the program 58.
  • the main memory 54 may be a volatile semiconductor memory such as SRAM (Static Random Access Memory) or DRAM (Dynamic Random Access Memory).
  • the microcomputer 50 implements various functions of the ECU 12 by reading the program 58 from the program memory 52 and executing the program 58 using the main memory 54.
  • the microcomputer 50 may be able to transmit / receive data to / from other devices 10, 14, 16 via the communication I / F 56 and the network 20.
  • FIG. 2 is a diagram illustrating functional blocks of the image generation device included in the imaging device 10.
  • the image sensor 30 includes a plurality of pixels 90 (see FIG. 3) having photoelectric conversion elements, and sequentially outputs signals obtained by photoelectrically converting incident light to the pixels 90.
  • the image sensor 30 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge-Coupled Device) image sensor.
  • the signal output from the image sensor 30 may be either analog or digital.
  • the unit of one pixel may be, for example, a one-pixel configuration in black and white BW or a one-pixel configuration in color RGB.
  • the DSP 32 is an embodiment of the image generation apparatus, and the DSP 32 of the present disclosure includes a first receiving unit 62 and a control unit 60 as functions.
  • the functions of the first receiving unit 62 and the control unit 60 may be implemented as a logic circuit such as an FPGA (Field-Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit), or may be implemented as a program.
  • the first receiving unit 62 receives the travel information 100 from the travel information transmitting device 14.
  • the travel information 100 may be appropriately transmitted by the travel information transmitter 14 or may be appropriately acquired from the travel information transmitter 14 by the first receiver 62.
  • the control unit 60 controls reading of signals from each pixel of the image sensor 30 based on the traveling information 100 received by the first receiving unit 62.
  • a control signal from the control unit 60 to the image sensor 30 may be transmitted through the transmission path 34, and a pixel signal from the image sensor 30 to the control unit 60 may be transmitted through the transmission path 36.
  • the control unit 60 sets the image data (more specifically, the first partial region set based on the travel information 100) to a number of pixels smaller than the number of pixels when signals are read from all the pixels of the image sensor 30.
  • Image data having a lower resolution than the resolution of the first partial area) is output to the ECU 12, which is an embodiment of the image processing apparatus, for example.
  • “Setting” a partial area means, for example, “selecting” a partial area from the entire area of the image sensor pixels, image data, and the like.
  • the control unit 60 may reduce the number of pixels of the image data to be output by skipping and reading the signals of the pixels arranged in the image sensor 30 at predetermined intervals.
  • the control unit 60 reads out signals from all the pixels of the image sensor 30 and compresses them with a predetermined image compression algorithm (for example, MPEG (Moving Picture Experts Group)), thereby reducing the number of pixels of the output image data. Also good.
  • a predetermined image compression algorithm for example, MPEG (Moving Picture Experts Group)
  • the number of pixels of the image data output by the DSP 32 is smaller than the number of pixels when signals are read from all the pixels of the image sensor 30. Thereby, the data transmission amount (or data transmission rate) of the image data between the imaging device 10 and the output destination ECU 12 can be reduced.
  • image data with a reduced number of pixels output from the DSP 32 may be referred to as “compressed image data”.
  • each pixel of the image sensor 30 belongs to one of a plurality of sections, and the control unit 60 determines the resolution of each section 200 (see FIG. 3) based on the travel information 100 received by the first receiving unit 62. May be determined. For example, the control unit 60 determines the resolution of each section 200 based on the travel information 100 so that at least a part of the resolution other than the first partial area is smaller than the resolution of the first partial area. Then, the control unit 60 generates image data in which the resolution of at least one section other than the first partial area is lower than the resolution of the section of the first partial area.
  • FIGS. 3 and 4 a description will be given with reference to FIGS. 3 and 4.
  • FIG. 3 is a diagram showing a section 200 configured for the image sensor 30.
  • FIG. 3 shows the image sensor 30 in which horizontal 90 ⁇ vertical 1080 (about 2.70 million) pixels 90 corresponding to full HD (High Definition) are arrayed, and the number of horizontal and vertical pixels is divided into three equal parts.
  • nine sections 200 are formed.
  • the number of pixels before compression in each section 200 is 640 ⁇ 360 (about 230,000).
  • the resolution before compression (number of pixels per unit length) of each section 200 is the same, but the number of pixels before compression of each section may be different.
  • the image sensor 30 may be divided so that the number of pixels in the central section in FIG. 3 is larger than the number of pixels in the other sections.
  • FIG. 4 is a diagram showing compression level information.
  • the compression level (compression LV) that each partition 200 can take may be defined as compression level information as shown in FIG.
  • the compression level may be a compression rate, the number of pixels after compression, or a resolution after compression.
  • the compression level information of FIG. 4 will be described.
  • the number of pixels (more specifically, resolution) determined for the compression level “1” is maintained (uncompressed).
  • the resolution of the section after compression is 640 ⁇ 360 (approximately 230,000 pixels, “full HD” equivalent).
  • the number of pixels (more specifically, the resolution) of the section determined at the compression level “2” is reduced (compressed) to 1 ⁇ 2.
  • the resolution of the section after compression is 640 ⁇ 180 horizontal or 320 ⁇ 360 horizontal (about 115,000 pixels, corresponding to “HD”).
  • the number of pixels in the section determined at the compression level “3” is reduced (compressed) to 1 ⁇ 4.
  • the resolution of the section after compression is 320 ⁇ 180 (approximately 57,000 pixels, “HD-” equivalent).
  • the number of pixels in the section determined at the compression level “4” is reduced (compressed) to 1 ⁇ 4.
  • the resolution of the section after compression is 640 ⁇ 90 (about 57,000 pixels, “SD (Standard Definition) +” equivalent).
  • the number of pixels in the section determined at the compression level “5” is reduced (compressed) to 1/8.
  • the resolution of the section after compression is 320 ⁇ 90 (about 28,000 pixels, corresponding to “SD”).
  • FIG. 5 is a diagram showing the compression level of each section 200 determined based on the travel information 100.
  • the controller 60 determines that the travel scene of the vehicle 1 is “straightly traveling”, “turning right”, “turning left”, “top of the uphill” Whether it is “immediately before” or “immediately before the bottom of the downhill” is determined.
  • the control unit 60 determines that the travel scene of the vehicle 1 is “straightly traveling”, “turning right”, or It may be determined whether it is “turning left”.
  • the steering angle may be an angle of the steering wheel of the vehicle 1.
  • the control unit 60 may determine that the vehicle is “straightly traveling” when the steering angle is within a predetermined first angle range from 0 degree to right rotation or left rotation.
  • control unit 60 determines that the vehicle is turning right when the steering angle is within a range greater than the first angle and less than or equal to a predetermined second angle for clockwise rotation, and the steering angle is When the angle is within the range of greater than 1 and less than or equal to the second angle, it may be determined that the vehicle is turning left.
  • the control unit 60 determines that the traveling scene of the vehicle 1 is “just before the top of the uphill” or “downhill” based on the traveling information 100 including the angular velocity around the pitch axis transmitted by the gyro sensor which is an example of the traveling information transmitting device 14. It may be determined whether it is “just before the bottom of the slope” or none. For example, when the angular velocity around the pitch axis indicates the forward rotation of the vehicle 1, the control unit 60 determines “immediately before the top of the uphill”, and the angular velocity around the pitch axis is rotated toward the rear of the vehicle 1. May indicate “just before the bottom of the downhill”.
  • control unit 60 may determine the traveling scene by other methods. For example, the control unit 60 determines that the traveling scene of the vehicle 1 is “uphill” based on the traveling information 100 including the gradient angle ahead of the traveling point of the vehicle transmitted by the navigation device that is one form of the traveling information transmitting device 14. It may be determined whether it is “just before the top”, “just before the bottom of the downhill”, or neither.
  • the control unit 60 sets the section 200 including pixels that receive light from at least the straight traveling direction of the image sensor 30 as the first partial region. Then, the control unit 60 determines that the resolution of at least one partition 200 other than the first partial region is lower than that of the first partial region while maintaining the resolution of the partition 200 of the first partial region. In other words, the control unit 60 may determine the compression rate of each partition so that the compression rate (for example, the compression level; the same applies hereinafter) of the partition 200 of the first partial region is minimized. This is because it is preferable that an object ahead of the vehicle 1 is detected in a short time and with high accuracy during straight traveling.
  • the control unit 60 may determine the central section 200 ⁇ / b> C as the first partial region at the compression level “1”. Further, the control unit 60 may determine the left, right, and lower sections 200L, 200R, and 200D other than the first partial region as the compression level “2”. Further, the control unit 60 may determine the lower left and lower right sections 200LD and 200RD as the compression level “3”. Further, the control unit 60 may determine the upper section 200U as the compression level “4”. Further, the control unit 60 may determine the upper left and upper right sections 200LU and 200RU to the compression level “5”.
  • the control unit 60 sets at least one section 200 including the pixel 90 that receives light from the turning direction (rightward) of the vehicle 1 as the first partial region. Then, the control unit 60 determines that the resolution of at least one partition 200 other than the first partial region is lower than that of the first partial region while maintaining the resolution of the partition 200 of the first partial region. In other words, the control unit 60 may determine the compression rate of each partition 200 so that the compression rate of the partition 200 of the first partial region is minimized. This is because it is preferable that the right front object of the vehicle 1 is detected in a short time with high accuracy during a right turn.
  • the control unit 60 may determine the right section 200 ⁇ / b> R as the first partial region to the compression level “1”. Further, the control unit 60 may determine the center, lower right, and left sections 200C, 200RD, and 200L other than the first partial region as the compression level “2”. Further, the control unit 60 may determine the lower and lower left sections 200D and 200LD at the compression level “3”. Further, the control unit 60 may determine the upper right section 200RU as the compression level “4”. Further, the control unit 60 may determine the upper and left upper sections 200U and 200LU to the compression level “5”.
  • the control unit 60 sets at least one section 200 including the pixel 90 that receives light from the turning direction (left side) of the vehicle 1 as the first partial region. Determines that the resolution of at least one section 200 other than the first partial area is lower than that of the first partial area while maintaining the resolution of the section 200 of the first partial area. In other words, the control unit 60 may determine the compression rate of each partition 200 so that the compression rate of the partition 200 of the first partial region is minimized. This is because it is preferable that the left front object of the vehicle 1 is detected in a short time and with high accuracy during a left turn.
  • the control unit 60 may determine the left section 200 ⁇ / b> L as the first partial region at the compression level “1”. Further, the control unit 60 may determine the center, lower left, and right sections 200C, 200LD, and 200R other than the first partial region as the compression level “2”. Further, the control unit 60 may determine the lower and lower right sections 200D and 200RD as the compression level “3”. In addition, the control unit 60 may determine the upper left section 200LU at the compression level “4”. Further, the control unit 60 may determine the upper and upper right sections 200U and 200RU to the compression level “5”.
  • the control unit 60 sets at least one section 200 including the pixel 90 that receives light from obliquely below with respect to the traveling direction of the vehicle 1 as the first partial region. . Then, the control unit 60 determines that the resolution of at least one partition 200 other than the first partial region is lower than that of the first partial region while maintaining the resolution of the partition 200 of the first partial region. In other words, the control unit 60 may determine the compression rate of each partition 200 so that the compression rate of the partition 200 of the first partial region is minimized. This is because it is preferable to detect an object obliquely below the traveling direction of the vehicle 1 in a short time and with high accuracy while traveling just before the top of the uphill.
  • the control unit 60 may determine the lower section 200 ⁇ / b> D as the first partial region to the compression level “1”. Further, the control unit 60 may determine the center, lower left and lower right sections 200C, 200LD, and 200RD other than the first partial region as the compression level “2”. Further, the control unit 60 may determine the left and right sections 200L and 200R at the compression level “3”. Further, the control unit 60 may determine the upper section 200U as the compression level “4”. Further, the control unit 60 may determine the upper left and upper right sections 200LU and 200RU to the compression level “5”.
  • the control unit 60 sets at least one section 200 including the pixels 90 that receive light from obliquely above the traveling direction of the vehicle 1 as the first partial region. . Then, the control unit 60 determines that the resolution of at least one of the sections 200 other than the first partial area is lower than that of the first partial area while maintaining the resolution of the section 200 of the first partial area. In other words, the control unit 60 may determine the compression rate of each partition 200 so that the compression rate of the partition 200 of the first partial region is minimized. This is because it is preferable to detect an object obliquely above the traveling direction of the vehicle 1 in a short time and with high accuracy while traveling just before the bottom of the downhill.
  • the control unit 60 may determine the upper section 200 ⁇ / b> U as the first partial region to the compression level “1”. Further, the control unit 60 may determine the central, upper left, and upper right sections 200C, 200LU, and 200RU other than the first partial region as the compression level “2”. Further, the control unit 60 may determine the left and right sections 200L and 200R at the compression level “3”. Further, the control unit 60 may determine the lower section 200D at the compression level “4”. Further, the control unit 60 may determine the lower left and lower right sections 200LD and 200RD to the compression level “5”.
  • the control unit 60 reads out the signal of each pixel arranged in the image sensor 30 to the built-in memory according to the compression level of each section determined by itself. Specifically, skipping is not performed on the pixels belonging to the section 200 having the compression level “1” as the first partial region. For pixels belonging to the section 200 having the compression level “2” other than the first partial region, one of the two pixels in either the horizontal direction or the vertical direction is read out. For the pixels belonging to the sections 200 of the compression levels “3” and “4” as other than the first partial region, one of the two pixels in both the horizontal direction and the vertical direction is read out.
  • the pixels belonging to the section 200 of the compression level “5” other than the first partial region For the pixels belonging to the section 200 of the compression level “5” other than the first partial region, one of the two pixels in either the horizontal direction or the vertical direction is read, and of the four pixels in the other One is read out.
  • the pixel signal read by such a method is read to the memory of the control unit 60, and compressed image data is generated.
  • the compressed image data is transmitted from the memory to the image processing apparatus 12 via the network 20 under the control of the control unit 60.
  • the configuration in which reading is performed in the built-in memory is shown. However, the configuration may be such that the pixel output of the image sensor is selected and the compressed output is directly read out.
  • FIG. 6 is a diagram showing image format information determined based on the travel information.
  • the control unit 60 When the control unit 60 outputs the compressed image data, the control unit 60 also outputs image format information including information on the resolution of each section 200. That is, the image format information includes information necessary for the image processing unit that receives the output to correctly decompress the compressed image data. Thereby, the ECU 12 that receives the output compressed image data can appropriately combine the image data of the sections 200 having different resolutions to generate one combined image data.
  • the image format information may be sent from the DSP 32 during the blanking period (preferably the vertical blanking period) of the output signal of the compressed image data.
  • the image format information includes the total resolution of image data before compression obtained from the image sensor 30, the total resolution of image data after compression, and the number of sections in the vertical and horizontal directions.
  • the horizontal resolution and the vertical resolution in each section may be included.
  • the total resolution before compression indicates the resolution of the image data before compression (horizontal resolution ⁇ vertical resolution). In the case of FIG. 5, the resolution before compression is “horizontal 1920 ⁇ vertical 1080”.
  • the total resolution after compression indicates the resolution of the image data after compression (horizontal resolution ⁇ vertical resolution).
  • the resolution of the compressed image data is “horizontal 1280 ⁇ vertical 630”.
  • the number of sections in the vertical direction and the horizontal direction indicates a matrix of sections 200 (the number of sections divided by the number of sections vertically).
  • the partition matrix is “3 ⁇ 3”.
  • the horizontal resolution indicates the horizontal resolution of each section with respect to the horizontal resolution after compression.
  • the resolution in the horizontal direction can change depending on the determination result of the travel information.
  • the vertical resolution indicates the vertical resolution of each section relative to the vertical resolution after compression.
  • the resolution in the vertical direction can change depending on the determination result of the travel information.
  • the control unit 60 sets the resolution of each section in the horizontal direction to “320, 640, 320” from left to right and the resolution of each section in the vertical direction from the top. It may be “90, 360, 180” downward.
  • the control unit 60 sets the resolution of each section in the horizontal direction to “320, 320, 640” from left to right and the resolution of each section in the vertical direction. From top to bottom, it may be “90, 360, 180”.
  • control unit 60 increases the resolution of each section in the horizontal direction from “left to right” “640, 320, 320” and increases the resolution of each section in the vertical direction. It may be set as “90, 360, 180” from the bottom to the bottom.
  • the control unit 60 sets the resolution of each section in the horizontal direction to “320, 640, 320” from left to right, and the resolution in the vertical direction. May be "90, 180, 360" from top to bottom.
  • the control unit 60 sets the horizontal resolution to “320, 640, 320” from left to right, and the resolution of each section in the vertical direction. May be “360, 180, 90” from top to bottom.
  • the control unit 60 determines whether the traveling state of the vehicle 1 is “turning right” or “turning left” based on the traveling information 100 including the instruction direction transmitted by the direction indicator that is one form of the traveling information transmitting device 14. May be determined. When it is determined that the vehicle is turning right, the control unit 60 may perform the same process as that performed when it is determined that the vehicle is turning right. If it is determined that the vehicle is turning left, the control unit 60 may perform the same process as that performed when it is determined that the vehicle is turning left.
  • the control unit 60 develops a plurality of frames of compressed image data in its own memory, but may determine the compression rate of each partition 200 so that the total resolution of the compressed image data of the plurality of frames is the same. For example, the control unit 60 compresses each section (or the resolution in the horizontal direction and the resolution in the vertical direction) so that the compressed resolution in the example of FIG. May be determined.
  • the control unit 60 sets the one partition 200 to the compression level “1” and the three partitions 200 to the compression level “2” among the nine partitions 200 even if the traveling scene changes.
  • the two partitions 200 are determined at the compression level “3”, the one partition 200 is determined at the compression level “4”, and the two partitions 200 are determined at the compression level “5”. That is, the control unit 60 determines the compression level of each image so that the total resolution of the output compressed image frame is horizontal 1280 ⁇ vertical 630 (approximately 810,000 pixels) at any time point.
  • the data transmission rate relating to the compressed image frame output from the control unit 60 becomes constant. Therefore, it is possible to reduce the processing load on the side of the image processing apparatus (ECU 12) that receives and processes the compressed image frame, and to simplify the configuration.
  • FIG. 7 is a diagram illustrating functional blocks of the image processing apparatus.
  • ECU12 which is an example of an image processing apparatus may have the 2nd receiving part 70, the image processing part 72, the object detection part 74, and the sensor control part 76 as a function.
  • the second receiving unit 70 receives the compressed image data 120 and the image format information 140 stored in the DSP 32 of the imaging apparatus 10 via the network 20.
  • the second receiving unit 70 may receive the compressed image data 120 and the image format information 140 directly from the DSP 32 without using a memory.
  • ECU12 and DSP32 are comprised integrally, ECU12 does not need to have the 2nd receiving part 70.
  • the image processing unit 72 converts the resolution of each section 200 of the compressed image data 120 received by the second receiving unit 70 based on the image format information 140 received by the second receiving unit 70 to generate decompressed image data. To do.
  • the horizontal and vertical resolutions are each doubled and the horizontal 640 ⁇ vertical same as the resolution of the uncompressed section 200 is obtained.
  • 360 image data is generated.
  • the image processing unit 72 generates image data having a resolution of horizontal 640 ⁇ longitudinal 360 by the same process for the other compressed sections 200. Then, the image processing unit 72 combines the generated image data to generate combined image data with a resolution of 1920 ⁇ 1080 corresponding to the original full HD. Note that processing for increasing the resolution may be referred to as “decompression processing”.
  • the image processing unit 72 may supplement the pixels by using a so-called super-resolution technique when increasing the resolution of the compressed image data (that is, increasing the number of pixels).
  • FIG. 8 is a diagram for explaining a modification of the process of converting the resolution.
  • the resolution of all sections is matched with the resolution of uncompressed sections.
  • the present invention is not limited to this, and the decompression process may be performed by unifying the resolutions of all the sections to a predetermined resolution (referred to as “intermediate resolution”) between the highest first resolution and the lowest second resolution.
  • the image processing unit 72 performs image processing that exaggerates a predetermined characteristic portion (for example, a portion having a characteristic of a predetermined object) on the image data of the section 200 before the resolution is lowered. For example, as illustrated in FIG. 8, the image processing unit 72 emphasizes pixels around the pixel 320 ⁇ / b> A of a predetermined feature portion.
  • the image processing unit 72 reduces the resolution of the section 200. Thereby, it is possible to reduce a possibility that an object cannot be detected by the object detection unit 74 described later due to a decrease in resolution. Note that the image processing unit 72 may increase the number of pixels until the intermediate resolution is reached using a so-called super-resolution technique for the section 200 having a resolution lower than the intermediate resolution, as described above.
  • FIG. 9 is a diagram illustrating a configuration example of the deep learning layer.
  • the compressed image data is expanded (the number of pixels is increased) so as to increase the object detection accuracy in the object detection unit 74 described later. Therefore, it is preferable that the image processing unit 72 configures the deep learning layer 500 according to the resolution of the plurality of sections 200 as shown in FIG.
  • the image processing unit 72 preferably optimizes the deep learning layer 500 by learning at least the resolution change of each of the plurality of sections 200 and the result of object detection based on the travel information of the vehicle 1. Specifically, it is as follows.
  • the image processing unit 72 receives, as input data, the position of the section 200 (the center section 200C, the left section 200L, etc. in the present disclosure), the travel information 100, and image data having a different number of pixels captured in the section 200 at the position. 502. Then, the image processing unit 72 sets the image data expanded using the deep learning layer 500 as output data 504. Then, the deep learning layer 500 is trained based on the success and failure of object detection for the expanded image data.
  • the image processing unit 72 generates image data after decompression with high object detection accuracy for each section 200 by decompressing the image data of each section 200 using the deep learning layer 500 trained in this way. Can do.
  • the object detection unit 74 detects a predetermined object from the image data generated by the image processing unit 72.
  • the predetermined object may be an object related to travel of the vehicle 1 such as another vehicle, a pedestrian, or a sign as an example of another moving body.
  • the combined image data generated by the image processing unit 72 is small (uncompressed) with no deterioration in image quality for the section 200 determined to be relatively important based on the driving information 100 by the processing of the control unit 60 of the DSP 32. (Low compression). Therefore, the object detection unit 74 can detect an object with high accuracy in a shorter time. For example, in the case of simply compressed image data, a plurality of combined image frames (that is, a long time) are required to detect an object. However, the image data according to the present disclosure has high image quality of the relatively important section 200. Therefore, the possibility that an object can be detected from one image frame is increased.
  • FIG. 10 is a diagram illustrating a change in the sensing method based on the detection result of the object.
  • the sensor control unit 76 changes the sensing method of the active sensor 16 according to the detection result of the object by the object detection unit 74. For example, the sensor control unit 76 transmits a sensor control command 210 for controlling the active sensor 16 to the active sensor 16 to change the sensing method of the active sensor 16. As described above, since the object detection unit 74 according to the present disclosure can detect an object in a shorter time with higher accuracy, the sensor control unit 76 also transmits an appropriate sensor control command 210 with higher accuracy in a shorter time. Can do.
  • FIG. 10 shows an example in the case where the active sensor 16 is a distance measurement sensor that measures the distance between the vehicle 1 and an object by irradiating the millimeter wave 300 (or laser light).
  • the object detection unit 74 detects another vehicle 302 as an example of another moving body at a position to the left of the center point of the image sensor 30 from the image data.
  • the sensor control unit 76 may transmit a sensor control command 210 for changing the irradiation direction of the millimeter wave 300 to the left direction to the active sensor 16.
  • the ECU 12 can measure the distance between the vehicle 1 and the other vehicle 302 with high accuracy in a shorter time.
  • An example of the active sensor 16 is a TOF (Time Of Flight) sensor.
  • the TOF sensor is a sensor that measures the distance to an object based on the time difference (or phase difference) between the transmission timing of the irradiation wave and the reception timing of the reflected wave that is the wave reflected by the object. is there. Therefore, you may measure the distance between the vehicle 1 in the example of FIG. 10, and the other vehicle 302 using a TOF sensor. Note that the distance may be measured by directly receiving the light of the TOF sensor with the image sensor 30.
  • the image processing unit 72 may include the functions of the object detection unit 74 and the sensor control unit 76.
  • FIG. 11 shows a modification of the section configured for the image sensor 30.
  • the number of sections 200 configured for the image sensor 30 is not limited to nine as shown in FIG.
  • the number of horizontal and vertical pixels is divided into 5 equal parts, and 25 sections are divided. It may be formed.
  • the compression level information in this case may be defined as follows.
  • the number of pixels of the section determined to be the compression level “1” is maintained (uncompressed).
  • the resolution of the section after compression is horizontal 768 ⁇ vertical 432 (corresponding to “4K”).
  • the number of pixels in the section determined at the compression level “2” is reduced (compressed) to 1 ⁇ 2.
  • the resolution of the section after compression is horizontal 384 ⁇ vertical 432 or horizontal 768 ⁇ vertical 216 (corresponding to “full HD +”).
  • the number of pixels in the section determined at the compression level “3” is reduced (compressed) to 1 ⁇ 4.
  • the resolution of the compressed section is horizontal 384 ⁇ vertical 216 (corresponding to “full HD”).
  • the number of pixels in the section determined at the compression level “4” is reduced (compressed) to 1 ⁇ 4.
  • the resolution of the section after compression is horizontal 768 ⁇ longitudinal 108 or horizontal 192 ⁇ vertical 432 (corresponding to “HD +”).
  • the number of pixels in the section determined at the compression level “5” is reduced (compressed) to 1 ⁇ 4.
  • the resolution of the section after compression is horizontal 384 ⁇ vertical 108 or horizontal 192 ⁇ vertical 216 (corresponding to “HD”).
  • the number of pixels in the section determined at the compression level “6” is reduced (compressed) to 1/8.
  • the resolution of the compressed section is 192 ⁇ 108 (corresponding to “HD ⁇ ”).
  • the compression level of each section may be determined as a numerical value described in each section of FIG. 11. .
  • the control unit 60 compresses the compression level of each section so that the resolution of the output compressed image frame is 1920 ⁇ 1080 (approximately 2,070,000 pixels) in any output. May be determined.
  • FIG. 12 is a diagram illustrating a modification of the hardware configuration of the image generation device and the image processing device according to the present disclosure.
  • the image generation device (DSP) 32 may be disposed outside the image sensor 30. Further, the image generation device (DSP) 32 and the image processing device (ECU) 12 may be a single device (chip). Further, the above-described embodiment may be realized by an image processing system 11 including an image generation device (DSP) 32 and an image processing device (ECU) 12. In addition, each configuration of the control unit 60 and the image processing device 12 of the image generation device 32 may be realized by a computer program.
  • the computer program may be provided by being stored in a distribution medium such as a DVD, or may be stored in a server device on the network so as to be downloadable via the network.
  • the image generation apparatus, the image generation method, the program and the recording medium, and the image processing system according to the present disclosure can appropriately compress captured image data, and are suitable for an imaging apparatus or a mobile device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Power Engineering (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)

Abstract

画像生成装置が、第１受信部と、制御部と、を有している。第１受信部は、移動体の走行状態に関する走行情報を受信する。制御部は、移動体において用いられるイメージセンサの撮像領域のうち第１部分領域を走行情報に基づいて設定し、撮像領域のうち第１部分領域以外の領域の解像度が、第１部分領域の解像度よりも低い画像データを生成する。

Description

画像生成装置、画像生成方法、プログラムおよび記録媒体、並びに、画像処理システム
　本開示は、画像生成装置、画像生成方法、プログラムおよび記録媒体、並びに、画像処理システムに関する。
　車載カメラによって撮像された画像データから対象物を検出する技術、および、当該画像データを低減する技術が知られている。特許文献１に開示されている画像処理装置は、画像取得部と、領域設定部と、処理部とを有する。画像取得部は、赤外線画像データを取得する。領域設定部は、画像取得部により取得された赤外線画像データに基づく画像領域に対して、画像領域を複数の領域に分割する境界線を設定し、境界線によって分割された複数の領域のうちの少なくとも１つの領域を画素密度変更領域に設定する。処理部は、画素密度変更領域の赤外線画像データの画素密度を低減する処理を行い、画素密度変更領域を含む画像領域の赤外線画像データに基づいて対象物の検出処理を行い、検出処理の結果に基づいて表示用画像データを生成する。
特開２０１３－４１４８１号公報
　本開示は、移動体搭載カメラで撮像された画像データを適切に圧縮する画像生成装置を提供する。また、本開示は、前述の画像生成装置が圧縮した画像データを処理する画像処理装置を提供する。
　本開示の一形態は、第１受信部と、制御部と、を有する画像生成装置に向けられる。第１受信部は、移動体の走行状態に関する走行情報を受信する。制御部は、移動体において用いられるイメージセンサの撮像領域のうち第１部分領域を走行情報に基づいて設定し、撮像領域のうち第１部分領域以外の領域の解像度が、第１部分領域の解像度よりも低い画像データを生成する。
　上記一形態は、方法、プログラムおよびプログラムを記録した一時的でない有形の記録媒体のいずれかであっても良い。
　また、本開示の他の形態は、上記画像生成装置に係る画像フォーマット情報に基づいて、画像データの解像度を変換する画像処理部をさらに有する、画像処理システムに向けられる。
　本開示によれば、移動体搭載カメラで撮像された画像データを適切に圧縮する画像生成装置を提供することができる。また、前述の画像生成装置が圧縮した画像データを処理する画像処理システムを提供することができる。
本開示の画像生成装置および画像処理装置のハードウェア構成と、その周辺構成を示す図 撮像装置に含まれる画像生成装置の機能ブロックを示す図 イメージセンサに対して構成される区画を模式的に示す図 圧縮レベル情報を示す図 走行情報に基づいて決定された各区画の圧縮レベルを示す図 走行情報に基づいて決定された画像フォーマット情報を示す図 画像処理装置の機能ブロックを示す図 解像度を変換する処理の変形例を説明する図 ディープラーニング層の構成例を示す図 物体の検知結果に基づくセンシング方法の変更を示す図 イメージセンサに対して構成される区画の変形例を示す図 本開示の画像生成装置および画像処理装置のハードウェア構成の変形例を示す図
　本開示の実施の形態の説明に先立ち、従来の技術における問題点を簡単に説明する。特許文献１には、複数の画像領域のうちの少なくとも１つの領域を画素密度変更領域に設定することが開示されている。しかし、移動体の一例である車両に搭載されたカメラである車載カメラによって撮像される画像データは車両の走行に応じて時々刻々と変化するため、画素密度変更領域に設定された領域の画素密度を低減することが不適切になってしまうことも多い。
　以下、図面を参照しながら、実施の形態を説明する。
　なお、同種の要素を区別して説明する場合には、「区画２００Ｌ」、「区画２００Ｒ」のように参照符号を使用し、同種の要素を区別しないで説明する場合には、「区画２００」のように参照符号のうちの共通番号のみを使用することがある。
　また、以下の実施の形態において、その構成要素（要素ステップなどを含む）は、特に明示した場合及び原理的に明らかに必須であると考えられる場合などを除き、必ずしも必須のものではない。
　＜全体構成＞
　図１は、本開示の画像生成装置および画像処理装置のハードウェア構成と、その周辺構成を示す図である。
　移動体の一例としての車両１には、本開示の画像生成装置３２を含む撮像装置１０、本開示の画像処理装置１２の一実施の形態としてのＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）１２、走行情報送信装置１４、およびアクティブセンサ１６が、ネットワーク２０を介して接続される。ネットワーク２０は、例えば、主に制御信号の伝送に用いられるＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、および、主にマルチメディアに関する信号の伝送に用いられるＭＯＳＴ（Ｍｅｄｉａ　Ｏｒｉｅｎｔｅｄ　Ｓｙｓｔｅｍｓ　Ｔｒａｎｓｐｏｒｔ）やＩＤＢ－１３９４（ＩＴＳ（Ｉｎｔｅｌｌｉｇｅｎｔ　Ｔｒａｎｓｐｏｒｔ　Ｓｙｓｔｅｍｓ）　Ｄａｔａ　Ｂｕｓ－１３９４）の組み合わせで構成されうる。なお、車両１は、必ずしも装置１０～１６の全てを有する必要はなく、一部の装置のみを有してもよい。また、１対１接続の場合、ＬＶＤＳ（Ｌｏｗ　ｖｏｌｔａｇｅ　ｄｉｆｆｅｒｅｎｔｉａｌ　ｓｉｇｎａｌｉｎｇ）などのシリアルインターフェースで接続してもよい。
　撮像装置１０は、車両１に搭載され、車両１の周囲（典型的には前方）を撮像する装置である。撮像装置１０は、イメージセンサ３０と、本開示の画像生成装置３２の一実施の形態としてのＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）３２とを有する。イメージセンサ３０から出力される画素信号は、所定の伝送路３４を介してＤＳＰ３２へ入力される。なお、通常、イメージセンサ３０がアナログの画像信号をＤＳＰ３２へ送信する場合、これらの間には、通常、ＡＤＣ（Ａｎａｌｏｇ　ｔｏ　Ｄｉｇｉｔａｌ　Ｃｏｎｖｅｒｔｅｒ）（図示せず）が配置される。ＤＳＰ３２は、所定の伝送路３６を介してイメージセンサ３０へ制御信号を出力してもよい。撮像装置１０の詳細については後述する（図２参照）。
　走行情報送信装置１４は、所定のタイミングにおける車両１等の移動体の走行状態に関する情報を含む走行情報を、ネットワーク２０を介して撮像装置１０へ送信する。走行情報の具体例については後述する。撮像装置１０は、受信した走行情報に基づいて、車両１等の移動体の走行シーンを判定する。車両１等の移動体の走行シーンの例としては、直進中、右旋回中、左旋回中、右折中、左折中、上り坂の頂上の直前に到達、または、下り坂の底の直前に到達、などがある。走行情報送信装置１４の詳細については後述する。
　アクティブセンサ１６は、車両１の周辺の情報をセンシングするために、ミリ波またはレーザー光などの波を出射し、周囲の物体で反射されて自身に戻ってきた戻り波に基づき、車両１と物体との間の距離等を測定する。
　ＥＣＵ１２は、ネットワーク２０に接続されている各機器を制御する。ＥＣＵ１２は、通信Ｉ／Ｆ（ＩｎｔｅｒＦａｃｅ）５６、マイクロコンピュータ（以下、「マイコン」とする）５０、プログラムメモリ５２、およびメインメモリ５４を有してよい。これらの構成要素５０～５６は、内部バス５９を介して双方向通信可能であってよい。また、１対１接続の場合、画像データに関する情報は単方向通信でもよい。
　通信Ｉ／Ｆ５６は、ネットワーク２０を介するデータの送受信を制御する。
　プログラムメモリ５２は、プログラム５８を保持する。プログラムメモリ５２は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）のような不揮発性半導体メモリであってよい。
　メインメモリ５４には、プログラム５８の実行に関する各種データが格納される。メインメモリ５４は、ＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）またはＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）のような揮発性半導体メモリであってよい。
　マイコン５０は、プログラムメモリ５２からプログラム５８を読み出して、メインメモリ５４を用いてプログラム５８を実行することにより、ＥＣＵ１２の有する各種機能を実現する。マイコン５０は、通信Ｉ／Ｆ５６およびネットワーク２０を介して、他の機器１０、１４、１６とデータを送受信できてよい。
　＜画像生成装置の機能構成＞
　図２は、撮像装置１０に含まれる画像生成装置の機能ブロックを示す図である。
　イメージセンサ３０は、光電変換素子を有する複数の画素９０（図３参照）が配列されており、各画素９０への入射光を光電変換して得られた信号を順次出力する。イメージセンサ３０は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、またはＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサである。イメージセンサ３０が出力する信号は、アナログまたはデジタルのいずれであってもよい。また、１画素の単位は、例えば白黒ＢＷでの１画素構成でも、カラーＲＧＢでの１画素構成でもよい。
　ＤＳＰ３２は、画像生成装置の一実施の形態であり、本開示のＤＳＰ３２は、機能として、第１受信部６２と、制御部６０とを有する。第１受信部６２および制御部６０の機能は、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などの論理回路として実現されてもよいし、プログラムとして実現されてもよい。
　第１受信部６２は、走行情報送信装置１４から走行情報１００を受信する。走行情報１００は、走行情報送信装置１４が適宜送信してもよいし、第１受信部６２によって走行情報送信装置１４から適宜取得されてもよい。
　制御部６０は、第１受信部６２が受信した走行情報１００に基づいてイメージセンサ３０の各画素からの信号の読み出しを制御する。制御部６０からイメージセンサ３０への制御信号は伝送路３４を介して伝送され、イメージセンサ３０から制御部６０への画素の信号は伝送路３６を介して伝送されてよい。例えば、制御部６０は、イメージセンサ３０の全画素から信号を読み出した場合の画素数よりも小さい画素数の画像データ（より具体的には、走行情報１００に基づいて設定される第１部分領域以外の領域の解像度が、第１部分領域の解像度よりも低い画像データ）を生成し、例えば画像処理装置の一実施の形態であるＥＣＵ１２へ出力する。部分領域を「設定する」とは、例えば、イメージセンサの画素、画像データ等の全体の領域からその一部分の領域を「選択する」ことである。
　制御部６０は、イメージセンサ３０に配列されている画素の信号を所定の間隔で飛ばし読みすることによって、出力する画像データの画素数を低減してよい。または、制御部６０は、イメージセンサ３０の全画素から信号を読み出して所定の画像圧縮アルゴリズム（例えばＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ））で圧縮することによって、出力する画像データの画素数を低減してもよい。いずれにおいても、ＤＳＰ３２が出力する画像データの画素数は、イメージセンサ３０の全画素から信号を読み出した場合の画素数よりも小さくなる。これにより、撮像装置１０と出力先であるＥＣＵ１２との間の画像データのデータ伝送量（またはデータ伝送レート）を低減することができる。なお、ＤＳＰ３２から出力される画素数が低減された画像データを、「圧縮画像データ」と呼んでもよい。
　ここで、イメージセンサ３０の各画素は複数の区画の何れかに属しており、制御部６０は、第１受信部６２が受信した走行情報１００に基づいて各区画２００（図３参照）の解像度を決定してよい。例えば、制御部６０は、走行情報１００に基づいて、第１部分領域以外の少なくとも一部の解像度が第１部分領域の解像度よりも小さくなるように各区画２００の解像度を決定する。そして、制御部６０は、第１部分領域以外の少なくとも１つの区画の解像度が、第１部分領域の区画の解像度よりも低い画像データを生成する。以下、図３および図４を参照しながら説明する。
　図３は、イメージセンサ３０に対して構成される区画２００を示す図である。
　図３は、フルＨＤ（Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ）に相当する横１９２０×縦１０８０（約２０７万）の画素９０が配列されているイメージセンサ３０において、横および縦の画素数をそれぞれ３等分に分割して９つの区画２００を形成する例である。この場合、各区画２００の圧縮前の画素数は横６４０×縦３６０（約２３万）である。なお、本開示では各区画２００の圧縮前の解像度（単位長あたりの画素数）が同じであるが、各区画の圧縮前の画素数は異なってもよい。例えば、図３における中央の区画の画素数が他の区画の画素数よりも大きくなるように、イメージセンサ３０を分割してもよい。
　図４は、圧縮レベル情報を示す図である。各区画２００が取り得る圧縮レベル（圧縮ＬＶ）は、図４のように、圧縮レベル情報として定義されてよい。圧縮レベルは、圧縮率であってもよいし、圧縮後の画素数であってもよいし、圧縮後の解像度であってもよい。以下、図４の圧縮レベル情報について説明する。
　圧縮レベル「１」に決定された区画の画素数（さらに言えば、解像度）は維持される（非圧縮である）。図３の例では、圧縮後の区画の解像度は、横６４０×縦３６０（約２３万画素。「フルＨＤ」相当）となる。
　圧縮レベル「２」に決定された区画の画素数（さらに言えば、解像度）は１／２に低減（圧縮）される。図３の例では、圧縮後の区画の解像度は、横６４０×縦１８０または横３２０×縦３６０（約１１．５万画素。「ＨＤ」に相当）となる。
　圧縮レベル「３」に決定された区画の画素数は１／４に低減（圧縮）される。図３の例では、圧縮後の区画の解像度は、横３２０×縦１８０（約５．７万画素。「ＨＤ－」相当）となる。
　圧縮レベル「４」に決定された区画の画素数は１／４に低減（圧縮）される。図３の例では、圧縮後の区画の解像度は、横６４０×縦９０（約５．７万画素。「ＳＤ（Ｓｔａｎｄａｒｄ　Ｄｅｆｉｎｉｔｉｏｎ）＋」相当）となる。
　圧縮レベル「５」に決定された区画の画素数は１／８に低減（圧縮）される。図３の例では、圧縮後の区画の解像度は、横３２０×縦９０（約２．８万画素。「ＳＤ」相当）となる。
　＜走行情報に基づいて各区画の圧縮レベルを決定する処理＞
　図５は、走行情報１００に基づいて決定された各区画２００の圧縮レベルを示す図である。
　制御部６０は、第１受信部６２が受信した走行情報１００に基づいて、車両１の走行シーンが、「直進中」、「右旋回中」、「左旋回中」、「上り坂の頂上直前」または「下り坂の底直前」のいずれであるかを判定する。
　制御部６０は、走行情報送信装置１４の例である操舵角センサが送信する操舵角を含む走行情報１００に基づいて、車両１の走行シーンが、「直進中」、「右旋回中」または「左旋回中」のいずれであるかを判定してよい。操舵角とは、車両１のステアリングホイールの角度であってよい。例えば、制御部６０は、操舵角が０度から右回転または左回転に所定の第１の角度の範囲内である場合に「直進中」と、と判定してよい。また、制御部６０は、操舵角が右回転に第１の角度より大きく所定の第２の角度以下の範囲内である場合に「右旋回中」と判定し、操舵角が左回転に第１の角度より大きく第２の角度以下の範囲内である場合に「左旋回中」と判定してよい。
　制御部６０は、走行情報送信装置１４の例であるジャイロセンサが送信するピッチ軸周りの角速度を含む走行情報１００に基づいて、車両１の走行シーンが、「上り坂の頂上直前」または「下り坂の底直前」のいずれであるか、もしくは、いずれでもないかを判定してよい。例えば、制御部６０は、ピッチ軸周りの角速度が車両１の前方への回転を示している場合に「上り坂の頂上直前」と判定し、ピッチ軸周りの角速度が車両１の後方への回転を示している場合に「下り坂の底直前」と判定してよい。
　なお、制御部６０は、他の方法によって走行シーンを判定してもよい。例えば、制御部６０は、走行情報送信装置１４の一形態であるナビゲーション装置が送信する車両の走行地点の先方の勾配角を含む走行情報１００に基づいて、車両１の走行シーンが、「上り坂の頂上直前」または「下り坂の底直前」のいずれであるか、もしくは、いずれでもないかを判定してもよい。
　＜直進中と判定した場合＞
　直進中と判定した場合、制御部６０は、イメージセンサ３０の少なくとも直進方向からの光を受光する画素を含む区画２００を第１部分領域に設定する。そして、制御部６０は、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも１つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率（例えば圧縮レベル。以下同じ）が最小となるように、各区画の圧縮率を決定してよい。なぜなら、直進中は、車両１の前方の物体が短時間かつ高精度で検知されることが好ましいからである。
　例えば図５に示すように、制御部６０は、第１部分領域としての中央の区画２００Ｃを圧縮レベル「１」に、決定してよい。また、制御部６０は、第１部分領域以外の左、右および下の区画２００Ｌ、２００Ｒ、２００Ｄを圧縮レベル「２」に、決定してよい。また、制御部６０は、左下および右下の区画２００ＬＤ、２００ＲＤを圧縮レベル「３」に、決定してよい。また、制御部６０は、上の区画２００Ｕを圧縮レベル「４」に、決定してよい。また、制御部６０は、左上および右上の区画２００ＬＵ、２００ＲＵを圧縮レベル「５」に決定してよい。左上および右上の区画２００ＬＵ、２００ＲＵの圧縮レベルを高くしている（つまり画素数を小さくしている）理由は、直進中、区画２００ＬＵ、２００ＲＵにはほとんど空やトンネルの天井などが撮像され、区画２００ＬＵ、２００ＲＵにおける物体検知の重要性が低いからである。
　＜右旋回中と判定した場合＞
　右旋回中と判定した場合、制御部６０は、車両１の旋回方向（右方）からの光を受光する画素９０を含む少なくとも１つの区画２００を第１部分領域に設定する。そして、制御部６０は、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも１つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率が最小となるように、各区画２００の圧縮率を決定してよい。なぜなら、右旋回中は、車両１の右前方の物体が短時間かつ高精度で検知されることが好ましいからである。
　例えば図５に示すように、制御部６０は、第１部分領域としての右の区画２００Ｒを圧縮レベル「１」に、決定してよい。また、制御部６０は、第１部分領域以外の中央、右下および左の区画２００Ｃ、２００ＲＤ、２００Ｌを圧縮レベル「２」に、決定してよい。また、制御部６０は、下および左下の区画２００Ｄ、２００ＬＤを圧縮レベル「３」に、決定してよい。また、制御部６０は、右上の区画２００ＲＵを圧縮レベル「４」に、決定してよい。また、制御部６０は、上および左上の区画２００Ｕ、２００ＬＵを圧縮レベル「５」に決定してよい。
　＜左旋回中と判定した場合＞
　左旋回中と判定した場合、制御部６０は、車両１の旋回方向（左方）からの光を受光する画素９０を含む少なくとも１つの区画２００を第１部分領域に設定するそして、制御部６０は、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも一つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率が最小となるように、各区画２００の圧縮率を決定してよい。なぜなら、左旋回中は、車両１の左前方の物体が短時間かつ高精度で検知されることが好ましいからである。
　例えば図５に示すように、制御部６０は、第１部分領域としての左の区画２００Ｌを圧縮レベル「１」に、決定してよい。また、制御部６０は、第１部分領域以外の中央、左下および右の区画２００Ｃ、２００ＬＤ、２００Ｒを圧縮レベル「２」に、決定してよい。また、制御部６０は、下および右下の区画２００Ｄ、２００ＲＤを圧縮レベル「３」に、決定してよい。また、制御部６０は、左上の区画２００ＬＵを圧縮レベル「４」に、決定してよい。また、制御部６０は、上および右上の区画２００Ｕ、２００ＲＵを圧縮レベル「５」に決定してよい。
　＜上り坂の頂上直前を走行中と判定した場合＞
　上り坂の頂上直前を走行中と判定した場合、制御部６０は、車両１の進行方向に対し斜め下方からの光を受光する画素９０を含む少なくとも１つの区画２００を第１部分領域に設定する。そして、制御部６０は、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも１つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率が最小となるように、各区画２００の圧縮率を決定してよい。なぜなら、上り坂の頂上直前を走行中は、車両１の進行方向に対し斜め下方の物体が短時間かつ高精度で検知されることが好ましいからである。
　例えば図５に示すように、制御部６０は、第１部分領域としての下の区画２００Ｄを圧縮レベル「１」に、決定してよい。また、制御部６０は、第１部分領域以外の中央、左下および右下の区画２００Ｃ、２００ＬＤ、２００ＲＤを圧縮レベル「２」に、決定してよい。また、制御部６０は、左および右の区画２００Ｌ、２００Ｒを圧縮レベル「３」に、決定してよい。また、制御部６０は、上の区画２００Ｕを圧縮レベル「４」に、決定してよい。また、制御部６０は、左上および右上の区画２００ＬＵ、２００ＲＵを圧縮レベル「５」に決定してよい。
　＜下り坂の底直前を走行中と判定した場合＞
　下り坂の底直前を走行中と判定した場合、制御部６０は、車両１の進行方向に対し斜め上方からの光を受光する画素９０を含む少なくとも１つの区画２００を第１部分領域に設定する。そして、制御部６０は、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも一つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率が最小となるように、各区画２００の圧縮率を決定してよい。なぜなら、下り坂の底直前を走行中は、車両１の進行方向に対し斜め上方の物体が短時間かつ高精度で検知されることが好ましいからである。
　例えば図５に示すように、制御部６０は、第１部分領域としての上の区画２００Ｕを圧縮レベル「１」に、決定してよい。また、制御部６０は、第１部分領域以外の中央、左上および右上の区画２００Ｃ、２００ＬＵ、２００ＲＵを圧縮レベル「２」に、決定してよい。また、制御部６０は、左および右の区画２００Ｌ、２００Ｒを圧縮レベル「３」に、決定してよい。また、制御部６０は、下の区画２００Ｄを圧縮レベル「４」に、決定してよい。また、制御部６０は、左下および右下の区画２００ＬＤ、２００ＲＤを圧縮レベル「５」に決定してよい。
　上記の通り、制御部６０は、自身が決定した各区画の圧縮レベルに従って、イメージセンサ３０に配列される各画素の信号を、内蔵のメモリに読み出す。具体的には、第１部分領域としての圧縮レベル「１」の区画２００に属する画素については、読み飛ばしは行われない。第１部分領域以外としての圧縮レベル「２」の区画２００に属する画素については、横方向および縦方向のいずれか一方における２個の画素の１つが読み出される。第１部分領域以外としての圧縮レベル「３」，「４」の区画２００に属する画素については、横方向および縦方向の両方向における２個の画素の１つが読み出される。第１部分領域以外としての圧縮レベル「５」の区画２００に属する画素については、横方向および縦方向のいずれか一方における２個の画素の１つが読み出されると共に、いずれか他方における４画素のうち１つが読み出される。このような手法で読み出された画素の信号が、制御部６０のメモリに読み出されて、圧縮画像データが生成される。この圧縮画像データは、制御部６０の制御下で、メモリからネットワーク２０を介して画像処理装置１２に送信される。なお、本実施の形態では、内蔵メモリに読み出す構成を示したが、イメージセンサの画素出力を選択するような構成にして、圧縮した出力を直接読み出す構成にしてもよい。
　図６は、走行情報に基づいて決定された画像フォーマット情報を示す図である。
　制御部６０は、圧縮画像データを出力する際に、各区画２００の解像度に関する情報を含む画像フォーマット情報も合わせて出力する。すなわち、画像フォーマット情報は、当該出力を受信する画像処理部が圧縮画像データを正しく伸長するために必要な情報を含む。これにより、出力された圧縮画像データを受信するＥＣＵ１２が、解像度の異なる各区画２００の画像データを適切に結合して１つの結合画像データを生成することができる。なお、画像フォーマット情報は、圧縮画像データの出力信号のブランキング期間（好ましくは垂直ブランキング期間）に、ＤＳＰ３２から送出されてよい。
　例えは、画像フォーマット情報は、図６に示すように、イメージセンサ３０から得られる圧縮前の画像データの総解像度と、圧縮後の画像データの総解像度と、縦方向および横方向における区画数と、各区画における横方向解像度および縦方向解像度と、を含んでよい。
　圧縮前の総解像度は、圧縮前の画像データの解像度（横の解像度×縦の解像度）を示す。図５の場合、圧縮前の解像度は「横１９２０×縦１０８０」となる。
　圧縮後の総解像度は、圧縮後の画像データの解像度（横の解像度×縦の解像度）を示す。図５の場合、圧縮後の画像データの解像度は「横１２８０×縦６３０」となる。
　縦方向および横方向における区画数は、区画２００の行列（区画の横の数×区画の縦の数）を示す。図５の場合、区画行列は「３×３」となる。
　横方向における解像度は、圧縮後の横の解像度に対する各区画の横の解像度を示す。図５の場合、横方向における解像度は、走行情報の判定結果によって変化し得る。
　縦方向における解像度は、圧縮後の縦の解像度に対する各区画の縦の解像度を示す。図５の場合、縦方向における解像度は、走行情報の判定結果によって変化し得る。
　＜直進中と判定した場合＞
　直進中と判定した場合、例えば図６に示すように、制御部６０は、横方向における各区画の解像度を左から右へ「３２０、６４０、３２０」、縦方向における各区画の解像度を上から下へ「９０、３６０、１８０」としてよい。
　＜右旋回中と判定した場合＞
　右旋回中と判定した場合、例えば図６に示すように、制御部６０は、横方向における各区画の解像度を左から右へ「３２０、３２０、６４０」、縦方向における各区画の解像度を上から下へ「９０、３６０、１８０」としてよい。
　＜左旋回中と判定した場合＞
　左旋回中と判定した場合、例えば図６に示すように、制御部６０は、横方向における各区画の解像度を左から右へ」６４０、３２０、３２０」、縦方向における各区画の解像度を上から下へ「９０、３６０、１８０」としてよい。
　＜上り坂の頂上直前を走行中と判定した場合＞
　上り坂の頂上直前を走行中と判定した場合、例えば図６に示すように、制御部６０は、横方向における各区画の解像度を左から右へ「３２０、６４０、３２０」、縦方向における解像度を上から下へ「９０、１８０、３６０」としてよい。
　＜下り坂の底直前を走行中と判定した場合＞
　下り坂の底直前を走行中と判定した場合、例えば図６に示すように、制御部６０は、横方向における解像度を左から右へ「３２０、６４０、３２０」、縦方向における各区画の解像度を上から下へ「３６０、１８０、９０」としてよい。
　＜その他の走行状態＞
　制御部６０は、走行情報送信装置１４の一形態である方向指示器が送信する指示方向を含む走行情報１００に基づいて、車両１の走行状態が「右折中」または「左折中」であるかを判定してもよい。右折中と判定した場合、制御部６０は、上記の右旋回中と判定した場合と同様の処理を行ってよい。左折中と判定した場合、制御部６０は、上記の左旋回中と判定した場合と同様の処理を行ってよい。
　＜圧縮レベルの決定条件＞
　制御部６０は、自身のメモリに、圧縮画像データを複数フレーム展開するが、これら複数フレームの圧縮画像データの総解像度が互いに同じなるように、各区画２００の圧縮率を決定してよい。例えば、制御部６０は、出力される全ての圧縮画像フレームにおいて、図６の例における圧縮後の解像度が同じになるように、各区画の圧縮率（または横方向における解像度および縦方向における解像度）を決定してよい。
　図５の例では、制御部６０は、走行シーンが変化しても、９個の区画２００のうち、１つの区画２００を圧縮レベル「１」に、３つの区画２００を圧縮レベル「２」に、２つの区画２００を圧縮レベル「３」に、１つの区画２００を圧縮レベル「４」に、２つの区画２００を圧縮レベル「５」に決定している。すなわち、制御部６０は、出力される圧縮画像フレームの総解像度が、いずれの時点においても横１２８０×縦６３０（約８１万画素）となるように、各画像の圧縮レベルを決定している。これにより、制御部６０から出力される圧縮画像フレームに係るデータ伝送レートが一定となる。よって、圧縮画像フレームを受信して処理する画像処理装置（ＥＣＵ１２）側の処理負荷を軽減したり、構成を簡易にしたりすることができる。
　＜画像処理装置の機能構成＞
　図７は、画像処理装置の機能ブロックを示す図である。
　画像処理装置の例であるＥＣＵ１２は、機能として、第２受信部７０と、画像処理部７２と、物体検出部７４と、センサ制御部７６とを有してよい。
　＜第２受信部＞
　第２受信部７０は、撮像装置１０のＤＳＰ３２に備わるメモリの圧縮画像データ１２０および画像フォーマット情報１４０を、ネットワーク２０を介して受信する。なお、第２受信部７０は、圧縮画像データ１２０および画像フォーマット情報１４０を、メモリを介さず、ＤＳＰ３２から直接受信してもよい。また、ＥＣＵ１２とＤＳＰ３２とが一体に構成されている場合、ＥＣＵ１２は第２受信部７０を有さなくてもよい。
　＜画像処理部＞
　画像処理部７２は、第２受信部７０が受信した画像フォーマット情報１４０に基づいて、第２受信部７０が受信した圧縮画像データ１２０の各区画２００の解像度を変換して、伸長画像データを生成する。
　例えば、画像処理部７２は、解像度が横３２０×縦１８０に圧縮されている区画２００について、解像度の横および縦をそれぞれ２倍に大きくし、非圧縮の区画２００の解像度と同じ横６４０×縦３６０の画像データを生成する。画像処理部７２は、他の圧縮されている区画２００についても同様の処理によって横６４０×縦３６０の解像度の画像データを生成する。そして、画像処理部７２は、これら生成した画像データを結合することにより、元のフルＨＤに相当する横１９２０×縦１０８０の解像度の結合画像データを生成する。なお、解像度を大きくする処理を「伸長処理」と呼んでもよい。
　画像処理部７２は、圧縮画像データの解像度を大きくする（つまり画素数を増やす）際に、いわゆる超解像技術を用いて画素を補完してもよい。
　＜画像処理部の第１変形例＞
　図８は、解像度を変換する処理の変形例を説明する図である。
　上述の伸長処理では、全区画の解像度を非圧縮の区画の解像度に整合させていた。しかし、これに限らず、全区画の解像度を、最高の第１解像度と最低の第２解像度と間の所定の解像度（「中間解像度」という）に統一して伸長処理を行っても良い。
　この場合、中間解像度よりも大きい解像度の区画は、中間解像度に低下される。しかし、単純に解像度を低下させると、解像度が大きいときには検知可能であった物体（典型的には小さく撮像されている物体）が、解像度の低下によって消失または不明瞭になり、後述の物体検出部７４において物体が検出不可能になってしまう可能性がある。そこで、画像処理部７２は、解像度を低下させる前の区画２００の画像データに対して所定の特徴部分（例えば所定の物体の特徴を有する部分）を誇張するような画像処理を施す。例えば、画像処理部７２は、図８に示すように、所定の特徴部分の画素３２０Ａの周囲の画素を強調する。その後、画像処理部７２は、区画２００の解像度を低下させる。これにより、解像度の低下によって後述の物体検出部７４において物体が検出不可能となる可能性を低減することができる。なお、画像処理部７２は、中間解像度よりも低い解像度の区画２００については、上述と同様、いわゆる超解像技術を用いて中間解像度になるまで画素数を増やしてよい。
　＜画像処理部の第２変形例＞
　図９は、ディープラーニング層の構成例を示す図である。
　上述のとおり、圧縮画像データは、後述の物体検出部７４における物体の検出精度が高くなるように伸長される（画素数が増やされる）ことが好ましい。そのために、画像処理部７２は、図９に示すように、複数の区画２００の解像度に応じてディープラーニング層５００を構成することが好ましい。画像処理部７２は、車両１の走行情報に基づき、少なくとも、複数の区画２００それぞれの解像度の変化や、物体検出の結果を学習して、ディープラーニング層５００を最適化することが好ましい。具体的には下記の通りである。
　画像処理部７２は、区画２００の位置（本開示における中央の区画２００Ｃ、左の区画２００Ｌなど）、走行情報１００、および、当該位置の区画２００において撮像された画素数の異なる画像データを入力データ５０２とする。そして、画像処理部７２は、ディープラーニング層５００を用いて伸長された画像データを出力データ５０４とする。そして、この伸長された画像データに対する物体検出の成功および失敗に基づいて、ディープラーニング層５００をトレーニングする。
　画像処理部７２は、このようにトレーニングされたディープラーニング層５００を用いて各区画２００の画像データを伸長することにより、区画２００ごとに物体の検出精度の高い伸長後の画像データを生成することができる。
　＜物体検出部＞
　物体検出部７４は、画像処理部７２によって生成された画像データから、所定の物体を検出する。所定の物体とは、他の移動体の一例としての他の車両、歩行者または標識など、車両１の走行に関連する物体であってよい。
　画像処理部７２によって生成された結合画像データは、ＤＳＰ３２の制御部６０の処理によって、走行情報１００に基づいて比較的重要と判定された区画２００については画質の劣化が無いか（非圧縮）小さく（低圧縮に）なっている。したがって、物体検出部７４は、より短時間で高精度に物体を検出し得る。例えば、単純に圧縮された画像データの場合、物体の検出に複数の結合画像フレーム（つまり長時間）を要するところ、本開示に係る画像データは、比較的重要性の高い区画２００の画質が高いので、１つの画像フレームから物体を検出できる可能性が高くなる。
　＜センサ制御部＞
　図１０は、物体の検知結果に基づくセンシング方法の変更を示す図である。
　センサ制御部７６は、物体検出部７４による物体の検出結果に応じて、アクティブセンサ１６のセンシング方法を変更する。例えば、センサ制御部７６は、アクティブセンサ１６を制御するためのセンサ制御コマンド２１０をアクティブセンサ１６に送信し、アクティブセンサ１６のセンシング方法を変更する。上述のとおり、本開示に係る物体検出部７４は、より短時間で高精度に物体を検出し得るので、センサ制御部７６もまた、より短時間で高精度に適切なセンサ制御コマンド２１０を送信し得る。
　図１０は、アクティブセンサ１６が、ミリ波３００（レーザー光でもよい）を照射して車両１と物体との間の距離を測定する距離測定センサの場合の例である。図１０の例において、物体検出部７４が画像データからイメージセンサ３０の中心点よりも左方の位置に他の移動体の一例としての他の車両３０２を検出したとする。この場合、センサ制御部７６は、アクティブセンサ１６に対して、ミリ波３００の照射方向を、左方向に変更する旨のセンサ制御コマンド２１０を送信してよい。これにより、ＥＣＵ１２は、より短時間で高精度に車両１と他の車両３０２との間の距離を測定することができる。
　アクティブセンサ１６の一例としてＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）センサが挙げられる。ＴＯＦセンサは、照射波の送信タイミングと、当該照射波が物体で反射された波である反射波の受信タイミングとの時間差（または位相差）に基づいて、当該物体までの距離を測定するセンサである。したがって、ＴＯＦセンサを用いて、図１０の例における車両１と他の車両３０２との間の距離を測定してもよい。なお、ＴＯＦセンサの受光を直接イメージセンサ３０で受光して距離を計測する構成にしてもよい。
　なお、画像処理部７２が、物体検出部７４およびセンサ制御部７６の機能を含む構成であってもよい。
　＜イメージセンサに対する区画の変形例＞
　図１１は、イメージセンサ３０に対して構成される区画の変形例を示す。
　イメージセンサ３０に対して構成される区画２００の数は、図３のような９個に限られない。例えば、図１１に示すように、横３８４０×縦２１６０（約８２０万）の画素が配列されているイメージセンサにおいて、横および縦の画素数をそれぞれ５等分に分割して２５個の区画を形成してもよい。この場合における圧縮レベル情報は、以下のように定義されてよい。
　圧縮レベル「１」に決定された区画の画素数は維持される（非圧縮である）。図１１の例では、圧縮後の区画の解像度は、横７６８×縦４３２（「４Ｋ」相当）となる。
　圧縮レベル「２」に決定された区画の画素数は１／２に低減（圧縮）される。図１１の例では、圧縮後の区画の解像度は、横３８４×縦４３２または横７６８×縦２１６（「フルＨＤ＋」相当）となる。
　圧縮レベル「３」に決定された区画の画素数は１／４に低減（圧縮）される。図１１の例では、圧縮後の区画の解像度は、横３８４×縦２１６（「フルＨＤ」相当）となる。
　圧縮レベル「４」に決定された区画の画素数は１／４に低減（圧縮）される。図１１の例では、圧縮後の区画の解像度は、横７６８×縦１０８または横１９２×縦４３２（「ＨＤ＋」相当）となる。
　圧縮レベル「５」に決定された区画の画素数は１／４に低減（圧縮）される。図１１の例では、圧縮後の区画の解像度は、横３８４×縦１０８または横１９２×縦２１６（「ＨＤ」相当）となる。
　圧縮レベル「６」に決定された区画の画素数は１／８に低減（圧縮）される。図１１の例では、圧縮後の区画の解像度は、横１９２×縦１０８（「ＨＤ－」相当）となる。
　また、図１１の例において、制御部６０は、走行シーンが「直進中」と判定した場合、各区画の圧縮レベルを、図１１の各区画内に記載した数値のように決定してもよい。このとき、制御部６０は、上述の場合と同様、出力される圧縮画像フレームの解像度が、いずれの出力においても横１９２０×縦１０８０（約２０７万画素）となるように、各区画の圧縮レベルを決定してよい。
　＜付記＞
　図１２は、本開示の画像生成装置および画像処理装置のハードウェア構成の変形例を示す図である。
　図１２の例に示すように、画像生成装置（ＤＳＰ）３２は、イメージセンサ３０の外部に配置されてもよい。また、画像生成装置（ＤＳＰ）３２と画像処理装置（ＥＣＵ）１２とは１つの装置（チップ）であってもよい。また、上述の実施の形態は、画像生成装置（ＤＳＰ）３２と画像処理装置（ＥＣＵ）１２とを含む画像処理システム１１によって実現されてもよい。また、画像生成装置３２の制御部６０および画像処理装置１２の各構成はそれぞれコンピュータプログラムで実現されても良い。コンピュータプログラムは、ＤＶＤ等のような配布媒体に格納されて提供されても良いし、ネットワークを介してダウンロード可能にネットワーク上のサーバ装置に格納されても良い。
　＜注釈＞
　その他、上記実施の形態および各変形例は、何れも本開示の実施をするにあたっての具体化の一例を示したものに過ぎず、これらによって本開示の技術的範囲が限定的に解釈されてはならないものである。すなわち、本開示はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
　本開示に係る画像生成装置、画像生成方法、プログラムおよび記録媒体、並びに、画像処理システムは、撮像された画像データを適切に圧縮可能であり、撮像装置または移動体搭載機器等に好適である。
　１　車両（移動体）
　１０　撮像装置
　１２　画像処理装置
　１１　画像処理システム
　１４　走行情報送信装置
　１６　アクティブセンサ
　２０　ネットワーク
　３０　イメージセンサ
　３２　画像生成装置
　３４　伝送路
　３６　伝送路
　５０　マイコン
　５２　プログラムメモリ
　５４　メインメモリ
　５６　通信Ｉ／Ｆ
　５８　プログラム
　５９　内部バス
　６０　制御部
　６２　第１受信部
　７０　第２受信部
　７２　画像処理部
　７４　物体検出部
　７６　センサ制御部
　９０　画素
　１００　走行情報
　１２０　圧縮画像データ
　１４０　画像フォーマット情報
　２００　区画
　２１０　センサ制御コマンド
　３００　ミリ波
　３０２　他の車両（他の移動体）
　３２０Ａ　特徴部分の画素
　５００　ディープラーニング層
　５０２　入力データ
　５０４　出力データ

Claims (15)

  1. 　移動体の走行状態に関する走行情報を受信する第１受信部と、
    　前記移動体において用いられるイメージセンサの撮像領域のうち第１部分領域を前記走行情報に基づいて設定し、前記撮像領域のうち前記第１部分領域以外の領域の解像度が、前記第１部分領域の解像度よりも低い画像データを生成する制御部と、
    　を備えた画像生成装置。
  2. 　前記イメージセンサは、予め定められた複数の区画の何れかに属する複数の画素を有し、
    　前記制御部は、前記走行情報に基づいて、前記第１部分領域以外の少なくとも一部の解像度が前記第１部分領域の解像度よりも小さくなるように各区画の解像度を決定し、前記第１部分領域以外の少なくとも１つの区画の解像度が、前記第１部分領域の区画の解像度よりも低い画像データを生成する、
    　請求項１に記載の画像生成装置。
  3. 　前記制御部は、前記走行情報から前記移動体が直進中と判定した場合、前記複数の画素の内、少なくとも直進方向からの光を受光する画素を含む区画を前記第１部分領域に設定する、
    　請求項２に記載の画像生成装置。
  4. 　前記制御部は、前記走行情報から前記移動体が旋回中と判定した場合、前記複数の画素の内、前記移動体の旋回方向からの光を受光する画素を含む区画を前記第１部分領域に設定する、
    　請求項２に記載の画像生成装置。
  5. 　前記制御部は、前記走行情報から前記移動体が上り坂の頂上および下り坂の底のいずれか一方の直前に到達したと判定した場合、前記複数の画素の内、前記移動体の斜め下方および斜め上方の一方からの光を受光する画素を含む区画を前記第１部分領域に設定する、
    　請求項２に記載の画像生成装置。
  6. 　前記制御部は、記憶部をさらに備え、前記記憶部に複数フレームの画像データを展開し、前記複数フレームの画像データの総解像度は互いに同じである、
    　請求項１に記載の画像生成装置。
  7. 　前記制御部は、前記画像データの画像フォーマット情報をさらに生成し、
    　前記画像フォーマット情報は、前記イメージセンサからの画像の解像度、前記画像データの解像度、前記複数の区画の総数、および、前記複数の区画それぞれの解像度を少なくとも含む、
    　請求項２に記載の画像生成装置。
  8. 　請求項７に記載の画像生成装置と、
    　前記画像フォーマット情報に基づいて、前記画像データの解像度を変換する画像処理部と、を備える、
    　画像処理システム。
  9. 　前記画像フォーマット情報は、前記画像データの垂直ブランキング期間に前記画像生成装置から伝送路に送出される、
    　請求項８に記載の画像処理システム。
  10. 　前記画像データにおいて、少なくとも２つの区画は、互いに異なる第１解像度と第２解像度とを有し、
    　前記画像処理部は、前記画像データにおける所定の特徴部分を強調する画像処理を行った後に、前記画像データの各区画を、前記第１解像度および第２解像度の中間値を有する中間解像度に変換する、
    　請求項９に記載の画像処理システム。
  11. 　前記画像処理部は、前記複数の区画の解像度に応じてディープラーニング層を構成しており、前記移動体の走行情報に基づき、少なくとも、前記複数の区画のそれぞれの解像度の変化を学習して、前記ディープラーニング層を最適化しつつ、前記画像フォーマット情報に基づき、前記画像データの解像度を変換する、
    　請求項８に記載の画像処理システム。
  12. 　前記画像処理部は、所定波を出射後に自身に戻ってきた戻り波に基づき、周囲の物体を検出するアクティブセンサと通信可能に接続され、
    　前記画像処理部は、自身が解像度を変換した画像データから所定の物体を検出すると、検出結果に基づき、前記アクティブセンサを制御する、
    　請求項８に記載の画像処理システム。
  13. 　移動体の走行状態に関する走行情報を受信するステップと、
    　前記移動体において用いられるイメージセンサの撮像領域のうち第１部分領域を前記走行情報に基づいて設定し、前記撮像領域のうち前記第１部分領域以外の領域の解像度が、前記第１部分領域の解像度よりも低い画像データを生成するステップと、
    　を備えた画像生成方法。
  14. 　コンピュータに、
    　　移動体の走行状態に関する走行情報を受信するステップと、
    　　前記移動体において用いられるイメージセンサの撮像領域のうち第１部分領域を前記走行情報に基づいて設定し、前記撮像領域のうち前記第１部分領域以外の領域の解像度が、前記第１部分領域の解像度よりも低い画像データを生成するステップと、
    　を実行させるプログラム。
  15. 　コンピュータに、
    　　移動体の走行状態に関する走行情報を受信するステップと、
    　　前記移動体において用いられるイメージセンサの撮像領域のうち第１部分領域を前記走行情報に基づいて設定し、前記撮像領域のうち前記第１部分領域以外の領域の解像度が、前記第１部分領域の解像度よりも低い画像データを生成するステップと、
    　を実行させるプログラムを記録した記録媒体。
PCT/JP2017/032768 2016-09-29 2017-09-12 画像生成装置、画像生成方法、プログラムおよび記録媒体、並びに、画像処理システム WO2018061740A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780059063.6A CN109792506B (zh) 2016-09-29 2017-09-12 图像生成装置、图像生成方法、记录介质以及图像处理系统
DE112017004892.3T DE112017004892T5 (de) 2016-09-29 2017-09-12 Bilderzeugungsvorrichtung, Bilderzeugungsverfahren, Aufzeichnungsmedium und Bildverarbeitungssystem
US16/293,823 US10763285B2 (en) 2016-09-29 2019-03-06 Image generation devices and image processing systems for converting resolutions of image data captured by image sensors mounted on movable-body apparatuses

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016191676A JP6735506B2 (ja) 2016-09-29 2016-09-29 画像生成装置、および、画像処理システム
JP2016-191676 2016-09-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/293,823 Continuation-In-Part US10763285B2 (en) 2016-09-29 2019-03-06 Image generation devices and image processing systems for converting resolutions of image data captured by image sensors mounted on movable-body apparatuses

Publications (1)

Publication Number Publication Date
WO2018061740A1 true WO2018061740A1 (ja) 2018-04-05

Family

ID=61763487

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/032768 WO2018061740A1 (ja) 2016-09-29 2017-09-12 画像生成装置、画像生成方法、プログラムおよび記録媒体、並びに、画像処理システム

Country Status (5)

Country Link
US (1) US10763285B2 (ja)
JP (1) JP6735506B2 (ja)
CN (1) CN109792506B (ja)
DE (1) DE112017004892T5 (ja)
WO (1) WO2018061740A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021210245A1 (ja) * 2020-04-15 2021-10-21 日立Astemo株式会社 分解能制御装置、自動運転システム、および、分解能制御方法
JP2022099389A (ja) * 2020-12-23 2022-07-05 三菱電機株式会社 車載画像情報処理装置、車載画像情報送信装置および画像情報処理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018030319A1 (ja) * 2016-08-12 2018-08-09 パナソニックＩｐマネジメント株式会社 測距システム、および、移動体システム
CN114846505A (zh) 2020-01-30 2022-08-02 日立安斯泰莫株式会社 信息处理装置
JP2022159912A (ja) 2021-04-05 2022-10-18 ウーブン・プラネット・ホールディングス株式会社 遠隔監視システム、遠隔監視方法、遠隔監視サーバ、及び車載情報処理装置
JP2023110325A (ja) 2022-01-28 2023-08-09 キヤノン株式会社 カメラシステム、移動体、カメラシステムの制御方法、及びコンピュータプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007214769A (ja) * 2006-02-08 2007-08-23 Nissan Motor Co Ltd 車両用映像処理装置、車両周囲監視システム並びに映像処理方法
JP2007266703A (ja) * 2006-03-27 2007-10-11 Matsushita Electric Ind Co Ltd 表示制御装置
JP2007288527A (ja) * 2006-04-17 2007-11-01 Matsushita Electric Ind Co Ltd 撮像装置
JP2008298532A (ja) * 2007-05-30 2008-12-11 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018559A (ja) 2001-07-02 2003-01-17 National Aerospace Laboratory Of Japan データ多重化無線通信システム
JP4685561B2 (ja) 2005-09-12 2011-05-18 株式会社日立国際電気 カメラシステムの表示方法及びカメラシステム
JP5325745B2 (ja) * 2009-11-02 2013-10-23 株式会社ソニー・コンピュータエンタテインメント 動画像処理プログラム、装置および方法、動画像処理装置を搭載した撮像装置
JP2013041481A (ja) 2011-08-18 2013-02-28 Seiko Epson Corp 画像処理装置、画像処理システム、カメラ及びカメラシステム
US8791835B2 (en) * 2011-10-03 2014-07-29 Wei Zhang Methods for road safety enhancement using mobile communication device
CN104885448B (zh) * 2013-02-21 2018-04-06 本田技研工业株式会社 驾驶辅助装置以及图像处理程序
US20160182866A1 (en) * 2014-12-19 2016-06-23 Sony Corporation Selective high frame rate video capturing in imaging sensor subarea
KR102541559B1 (ko) * 2017-08-04 2023-06-08 삼성전자주식회사 관심 객체를 검출하는 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007214769A (ja) * 2006-02-08 2007-08-23 Nissan Motor Co Ltd 車両用映像処理装置、車両周囲監視システム並びに映像処理方法
JP2007266703A (ja) * 2006-03-27 2007-10-11 Matsushita Electric Ind Co Ltd 表示制御装置
JP2007288527A (ja) * 2006-04-17 2007-11-01 Matsushita Electric Ind Co Ltd 撮像装置
JP2008298532A (ja) * 2007-05-30 2008-12-11 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021210245A1 (ja) * 2020-04-15 2021-10-21 日立Astemo株式会社 分解能制御装置、自動運転システム、および、分解能制御方法
JPWO2021210245A1 (ja) * 2020-04-15 2021-10-21
JP7404512B2 (ja) 2020-04-15 2023-12-25 日立Astemo株式会社 分解能制御装置、自動運転システム、および、分解能制御方法
JP2022099389A (ja) * 2020-12-23 2022-07-05 三菱電機株式会社 車載画像情報処理装置、車載画像情報送信装置および画像情報処理方法
JP7109528B2 (ja) 2020-12-23 2022-07-29 三菱電機株式会社 車載画像情報処理装置、車載画像情報送信装置および画像情報処理方法

Also Published As

Publication number Publication date
US20190198540A1 (en) 2019-06-27
DE112017004892T5 (de) 2019-06-27
JP6735506B2 (ja) 2020-08-05
CN109792506B (zh) 2021-02-26
CN109792506A (zh) 2019-05-21
US10763285B2 (en) 2020-09-01
JP2018056838A (ja) 2018-04-05

Similar Documents

Publication Publication Date Title
WO2018061740A1 (ja) 画像生成装置、画像生成方法、プログラムおよび記録媒体、並びに、画像処理システム
US10957028B2 (en) Image generation device, image generation method and recording medium
JP7278953B2 (ja) 固体撮像素子及び電子機器
WO2020195966A1 (ja) 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
WO2020196092A1 (ja) 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
US11895398B2 (en) Imaging device and imaging system
US11127147B2 (en) Three-dimensional point cloud generation using a polarimetric camera in a drive assistance system equipped vehicle
JP6953297B2 (ja) 撮像装置及び撮像システム
US7365779B2 (en) Image processing apparatus for selectively storing specific regions of an image
CN114449191A (zh) 集成高速图像传感器及其操作方法
US11257193B2 (en) Image processing apparatus
US10834294B2 (en) Imaging device, imaging element, and method of controlling imaging device
JP7342024B2 (ja) 撮影装置、制御方法、及び、プログラム
JPWO2020153123A1 (ja) 撮像装置及び電子機器
JP2020120307A (ja) デジタル−アナログ変換装置、撮像装置、及び、電子機器
US20210306589A1 (en) Imaging device, imaging system, and moving body
US11394903B2 (en) Imaging apparatus, imaging system, and moving body
WO2024024464A1 (ja) 固体撮像素子、および電子機器
JP7387104B1 (ja) 撮像装置および撮像装置の制御方法
CN113615152B (zh) 成像设备和成像系统
JP7464801B2 (ja) 画像処理装置、および、画像データ送信方法
CN113711233A (zh) 用于汽车的感测设备和控制系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17855697

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17855697

Country of ref document: EP

Kind code of ref document: A1