WO2022107235A1 - 画像処理装置、画像処理方法、プログラム、及び画像処理システム - Google Patents

画像処理装置、画像処理方法、プログラム、及び画像処理システム Download PDF

Info

Publication number
WO2022107235A1
WO2022107235A1 PCT/JP2020/042934 JP2020042934W WO2022107235A1 WO 2022107235 A1 WO2022107235 A1 WO 2022107235A1 JP 2020042934 W JP2020042934 W JP 2020042934W WO 2022107235 A1 WO2022107235 A1 WO 2022107235A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
region
brightness
moving body
Prior art date
Application number
PCT/JP2020/042934
Other languages
English (en)
French (fr)
Inventor
有司 梅津
創一 萩原
順三 櫻井
Original Assignee
株式会社ソシオネクスト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソシオネクスト filed Critical 株式会社ソシオネクスト
Priority to JP2022563300A priority Critical patent/JPWO2022107235A1/ja
Priority to PCT/JP2020/042934 priority patent/WO2022107235A1/ja
Publication of WO2022107235A1 publication Critical patent/WO2022107235A1/ja
Priority to US18/317,599 priority patent/US20230289938A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an image processing device, an image processing method, a program, and an image processing system.
  • halation may occur when a light source exists in a part of the angle of view of the camera due to the vehicle moving under the street light at night.
  • the purpose is to provide a technology that can appropriately correct the brightness of each frame.
  • the image processing device has an acquisition unit that acquires a first image captured by an image pickup device mounted on the moving body, and a first region of the first image in a direction perpendicular to the moving surface of the moving body. It has a generation unit for generating a second image in which the brightness of the second region lower than the above is corrected based on the brightness of the first region.
  • the brightness of each frame can be corrected appropriately.
  • FIG. 1 is a diagram illustrating a configuration of a control system 500 according to an embodiment.
  • the control system 500 has a mobile body 1 and a server 50.
  • the number of mobile bodies 1 and servers 50 is not limited to the example of FIG.
  • the mobile body 1 and the server 50 include, for example, a mobile phone network such as 5G (5th Generation, 5th generation mobile communication system), 4G, LTE (LongTermEvolution), 3G, a wireless LAN (Local Area Network), the Internet, and the like. Communicate via the network of.
  • 5G 5th Generation, 5th generation mobile communication system
  • 4G LongTermEvolution
  • 3G 3th Generation
  • wireless LAN Local Area Network
  • the Internet and the like.
  • the moving body 1 is, for example, a moving machine such as a vehicle traveling on land with wheels, a robot moving with legs, an aircraft, or an unmanned aerial vehicle (drone).
  • the vehicle includes, for example, an automobile, a motorcycle (motorbike), a robot that moves on wheels, a railroad vehicle that travels on a railroad, and the like.
  • the automobiles include automobiles traveling on roads, trams, construction vehicles used for construction purposes, military vehicles for military use, industrial vehicles for cargo handling and transportation, agricultural vehicles and the like.
  • the server 50 provides the mobile body 1 with various services necessary for automatic operation of the mobile body 1, for example.
  • FIG. 1 shows the appearance of a moving body 1 which is an automobile when viewed from directly above.
  • the moving body 1 is simply referred to as an image pickup device 12A, an image pickup device 12B, an image pickup device 12C, an image pickup device 12D, and an image pickup device 12E (hereinafter, when it is not necessary to distinguish between them, simply “imaging device 12". It has.).
  • the image pickup device 12 is a device for capturing an image.
  • the image pickup apparatus 12 may be, for example, a camera.
  • the image pickup device 12A is an image pickup device (rear camera, rear camera, back view camera) that captures the rear view of the moving body 1 (in the direction opposite to the normal traveling direction).
  • the image pickup device 12B is an image pickup device (left camera) that photographs the left side as seen from the moving body 1.
  • the image pickup device 12C is an image pickup device (right camera) that photographs the right side as seen from the moving body 1.
  • the image pickup device 12D and the image pickup device 12E are image pickup devices (forward cameras) that capture a front view (normal traveling direction) as seen from the moving body 1.
  • the image pickup device 12 may be, for example, an advanced driver-assistance system (ADAS) that supports the driver's driving operation, or an image pickup device that captures an image for automatic driving.
  • ADAS advanced driver-assistance system
  • the image pickup apparatus 12 may be, for example, each camera that captures an image for an omnidirectional monitor (around view, panoramic view, multi-view, top view) that generates an image as if the moving body 1 is viewed from directly above. ..
  • the image pickup device 12 may be, for example, an image pickup device for a drive recorder that records an image of the outside of the moving body 1.
  • the image pickup device 12A may be, for example, a camera that captures an image to be displayed on a rear-view mirror monitor. Further, the image pickup device 12A may be, for example, a camera that captures an image to be displayed on the screen of the navigation device 18 when the moving body 1 moves (backs) backward.
  • the image pickup device 12B may be, for example, a camera that captures an image to be displayed on the left side mirror monitor.
  • the image pickup apparatus 12C may be, for example, a camera that captures an image to be displayed on the right side mirror monitor.
  • the image pickup apparatus 12D is provided on the front surface of the moving body 1 (the tip surface when the moving body 1 moves forward). Further, the image pickup apparatus 12E is provided in a room inside the windshield of the moving body 1. In this case, the image pickup device 12E may be provided, for example, in the vicinity of a rear-view mirror (room mirror, rear-view mirror) in a room, inside a windshield, a dashboard, or the like.
  • a rear-view mirror room mirror, rear-view mirror
  • the image pickup device 12D and the image pickup device 12E for photographing the front (normal traveling direction) seen from the moving body 1 may be a stereo camera having a plurality of cameras. Further, the moving body 1 may have only one of the image pickup device 12D and the image pickup device 12E.
  • FIG. 2 is a diagram illustrating an example of the configuration of the mobile body 1 according to the embodiment.
  • the moving body 1 is an image processing device 10, a control device 11, an image pickup device 12, an ECU 13, a wireless communication device 14, a sensor 15, a drive device 16, a lamp device 17, a navigation device 18, and a display device 19.
  • an internal network for example, an in-vehicle network
  • CAN Controller Area Network
  • Ethernet registered trademark
  • the image processing device 10 generates an image whose brightness is corrected so as to reduce hunting, based on the image (frame) taken at each time point by the image pickup device 12. Further, the image processing device 10 may record the generated image in an external or internal recording device.
  • the control device 11 is a computer (information processing device) that controls each part of the mobile body 1.
  • the control device 11 recognizes an object outside the moving body 1 based on the image generated by the image processing device 10.
  • the object may include, for example, other vehicles, pedestrians, bicycles, white lines, side walls of roads, obstacles, and the like.
  • control device 11 tracks the recognized object based on the image at each time point generated by the image processing device 10.
  • the control device 11 controls the movement and the like of the moving body 1 by controlling the ECU (Electronic Control Unit) 13 and the like of the moving body 1 based on the detected object (recognized object and the tracked object). do.
  • ECU Electronic Control Unit
  • control device 11 By controlling the movement of the moving body 1, for example, the control device 11 is unmanned from level 0 in which the driver (user, driver, passenger) operates the main control system (acceleration, steering, braking, etc.). Any level of automatic operation up to level 5 for driving may be realized.
  • the ECU 13 is a device that controls each device of the moving body 1.
  • the ECU 13 may have a plurality of ECUs.
  • the wireless communication device 14 communicates with an external device of the mobile body 1 such as a server 50 and a server on the Internet by wireless communication such as a mobile phone network.
  • the sensor 15 is a sensor that detects various types of information.
  • the sensor 15 may include, for example, a position sensor that acquires the current position information of the moving body 1.
  • the position sensor may be, for example, a sensor that uses a satellite positioning system such as GPS (Global Positioning System).
  • the sensor 15 may include a speed sensor that detects the speed of the moving body 1.
  • the speed sensor may be, for example, a sensor that measures the rotation speed of the axle of the wheel.
  • the sensor 15 may include an acceleration sensor that detects the acceleration of the moving body 1.
  • the sensor 15 may include a yaw-axis angular velocity sensor that detects the yaw-axis angular velocity (yaw rate) of the moving body 1.
  • the sensor 15 may include an operation sensor that detects the amount of operation of the moving body 1 by the driver and the control device 11.
  • the operation sensors include, for example, an accelerator sensor that detects the amount of depression of the accelerator pedal, a steering sensor that detects the rotation angle of the steering wheel (steering wheel), a brake sensor that detects the amount of depression of the brake pedal, and the position of the gear.
  • a shift position sensor or the like for detection may be included.
  • the drive device 16 is various devices for moving the moving body 1.
  • the drive device 16 may include, for example, an engine, a steering device (steering), a braking device (brake), and the like.
  • the lamp device 17 is various lamps mounted on the moving body 1.
  • the lamp device 17 includes, for example, a headlight (headlamp, headlight), a lamp of a turn signal (winker) for indicating the direction to the surroundings when turning left or right or changing a course (lane change), and a moving body.
  • a backlight provided at the rear of 1 and lit when the gear is in the reverse range, a brake lamp, and the like may be included.
  • the navigation device 18 is a device (car navigation system) that guides the route to the destination by voice and display. Map information may be recorded in the navigation device 18. Further, the navigation device 18 may transmit information on the current position of the moving body 1 to an external server that provides a car navigation service, and may acquire map information around the moving body 1 from the external server.
  • the map information may include, for example, information on a node indicating a node such as an intersection, information on a link which is a road section between the nodes, and the like.
  • the display device 19 displays an image or the like generated by the image processing device 10.
  • the display device 19 may display, for example, an image of the rear side of the moving body 1 taken when the moving body 1 moves backward (backward).
  • the display device 19 may display an image output from the navigation device 18, for example.
  • FIG. 3 is a diagram illustrating a hardware configuration example of the image processing device 10 and the control device 11 according to the embodiment.
  • the image processing apparatus 10 will be described as an example.
  • the hardware configuration of the control device 11 may be the same as that of the image processing device 10.
  • the image processing device 10 has a drive device 1000, an auxiliary storage device 1002, a memory device 1003, a CPU 1004, an interface device 1005, and the like, which are connected to each other by a bus B, respectively.
  • the information processing program that realizes the processing in the image processing apparatus 10 is provided by the recording medium 1001.
  • the recording medium 1001 on which the information processing program is recorded is set in the drive device 1000, the information processing program is installed in the auxiliary storage device 1002 from the recording medium 1001 via the drive device 1000.
  • the information processing program does not necessarily have to be installed from the recording medium 1001, and may be downloaded from another computer via the network.
  • the auxiliary storage device 1002 stores the installed information processing program and also stores necessary files, data, and the like.
  • the memory device 1003 reads and stores the program from the auxiliary storage device 1002 when there is an instruction to start the program.
  • the CPU 1004 executes the process according to the program stored in the memory device 1003.
  • the interface device 1005 is used as an interface for connecting to a network.
  • An example of the recording medium 1001 is a portable recording medium such as a CD-ROM, a DVD disc, or a USB memory. Further, as an example of the auxiliary storage device 1002, an HDD (Hard Disk Drive), a flash memory, or the like can be mentioned. Both the recording medium 1001 and the auxiliary storage device 1002 correspond to computer-readable recording media.
  • the image processing device 10 may be realized by, for example, an analog circuit, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • FIG. 4 is a diagram showing an example of the configuration of the image processing device 10 and the control device 11 according to the embodiment.
  • the image processing device 10 has an acquisition unit 101, a determination unit 102, a generation unit 103, and an output unit 104. Each of these parts may be realized by the cooperation of one or more programs installed in the image processing device 10 and hardware such as the CPU 1004 of the image processing device 10.
  • the acquisition unit 101 acquires data from another device.
  • the acquisition unit 101 acquires, for example, an image taken by the image pickup device 12 from the image pickup device 12.
  • the determination unit 102 determines the amount of correction for the brightness of the image based on the brightness of a predetermined region (halation detection region; an example of the "first region") of the image acquired by the acquisition unit 101.
  • the generation unit 103 corrects the brightness of the area below the halation detection area in the direction perpendicular to the moving surface of the moving body 1 according to the correction amount determined by the determination unit 102 (corrected image, output). Image) is generated.
  • the output unit 104 outputs the image generated by the generation unit 103 to the display device 19, the control device 11, and the like.
  • Control device 11 has a storage unit 111, a recognition unit 112, a tracking unit 113, and a control unit 114. Each of these parts may be realized by the cooperation of one or more programs installed in the control device 11 and hardware such as a CPU of the control device 11.
  • the storage unit 111 stores various types of information.
  • the storage unit 111 stores, for example, the trained model delivered by the server 50.
  • the recognition unit 112 recognizes an object captured in the image based on the trained model stored in the storage unit 111, the image output by the image processing device 10, and the like.
  • the recognition unit 112 may recognize, for example, the type of the object, the position (distance) relative to the moving body 1, and the like.
  • the recognition unit 112 may be classified into, for example, a vehicle, a motorcycle, a bicycle, a human being, or the like as the type of the object.
  • the tracking unit 113 tracks the object recognized by the recognition unit 112 based on the image output by the image processing device 10 at each time point over each time point.
  • the control unit 114 controls the moving body 1 based on the distance between the moving body 1 and each object tracked by the tracking unit 113.
  • FIG. 5 is a flowchart showing an example of image correction processing by the image processing apparatus 10 according to the embodiment.
  • FIG. 6 is a diagram illustrating an example of a process of calculating a target value of the brightness of the frame to be processed this time according to the embodiment.
  • FIG. 7 is a diagram illustrating an example of a process of adjusting the correction amount according to the brightness of the pixels according to the embodiment.
  • FIG. 8 is a diagram illustrating an example of a halation detection region according to an embodiment.
  • FIG. 9 is a diagram illustrating an example of an output image according to the embodiment.
  • the following processing may be executed each time an image (frame) is taken by the image pickup apparatus 12, for example.
  • the image pickup apparatus 12 captures an image (frame) 60 times per second (60 fps)
  • the following processing is executed 60 times per second.
  • step S1 the acquisition unit 101 of the image processing device 10 acquires an image taken by the image pickup device 12 (hereinafter, also appropriately referred to as a "frame to be processed this time").
  • the image processing device 10 acquires an image having a screen resolution of N1 ⁇ M, in which the number of horizontal pixels is N1 and the number of vertical pixels is M.
  • the image processing device 10 may acquire, for example, an image of WUXGA (Wide Ultra-XGA) having a screen resolution of 1920 ⁇ 1200.
  • WUXGA Wide Ultra-XGA
  • the determination unit 102 of the image processing device 10 calculates the brightness (luminance) of the predetermined region (halation detection region) in the image (step S2).
  • the halation detection area is, for example, an area where halation occurs when a light source such as a street lamp is reflected in the halation detection area.
  • the halation detection area may be set in advance when the image processing device 10 is mounted on the moving body 1 and shipped.
  • the halation detection area may be set according to, for example, the type of the moving body 1 (for example, the vehicle type).
  • the halation detection region 802 is set to the upper region in the direction perpendicular to the moving surface of the moving body 1.
  • the number of vertical pixels in the halation detection region 802 may be, for example, a predetermined ratio (for example, 5%) of the number of vertical pixels in the input image.
  • the number of pixels on the side of the halation detection area 802 may be the same as the number of pixels on the side of the input image, for example.
  • the image processing device 10 may calculate a representative value of the value of each pixel included in the halation detection area as the brightness of the halation detection area.
  • the image processing apparatus 10 may use the average value, the median value, or the mode value (the peak of the appearance frequency in the histogram of the pixel values) as the representative value.
  • the value of each pixel may be, for example, the total value of the values of each bit of RGB.
  • the image processing device 10 may calculate the maximum value of the value of each pixel included in the halation detection area as the brightness of the halation detection area. Further, the image processing apparatus 10 may calculate the total value of the values of each pixel included in the halation detection area as the brightness of the halation detection area.
  • the determination unit 102 of the image processing device 10 determines the amount of brightness correction for the frame to be processed this time based on the brightness of the halation detection area of the frame to be processed this time (step S3). ..
  • the image processing device 10 corrects the brightness of the frame to be processed this time so as to reduce the fluctuation amount of the brightness between each frame previously acquired and the frame to be processed this time. May be determined.
  • the image processing apparatus 10 uses a predetermined filter function this time, for example, based on the brightness of the halation detection area in each frame acquired within a predetermined period up to now (for example, the latest 1 second).
  • the target value of brightness for the frame to be processed may be calculated.
  • the image processing apparatus 10 may use the value of the ratio of the target value and the brightness of the halation detection region of the frame to be processed this time as a coefficient for correction.
  • the image processing apparatus 10 may use a finite impulse response (FIR, Finite Impulse Response) filter as the predetermined filter function to calculate the moving average of the brightness with respect to the frame to be processed this time. Then, the image processing apparatus 10 sets the value of the moving average for the frame to be processed this time as the target value, and corrects the value of the ratio between the target value and the brightness of the halation detection area in the frame to be processed this time. It may be calculated as a coefficient of. Further, the image processing apparatus 10 may use an infinite impulse response (IIR, Infinite Impulse Response) filter as the predetermined filter function.
  • IIR Infinite Impulse Response
  • the transition 601 of the brightness of the halation detection area in the frame acquired (photographed) at each time point and the target value (for example, moving average) 602 calculated by using a predetermined filter function are shown. Has been done. Further, the time point (current time) 611 when the frame to be processed this time is acquired (photographed) and the brightness correction amount 612 for the frame to be processed this time are shown.
  • the correction amount 612 is the difference between the original brightness of the frame to be processed this time and the target value for the frame to be processed this time.
  • the image processing apparatus 10 may adjust the value of the coefficient for correcting the target value for each pixel according to the brightness of each pixel of the frame to be processed this time. ..
  • the image processing device 10 does not correct the pixel value whose brightness is less than the threshold value 701, and the correction coefficient increases as the brightness increases for the pixel value whose brightness is the threshold value 701 or more. Therefore, the coefficient 703 for the correction after adjustment is determined. Thereby, for example, it is possible to reduce the amount of correction of the brightness in the dark region of the frame to be processed this time.
  • the value of the correction coefficient for the pixel value whose brightness is less than the threshold value 701 is 1.
  • the coefficient for correction in the case of a brightness equal to the brightness of the halation detection area is a value of the ratio of the target value 711 to the brightness of the halation detection area of the frame to be processed this time.
  • the image processing device 10 corrects each area (an example of the “third area”) of the area included in the corrected image in the frame to be processed this time according to the distance from the halation detection area. You may determine the value of the coefficient for. In this case, the image processing apparatus 10 determines the correction coefficient so that the correction coefficient increases as the distance on the pixels from the halation detection area becomes shorter (the number of pixels in between decreases). May be good. As a result, for example, among the frames to be processed this time, the brightness correction amount can be reduced for the region far from the halation detection region, which is considered to be less susceptible to halation.
  • the image processing apparatus 10 divides, for example, the area included in the corrected image in the frame to be processed this time into a predetermined number (for example, three) areas in the horizontal direction, and divides the area into a predetermined number (for example, three) of the area on the lowermost side.
  • the value of the coefficient for correction may be set to 1 (no correction).
  • the intermediate region may be set to a value closer to 1 than the value of the correction coefficient in the uppermost region.
  • the generation unit 103 of the image processing device 10 generates an image (corrected image, output image) whose brightness is corrected according to the correction amount determined by the determination unit 102 based on the frame to be processed this time. (Step S4).
  • the image processing device 10 updates the pixel value of each pixel in the region included in the corrected image in the frame to be processed this time with a value obtained by multiplying the pixel value by a coefficient for correction. May generate a corrected image.
  • the image processing device 10 Even if the image processing device 10 corrects only a rectangular (rectangular) area that does not include the halation detection area among the frames to be processed this time, and generates a corrected image that includes only the area. good. As a result, the processing speed can be improved because the correction processing is not performed for each pixel in the halation detection area.
  • the image processing apparatus 10 horizontally excludes the halation detection area 802 from the total area 801 of the frame (input image) to be processed this time, which has a screen resolution of N1 ⁇ M.
  • the area 803 of N2 ⁇ M in which the number of pixels is N2 and the number of vertical pixels is M is corrected, and the corrected area 803 is generated as a corrected image (output image).
  • the image processing device 10 may generate an image of FHD (Full-HD) having a screen resolution of 1920 ⁇ 1080, for example.
  • the region 803 included in the corrected image of the frame to be processed this time is in the direction perpendicular to the moving surface (for example, the road surface) of the moving body 1 (the moving body 1 is a vehicle or the like). It is located below the halation detection area in the vertical direction, if any).
  • the output unit 104 of the image processing device 10 outputs the image generated by the generation unit 103 (step S5).
  • the street light 902 exists in the diagonally upward direction of the moving body 1 when the moving body 1 is traveling on the road 901, the street light 802 is in the halation detection area 802 of the image captured by the image pickup device 12. 902 is reflected.
  • the region 803 is corrected by the processing of steps S1 to S5 described above, and the corrected image is output.
  • the entire region 801 of FIG. 8 there is a region in which the halation detection region 802 and the region 803 are not arranged, but such a region may not be provided.
  • the ends of the halation detection area 802 and the area 803 may be arranged up to the ends of the entire area 801 or the halation detection area 802 and the area 803 may be arranged so that there is no space between them.
  • FIGS. 10A to 10C are diagrams illustrating an example of the configuration of the image pickup apparatus according to the embodiment.
  • the image pickup device 12 may have a mechanism for diffusing and taking an image from a light source such as a street lamp reflected in the halation detection area.
  • a light source such as a street lamp reflected in the halation detection area.
  • the image pickup device 12 is located in front of the portion of the sensor surface of the image sensor 122 that converts the light incident from the lens 121 into an electric signal, in front of the portion that images the halation detection region 123. It may have a diffuser 124.
  • the diffuser plate 124 is a member that diffuses light, and may be provided with irregularities on the surface of a substrate such as glass, acrylic, or film.
  • the light incident from the lens 121 is upside down by the lens 121, so that the portion for imaging the halation detection region 123 is the sensor surface of the image sensor (image sensor) 122. It is located below.
  • the image pickup apparatus 12 may have the diffuser plate 125 in front of the lens 121 at a position where the light incident on the halation detection region 123 from the lens 121 passes. ..
  • the diffuser plate 125 is a member that diffuses light, and may be provided with irregularities on the surface of a substrate such as glass, acrylic, or a film.
  • the image pickup apparatus 12 may have a wide-angle lens 126 in front of the lens 121 that collects the light incident on the halation detection region 123 from the lens 121 at a wide angle.
  • the image pickup device 12 may be a general image pickup device that does not have the above-mentioned light diffusing glass or the like.
  • the moving body 1 may use an image pickup device having an image sensor having a high dynamic range (for example, 24-bit) as the image pickup device 12.
  • the image processing device 10 captures a plurality of frames while changing the exposure by an image pickup device 12 having an image sensor having a low dynamic range (for example, 12 bits), and combines them to input a frame having a high dynamic range. May be generated as.
  • FIG. 11 is a diagram illustrating an example in which the image processing device 10 according to the embodiment is realized by an analog circuit.
  • the image processing apparatus 10 has a wiring 1101, an amplifier circuit 1101A, a determination circuit 1111, a wiring 1102, an amplifier circuit 1102A, a wiring 1103, and a wiring 1104.
  • the determination circuit 1111 has a differentiating circuit 1112 and an integrating circuit 1113.
  • a signal from the image pickup element that captures the halation detection region 123 of the sensor surface of the image sensor 122 is input to the determination circuit 1111 via the wiring 1101 and the amplifier circuit 1101A (for example, a line amplifier).
  • the determination circuit 1111 the time change of brightness is detected by the differentiating circuit 1112, and the low frequency component of the change in brightness is blocked by the integrating circuit 1113 (low-pass filter).
  • the wiring 1102 and the amplifier circuit 1102A (for example, a line amplifier) having one or more signals from the image pickup element that captures an area (for example, the area 803 of FIG. 8) other than the halation detection area 123 on the sensor surface of the image sensor 122. ) Is output.
  • the amplifier circuit 1102A for example, a line amplifier having one or more signals from the image pickup element that captures an area (for example, the area 803 of FIG. 8) other than the halation detection area 123 on the sensor surface of the image sensor 122. ) Is output.
  • a control signal (feedback current) based on the signal from the image pickup element in the halation detection region 123 is input from the determination circuit 1111 via the wiring 1103.
  • the amplifier circuit 1102A adjusts the amplification of the output of the image sensor in the region other than the halation detection region 123 based on the signal from the image sensor in the halation detection region 123 (for example, the time change of the current value). More specifically, when halation occurs in the halation detection region 123, the feedback current input to the amplifier circuit 1102A fluctuates, and the amplification amount in the amplifier circuit 1102A fluctuates based on the feedback current, so that the output image of the image is output. Reduce the brightness. As a result, the occurrence of halation can be suppressed.
  • Each functional unit of the image processing device 10 and the control device 11 may be realized by cloud computing provided by, for example, one or more computers. Further, the image processing device 10 and the control device 11 may be configured as an integrated device. Further, the image processing device 10 and the image pickup device 12 may be configured as an integrated device. Further, the server 50 may be configured to perform various processes of the image processing device 10. Further, the moving body 1 has a semiconductor device, and one semiconductor device may include an image processing device 10 and a control device 11. Further, the moving body 1 may have a plurality of semiconductor devices, one semiconductor device thereof may include an image processing device 10, and another semiconductor device may include a control device 11.
  • the brightness of each frame can be appropriately corrected. Therefore, for example, when displaying a moving image by each frame on an omnidirectional monitor, a back monitor, or the like, it is possible to reduce fluctuations in brightness (hunting) due to halation. Further, for example, it is considered that the detection accuracy of the object based on the image can be improved by reducing the ghost.
  • the image processing device 10 cannot perform processing on the frame to be processed this time until the pixel values of all the pixels of the frame are input from the image pickup device 12 and stored in the memory.
  • the correction amount is determined based only on each pixel in the halation detection area among the pixels of the frame, the correction amount is faster than the case where the correction amount is determined based on the entire frame. Correction processing can be executed (low lentency).
  • Control system 1 Mobile 10 Image processing device 101 Acquisition unit 102 Determination unit 103 Generation unit 104 Output unit 11 Control device 111 Storage unit 112 Recognition unit 113 Tracking unit 114 Control unit 12A Image pickup device 12B Image pickup device 12C Image pickup device 12D Image pickup device 12E Image pickup device 14 Wireless communication device 15 Sensor 16 Drive device 17 Lamp device 18 Navigation device 19 Display device 50 Server

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

画像処理装置が、移動体に搭載された撮像装置により撮像された第１画像を取得する取得部と、前記移動体の移動面に対する垂直方向で前記第１画像の第１領域よりも下側の第２領域の明るさを、前記第１領域の明るさに基づいて補正した第２画像を生成する生成部と、を有する。

Description

画像処理装置、画像処理方法、プログラム、及び画像処理システム
　本開示は、画像処理装置、画像処理方法、プログラム、及び画像処理システムに関する。
　従来、車載カメラで撮影された画像に基づいて、車両の後方、及び周囲の画像をナビゲーション装置の表示部等に表示する技術が知られている。これらは、例えば、それぞれ、バックモニタ、及びアラウンドビューモニタ等とも称されている。
　また、従来、車載カメラで撮影された画像に基づいて、運転支援、及び自動運転を行う技術も知られている。
特開２０１１－０５５４３７号公報
　しかしながら、従来技術では、車両が夜間に街灯の下を移動する等により、カメラの画角の一部に光源が存在する場合、ハレーション（フレア、ゴースト）が生じる場合がある。
　一側面では、各フレームの明るさを適切に補正できる技術を提供することを目的とする。
　一つの案では、画像処理装置が、移動体に搭載された撮像装置により撮像された第１画像を取得する取得部と、前記移動体の移動面に対する垂直方向で前記第１画像の第１領域よりも下側の第２領域の明るさを、前記第１領域の明るさに基づいて補正した第２画像を生成する生成部と、を有する。
　一側面によれば、各フレームの明るさを適切に補正することができる。
実施形態に係る制御システムの構成について説明する図である。 実施形態に係る移動体の構成の一例について説明する図である。 実施形態に係る画像処理装置、及び制御装置のハードウェア構成例について説明する図である。 実施形態に係る画像処理装置、及び制御装置の構成の一例を示す図である。 実施形態に係る画像処理装置による画像の補正処理の一例を示すフローチャートである。 実施形態に係る今回の処理対象のフレームの明るさの目標値を算出する処理の一例について説明する図である。 実施形態に係る画素の明るさに応じて補正量を調整する処理の一例について説明する図である。 実施形態に係るハレーション検出用領域の一例について説明する図である。 実施形態に係る出力画像の一例について説明する図である。 実施形態に係る撮像装置の構成の一例について説明する図である。 実施形態に係る撮像装置の構成の一例について説明する図である。 実施形態に係る撮像装置の構成の一例について説明する図である。 実施形態に係る画像処理装置をアナログ回路で実現する場合の例について説明する図である。
　以下、図面を参照して、本開示の実施形態を説明する。
　＜全体構成＞
　図１は、実施形態に係る制御システム５００の構成について説明する図である。図１の例では、制御システム５００は、移動体１、及びサーバ５０を有する。移動体１、及びサーバ５０の数は、図１の例に限定されない。
　移動体１とサーバ５０は、例えば、５Ｇ（5th Generation、第５世代移動通信システム）、４Ｇ、ＬＴＥ（Long Term Evolution）、３Ｇ等の携帯電話網、無線ＬＡＮ（Local Area Network）、及びインターネット等のネットワークを介して通信を行う。
　移動体１は、例えば、車輪により陸上を走行する車両、脚等で移動するロボット、航空機、無人航空機（ドローン(drone)）等の移動する機械である。なお、車両には、例えば、自動車、自動二輪車（モーターバイク(motorbike)）、車輪で移動するロボット、鉄道を走行する鉄道車両等が含まれる。なお、自動車には、道路を走行する自動車、路面電車、建設の用途に用いられる建設車両、軍事用の軍用車両、荷役運搬用の産業車両、農業用車両等も含まれる。
　サーバ５０は、例えば、移動体１の自動運転等に必要な各種のサービスを移動体１に提供する。
　≪撮像装置の配置例≫
　図１では、自動車である移動体１を真上から見た場合の外観が示されている。図１の例では、移動体１は、撮像装置１２Ａ、撮像装置１２Ｂ、撮像装置１２Ｃ、撮像装置１２Ｄ、及び撮像装置１２Ｅ（以下で、区別する必要がない場合は、単に「撮像装置１２」と称する。）を有する。
　撮像装置１２は、画像を撮影する装置である。撮像装置１２は、例えば、カメラでもよい。
　撮像装置１２Ａは、移動体１から見た後方（通常時の進行方向とは逆方向）を撮影する撮像装置（後方カメラ、リアカメラ、バックビューカメラ）である。撮像装置１２Ｂは、移動体１から見た左方を撮影する撮像装置（左方カメラ）である。撮像装置１２Ｃは、移動体１から見た右方を撮影する撮像装置（右方カメラ）である。撮像装置１２Ｄ、及び撮像装置１２Ｅは、移動体１から見た前方（通常時の進行方向）を撮影する撮像装置（前方カメラ）である。
　撮像装置１２は、例えば、運転者の運転操作を支援する先進運転支援システム（ＡＤＡＳ、Advanced driver-assistance systems）または、自動運転用の画像を撮影する撮像装置でもよい。また、撮像装置１２は、例えば、移動体１を真上から見たような画像を生成する全方位モニタ（アラウンドビュー、パノラミックビュー、マルチビュー、トップビュー）用の画像を撮影する各カメラでもよい。また、撮像装置１２は、例えば、移動体１の外部等の画像を記録するドライブレコーダ用の撮像装置でもよい。
　撮像装置１２Ａは、例えば、ルームミラー（バックミラー）モニタに表示させる画像を撮影するカメラでもよい。また、撮像装置１２Ａは、例えば、移動体１が後方に移動（バック）する際に、ナビゲーション装置１８の画面に表示させる画像を撮影するカメラでもよい。
　撮像装置１２Ｂは、例えば、左側のサイドミラーモニタに表示させる画像を撮影するカメラでもよい。撮像装置１２Ｃは、例えば、右側のサイドミラーモニタに表示させる画像を撮影するカメラでもよい。
　図１の例では、撮像装置１２Ｄは、移動体１の前面（移動体１が前進する場合の先端面）に設けられている。また、撮像装置１２Ｅは、移動体１のフロントガラスの内側である室内に設けられている。この場合、撮像装置１２Ｅは、例えば、室内の後写鏡（ルームミラー、バックミラー）の付近、フロントガラスの内側、及びダッシュボード等に設けられてもよい。
　なお、移動体１から見た前方（通常時の進行方向）を撮影する撮像装置１２Ｄ、及び撮像装置１２Ｅは、複数のカメラを有するステレオカメラでもよい。また、移動体１は、撮像装置１２Ｄ、及び撮像装置１２Ｅのいずれか一方のみを有してもよい。
　＜移動体１の構成＞
　図２は、実施形態に係る移動体１の構成の一例について説明する図である。図２の例では、移動体１は、画像処理装置１０、制御装置１１、撮像装置１２、ＥＣＵ１３、無線通信装置１４、センサ１５、駆動装置１６、ランプ装置１７、ナビゲーション装置１８、及び表示装置１９を有する。
　これら各部は、例えば、ＣＡＮ（Controller Area Network）、及びイーサネット（登録商標）等の内部ネットワーク（例えば、車載ネットワーク）により接続されている。
　画像処理装置１０は、撮像装置１２により各時点で撮影された画像（フレーム）に基づいて、ハンチングを低減するように明るさを補正した画像を生成する。また、画像処理装置１０は、生成した画像を、外部または内部の記録装置に記録してもよい。
　制御装置１１は、移動体１の各部を制御するコンピュータ（情報処理装置）である。制御装置１１は、画像処理装置１０により生成された画像に基づいて、移動体１の外部の物体を認識する。なお、当該物体には、例えば、他の車両、歩行者、自転車、白線、道路の側壁、及び障害物等が含まれてもよい。
　また、制御装置１１は、画像処理装置１０により生成された各時点の画像に基づいて、認識した物体を追跡する。制御装置１１は、検知した物体（認識した物体、及び追跡している物体）に基づいて、移動体１のＥＣＵ（Electronic Control Unit）１３等を制御することにより、移動体１の移動等を制御する。
　制御装置１１は、移動体１の移動等を制御することにより、例えば、運転者（ユーザ、ドライバ、搭乗者）が主制御系統（加速、操舵、制動等）の操作を行うレベル０から、無人運転を行うレベル５までのいずれかのレベルの自動運転を実現してもよい。
　ＥＣＵ１３は、移動体１の各装置を制御する装置である。なお、ＥＣＵ１３は、複数のＥＣＵを有してもよい。無線通信装置１４は、例えば、携帯電話網等の無線通信により、サーバ５０、及びインターネット上のサーバ等の、移動体１の外部の装置との通信を行う。
　センサ１５は、各種の情報を検出するセンサである。センサ１５は、例えば、移動体１の現在の位置情報を取得する位置センサを含んでもよい。なお、位置センサは、例えば、ＧＰＳ（Global Positioning System）等の衛星測位システムを利用するセンサでもよい。
　また、センサ１５は、移動体１の速度を検出する速度センサを含んでもよい。なお、速度センサは、例えば、車輪の車軸の回転数を測定するセンサでもよい。また、センサ１５は、移動体１の加速度を検出する加速度センサを含んでもよい。また、センサ１５は、移動体１のヨー軸角速度（ヨーレート）を検出するヨー軸角速度センサを含んでもよい。
　また、センサ１５は、運転者、及び制御装置１１による移動体１の操作量等を検出する操作センサを含んでもよい。なお、操作センサには、例えば、アクセルペダルの踏み込み量を検出するアクセルセンサ、ハンドル（ステアリング・ホイール）の回転角度を検出するステアリングセンサ、ブレーキペダルの踏み込み量を検出するブレーキセンサ、ギアの位置を検出するシフト位置センサ等が含まれてもよい。
　駆動装置１６は、移動体１を移動させるための各種装置である。駆動装置１６には、例えば、エンジン、操舵装置（ステアリング）、及び制動装置（ブレーキ）等が含まれてもよい。
　ランプ装置１７は、移動体１に搭載された各種灯具である。ランプ装置１７には、例えば、前照灯（ヘッドランプ、ヘッドライト）、右左折や進路変更（レーンチェンジ）の際にその方向を周囲に示すための方向指示器（ウインカー）のランプ、移動体１の後部に設けられ、ギアがリバースレンジの際に点灯するバックライト、及びブレーキランプ等が含まれてもよい。
　ナビゲーション装置１８は、目的地への経路を音声、及び表示により案内する装置（カーナビ）である。ナビゲーション装置１８には、地図情報が記録されていてもよい。また、ナビゲーション装置１８は、移動体１の現在位置の情報を、カーナビサービスを提供する外部サーバに送信し、移動体１の周辺の地図情報を当該外部サーバから取得してもよい。なお、地図情報には、例えば、交差点等の結節点を示すノード、及びノード間の道路区間であるリンクの情報等が含まれてもよい。
　表示装置１９は、画像処理装置１０により生成された画像等を表示する。表示装置１９は、例えば、移動体１が後進（バック）する際に、移動体１の後方等が撮影された画像を表示してもよい。なお、表示装置１９は、例えば、ナビゲーション装置１８から出力される画像を表示してもよい。
　＜コンピュータのハードウェア構成＞
　図３は、実施形態に係る画像処理装置１０、及び制御装置１１のハードウェア構成例について説明する図である。以下では、画像処理装置１０を例として説明する。制御装置１１のハードウェア構成は、画像処理装置１０のものと同様でもよい。
　図３の例では、画像処理装置１０は、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、及びインタフェース装置１００５等を有する。
　画像処理装置１０での処理を実現する情報処理プログラムは、記録媒体１００１によって提供される。情報処理プログラムを記録した記録媒体１００１がドライブ装置１０００にセットされると、情報処理プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、情報処理プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされた情報処理プログラムを格納すると共に、必要なファイルやデータ等を格納する。
　メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って処理を実行する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。
　なお、記録媒体１００１の一例としては、ＣＤ－ＲＯＭ、ＤＶＤディスク、又はＵＳＢメモリ等の可搬型の記録媒体が挙げられる。また、補助記憶装置１００２の一例としては、ＨＤＤ（Hard Disk Drive）又はフラッシュメモリ等が挙げられる。記録媒体１００１及び補助記憶装置１００２のいずれについても、コンピュータ読み取り可能な記録媒体に相当する。
　なお、画像処理装置１０は、例えば、アナログ回路、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）等の集積回路により実現されてもよい。
　＜画像処理装置１０、及び制御装置１１の構成＞
　次に、図４を参照し、画像処理装置１０、及び制御装置１１の構成について説明する。図４は、実施形態に係る画像処理装置１０、及び制御装置１１の構成の一例を示す図である。
　≪画像処理装置１０≫
　画像処理装置１０は、取得部１０１、決定部１０２、生成部１０３、及び出力部１０４を有する。これら各部は、画像処理装置１０にインストールされた１以上のプログラムと、画像処理装置１０のＣＰＵ１００４等のハードウェアとの協働により実現されてもよい。
　取得部１０１は、他の装置からデータを取得する。取得部１０１は、例えば、撮像装置１２で撮影された画像を当該撮像装置１２から取得する。
　決定部１０２は、取得部１０１により取得された画像の所定領域（ハレーション検出用領域。「第１領域」の一例。）の明るさに基づいて、画像の明るさの補正量を決定する。
　生成部１０３は、移動体１の移動面に対する垂直方向でハレーション検出用領域よりも下側の領域の明るさを、決定部１０２により決定された補正量に従って補正した画像（補正後の画像、出力画像）を生成する。
　出力部１０４は、生成部１０３により生成された画像を表示装置１９及び制御装置１１等に出力する。
　≪制御装置１１≫
　制御装置１１は、記憶部１１１、認識部１１２、追跡部１１３、及び制御部１１４を有する。これら各部は、制御装置１１にインストールされた１以上のプログラムと、制御装置１１のＣＰＵ等のハードウェアとの協働により実現されてもよい。
　記憶部１１１は、各種の情報を記憶する。記憶部１１１は、例えば、サーバ５０により配信された学習済みモデルを記憶する。
　認識部１１２は、記憶部１１１に記憶されている学習済みモデル、及び画像処理装置１０により出力された画像等に基づいて、当該画像に写されている物体を認識する。認識部１１２は、例えば、当該物体の種別、及び移動体１との相対的な位置（距離）等を認識してもよい。なお、認識部１１２は、物体の種別として、例えば、車両、自動二輪車、自転車、人間、その他等の種別に分類してもよい。
　追跡部１１３は、画像処理装置１０により各時点で出力された画像に基づいて認識部１１２により認識された物体を、当該各時点に渡って追跡する。
　制御部１１４は、移動体１と、追跡部１１３により追跡されている各物体との距離に基づいて、移動体１を制御する。
　＜処理＞
　次に、図５から図９を参照し、画像処理装置１０による画像の補正処理について説明する。図５は、実施形態に係る画像処理装置１０による画像の補正処理の一例を示すフローチャートである。図６は、実施形態に係る今回の処理対象のフレームの明るさの目標値を算出する処理の一例について説明する図である。図７は、実施形態に係る画素の明るさに応じて補正量を調整する処理の一例について説明する図である。図８は、実施形態に係るハレーション検出用領域の一例について説明する図である。図９は、実施形態に係る出力画像の一例について説明する図である。
　なお、以下の処理は、例えば、撮像装置１２により画像（フレーム）が撮影される度に実行されてもよい。この場合、例えば、撮像装置１２により１秒間に６０回（６０ｆｐｓ）画像（フレーム）が撮影される場合、以下の処理は、１秒間に６０回実行される。
　ステップＳ１において、画像処理装置１０の取得部１０１は、撮像装置１２により撮影された画像（以下で、適宜「今回の処理対象のフレーム」とも称する。）を取得する。ここで、画像処理装置１０は、横の画素数がＮ１、縦の画素数がＭの、Ｎ１×Ｍの画面解像度の画像を取得する。この場合、画像処理装置１０は、例えば、１９２０×１２００の画面解像度であるＷＵＸＧＡ（Wide Ultra-XGA）の画像を取得してもよい。
　続いて、画像処理装置１０の決定部１０２は、当該画像における所定領域（ハレーション検出用領域）の明るさ（輝度）を算出する（ステップＳ２）。ハレーション検出用領域は、例えば、ハレーション検出用領域に街灯等の光源が写り込むとハレーションが発生する領域である。なお、ハレーション検出用領域は、移動体１に画像処理装置１０が搭載されて出荷される際に、予め設定されていてもよい。ハレーション検出用領域は、例えば、移動体１の種別（例えば、車種）に応じて設定されてもよい。これにより、例えば、移動体１のフロントガラス内面での再反射によってハレーション（フレア、ゴースト）が生じる場合に、車種等毎のフロントガラスの形状及び材質と、撮像装置１２Ｅ等の取り付け位置等に応じて、ハレーション検出用領域を設定できる。なお、図８、及び図９の例では、ハレーション検出用領域８０２は、移動体１の移動面に対する垂直方向で上側の領域に設定されている。ハレーション検出用領域８０２の縦の画素数は、例えば、入力画像の縦の画素数の所定割合（例えば、５％）でもよい。また、ハレーション検出用領域８０２の横の画素数は、例えば、入力画像の横の画素数と同一でもよい。
　ここで、画像処理装置１０は、ハレーション検出用領域に含まれる各画素の値の代表値を、ハレーション検出用領域の明るさとして算出してもよい。この場合、画像処理装置１０は、平均値、中央値、または最頻値（画素値のヒストグラムにおける出現頻度のピーク）を、当該代表値としてもよい。なお、当該各画素の値は、例えば、ＲＧＢの各ビットの値の合計値でもよい。
　また、画像処理装置１０は、ハレーション検出用領域に含まれる各画素の値の最大値を、ハレーション検出用領域の明るさとして算出してもよい。また、画像処理装置１０は、ハレーション検出用領域に含まれる各画素の値の合計値を、ハレーション検出用領域の明るさとして算出してもよい。
　続いて、画像処理装置１０の決定部１０２は、今回の処理対象のフレームのハレーション検出用領域の明るさに基づいて、今回の処理対象のフレームに対する明るさの補正量を決定する（ステップＳ３）。ここで、画像処理装置１０は、以前に取得している各フレームと、今回の処理対象のフレームとの明るさの変動量を低減するように、今回の処理対象のフレームに対する明るさの補正量を決定してもよい。
　この場合、画像処理装置１０は、例えば、現在までの所定期間内（例えば、直近の１秒間）に取得している各フレームにおけるハレーション検出用領域の明るさに基づいて、所定のフィルタ関数により今回の処理対象のフレームに対する明るさの目標値を算出してもよい。そして、画像処理装置１０は、当該目標値と今回の処理対象のフレームのハレーション検出用領域の明るさとの比の値を、補正用の係数としてもよい。
　この場合、画像処理装置１０は、当該所定のフィルタ関数として、有限インパルス応答（ＦＩＲ、Finite Impulse Response）フィルタを用いて、今回の処理対象のフレームに対する明るさの移動平均を算出してもよい。そして、画像処理装置１０は、今回の処理対象のフレームに対する移動平均の値を目標値とし、当該目標値と、今回の処理対象のフレームにおけるハレーション検出用領域の明るさとの比の値を補正用の係数として算出してもよい。また、画像処理装置１０は、当該所定のフィルタ関数として、無限インパルス応答（ＩＩＲ、Infinite Impulse Response）フィルタを用いてもよい。
　図６の例では、各時点で取得（撮影）されたフレームにおけるハレーション検出用領域の明るさの推移６０１と、所定のフィルタ関数を用いて算出された目標値（例えば、移動平均）６０２が示されている。また、今回の処理対象のフレームが取得（撮影）された時点（現時点）６１１、及び今回の処理対象のフレームに対する明るさの補正量６１２が示されている。なお、補正量６１２は、今回の処理対象のフレームの元の明るさと、今回の処理対象のフレームに対する目標値との差である。
　また、画像処理装置１０は、図７に示すように、今回の処理対象のフレームの各画素の明るさに応じて、当該各画素に対する目標値の補正用の係数の値を調整してもよい。図７の例では、画像処理装置１０は、明るさが閾値７０１未満の画素値については補正せず、明るさが閾値７０１以上の画素値について、明るさが大きくなるに従って補正用の係数が大きくなるように、調整後の補正用の係数７０３を決定している。これにより、例えば、今回の処理対象のフレームのうち、暗い領域の明るさの補正量を低減することができる。
　図７の例では、明るさが閾値７０１未満の画素値に対する補正用の係数の値は１である。また、ハレーション検出用領域の明るさと等しい明るさの場合の補正用の係数は、目標値７１１と今回の処理対象のフレームのハレーション検出用領域の明るさとの比の値とされている。
　また、画像処理装置１０は、今回の処理対象のフレームのうち補正後の画像に含まれる領域の各領域（「第３領域」の一例。）について、ハレーション検出用領域からの距離に応じて補正用の係数の値を決定してもよい。この場合、画像処理装置１０は、ハレーション検出用領域からの画素上の距離が近くなる（間の画素数が少なくなる）に従って補正用の係数が大きくなるように、補正用の係数を決定してもよい。これにより、例えば、今回の処理対象のフレームのうち、ハレーションの影響を受けにくいと考えられる、ハレーション検出用領域から離れている領域については、明るさの補正量を低減させることができる。
　この場合、画像処理装置１０は、例えば、今回の処理対象のフレームのうち補正後の画像に含まれる領域を、横方向に所定数（例えば３つ）の領域に分割し、一番下側の領域については補正用の係数の値を１（補正無し）としてもよい。そして、中間の領域については、一番上側の領域の補正用の係数の値よりも１に近い値としてもよい。
　続いて、画像処理装置１０の生成部１０３は、今回の処理対象のフレームに基づいて、決定部１０２により決定された補正量に従って明るさを補正した画像（補正後の画像、出力画像）を生成する（ステップＳ４）。ここで、画像処理装置１０は、今回の処理対象のフレームのうち、補正後の画像に含まれる領域の各画素の画素値を、当該画素値に補正用の係数を乗算した値で更新することにより、補正後の画像を生成してもよい。
　画像処理装置１０は、今回の処理対象のフレームのうち、ハレーション検出用領域を含まない矩形（長方形）の領域のみに対して補正を行い、当該領域のみを含む補正後の画像を生成してもよい。これにより、ハレーション検出用領域の各画素に対しては補正の処理を行わないため、処理速度を向上できる。この場合、画像処理装置１０は、図８に示すように、Ｎ１×Ｍの画面解像度である今回の処理対象のフレーム（入力画像）の全領域８０１のうち、ハレーション検出用領域８０２を除く、横の画素数がＮ２、縦の画素数がＭの、Ｎ２×Ｍの領域８０３を補正し、補正後の領域８０３を補正後の画像（出力画像）として生成する。この場合、画像処理装置１０は、例えば、１９２０×１０８０の画面解像度であるＦＨＤ（Full-HD）の画像を生成してもよい。
　なお、図８に示すように、今回の処理対象のフレームのうち補正後の画像に含まれる領域８０３は、移動体１の移動面（例えば、路面）に対する垂直方向（移動体１が車両等である場合は鉛直方向）でハレーション検出用領域よりも下側に位置する。
　続いて、画像処理装置１０の出力部１０４は、生成部１０３により生成された画像を出力する（ステップＳ５）。図９の例では、移動体１が道路９０１を走行している際に移動体１の斜め上方向に街灯９０２が存在するため、撮像装置１２により撮像された画像のハレーション検出用領域８０２に街灯９０２が写り込んでいる。この場合、上述したステップＳ１からステップＳ５の処理により、領域８０３が補正されて補正後の画像として出力される。なお、図８の全領域８０１において、ハレーション検出用領域８０２及び領域８０３が配置されない領域があるが、このような領域を設けないものとしてもよい。また、ハレーション検出用領域８０２や領域８０３の端が全領域８０１の端まで配置されたり、ハレーション検出用領域８０２と領域８０３とが、その間に間隔がないように配置されたりしてもよい。
　（撮像装置１２について）
　次に、図１０Ａから１０Ｃを参照し、実施形態に係る撮像装置の構成の一例について説明する。図１０Ａから１０Ｃは、実施形態に係る撮像装置の構成の一例について説明する図である。
　撮像装置１２は、ハレーション検出用領域に写り込む街灯等の光源からの光を拡散させて撮像する機構を有してもよい。これにより、例えば、当該機構がない場合には街灯等の光源からの光を撮像する画素における画素値がダイナミックレンジ（露光可能な光の範囲）を超える場合であっても、当該機構により光が拡散されるため各画素値をダイナミックレンジ以下とすることができる。そのため、上述した図５のステップＳ１からステップＳ５の処理により、より適切に補正することができる。
　この場合、撮像装置１２は、図１０Ａに示すように、レンズ１２１から入射される光を電気信号に変換するイメージセンサ１２２のセンサ面のうち、ハレーション検出用領域１２３を撮像する部分の前方に、拡散板１２４を有してもよい。なお、拡散板１２４は、光を拡散する部材であり、例えば、ガラス、アクリル、またはフィルム等の基盤の表面に凹凸が設けられていてもよい。
　なお、図１０Ａの例では、レンズ１２１から入射される光は、レンズ１２１により上下が反転されているため、ハレーション検出用領域１２３を撮像する部分は、イメージセンサ（撮像素子）１２２のセンサ面の下方に位置している。
　また、撮像装置１２は、図１０Ｂに示すように、レンズ１２１の前方であって、レンズ１２１からハレーション検出用領域１２３に入射される光が通過する位置に、拡散板１２５を有してもよい。なお、拡散板１２５は、光を拡散する部材であり、例えば、ガラス、アクリル、またはフィルム等の基盤の表面に凹凸が設けられていてもよい。
　また、撮像装置１２は、図１０Ｃに示すように、レンズ１２１の前方に、レンズ１２１からハレーション検出用領域１２３に入射される光を広角で集光する広角レンズ１２６を有してもよい。
　なお、撮像装置１２は、上述した光拡散ガラス等を有しない一般的な撮像装置でもよい。この場合、移動体１は、撮像装置１２として、ダイナミックレンジが高い（例えば、２４ｂｉｔ）イメージセンサを有する撮像装置を用いてもよい。
　また、画像処理装置１０は、ダイナミックレンジが低い（例えば、１２ｂｉｔ）イメージセンサを有する撮像装置１２により露出を変えながら複数のフレームを撮影させ、それらを合成することで高いダイナミックレンジのフレームを入力画像として生成してもよい。
　（アナログ回路で実施する例）
　画像処理装置１０の各機能部の処理のうち少なくとも一部は、例えば、アナログ回路により実行されてもよい。図１１は、実施形態に係る画像処理装置１０をアナログ回路で実現する場合の例について説明する図である。図１１の例では、画像処理装置１０は、配線１１０１、増幅回路１１０１Ａ、決定回路１１１１、配線１１０２、増幅回路１１０２Ａ、配線１１０３、及び配線１１０４を有する。また、決定回路１１１１は、微分回路１１１２、及び積分回路１１１３を有する。
　図１１の例では、イメージセンサ１２２のセンサ面のうちハレーション検出用領域１２３を撮影する撮像素子からの信号が配線１１０１、及び増幅回路１１０１Ａ（例えば、ラインアンプ）を介して決定回路１１１１に入力される。決定回路１１１１では、微分回路１１１２により明るさの時間変化を検出し、積分回路１１１３（ローパスフィルタ）により明るさの変化のうち低周波成分を遮断する。
　また、イメージセンサ１２２のセンサ面のうちハレーション検出用領域１２３以外の領域（例えば、図８の領域８０３）を撮影する撮像素子からの信号が１以上の配線１１０２及び増幅回路１１０２Ａ（例えば、ラインアンプ）を介して出力される。
　また、増幅回路１１０２Ａには、ハレーション検出領域１２３の撮像素子からの信号に基づく制御信号（フィードバック電流）が配線１１０３を介して決定回路１１１１から入力される。増幅回路１１０２Ａは、ハレーション検出領域１２３の撮像素子からの信号（例えば、電流値の時間変化）に基づいて、ハレーション検出領域１２３以外の領域の撮像素子の出力の増幅を調整する。より具体的には、ハレーション検出領域１２３でハレーションが生じた場合、増幅回路１１０２Ａに入力されるフィードバック電流が変動し、それに基づいて増幅回路１１０２Ａにおける増幅量が変動することにより、出力される画像の明るさを低減させる。これにより、ハレーションの発生を抑制することができる。
　＜変形例＞
　画像処理装置１０、及び制御装置１１の各機能部は、例えば１以上のコンピュータにより提供されるクラウドコンピューティングにより実現されていてもよい。また、画像処理装置１０、及び制御装置１１を一体の装置として構成してもよい。また、画像処理装置１０、及び撮像装置１２を一体の装置として構成してもよい。また、画像処理装置１０の各種処理をサーバ５０にて行う構成としてもよい。また、移動体１は半導体装置を有し、１つの半導体装置に画像処理装置１０及び制御装置１１が含まれてもよい。また、移動体１は複数の半導体装置を有し、その１つの半導体装置に画像処理装置１０が含まれ、別の１つの半導体装置に制御装置１１が含まれてもよい。
　＜本開示の効果＞
　従来、移動体１が夜間に街灯の下を移動する等により、フロントガラス等の移動体１の筐体のガラス、及び撮像装置１２のレンズでの再反射等によってハレーション（フレア、ゴースト）が生じる場合がある。
　本開示によれば、各フレームの明るさを適切に補正することができる。そのため、例えば、全方位モニタ及びバックモニタ等に各フレームによる動画を表示させる際に、ハレーションにより明るさが変動すること（ハンチング）を低減できる。また、例えば、ゴーストを低減すること等により、画像に基づく物体の検出精度を向上させることができると考えられる。
　また、フレーム全体に基づいて補正量を決定する場合、フレーム全体の明るさを算出する必要がある。さらに、画像処理装置１０がフレームの全画素の画素値が撮像装置１２から入力されてメモリに蓄積されるまでは今回の処理対象のフレームに対する処理を行うことができない。
　一方、本開示の技術では、フレームの各画素のうち、ハレーション検出用領域の各画素のみに基づいて補正量を決定するため、フレーム全体に基づいて補正量を決定する場合と比較してより高速（低レンテンシ）に補正処理を実行できる。
　以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
５００　制御システム
１　移動体
１０　画像処理装置
１０１　取得部
１０２　決定部
１０３　生成部
１０４　出力部
１１　制御装置
１１１　記憶部
１１２　認識部
１１３　追跡部
１１４　制御部
１２Ａ　撮像装置
１２Ｂ　撮像装置
１２Ｃ　撮像装置
１２Ｄ　撮像装置
１２Ｅ　撮像装置
１４　無線通信装置
１５　センサ
１６　駆動装置
１７　ランプ装置
１８　ナビゲーション装置
１９　表示装置
５０　サーバ

Claims (8)

  1. 　移動体に搭載された撮像装置により撮像された第１画像を取得する取得部と、
    　前記移動体の移動面に対する垂直方向で前記第１画像の第１領域よりも下側の第２領域の明るさを、前記第１領域の明るさに基づいて補正した第２画像を生成する生成部と、
    　前記第２画像を出力する出力部と、
    を有する画像処理装置。
  2. 　前記生成部は、
    　前記第２領域を含み、前記第１領域を含まない前記第２画像を生成する、
    請求項１に記載の画像処理装置。
  3. 　前記生成部は、
    　前記第２領域に含まれる各画素の明るさに基づいて、当該各画素の明るさを補正する、
    請求項１または２に記載の画像処理装置。
  4. 　前記生成部は、
    　前記第１領域から、前記第２領域に含まれる第３領域までの距離に基づいて、前記第３領域の明るさを補正する、
    請求項１から３のいずれか一項に記載の画像処理装置。
  5. 　前記第１領域は、拡散板を介して前記撮像装置により撮像される、
    請求項１から４のいずれか一項に記載の画像処理装置。
  6. 　画像処理装置が、
    　移動体に搭載された撮像装置により撮像された第１画像を取得する処理と、
    　前記移動体の移動面に対する垂直方向で前記第１画像の第１領域よりも下側の第２領域の明るさを、前記第１領域の明るさに基づいて補正した第２画像を生成する処理と、
    　前記第２画像を出力する処理と、
    を実行する画像処理方法。
  7. 　画像処理装置に、
    　移動体に搭載された撮像装置により撮像された第１画像を取得する処理と、
    　前記移動体の移動面に対する垂直方向で前記第１画像の第１領域よりも下側の第２領域の明るさを、前記第１領域の明るさに基づいて補正した第２画像を生成する処理と、
    　前記第２画像を出力する処理と、
    を実行させるプログラム。
  8. 　画像処理装置と、移動体に搭載される撮像装置とを含む画像処理システムであって、
    　前記画像処理装置は、
    　前記撮像装置により撮像された第１画像を取得する取得部と、
    　前記移動体の移動面に対する垂直方向で前記第１画像の第１領域よりも下側の第２領域の明るさを、前記第１領域の明るさに基づいて補正した第２画像を生成する生成部と、
    　前記第２画像を出力する出力部と、
    を有する画像処理システム。
PCT/JP2020/042934 2020-11-18 2020-11-18 画像処理装置、画像処理方法、プログラム、及び画像処理システム WO2022107235A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022563300A JPWO2022107235A1 (ja) 2020-11-18 2020-11-18
PCT/JP2020/042934 WO2022107235A1 (ja) 2020-11-18 2020-11-18 画像処理装置、画像処理方法、プログラム、及び画像処理システム
US18/317,599 US20230289938A1 (en) 2020-11-18 2023-05-15 Image processing device, image processing method, program, and image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/042934 WO2022107235A1 (ja) 2020-11-18 2020-11-18 画像処理装置、画像処理方法、プログラム、及び画像処理システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/317,599 Continuation US20230289938A1 (en) 2020-11-18 2023-05-15 Image processing device, image processing method, program, and image processing system

Publications (1)

Publication Number Publication Date
WO2022107235A1 true WO2022107235A1 (ja) 2022-05-27

Family

ID=81708544

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/042934 WO2022107235A1 (ja) 2020-11-18 2020-11-18 画像処理装置、画像処理方法、プログラム、及び画像処理システム

Country Status (3)

Country Link
US (1) US20230289938A1 (ja)
JP (1) JPWO2022107235A1 (ja)
WO (1) WO2022107235A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010135946A (ja) * 2008-12-02 2010-06-17 Canon Inc 撮像装置、その制御方法及びプログラム
JP2019029851A (ja) * 2017-07-31 2019-02-21 ソニーセミコンダクタソリューションズ株式会社 カメラモジュールおよび撮像装置
JP2020162013A (ja) * 2019-03-27 2020-10-01 京セラ株式会社 画像処理装置、撮像装置、移動体及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010135946A (ja) * 2008-12-02 2010-06-17 Canon Inc 撮像装置、その制御方法及びプログラム
JP2019029851A (ja) * 2017-07-31 2019-02-21 ソニーセミコンダクタソリューションズ株式会社 カメラモジュールおよび撮像装置
JP2020162013A (ja) * 2019-03-27 2020-10-01 京セラ株式会社 画像処理装置、撮像装置、移動体及び画像処理方法

Also Published As

Publication number Publication date
JPWO2022107235A1 (ja) 2022-05-27
US20230289938A1 (en) 2023-09-14

Similar Documents

Publication Publication Date Title
US11910099B2 (en) Real-time HDR video for vehicle control
AU2018397461B2 (en) Multiple operating modes to expand dynamic range
US20150353011A1 (en) Apparatus for providing around view and vehicle including the same
US10491807B2 (en) Method to use vehicle information and sensors for photography and video viewing recording
JP2016134129A (ja) 映像表示システム、処理装置、映像表示方法、及び映像表示プログラム
US12101580B2 (en) Display control apparatus, display control method, and program
WO2017195459A1 (ja) 撮像装置、および撮像方法
JP2022126659A (ja) 車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム
JP2019186622A (ja) 画像処理装置
WO2022107235A1 (ja) 画像処理装置、画像処理方法、プログラム、及び画像処理システム
JP5716944B2 (ja) 車載カメラ装置
WO2019194014A1 (ja) 画像処理装置
US11776163B1 (en) Systems, methods, and apparatus for correcting desaturation of images with transformed color values by appling a matrix
JP7122394B2 (ja) 撮像部制御装置
JP2022149731A (ja) 制御装置、制御装置の動作方法及びプログラム
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
WO2022153888A1 (ja) 固体撮像装置、固体撮像装置の制御方法及び固体撮像装置の制御プログラム
WO2021245935A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102244026B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP7554699B2 (ja) 画像処理装置および画像処理方法、車両用制御装置、プログラム
JP2023076697A (ja) 評価装置
KR20240118670A (ko) 화상 처리 시스템, 이동가능 장치, 화상 처리 방법, 및 저장 매체
JP2024079872A (ja) 表示制御装置、表示制御方法およびプログラム
JP2023115753A (ja) 遠隔操作システム、遠隔操作制御方法、及び遠隔オペレータ端末
JP2021166021A (ja) 情報処理装置および情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20962399

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022563300

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20962399

Country of ref document: EP

Kind code of ref document: A1