WO2020195610A1 - 画像処理装置、撮像装置、移動体及び画像処理方法 - Google Patents

画像処理装置、撮像装置、移動体及び画像処理方法 Download PDF

Info

Publication number
WO2020195610A1
WO2020195610A1 PCT/JP2020/008960 JP2020008960W WO2020195610A1 WO 2020195610 A1 WO2020195610 A1 WO 2020195610A1 JP 2020008960 W JP2020008960 W JP 2020008960W WO 2020195610 A1 WO2020195610 A1 WO 2020195610A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processor
adjustment
display
moving body
Prior art date
Application number
PCT/JP2020/008960
Other languages
English (en)
French (fr)
Inventor
祐也 松原
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to US17/442,964 priority Critical patent/US20220191449A1/en
Publication of WO2020195610A1 publication Critical patent/WO2020195610A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing

Definitions

  • the present disclosure relates to an image processing device, an imaging device, a moving body, and an image processing method.
  • the image pickup device is used for displaying the situation around the vehicle, which is difficult for the driver to see directly, to the driver.
  • the imaging device recognizes people around the vehicle, obstacles such as other vehicles, lanes on the road surface, etc., and warns the driver to avoid collision of the vehicle, automatic braking control, etc. It is also used for driving support such as accelerator control for auto cruise control.
  • the image pickup device generally has a function of automatically adjusting the captured image in order to reproduce a natural image.
  • the automatic adjustments include color adjustments including auto white balance and brightness adjustments including automatic exposure (AE).
  • Imaging devices used in vehicles generally capture images including roads and the sky. However, if the sky is included in a part of the image and the white balance is adjusted based on the blue of the sky, the subject may be reddish or yellowish and the color reproducibility may be deteriorated. Therefore, a method of setting the photometric range for auto white balance so as not to include the sky has been proposed (see, for example, Patent Document 1).
  • the image processing apparatus of the present disclosure includes an input interface and at least one processor.
  • the input interface is configured to acquire an image of the peripheral region of the moving body.
  • the at least one processor is configured to process the image.
  • the at least one processor has a first process of detecting a movable region of the moving body from the image and a second process of calculating adjustment parameters for adjusting the image based on the movable region. It is configured to perform processing.
  • the image pickup device of the present disclosure is an image pickup device mounted on a moving body, and includes an optical system, an image pickup element, and at least one processor.
  • the image sensor is configured to capture an image of a peripheral region imaged by the optical system.
  • the at least one processor is configured to process the image.
  • the at least one processor has a first process of detecting a movable region of the moving body from the image and a second process of calculating adjustment parameters for adjusting the image based on the movable region. It is configured to perform processing.
  • the moving body of the present disclosure includes an imaging device.
  • the image pickup device includes an optical system, an image pickup device, and at least one processor.
  • the image sensor is configured to capture an image of a peripheral region imaged by the optical system.
  • the at least one processor is configured to process the image.
  • the at least one processor executes a first process of detecting a movable region from the image and a second process of calculating adjustment parameters for adjusting the image based on the movable region. It is configured to do.
  • the image processing method of the present disclosure includes acquiring an image obtained by capturing an image of a peripheral region of a moving body and detecting a region in which the moving body can move from the image.
  • the imaging method includes calculating adjustment parameters for adjusting the image based on the movable region.
  • the imaging method further comprises adjusting the image based on the adjustment parameters to generate an image for display.
  • FIG. 1 is a diagram showing a vehicle equipped with an imaging device according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing a schematic configuration of an image pickup apparatus according to an embodiment.
  • FIG. 3 is a diagram showing an example of a schematic configuration of the calculation unit of FIG.
  • FIG. 4 is a diagram showing an example of an image in which the peripheral region of the moving body is captured.
  • FIG. 5 is an image diagram of free space detection based on the image shown in FIG.
  • FIG. 6 is a flowchart showing an example of the processing procedure of the image processing apparatus.
  • the image processing device, the image pickup device, the vehicle equipped with the image processing device, and the image processing method executed by these devices according to the embodiment of the present disclosure described below are not easily affected by the imaging environment, and stable image adjustment is performed. It can be carried out.
  • FIG. 1 is a diagram illustrating a mounting position of an image pickup device 10 in a vehicle 1 as an example of a moving body.
  • the image pickup device 10 mounted on the vehicle 1 can be called an in-vehicle camera.
  • the image pickup device 10 can be installed at various locations in the vehicle 1.
  • the image pickup device 10a can be arranged at or near the front bumper as a camera for monitoring the front when the vehicle 1 is traveling.
  • the image pickup device 10b for monitoring the front can be arranged in the vicinity of the rear view mirror in the vehicle interior of the vehicle 1.
  • the image pickup apparatus 10c can be installed at the rear of the vehicle 1 for the rear monitor of the vehicle 1.
  • the image pickup device 10 is not limited to these, and includes an image pickup device 10 installed at various positions such as a left side camera that images the left rear side and a right side camera that images the right rear side.
  • the image signal of the image captured by the image pickup device 10 can be output to the information processing device 2 in the vehicle 1, the display device 3, or the like.
  • the information processing device 2 in the vehicle 1 includes a device that assists the driver in driving based on the information obtained from the image.
  • the information processing device 2 includes, but is not limited to, for example, a navigation device, a collision damage mitigation braking device, an inter-vehicle distance control device, a lane departure warning system, and the like.
  • the display device 3 can receive an image signal directly from the image pickup device 10 or via the information processing device 2.
  • the display device 3 may employ, but is not limited to, a liquid crystal display (LCD: Liquid Crystal Display), an organic EL (Electro-Luminescence) display, and an inorganic EL display.
  • LCD liquid crystal display
  • organic EL Electro-Luminescence
  • the display device 3 can display the image output by the image pickup device 10 in various situations.
  • the display device 3 can display to the driver an image signal output from the image pickup device 10 that captures an image at a position that is difficult for the driver to see, such as a rear camera.
  • the "moving body” in the present disclosure includes vehicles, ships, and aircraft.
  • Vehicles in the present disclosure include, but are not limited to, automobiles and industrial vehicles, and may include railway vehicles, living vehicles, and fixed-wing aircraft traveling on runways.
  • Automobiles include, but are not limited to, passenger cars, trucks, buses, motorcycles, trolley buses and the like, and may include other vehicles traveling on the road.
  • Industrial vehicles include industrial vehicles for agriculture and construction.
  • Industrial vehicles include, but are not limited to, forklifts and golf carts.
  • Industrial vehicles for agriculture include, but are not limited to, tractors, cultivators, transplanters, binders, combines, and lawnmowers.
  • Industrial vehicles for construction include, but are not limited to, bulldozers, scrapers, excavators, cranes, dump trucks, and road rollers. Vehicles include those that run manually. The classification of vehicles is not limited to the above. For example, an automobile may include an industrial vehicle that can travel on the road and may include the same vehicle in multiple categories. Ships in the present disclosure include marine jets, boats and tankers. Aircraft in the present disclosure include fixed-wing aircraft and rotary-wing aircraft. In the following, the "moving body” will be described as being a “vehicle”. In the following embodiments, "vehicle" can be read as "moving body".
  • the image pickup device 10 includes an optical system 11, an image pickup device 12, and an image processing device 13.
  • the optical system 11, the image sensor 12, and the image processing device 13 may be housed in one housing.
  • the optical system 11, the image sensor 12, and the image processing device 13 may be housed in a separate housing.
  • the optical system 11 is configured to form an image of a subject in a peripheral region of the vehicle 1 incident on the image pickup device 10 on the image pickup surface of the image pickup device 12.
  • the optical system 11 is composed of one or more optical elements.
  • the optical element can include a lens.
  • Optical elements may include other optical elements such as mirrors, diaphragms, optical filters and the like.
  • the image sensor 12 captures an image of the peripheral region of the vehicle 1 imaged by the optical system 11.
  • the image sensor 12 any one of a CCD image sensor (Charge-Coupled Device Image Sensor) and a solid-state image sensor including a CMOS image sensor (Complementary MOS Image Sensor) can be adopted.
  • the image sensor 12 can convert the image of the peripheral region into an electric signal and output it by photoelectrically converting the light formed on the light receiving surface.
  • the image sensor 12 can continuously capture an image of a peripheral region at a desired frame rate, for example.
  • the image processing device 13 is configured to perform various processes on the image output from the image sensor 12.
  • the image processing device 13 includes an input interface 14, a calculation unit 15, and an output interface 16.
  • the input interface 14 becomes unnecessary.
  • the image processing device 13 can be configured as an independent device that acquires an image from the outside.
  • the input interface 14 is configured to acquire an image from the outside of the image processing device 13.
  • the image processing device 13 included in the image pickup device 10 is configured to acquire an image from the image pickup device 12.
  • the input interface 14 has a connector according to the transmission method of the input image signal.
  • the input interface 14 includes a physical connector.
  • Physical connectors include electrical connectors that support transmission by electrical signals, optical connectors that support transmission by optical signals, and electromagnetic connectors that support transmission by electromagnetic waves.
  • Electrical connectors include IEC60603 compliant connector, USB standard compliant connector, RCA terminal compatible connector, EIAJ CP-1211A S terminal compatible connector, and EIAJ RC-5237 D terminal. Includes connectors that support HDMI, HDMI (registered trademark) standards, and connectors that support coaxial cables, including BNC.
  • Optical connectors include various connectors that comply with IEC 61754.
  • the input interface 14 can include a wireless communication device.
  • Wireless communication devices include wireless communication devices that comply with each standard including Bluetooth (registered trademark) and IEEE 802.11.
  • the wireless communication device includes at least one antenna.
  • the input interface 14 performs processing such as protocol processing and demodulation related to reception on the acquired image signal, and delivers it to the calculation unit 15.
  • the calculation unit 15 adjusts the display image (hereinafter, appropriately referred to as “display image”) based on the first process of detecting the movable area of the vehicle 1 and the movable area of the vehicle 1. It is configured to perform a second process of calculating the adjustment parameters of.
  • the arithmetic unit 15 includes one or more processors.
  • the "processor” in the present disclosure may include a dedicated processor specialized for a specific process and a general-purpose processor that executes a specific function by reading a specific program.
  • the dedicated processor may include a DSP (Digital Signal Processor) and an application specific integrated circuit (ASIC).
  • the processor may include a programmable logic device (PLD).
  • the PLD may include an FPGA (Field-Programmable Gate Array).
  • the arithmetic unit 15 may be either a SoC (System-on-a-Chip) in which one or a plurality of processors cooperate, or a SiP (System In a Package).
  • the processor may include programs for various processes and one or more memories for storing information during operations.
  • the memory includes a volatile memory and a non-volatile memory.
  • the calculation unit 15 is configured to make various adjustments to the image acquired from the input interface 14 and to recognize the subject and free space included in the image.
  • "Free space” means a movable area of a moving body. When the moving body on which the image pickup device 10 is mounted is the vehicle 1, the "free space” means a region (road surface region) of the road surface on which the vehicle 1 can travel.
  • the calculation unit 15 may control the entire image processing device 13. Further, the calculation unit 15 may control the entire image pickup apparatus 10.
  • the calculation unit 15 may control the image sensor 12 to execute continuous imaging at an arbitrary frame rate.
  • the calculation unit 15 may sequentially acquire the images continuously captured by the image sensor 12.
  • the calculation unit 15 may appropriately output a display image, information obtained by image processing, and the like via the output interface 16 described later. The details of the image processing performed by the calculation unit 15 will be described later.
  • the output interface 16 is configured to output a display image and information obtained by other image processing from the image processing device 13.
  • the output interface 16 may modulate the transmitted information for information transmission and perform protocol processing.
  • a physical connector and a wireless communication device can be adopted.
  • the output interface 16 can be connected to a vehicle network such as CAN (Control Area Network).
  • the image processing device 13 is connected to the information processing device 2 of the vehicle, the display device 3, and the like via CAN.
  • the information output via the output interface 16 is appropriately used by each of the information processing device 2 and the display device 3.
  • the input interface 14 and the output interface 16 are separated, but the present invention is not limited to this.
  • the input interface 14 and the output interface 16 may be embodied by one communication interface unit.
  • the calculation unit 15 performs image recognition processing including detection of the subject and free space on the acquired image of the peripheral area of the vehicle 1 (hereinafter, appropriately referred to as “peripheral image”) and displays it on the display device 3. It is configured to perform display image generation processing including image adjustment and display image generation. Therefore, the calculation unit 15 includes each functional block of the recognition image adjustment unit 17, the image recognition unit 18, the adjustment parameter calculation unit 19, the display image adjustment unit 20, and the display image generation unit 21. be able to.
  • the recognition image adjustment unit 17 and the image recognition unit 18 are configured to execute the image recognition process.
  • the display image adjustment unit 20 and the display image generation unit 21 are configured to execute the display image generation process.
  • the adjustment parameter calculation unit 19 is configured to calculate an image adjustment parameter (hereinafter, referred to as an adjustment parameter) used in the display image generation process.
  • the adjustment parameters can also be used for image recognition processing.
  • Each functional block of the arithmetic unit 15 may be a hardware module or a software module.
  • the operation executed by each functional block can be rephrased as that executed by the arithmetic unit 15.
  • the operation executed by the arithmetic unit 15 can be rephrased as being executed by at least one processor constituting the arithmetic unit 15.
  • the functions of each functional block may be distributed and executed by a plurality of processors. Also, a single processor may perform the functions of multiple functional blocks.
  • the calculation unit 15 can adopt various hardware configurations.
  • the arithmetic unit 15 includes an image signal processing circuit 22, a distortion correction circuit 23, an image recognition circuit 24, and a control circuit 25, each including one or more processors as shown in FIG. ..
  • the image signal processing circuit 22, the distortion correction circuit 23, the image recognition circuit 24, and the control circuit 25 may each include one or more memories.
  • Each functional block of the arithmetic unit 15 can execute processing by using the image signal processing circuit 22, the distortion correction circuit 23, the image recognition circuit 24, and the control circuit 25.
  • the image signal processing circuit 22 performs processing including color interpolation, brightness adjustment, color adjustment including white balance, gamma correction, noise reduction, edge enhancement, shading, etc. on the image signal of the peripheral image acquired from the image pickup element 12. Configured to run.
  • the image signal processing circuit 22 can be realized by an ISP (Image Signal Processor).
  • the ISP is a processor dedicated to image processing that performs various image processing on the image signal acquired from the image sensor 12.
  • the ISP is composed of, for example, FPGA.
  • the image signal processing circuit 22 stores an image in a frame buffer and can perform pipeline processing so that high-speed processing can be performed.
  • the distortion correction circuit 23 is configured to correct the distortion and the geometric distortion caused by the optical system 11 with respect to the adjusted image output from the image signal processing circuit 22. Since the image pickup device 10 mounted on the vehicle 1 often uses a wide-angle lens such as a fisheye lens, the image becomes distorted toward the peripheral edge of the image.
  • the distortion correction circuit 23 can correct the distortion by using various techniques. For example, the distortion correction circuit 23 can coordinate-convert the pixel position of the distorted image to the pixel position of the distorted image.
  • the image recognition circuit 24 is configured to perform image recognition processing on an image that has been distortion-corrected by the distortion correction circuit 23. Specifically, the image recognition process includes detection of a subject and free space in the image.
  • the free space can be detected as an area excluding the imaged area of the subject that hinders the movement of the sky and the vehicle 1 from the image.
  • the image recognition circuit 24 is configured to perform recognition processing using machine learning including deep learning.
  • the image recognition circuit 24 can detect a subject such as a person, a vehicle, or a bicycle and detect a free space by using a model trained by machine learning. Therefore, the image recognition circuit 24 can be equipped with a dedicated processor for image recognition.
  • the processor for image recognition implements, for example, an image discrimination process using a convolutional neural network used in machine learning.
  • a convolutional neural network used in machine learning.
  • the control circuit 25 includes, for example, a general-purpose microprocessor, and is configured to control the processing of the entire arithmetic unit 15, including the image signal processing circuit 22, the distortion correction circuit 23, and the image recognition circuit 24.
  • the control circuit 25 may execute processing of each functional block of the recognition image adjustment unit 17, the image recognition unit 18, the adjustment parameter calculation unit 19, the display image adjustment unit 20, and the display image generation unit 21.
  • the control circuit 25 may control the entire image processing device 13.
  • the control circuit 25 may control the entire image pickup apparatus 10.
  • the recognition image adjustment unit 17 makes adjustments for image recognition with respect to the peripheral image of the vehicle 1 acquired via the input interface 14.
  • the image signal processing circuit 22 can be used for the adjustment for image recognition.
  • the recognition image adjustment unit 17 can adjust the peripheral image according to the adjustment parameters described later in the previous frame. Adjustment parameters include adjustment parameters for at least one of the color and brightness of the image.
  • the recognition image adjustment unit 17 can adjust the image for image recognition according to the adjustment parameters. Further, the recognition image adjustment unit 17 may execute correction processing such as gamma correction, edge enhancement, and shading correction according to parameters set to increase the detection accuracy of the subject and the free space.
  • the recognition image adjustment unit 17 can further perform distortion correction on the image output from the image signal processing circuit 22 by using the distortion correction circuit 23.
  • distortion correction is performed for the entire image due to distortion caused by the optical system 11, a dark portion and a portion greatly deformed from the rectangular outer shape of the image sensor 12 are generated in the peripheral portion of the image.
  • the unit 17 can output including these parts for image recognition in the subsequent stage.
  • the image recognition unit 18 executes a process (first process) of detecting a subject and free space on a recognition image adjusted for image recognition from a peripheral image by the recognition image adjustment unit 17. It is composed.
  • the processing of the image recognition unit 18 will be described with reference to FIGS. 4 and 5.
  • FIG. 4 is a hypothetical example of a peripheral image acquired from the image sensor 12 via the input interface 14.
  • the image pickup device 10 is an in-vehicle camera that monitors the front of the vehicle 1.
  • Peripheral images may include road surfaces 31, sky 32, people 33, other vehicles 34, and other subjects such as trees, buildings, guardrails, and the like.
  • the road surface 31 is the surface of the road based on the color of the paved road surface (for example, gray).
  • Sky 32 is a blue sky on a sunny day.
  • the image recognition unit 18 can detect a subject such as a person 33 and another vehicle 34 and a free space by machine learning using the image recognition circuit 24.
  • FIG. 5 shows the free space 35 detected by the image recognition unit 18 in a shaded manner corresponding to FIG.
  • the free space 35 is an area excluding the area of the sky 32 from the entire area of the image, the person 33 that hinders the movement of the vehicle 1, the other vehicle 34, and the area of other subjects such as trees, buildings, and guardrails. It has become.
  • the image recognition circuit 24 can detect the subject and the free space 35 included in the peripheral image with high accuracy by image recognition using machine learning such as deep learning.
  • subjects such as the person 33 and the other vehicle 34 are shown by a rectangular frame surrounding these subjects.
  • the free space is an area excluding the area within these frames. However, the free space can be an area excluding only the area on which the subject itself is displayed on the image.
  • the image recognition unit 18 can output the information obtained as a result of the image recognition process to the information processing device 2 or the like in the vehicle via the output interface 16.
  • the output information includes, for example, the type and size of the subject and the position in the image.
  • the information of the image recognition result can be used for various purposes.
  • the image recognition unit 18 can transmit the detected information on the subject that hinders the movement of the vehicle 1 to the information processing device 2 such as the collision damage mitigation braking device and the inter-vehicle distance control device.
  • the information processing device 2 of the vehicle 1 can control the vehicle 1 based on the information acquired from the image recognition unit 18.
  • the adjustment parameter calculation unit 19 executes a process (second process) of calculating an adjustment parameter used for adjusting the display image by the display image adjustment unit 20 based on the display of the free space area.
  • the free space indicates the road surface.
  • the road surface generally has a well-known color and brightness with respect to the light of the surrounding environment such as the sun.
  • the road surface is gray asphalt, commonly used for pavement. Therefore, if color adjustment such as white balance is performed based on the color of the free space, it is less likely to be affected by the sky or a subject biased to a specific color.
  • the color of the free space the color of the entire free space may be averaged.
  • the color of the free space may be determined by cutting out a specific area from the free space.
  • the color adjustment can be adjusted so that the average of each color component of R, G, and B in the free space of the display image becomes a specific value.
  • the adjustment parameter calculation unit 19 may adjust the average brightness of the display image based on the average brightness of the free space.
  • the adjustment parameter can include at least one of the parameter for brightness adjustment and the parameter for color adjustment.
  • the adjustment parameter calculation unit 19 can further acquire information regarding the light source of the light emitted to the free space.
  • the light emitted to the free space includes sunlight, street light, light emitted by the vehicle 1, and the like.
  • the light source information includes information such as time, weather, and moving location.
  • the adjustment parameter calculation unit 19 can acquire information on the light source by means of a clock included in the imaging device 10, a sensor included in the imaging device 10, a communication means between the vehicle 1 and other information sources, and the like.
  • the adjustment parameter calculation unit 19 may calculate the adjustment parameter in consideration of the information of the light source. For example, when the free space is irradiated with sunlight in the daytime on a sunny day, the adjustment parameter calculation unit 19 uses the free space to calculate the adjustment parameter. In this case, the brightness of the free space is considered to be darker than the average brightness of the entire image. Therefore, the adjustment parameter calculation unit 19 may calculate the adjustment parameter so that the brightness obtained from the free space is offset to obtain an appropriate brightness. That is, the brightness of the entire image is calculated based on the brightness of the free space, instead of adjusting the brightness of the entire image so that the brightness of the free space on the road surface becomes the average brightness.
  • the adjustment parameter calculation unit 19 can recognize that it is nighttime from the clock, the brightness sensor, the shutter speed of the image pickup device 10 itself, and the like. At night, the adjustment parameter calculation unit 19 may perform color adjustment processing such as white balance of the displayed image on the assumption that the free space is illuminated with the red light of the brake lamp of another vehicle. it can. In this case, the adjustment parameter calculation unit 19 sets the offset so that the color of the free space becomes a reddish color, and calculates the adjustment parameter for adjusting the white balance. This makes it possible to adjust the display image to the correct color.
  • the adjustment parameter calculation unit 19 can acquire information indicating that the vehicle is traveling in a specific tunnel from the navigation device or the like of the vehicle 1. In that case, the adjustment parameter calculation unit 19 can adjust colors such as white balance of the display image on the premise that the road surface, which is a free space, is illuminated with a specific color. The particular color is, for example, orange with a low pressure sodium lamp. In this case, the adjustment parameter calculation unit 19 sets an offset so that the color of the free space becomes an orange tint, and calculates the adjustment parameter for adjusting the white balance.
  • the adjustment parameter calculation unit 19 can pass the adjustment parameter to the recognition image adjustment unit 17 for adjusting the recognition image of the image of the next frame.
  • the adjustment parameter passed to the recognition image adjustment unit 17 may be different from the adjustment parameter used for adjusting the display image.
  • the adjustment parameter calculation unit 19 can make the values of the above-mentioned offsets set with respect to the color or brightness of the free space different.
  • the display image adjustment unit 20 uses the image signal processing circuit 22 to perform adjustment suitable for image display according to the adjustment parameters for the peripheral image acquired from the image sensor 12 via the input interface 14. It is composed of. Therefore, the image signal processing circuit 22 may duplicate the acquired peripheral image as a display image separately from the recognition image. Conventionally, when an image captured by an imaging device contains the sky and the brightness is adjusted based on the brightness of the sky, the entire image may be darkened. In addition, when the white balance is adjusted to match the blue color of the sky, the image may have a color different from that of the natural image. In the image pickup apparatus 10 of the present disclosure, the display image is adjusted based on the free space where the brightness and color characteristics are stable on the road surface, so that at least one of the highly reproducible brightness and color can be adjusted. Become. Further, the display image adjustment unit 20 may execute other correction processes including gamma correction, noise reduction, edge enhancement, shading correction, and the like in order to adjust the display image.
  • the display image adjustment unit 20 can further perform distortion correction on the image output from the image signal processing circuit 22 by using the distortion correction circuit 23.
  • the distortion is corrected, a dark portion and a portion greatly deformed from the rectangular outer shape of the image sensor 12 are generated in the peripheral portion of the image.
  • the recognition image adjustment unit 17 cuts out a part of a rectangular-shaped region suitable for display on, for example, a display device 3 from the distortion-corrected image.
  • the display image generation unit 21 is configured to output a display image adjusted for display by the display image adjustment unit 20 via the output interface 16.
  • the display image can be displayed on the display device 3 of the vehicle 1.
  • the display image generation unit 21 may perform various processing on the display image and output it. For example, the display image generation unit 21 may add a guide line indicating the traveling direction of the vehicle 1 to the display image.
  • Non-temporary computer-readable media include, but are not limited to, magnetic storage media, optical storage media, photomagnetic storage media, and semiconductor storage media.
  • Magnetic storage media include magnetic disks, hard disks, and magnetic tapes.
  • Optical storage media include optical discs such as CDs (Compact Discs), DVDs, and Blu-ray Discs (Blu-ray® Discs).
  • the semiconductor storage medium includes a ROM (Read Only Memory), an EEPROM (Electrically Erasable Programmable Read-Only Memory), and a flash memory.
  • the calculation unit 15 acquires a peripheral image from the image sensor 12 via the input interface 14 (step S01).
  • the calculation unit 15 can continuously acquire peripheral images in time.
  • images of two consecutive frames are referred to as a first image and a second image.
  • the calculation unit 15 duplicates the acquired image of each frame into a recognition image and a display image, and stores each of them in the frame buffer.
  • the recognition image adjustment unit 17 of the calculation unit 15 makes adjustments for image recognition with respect to the recognition image duplicated from the first image (step S02). Adjustment parameters can be used for adjustments for image recognition.
  • the adjustment parameter is calculated by the adjustment parameter calculation unit 19 based on the peripheral image of the frame before the first image. It is not essential to use adjustment parameters for adjustments for image recognition.
  • the image recognition unit 18 of the calculation unit 15 detects the area of the subject and the area of the free space that hinder the movement of the vehicle 1 (step S03).
  • Machine learning including deep learning, can be used to detect free space.
  • the image recognition unit 18 outputs the information obtained in step S03 via the output interface 16 as needed (step S04).
  • the image recognition unit 18 may output, for example, information such as the type and position of the detected subject and the size in the image to the information processing device 2 of the vehicle 1.
  • Step S04 is not an essential step.
  • the adjustment parameter calculation unit 19 of the calculation unit 15 calculates the adjustment parameter using the image of the free space area obtained in step S03 (step S05).
  • the adjustment parameter calculation unit 19 updates the adjustment parameters used for adjusting the display image in the image signal processing circuit 22 according to the calculated adjustment parameters.
  • the adjustment parameters calculated based on the first image can be used to adjust the display image duplicated from the first image.
  • the adjustment parameter calculation unit 19 can update the adjustment parameter used for adjusting the recognition image in the image signal processing circuit 22 by the calculated adjustment parameter.
  • the display image adjustment unit 20 of the calculation unit 15 makes adjustments for image display using the adjustment parameters for the display image duplicated from the first image (step S06).
  • the display image generation unit 21 of the calculation unit 15 outputs the display image adjusted by the display image adjustment unit 20 via the output interface 16 (step S07).
  • the display image is displayed on the display device 3 of the vehicle 1, for example.
  • step S08: Yes When the arithmetic unit 15 receives a signal supporting the end due to the power of the image processing device 13 or the image pickup device 10 being turned off or the like, the calculation unit 15 ends the process (step S08: Yes). In other cases (step S08: No), the calculation unit 15 repeats the processes of steps S01 to S07 for the image frame of the peripheral image sequentially acquired from the image sensor 12 via the input interface 14. In the adjustment of the recognition image duplicated from the second image following the first image (step S02), the adjustment parameters calculated based on the first image are used.
  • the display image is adjusted based on the image of the movable area of the vehicle 1 corresponding to the road surface having stable brightness and color characteristics, which affects the imaging environment. It is possible to perform stable image adjustment that is less susceptible to damage.
  • the image obtained by the image processing apparatus 13 of the present embodiment can be expected to have high color reproducibility and / or brightness reproducibility.
  • free space is detected as a movable area of the vehicle 1 by using machine learning including deep learning. Therefore, it is possible to accurately detect the free space excluding the area where the subject exists, which hinders the movement of the vehicle 1 and the sky. Therefore, the reproducibility of both or one of the brightness and the color of the display image can be further improved.
  • the adjustment parameter for adjusting the display image is obtained by acquiring the information about the light source to be irradiated to the movable area (free space) of the moving body and considering the information of the light source.
  • the second process of calculation is executed. As a result, it is possible to display an appropriate image according to the lighting environment around the vehicle 1.
  • the moving body has been described as a vehicle, but the moving body may be a ship or an aircraft.
  • the free space can be the surface of the sea.
  • the image processing apparatus can adjust the display image with reference to the average sea surface color and brightness.
  • the image recognition unit of the calculation unit has been described as performing both the detection of the subject and the detection of the free space.
  • the detection of the subject and the detection of the free space can be performed independently.
  • detection of the subject is not essential.
  • the arithmetic unit of the image processing apparatus of the present disclosure may detect only the free space and calculate the adjustment parameter.
  • the adjustment parameter calculated based on the first image is used for the adjustment of the display image duplicated from the first image, but the present disclosure is not limited to this.
  • the adjustment parameters calculated based on the first image may be used to adjust the display image duplicated from the second image, which is the next frame.
  • the free space recognition process and the adjustment parameter calculation process are performed for each frame.
  • the free space recognition process and the adjustment parameter calculation process may be performed intermittently every few frames. In that case, the calculated adjustment parameter may be used for adjusting the images of a plurality of frames until the calculation of the next adjustment parameter.
  • Vehicle 2 Information processing device 3 Display device 10 Imaging device 11 Optical system 12 Imaging element 13 Image processing device 14 Input interface 15 Calculation unit 16 Output interface 17 Recognition image adjustment unit 18 Image recognition unit 19 Adjustment parameter generation unit 20 For display Image adjustment unit 21 Display image generation unit 22 Image signal processing circuit 23 Distortion correction circuit 24 Image recognition circuit 25 Control circuit 31 Road surface 32 Sky 33 people (subject) 34 Other vehicle (subject) 25 Free space 40 Vehicle 41 Information processing device 42 Display device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

画像処理装置は、入力インターフェイスと、少なくとも１つのプロセッサとを備える。入力インターフェイスは、移動体の周辺領域を撮像した画像を取得するように構成される。演算部は、周辺領域を撮像した画像を処理するように構成される。演算部は、画像から移動体が移動可能な領域を検出する第１の処理と、当該移動可能な領域に基づいて画像を調整するための調整パラメータを算出する第２の処理とを実行するように構成される。

Description

画像処理装置、撮像装置、移動体及び画像処理方法 関連出願の相互参照
　本出願は、２０１９年３月２７日に出願された日本国特許出願２０１９－０６０１５２号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本開示は、画像処理装置、撮像装置、移動体及び画像処理方法に関する。
　近年、自動車等の移動体に多数の撮像装置が搭載されている。例えば、撮像装置は、運転者が直接目視し難い車両の周辺の状況を運転者に向けて表示する用途に使用される。また、撮像装置は、車両の周辺に存在する人物、他の車両等の障害物、及び、路面上の車線等を認識して、車両の衝突回避のためのドライバへの警告、自動ブレーキ制御、及び、オートクルーズコントロールの為のアクセル制御等の運転支援に活用されている。
　撮像装置は、自然な画像を再現するために、一般的に撮像した画像を自動的に調整する機能を有している。自動的に行われる調整には、オートホワイトバランスを含む色調整及び自動露出（ＡＥ）を含む輝度調整が含まれる。車両で使用される撮像装置は、一般に道路及び空を含む画像を取り込む。しかしながら、画像の一部に空が含まれ、空の青さに基づいてホワイトバランスが調整されると、被写体が赤味又は黄色味を帯びて、色再現性が低下することがある。このため、オートホワイトバランス用の測光範囲に空を含まないように設定する方法が提案されている（例えば、特許文献１参照）。
２０１６－２２５８６０
　本開示の画像処理装置は、入力インターフェイスと、少なくとも１つのプロセッサとを備える。前記入力インターフェイスは、移動体の周辺領域を撮像した画像を取得するように構成される。前記少なくとも１つのプロセッサは、前記画像を処理するように構成される。前記少なくとも１つのプロセッサは、前記画像から前記移動体が移動可能な領域を検出する第１の処理と、前記移動可能な領域に基づいて前記画像を調整するための調整パラメータを算出する第２の処理とを実行するように構成される。
　本開示の撮像装置は、移動体に搭載される撮像装置であって、光学系と、撮像素子と、少なくとも１つのプロセッサとを備える。前記撮像素子は、前記光学系により結像される周辺領域の画像を撮像するように構成される。前記少なくとも１つのプロセッサは、前記画像を処理するように構成される。前記少なくとも１つのプロセッサは、前記画像から前記移動体が移動可能な領域を検出する第１の処理と、前記移動可能な領域に基づいて前記画像を調整するための調整パラメータを算出する第２の処理とを実行するように構成される。
　本開示の移動体は、撮像装置を備える。前記撮像装置は、光学系、撮像素子、及び、少なくとも１つのプロセッサを含む。前記撮像素子は、前記光学系により結像される周辺領域の画像を撮像するように構成される。前記少なくとも１つのプロセッサは、前記画像を処理するように構成される。前記少なくとも１つのプロセッサは、前記画像から移動可能な領域を検出する第１の処理と、前記移動可能な領域に基づいて前記画像を調整するための調整パラメータを算出する第２の処理とを実行するように構成される。
　本開示の画像処理方法は、移動体の周辺領域を撮像した画像を取得し、前記画像から前記移動体が移動可能な領域を検出することを含む。前記撮像方法は、前記移動可能な領域に基づいて前記画像を調整するための調整パラメータを算出することを含む。前記撮像方法は、前記調整パラメータに基づいて前記画像を調整して表示用の画像を生成することを更に含む。
図１は、本開示の一実施形態に係る撮像装置を搭載した車両示す図である。 図２は、一実施得形態に係る撮像装置の概略構成を示すブロック図である。 図３は、図２の演算部の概略構成の一例を示す図である。 図４は、移動体の周辺領域を撮像した画像の一例を示す図である。 図５は、図４に示した画像に基づくフリースペース検出のイメージ図である。 図６は、画像処理装置の処理の手順の一例を示すフローチャートである。
　以下に説明する本開示の実施形態に係る画像処理装置、撮像装置及びこれらを搭載した車両、並びに、これらの装置で実行される画像処理方法は、撮像環境による影響を受け難く安定した画像調整を行うことができる。
　以下、本開示の複数の実施形態の一つについて、図面を参照して説明する。
（移動体における配置）
　本開示の一実施形態の撮像装置１０は、移動体に搭載される。図１は、移動体の一例としての車両１における、撮像装置１０の搭載位置を例示する図である。車両１に搭載される撮像装置１０は、車載カメラと呼ぶことができる。撮像装置１０は、車両１の種々の場所に設置することができる。例えば、撮像装置１０ａは、車両１が走行する際の前方を監視するカメラとして、フロントバンパー又はその近傍に配置することができる。また、前方を監視する撮像装置１０ｂは、車両１の車室内のルームミラー（Inner Rearview Mirror）の近傍に配置することができる。撮像装置１０ｃは、車両１の後方モニター用に車両１の後部に設置することができる。撮像装置１０は、これらに限られず、左後ろ側方を撮像する左サイドカメラ及び右後ろ側方を撮像する右サイドカメラ等、種々の位置に設置される撮像装置１０を含む。
　撮像装置１０により撮像された画像の画像信号は、車両１内の情報処理装置２、又は、表示装置３等に出力されることができる。車両１内の情報処理装置２は、画像から得られた情報に基づいて、運転者の運転を支援する装置を含む。情報処理装置２は、例えば、ナビゲーション装置、衝突被害軽減ブレーキ装置、車間距離制御装置、及び、車線逸脱警報装置等を含むが、これらに限定されない。表示装置３は、撮像装置１０から直接、又は、情報処理装置２を介して画像信号を受信することができる。表示装置３は、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）、有機ＥＬ（Electro-Luminescence）ディスプレイ、及び、無機ＥＬディスプレイを採用しうるが、これらに限定されない。表示装置３は、種々の状況で、撮像装置１０により出力された画像を表示することができる。例えば、表示装置３は、リアカメラ等の運転者から視認しづらい位置の画像を撮像する撮像装置１０から出力された画像信号を、運転者に対して表示することができる。
　本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車及び産業車両を含むが、これに限られず、鉄道車両及び生活車両、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。本開示における船舶には、マリンジェット、ボート、タンカーを含む。本開示における航空機には、固定翼機、回転翼機を含む。以下において、「移動体」は「車両」であるものとして説明する。以下の実施形態において、「車両」は、「移動体」と読み替えることができる。
（撮像装置の構成）
　本開示の一実施形態に係る撮像装置１０は、図２に示すように、光学系１１、撮像素子１２、及び、画像処理装置１３を含んで構成される。光学系１１、撮像素子１２、及び画像処理装置１３は、１つの筺体に収容されてよい。あるいは、光学系１１及び撮像素子１２と、画像処理装置１３とは別の筺体に収容されてよい。
　光学系１１は、撮像装置１０に入射する車両１の周辺領域の被写体の像を撮像素子１２の撮像面に結像させるように構成される。光学系１１は、１つ以上の光学素子により構成される。光学素子は、レンズを含むことができる。光学素子は、ミラー、絞り、光学フィルター等の他の光学素子を含みうる。
　撮像素子１２は、光学系１１により結像される車両１の周辺領域の画像を撮像する。撮像素子１２は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、及び、ＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む固体撮像素子の何れかを採用することができる。撮像素子１２は、受光面に結像した光を光電変換することによって、周辺領域の画像を電気信号に変換して出力することができる。撮像素子１２は、例えば、所望のフレームレートで、周辺領域の画像を連続的に撮像可能である。
（画像処理装置の構成）
　画像処理装置１３は、撮像素子１２から出力された画像に対して種々の処理を行うように構成される。光学系１１及び撮像素子１２と画像処理装置１３とが別の筺体に収容されている場合、画像処理装置１３は、入力インターフェイス１４と、演算部１５と、出力インターフェイス１６とを含む。光学系１１及び撮像素子１２と画像処理装置１３とが１つの筺体に収容されている場合、入力インターフェイス１４は不要となる。以下では、光学系１１及び撮像素子１２と画像処理装置１３とが別の筺体に収容されているものとして説明をする。画像処理装置１３は、外部から画像を取得する独立した装置として構成することができる。
　入力インターフェイス１４は、画像処理装置１３の外部から画像を取得するように構成される。撮像装置１０に含まれる画像処理装置１３は、撮像素子１２から画像を取得するように構成される。入力インターフェイス１４は、入力される画像信号の伝送方式に応じたコネクタを有する。例えば、入力インターフェイス１４は、物理コネクタを含む。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタには、IEC60603に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、EIAJ CP-1211Aに規定されるＳ端子に対応するコネクタ、EIAJ RC-5237に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及びＢＮＣを含む同軸ケーブルに対応するコネクタを含む。光コネクタは、IEC 61754に準拠する種々のコネクタを含む。入力インターフェイス１４は、無線通信機を含むことができる。無線通信機は、Bluetooth（登録商標）、及びIEEE802.11を含む各規格に準拠する無線通信機を含む。無線通信機は、少なくとも１つのアンテナを含む。入力インターフェイス１４は、取得した画像信号に対して、受信に係るプロトコル処理及び復調等の処理を行い、演算部１５に引き渡す。
　演算部１５は、車両１が移動可能な領域を検出する第１の処理と、車両１が移動可能な領域に基づいて表示用の画像（以下適宜「表示用画像」とする）を調整するための調整パラメータを算出する第２の処理とを実行するように構成される。
　演算部１５は、１つ以上のプロセッサを含む。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、及び特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでよい。専用のプロセッサには、ＤＳＰ（Digital Signal Processor）及び特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれてよい。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれてよい。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれてよい。演算部１５は、１つ又は複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。プロセッサは、種々の処理のためのプログラム及び演算中の情報を記憶する１又は複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。
　演算部１５は、入力インターフェイス１４から取得した画像に種々の調整を行うとともに、画像に含まれる被写体及びフリースペースの認識処理を行うように構成される。「フリースペース」とは、移動体の移動可能な領域を意味する。撮像装置１０が搭載される移動体が車両１の場合、「フリースペース」は、車両１の走行可能な道路表面の領域（路面領域）を意味する。演算部１５は、上述の画像処理に加え、画像処理装置１３全体を制御してよい。さらに、演算部１５は、撮像装置１０全体を制御してよい。演算部１５は、撮像素子１２を制御して、任意のフレームレートで連続撮像を実行させてよい。演算部１５は、撮像素子１２が連続撮像した画像を順次取得してよい。演算部１５は、後述する出力インターフェイス１６を介して、適宜表示用画像及び画像処理により得られた情報等を出力してよい。演算部１５の行う画像処理の詳細については、後述される。
　出力インターフェイス１６は、画像処理装置１３から表示用画像及び他の画像処理により得られた情報を出力するように構成される。出力インターフェイス１６は、情報送信のための送信される情報の変調、及び、プロトコル処理を行ってよい。出力インターフェイス１６は、物理コネクタ、及び無線通信機が採用できる。複数の実施形態の１つにおいて、移動体が車両１の場合、出力インターフェイス１６は、ＣＡＮ（Control Area Network）等の車両のネットワークに接続することができる。画像処理装置１３は、ＣＡＮを介して車両の情報処理装置２、及び表示装置３等に接続される。出力インターフェイス１６を介して出力された情報は、情報処理装置２、及び表示装置３の各々で適宜利用される。
　図２において入力インターフェイス１４と出力インターフェイス１６とは分かれているが、これに限られない。入力インターフェイス１４と出力インターフェイス１６とは、１つの通信インターフェイス部によって具現化されてよい。
（演算部の処理）
　演算部１５は、取得した車両１の周辺領域を撮像した画像（以下、適宜「周辺画像」とする）に対し、被写体及びフリースペースの検出を含む画像認識処理と、表示装置３に表示するための画像調整及び表示用画像の生成を含む表示用画像生成処理とを行うように構成される。このため、演算部１５は、認識用画像調整部１７、画像認識部１８、調整用パラメータ算出部１９、表示用画像調整部２０、表示用画像生成部２１の各機能ブロックを含んで構成されることができる。認識用画像調整部１７及び画像認識部１８は、画像認識処理を実行するように構成される。表示用画像調整部２０及び表示用画像生成部２１は、表示用画像生成処理を実行するように構成される。調整用パラメータ算出部１９は、表示用画像生成処理に用いる画像調整用のパラメータ（以下、調整パラメータと呼ぶ）を算出するように構成される。調整パラメータは、画像認識処理に用いることもできる。
　演算部１５の各機能ブロックは、ハードウェアモジュールであってもよく、ソフトウェアモジュールであってよい。各機能ブロックの実行する動作は、演算部１５が実行するものと言い換えることができる。演算部１５が実行する動作は、演算部１５を構成する少なくとも１つのプロセッサが実行するものと言い換えることができる。各機能ブロックの機能は、複数のプロセッサによって分散して実行されてよい。また、単一のプロセッサが複数の機能ブロックの機能を実行してよい。
　演算部１５は、種々のハードウェア構成を採りうる。一例として、本実施形態では、演算部１５は、図３に示すようにそれぞれ１つ以上のプロセッサを含む、画像信号処理回路２２、歪み補正回路２３、画像認識回路２４及び制御回路２５を含むものとする。画像信号処理回路２２、歪み補正回路２３、画像認識回路２４及び制御回路２５は、それぞれ１以上のメモリを含みうる。演算部１５の各機能ブロックは、画像信号処理回路２２、歪み補正回路２３、画像認識回路２４及び制御回路２５を使用して処理を実行しうる。
　画像信号処理回路２２は、撮像素子１２から取得した周辺画像の画像信号に対して、色補間、輝度調整、ホワイトバランスを含む色調整、ガンマ補正、ノイズリダクション、エッジ強調、シェーディング等を含む処理を実行するように構成される。画像信号処理回路２２は、ＩＳＰ（Image Signal Processor）によって実現され得る。ＩＳＰは、撮像素子１２から取得した画像信号に対して各種の画像処理を行う画像処理専用のプロセッサである。ＩＳＰは、例えばＦＰＧＡ等により構成される。画像信号処理回路２２は、フレームバッファに画像を格納し、高速処理ができるようにパイプライン処理を行うことができる。
　歪み補正回路２３は、画像信号処理回路２２から出力された調整された画像に対して、光学系１１により生じる歪み及び幾何学的歪の補正を行うように構成される。車両１に搭載される撮像装置１０は、魚眼レンズ等の広角レンズを用いることが多いので、画像の周縁部ほど歪曲した画像となる。歪み補正回路２３は、種々の技術を用いて歪みを補正することができる。例えば、歪み補正回路２３は、歪みを有する画像の画素位置を、歪みを補正した画像の画素位置へ座標変換することができる。
　画像認識回路２４は、歪み補正回路２３により歪み補正された画像に対して、画像認識処理を行うように構成される。具体的には、画像認識処理は、画像内の被写体及びフリースペースの検出を含む。フリースペースは、画像から空及び車両１の移動の障害となる被写体の撮像された領域を除いた領域として検出されうる。
　画像認識回路２４は、ディープラーニングを含む機械学習を使用した認識処理を行うように構成される。画像認識回路２４は、機械学習による学習済みのモデルを使用して、人物、車両、自転車などの被写体の検出と、フリースペースの検出を行うことができる。このため、画像認識回路２４は、専用の画像認識用のプロセッサを搭載することができる。画像認識用のプロセッサは、例えば、機械学習で使用される畳み込みニューラルネットワークを用いた画像判別処理を実装する。自動車分野において、撮像装置から取得した画像に基づいて、フリースペースを検出する技術は、近年多くの研究がなされている。機械学習の結果、フリースペースを精度高く検出できることが知られている。
　制御回路２５は、例えば汎用のマイクロプロセッサを含み、画像信号処理回路２２、歪み補正回路２３、画像認識回路２４を含む、演算部１５全体の処理を制御するように構成される。制御回路２５は、認識用画像調整部１７、画像認識部１８、調整用パラメータ算出部１９、表示用画像調整部２０、表示用画像生成部２１の各機能ブロックの処理を実行してよい。制御回路２５は、画像処理装置１３全体を制御してよい。制御回路２５は、撮像装置１０全体を制御してよい。
　以下に、認識用画像調整部１７、画像認識部１８、調整用パラメータ算出部１９、表示用画像調整部２０、表示用画像生成部２１の各機能ブロックについて説明する。
　認識用画像調整部１７は、入力インターフェイス１４を介して取得した車両１の周辺画像に対して、画像認識用の調整を行う。画像認識用の調整には、画像信号処理回路２２を使用することができる。認識用画像調整部１７は、前のフレームの後述する調整パラメータに従って、周辺画像を調整することができる。調整パラメータは、画像の色及び輝度の少なくとも何れかに関する調整用のパラメータを含む。認識用画像調整部１７は、調整パラメータに従い、画像認識用に画像の調整を行うことができる。また、認識用画像調整部１７は、ガンマ補正、エッジ強調、シェーディング補正等の補正処理を、被写体及びフリースペースの検出精度を高くするように設定されたパラメータに従って実行してよい。
　認識用画像調整部１７は、さらに、画像信号処理回路２２から出力された画像に対して歪み補正回路２３を用いて歪み補正を行うことができる。光学系１１に起因する歪み等のため、画像全体について歪み補正をすると、画像の周辺部に暗い部分及び撮像素子１２の形状である長方形の外形から大きく変形した部分が生じるが、認識用画像調整部１７は、後段の画像認識用にこれらの部分を含めて出力することができる。
　画像認識部１８は、認識用画像調整部１７により周辺画像から画像認識用に調整された認識用画像に対して、被写体及びフリースペースの検出を行う処理（第１の処理）を実行するように構成される。図４及び図５を参照して、画像認識部１８の処理を説明する。図４は、撮像素子１２から入力インターフェイス１４を介して取得した周辺画像の想定例である。この場合、撮像装置１０は車両１の前方を監視する車載カメラである。周辺画像には、道路の路面３１、空３２、人３３、他車両３４及び、樹木、建物、ガードレール等の他の被写体が含まれうる。路面３１は、舗装された路面の色（例えば、灰色）を基調とする道路の表面である。空３２は、晴れた日の青空である。
　画像認識部１８は、画像認識回路２４を用いて、機械学習により人３３及び他車両３４等の被写体及びフリースペースを検出することができる。図５は、図４に対応して画像認識部１８により検出されたフリースペース３５を網掛けして示している。フリースペース３５は、画像の全領域から空３２の領域、並びに、車両１の移動の障害となる人３３、他車両３４、及び、樹木、建物、ガードレール等の他の被写体の領域を除いた領域となっている。画像認識回路２４は、ディープラーニング等の機械学習を用いた画像認識により、周辺画像に含まれる被写体及びフリースペース３５を精度高く検出することができる。図５では、人３３及び他車両３４等の被写体は、これら被写体を囲む矩形の枠で示されている。フリースペースはこれらの枠内の領域が除外された領域となっている。しかし、フリースペースは、画像上における被写体そのものが表示された領域のみを除いた領域とすることができる。
　画像認識部１８は、出力インターフェイス１６を介して、画像認識処理の結果得られた情報を車両内の情報処理装置２等へ出力することができる。出力される情報は、例えば、被写体の種類、大きさ及び画像内の位置を含む。画像認識結果の情報は、種々の用途に使用することが可能である。例えば、画像認識部１８は、検出した車両１の移動の障害となる被写体の情報を、衝突被害軽減ブレーキ装置、車間距離制御装置等の情報処理装置２に対して送信することができる。車両１の情報処理装置２は、画像認識部１８から取得した情報に基づいて、車両１を制御することができる。
　調整用パラメータ算出部１９は、フリースペースの領域の表示に基づいて、表示用画像調整部２０で表示用画像を調整するために使用する調整パラメータを算出する処理（第２の処理）を実行するように構成される。前述のようにフリースペースは、路面を示している。路面は、太陽等の周辺環境の光に対して、概して周知の色及び輝度を有している。例えば、路面は、一般的には舗装に用いられるアスファルトの灰色である。したがって、フリースペースの色を基準としてホワイトバランス等の色調整を行えば、空又は特定の色に偏った被写体の影響を受け難い。フリースペースの色としては、フリースペース全体の色を平均してよい。又は、フリースペースの色は、フリースペースから特定の領域を切り出して判定してよい。色調整は、表示用画像のフリースペースのＲ，Ｇ，Ｂの各色成分の平均が、特定の値となるように調整することができる。また、調整用パラメータ算出部１９は、フリースペースの平均の輝度に基づいて、表示用画像の平均の輝度を調整してよい。調整パラメータは、輝度調整用のパラメータ及び色調整用のパラメータの少なくとも１つを含むことができる。
　調整用パラメータ算出部１９は、フリースペースに対して照射される光の光源に関する情報を更に取得することができる。フリースペースに対して照射される光は、太陽光、街灯の光、車両１の発する光等が含まれる。光源の情報には、時刻、天候、移動中の場所等の情報が含まれる。調整用パラメータ算出部１９は、撮像装置１０が有する時計、撮像装置１０の有するセンサ、並びに、車両１及び他の情報源との間の通信手段等により光源の情報を取得しうる。
　調整用パラメータ算出部１９は、光源の情報を考慮して、調整パラメータを算出してよい。例えば、晴れた日の昼間にフリースペースに太陽光が照射されている場合、調整用パラメータ算出部１９は、フリースペースを調整パラメータを算出するために使用する。この場合、フリースペースの明るさは、画像全体の平均的な明るさよりも暗くなると考えられる。このため、調整用パラメータ算出部１９は、フリースペースから得られた輝度に対して、オフセットをかけて適切な輝度となるように、調整パラメータを算出してよい。すなわち、路面であるフリースペースの輝度が、平均の輝度となるように、画像全体の輝度が調整されるのではなく、フリースペースの輝度を基準にして画像全体の輝度が算出される。
　また、調整用パラメータ算出部１９は、夜間においては、時計、明るさセンサ、撮像装置１０自身のシャッタースピード等から夜間であることを認識することができる。夜間の場合、調整用パラメータ算出部１９は、フリースペースに他の車両のブレーキランプの赤い光が照射されていることを想定して、表示画像のホワイトバランス等の色の調整処理をすることができる。この場合、調整用パラメータ算出部１９は、フリースペースの色が赤味がかった色となるようにオフセットを設定して、ホワイトバランスを調整する調整用パラメータを算出する。これによって、表示用画像を正しい色味に調整することが可能になる。
　さらに、調整用パラメータ算出部１９は、車両１のナビゲーション装置等から特定のトンネル内を走行していることを示す情報を取得することができる。その場合、調整用パラメータ算出部１９は、フリースペースである路面が特定の色で照明されていることを前提として、表示用画像のホワイトバランス等の色の調整をすることができる。特定の色は、例えば、低圧ナトリウムランプによるオレンジ色である。この場合、調整用パラメータ算出部１９は、フリースペースの色がオレンジの色味がかった色となるようにオフセットを設定して、ホワイトバランスを調整する調整用パラメータを算出する。
　調整用パラメータ算出部１９は、必要な場合、次のフレームの画像の認識用画像の調整のために、調整パラメータを認識用画像調整部１７に引き渡すことができる。認識用画像調整部１７に引き渡す調整パラメータは、表示用画像の調整に用いる調整パラメータと異ならせてよい。例えば、調整パラメータ算出部１９は、フリースペースの色又は輝度に対して設定する前述の各オフセットの値を異ならせることができる。
　表示用画像調整部２０は、画像信号処理回路２２を使用して、撮像素子１２から入力インターフェイス１４を介して取得した周辺画像に対して、調整パラメータにより画像表示用に適した調整を実行するように構成される。このため、画像信号処理回路２２は、取得した周辺画像を認識用画像とは別に、表示用画像として複製してよい。従来、撮像装置により撮像した画像に空が含まれ、空の明るさに基づいて輝度調整がなされると、画像全体が暗くなってしまうことがあった。また、空の青色に合わせてホワイトバランスの調整が行われると、画像が自然な画像と異なる色となることがあった。本開示の撮像装置１０において、表示用画像は、輝度及び色の特性が安定した路面であるフリースペースに基づいて調整されるので、再現性の高い輝度及び色の少なくとも何れかの調整が可能になる。さらに、表示用画像調整部２０は、表示用画像を調整するために、ガンマ補正、ノイズリダクション、エッジ強調、シェーディング補正等を含む他の補正処理を実行してよい。
　表示用画像調整部２０は、さらに、画像信号処理回路２２から出力された画像に対して歪み補正回路２３を用いて歪み補正を行うことができる。歪み補正をすると、画像の周辺部に暗い部分及び撮像素子１２の形状である長方形の外形から大きく変形した部分が生じる。認識用画像調整部１７は、歪み補正をした画像から、表示用に例えば表示装置３における表示に適した長方形の形状をした一部の領域を切り出す。
　表示用画像生成部２１は、表示用画像調整部２０で表示用に調整された表示用画像を、出力インターフェイス１６を介して出力するように構成される。表示用画像は、車両１の表示装置３に表示されることができる。表示用画像生成部２１は、表示用画像に種々の加工を行って出力してよい。例えば、表示用画像生成部２１は、表示用画像に車両１の進行方向を示すガイド線を付加してよい。
（画像処理方法）
　次に、図６を参照して、演算部１５が行う画像処理の手順を説明する。画像処理装置１３は、以下に説明する演算部１５が行う処理を、非一時的なコンピュータ可読媒体に記録されたプログラムを読み込んで実装するように構成されてよい。非一時的なコンピュータ可読媒体は、磁気記憶媒体、光学記憶媒体、光磁気記憶媒体、半導体記憶媒体を含むがこれらに限られない。磁気記憶媒体は、磁気ディスク、ハードディスク、磁気テープを含む。光学記憶媒体は、ＣＤ（Compact Disc）、ＤＶＤ、ブルーレイディスク（Blu-ray （登録商標） Disc）等の光ディスクを含む。半導体記憶媒体は、ＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリを含む。
　まず、演算部１５は、撮像素子１２から入力インターフェイス１４を介して周辺画像を取得する（ステップＳ０１）。演算部１５は、周辺画像を時間的に連続的に取得することができる。以下の説明において、演算部１５が取得する順次の周辺画像のうち、任意の連続する２つのフレームの画像を第１の画像及び第２の画像とする。演算部１５は、取得した各フレームの画像を複製し、認識用画像と表示用画像とし、それぞれをフレームバッファに格納する。
　演算部１５の認識用画像調整部１７が、第１の画像から複製した認識用画像に対して画像認識用の調整を行う（ステップＳ０２）。画像認識用の調整には、調整パラメータを使用することができる。ここで、調整パラメータは、第１の画像の前のフレームの周辺画像に基づいて、調整用パラメータ算出部１９により算出されたものである。画像認識用の調整に、調整パラメータを使用することは必須ではない。
　ステップＳ０２で認識用に調整された画像に対して、演算部１５の画像認識部１８が、車両１の移動の障害になる被写体の領域及びフリースペースの領域の検出を行う（ステップＳ０３）。フリースペースの検出には、ディープラーニングを含む機械学習を利用することができる。
　画像認識部１８は、必要に応じて、ステップＳ０３で得られた情報を、出力インターフェイス１６を介して出力する（ステップＳ０４）。画像認識部１８は、例えば、検出された被写体の種類、位置及び画像内での大きさ等の情報を、車両１の情報処理装置２に出力してよい。ステップＳ０４は、必須のステップではない。
　演算部１５の調整用パラメータ算出部１９は、ステップＳ０３で得られたフリースペースの領域の画像を使用して、調整パラメータを算出する（ステップＳ０５）。調整用パラメータ算出部１９は、算出した調整パラメータにより、画像信号処理回路２２で、表示用画像の調整に使用される調整パラメータを更新する。第１の画像に基づいて算出された調整パラメータは、第１の画像から複製された表示用画像の調整に使用することができる。
　また、調整用パラメータ算出部１９は、算出した調整パラメータにより、画像信号処理回路２２で認識用画像の調整に使用される調整パラメータを更新することができる。
　演算部１５の表示用画像調整部２０は、第１の画像から複製された表示用画像に対して調整パラメータを使用して、画像表示用の調整を行う（ステップＳ０６）。
　演算部１５の表示用画像生成部２１は、表示用画像調整部２０により調整された表示用画像を、出力インターフェイス１６を介して出力する（ステップＳ０７）。表示用画像は、例えば、車両１の表示装置３に表示される。
　演算部１５は、画像処理装置１３又は撮像装置１０の電源がオフされる等により、終了を支持する信号を受けた場合、処理を終了する（ステップＳ０８：Ｙｅｓ）。それ以外の場合、（ステップＳ０８：Ｎｏ）、演算部１５は、順次撮像素子１２から入力インターフェイス１４を介して取得する周辺画像の画像フレームに対して、ステップＳ０１～Ｓ０７の処理を繰り返す。第１の画像に続く第２の画像から複製された認識用画像の調整（ステップＳ０２）では、第１の画像に基づいて算出された調整パラメータが使用される。
　以上説明したように、本実施形態によれば、輝度及び色の特性が安定した路面に対応する車両１の移動可能な領域の画像に基づいて表示用画像の調整を行うので、撮像環境に影響を受け難く安定した画像調整を行うことができる。本実施形態の画像処理装置１３により得られる画像は、色の再現性及び輝度の再現性の双方又は何れか一方が高いことが期待できる。
　また、本実施形態では、ディープラーニングを含む機械学習を用いて、上記車両１の移動可能な領域として、フリースペースを検出する。このため、空及び車両１の移動の障害となる被写体の存在する領域を除く、フリースペースを正確に検出することができる。このため、表示用画像の輝度及び色の双方又は何れか一方の再現性を更に高くすることができる。
　さらに、本実施形態では、移動体の移動可能な領域（フリースペース）に対して照射される光源に関する情報を取得し、光源の情報を考慮して、表示用画像を調整するための調整パラメータを算出する第２の処理を実行する。これにより、車両１の周囲の照明環境に応じた適切な画像を表示することができる。
　本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
　例えば、上記実施形態において、移動体を車両として説明したが、移動体は船舶または航空機であってよい。例えば、移動体が船舶の場合、フリースペースは海面とすることができる。その場合、画像処理装置は、平均的な海面の色及び輝度を基準として、表示用画像を調整することができる。
　上記実施形態において、演算部の画像認識部は、被写体の検出及びフリースペースの検出の双方を行うものとして説明した。しかし、被写体の検出とフリースペースの検出とは、独立して行うことができる。また、被写体の検出は必須ではない。本開示の画像処理装置の演算部は、フリースペースのみを検出し、調整パラメータを算出してよい。
　また、上記実施形態において、第１の画像に基づいて算出した調整用パラメータを第１の画像から複製した表示用画像の調整に使用するものとしたが、本開示はこれに限られない。例えば、第１の画像に基づいて算出した調整用パラメータは、次のフレームである第２の画像から複製した表示用画像の調整に使用されてよい。さらに、上記実施形態では、フレームごとにフリースペースの認識処理及び調整パラメータの算出処理を行うものとした。しかし、フリースペースの認識処理及び調整パラメータの算出処理は、数フレームおきに間欠的に行ってよい。その場合、算出された調整パラメータは、次の調整パラメータの算出までの、複数のフレームの画像の調整に使用されてよい。
　１　　車両
　２　　情報処理装置
　３　　表示装置
　１０　　撮像装置
　１１　　光学系
　１２　　撮像素子
　１３　　画像処理装置
　１４　　入力インターフェイス
　１５　　演算部
　１６　　出力インターフェイス
　１７　　認識用画像調整部
　１８　　画像認識部
　１９　　調整用パラメータ生成部
　２０　　表示用画像調整部
　２１　　表示用画像生成部
　２２　　画像信号処理回路
　２３　　歪み補正回路
　２４　　画像認識回路
　２５　　制御回路
　３１　　路面
　３２　　空
　３３　　人（被写体）
　３４　　他車両（被写体）
　２５　　フリースペース
　４０　　車両
　４１　　情報処理装置
　４２　　表示装置

Claims (11)

  1. 　移動体の周辺領域を撮像した画像を取得するように構成される入力インターフェイスと、
    　前記画像を処理するように構成される少なくとも１つのプロセッサと
    を備え、
    　前記少なくとも１つのプロセッサは、前記画像から前記移動体が移動可能な領域を検出する第１の処理と、前記移動可能な領域に基づいて前記画像を調整するための調整パラメータを算出する第２の処理とを実行するように構成される画像処理装置。
  2. 　前記少なくとも１つのプロセッサは、前記第１の処理において、前記画像から空及び前記移動体の移動の障害となる被写体が撮像された領域を除いた領域を、前記移動可能な領域として検出するように構成される請求項１に記載の画像処理装置。
  3. 　前記入力インターフェイスは、前記画像として第１の画像及び第２の画像を順次取得するように構成され、
    　前記少なくとも１つのプロセッサは、前記調整パラメータを前記第２の画像の前記第１の処理に使用するように構成される請求項１または２に記載の画像処理装置。
  4. 　前記第２の画像は、前記第１の画像に時間的に後続する画像であり、
    　前記少なくとも１つのプロセッサは、前記第１の画像に対する前記第２の処理によって算出した前記調整パラメータを使用して色又は輝度を調整した前記第２の画像に対し、前記第１の処理を行うことを特徴とする請求項３に記載の画像処理装置。
  5. 　前記少なくとも１つのプロセッサは、前記第１の処理において、機械学習によるフリースペース検出によって前記移動可能な領域を認識するように構成される請求項１から４の何れか一項に記載の画像処理装置。
  6. 　表示用の画像を出力する出力インターフェイスをさらに備え、
    　前記少なくとも１つのプロセッサは、前記画像を前記調整パラメータによって調整した画像を前記表示用の画像として、前記出力インターフェイスに出力させるように構成される請求項１から５の何れか一項に記載の画像処理装置。
  7. 　前記少なくとも１つのプロセッサは、前記移動可能な領域に対して照射される光の光源に関する情報を更に取得し、前記第２の処理において、前記光源の情報を考慮して前記調整パラメータを算出するように構成される請求項１から６の何れか一項に記載の画像処理装置。
  8. 　前記調整パラメータは、輝度調整用のパラメータ及び色調整用のパラメータの少なくとも１つを含む請求項１から７の何れか一項に記載の画像処理装置。
  9. 　移動体に搭載される撮像装置であって、
    　光学系と、
    　前記光学系により結像される周辺領域の画像を撮像するように構成される撮像素子と、
    　前記画像を処理するように構成される少なくとも１つのプロセッサと
    を備え、
    　前記少なくとも１つのプロセッサは、前記画像から前記移動体が移動可能な領域を検出する第１の処理と、前記移動可能な領域に基づいて前記画像を調整するための調整パラメータを算出する第２の処理とを実行するように構成される撮像装置。
  10. 　光学系、前記光学系により結像される周辺領域の画像を撮像するように構成される撮像素子、及び、前記画像を処理するように構成される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、前記画像から移動可能な領域を検出する第１の処理と、前記移動可能な領域に基づいて前記画像を調整するための調整パラメータを算出する第２の処理とを実行するように構成される撮像装置を備える移動体。
  11. 　移動体の周辺領域を撮像した画像を取得し、前記画像から前記移動体が移動可能な領域を検出し、前記移動可能な領域に基づいて前記画像を調整するための調整パラメータを算出し、前記調整パラメータに基づいて前記画像を調整して表示用の画像を生成する画像処理方法。
PCT/JP2020/008960 2019-03-27 2020-03-03 画像処理装置、撮像装置、移動体及び画像処理方法 WO2020195610A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/442,964 US20220191449A1 (en) 2019-03-27 2020-03-03 Image processing device, image capturing device, mobile body, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019060152A JP7361482B2 (ja) 2019-03-27 2019-03-27 画像処理装置、撮像装置、移動体及び画像処理方法
JP2019-060152 2019-03-27

Publications (1)

Publication Number Publication Date
WO2020195610A1 true WO2020195610A1 (ja) 2020-10-01

Family

ID=72610043

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/008960 WO2020195610A1 (ja) 2019-03-27 2020-03-03 画像処理装置、撮像装置、移動体及び画像処理方法

Country Status (3)

Country Link
US (1) US20220191449A1 (ja)
JP (1) JP7361482B2 (ja)
WO (1) WO2020195610A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022107235A1 (ja) * 2020-11-18 2022-05-27 株式会社ソシオネクスト 画像処理装置、画像処理方法、プログラム、及び画像処理システム
US20230072154A1 (en) * 2021-09-07 2023-03-09 Honda Motor Co., Ltd. Display device and control method therefor
DE102021213256A1 (de) * 2021-11-25 2023-05-25 Continental Automotive Technologies GmbH Anzeigeeinheit in einem Fahrzeug

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1066060A (ja) * 1996-08-13 1998-03-06 Nissan Diesel Motor Co Ltd 車両用撮像装置
JP2005148308A (ja) * 2003-11-13 2005-06-09 Denso Corp 白線検出用カメラの露出制御装置
JP2006209209A (ja) * 2005-01-25 2006-08-10 Honda Elesys Co Ltd レーンマーク抽出装置
JP2007011994A (ja) * 2005-07-04 2007-01-18 Toyota Motor Corp 道路認識装置
JP2016225860A (ja) * 2015-06-01 2016-12-28 株式会社富士通ゼネラル 画質調整装置並びにカメラユニット
WO2018025811A1 (ja) * 2016-08-01 2018-02-08 クラリオン株式会社 画像処理装置、外界認識装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0613256B2 (ja) * 1984-08-29 1994-02-23 日本電装株式会社 車載用表示装置
JP4414369B2 (ja) 2005-06-03 2010-02-10 本田技研工業株式会社 車両及び路面標示認識装置
JP4802769B2 (ja) 2006-03-07 2011-10-26 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
US7831063B2 (en) * 2007-02-19 2010-11-09 Laughlin Richard H Small event detector in presence of clutter
JP5386538B2 (ja) * 2011-05-12 2014-01-15 富士重工業株式会社 環境認識装置
JP6706792B2 (ja) * 2016-03-31 2020-06-10 パナソニックＩｐマネジメント株式会社 車載用表示装置
US9832530B2 (en) * 2016-05-02 2017-11-28 Echostar Technologies L.L.C. Reduce blue light at set-top box to assist with sleep
WO2020004231A1 (ja) * 2018-06-27 2020-01-02 日本電信電話株式会社 レーン推定装置、方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1066060A (ja) * 1996-08-13 1998-03-06 Nissan Diesel Motor Co Ltd 車両用撮像装置
JP2005148308A (ja) * 2003-11-13 2005-06-09 Denso Corp 白線検出用カメラの露出制御装置
JP2006209209A (ja) * 2005-01-25 2006-08-10 Honda Elesys Co Ltd レーンマーク抽出装置
JP2007011994A (ja) * 2005-07-04 2007-01-18 Toyota Motor Corp 道路認識装置
JP2016225860A (ja) * 2015-06-01 2016-12-28 株式会社富士通ゼネラル 画質調整装置並びにカメラユニット
WO2018025811A1 (ja) * 2016-08-01 2018-02-08 クラリオン株式会社 画像処理装置、外界認識装置

Also Published As

Publication number Publication date
JP7361482B2 (ja) 2023-10-16
US20220191449A1 (en) 2022-06-16
JP2020162013A (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
US11910099B2 (en) Real-time HDR video for vehicle control
KR102554643B1 (ko) 동적 범위를 확장하기 위한 다수의 동작 모드들
US10377322B2 (en) In-vehicle camera and vehicle control system
US10432847B2 (en) Signal processing apparatus and imaging apparatus
WO2020195610A1 (ja) 画像処理装置、撮像装置、移動体及び画像処理方法
US10904503B2 (en) Image processing device, information generation device, and information generation method
US9626570B2 (en) Vehicle control system and image sensor
US11082626B2 (en) Image processing device, imaging device, and image processing method
US10999562B2 (en) Image processing device, image processing method and imaging device capable of performing parallax compensation for captured color image
WO2018008408A1 (ja) 固体撮像装置、補正方法、および電子装置
JP2018142757A (ja) カメラ装置、検出装置、検出システムおよび移動体
US20200402206A1 (en) Image processing device, image processing method, and program
Kidono et al. Visibility estimation under night-time conditions using a multiband camera
JP2018142756A (ja) カメラ装置、検出装置、検出システムおよび移動体
JP2018107620A (ja) 撮像システム、移動体、および制御方法
US20240187741A1 (en) Real-time hdr video for vehicle control
JP2018106001A (ja) 撮像装置、車載カメラ、および移動体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20779010

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20779010

Country of ref document: EP

Kind code of ref document: A1