WO2016113983A1 - 画像処理装置、画像処理方法、プログラム及びシステム - Google Patents

画像処理装置、画像処理方法、プログラム及びシステム Download PDF

Info

Publication number
WO2016113983A1
WO2016113983A1 PCT/JP2015/080965 JP2015080965W WO2016113983A1 WO 2016113983 A1 WO2016113983 A1 WO 2016113983A1 JP 2015080965 W JP2015080965 W JP 2015080965W WO 2016113983 A1 WO2016113983 A1 WO 2016113983A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
visible light
infrared
image processing
region
Prior art date
Application number
PCT/JP2015/080965
Other languages
English (en)
French (fr)
Inventor
健一郎 細川
拓郎 川合
昌俊 横川
敏之 佐々木
神尾　和憲
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP15877935.5A priority Critical patent/EP3229468B1/en
Priority to JP2016569234A priority patent/JP6729394B2/ja
Priority to US15/539,815 priority patent/US10176543B2/en
Priority to CN201580072616.2A priority patent/CN107113408B/zh
Publication of WO2016113983A1 publication Critical patent/WO2016113983A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an image processing apparatus, an image processing method, a program, and a system.
  • the technology according to the present disclosure aims to realize a mechanism capable of generating a color image having improved image quality.
  • an image acquisition unit that acquires a far-infrared image, a near-infrared image, and a visible light image showing a common subject, and the far-infrared image, the near-infrared image, and the visible-light image
  • An image processing apparatus includes a generation unit that generates a color image by filtering a filter tap including pixels.
  • An image processing method includes: generating a color image by filtering a filter tap that includes pixels.
  • the computer that controls the image processing apparatus includes a far-infrared image, a near-infrared image, and a visible light image that show a common subject, the far-infrared image,
  • a program for functioning as a generation unit that generates a color image by filtering a filter tap including pixels of the near-infrared image and the visible light image is provided.
  • a camera module that images a subject in the far infrared region, the near infrared region, and the visible light region, and outputs a corresponding far infrared image, a near infrared image, and a visible light image
  • An image processing system including an image processing module that generates a color image by filtering a filter tap including pixels of a far-infrared image, the near-infrared image, and the visible light image is provided.
  • a color image having improved image quality can be generated.
  • the above effects are not necessarily limited, and any of the effects shown in the present specification, or other effects that can be grasped from the present specification, together with or in place of the above effects. May be played.
  • FIG. 6 is a flowchart illustrating an example of a flow of color image generation processing according to the first embodiment. It is a flowchart which shows the 1st example of the flow of a filter structure setting process. It is a flowchart which shows the 2nd example of the flow of a filter structure setting process. It is a block diagram which shows an example of a structure of the logical function of the image processing apparatus which concerns on 2nd Embodiment. It is explanatory drawing for demonstrating an example of the area
  • FIG. 1 is an explanatory diagram for explaining various uses of infrared images depending on wavelengths.
  • the horizontal direction in FIG. 1 corresponds to the wavelength of infrared rays, and the wavelength increases from left to right.
  • Light having a wavelength of 0.7 ⁇ m or less is visible light, and human vision senses this visible light.
  • the wavelength region adjacent to the visible light region is a near infrared (NIR) region, and infrared rays belonging to the NIR region are referred to as near infrared rays.
  • NIR near infrared
  • the upper limit of the wavelength in the NIR region varies depending on the definition, it is often assumed to be between 2.5 ⁇ m and 4.0 ⁇ m.
  • the relatively long wavelength portion of the NIR region is sometimes called the short wavelength infrared (SWIR) region.
  • Near-infrared light can be used, for example, for night vision, fluoroscopy, optical communication and ranging.
  • a camera that captures an NIR image first irradiates infrared rays in the vicinity and captures the reflected light.
  • a wavelength region adjacent to the NIR region on the long wavelength side is a far infrared (FIR) region, and infrared rays belonging to the FIR region are called far infrared rays.
  • Far infrared can be utilized for night vision, thermography and heating. Infrared rays emitted by black body radiation from an object correspond to far infrared rays.
  • a night vision apparatus using far-infrared rays can generate an FIR image by capturing blackbody radiation from an object without irradiating infrared rays.
  • a portion having a relatively short wavelength in the FIR region may be referred to as a mid-wavelength infrared (MWIR) region. Since a substance-specific absorption spectrum appears in the wavelength range of the medium wavelength infrared, the medium wavelength infrared can be used for identification of the substance.
  • MWIR mid-wavelength infrared
  • Patent Document 3 proposes to colorize an infrared image using color information from a visible light image. In general, it is desirable that the color image provided to the user or application has the best possible image quality.
  • FIG. 2 is an explanatory diagram showing an example of a visible light image, a near infrared (NIR) image, and a far infrared (FIR) image.
  • the visible light image Im01 is shown on the left
  • the NIR image Im02 is shown in the center
  • the FIR image Im03 is shown on the right.
  • These images show the same person.
  • the visible light image Im01 the face of a person is best represented, but the boundary between the subject and the background is ambiguous at the periphery of the subject that is not sufficiently exposed to ambient light.
  • the boundary between the subject and the background is clear, but the clothes that reflected the near infrared rays most strongly rather than the face of the person appear brightest.
  • the subject may be buried in the background under a situation where an object that strongly reflects near infrared rays exists in the background.
  • the boundary between the subject and the background is clear. The details of a person's face are not expressed in the FIR image, but the face appears brighter than clothing, so the FIR image is more suitable for detection of the living body than the visible light image and the NIR image. It can be understood that
  • the color information related to the subject color is usually included only in the visible light image. However, when deciding the color image to be output in the end, consideration should be given to what areas in the image should be expressed more clearly and in which areas color details are required. is there. Information on such a viewpoint is included in each of the FIR image and the NIR image rather than the visible light image. Therefore, in the present specification, several embodiments for generating a color image having improved image quality in consideration of an FIR image and an NIR image in addition to a visible light image will be described.
  • an image processing apparatus 100 as an in-vehicle apparatus will be described.
  • the image processing apparatus 100 has a configuration partially specialized for mounting on a vehicle, the application of the technology according to the present disclosure is not limited to such an example.
  • the technology according to the present disclosure is used to generate a color image in any type of device such as a security device such as a monitoring camera, a medical / diagnostic device, an inspection device, or an information device such as a smartphone or a tablet PC (Personal Computer). Applicable.
  • FIG. 3 is a block diagram illustrating an example of a hardware configuration of the image processing apparatus 100 according to the first embodiment.
  • the image processing apparatus 100 includes a camera module 102, a sensor module 104, an input interface 106, a memory 108, a display 110, a communication interface 112, a vehicle network (NW) interface 113, a storage 114, a bus 116, and a processor 118. Is provided.
  • NW vehicle network
  • the camera module 102 is a module that images a subject in the FIR region, the NIR region, and the visible light region.
  • the camera module 102 typically detects an array of image sensors that sense far-infrared light having a wavelength belonging to the FIR region, an array of image sensors that sense near-infrared light having a wavelength that belongs to the NIR region, and senses visible light. And an array of imaging devices. These arrays may be located on the same substrate or on different substrates.
  • the camera module 102 may further include a light emitting element that emits near infrared rays.
  • the camera module 102 captures an FIR image, an NIR image, and a visible light image, for example, in response to a trigger such as a user input or periodically. These images may be part of a series of frames constituting the video.
  • the sensor module 104 is a module having a sensor group that may include a positioning sensor, an acceleration sensor, a depth sensor, an illuminance sensor, a temperature sensor, a humidity sensor, and the like.
  • the positioning sensor measures the current position of the image processing apparatus 100 based on, for example, a GPS signal from a GPS (Global Positioning System) satellite or a wireless signal from a wireless access point.
  • the acceleration sensor measures triaxial acceleration applied to the image processing apparatus 100.
  • the depth sensor measures a distance (that is, depth) to a subject existing within the angle of view of the camera module 102.
  • the illuminance sensor measures the illuminance of the environment where the image processing apparatus 100 is placed.
  • the temperature sensor and the humidity sensor measure the temperature and humidity of the environment, respectively.
  • the sensor data generated in the sensor module 104 can be used for purposes such as image calibration and determination of imaging conditions, which will be described later.
  • the input interface 106 is used for a user to operate the image processing apparatus 100 or input information to the image processing apparatus 100.
  • the input interface 106 may include an input device such as a touch sensor, a keypad, a button, or a switch, for example.
  • the input interface 106 may include a microphone for voice input and a voice recognition module.
  • the input interface 106 may also include a remote control module that receives commands selected by the user from the remote device.
  • the memory 108 is a storage medium that can include a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the memory 108 is coupled to the processor 118 and stores programs and data for processing executed by the processor 118.
  • the display 110 is a display module having a screen for displaying an image.
  • the display 110 may be, for example, an LCD (Liquid Crystal Display), an OLED (Organic light-Emitting Diode), or a CRT (Cathode Ray Tube).
  • the communication interface 112 is a module that mediates communication between the image processing apparatus 100 and another apparatus.
  • the communication interface 112 establishes a communication connection according to any wireless communication protocol or wired communication protocol.
  • the vehicle NW interface 113 is a module that mediates communication with the vehicle network of the vehicle on which the image processing apparatus 100 is mounted.
  • the vehicle NW interface 113 is connected to a vehicle network through a terminal (not shown), and acquires data generated on the vehicle side such as vehicle speed data and steering angle (steering angle) data.
  • the storage 114 is a storage device that stores image data and stores a database used in image processing executed by the image processing apparatus 100.
  • the storage 114 contains a storage medium such as a semiconductor memory or a hard disk. Note that the program and data described in this specification may be acquired from a data source external to the image processing apparatus 100 (for example, a data server, a network storage, or an external memory).
  • Bus The bus 116 connects the camera module 102, the sensor module 104, the input interface 106, the memory 108, the display 110, the communication interface 112, the vehicle NW interface 113, the storage 114, and the processor 118 to each other.
  • the processor 118 is a processing module such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor).
  • the processor 118 operates a function to be described later for generating a color image having improved image quality by executing a program stored in the memory 108 or other storage medium.
  • FIG. 4 is an explanatory diagram showing some examples of the arrangement of cameras and displays in the vehicle.
  • a simplified plan view of the vehicle 1 as an example is shown by a solid line.
  • the camera 102 a is disposed in the center of the vehicle body front portion of the vehicle 1 and is directed to the front of the vehicle 1.
  • the camera 102b is disposed in the center of the rear part of the vehicle body and is directed to the rear of the vehicle 1.
  • a plurality of cameras 102 c are arranged on both sides of the vehicle 1 and directed toward the side of the vehicle 1.
  • the camera module 102 shown in FIG. 3 may have any combination of these cameras 102a, 102b and 102c, and other cameras having other arrangements.
  • the display 110a is arranged on or near the dashboard, and is typically shared with a navigation device.
  • the display 110b is disposed on the rearview mirror and displays an image behind the vehicle body that is captured by the camera 102b, for example.
  • the display 110c is a wearable device (for example, a head mounted display) worn by the driver.
  • the display 110 shown in FIG. 3 may have any combination of these displays 110a, 110b and 110c, and other displays having other arrangements.
  • the camera module 102, the display 110, and some other components illustrated in FIG. 3 may exist outside the image processing apparatus 100 and may be connected to the image processing apparatus 100 through signal lines.
  • FIG. 5 is a block diagram illustrating an example of a configuration of logical functions realized by linking the components of the image processing apparatus 100 illustrated in FIG. 3 to each other.
  • the image processing apparatus 100 includes an image acquisition unit 120, a data acquisition unit 130, a determination unit 140, a generation unit 160, and a database 170.
  • the image acquisition unit 120 acquires a far infrared (FIR) image, a near infrared (NIR) image, and a visible light image showing a common subject from the camera module 102, and determines the acquired image.
  • the image acquired by the image acquisition unit 120 may be an image that has undergone primitive processing such as signal amplification, demosaicing, and noise removal. Further, the image acquisition unit 120 performs preliminary processing for generating a color image, such as image calibration, wavelength component separation, and viewpoint integration, as necessary.
  • an image with improved image quality in consideration of FIR images and NIR images is referred to as a color image
  • an image captured by a visible light camera before image quality improvement is referred to as a visible light image (visible light image). Also has a color).
  • the camera module 102 includes an image sensor 102a-1 that captures a visible light image, an image sensor 102a-2 that captures an NIR image, and an image sensor 102a-3 that captures an FIR image. Including. Since these image sensors are on different substrates, the visible light image, the NIR image, and the FIR image that are originally captured include a shift in the angle of view. Therefore, the image acquisition unit 120 executes calibration 121 for compensating for the deviation of the angle of view between the images.
  • the calibration 121 may include not only a deviation of the angle of view but also a process for eliminating a difference in spatial resolution, a difference in temporal resolution, and aberration.
  • Spatial resolution differences can be eliminated by interpolation of pixel values in lower resolution images or by pixel decimation in higher resolution images.
  • Differences in temporal resolution ie, frame rate
  • Aberrations (for example, chromatic aberration and monochromatic aberration) may be reduced by pixel calculation in the image acquisition unit 120, or may be corrected in the optical system.
  • the camera module 102 includes a single-plate image sensor 102a-4 that captures a visible light image and an NIR image, and an image sensor 102a-3 that captures an FIR image.
  • the calibration 122 includes compensation for the field angle deviation associated with the FIR image and the other processing described above.
  • a mixed color for example, R (red) component due to the correlation of the wavelength between the visible light region and the NIR region affects the NIR pixel value in the captured image. , Etc.
  • the image acquisition unit 120 can execute a component separation process 123 (for example, a filter operation for component separation) for separating wavelength components mixed between the visible light image and the NIR image.
  • the camera module 102 includes a single-plate image sensor 102a-5 that captures a visible light image, an NIR image, and an FIR image.
  • the image acquisition unit 120 separates each wavelength component.
  • the component separation process 124 may be executed.
  • the camera module 102 includes adjacent (partially) image sensors 102c-1 and 102c-4 that capture visible light images at adjacent (possibly overlapping) angles of view.
  • Image sensors 102c-2 and 102c-5 that capture NIR images at an angle of view
  • image sensors 102c-3 and 102c- that image FIR images at an adjacent (possibly overlapping) angle of view. 6 is included.
  • the image acquisition unit 120 executes, for example, a viewpoint merging process 125a for combining the visible light images from the image sensors 102c-1 and 102c-4 at the boundary of the angle of view, so that a single visible light having a larger size is obtained. An image can be generated.
  • the image acquisition unit 120 can generate a single NIR image through the viewpoint merging process 125b and a single FIR image through the viewpoint merging process 125c.
  • the image acquisition unit 120 also executes the calibration 126 for these visible light image, NIR image, and FIR image, and eliminates the deviation of the angle of view, the difference of the spatial resolution, the difference of the temporal resolution, and the aberration.
  • the data acquisition unit 130 acquires various data other than an image used for generating a color image in the image processing apparatus 100.
  • the data acquisition unit 130 may acquire positioning data indicating the geographical position of the image processing apparatus 100 from the sensor module 104 and weather data from an external data server via the communication interface 112.
  • the positioning data and the weather data are used for determining the weather at the current location when determining the imaging condition by the determination unit 140 described later.
  • the weather data may be input by the user via the input interface 106.
  • the data acquisition unit 130 may acquire illuminance data, temperature data, and humidity data from the sensor module 104. These data can also be used for determination of the imaging condition by the determination unit 140.
  • the data acquisition unit 130 may acquire driving data including vehicle speed data and steering angle data from the vehicle network via the vehicle NW interface 113.
  • the driving data can be used for motion prediction or motion blur correction at the time of frame rate conversion by the image acquisition unit 120, for example.
  • the determining unit 140 determines an imaging condition when an FIR image, an NIR, and a visible light image are captured.
  • the imaging condition includes one or more of time zone, weather, and environmental illuminance.
  • the determination unit 140 determines a time zone to which the current time belongs.
  • the time zone may be divided in any way, for example, two types of “daytime” and “nighttime”, and four types of “morning”, “daytime”, “evening”, and “night”.
  • the determination unit 140 can determine the weather at the current location indicated by the positioning data by referring to the weather data acquired from the external server or input by the user.
  • the definition of the weather may be any definition.
  • the determination unit 140 may classify the weather at that time into one of “sunny”, “cloudy”, “rain”, “snow”, and “mist”. Instead of determining the weather from the weather data, the determination unit 140 may estimate the current weather from the temperature data and the humidity data. Further, the determination unit 140 can determine the environmental illuminance based on the illuminance data from the sensor module 104. The determination unit 140 outputs imaging condition information indicating the results of these determinations to the generation unit 160.
  • the generation unit 160 generates a color image by filtering filter taps including pixels of the FIR image, the NIR image, and the visible light image.
  • the pixels selected from the FIR image contribute to, for example, the identification of the subject in a situation where ambient light is scarce, particularly to enhance the color of the living body region.
  • the pixels selected from the NIR image also contribute to the identification of the subject in a situation where ambient light is scarce, but also contribute to the sharpening of the subject details due to the action of near-infrared irradiation. Infrared rays that are more straight than visible light also contribute to the generation of highly visible images under rain or fog conditions. Pixels selected from the visible light image provide color information directly to the color image.
  • the generation unit 160 executes filtering for generating a color image with different filter configurations depending on the imaging conditions determined by the determination unit 140.
  • filtering for generating a color image with different filter configurations depending on the imaging conditions determined by the determination unit 140.
  • FIG. 7 is an explanatory diagram for describing a first example of imaging conditions.
  • an exemplary visible light image Im11 is shown.
  • the weather when the visible light image Im11 is captured is “sunny”, and the time zone is “daytime”. That is, the imaging condition C1 associated with the visible light image Im11 represents a combination of “clear” and “daytime”.
  • FIG. 8 is an explanatory diagram for describing an example of a filter configuration corresponding to the imaging condition C1. Referring to FIG. 8, a one-dimensional wavelength direction axis and a two-dimensional spatial direction axis are shown, and the visible light (RGB) image, the NIR image, and the FIR image are partially at corresponding wavelength positions. It is shown.
  • RGB visible light
  • the visible light image actually has three wavelength components, but here, they are collected at one wavelength position for the sake of simplicity.
  • the visible light image is not limited to the illustrated example, and may be expressed in a color system other than RGB.
  • the grid of each image in FIG. 8 means an array of pixels, and a bold rectangle indicates the pixel position of one target pixel.
  • the shaded darkness assigned to each pixel represents the filter coefficient (that is, the weight in the filter operation) assigned to the pixel.
  • the imaging condition C1 represents a combination of “sunny” and “daytime”, so that more pixels are selected as filter taps from the visible light image, and pixels of the visible light image have a larger filter coefficient. Is given.
  • FIG. 9 is an explanatory diagram for describing a second example of imaging conditions.
  • an exemplary visible light image Im12 is shown.
  • the weather when the visible light image Im12 is captured is “sunny”, and the time zone is “night”. That is, the imaging condition C2 associated with the visible light image Im12 represents a combination of “sunny” and “night”.
  • FIG. 10 is an explanatory diagram for describing an example of a filter configuration corresponding to the imaging condition C2.
  • pixels within a wider range from the visible light image are selected as filter taps in order to reduce the influence of noise that tends to appear in the visible light image during night imaging, and in addition, from the NIR image and the FIR image.
  • more pixels are selected (compared to the imaging condition C1). The largest filter coefficient is given to the target pixel of the NIR image.
  • FIG. 11 is an explanatory diagram for describing a third example of imaging conditions.
  • an exemplary visible light image Im13 is shown.
  • the weather when the visible light image Im13 is captured is “mist”, and the time zone is “daytime”. That is, the imaging condition C3 associated with the visible light image Im13 represents a combination of “mist” and “daytime”.
  • FIG. 12 is an explanatory diagram for describing an example of a filter configuration corresponding to the imaging condition C3.
  • a pixel within a wider range from each image is selected as a filter tap in consideration of the effect of light scattering, and the target pixel of the FIR image is used in order to utilize far-infrared rays with high straightness. Large filter coefficients are given.
  • the filter configuration described above is merely an example for explanation.
  • the number and arrangement of filter taps for each image and the filter coefficients for each filter tap may be configured in any manner.
  • the filter tap may not be selected from one or two of the FIR image, the NIR image, and the visible light image.
  • the generation unit 160 may perform filtering with a filter configuration determined in advance through a learning process.
  • a set of FIR images, NIR images and visible light images showing a certain subject (calibrated as necessary) and the same subject under good imaging conditions are used. Many combinations of projected color images (that is, sufficiently good image quality) are prepared. These images correspond to student images and teacher images in supervised learning.
  • a filter configuration for generating a color image with good image quality from the set of FIR image, NIR image, and visible light image is determined.
  • a filter configuration optimized for each imaging condition can be determined separately.
  • the database 170 stores filter configuration data indicating the filter configuration for each imaging condition learned in advance as described above.
  • the generation unit 160 acquires filter configuration data corresponding to the imaging condition indicated by the imaging condition information input from the determination unit 140 from the database 170, and obtains the filter tap and the filter coefficient indicated by the acquired filter configuration data. Set. Then, the generation unit 160 generates a color image by repeating the filtering with the set filter configuration while sequentially scanning the pixels of the image input from the image acquisition unit 120.
  • the generation unit 160 may display the generated color image on the screen of the display 110.
  • the generation unit 160 may output the generated color image to a subsequent application.
  • the subsequent application may be a driving assistance application such as ADAS (Advanced Driver Assistance Systems).
  • the driving support application can execute driving support processing such as pedestrian detection, collision warning notification, or parking support information presentation based on the color image generated by the generation unit 160, for example.
  • the generation unit 160 adjusts the filter coefficient based on the difference between the imaging condition determined by the determination unit 140 and the imaging condition during learning, and executes the filtering using the adjusted filter coefficient.
  • the imaging conditions are expressed by numerical values.
  • the time zone may be expressed by a numerical value within a predetermined range in which the darkest night is the lower limit and the brightest noon is the upper limit.
  • the weather may be expressed by a numerical value such as a cloud amount.
  • An integrated numerical value based on a combination of time zone, weather, and environmental illumination may be calculated.
  • an optimal filter configuration is determined for several representative (discrete) imaging condition values, and filter configuration data indicating the determined filter configuration is stored in the database 170.
  • the generation unit 160 acquires the filter configuration data learned under the condition closest to the imaging condition determined by the determination unit 140 from the database 170, and the filter coefficient indicated by the acquired filter configuration data is based on the difference in the imaging condition. Adjust and use for color image generation. For example, if the current time is darker than the learning time, the generation unit 160 may reduce the pixel weight of the visible light image and instead increase the pixel weight of the NIR image and the FIR image. By such adjustment, it is possible to continuously change the filter configuration for generating the color image following the continuous change of the imaging condition. Accordingly, it is possible to prevent an unnatural color image that suddenly and discontinuously changes the appearance of the color image from being provided to the user or the subsequent application.
  • the database 170 stores a plurality of sets of the above-described filter configuration data indicating filter configurations determined in advance for each imaging condition candidate.
  • Each set of filter configuration data indicates the pixel position of the filter tap to be selected from each of the FIR image, NIR image and visible light image, and the filter coefficient to be applied to the respective filter tap.
  • Each set of filter configuration data is associated with imaging condition information that identifies the corresponding imaging condition.
  • FIG. 13 is a flowchart illustrating an example of the flow of color image generation processing according to the first embodiment.
  • the color image generation process shown in FIG. 13 is typically repeated for each of a series of frames constituting a video.
  • the camera module 102 captures an original image showing a subject in the FIR region, the NIR region, and the visible light region (step S100).
  • the image acquisition unit 120 performs preliminary processing such as calibration on the original image captured by the camera module 102 as necessary, and acquires an FIR image, an NIR image, and a visible light image (step S105).
  • the data acquisition unit 130 acquires auxiliary data used for generating a color image in the image processing apparatus 100 (step S110).
  • the auxiliary data acquired here may include some of positioning data, weather data, illuminance data, temperature data, and humidity data.
  • the determination unit 140 determines imaging conditions when an image is captured by the camera module 102 using, for example, auxiliary data input from the data acquisition unit 130 (step S120). Then, the determination unit 140 outputs imaging condition information indicating the determined imaging condition including one or more of time zone, weather, and environmental illuminance to the generation unit 160.
  • the generation unit 160 acquires the filter configuration data corresponding to the imaging condition determined by the determination unit 140 from the database 170, and sets the filter configuration indicated by the acquired filter configuration data (step S140). Then, the generation unit 160 generates a color image by filtering the FIR image, the NIR image, and the visible light image input from the image acquisition unit 120 with the set filter configuration (step S150).
  • step S160 when there is a subsequent application (step S160), the generation unit 160 outputs the generated color image to the application (for example, a driving support application) (step S165). Then, the generation unit 160 (or the subsequent application) displays a color image on the screen of the display 110 (step S170).
  • the application for example, a driving support application
  • FIG. 14A is a flowchart showing a first example of the flow of the filter configuration setting process that can be executed in step S140 of FIG.
  • the generation unit 160 obtains filter configuration data corresponding to the imaging condition from the database 170 by, for example, lookup using the imaging condition indicated by the imaging condition information input from the determination unit 140. (Step S141).
  • the generation unit 160 sets filter taps that can include pixels of the FIR image, the NIR image, and the visible light image according to the acquired filter configuration data (step S143).
  • the generation unit 160 sets the filter coefficient indicated by the filter configuration data in the set filter tap (step S145).
  • FIG. 14B is a flowchart showing a second example of the flow of the filter configuration setting process that can be executed in step S140 of FIG.
  • the generation unit 160 acquires filter configuration data corresponding to the imaging conditions determined by the determination unit 140 from the database 170 (step S141).
  • the generation unit 160 sets filter taps that can include pixels of the FIR image, the NIR image, and the visible light image according to the acquired filter configuration data (step S143).
  • the generation unit 160 adjusts the filter coefficient indicated by the filter configuration data based on the difference between the imaging condition determined by the determination unit 140 and the imaging condition at the time of learning (step S147).
  • the generation unit 160 sets the adjusted filter coefficient in the filter tap set in step S143 (step S149).
  • Second Embodiment> In the first embodiment described in the previous section, one type of filter configuration is used when generating one color image. In contrast, in the second embodiment, the image is segmented into several partial areas, and an optimum filter configuration is used for each partial area. By switching or adaptively selecting these filter configurations, further improvement in the quality of the color image can be expected.
  • FIG. 15 is a block diagram illustrating an example of a logical function configuration of the image processing apparatus 200 according to the second embodiment.
  • the image processing apparatus 200 includes an image acquisition unit 120, a data acquisition unit 230, a determination unit 140, a recognition unit 250, a generation unit 260, and a database 270.
  • the data acquisition unit 230 acquires auxiliary data used for generating a color image in the image processing apparatus 200.
  • the data acquisition unit 230 receives positioning data from the sensor module 104 from an external data server (or input by a user) via the communication interface 112. Weather data may be acquired.
  • the data acquisition unit 130 may acquire illuminance data, temperature data, and humidity data from the sensor module 104.
  • the data acquisition unit 130 may acquire driving data from the vehicle network via the vehicle NW interface 113.
  • the data acquisition unit 230 may acquire depth data (also referred to as a depth map) indicating the distance to the subject measured by the depth sensor for each pixel from the sensor module 104.
  • the depth data can be used for image segmentation in the recognition unit 150 (described later) or filter configuration setting in the generation unit 160.
  • the recognizing unit 250 segments an image into a plurality of partial regions in at least one of the FIR image, the NIR image, and the visible light image input from the image acquisition unit 120. Then, the recognizing unit 250 generates region information for specifying each segmented partial region, and outputs the generated region information to the generating unit 260.
  • the area information here may be information indicating the position, size and shape of each area, or the bit values of the pixels belonging to each area are “1” and the bit values of the other pixels are “0”. It may be a bitmap as shown.
  • the area information may include the type (biological area or object area) of each area and identification information (area ID, etc.).
  • the recognizing unit 250 recognizes a living body region where a living body is reflected in the image.
  • the living body here may be only a human body or may include an animal body in addition to the human body.
  • the recognition unit 250 may recognize a human body region in a visible light image or an NIR image using any existing human body recognition technology (for example, a technology based on a known image feature amount of a human body).
  • the recognizing unit 250 may recognize an area showing a relatively high gradation value in the FIR image as a living body area. When one or more biological areas are recognized in the image, the recognizing unit 250 generates biological area information that identifies each recognized biological area.
  • the recognition unit 250 may recognize an object region in which an object defined in advance in an image is displayed using any existing object recognition technology.
  • the object here may include, for example, a vehicle, a traffic light, a road sign, or the like.
  • the recognition unit 250 generates object area information that identifies each of the object areas recognized in the image.
  • the recognizing unit 250 may use a depth data acquired by the data acquiring unit 230 to distinguish a certain living body or object shown in the image from another living body or object (for example, appearing to overlap).
  • FIG. 16 is an explanatory diagram for explaining an example of the area recognition process executed by the recognition unit 250.
  • a visible light image Im21 as an example is shown on the left of FIG. In the visible light image Im21, two persons and one vehicle are shown.
  • the right side of FIG. 16 shows the result of the area recognition process performed by the recognition unit 250 on the visible light image Im21.
  • the visible light image Im21 is segmented into four regions R0, R11, R12, and R2.
  • Regions R11 and R12 are biological regions in which one person is shown.
  • the region R2 is an object region in which the vehicle is reflected, and is a non-biological region.
  • the region R0 is a non-living region where no subject is shown.
  • the generation unit 260 generates a color image by filtering the filter tap including the pixels of the FIR image, the NIR image, and the visible light image. More specifically, like the generation unit 160 according to the first embodiment, the generation unit 260 has a different filter configuration depending on the imaging condition determined by the determination unit 140, and generates a color image. Perform filtering. Further, in the present embodiment, the generation unit 260 changes the filter configuration for generating a color image depending on the area information input from the recognition unit 250. As an example, the generation unit 260 may perform filtering on the biological region with a filter configuration different from the filter configuration used for the non-biological region. Further, the generation unit 260 may perform filtering on the living body region with a different filter configuration depending on the distance from the camera to the living body.
  • FIG. 17A and FIG. 17B show examples of filter configurations that can be set for each region by the generation unit 260 based on the result of the region recognition processing illustrated in FIG.
  • a filter configuration F11 for a biological region and a filter configuration F12 for a non-biological region are set as filter configurations corresponding to a certain imaging condition.
  • Filter configuration F11 is applied to regions R11 and R12.
  • the filter configuration F12 is applied to the regions R0 and R1.
  • the filter configuration F11 for the living body region has, for example, a filter coefficient for improving the discrimination of the living body more than the filter configuration F12 for the non-living region.
  • FIG. 17A shows an example of filter configurations that can be set for each region by the generation unit 260 based on the result of the region recognition processing illustrated in FIG.
  • a filter configuration F11 for a biological region and a filter configuration F12 for a non-biological region are set as filter configurations corresponding to a certain imaging condition.
  • Filter configuration F11 is applied
  • the filter configuration corresponding to a certain imaging condition includes a first filter configuration F21 for the biological region R11, a second filter configuration F22 for the biological region R12, and an object region R2.
  • a third filter configuration F23 and a fourth filter configuration F24 for the non-biological region R0 are set.
  • the first filter configuration F21 for the living body region R11 which is estimated to show a closer human body according to the depth data, has a filter coefficient for increasing brightness or saturation as compared with other filter configurations. You may have.
  • These filter configurations are different as the imaging conditions change.
  • an optimal filter configuration can be determined in advance through learning processing for each combination of imaging conditions and region types (or for each representative value of distance to the subject).
  • the generation unit 260 acquires, from the database 270, filter configuration data corresponding to a combination of the type of the region and the imaging condition indicated by the imaging condition information for each region. . Then, the generation unit 260 generates a color image by repeating filtering while sequentially scanning pixels of the image input from the image acquisition unit 120 with the filter configuration indicated by the acquired filter configuration data.
  • the generation unit 260 may display the generated color image on the screen of the display 110.
  • the generation unit 260 may output the generated color image to a subsequent application such as a driving support application. Further, the generation unit 260 may output the application support information to a subsequent application.
  • the application support information here may include, for example, one or more of the following lists: a) Region information including at least one of biological region information and object region information b) Likelihood information calculated for each region of a) c) Image feature quantity that can be calculated accompanying biological recognition or object recognition d) Probability distribution by color that can be calculated accompanying the generation of a color image For example, the gradation value of each region in a nighttime FIR image has a strong correlation with the likelihood that a living body is reflected in that region.
  • the above-described application support information may be reused to avoid redundant generation (for example, re-segmentation of images or calculation of image feature amounts) in subsequent applications of overlapping information.
  • the database 270 stores a plurality of sets of filter configuration data indicating filter configurations determined in advance for each combination of imaging condition candidates and region types. Each set of filter configuration data is associated with imaging condition information for identifying a corresponding imaging condition and a region type. Each set of filter configuration data may further be associated with a representative value of the distance from the camera to the subject. Further, the database 270 may store image feature amount data (for a human body, a living body, or an object) that can be used in the region recognition processing by the recognition unit 250.
  • FIG. 18 is a flowchart illustrating an example of the flow of color image generation processing according to the second embodiment.
  • the color image generation process shown in FIG. 18 is typically repeated for each of a series of frames constituting a video.
  • the camera module 102 captures an original image showing a subject in the FIR region, the NIR region, and the visible light region (step S100).
  • the image acquisition unit 120 performs preliminary processing such as calibration on the original image captured by the camera module 102 as necessary, and acquires an FIR image, an NIR image, and a visible light image (step S105).
  • the data acquisition unit 230 acquires auxiliary data used for generating a color image in the image processing apparatus 200 (step S210).
  • the auxiliary data acquired here may include depth data in addition to data used for determining the imaging condition.
  • the determination unit 140 determines an imaging condition when an image is captured by the camera module 102 using, for example, auxiliary data input from the data acquisition unit 230 (step S120). Then, the determination unit 140 outputs imaging condition information indicating the determined imaging condition to the generation unit 260.
  • the recognition unit 250 recognizes the living body region in the image by detecting the living body shown in the image (step S230).
  • the generation unit 260 acquires the filter configuration data for the biological region corresponding to the determined imaging condition from the database 270, and sets the filter configuration indicated by the acquired filter configuration data in the biological region (Step S240). . Note that when the living body is not shown in the image, step S240 is omitted. Further, the generation unit 260 acquires filter configuration data for the non-biological region corresponding to the determined imaging condition from the database 270, and sets the filter configuration indicated by the acquired filter configuration data in the non-biological region (step S245). ).
  • the generation unit 260 generates a color image by filtering the FIR image, the NIR image, and the visible light image input from the image acquisition unit 120 with the set filter configuration (different for each region type) (Step S ⁇ b> 1). S250).
  • step S260 when there is a subsequent application (step S260), the generation unit 260 outputs the generated color image and application support information to the application (for example, a driving support application) (step S265). Then, the generation unit 260 (or the subsequent application) displays a color image on the screen of the display 110 (step S170).
  • the application for example, a driving support application
  • the filter configuration may be switched for each pixel, for example.
  • the switching of the filter configuration may be performed based on other arbitrary information.
  • the filter configuration may be adaptively selected based on a local image feature amount such as edge strength, band, or activity of at least one of the FIR image, the NIR image, and the visible light image. Image feature quantities across different types of images, such as cross-correlation between FIR images and NIR images, may be used.
  • image feature quantity and the optimum filter configuration may be determined through a learning process, or may be modeled or tuned by a developer.
  • FIG. 19 is an explanatory diagram for describing some application examples of the technology according to the present disclosure.
  • the vehicle 1 as an example illustrated in FIG. 19 includes an in-vehicle system 10.
  • the in-vehicle system 10 includes an image processing system 20, an application module 30, and one or more peripheral modules 40.
  • the image processing system 20 includes a camera module 102 and an image processing module 100 or 200 connected to the camera module 102.
  • the image processing module 100 or 200 may be composed of a single chip (or processor), or may be a collection of a plurality of chips.
  • the application module 30 is connected to the image processing system 20 via a connection terminal and a signal line.
  • the application module 30 receives a color image generated by the image processing module 100 or 200 and executes an application based on the received color image.
  • the application module 30 may be implemented in the form of, for example, a CPU or a SoC (System-on-a-chip).
  • the peripheral module 40 includes a display, for example, and a color image processed by the application module 30 is displayed on the screen of the display.
  • a far-infrared image, a near-infrared image, and a visible light image showing a common subject are acquired, and pixels of the acquired far-infrared image, near-infrared image, and visible light image are obtained.
  • a color image is generated by filtering the included filter taps. According to such a configuration, it is possible to effectively improve the image quality of the generated color image by utilizing the properties of the far-infrared image, the near-infrared image, and the visible light image.
  • the far-infrared image provides information on which region in the image should be expressed more clearly, especially in applications where the visibility of the living body is important, and contributes to enhancement of the color of the living body region.
  • Near-infrared images contribute to sharpening of subject details in situations where ambient light is scarce.
  • a visible light image provides color information directly to a color image.
  • the filtering is executed with different filter configurations depending on the imaging conditions when the input image is captured. Therefore, it is possible to generate a high-quality color image more robustly by adaptively combining the three types of images with respect to changes in imaging conditions such as changes in time or weather.
  • the filtering is executed with a filter configuration determined in advance through a learning process. Therefore, even in applications where real-time characteristics are important, it is possible to quickly set a filter configuration or change adaptively to stably generate a high-quality color image without significant delay. .
  • a living body region in which a living body is reflected is recognized in any input image, and the filtering for the living body region is performed with a filter configuration different from the filter configuration used for the non-biological region. Is done. Therefore, it is possible to highlight the living body in the color image without burying the living body in the background, and to improve the certainty of the recognition of the living body in the subsequent processing.
  • the above filtering is performed on an area in which the subject appears with different filter configurations depending on the distance from the camera to the subject. Therefore, for example, in a driving support application, it is possible to particularly emphasize an object such as a nearby pedestrian or an obstacle to be noted by the driver in the color image.
  • a series of control processing by each device described in this specification may be realized using any of software, hardware, and a combination of software and hardware.
  • the program constituting the software is stored in advance in a storage medium (non-transitory medium) provided inside or outside each device.
  • Each program is read into a RAM (Random Access Memory) at the time of execution and executed by a processor such as a CPU (Central Processing Unit).
  • a processor such as a CPU (Central Processing Unit).
  • processing described using the flowchart in this specification does not necessarily have to be executed in the order shown in the flowchart. Some processing steps may be performed in parallel. Further, additional processing steps may be employed, and some processing steps may be omitted.
  • An image acquisition unit that acquires a far-infrared image, a near-infrared image, and a visible light image showing a common subject
  • a generation unit that generates a color image by filtering a filter tap including pixels of the far-infrared image, the near-infrared image, and the visible light image
  • An image processing apparatus comprising: (2) The image processing apparatus further includes a determination unit that determines an imaging condition when the far-infrared image, the near-infrared image, and the visible light image are captured, The generation unit executes the filtering with a different filter configuration depending on the imaging condition determined by the determination unit.
  • the image processing apparatus according to (1).
  • the image processing apparatus includes: A recognition unit that recognizes a living body region in which a living body is reflected in at least one of the far-infrared image, the near-infrared image, and the visible light image; Further comprising The generation unit performs the filtering for the biological region with a filter configuration different from the filter configuration used for the non-biological region, The image processing apparatus according to any one of (1) to (5). (7) The image processing apparatus according to (6), wherein the generation unit executes the filtering for the living body region with different filter configurations depending on a distance from a camera to the living body. (8) The recognizing unit generates biological area information that identifies the recognized biological area, The generation unit outputs the biological region information together with the color image to a subsequent application.
  • the image processing apparatus according to (6) or (7).
  • the image processing apparatus is mounted on a vehicle, The generation unit outputs the color image to a driving support application.
  • the image processing apparatus according to any one of (1) to (7).
  • (10) Obtaining a far-infrared image, a near-infrared image, and a visible light image showing a common subject; Generating a color image by filtering a filter tap including pixels of the far-infrared image, the near-infrared image and the visible light image;
  • An image processing method including: (11) A computer for controlling the image processing apparatus; An image acquisition unit that acquires a far-infrared image, a near-infrared image, and a visible light image showing a common subject; A generation unit that generates a color image by filtering a filter tap including pixels of the far-infrared image, the near-infrared image, and the visible light image; Program to function as.
  • a camera module that images a subject in the far-infrared region, the near-infrared region, and the visible light region, and outputs a corresponding far-infrared image, a near-infrared image, and a visible light image;
  • An image processing module that generates a color image by filtering a filter tap including pixels of the far-infrared image, the near-infrared image, and the visible light image; Including an image processing system.
  • the image processing system is mounted on a vehicle, An application module that executes an application based on the color image generated by the image processing module; The image processing system according to (12).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】より改善された画質を有するカラー画像を生成すること。 【解決手段】共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、を備える画像処理装置を提供する。

Description

画像処理装置、画像処理方法、プログラム及びシステム
　本開示は、画像処理装置、画像処理方法、プログラム及びシステムに関する。
　従来、運転支援及びその他の目的で、赤外線カメラにより撮像される画像が活用されている（例えば、特許文献１参照）。例えば、可視光画像の代わりに近赤外画像を撮像することにより、夜間又は悪天候時のような劣悪な条件の下でも、ある程度視認性の高い画像をユーザに提供することができる（例えば、特許文献２参照）。赤外線画像は、通常は色の無いグレースケールの画像だが、可視光画像からの色情報を用いて赤外線画像をカラー化することも提案されている（例えば、特許文献３参照）。
特開２０００－１１５７５９号公報 特開２００７－１５８８２０号公報 特開２０１４－１９７７２７号公報
　一般に、画像に映る被写体（例えば、人体又は物体）をユーザ又は画像処理アプリケーションに認識させるような用途では、可能な限り画質の良好なカラー画像が提供されることが有益である。しかし、赤外線画像をカラー化するための既存の技術は、その用途に合った十分な画質を達成できているとは言い難い。
　そこで、本開示に係る技術は、より改善された画質を有するカラー画像を生成することのできる仕組みを実現することを目的とする。
　本開示によれば、共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、を備える画像処理装置が提供される。
　また、本開示によれば、共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得することと、前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成することと、を含む画像処理方法が提供される。
　また、本開示によれば、画像処理装置を制御するコンピュータを、共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、として機能させるためのプログラムが提供される。
　また、本開示によれば、遠赤外領域、近赤外領域及び可視光領域において被写体を撮像し、対応する遠赤外画像、近赤外画像及び可視光画像を出力するカメラモジュールと、前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する画像処理モジュールと、を含む画像処理システムが提供される。
　本開示に係る技術によれば、より改善された画質を有するカラー画像を生成することができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
波長に依存する赤外線画像の多様な用途について説明するための説明図である。 可視光画像、近赤外画像及び遠赤外画像の一例を示す説明図である。 第１の実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 車両におけるカメラ及びディスプレイの配置のいくつかの例を示す説明図である。 第１の実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。 画像の取得に関連する処理の第１の例について説明するための説明図である。 画像の取得に関連する処理の第２の例について説明するための説明図である。 画像の取得に関連する処理の第３の例について説明するための説明図である。 画像の取得に関連する処理の第４の例について説明するための説明図である。 撮像条件の第１の例について説明するための説明図である。 撮像条件の第１の例に対応するフィルタ構成の一例について説明するための説明図である。 撮像条件の第２の例について説明するための説明図である。 撮像条件の第２の例に対応するフィルタ構成の一例について説明するための説明図である。 撮像条件の第３の例について説明するための説明図である。 撮像条件の第３の例に対応するフィルタ構成の一例について説明するための説明図である。 第１の実施形態に係るカラー画像生成処理の流れの一例を示すフローチャートである。 フィルタ構成設定処理の流れの第１の例を示すフローチャートである。 フィルタ構成設定処理の流れの第２の例を示すフローチャートである。 第２の実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。 第２の実施形態に係る領域認識処理の一例について説明するための説明図である。 領域認識処理の結果に基づいて領域ごとに設定され得るフィルタ構成の第１の例について説明するための説明図である。 領域認識処理の結果に基づいて領域ごとに設定され得るフィルタ構成の第２の例について説明するための説明図である。 第２の実施形態に係るカラー画像生成処理の流れの一例を示すフローチャートである。 本開示に係る技術のいくつかの応用例について説明するための説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下の順序で説明を行う。
　　１．基本的な原理
　　　１－１．赤外線の多様な用途
　　　１－２．画像ごとの性質
　　２．第１の実施形態
　　　２－１．ハードウェア構成
　　　２－２．機能構成
　　　２－３．処理の流れ
　　３．第２の実施形態
　　　３－１．機能構成
　　　３－２．処理の流れ
　　４．応用例
　　５．まとめ
　＜１．基本的な原理＞
　　［１－１．赤外線の多様な用途］
　図１は、波長に依存する赤外線画像の多様な用途について説明するための説明図である。図１の水平方向は赤外線の波長に対応し、左から右へと波長は長くなる。０．７μｍ以下の波長を有する光線は可視光線であり、人間の視覚はこの可視光線を感知する。可視光領域に隣接する波長領域は近赤外（ＮＩＲ）領域であり、ＮＩＲ領域に属する赤外線を近赤外線という。ＮＩＲ領域の波長の上限は、定義に依存して異なるものの、２．５μｍから４．０μｍの間にあるとされることが多い。ＮＩＲ領域のうち相対的に波長の長い部分は、短波長赤外（ＳＷＩＲ）領域と呼ばれることもある。近赤外線は、例えば、暗視（night　vision）、透視、光通信及び測距のために利用され得る。ＮＩＲ画像を撮像するカメラは、通常、まず近傍に赤外線を照射し、その反射光を捕捉する。ＮＩＲ領域に長波長側で隣接する波長領域は遠赤外（ＦＩＲ）領域であり、ＦＩＲ領域に属する赤外線を遠赤外線という。遠赤外線は、暗視、サーモグラフィ及び加熱のために利用され得る。物体からの黒体放射によって発せられる赤外線は、遠赤外線に相当する。そのため、遠赤外線を用いた暗視装置は、赤外線を照射せずとも、物体からの黒体放射を捕捉することによりＦＩＲ画像を生成することができる。ＦＩＲ領域のうち相対的に波長の短い部分は、中波長赤外（ＭＷＩＲ）領域と呼ばれることもある。中波長赤外線の波長範囲では物質固有の吸収スペクトルが現れることから、中波長赤外線は、物質の同定のために利用され得る。
　　［１－２．画像ごとの性質］
　可視光画像は、本質的に色を表現可能であることから、画像に映る被写体をユーザ又は何らかのアプリケーションに認識させる目的で既に広く利用されている。可視光画像の欠点は、環境光に乏しい状況（例えば、夜間又は悪天候時）においてその視認性が著しく低下することである。また、可視光は人間の視覚により感知されるため、可視光を照射すること（いわゆるフラッシュ）により環境光を作り出すことは、多くの場面で忌避される。赤外線画像は、このような可視光画像の欠点を補うことができる。例えば、特許文献２により提案されている技術では、夜間又は悪天候時のような劣悪な条件の下で、可視光画像の代わりに、より視認性の高いＮＩＲ画像が運転者へ提供される。赤外線画像は、通常は色の無いグレースケールの画像だが、特許文献３は、可視光画像からの色情報を用いて赤外線画像をカラー化することを提案している。一般に、ユーザ又はアプリケーションへ提供されるカラー画像は、可能な限り良好な画質を有していることが望ましい。
　図２は、可視光画像、近赤外（ＮＩＲ）画像及び遠赤外（ＦＩＲ）画像の一例を示す説明図である。図２の左には可視光画像Ｉｍ０１が、中央にはＮＩＲ画像Ｉｍ０２が、右にはＦＩＲ画像Ｉｍ０３が示されている。これら画像には、同じ人物が映っている。可視光画像Ｉｍ０１では、人物の顔貌が最も良好に表現されているが、環境光が十分に当たっていない被写体の周縁部において、被写体と背景との境界が曖昧になっている。対照的に、ＮＩＲ画像Ｉｍ０２では、被写体と背景との境界は鮮明であるが、人物の顔よりもむしろ近赤外線を最も強く反射した衣服が、最も明るく映っている。これは、同じように近赤外線を強く反射する物体が背景に存在する状況下では、被写体が背景に埋没してしまう可能性を意味する。ＦＩＲ画像でも、被写体と背景との境界は鮮明である。ＦＩＲ画像では、人物の顔貌の詳細は表現されていないが、衣類よりも顔の方がより明るく映っていることから、可視光画像及びＮＩＲ画像と比較してＦＩＲ画像がより生体の検出に適していることが理解され得る。
　被写体の色に関する色情報は、通常、可視光画像のみに含まれる。しかし、最終的に出力すべきカラー画像を決定するにあたっては、画像内のどの領域をより鮮明に表現すべきか、どの領域において色のディテールが必要であるかといった観点での考慮もなされるべきである。そして、こうした観点の情報は、可視光画像よりもむしろＦＩＲ画像及びＮＩＲ画像にそれぞれ含まれる。そこで、本明細書では、可視光画像に加えてＦＩＲ画像及びＮＩＲ画像までをも考慮して、より改善された画質を有するカラー画像を生成するためのいくつかの実施形態について説明する。
　＜２．第１の実施形態＞
　本節では、一例として、車載装置としての画像処理装置１００を説明する。画像処理装置１００は部分的に車両への搭載に特化した構成を有するものの、本開示に係る技術の用途はかかる例に限定されない。本開示に係る技術は、例えば、監視カメラなどのセキュリティ機器、医療／診断機器、検査機器、又は、スマートフォン若しくはタブレットＰＣ（Personal　Computer）などの情報機器といった任意の種類の装置におけるカラー画像の生成に適用可能である。
　　［２－１．ハードウェア構成］
　図３は、第１の実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図３を参照すると、画像処理装置１００は、カメラモジュール１０２、センサモジュール１０４、入力インタフェース１０６、メモリ１０８、ディスプレイ１１０、通信インタフェース１１２、車両ネットワーク（ＮＷ）インタフェース１１３、ストレージ１１４、バス１１６及びプロセッサ１１８を備える。
　　　（１）カメラモジュール
　カメラモジュール１０２は、ＦＩＲ領域、ＮＩＲ領域及び可視光領域において被写体を撮像するモジュールである。カメラモジュール１０２は、典型的には、ＦＩＲ領域に属する波長を有する遠赤外線を感知する撮像素子の配列と、ＮＩＲ領域に属する波長を有する近赤外線を感知する撮像素子の配列と、可視光を感知する撮像素子の配列とを含む。これら配列は同一の基板上に配置されてもよく、又は異なる基板上に配置されてもよい。カメラモジュール１０２は、さらに近赤外線を照射する発光素子をも有し得る。カメラモジュール１０２は、例えば、ユーザ入力などのトリガに応じて又は周期的に、ＦＩＲ画像、ＮＩＲ画像及び可視光画像を撮像する。これら画像は、映像を構成する一連のフレームの一部であってもよい。
　　　（２）センサモジュール
　センサモジュール１０４は、測位センサ、加速度センサ、深度センサ、照度センサ、温度センサ及び湿度センサなどを含み得るセンサ群を有するモジュールである。測位センサは、例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号又は無線アクセスポイントからの無線信号に基づいて、画像処理装置１００の現在位置を測定する。加速度センサは、画像処理装置１００に加わる３軸加速度を測定する。深度センサは、カメラモジュール１０２の画角内に存在する被写体への距離（即ち、深度（depth））を測定する。照度センサは、画像処理装置１００が置かれている環境の照度を測定する。温度センサ及び湿度センサは、環境の温度及び湿度をそれぞれ測定する。センサモジュール１０４において生成されるセンサデータは、後述する画像のキャリブレーション及び撮像条件の判定といった目的のために利用され得る。
　　　（３）入力インタフェース
　入力インタフェース１０６は、ユーザが画像処理装置１００を操作し又は画像処理装置１００へ情報を入力するために使用される。入力インタフェース１０６は、例えば、タッチセンサ、キーパッド、ボタン又はスイッチなどの入力デバイスを含んでもよい。また、入力インタフェース１０６は、音声入力用のマイクロフォン及び音声認識モジュールを含んでもよい。また、入力インタフェース１０６は、ユーザにより選択される命令をリモートデバイスから受信する遠隔制御モジュールを含んでもよい。
　　　（４）メモリ
　メモリ１０８は、ＲＡＭ（Random　Access　Memory）及びＲＯＭ（Read　Only　Memory）を含み得る記憶媒体である。メモリ１０８は、プロセッサ１１８に連結され、プロセッサ１１８により実行される処理のためのプログラム及びデータを記憶する。
　　　（５）ディスプレイ
　ディスプレイ１１０は、画像を表示する画面を有する表示モジュールである。ディスプレイ１１０は、例えば、ＬＣＤ（Liquid　Crystal　Display）、ＯＬＥＤ（Organic　light-Emitting　Diode）又はＣＲＴ（Cathode　Ray　Tube）などであってよい。
　　　（６）通信インタフェース
　通信インタフェース１１２は、画像処理装置１００と他の装置との間の通信を仲介するモジュールである。通信インタフェース１１２は、任意の無線通信プロトコル又は有線通信プロトコルに従って、通信接続を確立する。
　　　（７）車両ＮＷインタフェース
　車両ＮＷインタフェース１１３は、画像処理装置１００が搭載される車両の車両ネットワークとの間の通信を仲介するモジュールである。車両ＮＷインタフェース１１３は、例えば、図示しない端子を介して車両ネットワークに接続され、車速データ及び舵角（ステアリング角度）データなどの車両側で生成されるデータを取得する。
　　　（８）ストレージ
　ストレージ１１４は、画像データを蓄積し、及び画像処理装置１００により実行される画像処理において利用されるデータベースを記憶する記憶デバイスである。ストレージ１１４は、半導体メモリ又はハードディスクなどの記憶媒体を内蔵する。なお、本明細書で説明するプログラム及びデータは、画像処理装置１００の外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。
　　　（９）バス
　バス１１６は、カメラモジュール１０２、センサモジュール１０４、入力インタフェース１０６、メモリ１０８、ディスプレイ１１０、通信インタフェース１１２、車両ＮＷインタフェース１１３、ストレージ１１４及びプロセッサ１１８を相互に接続する。
　　　（１０）プロセッサ
　プロセッサ１１８は、ＣＰＵ（Central　Processing　Unit）又はＤＳＰ（Digital　Signal　Processor）などの処理モジュールである。プロセッサ１１８は、メモリ１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、改善された画質を有するカラー画像を生成するための後述する機能を動作させる。
　図４は、車両におけるカメラ及びディスプレイの配置のいくつかの例を示す説明図である。図４には、一例としての車両１の簡易平面図が実線で示されている。例えば、カメラ１０２ａは、車両１の車体前部中央に配置され、車両１の前方に向けられる。カメラ１０２ｂは、車体後部中央に配置され、車両１の後方に向けられる。カメラ１０２ｃは、車両１の両側部に複数配置され、車両１の側面方向に向けられる。図３に示したカメラモジュール１０２は、これらカメラ１０２ａ、１０２ｂ及び１０２ｃ、並びに他の配置を有する他のカメラ、のいかなる組合せを有していてもよい。
　ディスプレイ１１０ａは、ダッシュボード上又はその近傍に配置され、典型的にはナビゲーション装置と共用される。ディスプレイ１１０ｂは、ルームミラーに配置され、例えばカメラ１０２ｂにより撮像される車体後方の画像を表示する。ディスプレイ１１０ｃは、運転者により装着されるウェアラブル装置（例えば、ヘッドマウントディスプレイ）である。図３に示したディスプレイ１１０は、これらディスプレイ１１０ａ、１１０ｂ及び１１０ｃ、並びに他の配置を有する他のディスプレイ、のいかなる組合せを有していてもよい。なお、図３に示したカメラモジュール１０２及びディスプレイ１１０並びにいくつかのその他の構成要素は、画像処理装置１００の外部に存在し、画像処理装置１００と信号線で接続されてもよい。
　　［２－２．機能構成］
　図５は、図３に示した画像処理装置１００の構成要素が互いに連係することにより実現される論理的機能の構成の一例を示すブロック図である。図５を参照すると、画像処理装置１００は、画像取得部１２０、データ取得部１３０、判定部１４０、生成部１６０及びデータベース１７０を備える。
　　　（１）画像取得部
　画像取得部１２０は、共通する被写体を映した遠赤外（ＦＩＲ）画像、近赤外（ＮＩＲ）画像及び可視光画像をカメラモジュール１０２から取得し、取得した画像を判定部１４０及び生成部１６０へ出力する。画像取得部１２０により取得される画像は、信号の増幅、デモザイク及びノイズ除去などのプリミティブな処理を経た画像であってよい。また、画像取得部１２０は、必要に応じて、画像のキャリブレーション、波長成分の分離及び視点の統合といった、カラー画像の生成のための予備的処理を行う。なお、本明細書では、ＦＩＲ画像及びＮＩＲ画像をも考慮して画質の改善された画像をカラー画像といい、画質改善前の可視光カメラにより撮像された画像を可視光画像という（可視光画像もまた、色を有する）。
　図６Ａ～図６Ｄは、画像の取得に関連する処理の例を、対応するカメラモジュール１０２の構成例と共にそれぞれ示している。図６Ａに示した第１の例において、カメラモジュール１０２は、可視光画像を撮像するイメージセンサ１０２ａ－１、ＮＩＲ画像を撮像するイメージセンサ１０２ａ－２及びＦＩＲ画像を撮像するイメージセンサ１０２ａ－３を含む。これらイメージセンサは、互いに異なる基板上にあるため、原始的に撮像される可視光画像、ＮＩＲ画像及びＦＩＲ画像は、画角におけるズレを包含する。そこで、画像取得部１２０は、画像間の画角のズレを補償するためのキャリブレーション１２１を実行する。キャリブレーション１２１は、画角のズレのみならず、空間解像度の相違、時間解像度の相違及び収差を解消する処理をも含んでよい。空間解像度の相違は、より解像度の低い画像における画素値の補間、又はより解像度の高い画像における画素の間引きによって解消され得る。時間解像度（即ち、フレームレート）の相違は、フレームの補間又はフレームの間引きによって解消され得る。収差（例えば、色収差及び単色収差）は、画像取得部１２０での画素演算によって軽減されてもよく、又は光学系において補正されてもよい。
　図６Ｂに示した第２の例において、カメラモジュール１０２は、可視光画像及びＮＩＲ画像を撮像する単板のイメージセンサ１０２ａ－４及びＦＩＲ画像を撮像するイメージセンサ１０２ａ－３を含む。第２の例では、可視光画像とＮＩＲ画像との間に画角のズレはなく、よってキャリブレーション１２２は、ＦＩＲ画像に関連する画角のズレの補償と、その他の上述した処理とを含み得る。さらに、単板のイメージセンサ１０２ａ－４においては、撮像画像に、可視光領域とＮＩＲ領域との間の波長の相関に起因する混色（例えば、Ｒ（赤）成分がＮＩＲ画素値に影響を与える、など）が生じることがある。そこで、画像取得部１２０は、可視光画像とＮＩＲ画像との間で混ざり合った波長成分を分離するための成分分離処理１２３（例えば、成分分離用のフィルタ演算）を実行し得る。
　図６Ｃに示した第３の例において、カメラモジュール１０２は、可視光画像、ＮＩＲ画像及びＦＩＲ画像を撮像する単板のイメージセンサ１０２ａ－５を含む。第３の例では、３種類の画像の間に画角のズレはない。但し、撮像画像には、可視光領域、ＮＩＲ領域及びＦＩＲ領域の間の波長の相関に起因する混色が生じている可能性があるため、画像取得部１２０は、それぞれの波長成分を分離するための成分分離処理１２４を実行し得る。
　図６Ｄに示した第４の例において、カメラモジュール１０２は、隣接する（部分的に重複し得る）画角で可視光画像を撮像するイメージセンサ１０２ｃ－１及び１０２ｃ－４、隣接する（部分的に重複し得る）画角でＮＩＲ画像を撮像するイメージセンサ１０２ｃ－２及び１０２ｃ－５、並びに隣接する（部分的に重複し得る）画角でＦＩＲ画像を撮像するイメージセンサ１０２ｃ－３及び１０２ｃ－６を含む。画像取得部１２０は、例えば、イメージセンサ１０２ｃ－１及び１０２ｃ－４からの可視光画像を画角の境界において結合するための視点マージ処理１２５ａを実行して、よりサイズの大きい単一の可視光画像を生成し得る。同様に、画像取得部１２０は、視点マージ処理１２５ｂを通じて単一のＮＩＲ画像を、視点マージ処理１２５ｃを通じて単一のＦＩＲ画像をそれぞれ生成し得る。画像取得部１２０は、これら可視光画像、ＮＩＲ画像及びＦＩＲ画像についてもキャリブレーション１２６を実行し、画角のズレ、空間解像度の相違、時間解像度の相違及び収差を解消する。
　　　（２）データ取得部
　データ取得部１３０は、画像処理装置１００におけるカラー画像の生成のために利用される画像以外の様々なデータを取得する。例えば、データ取得部１３０は、センサモジュール１０４から画像処理装置１００の地理的位置を示す測位データを、通信インタフェース１１２を介して外部のデータサーバから天候データを取得してもよい。測位データ及び天候データは、後述する判定部１４０による撮像条件の判定の際に、現在地の天候を判定するために利用される。なお、天候データは、入力インタフェース１０６を介してユーザにより入力されてもよい。また、データ取得部１３０は、センサモジュール１０４から照度データ、温度データ及び湿度データを取得してもよい。これらデータもまた、判定部１４０による撮像条件の判定のために利用され得る。
　また、データ取得部１３０は、車両ＮＷインタフェース１１３を介して車両ネットワークから車速データ及び舵角データを含むドライビングデータを取得してもよい。ドライビングデータは、例えば、画像取得部１２０によるフレームレート変換の際に、動き予測又は動きボケ補正のために利用され得る。
　　　（３）判定部
　判定部１４０は、ＦＩＲ画像、ＮＩＲ及び可視光画像が撮像された際の撮像条件を判定する。本実施形態において、撮像条件は、時間帯、天候及び環境照度のうちの１つ以上を含む。例えば、判定部１４０は、現在時刻が属する時間帯を判定する。時間帯は、例えば「日中」及び「夜間」の２種類、「朝」、「昼」、「夕方」及び「夜」の４種類など、どのように区分されてもよい。また、判定部１４０は、測位データにより示される現在地の天候を、外部サーバから取得され又はユーザにより入力される天候データを参照することにより判定し得る。天候の定義もまたどのような定義であってもよい。一例として、判定部１４０は、その時点の天候を「晴れ」、「曇り」、「雨」、「雪」及び「霧」のいずれかに分類し得る。判定部１４０は、天候データから天候を判定する代わりに、温度データ及び湿度データから現在地の天候を推定してもよい。また、判定部１４０は、センサモジュール１０４からの照度データに基づいて、環境照度を判定し得る。判定部１４０は、これら判定の結果を示す撮像条件情報を、生成部１６０へ出力する。
　　　（４）生成部
　生成部１６０は、ＦＩＲ画像、ＮＩＲ画像及び可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する。ＦＩＲ画像から選択される画素は、例えば、環境光に乏しい状況下での被写体の識別、特に生体領域の色彩を強調することに寄与する。ＮＩＲ画像から選択される画素もまた、環境光に乏しい状況下での被写体の識別に寄与するが、近赤外線の照射の作用にも起因して、特に被写体のディテールの鮮明化に寄与する。また、可視光よりも直進性の強い赤外線は、雨又は霧の条件下での視認性の高い画像の生成にも寄与する。可視光画像から選択される画素は、カラー画像に色情報を直接的に提供する。
　本実施形態において、生成部１６０は、判定部１４０により判定される撮像条件に依存して異なるフィルタ構成で、カラー画像の生成のためのフィルタリングを実行する。以下、図７～図１２を用いて撮像条件のいくつかの例と対応するフィルタ構成の例とを説明する。
　図７は、撮像条件の第１の例について説明するための説明図である。図７を参照すると、例示的な可視光画像Ｉｍ１１が示されている。可視光画像Ｉｍ１１が撮像された際の天候は「晴れ」であり、時間帯は「昼」である。即ち、可視光画像Ｉｍ１１に関連付けられる撮像条件Ｃ１は、「晴れ」及び「昼」の組合せを表す。図８は、撮像条件Ｃ１に対応するフィルタ構成の一例について説明するための説明図である。図８を参照すると、１次元の波長方向の軸と２次元の空間方向の軸とが示されており、さらに可視光（ＲＧＢ）画像、ＮＩＲ画像及びＦＩＲ画像が対応する波長位置に部分的に示されている。なお、可視光画像は、実際には３つの波長成分を有するが、ここでは説明の簡明さのために１つの波長位置に集約されている。なお、可視光画像は、図示した例に限定されず、ＲＧＢ以外の表色系で表現されてもよい。図８の各画像の格子は画素の配列を意味し、太線の矩形は１つの注目画素の画素位置を示している。各画素に付された網掛けの濃さは、当該画素に割り当てられるフィルタ係数（即ち、フィルタ演算における重み）を表現する。撮像条件Ｃ１は、上述したように「晴れ」及び「昼」の組合せを表しており、従って可視光画像からより多くの画素がフィルタタップとして選択され、かつ可視光画像の画素により大きいフィルタ係数が与えられている。
　図９は、撮像条件の第２の例について説明するための説明図である。図９を参照すると、例示的な可視光画像Ｉｍ１２が示されている。可視光画像Ｉｍ１２が撮像された際の天候は「晴れ」であり、時間帯は「夜」である。即ち、可視光画像Ｉｍ１２に関連付けられる撮像条件Ｃ２は、「晴れ」及び「夜」の組合せを表す。図１０は、撮像条件Ｃ２に対応するフィルタ構成の一例について説明するための説明図である。図１０の例では、夜間の撮像において可視光画像に現れ易いノイズの影響を低減するために可視光画像からより広い範囲内の画素がフィルタタップとして選択され、それに加えてＮＩＲ画像及びＦＩＲ画像からも（撮像条件Ｃ１と比較して）より多くの画素が選択されている。また、ＮＩＲ画像の注目画素に、最も大きいフィルタ係数が与えられている。
　図１１は、撮像条件の第３の例について説明するための説明図である。図１１を参照すると、例示的な可視光画像Ｉｍ１３が示されている。可視光画像Ｉｍ１３が撮像された際の天候は「霧」であり、時間帯は「昼」である。即ち、可視光画像Ｉｍ１３に関連付けられる撮像条件Ｃ３は、「霧」及び「昼」の組合せを表す。図１２は、撮像条件Ｃ３に対応するフィルタ構成の一例について説明するための説明図である。図１２の例では、光の散乱の影響を考慮して各画像からからより広い範囲内の画素がフィルタタップとして選択され、かつ直進性の強い遠赤外線を活用するためにＦＩＲ画像の注目画素により大きいフィルタ係数が与えられている。
　上述したフィルタ構成は、説明のための例に過ぎない。画像ごとのフィルタタップの数及び配置、並びにフィルタタップごとのフィルタ係数は、どのように構成されてもよい。撮像条件のうちのいくつかについては、ＦＩＲ画像、ＮＩＲ画像及び可視光画像のうちの１つ又は２つからフィルタタップが選択されなくてもよい。一例として、生成部１６０は、学習処理を通じて事前に決定されるフィルタ構成で、フィルタリングを実行し得る。フィルタ構成を決定するための事前の学習処理では、ある被写体を映した（必要に応じてキャリブレーションされた）ＦＩＲ画像、ＮＩＲ画像及び可視光画像のセットと、良好な撮像条件下で同じ被写体を映した（即ち、十分に画質の良好な）カラー画像との組合せが、多数用意される。これら画像は、教師あり学習における生徒画像と教師画像とに相当する。そして、例えば、ブースティング又はサポートベクタマシンといった既存のアルゴリズムに従って、ＦＩＲ画像、ＮＩＲ画像及び可視光画像のセットから画質の良好なカラー画像を生成するためのフィルタ構成が決定される。こうした学習を、撮像条件の候補ごとに別個に行うことで、個々の撮像条件のために最適化されたフィルタ構成を別々に決定することができる。例えば、データベース１７０は、このように事前に学習される撮像条件ごとのフィルタ構成を示すフィルタ構成データを記憶する。
　生成部１６０は、例えば、判定部１４０から入力される撮像条件情報により示される撮像条件に対応するフィルタ構成データをデータベース１７０から取得し、取得したフィルタ構成データにより示されるフィルタタップとフィルタ係数とを設定する。そして、生成部１６０は、画像取得部１２０から入力される画像の画素を順次スキャンしながら、設定したフィルタ構成でのフィルタリングを繰り返すことにより、カラー画像を生成する。
　生成部１６０は、生成したカラー画像をディスプレイ１１０の画面に表示させてもよい。また、生成部１６０は、生成したカラー画像を後段のアプリケーションへ出力してもよい。後段のアプリケーションは、例えば、ＡＤＡＳ（Advanced　Driver　Assistance　Systems）等の運転支援アプリケーションであってよい。運転支援アプリケーションは、例えば、生成部１６０により生成されるカラー画像に基づいて、歩行者検知、衝突警報の報知又は駐車支援情報の提示などの運転支援処理を実行し得る。
　一変形例において、生成部１６０は、判定部１４０により判定される撮像条件と学習時の撮像条件との差に基づいてフィルタ係数を調整し、調整したフィルタ係数を用いて上記フィルタリングを実行してもよい。この変形例では、撮像条件は数値によって表現される。例えば、時間帯が、最も暗い夜間を下限、最も明るい正午を上限とする所定のレンジ内の数値で表現されてもよい。また、天候が、雲量のような数値で表現されてもよい。また、時間帯、天候及び環境照度の組合せに基づく統合的な数値が計算されてもよい。事前の学習処理では、代表的な（離散的な）いくつかの撮像条件値について最適なフィルタ構成が決定され、決定されたフィルタ構成を示すフィルタ構成データがデータベース１７０に格納される。生成部１６０は、判定部１４０により判定された撮像条件に最も近い条件で学習されたフィルタ構成データをデータベース１７０から取得し、取得したフィルタ構成データにより示されるフィルタ係数を撮像条件の差に基づいて調整して、カラー画像の生成のために使用する。例えば、学習時よりも現在時刻がより暗い時刻になっていれば、生成部１６０は、可視光画像の画素の重みを引き下げ、代わりにＮＩＲ画像及びＦＩＲ画像の画素の重みを引き上げてもよい。こうした調整によって、撮像条件の連続的な変化に追随して、カラー画像の生成のためのフィルタ構成をも連続的に変化させることが可能となる。それにより、カラー画像の見え方が唐突かつ不連続に変わってしまうような不自然なカラー映像がユーザ又は後段のアプリケーションに提供されることを防止することができる。
　　　（５）データベース
　データベース１７０は、撮像条件の候補ごとに予め決定されるフィルタ構成を示す上述したフィルタ構成データの複数のセットを記憶する。フィルタ構成データの各セットは、ＦＩＲ画像、ＮＩＲ画像及び可視光画像の各々から選択すべきフィルタタップの画素位置と、それぞれのフィルタタップに適用すべきフィルタ係数とを示す。フィルタ構成データの各セットには、対応する撮像条件を識別する撮像条件情報が関連付けられる。
　　［２－３．処理の流れ］
　　　（１）カラー画像生成処理
　図１３は、第１の実施形態に係るカラー画像生成処理の流れの一例を示すフローチャートである。図１３に示したカラー画像生成処理は、典型的には、映像を構成する一連のフレームの各々について繰り返される。
　まず、カメラモジュール１０２は、ＦＩＲ領域、ＮＩＲ領域及び可視光領域において、被写体を映した原画像を撮像する（ステップＳ１００）。次に、画像取得部１２０は、カメラモジュール１０２により撮像された原画像に必要に応じてキャリブレーション等の予備的処理を行い、ＦＩＲ画像、ＮＩＲ画像及び可視光画像を取得する（ステップＳ１０５）。
　次に、データ取得部１３０は、画像処理装置１００におけるカラー画像の生成のために利用される補助データを取得する（ステップＳ１１０）。ここで取得される補助データは、測位データ、天候データ、照度データ、温度データ及び湿度データのうちのいくつかを含み得る。
　次に、判定部１４０は、例えばデータ取得部１３０から入力される補助データを用いて、カメラモジュール１０２により画像が撮像された際の撮像条件を判定する（ステップＳ１２０）。そして、判定部１４０は、時間帯、天候及び環境照度のうちの１つ以上を含む判定した撮像条件を示す撮像条件情報を、生成部１６０へ出力する。
　次に、生成部１６０は、判定部１４０により判定された撮像条件に対応するフィルタ構成データをデータベース１７０から取得し、取得したフィルタ構成データにより示されるフィルタ構成を設定する（ステップＳ１４０）。そして、生成部１６０は、設定したフィルタ構成で、画像取得部１２０から入力されるＦＩＲ画像、ＮＩＲ画像及び可視光画像をフィルタリングすることにより、カラー画像を生成する（ステップＳ１５０）。
　次に、生成部１６０は、後段のアプリケーションが存在する場合には（ステップＳ１６０）、生成したカラー画像を当該アプリケーション（例えば、運転支援アプリケーション）へ出力する（ステップＳ１６５）。そして、生成部１６０（又は後段のアプリケーション）は、カラー画像をディスプレイ１１０の画面に表示させる（ステップＳ１７０）。
　　　（２）フィルタ構成設定処理
　図１４Ａは、図１３のステップＳ１４０において実行され得るフィルタ構成設定処理の流れの第１の例を示すフローチャートである。図１４Ａを参照すると、まず、生成部１６０は、例えば判定部１４０から入力される撮像条件情報により示される撮像条件を用いたルックアップにより、当該撮像条件に対応するフィルタ構成データをデータベース１７０から取得する（ステップＳ１４１）。次に、生成部１６０は、取得したフィルタ構成データに従って、ＦＩＲ画像、ＮＩＲ画像及び可視光画像の画素を含み得るフィルタタップを設定する（ステップＳ１４３）。また、生成部１６０は、設定したフィルタタップに、フィルタ構成データにより示されるフィルタ係数をそれぞれ設定する（ステップＳ１４５）。
　図１４Ｂは、図１３のステップＳ１４０において実行され得るフィルタ構成設定処理の流れの第２の例を示すフローチャートである。図１４Ｂを参照すると、まず、生成部１６０は、判定部１４０により判定された撮像条件に対応するフィルタ構成データをデータベース１７０から取得する（ステップＳ１４１）。次に、生成部１６０は、取得したフィルタ構成データに従って、ＦＩＲ画像、ＮＩＲ画像及び可視光画像の画素を含み得るフィルタタップを設定する（ステップＳ１４３）。また、生成部１６０は、フィルタ構成データにより示されるフィルタ係数を、判定部１４０により判定された撮像条件と学習時の撮像条件との差に基づいて調整する（ステップＳ１４７）。そして、生成部１６０は、ステップＳ１４３において設定したフィルタタップに、調整したフィルタ係数をそれぞれ設定する（ステップＳ１４９）。
　＜３．第２の実施形態＞
　前節で説明した第１の実施形態では、１つのカラー画像を生成する際に１種類のフィルタ構成が使用される。これに対し、第２の実施形態では、画像がいくつかの部分領域にセグメント化され、部分領域ごとに最適なフィルタ構成が使用される。こうしたフィルタ構成の切り替え又は適応的な選択によって、カラー画像のさらなる画質の改善を見込むことができる。
　　［３－１．機能構成］
　第２の実施形態に係る画像処理装置２００のハードウェア構成は、図３を用いて説明した画像処理装置１００のハードウェア構成と同様であってよい。図１５は、第２の実施形態に係る画像処理装置２００の論理的機能の構成の一例を示すブロック図である。図１５を参照すると、画像処理装置２００は、画像取得部１２０、データ取得部２３０、判定部１４０、認識部２５０、生成部２６０及びデータベース２７０を備える。
　　　（１）データ取得部
　データ取得部２３０は、画像処理装置２００におけるカラー画像の生成のために利用される補助データを取得する。例えば、データ取得部２３０は、第１の実施形態に係るデータ取得部１３０と同様に、センサモジュール１０４から測位データを、通信インタフェース１１２を介して外部のデータサーバから（又はユーザにより入力される）天候データを取得してもよい。また、データ取得部１３０は、センサモジュール１０４から照度データ、温度データ及び湿度データを取得してもよい。また、データ取得部１３０は、車両ＮＷインタフェース１１３を介して車両ネットワークからドライビングデータを取得してもよい。また、本実施形態において、データ取得部２３０は、深度センサにより測定された被写体への距離を画素ごとに示す深度データ（深度マップともいう）を、センサモジュール１０４から取得してもよい。深度データは、後述する認識部１５０における画像のセグメント化又は生成部１６０におけるフィルタ構成の設定のために利用され得る。
　　　（２）認識部
　認識部２５０は、画像取得部１２０から入力されるＦＩＲ画像、ＮＩＲ画像及び可視光画像のうちの少なくとも１つにおいて、画像を複数の部分領域にセグメント化する。そして、認識部２５０は、セグメント化した個々の部分領域を特定する領域情報を生成し、生成した領域情報を生成部２６０へ出力する。ここでの領域情報は、各領域の位置、サイズ及び形状を示す情報であってもよく、又は各領域に属する画素のビット値が“１”をそれ以外の画素のビット値が“０”を示すようなビットマップであってもよい。また、領域情報は、各領域の種別（生体領域若しくは物体領域）及び識別情報（領域ＩＤなど）を含んでもよい。
　例えば、認識部２５０は、画像内で生体が映る生体領域を認識する。ここでの生体とは、人体のみであってもよく、又は人体に加えて動物の体を含んでもよい。認識部２５０は、任意の既存の人体認識技術（例えば、既知の人体の画像特徴量に基づく技術など）を用いて可視光画像又はＮＩＲ画像内の人体領域を認識してもよい。また、認識部２５０は、ＦＩＲ画像において相対的に高い階調値を示す領域を生体領域として認識してもよい。認識部２５０は、画像内で１つ以上の生体領域が認識されると、認識された生体領域の各々を特定する生体領域情報を生成する。また、認識部２５０は、任意の既存の物体認識技術を用いて、画像内で予め定義される物体が映る物体領域を認識してもよい。ここでの物体とは、例えば、車両、信号機又は道路標識などを含み得る。この場合、認識部２５０は、画像内で認識された物体領域の各々を特定する物体領域情報を生成する。認識部２５０は、データ取得部２３０により取得される深度データを用いて、画像に映るある生体又は物体と（例えば重なって見える）他の生体又は物体とを区別してもよい。
　図１６は、認識部２５０により実行される領域認識処理の一例について説明するための説明図である。図１６の左には、一例としての可視光画像Ｉｍ２１が示されている。可視光画像Ｉｍ２１には、２人の人物と１台の車両とが映っている。図１６の右は、可視光画像Ｉｍ２１について認識部２５０により領域認識処理が実行された結果を示している。領域認識処理の結果として、可視光画像Ｉｍ２１は４つの領域Ｒ０、Ｒ１１、Ｒ１２及びＲ２にセグメント化されている。領域Ｒ１１及びＲ１２は、それぞれ１人の人物が映る生体領域である。領域Ｒ２は、車両が映る物体領域であって、非生体領域である。領域Ｒ０は、被写体が映っていない非生体領域である。
　　　（３）生成部
　生成部２６０は、ＦＩＲ画像、ＮＩＲ画像及び可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する。より具体的には、生成部２６０は、第１の実施形態に係る生成部１６０と同様に、判定部１４０により判定される撮像条件に依存して異なるフィルタ構成で、カラー画像の生成のためのフィルタリングを実行する。さらに、本実施形態において、生成部２６０は、認識部２５０から入力される領域情報に依存して、カラー画像の生成のためのフィルタ構成を変化させる。一例として、生成部２６０は、非生体領域のために使用されるフィルタ構成とは異なるフィルタ構成で、生体領域についてのフィルタリングを実行してもよい。また、生成部２６０は、カメラから生体までの距離に依存してさらに異なるフィルタ構成で、生体領域についてのフィルタリングを実行してもよい。
　図１７Ａ及び図１７Ｂは、図１６に例示した領域認識処理の結果に基づいて、生成部２６０により領域ごとに設定され得るフィルタ構成の例をそれぞれ示している。図１７Ａに示した第１の例では、ある撮像条件に対応するフィルタ構成として、生体領域用のフィルタ構成Ｆ１１及び非生体領域用のフィルタ構成Ｆ１２が設定されている。フィルタ構成Ｆ１１は、領域Ｒ１１及びＲ１２に適用される。フィルタ構成Ｆ１２は、領域Ｒ０及びＲ１に適用される。生体領域用のフィルタ構成Ｆ１１は、例えば、非生体領域用のフィルタ構成Ｆ１２と比較して、より生体の識別性を高めるためのフィルタ係数を有する。図１７Ｂに示した第２の例では、ある撮像条件に対応するフィルタ構成として、生体領域Ｒ１１用の第１のフィルタ構成Ｆ２１、生体領域Ｒ１２用の第２のフィルタ構成Ｆ２２、物体領域Ｒ２用の第３のフィルタ構成Ｆ２３、及び非生体領域Ｒ０用の第４のフィルタ構成Ｆ２４が設定されている。例えば、深度データに従ってより近くの人体が映っていると推定される生体領域Ｒ１１用の第１のフィルタ構成Ｆ２１は、他のフィルタ構成と比較して、より輝度又は彩度を高めるためのフィルタ係数を有していてもよい。これらフィルタ構成は、撮像条件が変化すればまた異なる構成となる。本実施形態においては、撮像条件及び領域の種別の組合せごとに（又はさらに被写体までの距離の代表値ごとに）、学習処理を通じて事前に最適なフィルタ構成が決定され得る。
　生成部２６０は、例えば、認識部２５０から入力される領域情報に従って、領域ごとに、当該領域の種別と撮像条件情報により示される撮像条件との組合せに対応するフィルタ構成データをデータベース２７０から取得する。そして、生成部２６０は、取得したフィルタ構成データにより示されるフィルタ構成で、画像取得部１２０から入力される画像の画素を順次スキャンしながらフィルタリングを繰り返すことにより、カラー画像を生成する。
　生成部２６０は、生成したカラー画像をディスプレイ１１０の画面に表示させてもよい。また、生成部２６０は、生成したカラー画像を、運転支援アプリケーションなどの後段のアプリケーションへ出力してもよい。また、生成部２６０は、アプリケーション支援情報を後段のアプリケーションへ出力してもよい。ここでのアプリケーション支援情報は、例えば次のリストのうちの１つ以上を含み得る：
　　　ａ）生体領域情報及び物体領域情報のうちの少なくとも１つを含む領域情報
　　　ｂ）ａ）の各領域について計算される尤度情報
　　　ｃ）生体認識又は物体認識に付随して計算され得る画像特徴量
　　　ｄ）カラー画像の生成に付随して計算され得る色別確率分布
例えば、夜間のＦＩＲ画像における各領域の階調値は、その領域に生体が映っている尤もらしさとの強い相関を有する。そこで、ＦＩＲ画像を用いて生成されるｂ）尤度情報をａ）生体領域情報と共に運転支援アプリケーションに提供することで、運転支援アプリケーションにおける歩行者検出などの処理の正確性向上に寄与することができる。また、上述したアプリケーション支援情報は、重複する情報の後段のアプリケーションにおける冗長的な生成（例えば、再度の画像のセグメント化、又は画像特徴量の算出）を回避するために再利用されてもよい。
　　　（４）データベース
　データベース２７０は、撮像条件の候補及び領域種別の組合せごとに予め決定されるフィルタ構成を示すフィルタ構成データの複数のセットを記憶する。フィルタ構成データの各セットには、対応する撮像条件を識別する撮像条件情報と、領域種別とが関連付けられる。フィルタ構成データの各セットには、さらにカメラから被写体までの距離の代表値が関連付けられてもよい。また、データベース２７０は、認識部２５０による領域認識処理において利用され得る（人体、生体又は物体の）画像特徴量データを記憶してもよい。
　　［３－２．処理の流れ］
　図１８は、第２の実施形態に係るカラー画像生成処理の流れの一例を示すフローチャートである。図１８に示したカラー画像生成処理は、典型的には、映像を構成する一連のフレームの各々について繰り返される。
　まず、カメラモジュール１０２は、ＦＩＲ領域、ＮＩＲ領域及び可視光領域において、被写体を映した原画像を撮像する（ステップＳ１００）。次に、画像取得部１２０は、カメラモジュール１０２により撮像された原画像に必要に応じてキャリブレーション等の予備的処理を行い、ＦＩＲ画像、ＮＩＲ画像及び可視光画像を取得する（ステップＳ１０５）。
　次に、データ取得部２３０は、画像処理装置２００におけるカラー画像の生成のために利用される補助データを取得する（ステップＳ２１０）。ここで取得される補助データは、撮像条件の判定のために利用されるデータに加えて、深度データを含み得る。
　次に、判定部１４０は、例えばデータ取得部２３０から入力される補助データを用いて、カメラモジュール１０２により画像が撮像された際の撮像条件を判定する（ステップＳ１２０）。そして、判定部１４０は、判定した撮像条件を示す撮像条件情報を、生成部２６０へ出力する。
　次に、認識部２５０は、画像に映る生体を検出することにより、画像内の生体領域を認識する（ステップＳ２３０）。次に、生成部２６０は、判定された撮像条件に対応する生体領域用のフィルタ構成データをデータベース２７０から取得し、取得したフィルタ構成データにより示されるフィルタ構成を生体領域に設定する（ステップＳ２４０）。なお、画像に生体が映っていない場合には、ステップＳ２４０は省略される。また、生成部２６０は、判定された撮像条件に対応する非生体領域用のフィルタ構成データをデータベース２７０から取得し、取得したフィルタ構成データにより示されるフィルタ構成を非生体領域に設定する（ステップＳ２４５）。
　そして、生成部２６０は、設定した（領域種別ごとに異なる）フィルタ構成で、画像取得部１２０から入力されるＦＩＲ画像、ＮＩＲ画像及び可視光画像をフィルタリングすることにより、カラー画像を生成する（ステップＳ２５０）。
　次に、生成部２６０は、後段のアプリケーションが存在する場合には（ステップＳ２６０）、生成したカラー画像及びアプリケーション支援情報を当該アプリケーション（例えば、運転支援アプリケーション）へ出力する（ステップＳ２６５）。そして、生成部２６０（又は後段のアプリケーション）は、カラー画像をディスプレイ１１０の画面に表示させる（ステップＳ１７０）。
　ここでは、主に領域種別に基づいて画像の部分領域ごとにフィルタ構成が切り替えられる例を説明した。しかしながら、上述した例に限定されず、フィルタ構成は、例えば画素ごとに切り替えられてもよい。また、（部分領域ごとか画素ごとかに関わらず）フィルタ構成の切り替えは、他の任意の情報に基づいて行われてもよい。例えば、ＦＩＲ画像、ＮＩＲ画像及び可視光画像のうちの少なくとも１つのエッジ強度、帯域又はアクティビティといった局所的な画像特徴量に基づいて、フィルタ構成が適応的に選択されてもよい。ＦＩＲ画像とＮＩＲ画像との間の相互相関といった、異なる種類の画像にまたがる画像特徴量が利用されてもよい。また、上述した撮像条件及び領域種別の一方又は双方とここで例示した画像特徴量のうちの１つ以上との組合せが利用されてもよい。画像特徴量と最適なフィルタ構成との関連付けは、学習処理を通じて決定されてもよく、又は開発者によりモデル化され若しくはチューニングされてもよい。
　＜４．応用例＞
　本開示に係る技術は、実装レベルの異なる様々な形態の製品に応用可能である。図１９は、本開示に係る技術のいくつかの応用例について説明するための説明図である。図１９に示した一例としての車両１は、車載システム１０を含む。車載システム１０は、画像処理システム２０、アプリケーションモジュール３０及び１つ以上の周辺モジュール４０を有する。画像処理システム２０は、カメラモジュール１０２と、カメラモジュール１０２に接続される画像処理モジュール１００又は２００とを含む。画像処理モジュール１００又は２００は、単一のチップ（又はプロセッサ）から構成されてもよく、又は複数のチップの集合であってもよい。アプリケーションモジュール３０は、接続端子及び信号線を介して画像処理システム２０に接続される。アプリケーションモジュール３０は、画像処理モジュール１００又は２００により生成されるカラー画像を受信し、受信したカラー画像に基づいてアプリケーションを実行する。アプリケーションモジュール３０は、例えばＣＰＵ又はＳｏＣ（System-on-a-chip）などの形態で実装され得る。周辺モジュール４０は、例えばディスプレイを含み、アプリケーションモジュール３０により加工されるカラー画像がディスプレイの画面上に表示される。
　＜５．まとめ＞
　ここまで、図１～図１９を用いて、本開示に係る技術の様々な実施形態について詳細に説明した。上述した実施形態によれば、共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像が取得され、取得された遠赤外画像、近赤外画像及び可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像が生成される。かかる構成によれば、遠赤外画像、近赤外画像及び可視光画像のそれぞれの性質を活用して、生成されるカラー画像の画質を効果的に改善することができる。例えば、遠赤外画像は、特に生体の視認性が重要視される用途において、画像内のどの領域をより鮮明に表現すべきかの情報を提供し、生体領域の色彩の強調に寄与する。近赤外画像は、環境光に乏しい状況下で、被写体のディテールの鮮明化に寄与する。可視光画像は、カラー画像に色情報を直接的に提供する。こうした画像の種別ごとの性質の統合的な活用によって、既存の技術では達成されない高い画質を有するカラー画像を提供することが可能となる。
　また、上述した実施形態によれば、入力画像が撮像された際の撮像条件に依存して異なるフィルタ構成で、上記フィルタリングが実行される。従って、時間の推移又は天候の変化等の撮像条件の変化に対して、３種類の画像を適応的に組合せることでよりロバストに高画質のカラー画像を生成することが可能である。
　また、上述した実施形態によれば、学習処理を通じて事前に決定されるフィルタ構成で、上記フィルタリングが実行される。従って、リアルタイム性が重要視されるような用途においても、迅速にフィルタ構成を設定し又は適応的に変化させて、有意な遅延なく高画質のカラー画像を安定的に生成することが可能である。
　また、ある実施形態によれば、いずれかの入力画像において生体が映る生体領域が認識され、非生体領域のために使用されるフィルタ構成とは異なるフィルタ構成で、生体領域についての上記フィルタリングが実行される。従って、生体を背景に埋没させることなく、カラー画像において生体を強調的に表示すること、また後段の処理において生体の認識の確実性を高めることが可能である。
　また、ある実施形態によれば、カメラから被写体までの距離に依存して異なるフィルタ構成で、その被写体が映る領域についての上記フィルタリングが実行される。従って、例えば運転支援の用途において、運転者が注意すべき近傍の歩行者又は障害物などの対象物をカラー画像において特に強調することが可能である。
　なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory　media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random　Access　Memory）に読み込まれ、ＣＰＵ（Central　Processing　Unit）などのプロセッサにより実行される。
　また、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、
　前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、
　を備える画像処理装置。
（２）
　前記画像処理装置は、前記遠赤外画像、前記近赤外画像及び前記可視光画像が撮像された際の撮像条件を判定する判定部、をさらに備え、
　前記生成部は、前記判定部により判定される前記撮像条件に依存して異なるフィルタ構成で、前記フィルタリングを実行する、
　前記（１）に記載の画像処理装置。
（３）
　前記生成部は、学習処理を通じて事前に決定される前記フィルタ構成で、前記フィルタリングを実行する、前記（２）に記載の画像処理装置。
（４）
　前記生成部は、前記判定部により判定される前記撮像条件と学習時の撮像条件との差に基づいて調整されるフィルタ係数を用いて、前記フィルタリングを実行する、前記（３）に記載の画像処理装置。
（５）
　前記撮像条件は、時間帯、天候及び環境照度のうちの１つ以上を含む、前記（２）～（４）のいずれか１項に記載の画像処理装置。
（６）
　前記画像処理装置は、
　前記遠赤外画像、前記近赤外画像及び前記可視光画像のうちの少なくとも１つにおいて生体が映る生体領域を認識する認識部、
　をさらに備え、
　前記生成部は、非生体領域のために使用されるフィルタ構成とは異なるフィルタ構成で、前記生体領域についての前記フィルタリングを実行する、
　前記（１）～（５）のいずれか１項に記載の画像処理装置。
（７）
　前記生成部は、カメラから前記生体までの距離に依存して異なるフィルタ構成で、前記生体領域についての前記フィルタリングを実行する、前記（６）に記載の画像処理装置。
（８）
　前記認識部は、認識した前記生体領域を特定する生体領域情報を生成し、
　前記生成部は、前記カラー画像と共に前記生体領域情報を後段のアプリケーションへ出力する、
　前記（６）又は前記（７）に記載の画像処理装置。
（９）
　前記画像処理装置は、車両に搭載され、
　前記生成部は、前記カラー画像を運転支援アプリケーションへ出力する、
　前記（１）～（７）のいずれか１項に記載の画像処理装置。
（１０）
　共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得することと、
　前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成することと、
　を含む画像処理方法。
（１１）
　画像処理装置を制御するコンピュータを、
　共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、
　前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、
　として機能させるためのプログラム。
（１２）
　遠赤外領域、近赤外領域及び可視光領域において被写体を撮像し、対応する遠赤外画像、近赤外画像及び可視光画像を出力するカメラモジュールと、
　前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する画像処理モジュールと、
　を含む画像処理システム。
（１３）
　前記画像処理システムは、車両に搭載され、
　前記画像処理モジュールにより生成される前記カラー画像に基づくアプリケーションを実行するアプリケーションモジュール、をさらに含む、
　前記（１２）に記載の画像処理システム。
　１　　　　　　　　車両
　１０　　　　　　　車載システム
　２０　　　　　　　画像処理システム
　３０　　　　　　　アプリケーションモジュール
　４０　　　　　　　周辺モジュール
　１００，２００　　画像処理装置（画像処理モジュール）
　１０２　　　　　　カメラモジュール
　１１０　　　　　　ディスプレイ
　１２０　　　　　　画像取得部
　１３０，２３０　　データ取得部
　１４０　　　　　　判定部
　２５０　　　　　　認識部
　１６０，２６０　　生成部
　１７０，２７０　　データベース

Claims (13)

  1. 　共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、
    　前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、
    　を備える画像処理装置。
  2. 　前記画像処理装置は、前記遠赤外画像、前記近赤外画像及び前記可視光画像が撮像された際の撮像条件を判定する判定部、をさらに備え、
    　前記生成部は、前記判定部により判定される前記撮像条件に依存して異なるフィルタ構成で、前記フィルタリングを実行する、
    　請求項１に記載の画像処理装置。
  3. 　前記生成部は、学習処理を通じて事前に決定される前記フィルタ構成で、前記フィルタリングを実行する、請求項２に記載の画像処理装置。
  4. 　前記生成部は、前記判定部により判定される前記撮像条件と学習時の撮像条件との差に基づいて調整されるフィルタ係数を用いて、前記フィルタリングを実行する、請求項３に記載の画像処理装置。
  5. 　前記撮像条件は、時間帯、天候及び環境照度のうちの１つ以上を含む、請求項２に記載の画像処理装置。
  6. 　前記画像処理装置は、
    　前記遠赤外画像、前記近赤外画像及び前記可視光画像のうちの少なくとも１つにおいて生体が映る生体領域を認識する認識部、
    　をさらに備え、
    　前記生成部は、非生体領域のために使用されるフィルタ構成とは異なるフィルタ構成で、前記生体領域についての前記フィルタリングを実行する、
    　請求項１に記載の画像処理装置。
  7. 　前記生成部は、カメラから前記生体までの距離に依存して異なるフィルタ構成で、前記生体領域についての前記フィルタリングを実行する、請求項６に記載の画像処理装置。
  8. 　前記認識部は、認識した前記生体領域を特定する生体領域情報を生成し、
    　前記生成部は、前記カラー画像と共に前記生体領域情報を後段のアプリケーションへ出力する、
    　請求項６に記載の画像処理装置。
  9. 　前記画像処理装置は、車両に搭載され、
    　前記生成部は、前記カラー画像を運転支援アプリケーションへ出力する、
    　請求項１に記載の画像処理装置。
  10. 　共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得することと、
    　前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成することと、
    　を含む画像処理方法。
  11. 　画像処理装置を制御するコンピュータを、
    　共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、
    　前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、
    　として機能させるためのプログラム。
  12. 　遠赤外領域、近赤外領域及び可視光領域において被写体を撮像し、対応する遠赤外画像、近赤外画像及び可視光画像を出力するカメラモジュールと、
    　前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する画像処理モジュールと、
    　を含む画像処理システム。
  13. 　前記画像処理システムは、車両に搭載され、
    　前記画像処理モジュールにより生成される前記カラー画像に基づくアプリケーションを実行するアプリケーションモジュール、をさらに含む、
    　請求項１２に記載の画像処理システム。
PCT/JP2015/080965 2015-01-13 2015-11-02 画像処理装置、画像処理方法、プログラム及びシステム WO2016113983A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15877935.5A EP3229468B1 (en) 2015-01-13 2015-11-02 Image processing device, image processing method, program, and system
JP2016569234A JP6729394B2 (ja) 2015-01-13 2015-11-02 画像処理装置、画像処理方法、プログラム及びシステム
US15/539,815 US10176543B2 (en) 2015-01-13 2015-11-02 Image processing based on imaging condition to obtain color image
CN201580072616.2A CN107113408B (zh) 2015-01-13 2015-11-02 图像处理装置、图像处理方法、程序和系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015004121 2015-01-13
JP2015-004121 2015-01-13

Publications (1)

Publication Number Publication Date
WO2016113983A1 true WO2016113983A1 (ja) 2016-07-21

Family

ID=56405540

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/080965 WO2016113983A1 (ja) 2015-01-13 2015-11-02 画像処理装置、画像処理方法、プログラム及びシステム

Country Status (5)

Country Link
US (1) US10176543B2 (ja)
EP (1) EP3229468B1 (ja)
JP (1) JP6729394B2 (ja)
CN (1) CN107113408B (ja)
WO (1) WO2016113983A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018163725A1 (ja) * 2017-03-08 2018-09-13 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2019004348A (ja) * 2017-06-16 2019-01-10 ディーピーティー株式会社 移動体用映像表示装置およびその方法
JP2020028029A (ja) * 2018-08-10 2020-02-20 株式会社リコー 画像処理装置、画像処理システム、プログラムおよび画像処理方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015223175A1 (de) * 2015-11-24 2017-05-24 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem mit adaptiver Umgebungsbilddatenverarbeitung
JP6365598B2 (ja) * 2016-06-17 2018-08-01 トヨタ自動車株式会社 車両ヒータの制御装置
WO2018150685A1 (ja) * 2017-02-20 2018-08-23 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP7020471B2 (ja) * 2017-02-24 2022-02-16 ソニーグループ株式会社 画像処理装置及び撮像装置
JP7075201B2 (ja) * 2017-12-15 2022-05-25 東芝ライフスタイル株式会社 電気掃除機
US10785422B2 (en) * 2018-05-29 2020-09-22 Microsoft Technology Licensing, Llc Face recognition using depth and multi-spectral camera
JP7171254B2 (ja) * 2018-06-13 2022-11-15 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
CN111488756B (zh) * 2019-01-25 2023-10-03 杭州海康威视数字技术股份有限公司 基于面部识别的活体检测的方法、电子设备和存储介质
CN111429722A (zh) * 2020-03-30 2020-07-17 淮阴工学院 基于实时路况的辅助车速报警控制系统
CN111460186B (zh) * 2020-03-31 2022-04-08 河北工业大学 包含车辆可见光图像和红外图像数据库的建立方法
CN111507930B (zh) * 2020-06-18 2023-10-10 杭州海康威视数字技术股份有限公司 图像融合方法、装置、存储介质和计算机设备
CN117146780B (zh) * 2023-10-31 2024-01-09 季华实验室 成像方法、终端设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002203240A (ja) * 2000-10-31 2002-07-19 Matsushita Electric Ind Co Ltd 物体認識装置、物体を認識する方法、プログラムおよび記録媒体
JP2008289001A (ja) * 2007-05-18 2008-11-27 Sony Corp 画像入力処理装置、および、その方法
JP2011055133A (ja) * 2009-08-31 2011-03-17 Fujifilm Corp 画像処理システム、画像処理方法およびプログラム
JP2012094946A (ja) * 2010-10-25 2012-05-17 Hitachi Ltd 撮像装置
JP2013065280A (ja) * 2011-09-01 2013-04-11 Canon Inc 画像処理方法、画像処理装置およびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115759A (ja) 1998-10-05 2000-04-21 Sony Corp 撮像表示装置
EP1202214A3 (en) 2000-10-31 2005-02-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for object recognition
US7248297B2 (en) * 2001-11-30 2007-07-24 The Board Of Trustees Of The Leland Stanford Junior University Integrated color pixel (ICP)
US7929727B2 (en) * 2002-07-26 2011-04-19 Tenebraex Corporation Methods for visually separating an object from its background, methods for detecting a camouflaged object against its background and detection apparatus embodying such methods
US7570286B2 (en) * 2005-05-27 2009-08-04 Honda Motor Co., Ltd. System and method for creating composite images
CN2842571Y (zh) * 2005-10-28 2006-11-29 沈阳理工大学 一种抗天气干扰图像采集装置
JP2007158820A (ja) 2005-12-06 2007-06-21 Fujitsu Ten Ltd 撮影制御装置
CN100550996C (zh) * 2006-07-31 2009-10-14 株式会社理光 图像处理装置，成像装置以及图像处理方法
JP5110356B2 (ja) 2007-07-10 2012-12-26 オムロン株式会社 検出装置および方法、並びに、プログラム
CN101578885B (zh) * 2007-08-07 2012-09-12 松下电器产业株式会社 摄像处理装置以及摄像装置、图像处理方法
KR101441589B1 (ko) * 2008-10-07 2014-09-29 삼성전자 주식회사 가시광선 이미지와 원적외선 이미지를 광학적으로 융합하는장치
US9451183B2 (en) * 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
JP5578965B2 (ja) * 2010-07-02 2014-08-27 富士フイルム株式会社 オブジェクト推定装置および方法ならびにプログラム
JP5519083B2 (ja) * 2011-09-29 2014-06-11 富士フイルム株式会社 画像処理装置、方法、プログラムおよび撮像装置
JP5409829B2 (ja) 2012-02-17 2014-02-05 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム
CN102647449B (zh) 2012-03-20 2016-01-27 西安联客信息技术有限公司 基于云服务的智能摄影方法、装置及移动终端
US9304301B2 (en) * 2012-12-26 2016-04-05 GM Global Technology Operations LLC Camera hardware design for dynamic rearview mirror
JP6015946B2 (ja) 2013-03-29 2016-10-26 マツダ株式会社 車両用撮像装置
JP2014241584A (ja) * 2013-05-14 2014-12-25 パナソニックＩｐマネジメント株式会社 画像処理方法、及び画像処理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002203240A (ja) * 2000-10-31 2002-07-19 Matsushita Electric Ind Co Ltd 物体認識装置、物体を認識する方法、プログラムおよび記録媒体
JP2008289001A (ja) * 2007-05-18 2008-11-27 Sony Corp 画像入力処理装置、および、その方法
JP2011055133A (ja) * 2009-08-31 2011-03-17 Fujifilm Corp 画像処理システム、画像処理方法およびプログラム
JP2012094946A (ja) * 2010-10-25 2012-05-17 Hitachi Ltd 撮像装置
JP2013065280A (ja) * 2011-09-01 2013-04-11 Canon Inc 画像処理方法、画像処理装置およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3229468A4 *
YUJI YAMAUCHI ET AL.: "Human Detection Based on Statistical Learning from Image", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, vol. J96-D, no. 9, 1 September 2013 (2013-09-01), pages 2017 - 2040, XP009503833, ISSN: 1880-4535 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018163725A1 (ja) * 2017-03-08 2018-09-13 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JPWO2018163725A1 (ja) * 2017-03-08 2020-01-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US10880498B2 (en) 2017-03-08 2020-12-29 Sony Corporation Image processing apparatus and image processing method to improve quality of a low-quality image
JP7014218B2 (ja) 2017-03-08 2022-02-01 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2019004348A (ja) * 2017-06-16 2019-01-10 ディーピーティー株式会社 移動体用映像表示装置およびその方法
JP2020028029A (ja) * 2018-08-10 2020-02-20 株式会社リコー 画像処理装置、画像処理システム、プログラムおよび画像処理方法
JP7155737B2 (ja) 2018-08-10 2022-10-19 株式会社リコー 画像処理装置、画像処理システム、プログラムおよび画像処理方法

Also Published As

Publication number Publication date
JP6729394B2 (ja) 2020-07-22
EP3229468B1 (en) 2020-03-18
EP3229468A4 (en) 2018-06-13
US20170372444A1 (en) 2017-12-28
CN107113408B (zh) 2021-05-11
EP3229468A1 (en) 2017-10-11
US10176543B2 (en) 2019-01-08
CN107113408A (zh) 2017-08-29
JPWO2016113983A1 (ja) 2017-10-19

Similar Documents

Publication Publication Date Title
JP6729394B2 (ja) 画像処理装置、画像処理方法、プログラム及びシステム
US11948462B2 (en) Image generating apparatus, image generating method, and recording medium
US10504214B2 (en) System and method for image presentation by a vehicle driver assist module
CN104512411B (zh) 车辆控制系统及图像传感器
US11600075B2 (en) Nighttime sensing
JP4970516B2 (ja) 周囲確認支援装置
JP7268001B2 (ja) 演算処理装置、オブジェクト識別システム、学習方法、自動車、車両用灯具
JP4482599B2 (ja) 車両の周辺監視装置
US11715180B1 (en) Emirror adaptable stitching
WO2021068178A1 (en) Systems and methods for image quality detection
CN109409186B (zh) 用于对象检测和通知的驾驶员辅助系统和方法
US10482347B2 (en) Inspection of the contoured surface of the undercarriage of a motor vehicle
KR20200040697A (ko) 자동차 안전 및 주행 시스템을 위한 셔터리스 원적외선(fir) 카메라
CN105447838A (zh) 一种红外与微光/可见光融合成像的方法及系统
US20120249801A1 (en) Image generation apparatus, image generation method and image generation program
JP2014215877A (ja) 物体検出装置
US8781158B1 (en) UVB-visible channel apparatus and method for viewing a scene comprising terrestrial corona radiation
JP2016196233A (ja) 車両用道路標識認識装置
JP2009025910A (ja) 障害物検出装置、障害物検出システム及び障害物検出方法
CN112465735A (zh) 行人检测方法、装置及计算机可读存储介质
US20230308779A1 (en) Information processing device, information processing system, information processing method, and information processing program
US9197822B1 (en) Array augmented parallax image enhancement system and method
JP2008108118A (ja) 画像処理装置
JP2007214806A (ja) 障害物検出システム、及び障害物検出方法
JP2008040724A (ja) 画像処理装置、及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15877935

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016569234

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015877935

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15539815

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE