WO2024203261A1 - 画像処理装置、画像処理システム及び画像処理方法 - Google Patents

画像処理装置、画像処理システム及び画像処理方法 Download PDF

Info

Publication number
WO2024203261A1
WO2024203261A1 PCT/JP2024/009466 JP2024009466W WO2024203261A1 WO 2024203261 A1 WO2024203261 A1 WO 2024203261A1 JP 2024009466 W JP2024009466 W JP 2024009466W WO 2024203261 A1 WO2024203261 A1 WO 2024203261A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
sensor
infrared
image processing
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2024/009466
Other languages
English (en)
French (fr)
Inventor
真理子 中野
篤史 戸塚
直人 小林
里美 川瀬
琴子 平岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of WO2024203261A1 publication Critical patent/WO2024203261A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This disclosure relates to an image processing device, an image processing system, and an image processing method.
  • infrared images images using infrared light
  • visible images images using visible light
  • devices are also known that can generate images from which the background of the subject has been removed by acquiring depth information to the subject using infrared images.
  • the visibility of a subject when the visibility of a subject (such as a vehicle) in a visible image is reduced due to fog or other objects that obscure the subject, the visibility of the subject can be improved by using an infrared image.
  • infrared images can sometimes capture unexpected and unnecessary information in addition to the intended subject, such as a vehicle. For example, if there is film on the rear passenger windows of a vehicle, the visibility of a person in the rear passenger seat is reduced in visible images, but the person may be clearly visible in infrared images.
  • Some subjects that do not appear in visible images but do appear in infrared images may be desirable to have their visibility reduced from the perspective of protecting privacy, etc. Thus, it is desirable to reduce the visibility of some subjects that appear in infrared images more reliably.
  • This disclosure therefore provides a mechanism that can more reliably reduce the visibility of subjects in infrared images.
  • the image processing device disclosed herein includes a control unit.
  • the control unit acquires a visible image and an infrared image.
  • the control unit detects an object having higher visibility in the infrared image than in the visible image.
  • the control unit processes the detected object to generate a processed image from the infrared image.
  • FIGS. 1A to 1C are diagrams for explaining an example of image processing according to a proposed technique of the present disclosure.
  • 1 is a block diagram showing an example of the overall configuration of an image processing system according to an embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating an example of a difference image according to an embodiment of the present disclosure.
  • 11 is a diagram for explaining an example of a correction region according to an embodiment of the present disclosure.
  • FIG. 4 is a block diagram showing an example configuration of a corrected image generating unit according to an embodiment of the present disclosure.
  • FIG. FIG. 11 is a diagram for explaining an example of a corrected image according to an embodiment of the present disclosure.
  • 13A and 13B are diagrams for explaining another example of a corrected image according to an embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating an example of a flow of image processing according to an embodiment of the present disclosure.
  • 10 is a flowchart illustrating an example of a flow of a correction process according to an embodiment of the present disclosure.
  • FIG. 11 is a block diagram illustrating an example of the configuration of an image processing system according to another embodiment 1 of the present disclosure.
  • FIG. 11 is a block diagram illustrating an example of the configuration of an image processing system according to another embodiment 2 of the present disclosure.
  • 1 is a block diagram showing an example configuration of a vehicle control system to which an image processing system according to a proposed technique of the present disclosure is applied.
  • 13 is a diagram showing an example of a sensing area by the camera, 2D distance measuring sensor, 3D distance measuring sensor, ultrasonic sensor, etc. of the external recognition sensor of FIG. 12 .
  • FIG. 2 is a hardware configuration diagram illustrating an example of a computer that realizes the functions of an image processing device according to the present disclosure.
  • One or more of the embodiments (including examples, variations, and application examples) described below can be implemented independently. However, at least a portion of the embodiments described below may be implemented in appropriate combination with at least a portion of another embodiment. These embodiments may include novel features that are different from one another. Thus, these embodiments may contribute to solving different purposes or problems and may provide different effects.
  • the infrared image may contain areas that are not visible in the visible image but are visible in the infrared image (transparent areas). There is a risk that unnecessary information, such as a person, may be captured unexpectedly in these transparent areas.
  • an image processing device acquires an RGB image (an example of a visible image) and an infrared image.
  • the image processing device detects an object having higher visibility in the infrared image than in the visible image.
  • the image processing device processes the detected object to generate a processed image from the infrared image.
  • FIG. 1 is a diagram for explaining an example of image processing according to the proposed technology of the present disclosure.
  • Image processing is performed by an image processing device (not shown).
  • the image processing device may be a device mounted on the camera 200, or may be a device separate from the camera 200 (e.g., a PC, a server device, etc.). Note that if the image processing device is a device separate from the camera 200, it is desirable for the image processing device to be located on the camera 200 side (edge), but it may also be located on the network side, such as the cloud.
  • the camera 200 captures the surroundings and generates an RGB image MRGB_1 and an infrared image MIR_1 .
  • a building OB_1 and a person OB_2 are blocked by a shielding object OB_0 such as glass or cloth that blocks visible light, so that the RGB image MRGB_1 includes the shielding object OB_0 and a building OB_3.
  • a shielding object OB_0 such as glass or cloth that blocks visible light
  • infrared light is not blocked by the shielding object OB_0, so that the infrared image MIR_1 includes the building OB_1 and the person OB_2 superimposed on the shielding object OB_0 in addition to the shielding object OB_0 and the building OB_3.
  • the area in which the shielding object OB_0 is captured is a transparent area.
  • the image processing device detects a subject (here, person OB_2) whose visibility in the infrared image M IR _1 is higher than that in the RGB image M RGB _1. For example, the image processing device detects a subject that is included in the infrared image M IR _1 but not included in the RGB image M RGB _1.
  • the image processing device detects subjects that are included in the infrared image M IR — 1 but not included in the RGB image M RGB — 1 from the difference between the high frequency components of the RGB image M RGB — 1 and the infrared image M IR — 1.
  • the image processing device generates a corrected image (an example of a processed image) M C _1 by correcting (an example of processing) the detected subject (person OB_2) from the infrared image M IR _1.
  • the image processing device generates the corrected image M C _1 including the corrected person OB C _2 by correcting high frequency components of an area including the person OB_2 in the infrared image M IR _1.
  • the image processing device detects the subject to be corrected based on preset information such as the type of the subject. For example, the image processing device detects the person OB_2, out of the building OB_1 and the person OB_2, as the subject to be corrected based on the type of the subject (for example, information indicating that the correction target is a person) as preset information.
  • the image processing device of the proposed technology detects (identifies) subjects that are occluded and not captured in the RGB image M RGB _1 but are not occluded and captured in the infrared image M IR _1, based on the RGB image M RGB _1 and the infrared image M IR _1.
  • the image processing device corrects an area including a subject detected in an infrared image M IR — 1 to generate a corrected image M C — 1 in which the visibility of the subject is reduced.
  • the image processing device can more reliably reduce the visibility of a specific transparent object (subject) captured in the infrared image M IR _ 1.
  • the image processing device can be used to process images captured by imaging systems such as in-vehicle cameras, drive recorders, and surveillance cameras.
  • imaging systems such as in-vehicle cameras, drive recorders, and surveillance cameras.
  • the camera 200 captures an infrared image M IR .
  • the image processing device of the proposed technology reduces the visibility in the infrared image M IR of the subject that has low visibility in the RGB image M RGB .
  • FIG. 2 is a block diagram showing an example of the overall configuration of an image processing system S1 according to an embodiment of the present disclosure.
  • the image processing system S1 shown in Fig. 2 includes an image processing device 100 and a camera 200.
  • the image processing device 100 and the camera 200 may be located in the same place or may be located in separate places.
  • the image processing device 100 and the camera 200 may be connected to a network (e.g., the Internet, etc.) not shown.
  • a network e.g., the Internet, etc.
  • Camera 200 is an imaging device that captures an image of the surroundings of camera 200.
  • Camera 200 shown in Fig. 2 includes an RGB sensor 210 and an IR (Infrared) sensor 220.
  • Camera 200 is an RGB-IR camera compatible with the infrared wavelength region and the visible light wavelength region.
  • the RGB sensor 210 receives ambient light with a photodiode, detects RGB (red, green, blue) values, and obtains a color image (RGB image M RGB ).
  • the RGB sensor 210 is a sensor that corresponds to the visible light wavelength range.
  • the RGB sensor 210 outputs the obtained RGB image M RGB to the image processing device 100.
  • the IR sensor 220 receives ambient light with a photodiode, detects the IR value, and obtains an IR image (infrared image M IR ).
  • the IR sensor 220 is a sensor that corresponds to the infrared wavelength region.
  • the IR sensor 220 outputs the obtained infrared image M IR to the image processing device 100.
  • the camera 200 may include a light source that can irradiate the subject with IR light.
  • the IR sensor 220 receives, for example, short wave infrared (SWIR) light to generate an infrared image M IR .
  • SWIR short wave infrared
  • NIR near infrared
  • the image processing device 100 performs image processing on the images (RGB image M RGB and infrared image M IR ) captured by the camera 200.
  • the image processing device 100 presents, for example, the image after image processing (RGB image M RGB or infrared image M IR (including corrected image M C )) to the user.
  • the image processing device 100 shown in FIG. 2 includes a memory unit 110, a display unit 120, and a control unit 130.
  • the storage unit 110 is realized by, for example, a semiconductor memory element such as a random access memory (RAM) or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 110 stores, for example, an RGB image M RGB , an infrared image M IR, and a corrected image M C.
  • the display unit 120 is a mechanism for outputting various information, and is, for example, a liquid crystal display.
  • the display unit 120 displays an RGB image M RGB captured by the camera 200, or a corrected image M C corrected by the image processing device 100.
  • the display unit 120 may also function as a processing unit for accepting various operations from a user who uses the image processing device 100.
  • the display unit 120 may accept input of various information via key operations, a touch panel, or the like.
  • the image processing device 100 may display an image on an external display device (not shown).
  • the display device may be located in the same place as the image processing device 100, or in a different place. If located in different places, the image processing device 100 and the display device may be connected to each other via a network (e.g., the Internet, etc.).
  • Control unit 130 The control unit 130 is realized by, for example, a central processing unit (CPU), a micro processing unit (MPU), a graphics processing unit (GPU), or the like executing a program stored inside the image processing device 100 using a RAM or the like as a working area.
  • the control unit 130 is also a controller, and may be realized by, for example, an integrated circuit such as an application specific integrated circuit (ASIC) or a field programmable gate array (FPGA).
  • ASIC application specific integrated circuit
  • FPGA field programmable gate array
  • control unit 130 has an acquisition unit 131, a visible image generation unit 132, an infrared image generation unit 133, a difference image generation unit 134, an area detection unit 135, and a correction image generation unit 136, and realizes or executes the functions and actions of the information processing described below.
  • the internal configuration of the control unit 130 is not limited to the configuration shown in FIG. 2, and may be other configurations as long as they perform the information processing described below.
  • the acquisition unit 131 acquires an image from the camera 200.
  • the acquisition unit 131 acquires an RGB image M RGB from the RGB sensor 210.
  • the acquisition unit 131 acquires an infrared image M IR from the IR sensor 220.
  • the acquisition unit 131 outputs the acquired RGB image M RGB to the visible image generation unit 132.
  • the acquisition unit 131 outputs the acquired infrared image M IR to the infrared image generation unit 133.
  • the visible image generating unit 132 generates an RGB high-frequency image by extracting high-frequency components from the RGB image M RGB .
  • the visible image generating unit 132 generates an RGB high-frequency image by extracting high-frequency components equal to or higher than a first threshold.
  • the first threshold value is a value that is set in advance, for example, through simulation.
  • the visible image generating section 132 outputs the generated RGB high frequency image to the differential image generating section 134.
  • the visible image generating section 132 outputs the RGB image M RGB to the corrected image generating section 136.
  • the visible image generating unit 132 may perform development, etc. on the raw image to generate an RGB image M RGB in which each pixel has information on each of the RGB colors.
  • the visible image generating unit 132 generates an RGB high frequency image from the RGB image M RGB that has been subjected to processing such as development, for example.
  • the infrared image generating unit 133 generates an infrared high frequency image by extracting high frequency components from the infrared image M IR .
  • the infrared image generating unit 133 generates an infrared high frequency image by extracting high frequency components equal to or higher than a second threshold.
  • This second threshold is a value that is set in advance, for example, by simulation or the like.
  • the infrared image generating unit 133 outputs the generated high frequency infrared image to the differential image generating unit 134.
  • the infrared image generating unit 133 also outputs the infrared image M IR to the area detecting unit 135 and the corrected image generating unit 136.
  • the visible image generating unit 132 may perform processing such as development on the RAW image to generate the infrared image M IR .
  • the infrared image generating unit 133 generates a high frequency infrared image from the infrared image M IR that has been subjected to processing such as development.
  • the infrared image generating unit 133 may align the RGB image M RGB and the infrared image M IR using a subject or the like included in the RGB image M RGB and the infrared image M IR .
  • the difference image generating unit 134 generates a difference image from the difference between the high frequency components of the RGB image M RGB and the infrared image M IR .
  • the difference image generating unit 134 generates a difference image from the difference between each pixel of the RGB high frequency image and the infrared high frequency image. This difference image contains high frequency components that cannot be detected in the RGB image M RGB but can be detected in the infrared image M IR .
  • FIG. 3 is a diagram showing an example of a difference image M D _ 1 according to an embodiment of the present disclosure.
  • the visible image generating unit 132 generates an RGB high frequency image M RGBH — 1 from the RGB image M RGB — 1.
  • the RGB high frequency image M RGBH — 1 includes, for example, the contours (high frequency components) of a building OB_3 and an obstructing object OB_0.
  • the infrared image generating unit 133 generates an infrared high frequency image M IRH — 1 from the infrared image M IR — 1.
  • the infrared high frequency image M IRH — 1 includes, for example, the contours (high frequency components) of a building OB_1 and a person OB_2 in addition to the contours of a building OB_3 and an obstructing object OB_0.
  • the difference image generating unit 134 calculates the difference between the RGB high frequency image M RGBH — 1 and the infrared high frequency image M IRH — 1 to generate a difference image M D — 1.
  • This difference image M D — 1 contains the contours (high frequency components) of the building OB_1 and the person OB_2.
  • the difference image M D — 1 contains high frequency components (eg, high frequency components related to the building OB_1 and person OB_2) that are not detected in the RGB image M RGB — 1 but are detected in the infrared image M IR — 1.
  • high frequency components eg, high frequency components related to the building OB_1 and person OB_2
  • the difference image generating unit 134 outputs the generated difference image M D _ 1 to the area detecting unit 135 .
  • the area detection unit 135 detects an area (subject area) including a subject to be corrected from the difference image M D _1.
  • the correction subject is specified in advance on the system. That is, the area detection unit 135 has in advance target information for identifying the correction subject, for example.
  • the area detection unit 135 detects the subject area from the difference image M D _1 based on the target information.
  • the target information for identifying the correction target includes the type of subject (e.g., text, face, clothes, etc.), a specific range (e.g., the rear seat and window of a vehicle, etc.), and a threshold value, etc.
  • the area detection unit 135 detects a subject area from the difference image M D _1 based on the target information, for example, by using machine learning and a known object detection method, etc.
  • the area detection unit 135 determines a correction area, for example, by expanding or reducing the detected subject area.
  • the area detection unit 135 identifies the correction area in the infrared image M IR — 1 based on, for example, the correction area in the difference image M D — 1.
  • FIG. 4 is a diagram for explaining an example of a correction area R1 according to an embodiment of the present disclosure.
  • the correction target includes a person's face, but does not include buildings such as buildings.
  • the area detection unit 135 identifies a correction area R1 that includes a person's face, for example, from among multiple subjects (buildings and people's faces in the example of FIG. 4).
  • the area detection unit 135 outputs the detected correction area R1 to the correction image generation unit 136.
  • the area detection unit 135 determines the correction area based on the correction information (correction target) that is specified in advance on the system, but the user may specify the correction information that the area detection unit 135 uses to determine the correction area.
  • the user specifies correction information related to the correction target identified by the area detection unit 135, such as the type of subject and a specific range.
  • the user may specify correction exclusion targets that are not to be corrected, such as vehicles and buildings.
  • the area detection unit 135 determines the correction area based on the specified correction information.
  • the area detection unit 135 may use information other than the difference image M D to determine the subject area.
  • the area detection unit 135 may determine the subject area using the RGB image M RGB and the infrared image M IR in addition to the difference image M D.
  • the target information may also be changed depending on the shooting conditions and shooting purpose of the camera 200.
  • the image processing device 100 normally does not correct surrounding vehicles, license plates, or drivers, but instead corrects people in the back seat, for example.
  • the target information normally includes people sitting in the back seat.
  • the image processing device 100 does not include people in the back seats in the correction. In other words, in the event of an accident, people sitting in the back seats are not included in the target information.
  • the image processing device 100 may, for example, not treat the vehicle as the subject of correction, but rather treat the person in the vehicle as the subject of correction.
  • the target information may include a person.
  • the camera 200 is a surveillance camera
  • the person in the vehicle may not be the subject of correction, but the face of the person in the vehicle may be the subject of correction.
  • the target information may include the person's face.
  • the image processing device 100 may change the correction target (i.e., target information) depending on the shooting conditions (e.g., normal driving/accident, etc.) and shooting purpose (e.g., in-vehicle camera/surveillance camera, etc.) of the image processing system S1.
  • shooting conditions e.g., normal driving/accident, etc.
  • shooting purpose e.g., in-vehicle camera/surveillance camera, etc.
  • the target information to be used for image correction may be determined in advance, and the determined target information may be stored in the storage unit 110.
  • the determined target information may be stored in the storage unit 110.
  • multiple pieces of target information may be stored in the storage unit 110, and the user (or the installer of the camera 200) may specify which target information to use.
  • the corrected image generating unit 136 performs correction such as deletion on the correction region R1 included in the infrared image MIR , and generates a corrected image M C.
  • FIG. 5 is a block diagram showing an example of the configuration of the correction image generating unit 136 according to an embodiment of the present disclosure. Note that the internal configuration of the correction image generating unit 136 is not limited to the configuration shown in FIG. 5, and may be other configurations as long as they perform the information processing described below.
  • the corrected image generating unit 136 includes a threshold determining unit 136a, a correction processing unit 136b, and an image generating unit 136c.
  • the threshold determination unit 136a determines a third threshold to be used in the subsequent correction processing unit 136b based on the RGB image M RGB and the correction region R1. As will be described later, the correction processing unit 136b performs a correction process to apply a low-pass filter to the infrared image M IR , for example. The threshold determination unit 136a determines the third threshold (the cutoff frequency of the low-pass filter) to be used in this correction process.
  • the threshold determination unit 136a identifies a region in the RGB image M RGB that corresponds to the correction region R1 based on the correction region R1. As described above, the RGB image M RGB and the infrared image M IR are aligned. Therefore, the threshold determination unit 136a identifies a region in the RGB image MRGB that is the same as the correction region R1 in the infrared image M IR .
  • the threshold determination unit 136a calculates the frequency components of the region in the RGB image M RGB .
  • the threshold determination unit 136a determines the third threshold in accordance with the calculated frequency components. For example, the threshold determination unit 136a determines the third threshold so that the frequency components of the correction region R1 are the same as the calculated frequency components or are equal to or lower than the calculated frequency components. Specifically, the threshold determination unit 136a sets the calculated frequency components as the third threshold (cutoff frequency).
  • the threshold determination unit 136a outputs the determined third threshold to the correction processing unit 136b.
  • the threshold determination unit 136a may set a value that is preset in the system as the third threshold.
  • the user may specify the third threshold.
  • the threshold determination unit 136a may determine the third threshold in various ways.
  • the correction processing unit 136b performs a correction process on the infrared image M IR using the infrared image M IR acquired from the infrared image generating unit 133 and a third threshold.
  • the correction processing unit 136b applies, for example, a low-pass filter to the infrared image M IR .
  • the correction processing unit 136b extracts frequency components equal to or lower than the third threshold from the infrared image M IR using, for example, the low-pass filter.
  • the correction processing unit 136b inputs the infrared image M IR to a low-pass filter that has a cutoff frequency equal to the third threshold value, and outputs the output to the image generation unit 136c.
  • Image generation unit 136c The image generating unit 136c generates a corrected image M C from the output result of the correction processing unit 136b.
  • the image generating unit 136c outputs the generated corrected image M C to the display unit 120.
  • the image generating unit 136c The generated corrected image M C may be stored in the storage unit 110 .
  • Fig. 6 is a diagram for explaining an example of a corrected image M C according to an embodiment of the present disclosure.
  • the image generating unit 136c generates a corrected image M C _1 from an infrared image M IR _1.
  • the infrared image M IR _1 includes a correction region R1.
  • the correction processing unit 136b performs low-pass filtering on the correction region R1 to cut frequencies higher than a third threshold.
  • the image generating unit 136c generates a corrected image M C _1 in which high-frequency components of the correction region R1 have been cut.
  • the corrected image M C _1 is an image that has been corrected so that people's faces are not recognizable.
  • the image processing apparatus 100 can generate a corrected image M C _ 1 in which specific transparency information (here, a person's face) has been corrected.
  • the corrected image generating unit 136 generates a corrected image M C _ 2 from an RGB image M RGB _ 2 and an infrared image M IR _ 2.
  • the RGB image M RGB _2 shows a first vehicle OB_21, a plurality of people OB_23, and a second vehicle OB_24.
  • the RGB image M RGB _2 also shows fog OB_22 behind (in the distance) the second vehicle OB_24.
  • the first vehicle OB_21 includes a driver sitting in the driver's seat.
  • the infrared image M IR _ 2 includes a first vehicle OB_21, multiple people OB_23, and a second vehicle OB_24, as in the RGB image M RGB _ 2.
  • the RGB image M RGB _ 2 also includes fog OB_22 behind (in the distance) the second vehicle OB_24.
  • the first vehicle OB_21 includes a driver sitting in the driver's seat.
  • a third vehicle OB_25 is captured in the fog OB_22.
  • the clothes of multiple people OB_23 are visible through the infrared image M IR _ 2.
  • a person OB_26 is visible through the rear seat window of the second vehicle OB_24.
  • the RGB image M RGB _2 some of the subjects are not visible because they are obscured by obstacles such as window film, clothes (cloth), and fog, and the visibility of these subjects is low.
  • the infrared image M IR _2 some of the subjects are not obscured by obstacles such as window film, clothes (cloth), and fog, and the like, and these subjects are visible. That is, in the infrared image M IR _2, the visibility of some of the subjects is higher than in the RGB image M RGB _2.
  • the subjects not captured in the RGB image M RGB _2 there are some subjects (subject information) that need to be presented to the user, such as the third vehicle OB_25, and there are also some subjects that do not need to be presented to the user, such as the inside of the clothes and the person sitting in the back seat OB_26.
  • the area detection unit 135 detects the correction area R1 based on the correction information that specifies the correction target.
  • the correction targets are the inside of the clothes of the multiple persons OB_23 and the person OB_26 in the back seat of the second vehicle OB_24.
  • the area detection unit 135 determines the correction area R1 that includes these correction targets.
  • the corrected image generating unit 136 performs filtering processing (low-pass filter processing) on the corrected region R1 detected by the region detecting unit 135, and generates a corrected image M C _2.
  • the corrected image M C _2 includes the first to third vehicles OB_21, OB_24, and OB_25.
  • the face of a person OB C _26 in the back seat of the second vehicle OB_24 has been removed (corrected) and is difficult to see.
  • the corrected image M C _2 also includes a plurality of people OB C _23 whose insides have been removed (corrected) and are difficult to see.
  • the corrected image generation unit 136 deletes (corrects) unnecessary information (e.g., the inside of transparent clothing and the person's face, etc.) while leaving necessary information (e.g., the third vehicle OB_25, etc.).
  • unnecessary information e.g., the inside of transparent clothing and the person's face, etc.
  • necessary information e.g., the third vehicle OB_25, etc.
  • the image processing device 100 When the image processing device 100 detects a plurality of subjects having higher visibility in the infrared image M IR than in the RGB image M RGB , the image processing device 100 selects at least one of them based on the target information and performs correction on a correction region R1 including the selected subject.
  • the area detection unit 135 of the image processing device 100 detects a third vehicle OB_25, the inside of the clothes of the multiple persons OB_23, and person OB_26 as subjects having higher visibility in the infrared image M IR _2 than in the RGB image M RGB _2. Of these subjects, the area detection unit 135 selects the inside of the clothes of the multiple persons OB_23 and person OB_26 as subject targets.
  • the corrected image generation unit 136 generates a corrected image M C _2 by correcting the subjects selected by the area detection unit 135.
  • the corrected image generating unit 136 performs a correction process using a low-pass filter as a processing process for reducing the visibility of the subject included in the infrared image M IR .
  • the corrected image generating unit 136 may perform processing other than the correction process using a low-pass filter.
  • the correction image generating unit 136 may perform, as a processing step, a deletion process of the correction region R1, or a conversion process of replacing pixel values of the correction region R1 (or the subject included in the correction region R1) with a constant value.
  • the correction image generating unit 136 may perform a modification process of changing the color of the correction region R1, such as replacing the color of the correction region R1 with a light color.
  • the correction image generating unit 136 may perform various processes as a processing step for reducing the visibility of the subject included in the infrared image M IR .
  • Image processing Fig. 8 is a flowchart showing an example of the flow of image processing according to an embodiment of the present disclosure.
  • the image processing shown in Fig. 8 is repeatedly executed by the image processing device 100 while, for example, image capture is being performed by the camera 200.
  • the image processing device 100 executes image processing on each frame (frame image) of the moving image.
  • the image processing device 100 acquires image data (step S101).
  • the image data includes an RGB image M RGB and an infrared image M IR .
  • the image processing apparatus 100 generates an RGB high frequency image M RGBH by extracting predetermined high frequency components from the RGB image M RGB (step S102).
  • the image processing device 100 generates a high frequency infrared image M_IRH by extracting predetermined high frequency components from the infrared image M_IR (step S103).
  • the image processing device 100 generates a difference image M D between the RGB high frequency image M RGBH and the infrared high frequency image M IRH (step S104).
  • the image processing device 100 detects a correction region R1 from the difference image M D (step S105). The image processing device 100 determines whether or not a correction region R1 is detected from the difference image M D (step S ).
  • step S106 If there is no correction region R1, that is, if the correction region R1 is not included in the difference image M D (step S106; No), the image processing device 100 outputs the infrared image M IR to the display unit 120 (step S107), and ends the process.
  • step S106 determines whether the correction region R1 is present. If the correction region R1 is present, that is, if the correction region R1 is included in the difference image MD (step S106; Yes), the image processing device 100 executes a correction process (step S108). An example of the correction process will be described later with reference to FIG.
  • the image processing device 100 outputs the corrected image M C generated by the correction process to the display unit 120 (step S109), and ends the process.
  • Correction Processing> 9 is a flowchart showing an example of the flow of the correction process according to the embodiment of the present disclosure.
  • the correction process in FIG. 9 is executed by the image processing device 100 during the execution of the image processing described above, for example.
  • the image processing device 100 determines the third threshold value (step S201). For example, the image processing device 100 determines the third threshold value according to the frequency components in the correction region R1 of the RGB image M RGB .
  • the image processing device 100 applies a low-pass filter having the determined third threshold as a cutoff frequency to the correction region R1 of the infrared image MIR (step S202).
  • the image processing device 100 generates a corrected image M C including the correction region R 1 to which the low-pass filter has been applied (step S 203 ).
  • the image processing device 100 acquires an RGB image M RGB and an infrared image M IR .
  • the image processing device 100 detects an object having higher visibility in the acquired infrared image M IR than in the RGB image M RGB .
  • the image processing device 100 generates a corrected image M C (an example of a processed image) by correcting (processing) the detected object.
  • Fig. 10 is a block diagram showing an example of the configuration of an image processing system S1_A according to another embodiment 1 of the present disclosure.
  • the image processing system S1_A shown in Fig. 10 includes a camera 200A and an image processing device 100A.
  • Camera 200A differs from camera 200 shown in FIG. 2 in that it has an RGBIR sensor 230 that combines the RGB sensor 210 and the IR sensor 220.
  • the RGBIR sensor 230 includes a photodiode that receives visible light and a photodiode that receives infrared light.
  • the RGBIR sensor 230 generates an RGBIR image that includes RGB pixel values and infrared pixel values.
  • the image processing device 100A has a control unit 130A.
  • the acquisition unit 131A of the control unit 130A acquires an RGBIR image from the RGBIR sensor 230.
  • the visible image generating unit 132A extracts RGB pixel values from the RGBIR image to generate an RGB image M RGB .
  • the visible image generating unit 132A also generates an RGB high frequency image M RGBH .
  • the infrared image generating unit 133A extracts IR pixel values from the RGBIR image to generate an infrared image M IR .
  • the infrared image generating unit 133A also generates a high frequency infrared image M IRH .
  • the camera 200A acquires an RGBIR image using a single RGBIR sensor 230.
  • the image processing system S1_A can more reliably reduce the visibility of unnecessary information (subject).
  • Fig. 11 is a block diagram showing an example of the configuration of an image processing system S1_B according to another embodiment 2 of the present disclosure.
  • the image processing system S1_B shown in Fig. 11 includes cameras 200B_1 and 200B_2 and an image processing device 100B.
  • the camera 200B_1 has an RGB sensor 210.
  • the camera 200B_1 generates an RGB image M RGB .
  • the camera 200B_2 has an IR sensor 220.
  • the camera 200B_2 generates an infrared image M IR .
  • the image processing device 100B includes a control unit 130B.
  • An acquisition unit 131B of the control unit 130B acquires an RGB image M RGB from a camera 200B_1.
  • the acquisition unit 131B acquires an infrared image M IR from a camera 200B_2.
  • the two cameras 200B_1 and 200B_2 generate the RGB image M RGB and the infrared image M IR , respectively.
  • the image processing system S1_A can more reliably reduce the visibility of unnecessary information (subject).
  • the image processing system S1 can be applied to camera systems such as an in-vehicle camera, a drive recorder, a surveillance camera, etc.
  • camera systems such as an in-vehicle camera, a drive recorder, a surveillance camera, etc.
  • a case in which the image processing system S1 is applied to an in-vehicle camera system will be described.
  • FIG. 12 is a block diagram showing an example configuration of a vehicle control system 10011 to which an image processing system S1 according to the proposed technology of this disclosure is applied.
  • the vehicle control system 10011 is installed in the vehicle 10000 and performs processing related to driving assistance and autonomous driving of the vehicle 10000.
  • the vehicle control system 10011 includes a vehicle control ECU (Electronic Control Unit) 10021, a communication unit 10022, a map information storage unit 10023, a location information acquisition unit 10024, an external recognition sensor 10025, an in-vehicle sensor 10026, a vehicle sensor 10027, a memory unit 10028, a driving assistance/automated driving control unit 10029, a DMS (Driver Monitoring System) 10030, an HMI (Human Machine Interface) 10031, and a vehicle control unit 10032.
  • a vehicle control ECU Electronic Control Unit
  • a communication unit 10022 includes a communication unit 10022, a map information storage unit 10023, a location information acquisition unit 10024, an external recognition sensor 10025, an in-vehicle sensor 10026, a vehicle sensor 10027, a memory unit 10028, a driving assistance/automated driving control unit 10029, a DMS (Driver Monitoring System) 10030, an HMI (Human Machine Interface) 10031, and a vehicle control unit 10032.
  • the vehicle control ECU 10021, the communication unit 10022, the map information storage unit 10023, the position information acquisition unit 10024, the external recognition sensor 10025, the in-vehicle sensor 10026, the vehicle sensor 10027, the memory unit 10028, the driving assistance/automatic driving control unit 10029, the driver monitoring system (DMS) 10030, the HMI 10031, and the vehicle control unit 10032 are connected to each other so as to be able to communicate with each other via a communication network 10041.
  • the communication network 10041 is composed of an in-vehicle communication network or bus that complies with a digital two-way communication standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), or Ethernet (registered trademark).
  • the communication network 10041 may be used depending on the type of data to be transmitted. For example, CAN may be applied to data related to vehicle control, and Ethernet may be applied to large-volume data.
  • each part of the vehicle control system 10011 may be directly connected to each other without going through the communication network 10041, using wireless communication intended for communication over relatively short distances, such as near field communication (NFC) or Bluetooth (registered trademark).
  • NFC near field communication
  • Bluetooth registered trademark
  • the vehicle control ECU 10021 is composed of various processors, such as a CPU and an MPU.
  • the vehicle control ECU 10021 controls the entire or part of the functions of the vehicle control system 10011.
  • the communication unit 10022 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various types of data. At this time, the communication unit 10022 can communicate using multiple communication methods.
  • the communication unit 10022 communicates with a server (hereinafter referred to as an external server) on an external network via a base station or access point using a wireless communication method such as 5G (fifth generation mobile communication system), LTE (Long Term Evolution), or DSRC (Dedicated Short Range Communications).
  • the external network with which the communication unit 10022 communicates is, for example, the Internet, a cloud network, or a network specific to an operator.
  • the communication method that the communication unit 10022 uses with the external network is not particularly limited as long as it is a wireless communication method that allows digital two-way communication at a communication speed equal to or higher than a predetermined distance.
  • the communication unit 10022 can communicate with a terminal in the vicinity of the vehicle using P2P (Peer To Peer) technology.
  • the terminal in the vicinity of the vehicle can be, for example, a terminal attached to a moving body moving at a relatively low speed such as a pedestrian or a bicycle, a terminal installed at a fixed position in a store, or an MTC (Machine Type Communication) terminal.
  • the communication unit 10022 can also perform V2X communication.
  • V2X communication refers to communication between the vehicle and others, such as vehicle-to-vehicle communication with other vehicles, vehicle-to-infrastructure communication with roadside devices, vehicle-to-home communication with a home, and vehicle-to-pedestrian communication with a terminal carried by a pedestrian.
  • the communication unit 10022 can, for example, receive from the outside a program for updating software that controls the operation of the vehicle control system 10011 (over the air).
  • the communication unit 10022 can further receive map information, traffic information, information about the surroundings of the vehicle 10000, and the like from the outside.
  • the communication unit 10022 can also transmit information about the vehicle 10000 and information about the surroundings of the vehicle 10000 to the outside.
  • Information about the vehicle 10000 that the communication unit 10022 transmits to the outside includes, for example, data indicating the state of the vehicle 10000, recognition results by the recognition unit 10073, and the like.
  • the communication unit 10022 can also perform communication corresponding to a vehicle emergency notification system such as e-Call.
  • the communication unit 10022 receives electromagnetic waves transmitted by a road traffic information communication system (VICS (registered trademark) (Vehicle Information and Communication System)) such as a radio beacon, optical beacon, or FM multiplex broadcasting.
  • VICS road traffic information communication system
  • the communication unit 10022 can communicate with each device in the vehicle, for example, using wireless communication.
  • the communication unit 10022 can perform wireless communication with devices in the vehicle using a communication method that enables digital two-way communication at a communication speed equal to or higher than a predetermined speed via wireless communication, such as wireless LAN, Bluetooth, NFC, or WUSB (Wireless USB).
  • the communication unit 10022 can also communicate with each device in the vehicle using wired communication.
  • the communication unit 10022 can communicate with each device in the vehicle by wired communication via a cable connected to a connection terminal not shown.
  • the communication unit 10022 can communicate with each device in the vehicle using a communication method that enables digital two-way communication at a communication speed of a specified level or higher via wired communication, such as USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link).
  • a communication method that enables digital two-way communication at a communication speed of a specified level or higher via wired communication, such as USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link).
  • devices in the vehicle refers to devices in the vehicle that are not connected to the communication network 10041.
  • Examples of devices in the vehicle include mobile devices and wearable devices carried by passengers such as the driver, and information devices brought into the vehicle and temporarily installed.
  • the map information storage unit 10023 stores one or both of a map acquired from an external source and a map created by the vehicle 10000.
  • the map information storage unit 10023 stores a three-dimensional high-precision map, a global map that is less accurate than a high-precision map and covers a wide area, etc.
  • High-precision maps include, for example, dynamic maps, point cloud maps, and vector maps.
  • a dynamic map is, for example, a map consisting of four layers of dynamic information, semi-dynamic information, semi-static information, and static information, and is provided to the vehicle 10,000 from an external server or the like.
  • a point cloud map is a map composed of a point cloud (point cloud data).
  • a vector map is, for example, a map that associates traffic information such as the positions of lanes and traffic lights with a point cloud map, and is adapted for ADAS (Advanced Driver Assistance System) and AD (Autonomous Driving).
  • the point cloud map and vector map may be provided, for example, from an external server, or may be created by the vehicle 10000 based on sensing results from the camera 10051, 2D distance sensor 10052, 3D distance sensor 10053, etc. as a map for matching with a local map described later, and stored in the map information storage unit 10023.
  • map data of, for example, an area of several hundred meters square regarding the planned route that the vehicle 10000 will travel is obtained from the external server, etc., in order to reduce communication capacity.
  • the location information acquisition unit 10024 receives GNSS signals from Global Navigation Satellite System (GNSS) satellites and acquires location information of the vehicle 10000.
  • the acquired location information is supplied to the driving assistance/autonomous driving control unit 10029.
  • the location information acquisition unit 10024 is not limited to a method using GNSS signals, and may acquire location information using a beacon, for example.
  • the external recognition sensor 10025 includes various sensors used to recognize the situation outside the vehicle 10000, and supplies sensor data from each sensor to each part of the vehicle control system 10011.
  • the type and number of sensors included in the external recognition sensor 10025 are arbitrary.
  • the external recognition sensor 10025 includes a camera 10051, a 2D distance measurement sensor 10052, a 3D distance measurement sensor 10053, and an ultrasonic sensor 10054.
  • the external recognition sensor 10025 can omit one or both of the camera 10051 and the ultrasonic sensor 10054.
  • the number of the cameras 10051, the 2D distance measurement sensors 10052, the 3D distance measurement sensors 10053, and the ultrasonic sensors 10054 is not particularly limited as long as it is a number that can be realistically installed on the vehicle 10000.
  • the type of sensor included in the external recognition sensor 10025 is not limited to this example, and the external recognition sensor 10025 may include other types of sensors. Examples of the sensing areas of each sensor included in the external recognition sensor 10025 will be described later.
  • the imaging method of the camera 10051 is not particularly limited.
  • cameras of various imaging methods such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, and an infrared camera, which are imaging methods capable of distance measurement, can be applied to the camera 10051 as necessary.
  • the camera 10051 may also be a camera for simply acquiring a photographed image, without being related to distance measurement.
  • the external recognition sensor 10025 can be equipped with an environmental sensor for detecting the environment for the vehicle 10000.
  • the environmental sensor is a sensor for detecting the environment such as the weather, climate, brightness, etc., and can include various sensors such as a raindrop sensor, a fog sensor, a sunlight sensor, a snow sensor, an illuminance sensor, etc.
  • the external recognition sensor 10025 includes a microphone that is used to detect sounds around the vehicle 10000 and the location of sound sources.
  • the in-vehicle sensor 10026 includes various sensors for detecting information inside the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 10011. There are no particular limitations on the types and number of the various sensors included in the in-vehicle sensor 10026, so long as they are of the types and number that can be realistically installed on the vehicle 10000.
  • the in-vehicle sensor 10026 may be equipped with one or more types of sensors including a camera, radar, a seating sensor, a steering wheel sensor, a microphone, and a biometric sensor.
  • the camera equipped in the in-vehicle sensor 10026 may be, for example, a ToF camera, a stereo camera, a monocular camera, an infrared camera, or other cameras using various imaging methods capable of measuring distances. Not limited to this, the camera equipped in the in-vehicle sensor 10026 may simply be used to obtain captured images, regardless of distance measurement.
  • the biometric sensor equipped in the in-vehicle sensor 10026 is provided, for example, on a seat, steering wheel, etc., and detects various types of biometric information of passengers such as the driver.
  • the vehicle sensor 10027 includes various sensors for detecting the state of the vehicle 10000, and supplies sensor data from each sensor to each part of the vehicle control system 10011. There are no particular limitations on the types and number of the various sensors included in the vehicle sensor 10027, so long as they are of the types and number that can be realistically installed on the vehicle 10000.
  • the vehicle sensor 10027 includes a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU) that integrates these.
  • the vehicle sensor 10027 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the amount of accelerator pedal operation, and a brake sensor that detects the amount of brake pedal operation.
  • the vehicle sensor 10027 includes a rotation sensor that detects the number of rotations of the engine or motor, an air pressure sensor that detects the air pressure of the tires, a slip ratio sensor that detects the slip ratio of the tires, and a wheel speed sensor that detects the rotation speed of the wheels.
  • the vehicle sensor 10027 includes a battery sensor that detects the remaining charge and temperature of the battery, and an impact sensor that detects external impacts.
  • the storage unit 10028 includes at least one of a non-volatile storage medium and a volatile storage medium, and stores data and programs.
  • the storage unit 10028 is used, for example, as an EEPROM (Electrically Erasable Programmable Read Only Memory) and a RAM (Random Access Memory), and the storage medium may be a magnetic storage device such as a hard disc drive (HDD), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage unit 10028 stores various programs and data used by each part of the vehicle control system 10011.
  • the storage unit 10028 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and stores information about the vehicle 10000 before and after an event such as an accident, and information acquired by the in-vehicle sensor 10026.
  • EDR Event Data Recorder
  • DSSAD Data Storage System for Automated Driving
  • the driving support/automated driving control unit 10029 controls driving support and automatic driving of the vehicle 10000.
  • the driving support/automated driving control unit 10029 includes an analysis unit 10061, an action planning unit 10062, and an operation control unit 10063.
  • the analysis unit 10061 performs analysis processing of the vehicle 10000 and the surrounding conditions.
  • the analysis unit 10061 includes a self-position estimation unit 10071, a sensor fusion unit 10072, and a recognition unit 10073.
  • the self-position estimation unit 10071 estimates the self-position of the vehicle 10000 based on the sensor data from the external recognition sensor 10025 and the high-precision map stored in the map information storage unit 10023. For example, the self-position estimation unit 10071 generates a local map based on the sensor data from the external recognition sensor 10025, and estimates the self-position of the vehicle 10000 by matching the local map with the high-precision map.
  • the position of the vehicle 10000 is based on, for example, the center of the rear wheel pair axle.
  • the local map is, for example, a three-dimensional high-precision map or an occupancy grid map created using a technology such as SLAM (Simultaneous Localization and Mapping).
  • the three-dimensional high-precision map is, for example, the point cloud map described above.
  • the occupancy grid map is a map that divides the three-dimensional or two-dimensional space around the vehicle 10000 into grids of a predetermined size and shows the occupancy state of objects on a grid-by-grid basis.
  • the occupancy state of objects is shown, for example, by the presence or absence of an object and the probability of its existence.
  • the local map is also used, for example, in the detection and recognition processing of the situation outside the vehicle 10000 by the recognition unit 10073.
  • the self-position estimation unit 10071 may estimate the self-position of the vehicle 10000 based on the position information acquired by the position information acquisition unit 10024 and the sensor data from the vehicle sensor 10027.
  • the sensor fusion unit 10072 performs sensor fusion processing to obtain new information by combining multiple different types of sensor data (e.g., image data supplied from the camera 10051 and sensor data supplied from the 2D distance measurement sensor 10052).
  • Methods for combining different types of sensor data include integration, fusion, and association.
  • the recognition unit 10073 executes a detection process to detect the external situation of the vehicle 10000, and a recognition process to recognize the external situation of the vehicle 10000.
  • the recognition unit 10073 performs detection and recognition processing of the external situation of the vehicle 10000 based on information from the external recognition sensor 10025, information from the self-position estimation unit 10071, information from the sensor fusion unit 10072, etc.
  • the recognition unit 10073 performs detection processing and recognition processing of objects around the vehicle 10000.
  • Object detection processing is, for example, processing to detect the presence or absence, size, shape, position, movement, etc. of an object.
  • Object recognition processing is, for example, processing to recognize attributes such as the type of object, or to identify a specific object.
  • detection processing and recognition processing are not necessarily clearly separated, and there may be overlap.
  • the recognition unit 10073 detects objects around the vehicle 10000 by performing clustering to classify a point cloud based on sensor data from the 2D distance sensor 10052 or the 3D distance sensor 10053 into clusters of points. This allows the presence, size, shape, and position of objects around the vehicle 10000 to be detected.
  • the recognition unit 10073 detects the movement of objects around the vehicle 10000 by performing tracking to follow the movement of the clusters of point clouds classified by clustering. This allows the speed and direction of travel (movement vector) of the objects around the vehicle 10000 to be detected.
  • the recognition unit 10073 detects or recognizes vehicles, people, bicycles, obstacles, structures, roads, traffic lights, traffic signs, road markings, etc. based on image data supplied from the camera 10051.
  • the recognition unit 10073 may also recognize the types of objects around the vehicle 10000 by performing recognition processing such as semantic segmentation.
  • the recognition unit 10073 can perform recognition processing of traffic rules around the vehicle 10000 based on the map stored in the map information storage unit 10023, the result of self-location estimation by the self-location estimation unit 10071, and the result of recognition of objects around the vehicle 10000 by the recognition unit 10073. Through this processing, the recognition unit 10073 can recognize the positions and states of traffic lights, the contents of traffic signs and road markings, the contents of traffic regulations, and lanes on which travel is possible, etc.
  • the recognition unit 10073 can perform recognition processing of the environment around the vehicle 10000.
  • the surrounding environment that the recognition unit 10073 recognizes may include weather, temperature, humidity, brightness, and road surface conditions.
  • each function of the image processing device 100 according to the present disclosure may be realized as a function in the recognition unit 10073.
  • the camera 10051 corresponds to the camera 200 according to the present disclosure.
  • the recognition unit 10073 may create a corrected image M C based on the output of the camera 10051.
  • the behavior planning unit 10062 creates a behavior plan for the vehicle 10000.
  • the behavior planning unit 10062 creates a behavior plan by performing route planning and route following processing.
  • Global path planning is a process that plans a rough route from the start to the goal. This route planning is called trajectory planning, and also includes a process of local path planning that takes into account the motion characteristics of the vehicle 10,000 on the planned route and generates a trajectory that allows safe and smooth progress in the vicinity of the vehicle 10,000.
  • Path following is a process of planning operations for safely and accurately traveling along a route planned by a route plan within a planned time.
  • the action planning unit 10062 can, for example, calculate the target speed and target angular velocity of the vehicle 10000 based on the results of this path following process.
  • the operation control unit 10063 controls the operation of the vehicle 10000 to realize the action plan created by the action planning unit 10062.
  • the operation control unit 10063 controls the steering control unit 10081, the brake control unit 10082, and the drive control unit 10083 included in the vehicle control unit 10032 described below, and performs acceleration/deceleration control and directional control so that the vehicle 10000 proceeds along the trajectory calculated by the trajectory plan.
  • the operation control unit 10063 performs cooperative control aimed at realizing ADAS functions such as collision avoidance or impact mitigation, following driving, maintaining vehicle speed, collision warning for the vehicle itself, and lane departure warning for the vehicle itself.
  • the operation control unit 10063 performs cooperative control aimed at automatic driving, which drives autonomously without the driver's operation.
  • the DMS 10030 performs processes such as authenticating the driver and recognizing the driver's state based on sensor data from the in-vehicle sensor 10026 and input data input to the HMI 10031 (described later).
  • Examples of the driver's state to be recognized include physical condition, alertness, concentration, fatigue, line of sight, level of intoxication, driving operation, posture, etc.
  • the DMS 10030 may also perform authentication processing for passengers other than the driver and recognition processing for the status of the passengers.
  • the DMS 10030 may also perform recognition processing for the situation inside the vehicle based on sensor data from the in-vehicle sensor 10026. Examples of the situation inside the vehicle that may be recognized include temperature, humidity, brightness, odor, etc.
  • HMI10031 inputs various data and instructions, and displays various data to the driver, etc.
  • the HMI 10031 is equipped with an input device that allows a person to input data.
  • the HMI 10031 generates an input signal based on data and instructions input by the input device, and supplies the input signal to each part of the vehicle control system 10011.
  • the HMI 10031 is equipped with, as input devices, controls such as a touch panel, a button, a switch, and a lever.
  • the HMI 10031 may further be equipped with an input device that allows information to be input by a method other than manual operation, such as voice or gesture.
  • the HMI 10031 may use, as an input device, an externally connected device such as, for example, a remote control device that uses infrared or radio waves, or a mobile device or wearable device that supports the operation of the vehicle control system 10011.
  • the presentation of data by the HMI 10031 will be briefly described.
  • the HMI 10031 generates visual information, auditory information, and tactile information for the occupant or the outside of the vehicle.
  • the HMI 10031 also performs output control to control the output, output content, output timing, output method, etc. of each piece of generated information.
  • the HMI 10031 generates and outputs, as visual information, information indicated by images or light, such as an operation screen, a display of the vehicle 10000's status, a warning display, and a monitor image indicating the situation around the vehicle 10000.
  • the HMI 10031 also generates and outputs, as auditory information, information indicated by sounds, such as voice guidance, warning sounds, and warning messages.
  • the HMI 10031 also generates and outputs, as tactile information, information that is imparted to the occupant's sense of touch by force, vibration, movement, etc.
  • the output device from which the HMI 10031 outputs visual information may be, for example, a display device that presents visual information by displaying an image itself, or a projector device that presents visual information by projecting an image.
  • the display device may be a device that displays visual information within the field of vision of the passenger, such as a head-up display, a transparent display, or a wearable device with an AR (Augmented Reality) function, in addition to a display device having a normal display.
  • the HMI 10031 may also use display devices such as a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, or a lamp installed in the vehicle 10000 as an output device that outputs visual information.
  • the output device through which the HMI 10031 outputs auditory information can be, for example, an audio speaker, headphones, or earphones.
  • Haptic elements using haptic technology can be used as an output device for the HMI 10031 to output tactile information.
  • Haptic elements are provided on parts of the vehicle 10000 that are in contact with passengers, such as the steering wheel and the seat.
  • the vehicle control unit 10032 controls each part of the vehicle 10000.
  • the vehicle control unit 10032 includes a steering control unit 10081, a brake control unit 10082, a drive control unit 10083, a body control unit 10084, a light control unit 10085, and a horn control unit 10086.
  • the steering control unit 10081 detects and controls the state of the steering system of the vehicle 10000.
  • the steering system includes, for example, a steering mechanism including a steering wheel, an electric power steering, etc.
  • the steering control unit 10081 includes, for example, a steering ECU that controls the steering system, an actuator that drives the steering system, etc.
  • the brake control unit 10082 detects and controls the state of the brake system of the vehicle 10000.
  • the brake system includes, for example, a brake mechanism including a brake pedal, an ABS (Antilock Brake System), a regenerative brake mechanism, etc.
  • the brake control unit 10082 includes, for example, a brake ECU that controls the brake system, and an actuator that drives the brake system.
  • the drive control unit 10083 detects and controls the state of the drive system of the vehicle 10000.
  • the drive system includes, for example, an accelerator pedal, a drive force generating device for generating drive force such as an internal combustion engine or a drive motor, and a drive force transmission mechanism for transmitting the drive force to the wheels.
  • the drive control unit 10083 includes, for example, a drive ECU for controlling the drive system, and an actuator for driving the drive system.
  • the body system control unit 10084 detects and controls the state of the body system of the vehicle 10000.
  • the body system includes, for example, a keyless entry system, a smart key system, a power window device, a power seat, an air conditioning system, an airbag, a seat belt, a shift lever, etc.
  • the body system control unit 10084 includes, for example, a body system ECU that controls the body system, an actuator that drives the body system, etc.
  • the light control unit 10085 detects and controls the state of various lights of the vehicle 10000. Examples of lights to be controlled include headlights, backlights, fog lights, turn signals, brake lights, projection, and bumper displays.
  • the light control unit 10085 includes a light ECU that controls the lights, an actuator that drives the lights, and the like.
  • the horn control unit 10086 detects and controls the state of the car horn of the vehicle 10000.
  • the horn control unit 10086 includes, for example, a horn ECU that controls the car horn, an actuator that drives the car horn, etc.
  • FIG. 13 is a diagram showing an example of a sensing area by the camera 10051, the 2D distance sensor 10052, the 3D distance sensor 10053, and the ultrasonic sensor 10054 of the external recognition sensor 10025 in FIG. 12. Note that FIG. 13 shows a schematic view of the vehicle 10000 as seen from above, with the left end side being the front end of the vehicle 10000 and the right end side being the rear end of the vehicle 10000.
  • Sensing area 12101F and sensing area 12101B show examples of sensing areas of ultrasonic sensors 10054.
  • Sensing area 12101F covers the periphery of the front end of vehicle 10000 with multiple ultrasonic sensors 10054.
  • Sensing area 12101B covers the periphery of the rear end of vehicle 10000 with multiple ultrasonic sensors 10054.
  • sensing results in sensing area 12101F and sensing area 12101B are used, for example, for parking assistance for vehicle 10000.
  • Sensing area 12102F to sensing area 12102B show examples of sensing areas of a 2D distance sensor 10052 for short or medium distances. Sensing area 12102F covers a position farther in front of the vehicle 10000 than sensing area 12101F. Sensing area 12102B covers a position farther in the rear of the vehicle 10000 than sensing area 12101B. Sensing area 12102L covers the rear periphery of the left side of the vehicle 10000. Sensing area 12102R covers the rear periphery of the right side of the vehicle 10000.
  • the sensing results in sensing area 12102F are used, for example, to detect vehicles, pedestrians, etc., present in front of the vehicle 10000.
  • the sensing results in sensing area 12102B are used, for example, for collision prevention functions behind the vehicle 10000.
  • the sensing results in sensing area 12102L and sensing area 12102R are used, for example, to detect objects in blind spots to the sides of the vehicle 10000.
  • Sensing area 12103F to sensing area 12103B show examples of sensing areas by camera 10051. Sensing area 12103F covers a position farther in front of vehicle 10000 than sensing area 12102F. Sensing area 12103B covers a position farther in the rear of vehicle 10000 than sensing area 12102B. Sensing area 12103L covers the periphery of the left side of vehicle 10000. Sensing area 12103R covers the periphery of the right side of vehicle 10000.
  • the sensing results in sensing area 12103F can be used, for example, for recognizing traffic lights and traffic signs, lane departure prevention support systems, and automatic headlight control systems.
  • the sensing results in sensing area 12103B can be used, for example, for parking assistance and surround view systems.
  • the sensing results in sensing area 12103L and sensing area 12103R can be used, for example, for surround view systems.
  • Sensing area 12104 shows an example of the sensing area of 3D distance measurement sensor 10053. Sensing area 12104 covers a position farther in front of vehicle 10000 than sensing area 12103F. On the other hand, sensing area 12104 has a narrower range in the left-right direction than sensing area 12103F.
  • the sensing results in sensing area 12104 are used, for example, to detect objects such as nearby vehicles.
  • Sensing area 12105 shows an example of the sensing area of a long-distance 2D distance sensor 10052. Sensing area 12105 covers a position farther in front of the vehicle 10000 than sensing area 12104. On the other hand, sensing area 12105 has a narrower range in the left-right direction than sensing area 12104.
  • sensing results in sensing area 12105 are used, for example, for ACC (Adaptive Cruise Control), emergency braking, collision avoidance, etc.
  • ACC Adaptive Cruise Control
  • emergency braking braking
  • collision avoidance etc.
  • the sensing areas of the cameras 10051, 2D distance measuring sensors 10052, 3D distance measuring sensors 10053, and ultrasonic sensors 10054 included in the external recognition sensor 10025 may have various configurations other than those shown in FIG. 13. Specifically, the ultrasonic sensors 10054 may also sense the sides of the vehicle 10000, and the 3D distance measuring sensors 10053 may sense the rear of the vehicle 10000.
  • the installation positions of the sensors are not limited to the examples described above. The number of sensors may be one or more.
  • FIG. 14 is a hardware configuration diagram showing an example of the computer 1000 that realizes the functions of the image processing device 100 according to the present disclosure.
  • the image processing device 100 according to the embodiment will be described as an example of the computer 1000.
  • the computer 1000 has a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, a HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input/output interface 1600. Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the programs stored in the ROM 1300 or the HDD 1400 and controls each part. For example, the CPU 1100 loads the programs stored in the ROM 1300 or the HDD 1400 into the RAM 1200 and executes processes corresponding to the various programs.
  • the ROM 1300 stores boot programs such as the Basic Input Output System (BIOS) that is executed by the CPU 1100 when the computer 1000 starts up, as well as programs that depend on the hardware of the computer 1000.
  • BIOS Basic Input Output System
  • HDD 1400 is a computer-readable recording medium that non-temporarily records programs executed by CPU 1100 and data used by such programs.
  • HDD 1400 is a recording medium that records the learning program related to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for connecting the computer 1000 to an external network 1550 (e.g., the Internet).
  • the CPU 1100 receives data from other devices and transmits data generated by the CPU 1100 to other devices via the communication interface 1500.
  • the input/output interface 1600 is an interface for connecting the input/output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or a mouse via the input/output interface 1600.
  • the CPU 1100 also transmits data to an output device such as a display, a speaker, or a printer via the input/output interface 1600.
  • the input/output interface 1600 may also function as a media interface that reads programs and the like recorded on a specific recording medium.
  • Examples of media include optical recording media such as DVDs (Digital Versatile Discs) and PDs (Phase change rewritable Disks), magneto-optical recording media such as MOs (Magneto-Optical Disks), tape media, magnetic recording media, and semiconductor memories.
  • optical recording media such as DVDs (Digital Versatile Discs) and PDs (Phase change rewritable Disks)
  • magneto-optical recording media such as MOs (Magneto-Optical Disks)
  • tape media magnetic recording media
  • magnetic recording media and semiconductor memories.
  • the CPU 1100 of the computer 1000 executes an image processing program loaded onto the RAM 1200 to realize the functions of the control unit 130, etc.
  • the image processing program according to the present disclosure and data in the storage unit 110 are stored in the HDD 1400.
  • the CPU 1100 reads and executes the program data 1450 from the HDD 1400, but as another example, the CPU 1100 may obtain these programs from other devices via the external network 1550.
  • the present technology can also be configured as follows. (1) Obtaining visible and infrared images; detecting an object having a higher visibility in the infrared image than in the visible image; and a control unit that processes the detected subject to generate a processed image from the infrared image. (2) The image processing device according to (1), wherein the control unit detects the subject based on a difference between a high-frequency component of the visible image and the high-frequency component of the infrared image. (3) The control unit is generating a difference image from the difference; detecting the subject included in the difference image; An image processing device as described in (2).
  • the control unit is Detecting a plurality of said subjects; generating the processed image by processing at least one of the plurality of subjects; An image processing device according to any one of (1) to (3).
  • the control unit determines the subject to be processed based on at least one of a type of the subject, a position of the subject in the infrared image, and a luminance value of the subject.
  • the image processing device according to any one of (1) to (9), wherein the control unit acquires the visible image and the infrared image from a sensor that captures both the visible image and the infrared image.
  • the image processing device includes: acquiring the visible image from the first sensor; acquiring the infrared image from the second sensor; detecting an object having a higher visibility in the infrared image than in the visible image; a control unit that generates a processed image of the subject from the infrared image.
  • S1 Image processing system 100 Image processing device 110 Storage unit 120 Display unit 130 Control unit 131 Acquisition unit 132 Visible image generation unit 133 Infrared image generation unit 134 Difference image generation unit 135 Area detection unit 136 Corrected image generation unit 136a Threshold value determination unit 136b Correction processing unit 136c Image generation unit 200 Camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

本開示の画像処理装置は、制御部を備える。制御部は、可視画像及び赤外画像を取得する。制御部は、赤外画像での視認性が可視画像より高い被写体を検出する。制御部は、検出した被写体を加工した加工画像を赤外画像から生成する。

Description

画像処理装置、画像処理システム及び画像処理方法
　本開示は、画像処理装置、画像処理システム及び画像処理方法に関する。
　近年、可視光による画像（以下、可視画像とも記載する）の取得に加え、赤外光による画像（以下、赤外画像とも記載する）の取得を行う装置が知られている。また、赤外画像を用いて被写体までの奥行き情報を取得することで、被写体の背景を削除した画像を生成する装置が知られている。
特開２０１１－１０２５８号公報
　例えば、霧など、被写体（例えば、車両等）を遮蔽する物体によって可視画像に写る被写体の視認性が低下する場合に、赤外画像を用いることでこの被写体の視認性を向上させることができる。
　しかしながら、赤外画像は車両等の検出したい被写体に加え、予期せず不要な情報が写ってしまう場合がある。例えば、車両の後部座席の窓にフィルムが貼られている場合、可視画像では後部座席の人物の視認性が低くなるが、赤外画像ではこの人物がはっきりと写る場合がある。
　可視画像では写らず、赤外画像で写る被写体の中には、プライバシーの保護等の観点から視認性を低下させることが望ましい被写体がある。このように、赤外画像に写る被写体によってはその視認性をより確実に低下させることが望まれる。
　そこで、本開示では、赤外画像に写る被写体の視認性をより確実に低下させることが可能な仕組みを提供する。
　なお、上記課題又は目的は、本明細書に開示される複数の実施形態が解決し得、又は達成し得る複数の課題又は目的の１つに過ぎない。
　本開示の画像処理装置は、制御部を備える。制御部は、可視画像及び赤外画像を取得する。制御部は、前記赤外画像での視認性が前記可視画像より高い被写体を検出する。制御部は、検出した前記被写体を加工した加工画像を前記赤外画像から生成する。
本開示の提案技術に係る画像処理の一例を説明するための図である。 本開示の実施形態に係る画像処理システムの全体構成例を示すブロック図である。 本開示の実施形態に係る差分画像の一例を示す図である。 本開示の実施形態に係る補正領域の一例を説明するための図である。 本開示の実施形態に係る補正画像生成部の構成例を示すブロック図である。 本開示の実施形態に係る補正画像の一例を説明するための図である。 本開示の実施形態に係る補正画像の他の例を説明するための図である。 本開示の実施形態に係る画像処理の流れの一例を示すフローチャートである。 本開示の実施形態に係る補正処理の流れの一例を示すフローチャートである。 本開示のその他の実施形態１に係る画像処理システムの構成例を示すブロック図である。 本開示のその他の実施形態２に係る画像処理システムの構成例を示すブロック図である。 本開示の提案技術に係る画像処理システムが適用される車両制御システムの構成例を示すブロック図である。 図１２の外部認識センサのカメラ、２Ｄ測距センサ、３Ｄ測距センサ、及び、超音波センサ等によるセンシング領域の例を示す図である。 本開示に係る画像処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に添付図面を参照しながら、本開示の実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実施形態の類似する構成要素については、同一の符号の後に異なるアルファベット及び数字の少なくとも一方を付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　以下に説明される１又は複数の実施形態（実施例、変形例、適用例を含む）は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。
＜＜１．はじめに＞＞
＜１．１．課題＞
　車両等に搭載され、車両の周囲を撮像するカメラ（以下、車載カメラとも記載する）及び監視カメラ等は、通常、可視光のＲＧＢ画像（静止画像及び動画像を含む）を撮像する。一方、霧等で遠方の視認性が低下する場合、周辺画像の取得に赤外光の赤外画像を撮像するカメラが使用される。
　赤外波長を透過する物体が存在すると、赤外画像に、可視画像では写らないが、赤外画像では写る領域（透過領域）が含まれる場合がある。この透過領域に、例えば、人物等予期せず不要な情報が写ってしまう恐れがある。
　プライバシー保護の観点等から、赤外画像の透過領域に写る特定の情報（例えば、上述した不要な情報等、秘匿情報）の視認性を低下させた赤外画像を取得したいという要望がある。一方、可視画像に写る被写体は、秘匿情報ではないため、赤外画像でも写った状態を維持することが求められる。
　しかしながら、赤外画像だけでは、写っている被写体が視認性を低下させる対象であるか否かを判定することが難しい。
＜１．２．提案技術の概要＞
　そこで、本開示の提案技術に係る画像処理装置は、ＲＧＢ画像（可視画像の一例）及び赤外画像を取得する。画像処理装置は、赤外画像での視認性が可視画像より高い被写体を検出する。画像処理装置は、検出した被写体を加工した加工画像を赤外画像から生成する。
　図１は、本開示の提案技術に係る画像処理の一例を説明するための図である。画像処理は、画像処理装置（図示省略）によって実行される。画像処理装置は、カメラ２００に搭載された装置であってもよく、カメラ２００とは別の装置（例えば、ＰＣ、サーバ装置等）であってもよい。なお、画像処理装置がカメラ２００とは別の装置である場合、画像処理装置はカメラ２００側（エッジ）に配置されることが望ましいが、クラウドなどネットワーク側に配置されてもよい。
　図１に示すように、カメラ２００は、周囲を撮像し、ＲＧＢ画像ＭＲＧＢ＿１及び赤外画像ＭＩＲ＿１を生成する。例えば、可視光を遮蔽するガラス、布等の遮蔽物ＯＢ＿０によってビルＯＢ＿１及び人物ＯＢ＿２等が遮られることで、ＲＧＢ画像ＭＲＧＢ＿１には、遮蔽物ＯＢ＿０及び建物ＯＢ＿３が含まれる。一方、赤外光は、遮蔽物ＯＢ＿０によって遮られないため、赤外画像ＭＩＲ＿１には、遮蔽物ＯＢ＿０及び建物ＯＢ＿３に加え、遮蔽物ＯＢ＿０に重畳してビルＯＢ＿１及び人物ＯＢ＿２が含まれる。すなわち、遮蔽物ＯＢ＿０が写る領域が透過領域となる。
　この透過領域に写るビルＯＢ＿１及び人物ＯＢ＿２のうち、例えば、人物ＯＢ＿２は、プライバシーの観点から視認性を低下させることが望ましい。
　そこで、本実施形態に係る画像処理装置は、赤外画像ＭＩＲ＿１の視認性がＲＧＢ画像ＭＲＧＢ＿１より高い被写体（ここでは、人物ＯＢ＿２）を検出する。例えば、画像処理装置は、赤外画像ＭＩＲ＿１に含まれ、ＲＧＢ画像ＭＲＧＢ＿１に含まれない被写体を検出する。
　例えば、画像処理装置は、ＲＧＢ画像ＭＲＧＢ＿１の高周波成分及び赤外画像ＭＩＲ＿１の高周波成分の差分から、赤外画像ＭＩＲ＿１に含まれ、ＲＧＢ画像ＭＲＧＢ＿１に含まれない被写体を検出する。
　画像処理装置は、検出した被写体（人物ＯＢ＿２）を補正（加工の一例）した補正画像（加工画像の一例）ＭＣ＿１を赤外画像ＭＩＲ＿１から生成する。例えば、画像処理装置は、赤外画像ＭＩＲ＿１の人物ＯＢ＿２を含む領域の高周波成分を補正することで、補正人物ＯＢＣ＿２を含む補正画像ＭＣ＿１を生成する。
　なお、赤外画像ＭＩＲ＿１に複数の被写体（ここでは、ビルＯＢ＿１及び人物ＯＢ＿２）が含まれる場合、画像処理装置は、例えば被写体の種別等、予め設定される情報に基づき、補正する被写体を検出する。例えば、画像処理装置は、予め設定されている情報として被写体の種別（例えば、補正対象が人物であることを示す情報）に基づき、ビルＯＢ＿１及び人物ＯＢ＿２のうち、人物ＯＢ＿２を補正対象の被写体として検出する。
　このように、本提案技術に係る画像処理装置は、ＲＧＢ画像ＭＲＧＢ＿１及び赤外画像ＭＩＲ＿１に基づき、ＲＧＢ画像ＭＲＧＢ＿１では遮蔽され写らない一方、赤外画像ＭＩＲ＿１では遮蔽されずに写る被写体を検出（特定）する。
　画像処理装置は、赤外画像ＭＩＲ＿１で検出した被写体を含む領域を補正することで、この被写体の視認性を低下させた補正画像ＭＣ＿１を生成する。
　これにより、画像処理装置は、赤外画像ＭＩＲ＿１に写る被写体の視認性をより確実に低下させることができる。画像処理装置は、赤外画像ＭＩＲ＿１に写る特定の透過物（被写体）の視認性をより確実に低下させることができる。
　本提案技術に係る画像処理装置は、例えば車載カメラ、ドライブレコーダー及び監視カメラ等の撮像システムが撮像する画像の処理に用いられ得る。これらの撮像システムでは、例えば、霧等で周囲の視界が悪い場合、カメラ２００が赤外画像ＭＩＲを撮像する。
　このような場合に、本提案技術の画像処理装置は、ＲＧＢ画像ＭＲＧＢでは視認性が低い被写体の、赤外画像ＭＩＲにおける視認性を低下させる。これにより、画像処理装置は、ユーザに提示する必要がある被写体は残し、ユーザに提示しない方がよい被写体の視認性を低減した赤外画像ＭＩＲ（補正画像）をユーザに提示することができる。
＜＜２．画像処理システムの構成例＞＞
＜２．１．画像処理システムの全体構成例＞
　図２は、本開示の実施形態に係る画像処理システムＳ１の全体構成例を示すブロック図である。図２に示す画像処理システムＳ１は、画像処理装置１００と、カメラ２００と、を備える。画像処理装置１００及びカメラ２００は、同じ場所に配置されてもよく、離れた場所にそれぞれ配置されてもよい。画像処理装置１００及びカメラ２００は、図示を省略するネットワーク（例えば、インターネット等）で接続されてもよい。
（カメラ２００）
　カメラ２００は、カメラ２００の周囲を撮像する撮像装置である。図２に示すカメラ２００は、ＲＧＢセンサ２１０及びＩＲ（Infrared）センサ２２０を備える。カメラ２００は、赤外波長領域と可視光波長領域とに対応したＲＧＢ－ＩＲカメラである。
（ＲＧＢセンサ２１０）
　ＲＧＢセンサ２１０は、周囲光をフォトダイオードで受光してＲＧＢ（赤色、緑色、青色）値を検出し、カラー画像（ＲＧＢ画像ＭＲＧＢ）を得る。ＲＧＢセンサ２１０は、可視光波長領域に対応したセンサである。ＲＧＢセンサ２１０は、取得したＲＧＢ画像ＭＲＧＢを画像処理装置１００に出力する。
（ＩＲセンサ２２０）
　ＩＲセンサ２２０は、周囲光をフォトダイオードで受光してＩＲ値を検出し、ＩＲ画像（赤外画像ＭＩＲ）を得る。ＩＲセンサ２２０は、赤外波長領域に対応したセンサである。ＩＲセンサ２２０は、取得した赤外画像ＭＩＲを画像処理装置１００に出力する。なお、カメラ２００には、被写体に向けてＩＲ光を照射可能な光源が含まれていてもよい。
　ＩＲセンサ２２０は、例えば、短波赤外（ＳＷＩＲ）光を受光して赤外画像ＭＩＲを生成する。なお、ＩＲセンサ２２０が、例えば近赤外（ＮＩＲ）光を受光して赤外画像ＭＩＲを生成するようにしてもよい。
（画像処理装置１００）
　画像処理装置１００は、カメラ２００が撮像した画像（ＲＧＢ画像ＭＲＧＢ及び赤外画像ＭＩＲ）に対して画像処理を施す。画像処理装置１００は、例えば、画像処理後の画像（ＲＧＢ画像ＭＲＧＢ又は赤外画像ＭＩＲ（補正画像ＭＣを含む））をユーザに提示する。
　図２に示す画像処理装置１００は、記憶部１１０と、表示部１２０と、制御部１３０と、を備える。
（記憶部１１０）
　記憶部１１０は、例えば、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１１０は、例えば、ＲＧＢ画像ＭＲＧＢ、赤外画像ＭＩＲ及び補正画像ＭＣ等を記憶する。
（表示部１２０）
　表示部１２０は、各種情報を出力するための機構であり、例えば液晶ディスプレイ等である。例えば、表示部１２０は、カメラ２００によって撮像されたＲＧＢ画像ＭＲＧＢを表示したり、画像処理装置１００が補正した補正画像ＭＣを表示したりする。また、表示部１２０は、画像処理装置１００を利用するユーザ等から各種操作を受け付けるための処理部を兼ねてもよい。例えば、表示部１２０は、キー操作やタッチパネル等を介して、各種情報の入力を受け付けてもよい。
　なお、ここでは、画像処理装置１００が表示部１２０を備えるとしたが、画像処理装置１００が表示部１２０を備えていなくてもよい。例えば、画像処理装置１００が、外部の表示装置（図示省略）に画像を表示させるようにしてもよい。この場合、表示装置が画像処理装置１００と同じ場所に配置されてもよく、異なる場所に配置されてもよい。異なる場所に配置される場合、画像処理装置１００と表示装置とがネットワーク（例えばインターネット等）を介して互いに接続されてもよい。
（制御部１３０）
　制御部１３０は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）等によって、画像処理装置１００内部に記憶されたプログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部１３０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されてもよい。
　図２に示すように、制御部１３０は、取得部１３１と、可視画像生成部１３２と、赤外画像生成部１３３と、差分画像生成部１３４と、領域検出部１３５と、補正画像生成部１３６と、を有し、以下に説明する情報処理の機能や作用を実現又は実行する。なお、制御部１３０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
（取得部１３１）
　取得部１３１は、カメラ２００から画像を取得する。取得部１３１は、ＲＧＢセンサ２１０からＲＧＢ画像ＭＲＧＢを取得する。取得部１３１は、ＩＲセンサ２２０から赤外画像ＭＩＲを取得する。
　取得部１３１は、取得したＲＧＢ画像ＭＲＧＢを可視画像生成部１３２に出力する。取得部１３１は、取得した赤外画像ＭＩＲを赤外画像生成部１３３に出力する。
（可視画像生成部１３２）
　可視画像生成部１３２は、ＲＧＢ画像ＭＲＧＢの高周波成分を抽出したＲＧＢ高周波画像を生成する。可視画像生成部１３２は、第１閾値以上の高周波成分を抽出したＲＧＢ高周波画像を生成する。この第１閾値は、例えばシミュレーション等で予め設定される値である。
　可視画像生成部１３２は、生成したＲＧＢ高周波画像を差分画像生成部１３４に出力する。可視画像生成部１３２は、ＲＧＢ画像ＭＲＧＢを補正画像生成部１３６に出力する。
　また、例えば、取得したＲＧＢ画像ＭＲＧＢが現像等の処理を施さないＲＡＷ画像である場合、可視画像生成部１３２が、ＲＡＷ画像に対して現像等を施し、各画素がＲＧＢ各色の情報を持つＲＧＢ画像ＭＲＧＢを生成するようにしてもよい。この場合、可視画像生成部１３２は、例えば、現像等の処理を施したＲＧＢ画像ＭＲＧＢからＲＧＢ高周波画像を生成する。
（赤外画像生成部１３３）
　赤外画像生成部１３３は、赤外画像ＭＩＲの高周波成分を抽出した赤外高周波画像を生成する。赤外画像生成部１３３は、第２閾値以上の高周波成分を抽出した赤外高周波画像を生成する。この第２閾値は、例えばシミュレーション等で予め設定される値である。
　赤外画像生成部１３３は、生成した赤外高周波画像を差分画像生成部１３４に出力する。また、赤外画像生成部１３３は、赤外画像ＭＩＲを領域検出部１３５及び補正画像生成部１３６に出力する。
　また、例えば、取得した赤外画像ＭＩＲが現像等の処理を施さないＲＡＷ画像である場合、可視画像生成部１３２が、ＲＡＷ画像に対して現像等を施して赤外画像ＭＩＲを生成するようにしてもよい。この場合、赤外画像生成部１３３は、例えば、現像等の処理を施した赤外画像ＭＩＲから赤外高周波画像を生成する。
　なお、例えば、ＲＧＢセンサ２１０及びＩＲセンサ２２０のキャリブレーションが予め行われており、ＲＧＢ画像ＭＲＧＢ及び赤外画像ＭＩＲは位置合わせがされているものとする。位置合わせがされていない場合、例えば、赤外画像生成部１３３（又は可視画像生成部１３２）がＲＧＢ画像ＭＲＧＢ及び赤外画像ＭＩＲに含まれる被写体等を用いてＲＧＢ画像ＭＲＧＢ及び赤外画像ＭＩＲの位置合わせを行い得る。
（差分画像生成部１３４）
　差分画像生成部１３４は、ＲＧＢ画像ＭＲＧＢの高周波成分及び赤外画像ＭＩＲの高周波成分の差分から差分画像を生成する。例えば、差分画像生成部１３４は、ＲＧＢ高周波画像及び赤外高周波画像の各画素の差分から差分画像を生成する。この差分画像には、ＲＧＢ画像ＭＲＧＢでは検出できないが、赤外画像ＭＩＲでは検出できる高周波成分が含まれる。
　図３は、本開示の実施形態に係る差分画像ＭＤ＿１の一例を示す図である。
　図３に示すように、可視画像生成部１３２は、ＲＧＢ画像ＭＲＧＢ＿１からＲＧＢ高周波画像ＭＲＧＢＨ＿１を生成する。ＲＧＢ高周波画像ＭＲＧＢＨ＿１には、例えば、建物ＯＢ＿３及び遮蔽物ＯＢ＿０の輪郭（高周波成分）が含まれる。
　赤外画像生成部１３３は、赤外画像ＭＩＲ＿１から赤外高周波画像ＭＩＲＨ＿１を生成する。赤外高周波画像ＭＩＲＨ＿１には、例えば、建物ＯＢ＿３及び遮蔽物ＯＢ＿０の輪郭に加え、ビルＯＢ＿１及び人物ＯＢ＿２の輪郭（高周波成分）が含まれる。
　差分画像生成部１３４は、ＲＧＢ高周波画像ＭＲＧＢＨ＿１及び赤外高周波画像ＭＩＲＨ＿１の差分を算出し、差分画像ＭＤ＿１を生成する。この差分画像ＭＤ＿１には、ビルＯＢ＿１及び人物ＯＢ＿２の輪郭（高周波成分）が含まれる。
　このように、差分画像ＭＤ＿１には、ＲＧＢ画像ＭＲＧＢ＿１では検出されず、赤外画像ＭＩＲ＿１で検出される高周波成分（例えばビルＯＢ＿１及び人物ＯＢ＿２に関する高周波成分）が含まれる。
　差分画像生成部１３４は、生成した差分画像ＭＤ＿１を領域検出部１３５に出力する。
（領域検出部１３５）
　領域検出部１３５は、差分画像ＭＤ＿１から補正対象の被写体を含む領域（被写体領域）を検出する。例えば、補正対象は、システム上で予め指定されている。すなわち、領域検出部１３５は、例えば補正対象を識別するための対象情報を予め有している。領域検出部１３５は、対象情報に基づき、差分画像ＭＤ＿１から被写体領域を検出する。
　例えば、補正対象を識別するための対象情報は、被写体の種類（例えば、文字、顔及び服等）、特定の範囲（例えば、車両の後部座席及び窓等）及び閾値等を含む。
　領域検出部１３５は、例えば、対象情報に基づき、機械学習及び公知の物体検出手法等を用いて、差分画像ＭＤ＿１から被写体領域を検出する。領域検出部１３５は、例えば検出した被写体領域を拡張又は縮小することで補正領域を決定する。
　領域検出部１３５は、例えば差分画像ＭＤ＿１の補正領域に基づき、赤外画像ＭＩＲ＿１における補正領域を特定する。
　図４は、本開示の実施形態に係る補正領域Ｒ１の一例を説明するための図である。ここでは、補正対象に人物の顔は含まれているが、ビル等の建物は含まれていないものとする。図４に示す例では、領域検出部１３５は、例えば、複数の被写体（図４の例では、ビル及び人物の顔）のうち、人物の顔を含む補正領域Ｒ１を特定する。
　領域検出部１３５は、検出した補正領域Ｒ１を補正画像生成部１３６に出力する。
　なお、ここでは、領域検出部１３５が、システム上で予め指定されている補正情報（補正対象）に基づいて補正領域を決定するとしたが、領域検出部１３５が補正領域の決定に用いる補正情報を、ユーザが指定するようにしてもよい。
　この場合、ユーザは、被写体の種類及び特定の範囲等、領域検出部１３５が識別する補正対象に関する補正情報を指定する。あるいは、ユーザが、車両及び建物等、補正対象としない補正除外対象を指定するようにしてもよい。
　領域検出部１３５は、指定された補正情報に基づき、補正領域を決定する。
　また、ここでは、領域検出部１３５が差分画像ＭＤを用いて被写体領域を決定するとしたが、領域検出部１３５は、被写体領域の決定に差分画像ＭＤ以外の情報を用い得る。例えば、領域検出部１３５は、差分画像ＭＤに加え、ＲＧＢ画像ＭＲＧＢ及び赤外画像ＭＩＲを用いて被写体領域を決定してもよい。
　また、対象情報は、カメラ２００の撮影状況や撮影用途に応じて変更され得る。例えば、カメラ２００が車載カメラである場合、画像処理装置１００は、通常時、周囲の車両、ナンバープレート及び運転者は補正の対象とせず、例えば後部座席に乗っている人を補正の対象とする。すなわち、通常時は、対象情報に後部座席に座る人物が含まれる。
　一方、事故時、画像処理装置１００は、後部座席に乗っている人も補正の対象としない。すなわち、事故時は、対象情報に後部座席に座る人物が含まれない。
　また、カメラ２００が車載カメラである場合、画像処理装置１００は、例えば車両は補正の対象とせず、車両に乗っている人物を補正の対象としてもよい。すなわち、車載カメラの場合、対象情報に人物が含まれ得る。
　一方、カメラ２００が監視カメラである場合、車両に乗っている人物は補正の対象とせず、車両に乗っている人物の顔を補正の対象としてもよい。すなわち、監視カメラの場合、対象情報に人物の顔が含まれ得る。
　このように、画像処理装置１００は、画像処理システムＳ１の撮影状況（例えば、通常運転時／事故時等）及び撮影用途（例えば、車載カメラ／監視カメラ等）に応じて補正対象（すなわち対象情報）を変更するようにしてもよい。
　例えば、予め画像補正に使用する対象情報が決められており、決められた対象情報が記憶部１１０に記憶されていてもよい。あるいは、例えば、複数の対象情報が記憶部１１０に記憶されており、ユーザ（又は、カメラ２００の設置者）がどの対象情報を用いるか指定するようにしてもよい。
（補正画像生成部１３６）
　補正画像生成部１３６は、赤外画像ＭＩＲに含まれる補正領域Ｒ１に対して削除等の補正を行い、補正画像ＭＣを生成する。
　図５は、本開示の実施形態に係る補正画像生成部１３６の構成例を示すブロック図である。なお、補正画像生成部１３６の内部構成は、図５に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
　図５に示すように、補正画像生成部１３６は、閾値決定部１３６ａと、補正処理部１３６ｂと、画像生成部１３６ｃと、を備える。
（閾値決定部１３６ａ）
　閾値決定部１３６ａは、ＲＧＢ画像ＭＲＧＢ及び補正領域Ｒ１に基づき、後段の補正処理部１３６ｂで使用する第３閾値を決定する。後述するが、補正処理部１３６ｂでは、例えば赤外画像ＭＩＲに対してローパスフィルタを適用する補正処理が行われる。閾値決定部１３６ａは、この補正処理で使用する第３閾値（ローパスフィルタのカットオフ周波数）を決定する。
　閾値決定部１３６ａは、例えば、補正領域Ｒ１に基づき、ＲＧＢ画像ＭＲＧＢにおいて補正領域に対応する領域を特定する。上述したように、ＲＧＢ画像ＭＲＧＢ及び赤外画像ＭＩＲは位置合わせされている。そのため、閾値決定部１３６ａは、赤外画像ＭＩＲにおける補正領域Ｒ１と同じ領域をＲＧＢ画像ＭＲＧＢにおいて特定する。
　閾値決定部１３６ａは、ＲＧＢ画像ＭＲＧＢにおける領域の周波数成分を算出する。閾値決定部１３６ａは、算出した周波数成分に応じて第３閾値を決定する。例えば、閾値決定部１３６ａは、補正領域Ｒ１の周波数成分が算出した周波数成分と同じ、又は、算出した周波数成分以下になるよう、第３閾値を決定する。具体的には、閾値決定部１３６ａは、算出した周波数成分を第３閾値（カットオフ周波数）とする。
　閾値決定部１３６ａは、決定した第３閾値を補正処理部１３６ｂに出力する。
　なお、ここでの第３閾値の決定方法は一例である。例えば、閾値決定部１３６ａがシステム上で予め設定されている値を第３閾値としてもよい。あるいは、ユーザが第３閾値を指定してもよい。閾値決定部１３６ａは、種々の方法で第３閾値を決定し得る。
（補正処理部１３６ｂ）
　補正処理部１３６ｂは、赤外画像生成部１３３から取得した赤外画像ＭＩＲ及び第３閾値を用いて、赤外画像ＭＩＲに対して補正処理を施す。補正処理部１３６ｂは、例えば、赤外画像ＭＩＲにローパスフィルタを適用する。補正処理部１３６ｂは、例えば、ローパスフィルタを用いて赤外画像ＭＩＲから第３閾値以下の周波数成分を抽出する。
　補正処理部１３６ｂは、赤外画像ＭＩＲを、第３閾値をカットオフ周波数とするローパスフィルタに入力し、出力を画像生成部１３６ｃに出力する。
（画像生成部１３６ｃ）
　画像生成部１３６ｃは、補正処理部１３６ｂの出力結果から補正画像ＭＣを生成する。画像生成部１３６ｃは、生成した補正画像ＭＣを表示部１２０に出力する。あるいは、画像生成部１３６ｃは、生成した補正画像ＭＣを記憶部１１０に記憶させてもよい。
　図６は、本開示の実施形態に係る補正画像ＭＣの一例を説明するための図である。図６に示すように、画像生成部１３６ｃは、赤外画像ＭＩＲ＿１から補正画像ＭＣ＿１を生成する。
　赤外画像ＭＩＲ＿１には、補正領域Ｒ１が含まれる。補正処理部１３６ｂは、補正領域Ｒ１に対して第３閾値より高い周波数をカットするローパスフィルタ処理を行う。画像生成部１３６ｃは、補正領域Ｒ１の高周波成分がカットされた補正画像ＭＣ＿１を生成する。補正画像ＭＣ＿１は、人物の顔が判別できないように補正された画像である。
　このように、画像処理装置１００は、特定の透過情報（ここでは人物の顔）が補正された補正画像ＭＣ＿１を生成することができる。
　図７は、本開示の実施形態に係る補正画像ＭＣの他の例を説明するための図である。ここでは、補正画像生成部１３６は、ＲＧＢ画像ＭＲＧＢ＿２及び赤外画像ＭＩＲ＿２から補正画像ＭＣ＿２を生成する。
　ＲＧＢ画像ＭＲＧＢ＿２には、第１の車両ＯＢ＿２１、複数の人物ＯＢ＿２３及び第２の車両ＯＢ＿２４が写っている。また、ＲＧＢ画像ＭＲＧＢ＿２には、第２の車両ＯＢ＿２４の後方（遠方）に霧ＯＢ＿２２が写っている。第１の車両ＯＢ＿２１には、運転席に座る運転者が含まれる。
　赤外画像ＭＩＲ＿２には、ＲＧＢ画像ＭＲＧＢ＿２と同様に第１の車両ＯＢ＿２１、複数の人物ＯＢ＿２３及び第２の車両ＯＢ＿２４が写っている。また、ＲＧＢ画像ＭＲＧＢ＿２には、第２の車両ＯＢ＿２４の後方（遠方）に霧ＯＢ＿２２が写っている。第１の車両ＯＢ＿２１には、運転席に座る運転者が含まれる。
　さらに、赤外画像ＭＩＲ＿２では、霧ＯＢ＿２２の中に第３の車両ＯＢ＿２５が写っている。赤外画像ＭＩＲ＿２では、複数の人物ＯＢ＿２３の服が透けてしまっている。赤外画像ＭＩＲ＿２では、第２の車両ＯＢ＿２４の後部座席の窓の内側の人物ＯＢ＿２６が透けてしまっている。
　このように、ＲＧＢ画像ＭＲＧＢ＿２では、窓のフィルム、服（布）及び霧等の遮蔽物により遮蔽されて一部の被写体が写らない等、この一部の被写体の視認性が低くなる。一方、赤外画像ＭＩＲ＿２では、一部の被写体が窓のフィルム、服（布）及び霧等の遮蔽物では遮蔽されず、この被写体が写った状態となる。すなわち赤外画像ＭＩＲ＿２では、一部の被写体の視認性が、ＲＧＢ画像ＭＲＧＢ＿２よりも高くなってしまう。
　ＲＧＢ画像ＭＲＧＢ＿２では写らない被写体のうち、第３の車両ＯＢ＿２５等、ユーザに提示すべき必要な被写体（被写体情報）もあれば、服の内部や後部座席に座る人物ＯＢ＿２６のように、ユーザに提示する必要のない被写体もある。
　上述したように領域検出部１３５は、補正対象を指定する補正情報に基づき、補正領域Ｒ１を検出する。この場合、補正対象は、複数の人物ＯＢ＿２３の服の内部、第２の車両ＯＢ＿２４の後部座席の人物ＯＢ＿２６である。領域検出部１３５は、これらの補正対象を含む補正領域Ｒ１を決定する。
　補正画像生成部１３６は、領域検出部１３５が検出した補正領域Ｒ１に対してフィルタリング処理（ローパスフィルタ処理）を施し、補正画像ＭＣ＿２を生成する。
　補正画像ＭＣ＿２には、第１～第３の車両ＯＢ＿２１、ＯＢ＿２４、ＯＢ＿２５が含まれる。第２の車両ＯＢ＿２４の後部座席の人物ＯＢＣ＿２６の顔は、削除（補正）され見えにくくなっている。また、補正画像ＭＣ＿２には、服の内側が削除（補正）されて見えにくくなった複数の人物ＯＢＣ＿２３が含まれる。
　このように、補正画像生成部１３６は、必要な情報（例えば、第３の車両ＯＢ＿２５等）は残しつつ、不必要な情報（例えば、透過した服の中及び人物の顔等）を削除（補正）する。
　画像処理装置１００は、赤外画像ＭＩＲでの視認性がＲＧＢ画像ＭＲＧＢより高い被写体を複数検出した場合、対象情報に基づいて少なくとも１つを選択し、選択した被写体を含む補正領域Ｒ１に対して補正を行う。
　図７の例では、画像処理装置１００の領域検出部１３５は、赤外画像ＭＩＲ＿２での視認性がＲＧＢ画像ＭＲＧＢ＿２より高い被写体として、第３の車両ＯＢ＿２５、複数の人物ＯＢ＿２３の服の中、及び、人物ＯＢ＿２６を検出する。領域検出部１３５は、これら被写体のうち、被写体対象として複数の人物ＯＢ＿２３の服の中、及び、人物ＯＢ＿２６を選択する。補正画像生成部１３６は、領域検出部１３５が選択した被写体を補正した補正画像ＭＣ＿２を生成する。
　なお、ここでは、補正画像生成部１３６が、赤外画像ＭＩＲに含まれる被写体の視認性を低下させる加工処理として、ローパスフィルタを用いた補正処理を行うとした。補正画像生成部１３６は、ローパスフィルタを用いた補正処理以外の加工処理を行い得る。
　例えば、補正画像生成部１３６は、加工処理として、補正領域Ｒ１の削除処理、補正領域Ｒ１（又は、補正領域Ｒ１に含まれる被写体）の画素値を一定値に置き換える変換処理を行い得る。あるいは、補正画像生成部１３６が、補正領域Ｒ１の色味を淡い色に置き換える等、補正領域の色味を変更する変更処理等を行うようにしてもよい。補正画像生成部１３６は、赤外画像ＭＩＲに含まれる被写体の視認性を低下させる加工処理として種々の処理を行い得る。
＜＜３．処理例＞＞
＜３．１．画像処理＞
　図８は、本開示の実施形態に係る画像処理の流れの一例を示すフローチャートである。図８に示す画像処理は、例えば、カメラ２００で撮像が行われている間、画像処理装置１００で繰り返し実行される。カメラ２００が動画像を撮像する場合、画像処理装置１００は、動画像の各フレーム（フレーム画像）に対して画像処理を実行する。
　図８に示すように、画像処理装置１００は、画像データを取得する（ステップＳ１０１）。画像データは、ＲＧＢ画像ＭＲＧＢ及び赤外画像ＭＩＲを含む。
　画像処理装置１００は、ＲＧＢ画像ＭＲＧＢから、所定の高周波成分を抽出したＲＧＢ高周波画像ＭＲＧＢＨを生成する（ステップＳ１０２）。
　画像処理装置１００は、赤外画像ＭＩＲから、所定の高周波成分を抽出した赤外高周波画像ＭＩＲＨを生成する（ステップＳ１０３）。
　画像処理装置１００は、ＲＧＢ高周波画像ＭＲＧＢＨ及び赤外高周波画像ＭＩＲＨの差分画像ＭＤを生成する（ステップＳ１０４）。
　画像処理装置１００は、差分画像ＭＤから補正領域Ｒ１を検出する（ステップＳ１０５）。画像処理装置１００は、差分画像ＭＤから検出した補正領域Ｒ１があるか否かを判定する（ステップＳ１０６）。
　補正領域Ｒ１がない、すなわち、差分画像ＭＤに補正領域Ｒ１が含まれない場合（ステップＳ１０６；Ｎｏ）、画像処理装置１００は、赤外画像ＭＩＲを表示部１２０に出力し（ステップＳ１０７）、処理を終了する。
　一方、補正領域Ｒ１がある、すなわち、差分画像ＭＤに補正領域Ｒ１が含まれる場合（ステップＳ１０６；Ｙｅｓ）、画像処理装置１００は、補正処理を実行する（ステップＳ１０８）。補正処理の一例は、図９を用いて後述する。
　画像処理装置１００は、補正処理によって生成した補正画像ＭＣを表示部１２０に出力し（ステップＳ１０９）、処理を終了する。
＜３．２．補正処理＞
　図９は、本開示の実施形態に係る補正処理の流れの一例を示すフローチャートである。図９の補正処理は、例えば上述した画像処理の実行時に画像処理装置１００によって実行される。
　図９に示すように、画像処理装置１００は、第３閾値を決定する（ステップＳ２０１）。例えば、画像処理装置１００は、ＲＧＢ画像ＭＲＧＢの補正領域Ｒ１における周波数成分に応じて第３閾値を決定する。
　画像処理装置１００は、赤外画像ＭＩＲの補正領域Ｒ１に決定した第３閾値をカットオフ周波数とするローパスフィルタを適用する（ステップＳ２０２）。
　画像処理装置１００は、ローパスフィルタを適用した補正領域Ｒ１を含む補正画像ＭＣを生成する（ステップＳ２０３）。
　以上のように、本開示の実施形態に係る画像処理装置１００は、ＲＧＢ画像ＭＲＧＢ及び赤外画像ＭＩＲを取得する。画像処理装置１００は、取得した赤外画像ＭＩＲでの視認性がＲＧＢ画像ＭＲＧＢよりも高い被写体を検出する。画像処理装置１００は、検出した被写体を補正（加工）した補正画像ＭＣ（加工画像の一例）を生成する。
　これにより、画像処理装置１００は、不必要な情報（被写体）の視認性をより確実に低減することができる。
＜＜４．その他の実施形態＞＞
　上述した実施形態及び変形例に係る処理は、上記実施形態及び変形例以外にも種々の異なる形態にて実施されてよい。
＜４．１．その他の実施形態１＞
　図１０は、本開示のその他の実施形態１に係る画像処理システムＳ１＿Ａの構成例を示すブロック図である。図１０に示す画像処理システムＳ１＿Ａは、カメラ２００Ａ及び画像処理装置１００Ａを備える。
　カメラ２００Ａは、ＲＧＢセンサ２１０及びＩＲセンサ２２０が１つになったＲＧＢＩＲセンサ２３０を有する点で図２に示すカメラ２００と異なる。
　ＲＧＢＩＲセンサ２３０は、可視光を受光するフォトダイオード及び赤外光を受光するフォトダイオードを備える。ＲＧＢＩＲセンサ２３０は、ＲＧＢ画素値と赤外画素値とを含むＲＧＢＩＲ画像を生成する。
　画像処理装置１００Ａは、制御部１３０Ａを有する。制御部１３０Ａの取得部１３１Ａは、ＲＧＢＩＲセンサ２３０からＲＧＢＩＲ画像を取得する。
　可視画像生成部１３２Ａは、ＲＧＢＩＲ画像からＲＧＢ画素値を抽出し、ＲＧＢ画像ＭＲＧＢを生成する。また、可視画像生成部１３２Ａは、ＲＧＢ高周波画像ＭＲＧＢＨを生成する。
　赤外画像生成部１３３Ａは、ＲＧＢＩＲ画像からＩＲ画素値を抽出し、赤外画像ＭＩＲを生成する。また、赤外画像生成部１３３Ａは、赤外高周波画像ＭＩＲＨを生成する。
　このように、画像処理システムＳ１＿Ａでは、カメラ２００Ａが１つのＲＧＢＩＲセンサ２３０でＲＧＢＩＲ画像を取得する。この場合も、画像処理システムＳ１＿Ａは、不要な情報（被写体）の視認性をより確実に低減することができる。
＜４．２．その他の実施形態２＞
　図１１は、本開示のその他の実施形態２に係る画像処理システムＳ１＿Ｂの構成例を示すブロック図である。図１１に示す画像処理システムＳ１＿Ｂは、カメラ２００Ｂ＿１、２００Ｂ＿２及び画像処理装置１００Ｂを備える。
　カメラ２００Ｂ＿１は、ＲＧＢセンサ２１０を有する。カメラ２００Ｂ＿１は、ＲＧＢ画像ＭＲＧＢを生成する。カメラ２００Ｂ＿２は、ＩＲセンサ２２０を有する。カメラ２００Ｂ＿２は、赤外画像ＭＩＲを生成する。
　画像処理装置１００Ｂは、制御部１３０Ｂを有する。制御部１３０Ｂの取得部１３１Ｂは、カメラ２００Ｂ＿１からＲＧＢ画像ＭＲＧＢを取得する。取得部１３１Ｂは、カメラ２００Ｂ＿２から赤外画像ＭＩＲを取得する。
　このように、画像処理システムＳ１＿Ｂでは、２つのカメラ２００Ｂ＿１、２００Ｂ＿２が、それぞれＲＧＢ画像ＭＲＧＢ及び赤外画像ＭＩＲを生成する。この場合も、画像処理システムＳ１＿Ａは、不要な情報（被写体）の視認性をより確実に低減することができる。
＜＜５．適用例＞＞
　上述したように、本開示の実施形態に係る画像処理システムＳ１は、車載カメラ、ドライブレコーダー及び監視カメラ等のカメラシステムに適用され得る。ここでは、画像処理システムＳ１が車載カメラシステムに適用される場合について説明する。
　図１２は、本開示の提案技術に係る画像処理システムＳ１が適用される車両制御システム１００１１の構成例を示すブロック図である。
　車両制御システム１００１１は、車両１００００に設けられ、車両１００００の走行支援及び自動運転に関わる処理を行う。
　車両制御システム１００１１は、車両制御ＥＣＵ（Electronic　Control　Unit）１００２１、通信部１００２２、地図情報蓄積部１００２３、位置情報取得部１００２４、外部認識センサ１００２５、車内センサ１００２６、車両センサ１００２７、記憶部１００２８、走行支援・自動運転制御部１００２９、ＤＭＳ（Driver　Monitoring　System）１００３０、ＨＭＩ（Human　Machine　Interface）１００３１、及び、車両制御部１００３２を備える。
　車両制御ＥＣＵ１００２１、通信部１００２２、地図情報蓄積部１００２３、位置情報取得部１００２４　、外部認識センサ１００２５、車内センサ１００２６、車両センサ１００２７、記憶部１００２８、走行支援・自動運転制御部１００２９、ドライバモニタリングシステム（ＤＭＳ）１００３０、ＨＭＩ１００３１、及び、車両制御部１００３２は、通信ネットワーク１００４１を介して相互に通信可能に接続されている。通信ネットワーク１００４１は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク１００４１は、伝送されるデータの種類によって使い分けられてもよい。例えば、車両制御に関するデータに対してＣＡＮが適用され、大容量データに対してイーサネットが適用されるようにしてもよい。なお、車両制御システム１００１１の各部は、通信ネットワーク１００４１を介さずに、例えば近距離無線通信（ＮＦＣ（Near　Field　Communication））やＢｌｕｅｔｏｏｔｈ（登録商標）といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
　なお、以下、車両制御システム１００１１の各部が、通信ネットワーク１００４１を介して通信を行う場合、通信ネットワーク１００４１の記載を省略するものとする。例えば、車両制御ＥＣＵ１００２１と通信部１００２２が通信ネットワーク１００４１を介して通信を行う場合、単に車両制御ＥＣＵ１００２１と通信部１００２２とが通信を行うと記載する。
　車両制御ＥＣＵ１００２１は、例えば、ＣＰＵ、ＭＰＵといった各種のプロセッサにより構成される。車両制御ＥＣＵ１００２１は、車両制御システム１００１１全体又は一部の機能の制御を行う。
　通信部１００２２は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部１００２２は、複数の通信方式を用いて通信を行うことができる。
　通信部１００２２が実行可能な車外との通信について、概略的に説明する。通信部１００２２は、例えば、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Long　Term　Evolution）、ＤＳＲＣ（Dedicated　Short　Range　Communications）等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ（以下、外部のサーバと呼ぶ）等と通信を行う。通信部１００２２が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部１００２２が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
　また例えば、通信部１００２２は、Ｐ２Ｐ（Peer　To　Peer）技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車等の比較的低速で移動する移動体が装着する端末、店舗等に位置が固定されて設置される端末、又は、ＭＴＣ（Machine　Type　Communication）端末である。さらに、通信部１００２２は、Ｖ２Ｘ通信を行うこともできる。Ｖ２Ｘ通信とは、例えば、他の車両との間の車車間（Vehicle　to　Vehicle）通信、路側器等との間の路車間（Vehicle　to　Infrastructure）通信、家との間（Vehicle　to　Home）の通信、及び、歩行者が所持する端末等との間の歩車間（Vehicle　to　Pedestrian）通信等の、自車と他との通信をいう。
　通信部１００２２は、例えば、車両制御システム１００１１の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる（Over　The　Air)。通信部１００２２は、さらに、地図情報、交通情報、車両１００００の周囲の情報等を外部から受信することができる。また例えば、通信部１００２２は、車両１００００に関する情報や、車両１００００の周囲の情報等を外部に送信することができる。通信部１００２２が外部に送信する車両１００００に関する情報としては、例えば、車両１００００の状態を示すデータ、認識部１００７３による認識結果等がある。さらに例えば、通信部１００２２は、ｅコール等の車両緊急通報システムに対応した通信を行う。
　例えば、通信部１００２２は、電波ビーコン、光ビーコン、ＦＭ多重放送等の道路交通情報通信システム（ＶＩＣＳ（登録商標）（Vehicle　Information　and　Communication　System））により送信される電磁波を受信する。
　通信部１００２２が実行可能な車内との通信について、概略的に説明する。通信部１００２２は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部１００２２は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、ＷＵＳＢ（Wireless　USB）といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部１００２２は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部１００２２は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部１００２２は、例えば、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）、ＭＨＬ（Mobile　High-definition　Link）といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
　ここで、車内の機器とは、例えば、車内において通信ネットワーク１００４１に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
　地図情報蓄積部１００２３は、外部から取得した地図及び車両１００００で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部１００２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
　高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバ等から車両１００００に提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ベクターマップは、例えば、車線や信号機の位置といった交通情報等をポイントクラウドマップに対応付け、ＡＤＡＳ（Advanced　Driver　Assistance　System）やＡＤ（Autonomous　Driving）に適合させた地図である。
　ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、カメラ１００５１、２Ｄ測距センサ１００５２、３Ｄ測距センサ１００５３等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１００００で作成され、地図情報蓄積部１００２３に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両１００００がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
　位置情報取得部１００２４は、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からＧＮＳＳ信号を受信し、車両１００００の位置情報を取得する。取得した位置情報は、走行支援・自動運転制御部１００２９に供給される。なお、位置情報取得部１００２４　は、ＧＮＳＳ信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。
　外部認識センサ１００２５は、車両１００００の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１００１１の各部に供給する。外部認識センサ１００２５が備えるセンサの種類や数は任意である。
　例えば、外部認識センサ１００２５は、カメラ１００５１、２Ｄ測距センサ１００５２、３Ｄ測距センサ１００５３、及び、超音波センサ１００５４を備える。これに限らず、外部認識センサ１００２５は、カメラ１００５１及び超音波センサ１００５４のうち一方または両方を省略することができる。カメラ１００５１、２Ｄ測距センサ１００５２、３Ｄ測距センサ１００５３、及び、超音波センサ１００５４の数は、現実的に車両１００００に設置可能な数であれば特に限定されない。また、外部認識センサ１００２５が備えるセンサの種類は、この例に限定されず、外部認識センサ１００２５は、他の種類のセンサを備えてもよい。外部認識センサ１００２５が備える各センサのセンシング領域の例は、後述する。
　なお、カメラ１００５１の撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じてカメラ１００５１に適用することができる。これに限らず、カメラ１００５１は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
　また、例えば、外部認識センサ１００２５は、車両１００００に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
　さらに、例えば、外部認識センサ１００２５は、車両１００００の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
　車内センサ１００２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１００１１の各部に供給する。車内センサ１００２６が備える各種センサの種類や数は、現実的に車両１００００に設置可能な種類や数であれば特に限定されない。
　例えば、車内センサ１００２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち１種類以上のセンサを備えることができる。車内センサ１００２６が備えるカメラとしては、例えば、ＴｏＦカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ１００２６が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ１００２６が備える生体センサは、例えば、シートやステアリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
　車両センサ１００２７は、車両１００００の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１００１１の各部に供給する。車両センサ１００２７が備える各種センサの種類や数は、現実的に車両１００００に設置可能な種類や数であれば特に限定されない。
　例えば、車両センサ１００２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、それらを統合した慣性計測装置（ＩＭＵ（Inertial　Measurement　Unit））を備える。例えば、車両センサ１００２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ１００２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ１００２７は、バッテリの残量及び温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを備える。
　記憶部１００２８は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記憶部１００２８は、例えばＥＥＰＲＯＭ(Electrically　Erasable　Programmable　Read　Only　Memory)及びＲＡＭ(Random　Access　Memory)として用いられ、記憶媒体としては、ＨＤＤ（Hard　Disc　Drive）といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記憶部１００２８は、車両制御システム１００１１の各部が用いる各種プログラムやデータを記憶する。例えば、記憶部１００２８は、ＥＤＲ（Event　Data　Recorder）やＤＳＳＡＤ（Data　Storage　System　for　Automated　Driving）を備え、事故等のイベントの前後の車両１００００の情報や車内センサ１００２６によって取得された情報を記憶する。
　走行支援・自動運転制御部１００２９は、車両１００００の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部１００２９は、分析部１００６１、行動計画部１００６２、及び、動作制御部１００６３を備える。
　分析部１００６１は、車両１００００及び周囲の状況の分析処理を行う。分析部１００６１は、自己位置推定部１００７１、センサフュージョン部１００７２、及び、認識部１００７３を備える。
　自己位置推定部１００７１は、外部認識センサ１００２５からのセンサデータ、及び、地図情報蓄積部１００２３に蓄積されている高精度地図に基づいて、車両１００００の自己位置を推定する。例えば、自己位置推定部１００７１は、外部認識センサ１００２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１００００の自己位置を推定する。車両１００００の位置は、例えば、後輪対車軸の中心が基準とされる。
　ローカルマップは、例えば、ＳＬＡＭ（Simultaneous　Localization　and　Mapping）等の技術を用いて作成される３次元の高精度地図、占有格子地図（Occupancy　Grid　Map）等である。３次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両１００００の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部１００７３による車両１００００の外部の状況の検出処理及び認識処理にも用いられる。
　なお、自己位置推定部１００７１は、位置情報取得部１００２４により取得される位置情報、及び、車両センサ１００２７からのセンサデータに基づいて、車両１００００の自己位置を推定してもよい。
　センサフュージョン部１００７２は、複数の異なる種類のセンサデータ（例えば、カメラ１００５１から供給される画像データ、及び、２Ｄ測距センサ１００５２から供給されるセンサデータ）を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
　認識部１００７３は、車両１００００の外部の状況の検出を行う検出処理、及び、車両１００００の外部の状況の認識を行う認識処理を実行する。
　例えば、認識部１００７３は、外部認識センサ１００２５からの情報、自己位置推定部１００７１からの情報、センサフュージョン部１００７２からの情報等に基づいて、車両１００００の外部の状況の検出処理及び認識処理を行う。
　具体的には、例えば、認識部１００７３は、車両１００００の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
　例えば、認識部１００７３は、２Ｄ測距センサ１００５２又は３Ｄ測距センサ１００５３等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１００００の周囲の物体を検出する。これにより、車両１００００の周囲の物体の有無、大きさ、形状、位置が検出される。
　例えば、認識部１００７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１００００の周囲の物体の動きを検出する。これにより、車両１００００の周囲の物体の速度及び進行方向（移動ベクトル）が検出される。
　例えば、認識部１００７３は、カメラ１００５１から供給される画像データに基づいて、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等を検出又は認識する。また、認識部１００７３は、セマンティックセグメンテーション等の認識処理を行うことにより、車両１００００の周囲の物体の種類を認識してもよい。
　例えば、認識部１００７３は、地図情報蓄積部１００２３に蓄積されている地図、自己位置推定部１００７１による自己位置の推定結果、及び、認識部１００７３による車両１００００の周囲の物体の認識結果に基づいて、車両１００００の周囲の交通ルールの認識処理を行うことができる。認識部１００７３は、この処理により、信号機の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等を認識することができる。
　例えば、認識部１００７３は、車両１００００の周囲の環境の認識処理を行うことができる。認識部１００７３が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
　また、本開示に係る画像処理装置１００の各機能は、認識部１００７３における機能として実現してよい。この場合、カメラ１００５１が本開示に係るカメラ２００に相当する。認識部１００７３は、カメラ１００５１の出力に基づき、補正画像ＭＣを作成してよい。
　行動計画部１００６２は、車両１００００の行動計画を作成する。例えば、行動計画部１００６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
　なお、経路計画（Global　path　planning）とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、計画した経路において、車両１００００の運動特性を考慮して、車両１００００の近傍で安全かつ滑らかに進行することが可能な軌道生成（Local　path　planning）を行う処理も含まれる。
　経路追従とは、経路計画により計画された経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部１００６２は、例えば、この経路追従の処理の結果に基づき、車両１００００の目標速度と目標角速度を計算することができる。
　動作制御部１００６３は、行動計画部１００６２により作成された行動計画を実現するために、車両１００００の動作を制御する。
　例えば、動作制御部１００６３は、後述する車両制御部１００３２に含まれる、ステアリング制御部１００８１、ブレーキ制御部１００８２、及び、駆動制御部１００８３を制御して、軌道計画により計算された軌道を車両１００００が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部１００６３は、衝突回避又は衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のＡＤＡＳの機能実現を目的とした協調制御を行う。例えば、動作制御部１００６３は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
　ＤＭＳ１００３０は、車内センサ１００２６からのセンサデータ、及び、後述するＨＭＩ１００３１に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
　なお、ＤＭＳ１００３０が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ１００３０が、車内センサ１００２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
　ＨＭＩ１００３１は、各種のデータや指示等の入力と、各種のデータの運転者等への提示を行う。
　ＨＭＩ１００３１によるデータの入力について、概略的に説明する。ＨＭＩ１００３１は、人がデータを入力するための入力デバイスを備える。ＨＭＩ１００３１は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００１１の各部に供給する。ＨＭＩ１００３１は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、ＨＭＩ１００３１は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、ＨＭＩ１００３１は、例えば、赤外線又は電波を利用したリモートコントロール装置や、車両制御システム１００１１の操作に対応したモバイル機器又はウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
　ＨＭＩ１００３１によるデータの提示について、概略的に説明する。ＨＭＩ１００３１は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、ＨＭＩ１００３１は、生成された各情報の出力、出力内容、出力タイミング及び出力方法等を制御する出力制御を行う。ＨＭＩ１００３１は、視覚情報として、例えば、操作画面、車両１００００の状態表示、警告表示、車両１００００の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成及び出力する。また、ＨＭＩ１００３１は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成及び出力する。さらに、ＨＭＩ１００３１は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成及び出力する。
　ＨＭＩ１００３１が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented　Reality）機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、ＨＭＩ１００３１は、車両１００００に設けられるナビゲーション装置、インストルメントパネル、ＣＭＳ（Camera　Monitoring　System）、電子ミラー、ランプ等が有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
　ＨＭＩ１００３１が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
　ＨＭＩ１００３１が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両１００００の搭乗者が接触する部分に設けられる。
　車両制御部１００３２は、車両１００００の各部の制御を行う。車両制御部１００３２は、ステアリング制御部１００８１、ブレーキ制御部１００８２、駆動制御部１００８３、ボディ系制御部１００８４、ライト制御部１００８５、及び、ホーン制御部１００８６を備える。
　ステアリング制御部１００８１は、車両１００００のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部１００８１は、例えば、ステアリングシステムの制御を行うステアリングＥＣＵ、ステアリングシステムの駆動を行うアクチュエータ等を備える。
　ブレーキ制御部１００８２は、車両１００００のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ＡＢＳ（Antilock　Brake　System）、回生ブレーキ機構等を備える。ブレーキ制御部１００８２は、例えば、ブレーキシステムの制御を行うブレーキＥＣＵ、ブレーキシステムの駆動を行うアクチュエータ等を備える。
　駆動制御部１００８３は、車両１００００の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部１００８３は、例えば、駆動システムの制御を行う駆動ＥＣＵ、駆動システムの駆動を行うアクチュエータ等を備える。
　ボディ系制御部１００８４は、車両１００００のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部１００８４は、例えば、ボディ系システムの制御を行うボディ系ＥＣＵ、ボディ系システムの駆動を行うアクチュエータ等を備える。
　ライト制御部１００８５は、車両１００００の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部１００８５は、ライトの制御を行うライトＥＣＵ、ライトの駆動を行うアクチュエータ等を備える。
　ホーン制御部１００８６は、車両１００００のカーホーンの状態の検出及び制御等を行う。ホーン制御部１００８６は、例えば、カーホーンの制御を行うホーンＥＣＵ、カーホーンの駆動を行うアクチュエータ等を備える。
　図１３は、図１２の外部認識センサ１００２５のカメラ１００５１、２Ｄ測距センサ１００５２、３Ｄ測距センサ１００５３、及び、超音波センサ１００５４等によるセンシング領域の例を示す図である。なお、図１３において、車両１００００を上面から見た様子が模式的に示され、左端側が車両１００００の前端（フロント）側であり、右端側が車両１００００の後端（リア）側となっている。
　センシング領域１２１０１Ｆ及びセンシング領域１２１０１Ｂは、超音波センサ１００５４のセンシング領域の例を示している。センシング領域１２１０１Ｆは、複数の超音波センサ１００５４によって車両１００００の前端周辺をカバーしている。センシング領域１２１０１Ｂは、複数の超音波センサ１００５４によって車両１００００の後端周辺をカバーしている。
　センシング領域１２１０１Ｆ及びセンシング領域１２１０１Ｂにおけるセンシング結果は、例えば、車両１００００の駐車支援等に用いられる。
　センシング領域１２１０２Ｆ乃至センシング領域１２１０２Ｂは、短距離又は中距離用の２Ｄ測距センサ１００５２のセンシング領域の例を示している。センシング領域１２１０２Ｆは、車両１００００の前方において、センシング領域１２１０１Ｆより遠い位置までカバーしている。センシング領域１２１０２Ｂは、車両１００００の後方において、センシング領域１２１０１Ｂより遠い位置までカバーしている。センシング領域１２１０２Ｌは、車両１００００の左側面の後方の周辺をカバーしている。センシング領域１２１０２Ｒは、車両１００００の右側面の後方の周辺をカバーしている。
　センシング領域１２１０２Ｆにおけるセンシング結果は、例えば、車両１００００の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域１２１０２Ｂにおけるセンシング結果は、例えば、車両１００００の後方の衝突防止機能等に用いられる。センシング領域１２１０２Ｌ及びセンシング領域１２１０２Ｒにおけるセンシング結果は、例えば、車両１００００の側方の死角における物体の検出等に用いられる。
　センシング領域１２１０３Ｆ乃至センシング領域１２１０３Ｂは、カメラ１００５１によるセンシング領域の例を示している。センシング領域１２１０３Ｆは、車両１００００の前方において、センシング領域１２１０２Ｆより遠い位置までカバーしている。センシング領域１２１０３Ｂは、車両１００００の後方において、センシング領域１２１０２Ｂより遠い位置までカバーしている。センシング領域１２１０３Ｌは、車両１００００の左側面の周辺をカバーしている。センシング領域１２１０３Ｒは、車両１００００の右側面の周辺をカバーしている。
　センシング領域１２１０３Ｆにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域１２１０３Ｂにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域１２１０３Ｌ及びセンシング領域１２１０３Ｒにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
　センシング領域１２１０４は、３Ｄ測距センサ１００５３のセンシング領域の例を示している。センシング領域１２１０４は、車両１００００の前方において、センシング領域１２１０３Ｆより遠い位置までカバーしている。一方、センシング領域１２１０４は、センシング領域１２１０３Ｆより左右方向の範囲が狭くなっている。
　センシング領域１２１０４におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。
　センシング領域１２１０５は、長距離用の２Ｄ測距センサ１００５２のセンシング領域の例を示している。センシング領域１２１０５は、車両１００００の前方において、センシング領域１２１０４より遠い位置までカバーしている。一方、センシング領域１２１０５は、センシング領域１２１０４より左右方向の範囲が狭くなっている。
　センシング領域１２１０５におけるセンシング結果は、例えば、ＡＣＣ（Adaptive　Cruise　Control）、緊急ブレーキ、衝突回避等に用いられる。
　なお、外部認識センサ１００２５が含むカメラ１００５１、２Ｄ測距センサ１００５２、３Ｄ測距センサ１００５３、及び、超音波センサ１００５４の各センサのセンシング領域は、図１３以外に各種の構成をとってもよい。具体的には、超音波センサ１００５４が車両１００００の側方もセンシングするようにしてもよいし、３Ｄ測距センサ１００５３が車両１００００の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、１つでもよいし、複数であってもよい。
＜＜６．ハードウェア構成＞＞
　上述してきた本開示に係る画像処理装置１００等の情報処理装置は、例えば図１４に示すような構成のコンピュータ１０００によって実現される。図１４は、本開示に係る画像処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。以下では、コンピュータ１０００の一例として、実施形態に係る画像処理装置１００を例に挙げて説明する。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る学習プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係る画像処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた画像処理プログラムを実行することにより、制御部１３０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る画像処理プログラムや、記憶部１１０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
＜＜７．　補足＞＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　可視画像及び赤外画像を取得し、
　前記赤外画像での視認性が前記可視画像より高い被写体を検出し、
　検出した前記被写体を加工した加工画像を前記赤外画像から生成する、制御部
　を備える画像処理装置。
（２）
　前記制御部は、前記可視画像の高周波成分及び前記赤外画像の前記高周波成分の差分に基づき、前記被写体を検出する、（１）に記載の画像処理装置。
（３）
　前記制御部は、
　前記差分から差分画像を生成し、
　前記差分画像に含まれる前記被写体を検出する、
　（２）に記載の画像処理装置。
（４）
　前記制御部は、
　複数の前記被写体を検出し、
　複数の前記被写体の少なくとも１つを加工した前記加工画像を生成する、
　（１）～（３）のいずれか１つに記載の画像処理装置。
（５）
　前記制御部は、予め設定されている情報に基づき、加工を行う前記被写体を決定する、（１）～（４）のいずれか１つに記載の画像処理装置。
（６）
　前記制御部は、前記被写体の種類、前記被写体の前記赤外画像における位置及び前記被写体の輝度値の少なくとも１つに基づき、加工を行う前記被写体を決定する、（５）に記載の画像処理装置。
（７）
　前記制御部は、前記赤外画像に含まれる前記被写体を加工し、前記加工画像を生成する、（１）～（６）のいずれか１つに記載の画像処理装置。
（８）
　前記制御部は、前記赤外画像の前記被写体を含む被写体領域にローパスフィルタを適用することで、前記加工画像を生成する、（７）に記載の画像処理装置。
（９）
　前記制御部は、
　前記被写体領域に相当する前記可視画像の領域の周波数成分に応じて閾値を決定し、
　前記閾値以下の周波数成分を残すように、前記赤外画像に前記ローパスフィルタを適用する、
　（８）に記載の画像処理装置。
（１０）
　前記制御部は、ＲＧＢセンサによって撮像された前記可視画像を取得する、（１）～（９）のいずれか１つに記載の画像処理装置。
（１１）
　前記制御部は、ＩＲセンサによって撮像された前記赤外画像を取得する、（１）～（９）のいずれか１つに記載の画像処理装置。
（１２）
　前記制御部は、前記可視画像及び前記赤外画像の両方を撮像するセンサから前記可視画像及び前記赤外画像を取得する、（１）～（９）のいずれか１つに記載の画像処理装置。
（１３）
　可視画像を撮像する第１のセンサと、赤外画像を撮像する第２のセンサと、画像処理装置と、を備え、
　前記画像処理装置は、
　前記第１のセンサから前記可視画像を取得し、
　前記第２のセンサから前記赤外画像を取得し、
　前記赤外画像での視認性が前記可視画像より高い被写体を検出し、
　前記被写体を加工した加工画像を前記赤外画像から生成する、制御部
　を備える、画像処理システム。
（１４）
　前記第１のセンサ及び前記第２のセンサは同じセンサである、（１３）に記載の画像処理システム。
（１５）
　可視画像及び赤外画像を取得することと、
　前記赤外画像での視認性が前記可視画像より高い被写体を検出することと、
　前記被写体を加工した加工画像を前記赤外画像から生成することと、
　を含む画像処理方法。
（１６）
　可視画像及び赤外画像を取得することと、
　前記赤外画像での視認性が前記可視画像より高い被写体を検出することと、
　前記被写体を加工した加工画像を前記赤外画像から生成することと、
　をコンピュータに実行させるプログラム。
　Ｓ１　画像処理システム
　１００　画像処理装置
　１１０　記憶部
　１２０　表示部
　１３０　制御部
　１３１　取得部
　１３２　可視画像生成部
　１３３　赤外画像生成部
　１３４　差分画像生成部
　１３５　領域検出部
　１３６　補正画像生成部
　１３６ａ　閾値決定部
　１３６ｂ　補正処理部
　１３６ｃ　画像生成部
　２００　カメラ

Claims (15)

  1. 　可視画像及び赤外画像を取得し、
    　前記赤外画像での視認性が前記可視画像より高い被写体を検出し、
    　検出した前記被写体を加工した加工画像を前記赤外画像から生成する、制御部
    　を備える画像処理装置。
  2. 　前記制御部は、前記可視画像の高周波成分及び前記赤外画像の前記高周波成分の差分に基づき、前記被写体を検出する、請求項１に記載の画像処理装置。
  3. 　前記制御部は、
    　前記差分から差分画像を生成し、
    　前記差分画像に含まれる前記被写体を検出する、
    　請求項２に記載の画像処理装置。
  4. 　前記制御部は、
    　複数の前記被写体を検出し、
    　複数の前記被写体の少なくとも１つを加工した前記加工画像を生成する、
    　請求項１に記載の画像処理装置。
  5. 　前記制御部は、予め設定されている情報に基づき、加工を行う前記被写体を決定する、請求項１に記載の画像処理装置。
  6. 　前記制御部は、前記被写体の種類、前記被写体の前記赤外画像における位置及び前記被写体の輝度値の少なくとも１つに基づき、加工を行う前記被写体を決定する、請求項５に記載の画像処理装置。
  7. 　前記制御部は、前記赤外画像に含まれる前記被写体を加工し、前記加工画像を生成する、請求項１に記載の画像処理装置。
  8. 　前記制御部は、前記赤外画像の前記被写体を含む被写体領域にローパスフィルタを適用することで、前記加工画像を生成する、請求項７に記載の画像処理装置。
  9. 　前記制御部は、
    　前記被写体領域に相当する前記可視画像の領域の周波数成分に応じて閾値を決定し、
    　前記閾値以下の周波数成分を残すように、前記赤外画像に前記ローパスフィルタを適用する、
    　請求項８に記載の画像処理装置。
  10. 　前記制御部は、ＲＧＢセンサによって撮像された前記可視画像を取得する、請求項１に記載の画像処理装置。
  11. 　前記制御部は、ＩＲセンサによって撮像された前記赤外画像を取得する、請求項１に記載の画像処理装置。
  12. 　前記制御部は、前記可視画像及び前記赤外画像の両方を撮像するセンサから前記可視画像及び前記赤外画像を取得する、請求項１に記載の画像処理装置。
  13. 　可視画像を撮像する第１のセンサと、赤外画像を撮像する第２のセンサと、画像処理装置と、を備え、
    　前記画像処理装置は、
    　前記第１のセンサから前記可視画像を取得し、
    　前記第２のセンサから前記赤外画像を取得し、
    　前記赤外画像での視認性が前記可視画像より高い被写体を検出し、
    　前記被写体を加工した加工画像を前記赤外画像から生成する、制御部
    　を備える、画像処理システム。
  14. 　前記第１のセンサ及び前記第２のセンサは同じセンサである、請求項１３に記載の画像処理システム。
  15. 　可視画像及び赤外画像を取得することと、
    　前記赤外画像での視認性が前記可視画像より高い被写体を検出することと、
    　前記被写体を加工した加工画像を前記赤外画像から生成することと、
    　を含む画像処理方法。
PCT/JP2024/009466 2023-03-29 2024-03-12 画像処理装置、画像処理システム及び画像処理方法 Ceased WO2024203261A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-054345 2023-03-29
JP2023054345 2023-03-29

Publications (1)

Publication Number Publication Date
WO2024203261A1 true WO2024203261A1 (ja) 2024-10-03

Family

ID=92905739

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/009466 Ceased WO2024203261A1 (ja) 2023-03-29 2024-03-12 画像処理装置、画像処理システム及び画像処理方法

Country Status (1)

Country Link
WO (1) WO2024203261A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261789A (ja) * 1999-03-09 2000-09-22 Minolta Co Ltd 画像処理システムおよび画像処理プログラムを記録した記録媒体
JP2012015834A (ja) * 2010-07-01 2012-01-19 Konica Minolta Opto Inc 撮像装置
JP2012239103A (ja) * 2011-05-13 2012-12-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2016063595A1 (ja) * 2014-10-24 2016-04-28 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP2020198506A (ja) * 2019-05-31 2020-12-10 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261789A (ja) * 1999-03-09 2000-09-22 Minolta Co Ltd 画像処理システムおよび画像処理プログラムを記録した記録媒体
JP2012015834A (ja) * 2010-07-01 2012-01-19 Konica Minolta Opto Inc 撮像装置
JP2012239103A (ja) * 2011-05-13 2012-12-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2016063595A1 (ja) * 2014-10-24 2016-04-28 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP2020198506A (ja) * 2019-05-31 2020-12-10 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Similar Documents

Publication Publication Date Title
JP7663839B2 (ja) 信号処理装置、信号処理方法、プログラム、及び、移動装置
JP7786398B2 (ja) 情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システム
JP7626632B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN113841100A (zh) 自主行驶控制设备、自主行驶控制系统和自主行驶控制方法
JP2025061744A (ja) 情報処理装置、および情報処理システム、並びにプログラム
JP7824380B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20260100128A1 (en) Information processing device, information processing method, and program
WO2023145460A1 (ja) 振動検出システムおよび振動検出方法
WO2023166982A1 (ja) 情報処理装置、情報処理方法、及び、移動体
WO2023162497A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2023062484A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2022004423A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US12633133B2 (en) Recognition processing device, recognition processing method, and recognition processing system
US20260051180A1 (en) Information processing device and information processing method
US20240386724A1 (en) Recognition processing device, recognition processing method, and recognition processing system
US12437639B2 (en) Information processing device, information processing method, and information processing program
US20260004594A1 (en) Information processing device, information processing method, and information processing system
WO2024157658A1 (ja) 車載カメラ
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
JP2024178673A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2024038759A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2024232244A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2024043053A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2022024569A1 (ja) 情報処理装置と情報処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24779391

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 24779391

Country of ref document: EP

Kind code of ref document: A1