WO2024232156A1 - 画像処理装置、エッジデバイス、画像生成方法、および画像生成プログラム - Google Patents

画像処理装置、エッジデバイス、画像生成方法、および画像生成プログラム Download PDF

Info

Publication number
WO2024232156A1
WO2024232156A1 PCT/JP2024/009263 JP2024009263W WO2024232156A1 WO 2024232156 A1 WO2024232156 A1 WO 2024232156A1 JP 2024009263 W JP2024009263 W JP 2024009263W WO 2024232156 A1 WO2024232156 A1 WO 2024232156A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
infrared
processing device
unit
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2024/009263
Other languages
English (en)
French (fr)
Inventor
望 仲尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2025519328A priority Critical patent/JPWO2024232156A1/ja
Priority to EP24803271.6A priority patent/EP4712019A1/en
Publication of WO2024232156A1 publication Critical patent/WO2024232156A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an image processing device, an edge device, an image generation method, and an image generation program.
  • thermal sensor camera a camera that uses a thermal sensor
  • the thermal sensor camera normalizes the detection signal from the minimum to maximum value, and assigns the normalized detection signal to a brightness signal ranging from 0 to 255, thereby generating an infrared image with a predetermined contrast.
  • the infrared light being detected is easily affected by moisture and prone to disturbances.
  • the infrared light is more susceptible to disturbances as the distance increases, making it more susceptible to noise.
  • the object to be detected is often a specific object, not the entire screen.
  • Patent Document 1 discloses an object detection device in which "an image pre-processing unit 22 generates inverted image data by performing gradation conversion on the captured image data acquired by the far-infrared camera 10.
  • An object identifier 24 performs object identification processing on each of the captured image data and the inverted image data based on the results of prior learning using learning data, thereby outputting an identification result including information on the identification of the type of object in each of the captured image data and the inverted image data, and accuracy information indicating the reliability of the identification in each of the captured image data and the inverted image data.
  • An image post-processing unit 26 then finally identifies the object in the captured image data based on the identification result by the object identifier 24" (see the abstract of Patent Document 1).
  • Patent Document 2 also discloses a far-infrared image processing device that includes "an image information input unit (22a) that takes in image data acquired by a far-infrared camera (10), a histogram generating unit (22b) that generates a histogram of pixel values contained in the image data, a histogram reconstruction unit (22c) that uses an upper threshold and a lower threshold to correct the frequency of the histogram generated by the histogram generating unit to a value between the upper threshold and the lower threshold, a flattening processing unit (22d) that performs a histogram flattening process based on the corrected histogram and generates image data with a flattened histogram, and a processed image output unit (14a) that outputs the image data processed by the flattening processing unit" (see the abstract of Patent Document 2).
  • infrared images When recognizing objects from infrared images, infrared images do not contain color information and contain less information than general visible light images. In addition, infrared images have poor contrast between the object and the background, making it difficult to recognize the object from the background. Furthermore, infrared images tend to have blurred edges and are prone to noise in rainy weather. For these reasons, infrared images are not suitable for detecting objects.
  • the present invention aims to provide an image processing device, an edge device, an image generation method, and an image generation program that improve the performance of detecting objects in infrared images.
  • an image extension unit that creates an extended image based on information of an object from an infrared detection signal obtained by capturing an image of the object, the extended image being used as learning data for creating a machine learning model or as an input image in a recognition process of the object by the machine learning model;
  • An image processing device comprising:
  • the object is a solid having a specific temperature.
  • the information on the object is a temperature range in which a specific object may exist.
  • the information on the object is an image area in which a specific object exists.
  • the image extension unit When creating the extended image, a predetermined contrast is given to a range of infrared information in which a specific object may exist.
  • An image processing device as described in (1).
  • the image extension unit Generate multiple augmented images, each with a different contrast, for a range of infrared information in which a particular object may exist; An image processing device as described in (1).
  • an image generating unit that generates an infrared image from a detection signal of infrared light obtained by capturing an image of the object; an identification unit that identifies an image area in which a specific object exists based on the infrared image; Further comprising:
  • the image extension unit includes: When creating the augmented image, a predetermined contrast is added to an image region in which a specific object is present; An image processing device as described in (1).
  • the image extension unit When creating the augmented image, a background image is used outside the image area, and different contrasts are given to the background image.
  • An image processing device An image processing device according to (7).
  • the image extension unit When generating an input image to be used in the process of recognizing the object, a predetermined contrast is added to a range of infrared information in which a specific object may exist.
  • An image processing device as described in (1).
  • the image extension unit When generating an input image to be used in the process of recognizing the object, a predetermined contrast is added to an image region in which a specific object exists.
  • An image processing device An image processing device according to (7).
  • an image extension unit that creates an extended image based on information of an object from an infrared detection signal obtained by capturing an image of the object, and uses the extended image as learning data for creating a machine learning model or as an input image in a recognition process of the object by the machine learning model; a learning process unit that performs machine learning using the learning data; and an inference model that is machine-learned by an image processing device including the image processing device; an inference process unit that applies the extended image created in the image extension unit to the inference model to infer the object;
  • An edge device comprising:
  • An image generating method comprising:
  • An image generation program for causing a computer to execute the above.
  • the present invention can improve the performance of detecting objects in infrared images.
  • FIG. 2 is a functional block diagram illustrating functions of the image forming apparatus according to the first embodiment.
  • FIG. 11 is a functional block diagram showing functions of an image forming apparatus according to a second embodiment.
  • FIG. 11 is a functional block diagram showing functions of an image forming apparatus according to a third embodiment.
  • FIG. 1 is a block diagram illustrating the concept of performing either a learning process or an inference process, or both. 1 is an explanatory diagram showing a schematic hardware configuration of an image forming apparatus according to an embodiment of the present invention;
  • FIG. 2 is an explanatory diagram showing a schematic hardware configuration of an edge device according to the present embodiment.
  • FIG. 13 is a diagram showing a concept when a temperature range is set as a parameter for humans.
  • An explanatory diagram (part 2) showing the concept of an image forming apparatus according to the second embodiment creating an augmented image to be used as an input image in object recognition processing using a machine learning model.
  • An explanatory diagram (part 3) showing the concept of an image forming apparatus according to the second embodiment creating an augmented image to be used as an input image in object recognition processing using a machine learning model.
  • An explanatory diagram (part 4) showing the concept of an image forming apparatus according to the second embodiment creating an augmented image to be used as an input image in object recognition processing using a machine learning model.
  • FIG. 13 is a diagram showing a concept when a temperature range is set as a parameter for a vehicle outdoors in summer.
  • An explanatory diagram (part 5) showing the concept of an image forming apparatus according to the second embodiment creating an augmented image to be used as an input image in object recognition processing using a machine learning model.
  • An explanatory diagram (part 6) showing the concept of an image forming apparatus according to the second embodiment creating an augmented image to be used as an input image in object recognition processing using a machine learning model.
  • An explanatory diagram (part 7) showing the concept of an image forming apparatus according to the second embodiment creating an augmented image to be used as an input image in object recognition processing using a machine learning model.
  • FIG. 8 is an explanatory diagram showing the concept of an image forming apparatus according to the second embodiment creating an augmented image to be used as an input image in object recognition processing using a machine learning model.
  • FIG. 13 is a diagram showing a concept when a temperature range is set as a parameter for a vehicle outdoors in winter.
  • 1 shows an infrared image of an indoor area showing hot equipment as a target.
  • 10B shows a histogram of the infrared image of FIG. 10A.
  • 10B shows an expanded image in which the target temperature range of the infrared image of FIG. 10A has been normalized to approximately 20° C. to approximately 50° C.
  • the histogram shows the target temperature range of FIG. 10B normalized to approximately 18° C. to approximately 55° C.
  • 1 shows an infrared image taken outdoors, with hot spots on a vehicle object displayed in the area.
  • 11B shows a histogram of the infrared image of FIG. 11A.
  • FIG. 11B shows an expanded image in which the target temperature range of the infrared image of FIG. 11A has been normalized to approximately 30° C. to approximately 42° C.
  • the histogram shows the target temperature range of FIG. 11B normalized to approximately 30° C. to approximately 44° C. 1 shows an infrared image of a cold outdoor environment with hot spots on a vehicle object visible in the area.
  • 12B shows a histogram of the infrared image of FIG. 12A.
  • 12B shows an expanded image in which the target temperature range of the infrared image of FIG. 12A has been normalized to approximately 10° C. to approximately 31° C.
  • the histogram shows the target range of temperatures in FIG. 12B normalized to approximately 9° C. to approximately 33° C.
  • FIG. 12B shows an expanded image in which the target temperature range of the infrared image of FIG. 11A has been normalized to approximately 30° C. to approximately 42° C.
  • the histogram shows the target temperature range of FIG. 11
  • FIG. 11 is an explanatory diagram (part 1) showing an example in which the image expansion unit of the image forming apparatus according to the third embodiment generates an infrared image within a rectangle with contrast added in an image area in which a specific object is present.
  • FIG. 13 is an explanatory diagram (part 2) showing an example in which the image expansion unit of the image forming apparatus according to the third embodiment generates an infrared image within a rectangle with contrast in an image area in which a specific object is present.
  • FIG. 11 is an explanatory diagram (part 3) showing an example in which the image expansion unit of the image forming apparatus according to the third embodiment generates an infrared image within a rectangle with contrast in an image area in which a specific object is present.
  • First Embodiment is a functional block diagram showing functions of an image processing device 100 according to the first embodiment.
  • the image processing device 100 is a device that generates and processes infrared images, and is connected to an infrared camera 300. Note that the image processing device 100 of the first embodiment processes infrared images by targeting an object to be learned, and generates a combination of an augmented image and ground truth data to be used for machine learning.
  • the infrared camera 300 is a camera for visualizing infrared rays emitted from an object.
  • the infrared camera 300 detects the temperature of the object as an infrared detection signal and sends it to the image processing device 100.
  • the image processing device 100 is configured with an image generation unit 10, a standard table 20, an image expansion unit 40, a correct answer data generation processing unit 31 (identification unit), an object-specific table 50, and a learning data database 60.
  • the image generating unit 10 generates an infrared image (hereinafter also referred to as a standard image) based on the infrared detection signal acquired from the infrared camera 300 while referring to the standard table 20.
  • the image generating unit 10 can generate an infrared image from the infrared detection signal obtained by capturing an image of an object with the infrared camera 300.
  • the standard table 20 stores parameters that the image generating unit 10 references when generating a standard image.
  • the correct data generation processing unit 31 performs object recognition processing on the generated infrared image to detect objects.
  • the correct data generation processing unit 31 sets a label of the detected object in the generated infrared image. In this case, the correct data generation processing unit 31 sets a label as correct data to the object in the infrared image.
  • the correct data generation processing unit 31 can also set a rectangle indicating the area of the detected object.
  • the rectangle indicating the area of the object is set in the image area where the specific object exists.
  • the correct data generation processing unit 31 may set the label settings and rectangle manually or automatically. This allows the correct data generation processing unit 31 to identify the image area where the specific object exists based on the infrared image generated by the image generation unit 10.
  • the image expansion unit 40 When used during machine learning, the image expansion unit 40 according to the first embodiment creates an expanded image to be used as learning data for creating a machine learning model based on information about the object in the object-specific table 50 from an infrared detection signal obtained by capturing an image of the object.
  • the image expansion unit 40 When creating an expanded image, the image expansion unit 40 imparts a predetermined contrast to the range of infrared information in which a specific object may exist.
  • the image expansion unit 40 imparts a predetermined contrast by allocating the range of infrared information in which a specific object may exist to a predetermined brightness range (e.g., from 32 to 233).
  • a predetermined brightness range e.g., from 32 to 233.
  • the range of infrared information in which a person may exist refers to infrared information corresponding to a range of 10°C to 40°C, for example.
  • the range of infrared information in which a vehicle may exist refers to infrared information corresponding to a range of 10°C to 70°C, for example. This allows for emphasis processing of the appearance level of the object, thereby improving the object detection performance by the machine learning model.
  • the image extension unit 40 may generate a plurality of extended images, each of which is given a different contrast to the range of infrared information in which a specific object may exist.
  • the image extension unit 40 assigns the range of infrared information in which a specific object may exist to a plurality of brightness ranges (e.g., from 32 to 223 and from 64 to 191), thereby giving each of the ranges a different contrast.
  • the image extension unit 40 allows the image extension unit 40 to generate multiple extended images that gradually enhance the object. For example, if the object is a vehicle, it is possible to extend the image variations to correspond to daytime and nighttime, and sunny and stormy weather. By applying machine learning to these multiple extended images, it is possible to improve the object detection performance.
  • the image expansion unit 40 may add a predetermined contrast to an image area in which a specific object is present. That is, the image expansion unit 40 obtains the minimum and maximum detection signal values of the image area in which a specific object is present, and assigns the minimum detection signal value to a luminance signal of 0 and the maximum detection signal value to a luminance signal of 255. This enables data expansion targeted at the object.
  • the image extension unit 40 may set the outside of the image area where a specific object exists as a background image and impart a different contrast to the background image. That is, the image extension unit 40 acquires the maximum and minimum values of the detection signal of this background image, and assigns the minimum value of the detection signal to the luminance signal of 64, and the maximum value of the detection signal to the luminance signal of 191. Furthermore, the image extension unit 40 may add a predetermined noise when creating the extended image. This can improve the robustness of the machine learning model that has learned the extended image.
  • the object-specific table 50 stores parameters that the image extension unit 40 references when generating an extended image. These parameters include, for example, information about the temperature of the object when generating the extended image, and temperature information related to the climate and season. Specifically, the object-specific table 50 corresponds to a temperature range for processing to highlight the object and processing to enhance variation.
  • the object can be a living thing such as a person or an animal, or it can be an object (solid) that has a specific temperature, such as a vehicle.
  • multiple augmented images are generated for the range of infrared information where a specific object may exist. This is to reduce the cost of data collection and to increase the variation of situations that cannot actually be photographed through image processing. This increases the robustness of the machine learning model so that it can make inferences with better performance.
  • the input image is processed by adding a predetermined contrast to a predetermined temperature range of the infrared image to make it easier for the machine learning model to detect the target.
  • Second Embodiment 2 is a functional block diagram showing functions of an image processing device 100 according to the second embodiment.
  • the image processing device 100 according to the second embodiment differs from the image processing device 100 according to the first embodiment in that the image extension unit 40 has a different function, that an inference unit 70 is provided instead of the learning data database 60, and that a supervised data generation processing unit 31 outputs a rectangle indicating an image area of an object and label data indicating information about the object.
  • the rest of the configuration is the same as in the first embodiment, so a detailed explanation will be omitted.
  • the second embodiment is designed to create more optimal images and improve inference capabilities, even in scenes where infrared characteristics make it difficult to see.
  • the image extension unit 40 outputs the generated extended image to the inference unit 70.
  • the inference unit 70 uses this extended image as an input image and executes object recognition processing using a machine learning model.
  • the image expansion unit 40 When generating an input image used by the inference unit 70 in the process of recognizing an object, the image expansion unit 40 imparts a predetermined contrast to the range of infrared information in which a specific object may exist. In addition, when generating an input image used by the inference unit 70 in the process of recognizing an object, the image expansion unit 40 may impart a predetermined contrast to an image region in which a specific object exists.
  • the correct answer data generation processing unit 31 outputs label data as correct answer data indicating the target object.
  • the correct answer data generation processing unit 31 also outputs a rectangle indicating the image area of the target object.
  • the image expansion unit 40 may perform processing to refine the image within a specific rectangle.
  • the rectangle may be generated using the results of object recognition processing that uses as input a visible light image captured simultaneously with a visible light camera (not shown).
  • the image extension unit 40 references the object-specific table 50 based on the detection signal from the infrared camera 300 and the rectangle information from the ground-truth data generation processing unit 31, and generates an input image with contrast. This allows the image extension unit 40 to refine the input image.
  • the image expansion unit 40 can impart a predetermined contrast to the range of infrared information in which a specific object may exist. Also, when generating an input image to be used in the process of recognizing an object, the image expansion unit 40 may impart a predetermined contrast to an image region in which a specific object exists. Furthermore, the image expansion unit 40 may thin out information in a range of infrared information in which a specific object may not exist. Specifically, the image expansion unit 40 may thin out information in a temperature range in which a specific object may not exist.
  • the inference unit 70 performs inference using the input image generated by the image extension unit 40. This allows the image extension unit 40 to create a more optimal image even in scenes where infrared characteristics are difficult to achieve, improving the inference capabilities of the inference unit 70.
  • Third Embodiment 3 is a functional block diagram showing functions of an image processing device 100 according to the third embodiment.
  • the image processing device 100 according to the third embodiment is a device equipped with the machine learning functions according to the first embodiment and the inference functions according to the second embodiment, and is configured to include a supervised data generation processing unit 31, an image extension unit 40, a learning data database 60, and an inference unit 70.
  • Figure 4 is a block diagram showing the concept of performing either the learning process or the inference process, or both.
  • the image processing device 150 is configured to include a learning data database 60, a learning process unit 110, and an inference model 120.
  • the learning process unit 110 includes a data extension unit 111.
  • the learning process unit 110 performs machine learning using the learning data (e.g., standard images and augmented images) stored in the learning data database 60.
  • learning data e.g., standard images and augmented images
  • the data expansion unit 111 expands the variation of the learning data to improve the robustness of the inference model. That is, the data expansion unit 111 generates an expanded image (variation image) from a standard image using the function shown in the image expansion unit 40 in FIG. 1. This allows the learning process unit 110 to perform machine learning by artificially increasing the variation of infrared images.
  • the inference model 120 is the result of machine learning of the augmented image and the variation image in the learning process unit 110. By applying this inference model 120 to the inference process unit 210 of the edge device 200, it is possible to detect objects with improved performance of the machine learning model.
  • the edge device 200 is configured with an inference process unit 210 and an inference model 120.
  • the inference process unit 210 has a data processing unit 211.
  • the inference process unit 210 performs inference on the input data 280 using the inference model 120.
  • the data processing unit 211 processes the input image to detect the object with better performance. That is, the data processing unit 211 generates an input image with contrast for the input data 280 using the function shown in the image expansion unit 40 in FIG. 2. This allows the inference process unit 210 to lower the difficulty of recognizing the object and improve the recognition performance. Therefore, the inference process unit 210 can improve the recognition result 290.
  • the inference process unit 210 may detect the movement of an object based on the position of a label or a rectangle in the input data 280. For example, the inference process unit 210 can output the movement direction when an object moves from right to left in the input data 280 as the authentication result 290.
  • FIG. 5 is an explanatory diagram showing a schematic hardware configuration of the image processing device 100 according to this embodiment.
  • the image processing device 100 is configured with a CPU (Central Processing Unit) 101, a memory unit 102, a ROM (Read Only Memory) 103, a RAM (Random Access Memory) 104, an operation unit 105, a display unit 106, a communication unit 107, a learning data database 60, a learning process unit 110, and an inference model 120.
  • a CPU Central Processing Unit
  • a memory unit 102 a memory unit 102
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 101 reads out and executes a program from the memory unit 102 or the ROM 103, thereby realizing the learning process unit 110 and the inference model 120, and controlling the overall operation of the image processing device 100. At this time, various data stored in the memory unit 102 is referenced.
  • the memory unit 102 is composed of a large-capacity storage medium such as a semiconductor memory or a hard disk drive, and constitutes the standard table 20 and the object-specific table 50.
  • the CPU 101 transmits and receives various data to and from external devices connected to a communication network such as a LAN (Local Area Network) or a WAN (Wide Area Network) via the communication unit 107.
  • the CPU 101 receives, for example, a detection signal transmitted from an infrared camera 300, and generates an infrared image based on this detection signal using the image generation unit 10 (see Figure 1).
  • the communication unit 107 is composed of a communication control card such as a NIC (Network Interface Card).
  • a communication control card such as a NIC (Network Interface Card).
  • the operation unit 105 includes various operation keys such as a numeric keypad and a start key.
  • the operation unit 105 accepts various input operations by the user and outputs operation signals to the CPU 101.
  • the display unit 106 is, for example, a liquid crystal display, and displays characters, figures, images, etc.
  • FIG. 6 is an explanatory diagram showing a schematic hardware configuration of the edge device 200 according to this embodiment.
  • the edge device 200 is configured with a CPU 201, a memory unit 202, a ROM 203, a RAM 204, an inference process unit 210, and an inference model 120.
  • the CPU 201 implements the inference process unit 210 and the inference model 120 by reading and executing a program from the memory unit 202 or the ROM 203, and controls the overall operation of the edge device 200.
  • the inference model 120 of the edge device 200 is the inference model 120 of the image processing device 100 shown in Figures 4 and 5, and references various data stored in the memory unit 202.
  • the memory unit 202 is composed of a large-capacity storage medium such as a semiconductor memory or a hard disk drive, and constitutes an object-specific table 50.
  • FIGS 7A to 7H are explanatory diagrams showing the concept of the image processing device 100 according to the first embodiment creating an augmented image to be used as learning data for creating a machine learning model based on information about an object from an infrared image captured by an infrared camera 300.
  • the image expansion unit 40 of the image processing device 100 refers to the object-specific table 50, changes the target range including the focus range, and generates eight expanded images from a predetermined infrared detection signal. In other words, the image expansion unit 40 changes the dynamic range to generate expanded images in which the range in which the target can be expressed in black and white has been changed.
  • the image extension unit 40 sets the temperature range of 31°C to 41°C, which corresponds to body temperature, as the priority range 79 from the object-specific table 50, for example, for humans, who are warm-blooded animals.
  • the image extension unit 40 then generates eight extended images 71-78 that include the temperature range of 31°C to 41°C as the priority range.
  • FIG. 7A shows an expanded image 71 generated with the temperature parameter set in the range from 5° C. to 40° C.
  • the image extension unit 40 assigns a brightness value of 0 to pixels whose infrared detection signal is 5° C. or less, and assigns a brightness value of 255 to pixels whose infrared detection signal is 40° C. or more.
  • the image extension unit 40 also assigns proportional brightness values to pixels whose infrared detection signal is between 5° C. and 40° C.
  • FIG. 7B shows an expanded image 72 generated with the temperature parameter set in the range from 15° C. to 40° C.
  • the image extension unit 40 assigns a brightness value of 0 to pixels whose infrared detection signal is 15° C. or less, and assigns a brightness value of 255 to pixels whose infrared detection signal is 40° C. or more.
  • the image extension unit 40 also assigns proportional brightness values to pixels whose infrared detection signal is between 15° C. and 40° C.
  • FIG. 7C shows an expanded image 73 generated with the temperature parameter set in the range from 20° C. to 40° C.
  • the image extension unit 40 assigns a brightness value of 0 to pixels whose infrared detection signal is 20° C. or less, and assigns a brightness value of 255 to pixels whose infrared detection signal is 40° C. or more.
  • the image extension unit 40 also assigns proportional brightness values to pixels whose infrared detection signal is between 20° C. and 40° C.
  • FIG. 7D shows an expanded image 74 generated with the temperature parameter set in the range from 28° C. to 40° C.
  • the image extension unit 40 assigns a brightness value of 0 to pixels whose infrared detection signal is 28° C. or less, and assigns a brightness value of 255 to pixels whose infrared detection signal is 40° C. or more.
  • the image extension unit 40 also assigns proportional brightness values to pixels whose infrared detection signal is between 28° C. and 40° C.
  • FIG. 7E shows an expanded image 75 generated with the temperature parameter set in the range from 15° C. to 50° C.
  • the image extension unit 40 assigns a brightness value of 0 to pixels whose infrared detection signal is 15° C. or less, and assigns a brightness value of 255 to pixels whose infrared detection signal is 50° C. or more.
  • the image extension unit 40 also assigns proportional brightness values to pixels whose infrared detection signal is between 15° C. and 50° C.
  • FIG. 7F shows an expanded image 76 generated with the temperature parameter set in the range of 20° C. to 50° C.
  • the image extension unit 40 assigns a brightness value of 0 to pixels whose infrared detection signal is 20° C. or less, and assigns a brightness value of 255 to pixels whose infrared detection signal is 50° C. or more.
  • the image extension unit 40 also assigns proportional brightness values to pixels whose infrared detection signal is between 20° C. and 50° C.
  • FIG. 7G shows an expanded image 77 generated with the temperature parameter set in the range from 25° C. to 50° C.
  • the image extension unit 40 assigns a brightness value of 0 to pixels whose infrared detection signal is 25° C. or less, and assigns a brightness value of 255 to pixels whose infrared detection signal is 50° C. or more.
  • the image extension unit 40 also assigns proportional brightness values to pixels whose infrared detection signal is between 25° C. and 50° C.
  • FIG. 7H shows an expanded image 78 generated with the temperature parameter set to a range of 25° C. to 40° C.
  • the image extension unit 40 assigns a brightness value of 0 to pixels whose infrared detection signal is 25° C. or less, and assigns a brightness value of 255 to pixels whose infrared detection signal is 40° C. or more.
  • the image extension unit 40 also assigns proportional brightness values to pixels whose infrared detection signal is between 25° C. and 40° C.
  • Figure 7I shows the concept of the temperature parameters in Figures 7A through 7H when displayed over a temperature range.
  • Figures 7A to 7H include the focus range 79, and augmented images (variation images) with diverse appearances are generated within the visible dynamic range without compromising the temperature range in which the object appears. Also, in Figures 7A to 7H, the entire range of the image is processed, so augmented images 71 to 78 are generated that have been processed for both the foreground and background.
  • Figures 8A to 8E and Figures 9A to 9E are explanatory diagrams showing the concept of the image processing device 100 according to the second embodiment creating an augmented image to be used as an input image in object recognition processing using a machine learning model.
  • the image extension unit 40 of the image processing device 100 refers to the object-specific table 50, changes the target range including the priority range 89, and generates an input image with improved visibility of the target. In other words, the image extension unit 40 changes the dynamic range to generate an input image (extended images 81-84, 91-94) that corresponds to the situation of the operating environment.
  • the image extension unit 40 adjusts the dynamic range by setting the temperature range of about 35°C to about 53°C, which corresponds to the temperature of a vehicle, as the priority range 89 from the object-specific table 50, for example, targeting a high-temperature vehicle.
  • the image extension unit 40 adjusts the dynamic range as the target range depending on whether the vehicle is installed outdoors or indoors, or on the seasonal environment.
  • FIG. 8A shows an augmented image 81 generated outdoors in summer with the temperature parameter set to a range from 0° C. to 60° C.
  • FIG. 8B shows an augmented image 82 generated outdoors in summer with the temperature parameter set to a range from 10° C. to 60° C.
  • FIG. 8C shows an augmented image 83 generated outdoors in summer with the temperature parameter set to a range from 15° C. to 60° C.
  • FIG. 8D shows an augmented image 84 generated outdoors in summer with the temperature parameter set to a range from 20° C. to 60° C.
  • FIG. 8E shows a concept when the temperature parameters of FIG. 8A to FIG. 8D are set within a temperature range for a vehicle outdoors in summer.
  • the extended images 81 to 84 include a priority range 89, and the visible dynamic range is adjusted.
  • the low temperatures are raised to cover the high temperature range, with the upper limit being 60°C.
  • the priority range 89 is also adjusted to be from approximately 35°C to approximately 52°C.
  • extended image 81 is not suitable as an input image because it has low contrast.
  • extended image 84 is suitable as an input image because it has high contrast and emphasized edges.
  • FIG. 9A shows an augmented image 91 generated outdoors in winter with the temperature parameter set to a range from 0° C. to 50° C.
  • FIG. 9B shows an augmented image 92 generated outdoors in winter with the temperature parameter set to a range of 10° C. to 50° C.
  • FIG. 9C shows an augmented image 93 generated outdoors in winter with the temperature parameter set to a range of 15° C. to 50° C.
  • FIG. 9D shows an augmented image 94 generated outdoors in winter with the temperature parameter set to a range of 20° C. to 50° C.
  • FIG. 9E shows a concept when the temperature parameters of FIG. 9A to FIG. 9D are set within a temperature range for a vehicle outdoors in winter.
  • extended images 91 to 94 include a priority range 89, and the visible dynamic range is adjusted.
  • the high temperature side is lowered and the upper limit is set to 50°C to cover the low temperature range.
  • the priority range 89 is also adjusted to be between approximately 30°C and approximately 43°C.
  • the extended image 94 is not suitable as an input image because it has low contrast.
  • the extended image 92 is suitable as an input image because it has high contrast and emphasized edges.
  • FIGS. 10A to 10D are explanatory diagrams showing an example in which the image processing device 100 according to the third embodiment adjusts the target range using percentiles and detects an object when generating an extended image indoors.
  • percentiles are a method of normalizing the distribution of measured values by sorting them from smallest to largest numbers and displaying them as a percentage, thereby determining where the measured values fall when sorted from smallest to largest numbers.
  • the image expansion unit 40 of the third embodiment rearranges the infrared detection signals for each pixel, and sets the target range between percentiles X and Y.
  • percentile 10% to 90% means that the target range is from the smallest number in the distribution of measurement values, 10% to 90%.
  • the image expansion unit 40 of the image processing device 100 uses a histogram of the infrared detection signal to normalize the target range to percentiles X to Y. This removes outliers below X% and above Y%, improving visibility.
  • FIG. 10A shows an infrared image 450 in which a high-temperature device is displayed as an object in area 400 indoors.
  • the infrared image 450 in FIG. 10A shows a temperature range from approximately 20°C to approximately 140°C.
  • FIG. 10B shows a histogram 453 of the infrared image 450 of FIG. 10A.
  • the horizontal axis shows temperature [°C]
  • the vertical axis shows frequency [freq].
  • the frequency of the detection signal is high in the range of about 18 [°C] to about 30 [°C]. Therefore, the image extension unit 40 can improve the visibility of the infrared image by adjusting the infrared image 450 to the target range of percentiles X to Y.
  • FIG. 10C shows an expanded image 451 in which the target temperature range of the infrared image 450 in FIG. 10A has been normalized to approximately 20°C to approximately 55°C.
  • specific objects are displayed in areas 400, 401, and 402.
  • Area 400 displays a person carrying high-temperature equipment
  • area 401 displays a person carrying luggage
  • area 402 displays a person standing in front of a shower room.
  • FIG. 10D shows a histogram 454 in which the target temperature range of FIG. 10B has been normalized to approximately 18°C to approximately 55°C.
  • the image extension unit 40 creates a histogram of the detection signal and adjusts the target temperature range with percentiles X to Y. This makes it possible to remove outliers below X% and above Y%, so that information about the object that would be buried with simple normalization can be easily viewed.
  • the percentile values X to Y are the parameter width.
  • the image extension unit 40 can increase the variety of extended images used in machine learning by setting the parameter width randomly or in a brute force manner. Furthermore, during inference, the image extension unit 40 can set Y, which is the upper limit value of the parameter width, low, making it easier to detect objects with relatively low temperatures, for example, in an environment where high-temperature equipment is installed. In this way, the image extension unit 40 can adjust the temperature range of the target range according to the parameter width.
  • FIGS. 11A to 11D are explanatory diagrams showing an example in which the image processing device 100 according to the third embodiment uses percentiles to adjust the target range and detect the target when generating an extended image outdoors.
  • the image expansion unit 40 of the image processing device 100 also uses a histogram of the infrared detection signal outdoors to normalize the target range to percentiles X to Y. This removes outliers below X% and above Y%, improving visibility.
  • FIG. 11A shows an infrared image 460 taken outdoors, in which a high-temperature part of a vehicle, which is an object, is displayed in area 410.
  • the infrared image 460 in FIG. 11A shows a temperature range of approximately 30°C to approximately 100°C.
  • FIG. 11B shows a histogram 463 of the infrared image of FIG. 11A.
  • the horizontal axis shows temperature [°C]
  • the vertical axis shows frequency [freq].
  • the frequency of the detection signal is high in the range of about 30 [°C] to about 40 [°C]. Therefore, the image extension unit 40 can improve the visibility of the infrared image by adjusting the infrared image 460 to the target range of percentiles X to Y.
  • FIG. 11C shows an augmented image 461 in which the target temperature range of the infrared image 460 in FIG. 11A has been normalized to approximately 30° C. to approximately 44° C.
  • a specific target is displayed in an area 410.
  • the engine part of a garbage truck is displayed in the area 410.
  • FIG. 11D shows a histogram 464 in which the target temperature range of FIG. 11B has been normalized to approximately 30° C. to approximately 44° C.
  • the image expansion unit 40 creates a histogram of the detection signal, even when it is outdoors, and adjusts the target temperature range with percentiles X to Y. This makes it possible to remove outliers below X% and above Y%, so that information about the object that would be buried with simple normalization can be easily viewed.
  • FIGS. 12A to 12D are explanatory diagrams showing an example in which the image processing device 100 according to the third embodiment uses percentiles to adjust the target range and detect objects when generating an extended image in cold outdoor conditions.
  • the image expansion unit 40 of the image processing device 100 uses a histogram of the infrared detection signal to normalize it in the range of percentiles X to Y, even in cold outdoor conditions. This makes it possible to remove outliers below X% and above Y%, improving visibility.
  • FIG. 12A shows an infrared image 470 in which the hot part of the target vehicle is displayed in area 420 in a cold outdoor environment.
  • the infrared image 470 in FIG. 12A shows a temperature range of approximately 10°C to approximately 90°C.
  • FIG. 12B shows a histogram 473 of the infrared image of FIG. 12A.
  • the horizontal axis shows temperature [°C]
  • the vertical axis shows frequency [freq].
  • the frequency of the detection signal increases in the range from approximately 10 [°C] to approximately 25 [°C].
  • FIG. 12C shows an expanded image 471 in which the temperature range of the infrared image 470 in FIG. 12A has been normalized to a target range of approximately 10°C to approximately 35°C.
  • specific objects are visible in areas 420, 421, and 422.
  • a traveling vehicle is visible in area 420
  • an oncoming vehicle is visible in area 421
  • a pedestrian is visible in area 422.
  • FIG. 12D shows a histogram 474 in which the target temperature range of FIG. 12B has been normalized to approximately 9°C to approximately 33°C.
  • the image extension unit 40 uses the histogram of the infrared detection signal to change and normalize the target range of the temperature of the infrared image 470 in FIG. 12A within the range of percentiles X to Y. Similarly, even in the case of cold outdoor conditions, the image extension unit 40 can remove outliers below X% and above Y% by adjusting the target range within the range of percentiles X to Y, making it easy to view information about the object that would be buried with simple normalization.
  • the image extension unit 40 of the image processing device 100 When creating an infrared image, the image extension unit 40 of the image processing device 100 according to the third embodiment imparts a predetermined contrast to an image region in which a specific object exists.
  • the image extension unit 40 may generate a plurality of infrared images by using the outside of the image region as a background image and imparting different contrasts to the background images.
  • FIGS. 13A to 13C are explanatory diagrams showing an example in which the image expansion unit 40 of the image processing device 100 according to the third embodiment generates an infrared image within a rectangle with a predetermined contrast added to an image area in which a specific object is present.
  • the image expansion unit 40 sets correct rectangles 430-433 of the object in the infrared image 480. Because the image processing device 100 includes a correct data generation processing unit 31, the image expansion unit 40 can set rectangles as correct data (referred to as correct rectangles) by the correct data generation processing unit 31. Note that the target temperature range of the infrared image 480 is set to approximately -10°C to approximately 100°C.
  • the image expansion unit 40 references the object-specific table 50 to generate an expanded image 481 (infrared image) within a rectangle that adds a predetermined contrast to the image area where a specific object is present.
  • the image extension unit 40 adjusts the target temperature range of the infrared image 480 from approximately -12.5°C to approximately 8°C so that the extended image 481 of the important range in the correct answer rectangles 430-433 is displayed appropriately.
  • the image extension unit 40 generates an extended image 481 with a predetermined contrast in the correct answer rectangles 430-433 by appropriately setting the target temperature range.
  • the image extension unit 40 sets a target temperature range, or sets a temperature range based on a specified percentile range, and generates an extended image 481 with contrast. This allows the image extension unit 40 to generate an extended image 481 in which a temperature range corresponding to the target object in the correct rectangles 430 to 433 is set by referencing the object-specific table 50.
  • the image extension unit 40 generates an extended image by combining extended image 481, in which contrast is added to answer rectangles 430-433, with extended image 482, in which various temperature ranges are set as the background image.
  • the image extension unit 40 can set the outside of the rectangle as the background image and generate extended image 482, in which multiple temperature ranges are set for the background image.
  • the image extension unit 40 can combine the extended image 481 in the contrasted answer rectangles 430-433 with the extended image 482 as a background image with various variations, thereby generating various extended images to be used in machine learning.
  • the image processing device 100 is configured to include the image extension unit 40.
  • the image extension unit 40 creates an extended image to be used as learning data for creating a machine learning model from an infrared image of an object based on information about the object in the standard table 20.
  • the image processing device 100 according to the first embodiment can use an infrared image of an object to create an augmented image to be used as learning data for creating a machine learning model, based on information about the object. Therefore, the image processing device 100 according to the first embodiment can increase the variety of learning data.
  • the image processing device 100 according to the first embodiment may impart a predetermined contrast to the range of infrared information in which a specific object may exist when creating an extended image using the image extension unit 40.
  • the image processing device 100 according to the first embodiment may generate a plurality of infrared images in which different contrasts are imparted to the range of infrared information in which a specific object may exist when creating an infrared image using the image extension unit 40.
  • the image processing device 100 is also configured to include an image extension unit 40.
  • the image extension unit 40 creates an extended image to be used as an input image in the object recognition process using a machine learning model.
  • the image processing device 100 according to the second embodiment can create an augmented image to be used as an input image in the object recognition process using a machine learning model by referring to the object-specific table 50. Therefore, the image processing device 100 according to the second embodiment can refine the input image used in inference, and can improve the object detection performance in infrared images.
  • the image processing device 100 according to the second embodiment may impart a predetermined contrast to a range of infrared information in which a specific object may exist when generating an input image to be used in the process of recognizing an object by the image expansion unit 40.
  • the image processing device 100 according to the second embodiment may impart contrast to an image region in which a specific object exists when generating an input image to be used in the process of recognizing an object by the image expansion unit 40.
  • the image processing device 100 is also configured with an image extension unit 40, a learning data database 60, and an inference unit 70.
  • the image processing device 100 according to the third embodiment is a device that combines the image processing device 100 according to the first embodiment and the image processing device 100 according to the second embodiment.
  • the image processing device 100 according to the third embodiment may impart a predetermined contrast to an image area in which a specific object is present when creating an infrared image using the image expansion unit 40.
  • the image processing device 100 according to the third embodiment may use the image area outside the image area as a background image when creating an infrared image using the image expansion unit 40, and may impart a different contrast to each of the background images.
  • the object in the first to third embodiments may be a solid having a specific temperature, such as a human being, a pet, a warm-blooded animal such as livestock, or a vehicle.
  • the information about the object in the first to third embodiments may be a temperature range in which a specific object may exist.
  • the object information in the first to third embodiments may be an image area in which a specific object is present.
  • the image processing device 100 may further include a learning process unit 110 that performs machine learning using learning data.
  • the edge device 200 may include an inference model 120 trained by machine learning using an image processing device 100 that includes an image expansion unit 40 that creates an expanded image based on information about an infrared image of an object, either to be used as learning data for creating a machine learning model or to be used as an input image in object recognition processing using a machine learning model, and a learning process unit 110 that performs machine learning using the learning data, and an inference process unit 210 that applies the expanded image created by the image expansion unit 40 to the inference model 120 to infer the object.
  • an image processing device 100 that includes an image expansion unit 40 that creates an expanded image based on information about an infrared image of an object, either to be used as learning data for creating a machine learning model or to be used as an input image in object recognition processing using a machine learning model, and a learning process unit 110 that performs machine learning using the learning data, and an inference process unit 210 that applies the expanded image created by the image expansion unit 40 to the inference model 120 to infer the object.
  • the edge device 200 includes an inference process unit 210 and an inference model 120.
  • the inference process unit 210 includes a data processing unit 211, and generates an input image with contrast from the input data 280 using the function shown in the image expansion unit 40 in FIG. 2. As a result, the inference process unit 210 performs inference on the input image with contrast using the inference model 120.
  • the inference model 120 is a model that has been machine-learned by an image processing device 100 that includes an image expansion unit 40 that creates an expanded image based on information about an object captured in an infrared image of the object, either to be used as learning data for creating a machine learning model or to be used as an input image in the object recognition process by the machine learning model, and a learning process unit 110 that performs machine learning using the learning data.
  • the edge device 200 is equipped with an inference process unit 210 and an inference model 120, thereby enabling the object detection performance in infrared images to be improved.
  • Image generation unit 20 Standard table 31 Correct data generation processing unit (identification unit) 40 Image expansion unit 50 Object specific table 60 Learning data database 70 Inference unit 100, 150 Image processing device 110 Learning process unit 111 Data expansion unit 120 Inference model 200 Edge device 210 Inference process unit 211 Data processing unit 280 Input data 290 Recognition result 300 Infrared camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

画像処理装置（１００）は、対象物を撮像した赤外線の検知信号から、対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用するか、または、機械学習モデルによる対象物の認識処理における入力画像として使用する拡張画像（７１～７８）を作成する画像拡張部（４０）、を備える。

Description

画像処理装置、エッジデバイス、画像生成方法、および画像生成プログラム
　本発明は、画像処理装置、エッジデバイス、画像生成方法、および画像生成プログラムに関する。
　従来から、熱を検知するサーマルセンサを用いて、画像を生成することが知られている。例えば、サーマルセンサを用いたカメラ（これを、サーマルセンサカメラと言う。）は、物体から放出される赤外線を電気信号に変換することで、赤外線画像を生成する。この場合、サーマルセンサカメラは、検知信号の最小値から最大値で正規化し、正規化した検知信号を輝度信号の０から２５５までに割り当てることで、所定のコントラストを付与した赤外線画像を生成する。
　しかしながら、検知される赤外線は、水分の影響を受けやすく外乱を招きやすい。また、赤外線は、距離が遠くなると外乱の影響が強くなり、ノイズが乗りやすくなる。さらに、検知したい対象は、画面全体ではなく、特定の対象物であることが多い。
　ここで、赤外線画像に関する発明として、特許文献１には、「画像前処理部２２は、遠赤外カメラ１０で取得した撮影画像データを階調変換した反転画像データを生成する。物体識別器２４は、撮影画像データ及び反転画像データの各々に対し、学習データを用いて予め学習された結果に基づく物体識別処理を行うことにより、撮影画像データ及び反転画像データの各々における物体の種類の識別の情報と、撮影画像データ及び反転画像データの各々における当該識別の信頼度を表す確度情報とを含む識別結果を出力する。そして、画像後処理部２６は、物体識別器２４による識別結果に基づいて撮影画像データ内の物体を最終的に識別する。」物体検出装置が開示されている（特許文献１の要約書参照）。
　また、特許文献２には、「遠赤外線カメラ（１０）によって取得された画像データを取り込む画像情報入力部（２２ａ）と、画像データに含まれる画素値のヒストグラムを生成するヒストグラム生成部（２２ｂ）と、上端閾値及び下端閾値を使用して、ヒストグラム生成部によって生成されたヒストグラムの度数が、上端閾値と下端閾値の間の値となるように修正するヒストグラム再構成部（２２ｃ）と、修正されたヒストグラムに基づいて、ヒストグラムの平坦化処理を実行し、ヒストグラムが平坦化された画像データを生成する平坦化処理部（２２ｄ）と、この平坦化処理部によって処理された画像データを出力する処理画像出力部（１４ａ）と、を有する」遠赤外線画像処理装置が開示されている（特許文献２の要約書参照）。
特開２０２１―１６３２２２号公報 特開２０２０―１０７０９７号公報
　ところで、赤外線画像から物体を認識する場合、赤外線画像は、一般的な可視光画像に比べて、色情報を有しておらず、情報が少ない。また、赤外線画像は、物体と背景とのコントラストも乏しいため、背景から物体を認識することが難しい。さらに、赤外線画像は、エッジがボケやすく、雨天時にはノイズがのりやすい。そのため、赤外線画像は、物体の検出には不向きである。
　このような課題に関し、本発明では、赤外線画像における物体の検出性能を向上させる、画像処理装置、エッジデバイス、画像生成方法および画像生成プログラムを提供することを課題とする。
　すなわち、本発明の上記課題は、下記の構成により解決される。
（１）　対象物を撮像した赤外線の検知信号から、前記対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用するか、または、前記機械学習モデルによる前記対象物の認識処理における入力画像として使用する拡張画像を作成する画像拡張部、
　を備える画像処理装置。
（２）　前記対象物は、特定の温度を有する固体である、
　（１）に記載の画像処理装置。
（３）　前記対象物の情報は、特定の対象物が存在し得る温度範囲である、
　（１）に記載の画像処理装置。
（４）　前記対象物の情報は、特定の対象物が存在する画像領域である、
　（１）に記載の画像処理装置。
（５）　前記画像拡張部は、
　前記拡張画像を作成する際、特定の対象物が存在し得る赤外線情報の範囲に、所定のコントラストを付与する、
　（１）に記載の画像処理装置。
（６）　前記画像拡張部は、
　特定の対象物が存在し得る赤外線情報の範囲に、それぞれ異なるコントラストが付与された複数の拡張画像を生成する、
　（１）に記載の画像処理装置。
（７）　前記対象物を撮像した赤外線の検知信号から赤外線画像を生成する画像生成部と、
　前記赤外線画像に基づいて特定の対象物が存在する画像領域を特定する特定部と、
　を更に備え、
　前記画像拡張部は、
　前記拡張画像を作成する際、特定の対象物が存在する画像領域に所定のコントラストを付与する、
　（１）に記載の画像処理装置。
（８）　前記画像拡張部は、
　前記拡張画像を作成する際、前記画像領域の外部を背景画像とし、当該背景画像にそれぞれ異なるコントラストを付与する、
　（７）に記載の画像処理装置。
（９）　前記学習データを用いて、機械学習する学習工程部を、さらに備える、
　（１）に記載の画像処理装置。
（１０）　前記画像拡張部は、
　前記対象物を認識する処理で使用する入力画像を生成する際、特定の対象物が存在し得る赤外線情報の範囲に、所定のコントラストを付与する、
　（１）に記載の画像処理装置。
（１１）　前記画像拡張部は、
　前記対象物を認識する処理で使用する入力画像を生成する際、特定の対象物が存在する画像領域に所定のコントラストを付与する、
　（７）に記載の画像処理装置。
（１２）　対象物を撮像した赤外線の検知信号から、前記対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用するか、または、前記機械学習モデルによる前記対象物の認識処理における入力画像として使用する拡張画像を作成する画像拡張部と、
　前記学習データを用いて、機械学習する学習工程部と、を備える画像処理装置で機械学習した推論モデルと、
　前記画像拡張部において作成された前記拡張画像を、前記推論モデルに適用して、前記対象物を推論する推論工程部と、
　を備えるエッジデバイス。
（１３）　対象物を撮像した赤外線の検知信号から、前記対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用するか、または、前記機械学習モデルによる前記対象物の認識処理における入力画像として使用する拡張画像を作成するステップ、
　を含む画像生成方法。
（１４）　対象物を撮像した赤外線の検知信号から、前記対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用するか、または、前記機械学習モデルによる前記対象物の認識処理における入力画像として使用する拡張画像を作成する手順、
　をコンピュータに実行させるための画像生成プログラム。
　本発明によれば、赤外線画像における物体の検出性能を向上させることができる。
第１実施形態に係る画像形成装置の機能を示した機能ブロック図である。 第２実施形態に係る画像形成装置の機能を示した機能ブロック図である。 第３実施形態に係る画像形成装置の機能を示した機能ブロック図である。 学習工程と推論工程のいずれか、またはその両方を行う概念を示したブロック図である。 本実施形態に係る画像形成装置の概略のハードウェア構成を示した説明図である。 本実施形態に係るエッジデバイスの概略のハードウェア構成を示した説明図である。 第１実施形態に係る画像形成装置が、対象物を撮像した赤外線画像から、対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用する拡張画像を作成する概念を示した説明図である（その１）。 第１実施形態に係る画像形成装置が、対象物を撮像した赤外線画像から、対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用する拡張画像を作成する概念を示した説明図である（その２）。 第１実施形態に係る画像形成装置が、対象物を撮像した赤外線画像から、対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用する拡張画像を作成する概念を示した説明図である（その３）。 第１実施形態に係る画像形成装置が、対象物を撮像した赤外線画像から、対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用する拡張画像を作成する概念を示した説明図である（その４）。 第１実施形態に係る画像形成装置が、対象物を撮像した赤外線画像から、対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用する拡張画像を作成する概念を示した説明図である（その５）。 第１実施形態に係る画像形成装置が、対象物を撮像した赤外線画像から、対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用する拡張画像を作成する概念を示した説明図である（その６）。 第１実施形態に係る画像形成装置が、対象物を撮像した赤外線画像から、対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用する拡張画像を作成する概念を示した説明図である（その７）。 第１実施形態に係る画像形成装置が、対象物を撮像した赤外線画像から、対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用する拡張画像を作成する概念を示した説明図である（その８）。 人間を対象として、温度範囲をパラメータとして設定したときの概念を示す図である。 第２実施形態に係る画像形成装置が、機械学習モデルによる対象物の認識処理における入力画像として使用する拡張画像を作成する概念を示した説明図である（その１）。 第２実施形態に係る画像形成装置が、機械学習モデルによる対象物の認識処理における入力画像として使用する拡張画像を作成する概念を示した説明図である（その２）。 第２実施形態に係る画像形成装置が、機械学習モデルによる対象物の認識処理における入力画像として使用する拡張画像を作成する概念を示した説明図である（その３）。 第２実施形態に係る画像形成装置が、機械学習モデルによる対象物の認識処理における入力画像として使用する拡張画像を作成する概念を示した説明図である（その４）。 車両を対象として、夏季の屋外において、温度範囲をパラメータとして設定したときの概念を示す図である。 第２実施形態に係る画像形成装置が、機械学習モデルによる対象物の認識処理における入力画像として使用する拡張画像を作成する概念を示した説明図である（その５）。 第２実施形態に係る画像形成装置が、機械学習モデルによる対象物の認識処理における入力画像として使用する拡張画像を作成する概念を示した説明図である（その６）。 第２実施形態に係る画像形成装置が、機械学習モデルによる対象物の認識処理における入力画像として使用する拡張画像を作成する概念を示した説明図である（その７）。 第２実施形態に係る画像形成装置が、機械学習モデルによる対象物の認識処理における入力画像として使用する拡張画像を作成する概念を示した説明図である（その８）。 車両を対象として、冬季の屋外において、温度範囲をパラメータとして設定したときの概念を示す図である。 屋内において、領域に対象物である高温機器が表示された赤外線画像を示している。 図１０Ａの赤外線画像のヒストグラムを示している。 図１０Ａの赤外線画像の温度の対象レンジを、約２０［℃］から約５０［℃］に正規化した拡張画像を示している。 図１０Ｂの温度の対象レンジを、約１８［℃］から約５５［℃］に正規化したヒストグラムを示している。 屋外において、領域に対象物である車両の高温部が表示された赤外線画像を示している。 図１１Ａの赤外線画像のヒストグラムを示している。 図１１Ａの赤外線画像の温度の対象レンジを、約３０［℃］から約４２［℃］に正規化した拡張画像を示している。 図１１Ｂの温度の対象レンジを、約３０［℃］から約４４［℃］に正規化したヒストグラムを示している。 寒い屋外において、領域に対象物である車両の高温部が表示された赤外線画像を示している。 図１２Ａの赤外線画像のヒストグラムを示している。 図１２Ａの赤外線画像の温度の対象レンジを、約１０［℃］から約３１［℃］に正規化した拡張画像を示している。 図１２Ｂの温度の対象レンジを、約９［℃］から約３３［℃］に正規化したヒストグラムを示している。 第３実施形態に係る画像形成装置の画像拡張部が、特定の対象物が存在する画像領域においてコントラストを付けた赤外線画像を矩形内に生成する例を示した説明図である（その１）。 第３実施形態に係る画像形成装置の画像拡張部が、特定の対象物が存在する画像領域においてコントラストを付けた赤外線画像を矩形内に生成する例を示した説明図である（その２）。 第３実施形態に係る画像形成装置の画像拡張部が、特定の対象物が存在する画像領域においてコントラストを付けた赤外線画像を矩形内に生成する例を示した説明図である（その３）。
　以下に、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は、以下の実施の形態に限定されるものではない。
　＜第１実施形態＞
［画像処理装置の全体構成］
　図１は、第１実施形態に係る画像処理装置１００の機能を示した機能ブロック図である。画像処理装置１００は、赤外線画像を生成し加工する装置であり、赤外線カメラ３００に接続されている。なお、第１実施形態の画像処理装置１００は、学習させたい対象物を狙って赤外線画像の加工を行い、機械学習に使用する拡張画像と正解データの組み合わせを生成する。
　赤外線カメラ３００は、物体から放出される赤外線を可視化するためのカメラである。赤外線カメラ３００は、対象物の温度を赤外線の検知信号として検知し、画像処理装置１００に送出する。
　画像処理装置１００は、画像生成部１０、標準テーブル２０、画像拡張部４０、正解データ生成処理部３１（特定部）、オブジェクト特有テーブル５０、および学習データデータベース６０を備えて構成されている。
　画像生成部１０は、標準テーブル２０を参照しつつ、赤外線カメラ３００から取得した赤外線の検知信号に基づいて、赤外線画像（以下、これを標準画像ともいう。）を生成する。すなわち、画像生成部１０は、赤外線カメラ３００で対象物を撮像した赤外線の検知信号から、赤外線画像を生成することができる。
　標準テーブル２０は、画像生成部１０が標準画像を生成する際、参照するパラメータを格納する。
　正解データ生成処理部３１は、生成された赤外線画像に対して、物体認識処理を行い、物体を検知する。正解データ生成処理部３１は、生成された赤外線画像に対して、検知した対象物のラベルを設定する。この場合、正解データ生成処理部３１は、正解データとしてのラベルを赤外線画像の対象物に設定する。
　また、正解データ生成処理部３１（特定部）は、検知した対象物の領域を示す矩形を設定することもできる。この場合、対象物の領域を示す矩形は、特定の対象物が存在する画像領域に設定する。正解データ生成処理部３１は、ラベルの設定や矩形を、手動で設定してもよく、また自動で設定してもよい。これにより、正解データ生成処理部３１は、画像生成部１０で生成された赤外線画像に基づいて、特定の対象物が存在する画像領域を特定することができる。
　第１実施形態に係る画像拡張部４０は、機械学習時に使用する場合、対象物を撮像した赤外線の検知信号から、オブジェクト特有テーブル５０の対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用する拡張画像を作成する。
　画像拡張部４０は、拡張画像を作成する際、特定の対象物が存在し得る赤外線情報の範囲に、所定のコントラストを付与する。ここで画像拡張部４０は、特定の対象物が存在し得る赤外線情報の範囲を、所定の輝度範囲（例えば、３２から２３３まで）に割り当てることで、所定のコントラストを付与する。特定の対象物が人であった場合、人が存在し得る赤外線情報の範囲とは、例えば１０℃から４０℃の範囲に対応する赤外線情報のことをいう。特定の対象物が車両であった場合、車両が存在し得る赤外線情報の範囲とは、例えば１０℃から７０℃の範囲に対応する赤外線情報のことをいう。これにより、対象物の出現レベルの強調処理が行えるので、機械学習モデルによる対象物の検出性能を向上させることができる。
　また、画像拡張部４０は、拡張画像を作成する際、特定の対象物が存在し得る赤外線情報の範囲に、それぞれ異なるコントラストが付与された複数の拡張画像を生成してもよい。ここで画像拡張部４０は、特定の対象物が存在し得る赤外線情報の範囲を、複数の輝度範囲（例えば、３２から２２３までと、６４から１９１まで）に割り当てることで、それぞれ異なるコントラストを付与する。
　これにより、画像拡張部４０は、対象物を段階的に強調した複数の拡張画像を生成することができる。例えば、対象物が車両であった場合、日中と夜間、晴天と荒天に対応する画像のバリエーションを拡張できる。これら複数の拡張画像を機械学習することで、対象物の検出性能を向上させることができる。
　また、画像拡張部４０は、拡張画像を作成する際、特定の対象物が存在する画像領域に所定のコントラストを付与してもよい。すなわち、画像拡張部４０は、特定の対象物が存在する画像領域の検知信号の最小値と最大値を取得し、検知信号の最小値を輝度信号の０に割り当て、検知信号の最大値を輝度信号の２５５に割り当てる。これにより、対象物を狙ったデータ拡張が可能となる。
　更に、画像拡張部４０は、特定の対象物が存在する画像領域の外部を背景画像に設定して、当該背景画像にそれぞれ異なるコントラストを付与してもよい。すなわち、画像拡張部４０は、この背景画像の検知信号の最大値と最小値を取得し、検知信号の最小値を輝度信号の６４に割り当て、検知信号の最大値を輝度信号の１９１に割り当てる。また、画像拡張部４０は、拡張画像を作成する際、所定のノイズを載せてもよい。これにより、拡張画像を学習した機械学習モデルのロバスト性を向上させることができる。
　オブジェクト特有テーブル５０は、画像拡張部４０が拡張画像を生成する際、参照するパラメータを格納する。このパラメータには、例えば、拡張画像を生成する際の、対象物の温度の情報や気候や季節に関する温度情報が含まれる。具体的には、オブジェクト特有テーブル５０は、対象物を強調する処理や、バリエーションを増強する処理としての温度範囲が該当する。対象物は、人や動物などの生き物を対象とすることができ、また、車両などの特定の温度を有する物体（固体）でもよい。
　本実施形態では、特定の対象物が存在し得る赤外線情報の範囲に、それぞれ異なるコントラストが付与された複数の拡張画像を生成する。データ収集のコストを下げて、実際には撮影できていないシチュエーションも，画像処理により疑似的にバリエーションを増やすためである。これにより、機械学習モデルが、より性能良く推論ができるようロバスト性を上げることができる。
　また、本実施形態では、赤外線画像の所定の温度範囲に所定のコントラストを付与することで、機械学習モデルが対象のターゲットを検知しやすいように、入力画像を処理している。
　＜第２実施形態＞
　図２は、第２実施形態に係る画像処理装置１００の機能を示した機能ブロック図である。第２実施形態の画像処理装置１００が第１実施形態の画像処理装置１００と異なる点は、画像拡張部４０の機能が異なる点と、学習データデータベース６０の代わりに、推論部７０を備えている点と、正解データ生成処理部３１が対象物の画像領域を示す矩形と、対象物の情報を示すラベルデータを出力することである。
　その他の構成は、第１実施形態と同一であるため、説明を省略する。なお、第２実施形態は、赤外線の特性上苦手なシーンにおいても、より最適な画作りを行い、推論能力を向上させるものである。
　第２実施形態に係る画像拡張部４０は、生成した拡張画像を推論部７０に出力する。推論部７０は、この拡張画像を入力画像として、機械学習モデルによる対象物の認識処理を実行する。
　画像拡張部４０は、推論部７０が対象物を認識する処理で使用する入力画像を生成する際、特定の対象物が存在し得る赤外線情報の範囲に、所定のコントラストを付与する。また、画像拡張部４０は、推論部７０が対象物を認識する処理で使用する入力画像を生成する際、特定の対象物が存在する画像領域に所定のコントラストを付与してもよい。
　第２実施形態に係る正解データ生成処理部３１は、対象物を示す正解データとしてのラベルデータを出力する。また、正解データ生成処理部３１は、対象物の画像領域を示す矩形を出力する。
　画像拡張部４０は、特定の矩形内について、画像を精鋭化する加工処理を施してもよい。また、赤外線カメラ３００で撮影する際に、不図示の可視光カメラで同時に撮影した可視光画像を入力とした物体認識処理の結果を用いて、矩形を生成してもよい。
　画像拡張部４０は、赤外線カメラ３００からの検知信号と、正解データ生成処理部３１からの矩形情報とに基づいて、オブジェクト特有テーブル５０を参照し、コントラストを付けた入力画像を生成する。これにより、画像拡張部４０は、入力画像の精鋭化を図ることができる。
　よって、画像拡張部４０は、対象物を認識する処理で使用する入力画像を生成する際、特定の対象物が存在し得る赤外線情報の範囲に、所定のコントラストを付与することができる。また、画像拡張部４０は、対象物を認識する処理で使用する入力画像を生成する際、特定の対象物が存在する画像領域に所定のコントラストを付与してもよい。さらに、画像拡張部４０は、特定の対象物が存在し得ない赤外線情報の範囲の情報を間引いてもよい。具体的には、画像拡張部４０は、特定の対象物が存在し得ない温度範囲の情報を間引いてもよい。
　推論部７０は、画像拡張部４０で生成された入力画像を用いて、推論を行う。これにより、赤外線の特性上苦手なシーンにおいても、画像拡張部４０が、より最適な画作りを行うので、推論部７０の推論能力を向上させることができる。
　＜第３実施形態＞
　図３は、第３実施形態に係る画像処理装置１００の機能を示した機能ブロック図である。第３実施形態の画像処理装置１００は、第１実施形態に係る機械学習時の機能と、第２実施形態に係る推論時の機能と、を備えた装置であり、正解データ生成処理部３１、画像拡張部４０、学習データデータベース６０、および推論部７０を備えて構成されている。
　図４は、学習工程と推論工程のいずれか、またはその両方を行う概念を示したブロック図である。
　図４に示すように、画像処理装置１５０と、エッジデバイス２００と、を備えることで、図３に示す画像処理装置１００と同等な機能を実現することができる。画像処理装置１５０は、学習データデータベース６０、学習工程部１１０、および推論モデル１２０を備えて構成されている。学習工程部１１０は、データ拡張部１１１を備えている。
　学習工程部１１０は、学習データデータベース６０に格納された学習データ（例えば、標準画像や拡張画像）を用いて、機械学習する。
　データ拡張部１１１は、推論モデルのロバスト性を向上させるため、学習データのバリエーションを拡張する。すなわち、データ拡張部１１１は、図１の画像拡張部４０に示す機能により、標準画像から拡張画像（バリエーション画像）を生成する。これにより、学習工程部１１０は、疑似的に赤外線画像のバリエーションを増やして機械学習を行うことができる。
　推論モデル１２０は、学習工程部１１０において、拡張画像と、バリエーション画像を機械学習した結果である。この推論モデル１２０を、エッジデバイス２００の推論工程部２１０に適用することで、機械学習モデルの性能を向上させた状態で、対象物を検知することができる。
　エッジデバイス２００は、推論工程部２１０および推論モデル１２０を備えて構成されている。推論工程部２１０は、データ加工部２１１を備えている。
　推論工程部２１０は、入力データ２８０に対し、推論モデル１２０を用いて推論を行う。
　データ加工部２１１は、データ加工部２１１において、より性能よく対象物を検知するため、入力画像に処理を施す。すなわち、データ加工部２１１は、図２の画像拡張部４０に示す機能により、入力データ２８０に対し、コントラストを付けた入力画像を生成する。これにより、推論工程部２１０は、対象物の認識の難易度を下げて、認識性能を上げることができる。よって、推論工程部２１０は、認識結果２９０を向上させることができる。
　なお、推論工程部２１０は、入力データ２８０において、ラベルや矩形の位置に基づいて、対象物の移動を検知してもよい。推論工程部２１０は、例えば、入力データ２８０において、対象物が右から左に移動した場合の移動方向を、認証結果２９０として出力することができる。
［画像形成装置のハードウェアの構成］
　図５は、本実施形態に係る画像処理装置１００の概略のハードウェア構成を示した説明図である。
　画像処理装置１００は、ＣＰＵ（Central Processing Unit）１０１、記憶部１０２、ＲＯＭ（Read Only Memory）１０３、ＲＡＭ（Random Access Memory）１０４、操作部１０５、表示部１０６、通信部１０７、学習データデータベース６０、学習工程部１１０、および推論モデル１２０を備えて構成されている。
　ＣＰＵ１０１は、記憶部１０２またはＲＯＭ１０３からプログラムを読み出して実行することで、学習工程部１１０、および推論モデル１２０を具現化するとともに、画像処理装置１００の全体動作を制御する。このとき、記憶部１０２に格納されている各種データが参照される。記憶部１０２は、例えば半導体メモリやハードディスクドライブなどの大容量記憶媒体で構成され、標準テーブル２０およびオブジェクト特有テーブル５０を構成する。
　ＣＰＵ１０１は、通信部１０７を介して、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続された外部の装置との間で、各種データの送受信を行う。ＣＰＵ１０１は、例えば、赤外線カメラ３００から送信された検知信号を受信し、この検知信号に基づいて、画像生成部１０により、赤外線画像を生成する（図１参照）。
　通信部１０７は、例えばＮＩＣ（Network Interface Card）等の通信制御カードで構成される。
　操作部１０５は、テンキー、スタートキー等の各種操作キーを備える。操作部１０５は、ユーザによる各種入力操作を受け付けて、操作信号をＣＰＵ１０１に出力する。
　表示部１０６は、例えば、液晶ディスプレイなどであり、文字、図形、画像などを表示する。
［エッジデバイスのハードウェアの構成］
　図６は、本実施形態に係るエッジデバイス２００の概略のハードウェア構成を示した説明図である。
　エッジデバイス２００は、ＣＰＵ２０１、記憶部２０２、ＲＯＭ２０３、ＲＡＭ２０４、推論工程部２１０、および推論モデル１２０を備えて構成されている。
　ＣＰＵ２０１は、記憶部２０２またはＲＯＭ２０３からプログラムを読み出して実行することで、推論工程部２１０および推論モデル１２０を具現化するとともに、エッジデバイス２００の全体動作を制御する。エッジデバイス２００の推論モデル１２０は、図４，図５で示した画像処理装置１００の推論モデル１２０が適用され、記憶部２０２に格納されている各種データが参照される。記憶部２０２は、例えば、半導体メモリやハードディスクドライブなどの大容量記憶媒体で構成され、オブジェクト特有テーブル５０を構成する。
＜各実施形態における動作＞
　［画像形成装置の機械学習時（第１実施形態）］
　次に、第１実施形態に係る画像処理装置１００の画像拡張部４０の処理を説明する。
　図７Ａから図７Ｈは、第１実施形態に係る画像処理装置１００が、赤外線カメラ３００で対象物を撮像した赤外線画像から、対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用する拡張画像を作成する概念を示した説明図である。
　画像処理装置１００の画像拡張部４０は、オブジェクト特有テーブル５０を参照して、重点レンジを含む対象レンジを変更し、所定の赤外線の検知信号から、８個の拡張画像を生成する。すなわち、画像拡張部４０は、ダイナミックレンジを変更することで、対象物を白黒で表現できる範囲を変更した拡張画像を生成する。
　画像拡張部４０は、オブジェクト特有テーブル５０から、例えば、恒温動物である人間を対象として、体温に相当する３１［℃］から４１［℃］の温度範囲を重点レンジ７９に設定する。そして、画像拡張部４０は、３１［℃］から４１［℃］の温度範囲を重点レンジとして含む８つの拡張画像７１～７８を生成する。
　図７Ａは、温度のパラメータを、５［℃］から４０［℃］の範囲に設定して生成した拡張画像７１を示したものである。
　画像拡張部４０は、赤外線の検知信号が５［℃］以下の画素に、輝度値０を割り当て、赤外線の検知信号が４０［℃］以上の画素に、輝度値２５５を割り当てている。そして画像拡張部４０は、赤外線の検知信号が５［℃］から４０［℃］の間の画素に、輝度値を按分して割り当てている。
　図７Ｂは、温度のパラメータを、１５［℃］から４０［℃］の範囲に設定して生成した拡張画像７２を示したものである。
　画像拡張部４０は、赤外線の検知信号が１５［℃］以下の画素に、輝度値０を割り当て、赤外線の検知信号が４０［℃］以上の画素に、輝度値２５５を割り当てている。そして画像拡張部４０は、赤外線の検知信号が１５［℃］から４０［℃］の間の画素に、輝度値を按分して割り当てている。
　図７Ｃは、温度のパラメータを、２０［℃］から４０［℃］の範囲に設定して生成した拡張画像７３を示したものである。
　画像拡張部４０は、赤外線の検知信号が２０［℃］以下の画素に、輝度値０を割り当て、赤外線の検知信号が４０［℃］以上の画素に、輝度値２５５を割り当てている。そして画像拡張部４０は、赤外線の検知信号が２０［℃］から４０［℃］の間の画素に、輝度値を按分して割り当てている。
　図７Ｄは、温度のパラメータを、２８［℃］から４０［℃］の範囲に設定して生成した拡張画像７４を示したものである。
　画像拡張部４０は、赤外線の検知信号が２８［℃］以下の画素に、輝度値０を割り当て、赤外線の検知信号が４０［℃］以上の画素に、輝度値２５５を割り当てている。そして画像拡張部４０は、赤外線の検知信号が２８［℃］から４０［℃］の間の画素に、輝度値を按分して割り当てている。
　図７Ｅは、温度のパラメータを、１５［℃］から５０［℃］の範囲に設定して生成した拡張画像７５を示したものである。
　画像拡張部４０は、赤外線の検知信号が１５［℃］以下の画素に、輝度値０を割り当て、赤外線の検知信号が５０［℃］以上の画素に、輝度値２５５を割り当てている。そして画像拡張部４０は、赤外線の検知信号が１５［℃］から５０［℃］の間の画素に、輝度値を按分して割り当てている。
　図７Ｆは、温度のパラメータを、２０［℃］から５０［℃］の範囲に設定して生成した拡張画像７６を示したものである。
　画像拡張部４０は、赤外線の検知信号が２０［℃］以下の画素に、輝度値０を割り当て、赤外線の検知信号が５０［℃］以上の画素に、輝度値２５５を割り当てている。そして画像拡張部４０は、赤外線の検知信号が２０［℃］から５０［℃］の間の画素に、輝度値を按分して割り当てている。
　図７Ｇは、温度のパラメータを、２５［℃］から５０［℃］の範囲に設定して生成した拡張画像７７を示したものである。
　画像拡張部４０は、赤外線の検知信号が２５［℃］以下の画素に、輝度値０を割り当て、赤外線の検知信号が５０［℃］以上の画素に、輝度値２５５を割り当てている。そして画像拡張部４０は、赤外線の検知信号が２５［℃］から５０［℃］の間の画素に、輝度値を按分して割り当てている。
　図７Ｈは、温度のパラメータを、２５［℃］から４０［℃］の範囲に設定して生成した拡張画像７８を示したものである。
　画像拡張部４０は、赤外線の検知信号が２５［℃］以下の画素に、輝度値０を割り当て、赤外線の検知信号が４０［℃］以上の画素に、輝度値２５５を割り当てている。そして画像拡張部４０は、赤外線の検知信号が２５［℃］から４０［℃］の間の画素に、輝度値を按分して割り当てている。
　図７Ｉは、図７Ａから図７Ｈまでの温度のパラメータを、温度の範囲で表示したときの概念を示している。
　図７Ａから図７Ｈは、いずれも重点レンジ７９を含んでおり、視認できるダイナミックレンジの範囲で、対象物が出現する温度帯を損なうことなく、多様な見え方の拡張画像（バリエーション画像）が生成されている。また、図７Ａから図７Ｈでは、画像の全範囲に処理を施しているため、前景も背景も、処理が施された拡張画像７１～７８が生成されている。
　［画像形成装置の推論時（第２実施形態）］
　次に、第２実施形態に係る画像処理装置１００の画像拡張部４０の処理を説明する。
　図８Ａから図８Ｅと、図９Ａから図９Ｅは、第２実施形態に係る画像処理装置１００が、機械学習モデルによる対象物の認識処理における入力画像として使用する拡張画像を作成する概念を示した説明図である。
　画像処理装置１００の画像拡張部４０は、オブジェクト特有テーブル５０を参照して、重点レンジ８９を含む対象レンジを変更し、対象物の視認性を向上させた入力画像を生成する。すなわち、画像拡張部４０は、ダイナミックレンジを変更することで、運用環境の状況に応じた入力画像（拡張画像８１～８４，９１～９４）を生成する。
　画像拡張部４０は、オブジェクト特有テーブル５０から、例えば、高温である車両を対象として、車両の温度に相当する３５［℃］程度から５３［℃］程度の温度範囲を、重点レンジ８９に設定して、ダイナミックレンジを調整する。画像拡張部４０は、屋外か屋内かの設置環境やまたは季節による環境に応じて、ダイナミックレンジを対象レンジとして調整する。
　図８Ａは、夏季の屋外において、温度のパラメータを、０［℃］から６０［℃］の範囲に設定して生成した拡張画像８１を示したものである。
　図８Ｂは、夏季の屋外において、温度のパラメータを、１０［℃］から６０［℃］の範囲に設定して生成した拡張画像８２を示したものである。
　図８Ｃは、夏季の屋外において、温度のパラメータを、１５［℃］から６０［℃］の範囲に設定して生成した拡張画像８３を示したものである。
　図８Ｄは、夏季の屋外において、温度のパラメータを、２０［℃］から６０［℃］の範囲に設定して生成した拡張画像８４を示したものである。
　図８Ｅは、車両を対象として、夏季の屋外において、図８Ａから図８Ｄまでの温度のパラメータを、温度の範囲で設定したときの概念を示している。
　図８Ｅに示すように、拡張画像８１から８４は、重点レンジ８９を含んでおり、視認できるダイナミックレンジを調整している。例えば、暑い季節の屋外の場合、高温域も網羅するように、低温を持ち上げ、上限値を６０［℃］まで網羅している。また、重点レンジ８９は、３５［℃］程度から５２［℃］程度に調整されている。
　この場合、拡張画像８１は、コントラストが弱いため、入力画像として適切でない。一方、拡張画像８４は、コントラストが強くエッジが強調されているので、入力画像として適切である。
　図９Ａは、冬季の屋外において、温度のパラメータを、０［℃］から５０［℃］の範囲に設定して生成した拡張画像９１を示したものである。
　図９Ｂは、冬季の屋外において、温度のパラメータを、１０［℃］から５０［℃］の範囲に設定して生成した拡張画像９２を示したものである。
　図９Ｃは、冬季の屋外において、温度のパラメータを、１５［℃］から５０［℃］の範囲に設定して生成した拡張画像９３を示したものである。
　図９Ｄは、冬季の屋外において、温度のパラメータを、２０［℃］から５０［℃］の範囲に設定して生成した拡張画像９４を示したものである。
　図９Ｅは、車両を対象として、冬季の屋外において、図９Ａから図９Ｄまでの温度のパラメータを、温度の範囲で設定したときの概念を示している。
　図９Ｅに示すように、拡張画像９１から９４は、重点レンジ８９を含んでおり、視認できるダイナミックレンジを調整している。例えば、寒い季節の屋外の場合、低温域も網羅するように、高温側を引き下げ、上限値を５０［℃］に設定している。また、重点レンジ８９は、３０［℃］程度から４３［℃］程度に調整されている。
　この場合、拡張画像９４は、コントラストが弱いため、入力画像として適切でない。一方、拡張画像９２は、コントラストが強くエッジが強調されているので、入力画像として適切である。
　［画像形成装置の機械学習／推論時（第３実施形態）］
　次に、第３実施形態に係る画像処理装置１００の画像拡張部４０の処理を説明する。
　図１０Ａから図１０Ｄは、屋内において、第３実施形態に係る画像処理装置１００が、拡張画像を生成する際、パーセンタイルを用いて対象レンジを調整し、対象物を検知する例を示した説明図である。
　なお、パーセンタイルとは、計測値の分布を小さい数字から大きい数字に並べ変え、パーセント表示することにより、小さい数字から大きな数字に並べ変えた計測値において、どこに位置するのか正規化する手法である。
　第３実施形態の画像拡張部４０は、各画素における赤外線の検知信号を並べ替え、パーセンタイルＸ～Ｙの間を対象レンジとしている。ここで、例えばパーセンタイル１０％～９０％とは、計測値の分布のうち小さい数字から１０％から９０％までを対象レンジとすることである。
　画像処理装置１００の画像拡張部４０は、赤外線の検知信号のヒストグラムを用いて、パーセンタイルＸ～Ｙの範囲を対象レンジとして正規化している。これにより、Ｘ％以下とＹ％以上の外れ値を除去し、視認性を向上させることができる。
　図１０Ａは、屋内において、領域４００に対象物である高温の機器が表示された赤外線画像４５０を示している。図１０Ａの赤外線画像４５０は、温度範囲が、約２０［℃］から約１４０［℃］の範囲を示している。
　図１０Ｂは、図１０Ａの赤外線画像４５０のヒストグラム４５３を示している。横軸は、温度［℃］を示し、縦軸は、度数［freq］を示している。図１０Ｂのヒストグラム４５３では、約１８［℃］から約３０［℃］の範囲に、検知信号の度数が高くなっている。したがって、画像拡張部４０は、赤外線画像４５０を、パーセンタイルＸ～Ｙの範囲を対象レンジとして調整することで、赤外線画像の視認性を向上させることができる。
　図１０Ｃは、図１０Ａの赤外線画像４５０の温度の対象レンジを、約２０［℃］から約５５［℃］に正規化した拡張画像４５１を示している。図１０Ｃの拡張画像４５１では、領域４００，４０１，４０２に、特定の対象物が表示されている。領域４００には、高温の機器を含む人が表示され、領域４０１には、荷物を持つ人が表示され、領域４０２には、シャワールームの前に居る人が表示されている。
　図１０Ｄは、図１０Ｂの温度の対象レンジを、約１８［℃］から約５５［℃］に正規化したヒストグラム４５４を示している。
　このように、画像拡張部４０は、検知信号のヒストグラムを作成し、温度の対象レンジをパーセンタイルＸ～Ｙで調整する。これにより、Ｘ％以下とＹ％以上の外れ値を除去することができるので、単純な正規化では対象物の情報が埋もれてしまう情報も、容易に視認することができる。
　なお、本実施形態では、パーセンタイルＸ～Ｙの値がパラメータ幅となる。画像拡張部４０は、パラメータ幅を、ランダム、または総当たりで設定することで、機械学習に用いる拡張画像のバリエーションを増やすことができる。また、画像拡張部４０は、推論時には、パラメータ幅の上限値であるＹを低く設定することで、例えば、高温の機器が設置されている環境で、比較的低い温度の対象物を検知しやすくすることができる。このように、画像拡張部４０は、パラメータ幅に合わせて、対象レンジの温度範囲を調整することができる。
　図１１Ａから図１１Ｄは、屋外において、第３実施形態に係る画像処理装置１００が、拡張画像を生成する際、パーセンタイルを用いて対象レンジを調整し、対象物を検知する例を示した説明図である。
　画像処理装置１００の画像拡張部４０は、屋外でも同様に、赤外線の検知信号のヒストグラムを用いて、パーセンタイルＸ～Ｙの範囲を対象レンジとして正規化する。これにより、Ｘ％以下とＹ％以上の外れ値を除去し、視認性を向上させることができる。
　図１１Ａは、屋外において、領域４１０に対象物である車両の高温部が表示された赤外線画像４６０を示している。図１１Ａの赤外線画像４６０は、温度範囲が、約３０［℃］から約１００［℃］の範囲を示している。
　図１１Ｂは、図１１Ａの赤外線画像のヒストグラム４６３を示している。横軸は、温度［℃］を示し、縦軸は、度数［freq］を示している。図１１Ｂのヒストグラム４６３では、約３０［℃］から約４０［℃］の範囲に、検知信号の度数が高くなっている。したがって、画像拡張部４０は、赤外線画像４６０を、パーセンタイルＸ～Ｙの範囲を対象レンジとして調整することで、赤外線画像の視認性を向上させることができる。
　図１１Ｃは、図１１Ａの赤外線画像４６０の温度の対象レンジを、約３０［℃］から約４４［℃］に正規化した拡張画像４６１を示している。図１１Ｃの拡張画像４６１では、領域４１０に、特定の対象物が表示されている。領域４１０には、ゴミ収集車のエンジン部分が表示されている。
　図１１Ｄは、図１１Ｂの温度の対象レンジを、約３０［℃］から約４４［℃］に正規化したヒストグラム４６４を示している。
　このように、画像拡張部４０は、屋外の場合でも同様に、検知信号のヒストグラムを作成し、温度の対象レンジをパーセンタイルＸ～Ｙで調整する。これにより、Ｘ％以下とＹ％以上の外れ値を除去することができるので、単純な正規化では対象物の情報が埋もれてしまう情報も、容易に視認することができる。
　図１２Ａから図１２Ｄは、寒い屋外において、第３実施形態に係る画像処理装置１００が、拡張画像を生成する際、パーセンタイルを用いて対象レンジを調整し、対象物を検知する例を示した説明図である。
　画像処理装置１００の画像拡張部４０は、寒い屋外でも同様に、赤外線の検知信号のヒストグラムを用いて、パーセンタイルＸ～Ｙの範囲で正規化している。これにより、Ｘ％以下とＹ％以上の外れ値を除去し、視認性を向上させることができる。
　図１２Ａは、寒い屋外において、領域４２０に対象物である車両の高温部が表示された赤外線画像４７０を示している。図１２Ａの赤外線画像４７０は、温度範囲が、約１０［℃］から約９０［℃］の範囲を示している。
　図１２Ｂは、図１２Ａの赤外線画像のヒストグラム４７３を示している。横軸は、温度［℃］を示し、縦軸は、度数［freq］を示している。図１２Ｂのヒストグラム４７３では、約１０［℃］から約２５［℃］の範囲に、検知信号の度数が高くなっている。
　図１２Ｃは、図１２Ａの赤外線画像４７０の温度範囲を、約１０［℃］から約３５［℃］に、対象レンジを正規化した拡張画像４７１を示している。図１２Ｃの拡張画像４７１では、領域４２０，４２１，４２２に、特定の対象物が視認できる。領域４２０には、走行する車両が視認され、領域４２１には、対向する車両が視認され、領域４２２には、歩行者が視認されている。
　図１２Ｄは、図１２Ｂの温度の対象レンジを、約９［℃］から約３３［℃］に正規化したヒストグラム４７４を示している。
　このように、画像拡張部４０は、赤外線の検知信号のヒストグラムを用いて、パーセンタイルＸ～Ｙの範囲で図１２Ａの赤外線画像４７０の温度の対象レンジを変更し、正規化する。画像拡張部４０は、寒い屋外の場合でも同様に、パーセンタイルＸ～Ｙの範囲で対象レンジを調整することで、Ｘ％以下とＹ％以上の外れ値を除去することができるので、単純な正規化では対象物の情報が埋もれてしまう情報も、容易に視認することができる。
　［画像形成装置の機械学習時（第３実施形態）］
　第３実施形態に係る画像処理装置１００の画像拡張部４０は、赤外線画像を作成する際、特定の対象物が存在する画像領域に所定のコントラストを付与する。この場合、画像拡張部４０は、画像領域の外部を背景画像とし、当該背景画像にそれぞれ異なるコントラストを付与して複数の赤外線画像を生成してもよい。
　図１３Ａから図１３Ｃは、第３実施形態に係る画像処理装置１００の画像拡張部４０が、特定の対象物が存在する画像領域に所定のコントラストを付けた赤外線画像を矩形内に生成する例を示した説明図である。
　図１３Ａでは、画像拡張部４０が、対象物の正解矩形４３０～４３３を、赤外線画像４８０に設定する。画像拡張部４０は、画像処理装置１００が正解データ生成処理部３１を備えているため、正解データとしての矩形（これを正解矩形という。）を正解データ生成処理部３１により、設定することができる。なお、赤外線画像４８０は、温度の対象レンジが、約－１０［℃］から約１００［℃］に設定されている。
　画像拡張部４０は、オブジェクト特有テーブル５０を参照して、特定の対象物が存在する画像領域に所定のコントラストを付与した拡張画像４８１（赤外線画像）を矩形内に生成する。
　図１３Ｂでは、画像拡張部４０が、赤外線画像４８０の温度の対象レンジを、約－１２．５［℃］から約８［℃］に調整し、正解矩形４３０～４３３における重要レンジの拡張画像４８１が、適切に表示されるようにする。すなわち、図１３Ｂに示すように、画像拡張部４０は、温度の対象レンジを適切に設定することで、正解矩形４３０～４３３において、所定のコントラストを付与した拡張画像４８１を生成する。
　なお、画像拡張部４０は、温度の対象レンジを設定し、またはパーセンタイルの所定の範囲により温度範囲を設定し、コントラストを付けた拡張画像４８１を生成する。これにより、画像拡張部４０は、オブジェクト特有テーブル５０を参照することで、正解矩形４３０～４３３における対象物に応じた温度範囲を設定した拡張画像４８１を生成することができる。
　図１３Ｃでは、画像拡張部４０が、背景画像として、様々な温度範囲が設定された拡張画像４８２に、正解矩形４３０～４３３にコントラストを付けた拡張画像４８１を結合した拡張画像を生成する。画像拡張部４０は、矩形の外部を背景画像に設定して、当該背景画像に複数の温度範囲を設定した拡張画像４８２を生成することができる。
　これにより、画像拡張部４０は、様々なバリエーションを有する背景画像としての拡張画像４８２に、コントラストを付けた正解矩形４３０～４３３における拡張画像４８１を結合することができるので、機械学習で使用する様々な拡張画像を生成することができる。
＜作用・効果＞
　以上説明したように、第１実施形態に係る画像処理装置１００は、画像拡張部４０を備えて構成されている。画像拡張部４０は、対象物を撮像した赤外線画像から、標準テーブル２０の対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用する拡張画像を作成する。
　これにより、第１実施形態に係る画像処理装置１００は、対象物を撮像した赤外線画像を使用して、対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用する拡張画像を作成することができる。よって、第１実施形態に係る画像処理装置１００は、学習データのバリエーションを増やすことができる。
　また、第１実施形態に係る画像処理装置１００は、画像拡張部４０により、拡張画像を作成する際、特定の対象物が存在し得る赤外線情報の範囲に所定のコントラストを付与してもよい。また、第１実施形態に係る画像処理装置１００は、画像拡張部４０により、赤外線画像を作成する際、特定の対象物が存在し得る赤外線情報の範囲に、それぞれ異なるコントラストが付与された複数の赤外線画像を生成してもよい。
　また、第２実施形態に係る画像処理装置１００は、画像拡張部４０を備えて構成されている。画像拡張部４０は、機械学習モデルによる対象物の認識処理における入力画像として使用する拡張画像を作成する。
　これにより、第２実施形態に係る画像処理装置１００は、オブジェクト特有テーブル５０を参照することで、機械学習モデルによる対象物の認識処理における入力画像として使用する拡張画像を作成することができる。よって、第２実施形態に係る画像処理装置１００は、推論で使用する入力画像を精鋭化することができ、赤外線画像における物体の検出性能を向上することができる。
　また、第２実施形態に係る画像処理装置１００は、画像拡張部４０により、対象物を認識する処理で使用する入力画像を生成する際、特定の対象物が存在し得る赤外線情報の範囲に、所定のコントラストを付与してもよい。また、第２実施形態に係る画像処理装置１００は、画像拡張部４０により、対象物を認識する処理で使用する入力画像を生成する際、特定の対象物が存在する画像領域にコントラストを付与してもよい。
　また、第３実施形態に係る画像処理装置１００は、画像拡張部４０、学習データデータベース６０、および推論部７０を備えて構成されている。
　第３実施形態に係る画像処理装置１００は、第１実施形態に係る画像処理装置１００と、第２実施形態に係る画像処理装置１００を組み合わせた装置である。
　これにより、第３実施形態に係る画像処理装置１００は、画像拡張部４０により、赤外線画像を作成する際、特定の対象物が存在する画像領域に所定のコントラストを付与してもよい。また、第３実施形態に係る画像処理装置１００は、画像拡張部４０により、赤外線画像を作成する際、画像領域の外部を背景画像とし、当該背景画像にそれぞれ異なるコントラストを付与してもよい。
（変形例）
　本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）～（ｅ）のようなものがある。
（ａ）　第１実施形態から第３実施形態における対象物は、特定の温度を有する固体であってもよい。例えば、人間、ペット、家畜などの恒温動物や車両が該当する。
（ｂ）　第１実施形態から第３実施形態における対象物の情報は、特定の対象物が存在し得る温度範囲であってもよい。
（ｃ）　第１実施形態から第３実施形態における対象物の情報は、特定の対象物が存在する画像領域であってもよい。
（ｄ）　第１実施形態から第３実施形態に係る画像処理装置１００は、学習データを用いて、機械学習する学習工程部１１０を、さらに備えていてもよい。
（ｅ）　対象物を撮像した赤外線画像から、対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用するか、または、機械学習モデルによる対象物の認識処理における入力画像として使用する拡張画像を作成する画像拡張部４０と、学習データを用いて、機械学習する学習工程部１１０と、を備える画像処理装置１００で機械学習した推論モデル１２０と、画像拡張部４０において作成された拡張画像を、推論モデル１２０に適用して、対象物を推論する推論工程部２１０と、を備えるエッジデバイス２００であってもよい。
　この場合、第３実施形態に係るエッジデバイス２００では、推論工程部２１０と、推論モデル１２０とを備えている。推論工程部２１０は、データ加工部２１１を備え、図２の画像拡張部４０に示す機能により、入力データ２８０に対し、コントラストを付けた入力画像を生成する。これにより、推論工程部２１０は、コントラストを付けた入力画像に対し、推論モデル１２０を用いて推論を行う。
　推論モデル１２０は、対象物を撮像した赤外線画像から、対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用するか、または、機械学習モデルによる対象物の認識処理における入力画像として使用する拡張画像を作成する画像拡張部４０と、学習データを用いて、機械学習する学習工程部１１０と、を備える画像処理装置１００で機械学習したモデルである。
　これにより、第３実施形態に係るエッジデバイス２００は、推論工程部２１０と、推論モデル１２０とを備えることで、赤外線画像における物体の検出性能を向上させることができる。
　１０　画像生成部
　２０　標準テーブル
　３１　正解データ生成処理部（特定部）
　４０　画像拡張部
　５０　オブジェクト特有テーブル
　６０　学習データデータベース
　７０　推論部
　１００，１５０　画像処理装置
　１１０　学習工程部
　１１１　データ拡張部
　１２０　推論モデル
　２００　エッジデバイス
　２１０　推論工程部
　２１１　データ加工部
　２８０　入力データ
　２９０　認識結果
　３００　赤外線カメラ

Claims (14)

  1. 　対象物を撮像した赤外線の検知信号から、前記対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用するか、または、前記機械学習モデルによる前記対象物の認識処理における入力画像として使用する拡張画像を作成する画像拡張部、
    　を備える画像処理装置。
  2. 　前記対象物は、特定の温度を有する固体である、
    　請求項１に記載の画像処理装置。
  3. 　前記対象物の情報は、特定の対象物が存在し得る温度範囲である、
    　請求項１に記載の画像処理装置。
  4. 　前記対象物の情報は、特定の対象物が存在する画像領域である、
    　請求項１に記載の画像処理装置。
  5. 　前記画像拡張部は、
    　前記拡張画像を作成する際、特定の対象物が存在し得る赤外線情報の範囲に、所定のコントラストを付与する、
    　請求項１に記載の画像処理装置。
  6. 　前記画像拡張部は、
    　特定の対象物が存在し得る赤外線情報の範囲に、それぞれ異なるコントラストが付与された複数の拡張画像を生成する、
    　請求項１に記載の画像処理装置。
  7. 　前記対象物を撮像した赤外線の検知信号から赤外線画像を生成する画像生成部と、
    　前記赤外線画像に基づいて特定の対象物が存在する画像領域を特定する特定部と、
    　を更に備え、
    　前記画像拡張部は、
    　前記拡張画像を作成する際、特定の対象物が存在する画像領域に所定のコントラストを付与する、
    　請求項１に記載の画像処理装置。
  8. 　前記画像拡張部は、
    　前記拡張画像を作成する際、前記画像領域の外部を背景画像とし、当該背景画像にそれぞれ異なるコントラストを付与する、
    　請求項７に記載の画像処理装置。
  9. 　前記学習データを用いて、機械学習する学習工程部を、さらに備える、
    　請求項１に記載の画像処理装置。
  10. 　前記画像拡張部は、
    　前記対象物を認識する処理で使用する入力画像を生成する際、特定の対象物が存在し得る赤外線情報の範囲に、所定のコントラストを付与する、
    　請求項１に記載の画像処理装置。
  11. 　前記画像拡張部は、
    　前記対象物を認識する処理で使用する入力画像を生成する際、特定の対象物が存在する画像領域に所定のコントラストを付与する、
    　請求項７に記載の画像処理装置。
  12. 　対象物を撮像した赤外線の検知信号から、前記対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用するか、または、前記機械学習モデルによる前記対象物の認識処理における入力画像として使用する拡張画像を作成する画像拡張部と、
    　前記学習データを用いて、機械学習する学習工程部と、を備える画像処理装置で機械学習した推論モデルと、
    　前記画像拡張部において作成された前記拡張画像を、前記推論モデルに適用して、前記対象物を推論する推論工程部と、
    　を備えるエッジデバイス。
  13. 　対象物を撮像した赤外線の検知信号から、前記対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用するか、または、前記機械学習モデルによる前記対象物の認識処理における入力画像として使用する拡張画像を作成するステップ、
    　を含む画像生成方法。
  14. 　対象物を撮像した赤外線の検知信号から、前記対象物の情報に基づいて、機械学習モデル作成のための学習データとして使用するか、または、前記機械学習モデルによる前記対象物の認識処理における入力画像として使用する拡張画像を作成する手順、
    　をコンピュータに実行させるための画像生成プログラム。
PCT/JP2024/009263 2023-05-10 2024-03-11 画像処理装置、エッジデバイス、画像生成方法、および画像生成プログラム Ceased WO2024232156A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2025519328A JPWO2024232156A1 (ja) 2023-05-10 2024-03-11
EP24803271.6A EP4712019A1 (en) 2023-05-10 2024-03-11 Image processing device, edge device, image generation method, and image generation program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-078199 2023-05-10
JP2023078199 2023-05-10

Publications (1)

Publication Number Publication Date
WO2024232156A1 true WO2024232156A1 (ja) 2024-11-14

Family

ID=93431533

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/009263 Ceased WO2024232156A1 (ja) 2023-05-10 2024-03-11 画像処理装置、エッジデバイス、画像生成方法、および画像生成プログラム

Country Status (3)

Country Link
EP (1) EP4712019A1 (ja)
JP (1) JPWO2024232156A1 (ja)
WO (1) WO2024232156A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020107097A (ja) 2018-12-27 2020-07-09 株式会社タムロン 遠赤外線画像処理装置、及びそれを備えた遠赤外線監視装置、並びに遠赤外線画像処理プログラム
WO2020217537A1 (ja) * 2019-04-26 2020-10-29 株式会社マクニカ 機械学習装置、機械学習方法、及び機械学習プログラム
WO2021171411A1 (ja) * 2020-02-26 2021-09-02 日本電信電話株式会社 対象領域検出装置、対象領域検出方法、及び対象領域検出プログラム
JP2021163222A (ja) 2020-03-31 2021-10-11 株式会社豊田中央研究所 物体検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020107097A (ja) 2018-12-27 2020-07-09 株式会社タムロン 遠赤外線画像処理装置、及びそれを備えた遠赤外線監視装置、並びに遠赤外線画像処理プログラム
WO2020217537A1 (ja) * 2019-04-26 2020-10-29 株式会社マクニカ 機械学習装置、機械学習方法、及び機械学習プログラム
WO2021171411A1 (ja) * 2020-02-26 2021-09-02 日本電信電話株式会社 対象領域検出装置、対象領域検出方法、及び対象領域検出プログラム
JP2021163222A (ja) 2020-03-31 2021-10-11 株式会社豊田中央研究所 物体検出装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4712019A1

Also Published As

Publication number Publication date
EP4712019A1 (en) 2026-03-18
JPWO2024232156A1 (ja) 2024-11-14

Similar Documents

Publication Publication Date Title
US8345921B1 (en) Object detection with false positive filtering
US7784943B2 (en) Eyelid detecting apparatus, eyelid detecting method and program thereof
JP4135123B2 (ja) 表示処理装置
WO2019232836A1 (zh) 基于改进全卷积网络的多尺度感知行人检测方法
KR20200014889A (ko) 이미지 비 식별을 위한 시스템 및 방법
CN108108767A (zh) 一种谷物识别方法、装置和计算机存储介质
JP2012084012A (ja) 画像処理装置、その処理方法及びプログラム
CN111442465A (zh) 空调器控制方法、装置、空调器及计算机存储介质
CN108010105A (zh) 图像处理设备、图像处理方法和存储介质
CN109740589A (zh) 视频模式中的异步对象roi检测方法及系统
CN114842240A (zh) 融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法
Zin et al. Fusion of infrared and visible images for robust person detection
CN111489330A (zh) 基于多源信息融合的弱小目标检测方法
JP2016095701A (ja) 画像処理装置、画像処理方法、及び、プログラム
Gómez-Moreno et al. Edge detection in noisy images using the support vector machines
CN114881978A (zh) 目标检测方法、电子设备以及智能控制系统
Pal et al. Visibility enhancement of fog degraded images using adaptive defogging function
EP4712019A1 (en) Image processing device, edge device, image generation method, and image generation program
TW200841714A (en) Intelligent type object detection method
JP2022002018A (ja) 動体検出装置および動体検出方法
Mandal et al. Human visual system inspired object detection and recognition
CN100565556C (zh) 特定被摄体检测装置
Apatean et al. Visible-infrared fusion in the frame of an obstacle recognition system
CN117968222B (zh) 一种基于目标检测的制冷设备的控制方法及装置
Yuan et al. No Trespassing: Ground-view Adversarial Patches for Privacy-aware Management in COTS Robot Vacuum Cleaner

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24803271

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025519328

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025519328

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2024803271

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2024803271

Country of ref document: EP

Effective date: 20251210

ENP Entry into the national phase

Ref document number: 2024803271

Country of ref document: EP

Effective date: 20251210

ENP Entry into the national phase

Ref document number: 2024803271

Country of ref document: EP

Effective date: 20251210

ENP Entry into the national phase

Ref document number: 2024803271

Country of ref document: EP

Effective date: 20251210

ENP Entry into the national phase

Ref document number: 2024803271

Country of ref document: EP

Effective date: 20251210

ENP Entry into the national phase

Ref document number: 2024803271

Country of ref document: EP

Effective date: 20251210

ENP Entry into the national phase

Ref document number: 2024803271

Country of ref document: EP

Effective date: 20251210

ENP Entry into the national phase

Ref document number: 2024803271

Country of ref document: EP

Effective date: 20251210

ENP Entry into the national phase

Ref document number: 2024803271

Country of ref document: EP

Effective date: 20251210

WWP Wipo information: published in national office

Ref document number: 2024803271

Country of ref document: EP