WO2018012053A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2018012053A1
WO2018012053A1 PCT/JP2017/013701 JP2017013701W WO2018012053A1 WO 2018012053 A1 WO2018012053 A1 WO 2018012053A1 JP 2017013701 W JP2017013701 W JP 2017013701W WO 2018012053 A1 WO2018012053 A1 WO 2018012053A1
Authority
WO
WIPO (PCT)
Prior art keywords
candidate
far
region
infrared image
detection unit
Prior art date
Application number
PCT/JP2017/013701
Other languages
English (en)
French (fr)
Inventor
横山　正幸
祐基 明壁
厚史 伊藤
小柳津　秀紀
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2018527391A priority Critical patent/JP6904348B2/ja
Priority to US16/314,616 priority patent/US20190316966A1/en
Publication of WO2018012053A1 publication Critical patent/WO2018012053A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Definitions

  • the present disclosure relates to an image processing apparatus and an image processing method.
  • far-infrared images have been used for the purpose of detecting the temperature of an object.
  • a far-infrared image is produced
  • the far-infrared image it may be possible to detect a subject even when it is difficult to detect a subject such as a human body from a visible light image at night or in bad weather. is there.
  • the far-infrared image may not have a desired detection accuracy in the detection of the subject due to a lower resolution or the like than the visible light image.
  • techniques for improving the detection accuracy of the subject have been proposed.
  • Patent Document 1 when the reliability of a captured image of a camera is lowered due to the influence of the environment, in order to prevent the accuracy of the object type determination from being lowered, A radar that detects a relative position between an object located within the first monitoring range and the vehicle, an infrared camera that is mounted on the vehicle and images a second monitoring range that overlaps the first monitoring range, and the radar A type determining unit that determines a type of an object located around the vehicle based on detection data and an image captured by the infrared camera, and the type determining unit can determine the type based on the image captured by the infrared camera; There has been proposed a technique for performing type determination based on the detection data of the radar for an object for which type determination has not been performed after removing the detected object.
  • the present disclosure proposes a new and improved image processing apparatus and image processing method capable of improving the detection accuracy of a subject at a lower cost.
  • a plurality of detection units that respectively detect detection regions indicating temperatures within different set temperature ranges from a far-infrared image, a positional relationship between the plurality of detected detection regions, and the far red
  • a determination unit that determines whether or not the predetermined subject is reflected in the far-infrared image based on modeling that defines the positional relationship when the predetermined subject appears in the outer image.
  • each detection region indicating a temperature within a different set temperature range from the far-infrared image, the positional relationship between the detected plurality of detection regions, and the far-infrared Determining whether the predetermined subject is reflected in the far-infrared image by an image processing device based on modeling that defines the positional relationship when the predetermined subject is reflected in the image.
  • An image processing method is provided.
  • FIG. 3 is a block diagram illustrating an example of a hardware configuration of an image processing apparatus according to an embodiment of the present disclosure.
  • 3 is a block diagram illustrating an example of a functional configuration of the image processing apparatus according to the embodiment.
  • FIG. 6 is a flowchart illustrating an example of a flow of processing performed by the image processing apparatus according to the embodiment. 6 is a flowchart illustrating an example of a flow of detection processing of each candidate area performed by the image processing apparatus according to the embodiment. It is a block diagram which shows an example of a function structure of the image processing apparatus which concerns on a 1st application example.
  • FIG. 12 is a flowchart illustrating a second example of a flow of processing performed by the image processing apparatus according to the first application example. It is a flowchart which shows an example of the flow of a detection process of the face part candidate area
  • FIG. 12 is a flowchart illustrating an example of a flow of processing performed by an image processing apparatus according to a second application example. It is a flowchart which shows an example of the flow of each detection process of the non-passing part face candidate area
  • FIG. 1 is an explanatory diagram for explaining various uses of infrared images depending on wavelengths.
  • the horizontal direction in FIG. 1 corresponds to the wavelength of infrared rays, and the wavelength increases from left to right.
  • Light having a wavelength of 0.7 ⁇ m or less is visible light, and human vision senses this visible light.
  • the wavelength region adjacent to the visible light region is a near infrared (NIR) region, and infrared rays belonging to the NIR region are referred to as near infrared rays.
  • NIR near infrared
  • the upper limit of the wavelength in the NIR region varies depending on the definition, it is often assumed to be between 2.5 ⁇ m and 4.0 ⁇ m.
  • the relatively long wavelength portion of the NIR region is sometimes called the short wavelength infrared (SWIR) region.
  • Near-infrared light can be used, for example, for night vision, fluoroscopy, optical communication, and ranging.
  • a camera that captures a near-infrared image usually irradiates infrared rays in the vicinity and captures the reflected light.
  • a wavelength region adjacent to the NIR region on the long wavelength side is a far infrared (FIR) region, and infrared rays belonging to the FIR region are called far infrared rays.
  • a portion having a relatively short wavelength in the FIR region may be referred to as a mid-wavelength infrared (MWIR) region.
  • MWIR mid-wavelength infrared
  • the medium wavelength infrared can be used for identification of the substance.
  • Far infrared can be utilized for night vision, thermography, and heating. Infrared rays emitted by black body radiation from an object correspond to far infrared rays. Therefore, a night vision apparatus using far infrared rays can generate a far infrared image by capturing blackbody radiation from an object without irradiating infrared rays.
  • the boundary values of the wavelength range shown in FIG. 1 are merely examples. Various definitions exist for the boundary value of the infrared classification, and the advantages described below of the technology according to the present disclosure can be enjoyed under any definition.
  • the far-infrared image generated by receiving the far-infrared light has a plurality of objects reflected in the far-infrared image.
  • a temperature difference can be detected.
  • the temperature of the living body reflected in the far-infrared image is generally higher than the temperature of the surrounding object of the living body.
  • a living body region can be extracted from an image.
  • image processing such as template matching for the extracted region, a subject corresponding to the region can be detected. Therefore, the type of subject corresponding to the area can be determined.
  • far-infrared images generally tend to have lower resolution than visible light images. Therefore, in the detection of the subject using the image processing as described above, a desired detection accuracy may not be obtained.
  • a desired detection accuracy may not be obtained.
  • by using another device different from the infrared camera data different from the far-infrared image is obtained, and the subject detection accuracy is improved by using the far-infrared image and the data together. It is possible.
  • the present specification proposes a mechanism that can improve the detection accuracy of the subject at a lower cost.
  • FIG. 2 is a block diagram illustrating an example of a hardware configuration of the image processing apparatus 1 according to the present embodiment.
  • the image processing apparatus 1 includes an infrared camera 102, an input interface 104, a memory 106, a display 108, a communication interface 110, a storage 112, a processor 114, and a bus 116.
  • an infrared camera 102 an input interface 104
  • a memory 106 a memory 106
  • a display 108 a display 108
  • a communication interface 110 a storage 112
  • a processor 114 and a bus 116.
  • the infrared camera 102 is an imaging module that performs imaging using infrared and obtains an infrared image that is a non-color image.
  • the infrared camera 102 corresponds to an imaging unit according to the present disclosure.
  • the infrared camera 102 has an array of imaging elements that sense far infrared rays having a wavelength belonging to the FIR region, and takes a far infrared image.
  • the infrared camera 102 captures far-infrared images at regular time intervals.
  • a series of far-infrared images obtained by the infrared camera 102 may constitute a video.
  • the input interface 104 is used for a user to operate the image processing apparatus 1 or input information to the image processing apparatus 1.
  • the input interface 104 may include an input device such as a touch sensor, a keyboard, a keypad, a button, or a switch.
  • the input interface 104 may include a voice input microphone and a voice recognition module.
  • the input interface 104 may also include a remote control module that receives commands selected by the user from a remote device.
  • the memory 106 is a storage medium that may include a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the memory 106 is connected to the processor 114 and stores programs and data for processing executed by the processor 114.
  • the display 108 is a display module having a screen for displaying an image.
  • the display 108 may be an LCD (Liquid Crystal Display), an OLED (Organic light-Emitting Diode), or a CRT (Cathode Ray Tube).
  • the communication interface 110 is a module that mediates communication between the image processing apparatus 1 and another apparatus.
  • the communication interface 110 establishes a communication connection according to an arbitrary wireless communication protocol or wired communication protocol.
  • the storage 112 is a storage device that stores infrared image data or stores a database used in image processing.
  • the storage 112 contains a storage medium such as a semiconductor memory or a hard disk. Note that the program and data described in this specification may be acquired from a data source external to the image processing apparatus 1 (for example, a data server, a network storage, or an external memory).
  • the processor 114 is a processing module such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor).
  • the processor 114 executes a program stored in the memory 106 or another storage medium, thereby operating a function for improving the subject detection accuracy at a lower cost.
  • the bus 116 interconnects the infrared camera 102, the input interface 104, the memory 106, the display 108, the communication interface 110, the storage 112, and the processor 114.
  • FIG. 3 is a block diagram illustrating an example of a functional configuration that is realized when the components of the image processing apparatus 1 illustrated in FIG. 2 are linked to each other.
  • the image processing apparatus 1 includes a first detection unit 41, a second detection unit 42, a determination unit 50, and a storage unit 60.
  • the first detection unit 41 and the second detection unit 42 illustrated in FIG. 3 correspond to a plurality of detection units according to the present disclosure. Note that the image processing apparatus 1 according to the present embodiment only needs to include at least two detection units, and the number of detection units illustrated in FIG. 3 is merely an example.
  • the storage unit 60 stores data referred to in each process performed by the image processing apparatus 1. For example, the storage unit 60 stores information used in the candidate area detection process performed by each of the first detection unit 41 and the second detection unit 42. The storage unit 60 also stores modeling used in the determination process performed by the determination unit 50. Modeling is an index used to determine whether or not a predetermined subject appears in the far-infrared image.
  • the storage unit 60 may store a far-infrared image for each frame captured by the infrared camera 102. Each functional unit can acquire a far-infrared image captured by the infrared camera 102 from the storage unit 60. Each functional unit may acquire a far-infrared image directly from the infrared camera 102. Each functional unit may acquire a far-infrared image from another device via the communication interface 110.
  • the first detection unit 41 detects a first detection region that indicates a temperature within the first set temperature range from the far-infrared image. Further, the first detection unit 41 outputs the detection result to the determination unit 50.
  • the first set temperature range is a temperature range according to the assumed temperature of the first object corresponding to the first detection unit 41.
  • the assumed temperature is a temperature assumed as a general temperature of the first object.
  • the first detection area indicating the temperature within the first set temperature range corresponds to a first candidate area that is a candidate in which the first object is reflected. Therefore, the first set temperature range corresponds to a temperature range indicated by a region where the possibility that the first object is reflected in the far-infrared image is relatively high.
  • the 1st detection part 41 detects a 1st candidate area
  • the first detection unit 41 includes a first extraction unit 41a, a first score calculation unit 41b, and a first score comparison unit 41c.
  • the first extraction unit 41a extracts a partial region from the far-infrared image and outputs the extraction result to the first score calculation unit 41b.
  • the partial area is, for example, a rectangle and has a predetermined dimension.
  • the predetermined dimension is set according to the first object. Specifically, the predetermined dimension substantially coincides with a dimension assumed as a dimension of a region where the first object is reflected in the far-infrared image. Information indicating the predetermined dimension can be stored in the storage unit 60.
  • the first detection unit 41 detects the partial area as the first candidate area when the partial area satisfies a predetermined condition.
  • the 1st detection part 41 can detect the area
  • the first extraction unit 41a repeats the extraction of the partial area so as to scan the entire area of the far infrared image, for example. And the information which shows each extracted partial area is output to the 1st score calculation part 41b as an extraction result.
  • the first score calculation unit 41b calculates a score value as the likelihood that the temperature indicated by the extracted partial region is the assumed temperature of the first object, and outputs the calculation result to the first score comparison unit 41c. Specifically, the first score calculation unit 41b may calculate a score value based on a probability density function corresponding to the assumed temperature of the first object.
  • the probability density function defines the relationship between the temperature indicated by the partial region and the likelihood.
  • a probability density function according to a Gaussian distribution whose median value matches the assumed temperature may be used.
  • the assumed temperature has a width
  • a probability density function according to a Gaussian distribution in which the median coincides with the median of the assumed temperature can be used as the probability density function, for example.
  • the first score calculation unit 41b calculates an average value of temperatures corresponding to pixel values of each pixel in the partial region as the temperature indicated by the partial region, and calculates the average value in the probability density function.
  • the corresponding likelihood can be calculated as a score value.
  • the first score calculation unit 41b may generate a probability density function based on the assumed temperature.
  • the assumed temperature has a width and has only one of the lower limit value and the upper limit value
  • the likelihood increases as the temperature indicated by the partial region increases or decreases as the probability density function.
  • a probability density function that defines such a relationship can be used.
  • the first score comparison unit 41c compares the calculated score value with a threshold value.
  • the threshold value can be appropriately set according to various design specifications of the image processing apparatus 1 such as variations in light receiving sensitivity among a plurality of image sensors in the infrared camera 102.
  • the first detection unit 41 detects the corresponding partial region as the first candidate region.
  • the score value is equal to or less than the threshold value, the first detection unit 41 does not detect the corresponding partial region as the first candidate region. Accordingly, a more likely region can be detected as the first candidate region that is a candidate for the first object.
  • the first detection unit 41 repeats the partial region extraction process by the first extraction unit 41a, the score value calculation process by the first score calculation unit 41b, and the score value and threshold value comparison process by the first score comparison unit 41c. As a result, the first candidate region is detected for the entire region of the far-infrared image.
  • the second detection unit 42 detects a second detection region indicating a temperature within a second set temperature range different from the first set temperature range from the far-infrared image. Further, the second detection unit 42 outputs the detection result to the determination unit 50.
  • the second set temperature range is a temperature range corresponding to the assumed temperature of the second object corresponding to the second detection unit 42. Note that the second object is an object different from the first object.
  • the assumed temperature is a temperature assumed as a general temperature of the second object.
  • the second detection area indicating the temperature within the second set temperature range corresponds to a second candidate area that is a candidate for the second object to be reflected.
  • the second set temperature range is a temperature range in which it is possible to determine whether or not the possibility that the second object is reflected in a certain region in the far-infrared image is relatively high.
  • the second detection unit 42 detects the second candidate region from the far-infrared image.
  • the second detection unit 42 includes a second extraction unit 42a, a second score calculation unit 42b, and a second score comparison unit 42c.
  • the second extraction unit 42a, the second score calculation unit 42b, and the second score comparison unit 42c in the second detection unit 42 are the first extraction unit 41a, the first score calculation unit 41b, and the first score in the first detection unit 41, respectively.
  • the same processing can be executed.
  • the second extraction unit 42a extracts a partial region from the far-infrared image and outputs the extraction result to the second score calculation unit 42b.
  • the second score calculation unit 42b calculates a score value as a likelihood that the temperature indicated by the extracted partial region is the assumed temperature of the second object, and outputs the calculation result to the second score comparison unit 42c.
  • the second score comparison unit 42c compares the calculated score value with a threshold value.
  • the second detection unit 42 detects the corresponding partial region as the second candidate region when the score value is higher than the threshold value. On the other hand, when the score value is equal to or less than the threshold value, the second detection unit 42 does not detect the corresponding partial region as the second candidate region.
  • the dimension of the partial area can be set according to the second object.
  • the probability density function used in the score value calculation process performed by the second score calculation unit 42b may correspond to the assumed temperature of the second object.
  • the threshold used in the comparison process performed by the second score comparison unit 42c may be the same as or different from the threshold used by the first score comparison unit 41c.
  • the determination unit 50 determines whether or not a predetermined subject is reflected in the far-infrared image based on the detected positional relationship between the plurality of detection regions and modeling.
  • the modeling is an index used to determine whether or not a predetermined subject is reflected in the far-infrared image. Specifically, the modeling defines the positional relationship between the plurality of detection regions when a predetermined subject is reflected in the far-infrared image.
  • the determination unit 50 is based on the positional relationship between the first candidate region detected by the first detection unit 41 and the second candidate region detected by the second detection unit 42, and modeling. Then, it is determined whether or not a predetermined subject is reflected in the far-infrared image.
  • the first object and the second object exist corresponding to the predetermined subject and have a predetermined positional relationship.
  • the first object or the second object may be each part of the predetermined subject.
  • the first object or the second object may be an object different from the predetermined subject. Modeling defines such a predetermined positional relationship between the respective objects assumed for the predetermined subject as a positional relationship between the candidate regions when the predetermined subject is reflected in the far-infrared image.
  • the determination unit 50 determines that the positional relationship between the candidate regions is appropriate when the positional relationship between the candidate regions substantially matches the positional relationship defined by the modeling. Then, the determination unit 50 determines that a predetermined subject is reflected in the far-infrared image when it determines that the positional relationship between the candidate regions is appropriate.
  • whether or not a predetermined subject is reflected in the far-infrared image is determined based on the positional relationship between the plurality of detection regions indicating temperatures within the different set temperature ranges and the modeling. Determined. Therefore, a more likely determination result can be obtained in determining whether or not a predetermined subject is reflected in the far-infrared image. Accordingly, the detection accuracy of the subject can be improved without using another device different from the infrared camera 102. Therefore, the detection accuracy of the subject can be improved at a lower cost.
  • the determination unit 50 may output a determination result.
  • the determination unit 50 may register the determination result by outputting the determination result to the storage unit 60. Further, the determination unit 50 may notify by outputting the determination result to the display 108. The determination unit 50 may output the determination result to an external device via the communication interface 110.
  • the determination unit 50 executes a determination process for determining whether or not a predetermined subject is reflected in the far-infrared image according to the detection results output from the first detection unit 41 and the second detection unit 42. It may be determined whether or not. For example, the determination unit 50 may execute the determination process when both the first candidate region and the second candidate region are detected. On the other hand, the determination unit 50 may not perform the determination process when at least one of the first candidate region and the second candidate region is not detected.
  • FIG. 4 is a flowchart illustrating an example of a flow of processing performed by the image processing apparatus 1 according to the present embodiment. The process illustrated in FIG. 4 may be executed for each frame, for example.
  • the image processing apparatus 1 captures a far-infrared image (step S501).
  • the first detection unit 41 executes detection processing for detecting the first candidate region from the captured far-infrared image (step S510), and outputs the detection result to the determination unit 50.
  • the determination unit 50 determines whether or not the first candidate area has been detected (step S503). If it is not determined that the first candidate area has been detected (step S503 / NO), the process returns to step S501.
  • step S503 when it is determined that the first candidate region has been detected (step S503 / YES), the determination result is output from the determination unit 50 to the second detection unit 42, and the second detection unit 42 detects the second candidate region.
  • the detection process is executed (step S530), and the detection result is output to the determination unit 50.
  • the determination unit 50 determines whether or not the second candidate area has been detected (step S505). If it is not determined that the second candidate area has been detected (step S505 / NO), the process returns to step S501.
  • step S507 determines whether the positional relationship between the candidate areas is appropriate. If the positional relationship between the candidate regions does not substantially match the positional relationship defined by modeling, the positional relationship between the candidate regions is not determined to be valid (step S507 / NO), and the process proceeds to step S501. Return. On the other hand, when the positional relationship between the candidate regions substantially matches the positional relationship defined by modeling, it is determined that the positional relationship between the candidate regions is appropriate (step S507 / YES), and the determination unit 50 Then, the determination result is registered in the storage unit 60 (step S509), and the processing shown in FIG.
  • FIG. 5 is a flowchart illustrating an example of a flow of detection processing of each candidate area performed by the image processing apparatus 1 according to the present embodiment.
  • the first extraction unit 41a (second extraction unit 42a) extracts a partial region from the far-infrared image (step S511 (step S531)), and calculates the extraction result as a first score.
  • the first score calculation unit 41b (second score calculation unit 42b) calculates a score value for the extracted partial region (step S513 (step S533)), and the calculation result is displayed as the first score comparison unit 41c ( It outputs to the 2nd score comparison part 42c).
  • the first score comparison unit 41c (second score comparison unit 42c) compares the calculated score value with a threshold value (step S515 (step S535)).
  • step S517 determines whether extraction of the partial area was complete
  • the first application example is an example in which the technique according to the present disclosure is applied to detection of a human body as a subject.
  • the image processing apparatus 10 according to the first application example determines whether a human body is reflected as a predetermined subject in the far-infrared image.
  • FIG. 6 is a block diagram illustrating an example of a functional configuration that is realized when the components of the image processing apparatus 10 are linked to each other.
  • the image processing apparatus 10 includes a face detection unit 141, a torso detection unit 142, an eye detection unit 143, a glasses detection unit 144, a hair detection unit 145, a determination unit 150, and a storage.
  • the face detection unit 141, the body detection unit 142, the eye detection unit 143, the eyeglass detection unit 144, and the hair detection unit 145 in the first application example correspond to a plurality of detection units according to the present disclosure.
  • the determination unit 150 and the storage unit 160 in the first application example correspond to the determination unit 50 and the storage unit 60 of the image processing apparatus 1 described with reference to FIG.
  • the storage unit 160 stores data referred to in each process performed by the image processing apparatus 10.
  • the storage unit 160 stores information used in the candidate area detection processing performed by each of the face detection unit 141, the body detection unit 142, the eye detection unit 143, the glasses detection unit 144, and the hair detection unit 145.
  • the storage unit 160 also stores modeling used in the determination process performed by the determination unit 150.
  • the storage unit 160 stores a later-described data table D10 illustrated in FIG. 8, and the data table D10 includes various information.
  • the face detection unit 141 detects a face candidate area that is a candidate for a human face from a far-infrared image as a candidate area.
  • the torso detection unit 142 detects a torso candidate region that is a candidate in which a human torso is reflected from a far-infrared image as a candidate region.
  • the eye detection unit 143 detects an eye candidate region that is a candidate in which a human eye appears from the far-infrared image as a candidate region.
  • the spectacles detection part 144 detects the spectacles candidate area
  • the hair detection unit 145 detects a hair candidate region that is a candidate that reflects human hair from a far-infrared image as a candidate region. These detection units detect regions indicating temperatures within different set temperature ranges from the far-infrared image.
  • the eyes of the human body, the glasses worn on the human body, and the head hair of the human body correspond to portions related to the face (hereinafter also referred to as face portions).
  • the eye candidate area, the eyeglass candidate area, and the hair candidate area correspond to face part candidate areas that are candidates for the face part to be reflected.
  • the eye detection unit 143, the glasses detection unit 144, and the hair detection unit 145 correspond to a face part detection unit that detects a face part candidate area as a candidate area from a far-infrared image.
  • Each detection unit according to the first application example includes a first extraction unit 41a (second extraction unit 42a) in the first detection unit 41 (second detection unit 42) of the image processing apparatus 1 described with reference to FIG.
  • the first score calculation unit 41b (second score calculation unit 42b) and the first score comparison unit 41c (second score comparison unit 42c) have functions. Specifically, each detection unit according to the first application example extracts and extracts a partial region from the far-infrared image, similarly to each detection unit of the image processing apparatus 1 described with reference to FIG. The score value for the partial area is calculated, and the calculated score value is compared with the threshold value.
  • each detection unit according to the first application example detects a corresponding partial region as a candidate region when the score value is higher than the threshold value, and selects a corresponding partial region as a candidate when the score value is equal to or less than the threshold value. Do not detect as a region.
  • each detection unit according to the first application example outputs a detection result to the determination unit 150.
  • FIG. 7 is an explanatory diagram showing an example of a far-infrared image Im10 in which the human body P10 is reflected.
  • the far-infrared image Im10 includes two human bodies P10 as subjects.
  • the face C11, the torso C12, the glasses C14, and the hair C15 as objects are shown for the right human body P10.
  • the face C11, the torso C12, the eyes C13, and the hair C15 as the objects are shown for the left human body P10.
  • each detection unit can detect a candidate region of a candidate in which a target object appears in such a far-infrared image Im10.
  • a far-infrared image Im10 illustrated in FIG. 7, shades of hatching indicate differences in pixel values. The darker the hatched area is, the lower the pixel value is. In other words, the darker the hatched area, the lower the temperature indicated by the area.
  • each detection unit extracts a partial region having a predetermined size from the far-infrared image Im10. Specifically, each detection unit can set the size of the partial region by referring to the data table D10 stored in the storage unit 160.
  • the data table D10 for example, as shown in FIG. 8, information indicating each target object and information indicating a dimension corresponding to each target object are linked.
  • the face detection unit 141 sets the dimensions of “height 20 to 30 cm and width 15 to 20 cm” corresponding to the face C11 as the object as the dimensions of the partial area.
  • the trunk detection unit 142 sets a dimension of “height 50 to 100 cm, width 30 to 60 cm” corresponding to the trunk C12, which is the object, as the dimension of the partial region.
  • the eye detection unit 143 sets a dimension of “width 2 to 4 cm” corresponding to the target eye C13 as the dimension of the partial region.
  • the spectacles detection unit 144 sets the dimension of “width 15 to 20 cm, height 3 to 6 cm” corresponding to the spectacles C14 as the object as the dimension of the partial region.
  • the hair detection unit 145 sets a dimension of “height 1 to 15 cm, width 15 to 20 cm” corresponding to the target hair C15 as the dimension of the partial region.
  • the partial area B11, the partial area B12, and the partial area B14 that correspond to the face C11, the torso C12, and the glasses C14 and that have dimensions as described above are schematically illustrated. .
  • each detection part calculates the score value about a partial area based on the probability density function corresponding to the assumption temperature of a target object.
  • each detection unit can generate a probability density function corresponding to the assumed temperature of the object by referring to the data table D10 stored in the storage unit 160.
  • the data table D10 for example, as shown in FIG. 8, information indicating each object and information indicating an assumed temperature of each object are linked.
  • the information which shows the probability density function corresponding to each target object may be memorize
  • the assumed temperature of each target object shown in FIG. 8 is a value when the environmental temperature is 25 ° C., for example.
  • the storage unit 160 may store a data table for each of the environmental temperatures, and the assumed temperature of each object in each data table may be set according to the corresponding environmental temperature.
  • the face detection unit 141 calculates the score value by setting the assumed temperature of the face C11 that is the object as “33 to 36 ° C.”.
  • the torso detecting unit 142 calculates a score value by setting the assumed temperature of the torso C12, which is an object, as “a temperature 2 ° C. lower than the face temperature to a temperature 4 ° C. lower than the face temperature”.
  • the eye detection unit 143 calculates the score value by setting the assumed temperature of the target eye C13 as “a temperature higher by 1 ° C. than the face temperature”.
  • the spectacles detection unit 144 calculates the score value by setting the assumed temperature of the spectacles C14 that is the object as “a temperature 2 ° C. lower than the environmental temperature to a temperature 2 ° C.
  • the hair detection unit 145 calculates a score value by setting the assumed temperature of the target hair C15 as “a temperature 3 ° C. lower than the face temperature to a temperature 6 ° C. lower than the face temperature”.
  • the temperature indicated by the face candidate area detected by the face detection unit 141 may be applied as the face temperature.
  • a temperature indicated by a region at a predetermined position in the far-infrared image Im10 can be applied as the environmental temperature.
  • the predetermined position is a position where the possibility that the background of the human body P10 is reflected in the far-infrared image Im10 is relatively high, and may be, for example, the upper end of the far-infrared image Im10.
  • the environmental temperature may be acquired by using a temperature sensor that can detect the environmental temperature.
  • Each detection unit compares the calculated score value with a threshold value. For example, the score value takes a value between 0 and 1, and the higher the score value, the higher the possibility that the temperature indicated by the partial region is the assumed temperature of the object.
  • each detection unit repeats the extraction of the partial region so as to scan the entire region of the far-infrared image Im10. Therefore, each detection unit calculates a plurality of score values corresponding to a plurality of partial areas extracted repeatedly.
  • An example of a combination of maximum values of the plurality of score values for each detection unit is shown in FIG. In FIG. 9, three examples of combinations are shown.
  • score values for the face detection unit 141, the body detection unit 142, the eye detection unit 143, the glasses detection unit 144, and the hair detection unit 145 are calculated.
  • the maximum values are “0.7”, “0.8”, “0.6”, “0.1”, and “0.2”.
  • the maximum score value for each of the face detection unit 141, the body detection unit 142, the eye detection unit 143, the glasses detection unit 144, and the hair detection unit 145 is “0.7”, “ 0.8 ",” 0.1 ",” 0.7 “, and” 0.2 ".
  • the maximum score value for each of the face detection unit 141, the body detection unit 142, the eye detection unit 143, the glasses detection unit 144, and the hair detection unit 145 is “0.7”, “ 0.8 “,” 0.1 “,” 0.1 “, and” 0.8 ".
  • each detection unit detects a corresponding partial region as a candidate region when the score value is higher than the threshold value.
  • the detection unit does not detect the corresponding partial region as a candidate region. Therefore, the case where the maximum score value for each detection unit is higher than the threshold corresponds to the case where a candidate region is detected by each detection unit.
  • the case where the maximum score value for each detection unit is equal to or less than the threshold value corresponds to the case where no candidate region is detected by each detection unit.
  • the face candidate area, the body candidate area, and the eye candidate area are detected by the face detection unit 141, the body detection unit 142, and the eye detection unit 143.
  • the eyeglass candidate region and the hair candidate region are not detected by the eyeglass detection unit 144 and the hair detection unit 145, respectively.
  • the face candidate area, the body candidate area, and the eyeglass candidate area are detected by the face detection unit 141, the body detection unit 142, and the eyeglass detection unit 144, respectively.
  • the candidate areas are not detected by the eye detection unit 143 and the hair detection unit 145, respectively.
  • the face candidate region, the body candidate region, and the hair candidate region are detected by the face detection unit 141, the body detection unit 142, and the hair detection unit 145, respectively.
  • the candidate areas are not detected by the eye detection unit 143 and the eyeglass detection unit 144, respectively.
  • the determination unit 150 shows the human body P10 as a predetermined subject in the far-infrared image Im10 based on the positional relationship between the detected face candidate region and the torso candidate region and modeling. It is determined whether or not.
  • the modeling is an index used for determining whether or not the human body P10 is reflected in the far-infrared image Im10.
  • the modeling defines the positional relationship between the face candidate region and the body candidate region when the human body P10 is reflected in the far-infrared image Im10.
  • the determination unit 150 determines that the positional relationship between the face candidate region and the trunk candidate region is the same when the positional relationship between the face candidate region and the trunk candidate region substantially matches the positional relationship defined by the modeling. Judge that it is appropriate. And the determination part 150 determines with the human body P10 being reflected in the far-infrared image Im10 by having determined that the positional relationship between a face candidate area
  • the determination unit 150 can determine whether or not the positional relationship between the face candidate region and the body candidate region is appropriate by referring to the data table D10 stored in the storage unit 160. .
  • the data table D10 for example, as shown in FIG. 8, information indicating each object and information indicating the relative position of each object with respect to another object when the human body P10 is reflected in the far-infrared image Im10. Are linked.
  • Such a relative position is defined by modeling in the first application example.
  • the determination unit 150 determines that the positional relationship between the face candidate region and the body candidate region is appropriate when the face candidate region is located above the body candidate region. In other words, the determination unit 150 determines that the positional relationship between the face candidate region and the body candidate region is appropriate when the body candidate region is located below the face candidate region.
  • the human body P10 is included in the far-infrared image Im10 based on the positional relationship between the face candidate region and the torso candidate region that indicate temperatures within different set temperature ranges and the modeling. It is determined whether or not it is reflected.
  • the face C11 and the torso C12 exist corresponding to the human body P10 and have a positional relationship defined by modeling. Therefore, a more likely determination result can be obtained in determining whether or not the human body P10 is reflected in the far-infrared image Im10. Therefore, the detection accuracy of the human body P10 as a subject can be improved without using another device different from the infrared camera 102. Accordingly, it is possible to improve the detection accuracy of the human body P10 as a subject at a lower cost.
  • the determination unit 150 determines whether or not the positional relationship between the face candidate region and the body candidate region is appropriate for all combinations of the face candidate region and the body candidate region. To do. When there are a plurality of combinations of face candidate regions and torso candidate regions that are determined to have an appropriate positional relationship, the determination unit 150 determines that the human body P10 corresponding to each of the plurality of combinations is included in the far-infrared image. It can be determined that it is reflected.
  • the determination unit 150 determines whether or not the human body P10 is reflected as a predetermined subject in the far-infrared image Im10 based on the positional relationship between the detected face candidate region and the face part candidate region and modeling. You may judge.
  • the modeling defines the positional relationship between the face candidate area and the face part candidate area when the human body P10 is reflected in the far-infrared image Im10.
  • the determination unit 150 determines the position between the face candidate area and the face part candidate area when the positional relation between the face candidate area and the face part candidate area substantially matches the position relation defined by modeling. Determine that the relationship is valid. Further, the determination unit 150 determines that the positional relationship between the face candidate region and the body candidate region is appropriate, and further determines that the positional relationship between the face candidate region and the face part candidate region is appropriate. It is determined that the human body P10 is reflected in the far-infrared image Im10. For example, the determination unit 150 determines that the positional relationship between the face candidate region and the body candidate region is appropriate, and at least one face portion of the positional relationship between the face candidate region and the face portion candidate region. May be determined that the human body P10 is reflected in the far-infrared image Im10.
  • the determination unit 150 refers to the data table D10 stored in the storage unit 160 to determine whether or not the positional relationship between the face candidate region and the face part candidate region is appropriate. obtain.
  • the data table D10 for example, as shown in FIG. 8, information indicating each face portion as an object, and other objects for each object when the human body P10 is reflected in the far-infrared image Im10.
  • Information indicating the relative position is linked. Such a relative position is defined by modeling in the first application example.
  • the determination unit 150 determines that the positional relationship between the face candidate area and the eye candidate area is appropriate.
  • the determination unit 150 determines that the positional relationship between the face candidate region and the spectacle candidate region is appropriate when the spectacle candidate region is located inside the face candidate region.
  • the determination unit 150 determines that the positional relationship between the face candidate region and the hair candidate region is appropriate when the hair candidate region is adjacent to the upper side of the face candidate region.
  • the face C11 and each face part exist corresponding to the face C11 and have a positional relationship defined by modeling. Therefore, when it is determined that the positional relationship between the face candidate area and the face part candidate area is appropriate based on the modeling, by determining that the human body P10 is reflected in the far-infrared image Im10, In the determination of whether or not the human body P10 is reflected in the far-infrared image Im10, a more likely determination result can be obtained. Therefore, the detection accuracy of the human body P10 as a subject can be improved more effectively.
  • the determination unit 150 includes a plurality of face candidate regions and body candidate regions. It can be determined that the positional relationship is appropriate for the combinations of In such a case, for example, the determination unit 150 determines whether or not the positional relationship between the face candidate area and the face part candidate area is appropriate for each of the plurality of combinations.
  • the determination unit 150 may register the determination result by outputting the determination result to the storage unit 160.
  • the determination unit 150 may determine whether to execute a determination process for determining whether or not the human body P10 is reflected in the far-infrared image Im10 according to the detection result output from each detection unit. Good.
  • the determination unit 150 may execute a determination process on the positional relationship between the face candidate area and the body candidate area.
  • the determination unit 150 does not have to execute the determination process for the positional relationship between the face candidate region and the body candidate region.
  • the determination unit 150 determines the position between the face candidate area and the face part candidate area when at least one of the face part candidate areas is detected. You may perform the determination process about a relationship. On the other hand, when at least one of the face candidate area and the body candidate area is not detected or when neither of the face part candidate areas is detected, the determination unit 150 determines whether the face candidate area and the face part candidate area are detected. It is not necessary to execute the determination process for the positional relationship between the two.
  • both the face candidate area and the body candidate area are detected, and at least one of the face part candidate areas is detected. Then, a determination process for the positional relationship between the face candidate region and the body candidate region and a determination process for the positional relationship between the face candidate region and the face part candidate region are executed.
  • a specific method for detecting a candidate area is not limited to such an example.
  • the image processing apparatus 10 performs image processing such as template matching according to the object on the far-infrared image, so that a plurality of candidates indicating temperatures within different set temperature ranges from the far-infrared image are displayed. An area may be detected.
  • the image processing apparatus 10 may detect a plurality of candidate regions indicating temperatures in different set temperature ranges from the far-infrared image by using a prediction model learned in advance.
  • a prediction model can be constructed according to an existing algorithm such as boosting or a support vector machine by using a pair of prepared far-infrared images and candidate region detection results, for example.
  • the image processing apparatus 10 converts the pixel value of each pixel of each far-infrared image into a likelihood that the temperature indicated by each pixel is the assumed temperature of each object, and converts the pixel value after the conversion.
  • image processing such as template matching on the image
  • a plurality of candidate regions indicating temperatures in different set temperature ranges may be detected.
  • the pixel value of each pixel of the far-infrared image can be converted into the likelihood by using a probability density function according to a Gaussian distribution whose median value matches the assumed temperature of each object.
  • a probability density function according to a Gaussian distribution in which the median coincides with the median of the assumed temperatures of the respective objects can be used.
  • the image Im12 shown in FIG. 10 is the face value of each pixel of the far-infrared image Im10 shown in FIG. It is an image obtained by converting into likelihood which is C11 assumption temperature.
  • images of hatching indicate the difference in likelihood. The darker the hatched area, the lower the likelihood.
  • FIG. 11 is a flowchart illustrating a first example of the flow of processing performed by the image processing apparatus 10 according to the first application example. The process illustrated in FIG. 11 may be executed for each frame, for example.
  • the image processing apparatus 10 captures the far-infrared image Im10 (step S601).
  • the face detection unit 141 executes a detection process for detecting a face candidate region from the captured far-infrared image Im10 (step S610), and outputs the detection result to the determination unit 150.
  • the determination unit 150 determines whether a face candidate area is detected (step S603). If it is not determined that a face candidate area has been detected (step S603 / NO), the process returns to step S601.
  • step S603 if it is determined that a face candidate area has been detected (step S603 / YES), the determination result is output from the determination unit 150 to the body detection unit 142, and the body detection unit 142 performs detection processing for detecting the body candidate area. This is executed (step S630), and the detection result is output to the determination unit 150. Then, the determination unit 150 determines whether or not a torso candidate area has been detected (step S605). If it is not determined that the body candidate region has been detected (step S605 / NO), the process returns to step S601.
  • step S605 when it is determined that a torso candidate area has been detected (step S605 / YES), the determination unit 150 determines whether the positional relationship between the face candidate area and the torso candidate area is valid (step S607). ). If the positional relationship between the face candidate region and the trunk candidate region does not substantially match the positional relationship defined by modeling, the positional relationship between the face candidate region and the trunk candidate region is not determined to be valid (step (S607 / NO), the process returns to step S601.
  • step S607 / YES the determination unit 150 registers the determination result in the storage unit 160 (step S609), and the process illustrated in FIG. 11 ends.
  • FIG. 12 is a flowchart illustrating an example of a flow of detection processing of each of the face candidate area and the body candidate area performed by the image processing apparatus 10 according to the first application example.
  • the face detection unit 141 extracts a partial region from the far-infrared image Im10 (step S611 (step S631)).
  • the face detection unit 141 calculates a score value for the extracted partial region (step S613 (step S633)).
  • the face detection unit 141 compares the calculated score value with a threshold value (step S615 (step S635)).
  • the face detection unit 141 body detection unit 142) determines whether or not the extraction of the partial region has been completed for the entire region of the far-infrared image Im10 (step S617 (step S637)).
  • step S617 / NO If it is not determined that the extraction of the partial region has been completed for all regions of the far-infrared image Im10 (step S617 / NO (step S637 / NO)), the process returns to step S611 (step S631). On the other hand, when it is determined that the extraction of the partial region has been completed for the entire region of the far-infrared image Im10 (step S617 / YES (step S637 / YES)), the processing illustrated in FIG.
  • FIG. 13 is a flowchart illustrating a second example of the flow of processing performed by the image processing apparatus 10 according to the first application example.
  • the positional relationship is more appropriate.
  • the processing in the case where it is determined that it is determined (step S607 / YES) is different.
  • the flow of processing when it is determined that the positional relationship is appropriate will be described.
  • step S ⁇ b> 607 when it is determined in the determination process in step S ⁇ b> 607 that the positional relationship between the face candidate region and the body candidate region is appropriate (step S ⁇ b> 607 / YES), the determination is made.
  • the determination result is output from the unit 150 to the eye detection unit 143, the glasses detection unit 144, and the hair detection unit 145.
  • the eye detection unit 143, the eyeglass detection unit 144, and the hair detection unit 145 execute a detection process for detecting the face part candidate region (step S650), and output the detection result to the determination unit 150.
  • the determination unit 150 determines whether or not at least one face part candidate region has been detected (step S611). If it is not determined that at least one face part candidate area has been detected (step S611 / NO), the process returns to step S601.
  • step S611 / YES determines whether the positional relationship between the face candidate area and the face part candidate area is valid. Determination is made (step S613). If the positional relationship between the face candidate region and the face part candidate region does not substantially match the positional relationship defined by modeling, the positional relationship between the face candidate region and the face part candidate region is not determined to be valid. (Step S613 / NO), it returns to the process of step S601. On the other hand, if the positional relationship between the face candidate region and the face part candidate region substantially matches the positional relationship defined by modeling, the positional relationship between the face candidate region and the face part candidate region is determined to be appropriate. Then (step S613 / YES), the determination unit 150 registers the determination result in the storage unit 160 (step S609), and the process illustrated in FIG. 13 ends.
  • FIG. 14 is a flowchart illustrating an example of a flow of face part candidate area detection processing performed by the image processing apparatus 10 according to the first application example.
  • the eye detection unit 143 extracts a partial region from the far-infrared image Im10 (step S651).
  • the eye detection unit 143 calculates a score value for the extracted partial region (step S653).
  • the eye detection unit 143 compares the calculated score value with a threshold value (step S655).
  • the eye detection unit 143 determines whether or not the extraction of the partial region has been completed for the entire region of the far infrared image Im10 (step S657). If it is not determined that the extraction of the partial region has been completed for the entire region of the far-infrared image Im10 (step S657 / NO), the process returns to step S651.
  • the spectacles detection unit 144 extracts the partial region from the far infrared image Im10 (step S657). S659). Next, the spectacles detection unit 144 calculates a score value for the extracted partial region (step S661). Next, the eyeglass detection unit 144 compares the calculated score value with a threshold value (step S663). Then, the spectacles detection unit 144 determines whether or not the extraction of the partial region has been completed for the entire region of the far-infrared image Im10 (step S665). If it is not determined that the extraction of the partial region has been completed for the entire region of the far-infrared image Im10 (step S665 / NO), the process returns to step S659.
  • the hair detection unit 145 extracts the partial region from the far infrared image Im10 (step S665). S667). Next, the hair detection unit 145 calculates a score value for the extracted partial region (step S669). Next, the hair detection unit 145 compares the calculated score value with a threshold value (step S671). Then, the hair detection unit 145 determines whether or not the extraction of the partial region has been completed for the entire region of the far-infrared image Im10 (step S673).
  • step S673 / NO If it is not determined that the extraction of the partial region has been completed for the entire region of the far-infrared image Im10 (step S673 / NO), the process returns to step S667. On the other hand, when it is determined that the extraction of the partial region is completed for the entire region of the far-infrared image Im10 (step S673 / YES), the process illustrated in FIG.
  • the order of detection processing by each detection unit is not limited to this example. .
  • the detection process by each detection part may be performed in parallel.
  • the second application example is an example in which the technology according to the present disclosure is applied to detection of a vehicle as a subject.
  • the image processing apparatus 20 according to the second application example determines whether a vehicle is reflected as a predetermined subject in the far-infrared image.
  • FIG. 15 is a block diagram illustrating an example of a functional configuration realized by linking the components of the image processing apparatus 20 with each other.
  • the image processing apparatus 20 includes a muffler detection unit 241, a passage unit detection unit 242, a non-passing unit detection unit 243, a determination unit 250, and a storage unit 260.
  • the muffler detecting unit 241, the passing unit detecting unit 242, and the non-passing unit detecting unit 243 in the second application example correspond to a plurality of detecting units according to the present disclosure.
  • the determination unit 250 and the storage unit 260 in the second application example correspond to the determination unit 50 and the storage unit 60 of the image processing apparatus 1 described with reference to FIG.
  • the storage unit 260 stores data referred to in each process performed by the image processing apparatus 20.
  • the storage unit 260 stores information used in the candidate area detection process performed by each of the muffler detection unit 241, the passage unit detection unit 242, and the non-passing unit detection unit 243.
  • the storage unit 260 stores modeling used in the determination process performed by the determination unit 250.
  • the storage unit 260 stores a later-described data table D20 illustrated in FIG. 17, and the data table D20 includes various types of information.
  • the muffler detection unit 241 detects a muffler candidate area that is a candidate for the vehicle muffler from the far-infrared image as a candidate area.
  • the passage detection unit 242 detects, as a candidate region, a passage candidate region that is a candidate in which a portion where a vehicle wheel has passed on the road surface is reflected from the far-infrared image.
  • the non-passing part detection part 243 detects the non-passing part candidate area
  • Each detection unit according to the second application example includes a first extraction unit 41a (second extraction unit 42a) in the first detection unit 41 (second detection unit 42) of the image processing apparatus 1 described with reference to FIG.
  • the first score calculation unit 41b (second score calculation unit 42b) and the first score comparison unit 41c (second score comparison unit 42c) have functions. Specifically, each detection unit according to the second application example extracts and extracts a partial region from the far-infrared image, similarly to each detection unit of the image processing apparatus 1 described with reference to FIG. The score value for the partial area is calculated, and the calculated score value is compared with the threshold value.
  • each detection unit according to the second application example detects a corresponding partial region as a candidate region when the score value is higher than the threshold value, and selects a corresponding partial region as a candidate when the score value is equal to or less than the threshold value. Do not detect as a region.
  • Each detection unit according to the second application example outputs a detection result to the determination unit 250.
  • FIG. 16 is an explanatory diagram showing an example of a far-infrared image Im20 in which the vehicle P20 is reflected.
  • the far-infrared image Im20 shows a vehicle P20 as a subject traveling on the road surface.
  • the image processing apparatus 20 according to the second application example is mounted on, for example, a succeeding vehicle of the vehicle P20, and the infrared camera 102 may be provided on the front side of the succeeding vehicle.
  • the vehicle P20 immediately before the vehicle on which the infrared camera 102 is provided is the subject to be detected.
  • the target object is a muffler C21 of the vehicle P20, a passage part C22 that is a part through which the vehicle wheel has passed on the road surface, and a part in which the vehicle wheel has not passed on the road surface.
  • a non-passing portion C23 is shown.
  • each detection unit according to the second application example can detect a candidate area of a candidate in which a target object appears in such a far-infrared image Im20.
  • the far-infrared image Im20 includes, for example, a vehicle group E21 positioned relatively forward of the road surface, a forest E22 positioned on both sides of the road surface, and a sky E23 positioned above. It is reflected.
  • shades of shade indicate differences in pixel values. The darker the hatched area is, the lower the pixel value is. In other words, the darker the hatched area, the lower the temperature indicated by the area.
  • each detection unit extracts a partial region having a predetermined size from the far-infrared image Im20. Specifically, each detection unit can set the size of the partial region by referring to the data table D20 stored in the storage unit 260.
  • the data table D20 for example, as shown in FIG. 17, information indicating each object and information indicating a dimension corresponding to each object are associated with each other.
  • the muffler detection unit 241 sets a dimension of “diameter 6 to 10 cm” corresponding to the muffler C21 that is the object as a dimension of the partial region.
  • the passage detection unit 242 sets a dimension of “line width 15 to 25 cm, line interval 1.5 to 2.5 m” corresponding to the passage C22 as the object as the dimension of the partial region.
  • the non-passing-portion detection unit 243 sets an arbitrary dimension (for example, a width of 50 cm) as the dimension of the partial region for the non-passing part C23 that is the object.
  • each detection part calculates the score value about a partial area based on the probability density function corresponding to the assumption temperature of a target object.
  • each detection unit can generate a probability density function corresponding to the assumed temperature of the object by referring to the data table D20 stored in the storage unit 260.
  • the data table D20 for example, as shown in FIG. 17, information indicating each object and information indicating an assumed temperature of each object are linked.
  • information indicating a probability density function corresponding to each object may be stored in the storage unit 260, and in this case, each detection unit may acquire information indicating the probability density function from the storage unit 260.
  • the estimated temperature of each target object shown in FIG. 17 is a value when the environmental temperature is 25 ° C., for example.
  • the storage unit 260 may store a data table for each of the environmental temperatures, and the assumed temperature of each object in each data table may be set according to the corresponding environmental temperature.
  • the muffler detection unit 241 calculates the score value by setting the assumed temperature of the muffler C21 that is the object as “100 ° C. or higher”. Moreover, the passage part detection part 242 calculates a score value by setting the assumed temperature of the passage part C22, which is an object, to “a temperature higher than the non-passage part temperature by 10 ° C.”. Further, the non-passing-portion detection unit 243 calculates the score value by setting the assumed temperature of the non-passing portion C23 that is the object as “20 ° C. to 30 ° C.”. In addition, the temperature shown by the non-passing part candidate area
  • Each detection unit compares the calculated score value with a threshold value. For example, the score value takes a value between 0 and 1, and the higher the score value, the higher the possibility that the temperature indicated by the partial region is the assumed temperature of the object.
  • each detection unit repeats the extraction of the partial region so as to scan the entire region of the far-infrared image Im20. Therefore, each detection unit calculates a plurality of score values corresponding to a plurality of partial areas extracted repeatedly.
  • the non-passing-portion detection unit 243 may extract a partial region only for a predetermined position in the far-infrared image Im20.
  • the predetermined position is a position where the possibility that a non-passing part is reflected in the far-infrared image Im20 is relatively high, and may be, for example, a lower end part in the far-infrared image Im20.
  • the non-passing-portion detection unit 243 calculates one score value corresponding to the partial region extracted for the predetermined position.
  • An example of a combination of maximum values of the plurality of score values for each detection unit is shown in FIG.
  • the maximum score value for each of the muffler detection unit 241, the passage unit detection unit 242, and the non-passage unit detection unit 243 is “0. 9 ”,“ 0.6 ”, and“ 0.8 ”.
  • each detection unit detects a corresponding partial region as a candidate region when the score value is higher than the threshold value.
  • the detection unit does not detect the corresponding partial region as a candidate region. Therefore, the case where the maximum score value for each detection unit is higher than the threshold corresponds to the case where a candidate region is detected by each detection unit.
  • the case where the maximum score value for each detection unit is equal to or less than the threshold value corresponds to the case where no candidate region is detected by each detection unit.
  • the muffler candidate area, the passing part candidate area, and the non-passing part candidate area are the muffler detecting unit 241, the passing part detecting unit 242, and the non-passing. Each of them is detected by the part detector 243.
  • the determination unit 250 shows the vehicle P20 as a predetermined subject in the far-infrared image Im20 based on the positional relationship between the detected muffler candidate region and the passing portion candidate region and modeling. It is determined whether or not.
  • the modeling is an index used for determining whether or not the vehicle P20 is reflected in the far-infrared image Im20.
  • the modeling defines the positional relationship between the muffler candidate area and the passage candidate area when the vehicle P20 appears in the far-infrared image Im20.
  • the determination unit 250 determines the position between the muffler candidate region and the passage portion candidate region when the positional relationship between the muffler candidate region and the passage portion candidate region substantially matches the positional relationship defined by the modeling. Determine that the relationship is valid. And the determination part 250 determines with the vehicle P20 being reflected in the far-infrared image Im20, having determined that the positional relationship between a muffler candidate area
  • the determination unit 250 refers to the data table D20 stored in the storage unit 260 to determine whether or not the positional relationship between the muffler candidate area and the passage part candidate area is appropriate. obtain.
  • the data table D20 for example, as shown in FIG. 17, information indicating each object and information indicating a relative position of each object with respect to another object when the vehicle P20 is reflected in the far-infrared image Im20. are linked. Such a relative position is defined by modeling in the second application example.
  • the non-passing part candidate region is basically detected in order to calculate the assumed temperature of the passing part C22, the relative position of the non-passing part C23 with respect to other objects is as shown in FIG. It may not be specified in the data table D20.
  • the determination unit 250 determines that the positional relationship between the muffler candidate area and the passage part candidate area is appropriate when the muffler candidate area is located above the passage part candidate area. In other words, the determination unit 250 determines that the positional relationship between the muffler candidate region and the passage candidate region is appropriate when the passage candidate region is located below the muffler candidate region.
  • the far-infrared image Im20 is displayed on the vehicle P20 based on the positional relationship between the muffler candidate region and the passage candidate region indicating temperatures within the different set temperature ranges and the modeling. Whether or not is reflected is determined.
  • the muffler C21 and the passage part C22 exist corresponding to the vehicle P20 and have a positional relationship defined by modeling. Therefore, a more likely determination result can be obtained in determining whether or not the vehicle P20 is reflected in the far-infrared image Im20. Therefore, the detection accuracy of the vehicle P20 as a subject can be improved without using another device different from the infrared camera 102. Accordingly, it is possible to improve the detection accuracy of the vehicle P20 as a subject at a lower cost.
  • the determination unit 250 determines whether the positional relationship between the muffler candidate area and the passage candidate area is appropriate for all combinations of the muffler candidate area and the passage candidate area. Execute. When there are a plurality of combinations of muffler candidate areas and passing part candidate areas that are determined to have an appropriate positional relationship, the determination unit 250 includes the vehicle P20 corresponding to each of the plurality of combinations in the far-infrared image. It can be determined that is reflected.
  • the determination unit 250 may register the determination result by outputting the determination result to the storage unit 260.
  • the determination unit 250 may determine whether to execute a determination process for determining whether or not the vehicle P20 is reflected in the far-infrared image Im20 according to the detection result output from each detection unit. Good.
  • the determination unit 250 performs a determination process on the positional relationship between the muffler candidate area and the passage part candidate area when any of the muffler candidate area, the passage part candidate area, and the non-passing part candidate area is detected. May be executed. On the other hand, when at least one of the muffler candidate area, the passing part candidate area, and the non-passing part candidate area is not detected, the determination unit 250 determines the positional relationship between the muffler candidate area and the passing part candidate area. The determination process may not be executed.
  • the determination unit 250 determines the muffler candidate area and the passing part candidate area. A determination process for the positional relationship between the two is executed.
  • the specific method for detecting the candidate area is not limited to the example as in the first application example.
  • region were detected above, the example which detected the vehicle P20 based on the positional relationship between a muffler candidate area
  • the detection of the vehicle P20 can also be realized by detecting candidate regions for other objects. For example, a candidate area for the backlight or tire of the vehicle P20 as an object is detected, and the vehicle P20 is detected based on the positional relationship between the candidate area and another candidate area and modeling. obtain.
  • a combination of such candidate areas for example, a combination of a backlight candidate area that is a candidate area for a backlight and a tire candidate area that is a candidate area for a tire, a combination of a tire candidate area and a passage candidate area, etc.
  • Various combinations can be applied.
  • information indicating the temperature according to the type of backlight for example, a halogen light, an LED (light emitting diode), or the like
  • the storage unit 260 can be stored in the storage unit 260 as the assumed temperature of the backlight.
  • FIG. 19 is a flowchart illustrating an example of a flow of processing performed by the image processing apparatus 20 according to the second application example. The process shown in FIG. 19 can be executed for each frame, for example.
  • the image processing apparatus 20 captures the far-infrared image Im20 (step S701).
  • the non-passing part detection unit 243 executes a detection process for detecting a non-passing part candidate region from the captured far-infrared image Im20 (step S710), and outputs the detection result to the determination unit 250.
  • the determination unit 250 determines whether or not a non-passing portion candidate area has been detected (step S703). If it is not determined that the non-passing part candidate area has been detected (step S703 / NO), the process returns to step S701.
  • step S703 if it is determined that a non-passing part candidate region has been detected (step S703 / YES), the determination result is output from the determination unit 250 to the passing part detection unit 242, and the passing part detection unit 242 The detection process to detect is performed (step S730), and a detection result is output to the determination part 250.
  • the determination unit 250 determines whether or not a passing portion candidate area has been detected (step S705). If it is not determined that a passage candidate area has been detected (step S705 / NO), the process returns to step S701.
  • step S705 when it is determined that a passing portion candidate area has been detected (step S705 / YES), a determination result is output from the determining section 250 to the muffler detecting section 241, and the muffler detecting section 241 detects a muffler candidate area. (Step S750), and the detection result is output to the determination unit 250. Then, the determination unit 250 determines whether a muffler candidate area is detected (step S707). If it is not determined that a muffler candidate area has been detected (step S707 / NO), the process returns to step S701.
  • step S707 determines whether the positional relationship between the muffler candidate area and the passage part candidate area is appropriate (step S707). S709). If the positional relationship between the muffler candidate region and the passing portion candidate region does not substantially match the positional relationship defined by modeling, the positional relationship between the muffler candidate region and the passing portion candidate region is not determined to be valid. (Step S709 / NO), the process returns to Step S701.
  • step S709 if the positional relationship between the muffler candidate region and the passing portion candidate region substantially matches the positional relationship defined by the modeling, the positional relationship between the muffler candidate region and the passing portion candidate region is determined to be appropriate. Then (step S709 / YES), the determination unit 250 registers the determination result in the storage unit 260 (step S711), and the process illustrated in FIG. 19 ends.
  • the order of the detection process (step S730) for the passage candidate area and the detection process (step S750) for the muffler candidate area is not limited to the example. Moreover, the detection process (step S730) for the passage candidate area and the detection process (step S750) for the muffler candidate area may be performed in parallel.
  • FIG. 20 is a flowchart illustrating an example of a flow of detection processing of each of a non-passing part face candidate area, a passing part candidate area, and a muffler candidate area performed by the image processing apparatus 20 according to the second application example.
  • the non-passing-portion detection unit 243 extracts a partial region from the far-infrared image Im20 (steps S711 (steps S731, S751)). ).
  • the non-passing part detection part 243 calculates the score value about the extracted partial area (step S713 (steps S733, S753)).
  • the non-passing-portion detection unit 243 compares the calculated score value with a threshold value (steps S715 (steps S735 and S755)).
  • the non-passing part detection unit 243 determines whether or not the extraction of the partial region has been completed for the entire region of the far infrared image Im20 (step S717 (step S717 (step S717)). S737, S757)).
  • step S717 / NO steps S737 / NO, S757 / NO
  • step S711 steps S731, S735) Return to.
  • step S717 / YES step S737 / YES, S757 / YES
  • the non-passing-portion detection unit 243 may extract a partial region only for a predetermined position in the far-infrared image Im20. In that case, it is determined whether or not the extraction of the partial region is completed for all the regions of the far-infrared image Im20 from the flow of the detection processing for the non-passing portion candidate regions by the non-passing portion detection unit 243 (step S717). Is omitted.
  • the third application example is an example in which the technique according to the present disclosure is applied to detection of an abnormal part that is an affected part in an abnormal state in a laparotomy part of a patient as a subject.
  • the abdominal part is an example of an incision part, and the technology according to the present disclosure can be applied to, for example, detection of an abnormal part that is an affected part in an abnormal state in an open chest part of a patient as a subject.
  • the image processing device 30 according to the third application example determines whether or not an abnormal part is reflected as a predetermined subject in the far-infrared image.
  • FIG. 21 is a block diagram illustrating an example of a functional configuration realized by linking the components of the image processing apparatus 30 with each other.
  • the image processing apparatus 30 includes a body surface detection unit 341, an abdominal part detection unit 342, an abnormal part detection unit 343, a determination unit 350, and a storage unit 360.
  • the body surface detection unit 341, the abdominal part detection unit 342, and the abnormal part detection unit 343 in the third application example correspond to a plurality of detection units according to the present disclosure.
  • the determination unit 350 and the storage unit 360 in the third application example correspond to the determination unit 50 and the storage unit 60 of the image processing apparatus 1 described with reference to FIG.
  • the storage unit 360 stores data referred to in each process performed by the image processing apparatus 30.
  • the storage unit 360 stores information used in the candidate area detection process performed by each of the body surface detection unit 341, the abdominal part detection unit 342, and the abnormal part detection unit 343.
  • the storage unit 360 stores modeling used in the determination process performed by the determination unit 350.
  • the storage unit 360 stores a later-described data table D30 illustrated in FIG. 24, and the data table D30 includes various information.
  • the body surface detection unit 341 detects a body surface candidate region that is a candidate in which the patient's body surface is reflected from the far-infrared image as a candidate region. Further, the laparotomy part detection unit 342 detects, as candidate areas, laparotomy part candidate areas that are candidates for showing the patient's laparotomy part from the far-infrared image. Moreover, the abnormal part detection part 343 detects the abnormal part candidate area
  • the laparotomy part is an example of an incision part as described above.
  • the laparotomy candidate region corresponds to an incision portion candidate region that is a candidate for showing an incision.
  • the laparotomy part detection unit 342 corresponds to an incision part detection part that detects an incision part candidate area as a candidate area from a far-infrared image.
  • Each detection unit according to the third application example includes a first extraction unit 41a (second extraction unit 42a) in the first detection unit 41 (second detection unit 42) of the image processing apparatus 1 described with reference to FIG.
  • the first score calculation unit 41b (second score calculation unit 42b) and the first score comparison unit 41c (second score comparison unit 42c) have functions. Specifically, each detection unit according to the third application example extracts and extracts a partial region from the far-infrared image in the same manner as each detection unit of the image processing apparatus 1 described with reference to FIG.
  • the score value for the partial area is calculated, and the calculated score value is compared with the threshold value.
  • each detection unit according to the third application example detects a corresponding partial region as a candidate region when the score value is higher than a threshold value, and selects a corresponding partial region as a candidate when the score value is equal to or less than the threshold value. Do not detect as a region.
  • Each detection unit according to the third application example outputs a detection result to the determination unit 350.
  • FIG. 22 is an explanatory diagram showing a state of surgery using the microscope apparatus 31.
  • FIG. 22 schematically shows a state in which the microscope device 31 images the surgical part of the patient 37 on the patient bed 33 in the operation.
  • the part of the patient 37 excluding the surgical site is covered with a nonwoven fabric 35.
  • a camera 31 a is provided at the distal end of the microscope apparatus 31, and the camera 31 a images the surgical part of the patient 37.
  • the microscope apparatus 31 includes a plurality of rotatable arm portions, and the position and posture of the camera 31a can be adjusted by appropriately rotating the plurality of arm portions.
  • the microscope device 31 is connected to a display device (not shown), and an image of the surgical site is displayed on the display device, so that the surgeon can perform an operation while checking the image.
  • the microscope device 31 includes a control device (not shown).
  • the image processing apparatus 30 according to the third application example can be applied to such a microscope apparatus 31, for example. In that case, the camera 31 a corresponds to the infrared camera 102.
  • FIG. 23 is an explanatory diagram showing an example of a far-infrared image Im30 in which the abnormal part P30 in the laparotomy part C32 of the patient is reflected.
  • the far-infrared image Im30 shows an abnormal part P30 as a subject.
  • the patient's body surface C31 and the patient's abdominal part C32 are shown as objects.
  • the abnormal part P30 in the laparotomy part C32 corresponds to a subject to be detected and also corresponds to an object in detection of a candidate region by the abnormal part detection unit 343.
  • each detection unit can detect a candidate area of a candidate in which a target object appears in such a far-infrared image Im30.
  • the far-infrared image Im30 includes, for example, a plurality of instruments E31 such as forceps that support the edge of the abdominal part C32.
  • instruments E31 such as forceps that support the edge of the abdominal part C32.
  • shades of shade indicate differences in pixel values. The darker the hatched area is, the lower the pixel value is. In other words, the darker the hatched area, the lower the temperature indicated by the area.
  • each detection unit extracts a partial region having a predetermined size from the far-infrared image Im30. Specifically, each detection unit can set the size of the partial region by referring to the data table D30 stored in the storage unit 360.
  • the data table D30 for example, as shown in FIG. 24, information indicating each object and information indicating a dimension corresponding to each object are linked.
  • the body surface detection unit 341 sets the entire image as the size of the partial region for the body surface C31 that is the object. Further, the laparotomy part detection unit 342 sets a dimension of “diameter 10 to 30 cm” corresponding to the laparotomy part C32 that is the object as the dimension of the partial region. In addition, the abnormal part detection unit 343 sets a dimension of “diameter 1 to 5 cm” corresponding to the abnormal part P30 that is the object as a dimension of the partial region.
  • each detection part calculates the score value about a partial area based on the probability density function corresponding to the assumption temperature of a target object.
  • each detection unit can generate a probability density function corresponding to the assumed temperature of the object by referring to the data table D30 stored in the storage unit 360.
  • the data table D30 for example, as illustrated in FIG. 24, information indicating each target object and information indicating an assumed temperature of each target object are associated with each other.
  • information indicating the probability density function corresponding to each object may be stored in the storage unit 360, and in this case, each detection unit may acquire information indicating the probability density function from the storage unit 360.
  • a data table may be stored in the storage unit 360 for each of the environmental temperatures, and the estimated temperature of each object in each data table corresponds to It can be set according to the environmental temperature.
  • the body surface detection unit 341 calculates the score value by setting the assumed temperature of the body surface C31 that is the object as “35 ° C.”. Further, the laparotomy part detection unit 342 calculates the score value by setting the assumed temperature of the laparotomy part C32 as the object as “37 ° C.”. In addition, the abnormal part detection unit 343 calculates a score value by setting the assumed temperature of the abnormal part P30, which is the object, to “39 ° C.”. Since the abnormal part P30 may be swollen or bleeding, it is assumed that the temperature of the abnormal part P30 is higher than that of the abdominal part C32.
  • Each detection unit compares the calculated score value with a threshold value. For example, the score value takes a value between 0 and 1, and the higher the score value, the higher the possibility that the temperature indicated by the partial region is the assumed temperature of the object.
  • each detection unit repeats the extraction of the partial region so as to scan the entire region of the far-infrared image Im30. Therefore, the laparotomy part detection unit 342 and the abnormal part detection unit 343 calculate a plurality of score values corresponding to a plurality of partial regions that are repeatedly extracted. Note that, as described above, when the entire image is set as the size of the partial region, the body surface detection unit 341 does not perform partial region extraction for the far infrared image Im30 a plurality of times. An example of a combination of the maximum value among the plurality of score values for the laparotomy part detection unit 342 and the abnormal part detection unit 343 and the score value for the body surface detection unit 341 is shown in FIG.
  • the maximum score value for each of the abdominal part detection unit 342 and the abnormal part detection unit 343 is “1.0” and “1.0”.
  • the score value for the body surface detection unit 341 is “0.8”.
  • each detection unit detects a corresponding partial region as a candidate region when the score value is higher than the threshold value.
  • the detection unit does not detect the corresponding partial region as a candidate region. Therefore, when the maximum score value for each of the laparotomy part detection unit 342 and the abnormal part detection part 343 is higher than the threshold value, the candidate area is detected by each of the laparotomy part detection part 342 and the abnormal part detection part 343. Corresponds to the case.
  • the maximum score value for each of the laparotomy part detection unit 342 and the abnormal part detection part 343 is equal to or less than the threshold value, the candidate region is detected by each of the laparotomy part detection part 342 and the abnormal part detection part 343. Corresponds to the case where there was not.
  • the body surface candidate area, the laparotomy part candidate area, and the abnormal part candidate area are the body surface detection unit 341, the laparotomy part detection unit 342, and the abnormality. Each of them is detected by the part detector 343.
  • the determination unit 350 performs predetermined processing on the far-infrared image Im30 based on the positional relationship between the detected body surface candidate area, the laparotomy candidate area, and the abnormal part candidate area, and modeling. It is determined whether or not the abnormal part P30 is reflected as the subject.
  • the modeling is an index used to determine whether or not the abnormal part P30 is reflected in the far-infrared image Im30.
  • the modeling defines the positional relationship among the body surface candidate region, the abdominal region candidate region, and the abnormal portion candidate region when the abnormal portion P30 is reflected in the far-infrared image Im30.
  • the determination unit 350 determines that the positional relationship among the body surface candidate area, the laparotomy candidate area, and the abnormal part candidate area is appropriate, and the abnormal part P30 is reflected in the far-infrared image Im30. Is determined.
  • the determination unit 350 refers to the data table D30 stored in the storage unit 360, so that the positional relationship among the body surface candidate area, the laparotomy candidate area, and the abnormal part candidate area is appropriate. It can be determined whether or not there is.
  • the data table D30 for example, as shown in FIG. 24, information indicating each target object and the relative position of each target object with respect to the other target object when the abnormal part P30 is reflected in the far-infrared image Im30 are shown. Information is linked. Such a relative position is defined by modeling in the third application example.
  • the determination unit 350 determines the body surface candidate when the outer periphery of the body surface candidate area is located outside the laparotomy candidate area and the abnormal part candidate area is located inside the laparotomy candidate area. It is determined that the positional relationship among the region, the laparotomy candidate region, and the abnormal portion candidate region is appropriate. In other words, the determination unit 350, when the laparotomy candidate region is located inside the body surface candidate region and the abnormal part candidate region is located inside the laparotomy candidate region, It is determined that the positional relationship between the region and the abnormal part candidate region is appropriate.
  • the body surface candidate area, the abdominal part candidate area, and the abnormal part candidate area that indicate temperatures within different set temperature ranges, and the modeling It is determined whether or not the abnormal part P30 is reflected in the infrared image Im30.
  • the body surface C31, the abdominal part C32, and the abnormal part P30 exist corresponding to the abnormal part P30, and have a positional relationship defined by modeling. Therefore, a more likely determination result can be obtained in determining whether or not the abnormal part P30 is reflected in the far-infrared image Im30. Therefore, the detection accuracy of the abnormal part P30 as a subject can be improved without using another device different from the infrared camera 102. Accordingly, it is possible to improve the detection accuracy of the abnormal part P30 as a subject at a lower cost.
  • the determination unit 350 for example, for all the combinations of the body surface candidate area, the laparotomy candidate area, and the abnormal part candidate area, the body surface candidate area, the laparotomy candidate area, and the abnormal part candidate area. A determination is made as to whether the positional relationship between is valid.
  • the determination unit 350 adds the plurality of combinations to the far-infrared image. It can be determined that the abnormal part P30 corresponding to each of the above is reflected.
  • the determination unit 350 notifies by outputting the determination result to the display 108. Thereby, for example, a warning is given to the surgeon.
  • the determination unit 350 determines whether or not to execute a determination process for determining whether or not the abnormal part P30 is reflected in the far-infrared image Im30 according to the detection result output from each detection unit. Also good.
  • the determination unit 350 determines whether the body surface candidate area, the abdominal part candidate area, and the abnormal part candidate area are You may perform the determination process about positional relationship. On the other hand, if at least one of the body surface candidate area, the laparotomy candidate area, and the abnormal part candidate area is not detected, the determination unit 350 detects the body surface candidate area, the laparotomy part candidate area, and the abnormal part candidate area. It is not necessary to execute the determination process for the positional relationship between the two.
  • the determination unit 350 determines the body surface candidate area and the laparotomy candidate. A determination process for the positional relationship between the region and the abnormal part candidate region is executed.
  • a specific method for detecting a candidate area is not limited to such an example as in the first application example and the second application example.
  • FIG. 26 is a flowchart illustrating an example of a flow of processing performed by the image processing apparatus 30 according to the third application example. The process illustrated in FIG. 26 may be executed for each frame, for example.
  • the image processing apparatus 30 captures the far-infrared image Im30 (step S801).
  • the body surface detection unit 341 executes detection processing for detecting a body surface candidate region from the captured far-infrared image Im30 (step S810), and outputs the detection result to the determination unit 350.
  • the determination unit 350 determines whether or not a body surface candidate region has been detected (step S803). If it is not determined that the body surface candidate area has been detected (step S803 / NO), the process returns to step S801.
  • step S803 / YES when it is determined that a body surface candidate region has been detected (step S803 / YES), a determination result is output from the determination unit 350 to the laparotomy detection unit 342, and the laparotomy detection unit 342 detects the laparotomy candidate region.
  • the detection process is executed (step S830), and the detection result is output to the determination unit 350.
  • the determination unit 350 determines whether or not a laparotomy candidate region has been detected (step S805). If it is not determined that a laparotomy candidate region has been detected (step S805 / NO), the process returns to step S801.
  • step S805 when it is determined that a laparotomy candidate region has been detected (step S805 / YES), the determination result is output from the determination unit 350 to the abnormal portion detection unit 343, and the abnormal portion detection unit 343 detects the abnormal portion candidate region.
  • the detection process is executed (step S850), and the detection result is output to the determination unit 350.
  • the determination unit 350 determines whether or not an abnormal part candidate region has been detected (step S807). If it is not determined that an abnormal part candidate area has been detected (step S807 / NO), the process returns to step S801.
  • step S807 when it is determined that an abnormal part candidate area has been detected (step S807 / YES), the determination unit 350 has a reasonable positional relationship among the body surface candidate area, the abdominal part candidate area, and the abnormal part candidate area. Whether or not (step S809).
  • step S809 When the positional relationship between the body surface candidate region, the laparotomy candidate region, and the abnormal portion candidate region does not substantially match the positional relationship defined by modeling, the body surface candidate region, the laparotomy candidate region, and the abnormal portion candidate The positional relationship between the regions is not determined to be appropriate (step S809 / NO), and the process returns to step S801.
  • step S809 when the positional relationship between the body surface candidate region, the laparotomy candidate region, and the abnormal portion candidate region substantially matches the positional relationship defined by modeling, the body surface candidate region, the laparotomy candidate region, and the abnormality
  • the positional relationship between the candidate regions is determined to be appropriate (step S809 / YES), and the determination unit 350 warns the surgeon by outputting the determination result to the display 108 (step S811).
  • the order of the detection process for the body surface candidate area (step S810), the detection process for the abdominal part candidate area (step S830), and the detection process for the abnormal part candidate area (step S850) is not limited to this example. Also, the detection process for the body surface candidate area (step S810), the detection process for the laparotomy candidate area (step S830), and the detection process for the abnormal part candidate area (step S850) may be executed in parallel. Good.
  • FIG. 27 is a flowchart illustrating an example of the flow of detection processing for each of the body surface candidate area, the abdominal part candidate area, and the abnormal part candidate area performed by the image processing apparatus 30 according to the third application example.
  • the body surface detection unit 341 (the abdominal part detection unit 342 and the abnormal part detection unit 343) extracts a partial region from the far-infrared image Im30 (steps S811 (steps S831 and S851). ).
  • the body surface detection unit 341 calculates a score value for the extracted partial region (steps S813 (steps S833 and S853)).
  • the body surface detection unit 341 (the abdominal part detection unit 342 and the abnormal part detection unit 343) compares the calculated score value with a threshold value (steps S815 (steps S835 and S855)).
  • the body surface detection unit 341 determines whether or not the extraction of the partial regions has been completed for the entire region of the far-infrared image Im30 (step S817 (step S817 (step S817)). S837, S857)). If it is not determined that the extraction of the partial region has been completed for the entire region of the far-infrared image Im30 (step S817 / NO (steps S837 / NO, S857 / NO)), the processing in step S811 (steps S831, S851) Return to.
  • step S817 / YES steps S837 / YES, S857 / YES
  • a computer program for realizing each function of the image processing apparatus 1 according to the present embodiment as described above or the image processing apparatuses 10, 20, and 30 according to each application example may be produced and mounted on a PC or the like.
  • the image processing apparatus 1 according to the present embodiment or the image processing apparatuses 10, 20, and 30 according to each application example may correspond to a computer.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • each function of the image processing apparatus 1 according to the present embodiment or the image processing apparatuses 10, 20, and 30 according to each application example may be divided by a plurality of computers, and in this case, each function of the plurality of computers. Can be realized by the above computer program.
  • a predetermined subject is included in a far-infrared image based on the positional relationship between a plurality of detection regions indicating temperatures within different set temperature ranges and modeling. It is determined whether or not it is reflected. Therefore, a more likely determination result can be obtained in determining whether or not a predetermined subject is reflected in the far-infrared image. Accordingly, the detection accuracy of the subject can be improved without using another device different from the infrared camera 102. Therefore, the detection accuracy of the subject can be improved at a lower cost.
  • each detection unit extracts a partial region having a predetermined size.
  • each detection unit may extract a partial region for a plurality of dimensions. Thereby, the partial region can be extracted more reliably regardless of the distance between the object and the infrared camera 102.
  • the technology according to the present disclosure described above can be used for various purposes. Specifically, the technology according to the present disclosure can be applied to detection of a living body other than a human body. Further, the image processing apparatus according to the present disclosure can be applied to a vehicle system, a medical system, an automatic production system, and the like.
  • a series of control processing by each device described in this specification may be realized using any of software, hardware, and a combination of software and hardware.
  • a program constituting the software is stored in advance in, for example, a storage medium (non-transitory medium) provided inside or outside each device.
  • Each program is read into a RAM at the time of execution, for example, and executed by a processor such as a CPU.
  • the number of processors that execute each program may be one or more.
  • processing described using the flowchart in this specification does not necessarily have to be executed in the order shown in the flowchart. Some processing steps may be performed in parallel. Further, additional processing steps may be employed, and some processing steps may be omitted.
  • a plurality of detection units that respectively detect detection regions indicating temperatures within different set temperature ranges from the far-infrared image; Based on the positional relationship between the detected plurality of detection regions and modeling that defines the positional relationship when the predetermined subject is reflected in the far-infrared image, the predetermined subject is included in the far-infrared image.
  • An image processing apparatus comprising: (2)
  • the set temperature range is a temperature range according to an assumed temperature of an object corresponding to each of the detection units, The detection area corresponds to a candidate area that is a candidate in which the object appears.
  • the image processing apparatus wherein the detection unit detects an area having a dimension set according to the object as the candidate area.
  • the said detection part is an image processing apparatus as described in said (2) or (3) which detects the area
  • the plurality of detection units include a face detection unit that detects a candidate face region that is a candidate for a human face in the far-infrared image as the candidate region, and a candidate in which the human torso is reflected from the far-infrared image.
  • a torso detection unit for detecting a torso candidate region as the candidate region, The determination unit determines whether the human body is reflected as the predetermined subject in the far-infrared image based on the positional relationship between the detected face candidate region and the torso candidate region and the modeling. Determine The image processing apparatus according to any one of (2) to (4). (6)
  • the plurality of detection units further include a face part detection unit that detects a face part candidate area that is a candidate in which a part related to the face is reflected from the far-infrared image as the candidate area, The determination unit determines whether the human body is reflected as the predetermined subject in the far-infrared image based on the positional relationship between the detected face candidate region and the face part candidate region and the modeling.
  • the image processing apparatus determines, The image processing apparatus according to (5).
  • the plurality of detection units detect a muffler candidate region that is a candidate in which a muffler of a vehicle is reflected from the far-infrared image as the candidate region, and wheels of the vehicle on the road surface from the far-infrared image Including a passing part detection unit that detects a passing part candidate area that is a candidate in which a part that has passed is shown as the candidate area, The determination unit determines whether the vehicle is reflected as the predetermined subject in the far-infrared image based on the positional relationship between the detected muffler candidate region and the passage candidate region and the modeling. To determine, The image processing apparatus according to any one of (2) to (4).
  • the plurality of detection units include a body surface detection unit that detects a body surface candidate region, which is a candidate that reflects a patient's body surface from the far infrared image, as the candidate region, and an incision unit of the patient from the far infrared image.
  • An incision part detection unit that detects an incision part candidate area that is a candidate to be reflected as the candidate area, and an abnormal part candidate area that is a candidate in which an abnormal part in the incision part is reflected from the far-infrared image is detected as the candidate area.
  • the determination unit adds the predetermined subject to the far-infrared image based on the positional relationship between the detected body surface candidate area, the incision part candidate area, and the abnormal part candidate area, and the modeling.
  • the image processing apparatus according to any one of (2) to (4).
  • the image processing apparatus according to any one of (1) to (8), further including an imaging unit that captures the far-infrared image.
  • the image processing device converts the far-infrared image into the far-infrared image. Determining whether the predetermined subject is shown; Including an image processing method.

Abstract

【課題】被写体の検出精度をより安価に向上させる。 【解決手段】遠赤外画像から互いに異なる設定温度範囲内の温度を示す検出領域をそれぞれ検出する複数の検出部と、検出された複数の前記検出領域間の位置関係と、前記遠赤外画像において所定の被写体が映る場合における前記位置関係を規定するモデリングとに基づいて、前記遠赤外画像に前記所定の被写体が映っているか否かを判定する判定部と、を備える、画像処理装置を提供する。

Description

画像処理装置及び画像処理方法
　本開示は、画像処理装置及び画像処理方法に関する。
　近年、物体の温度を検出する等の目的で、遠赤外画像が利用されている。遠赤外画像は、物体からの黒体放射によって発せられる遠赤外線を撮像素子により捕捉することによって生成される。このような遠赤外画像を利用することによって、夜間又は悪天候時のように可視光画像から人体等の被写体を検出することが困難な場合であっても、被写体を検出することができる場合がある。しかしながら、遠赤外画像は、可視光画像と比較して、解像度が低いこと等に起因して、被写体の検出において所望の検出精度が得られない場合があった。そこで、被写体の検出精度を向上させるための技術が提案されている。
　例えば、特許文献１では、環境の影響によりカメラの撮像画像の信頼性が低下した場合に、物体の種別判定の精度が低くなることを防止するために、車両に搭載されて該車両の周辺の第１監視範囲内に所在する物体と該車両との相対位置を検出するレーダーと、該車両に搭載されて該第１監視範囲と重複する第２監視範囲を撮像する赤外線カメラと、該レーダーによる検出データと該赤外線カメラによる撮像画像に基づいて、車両周辺に所在する物体の種別を判定する種別判定部とを備え、当該種別判定部は、該赤外線カメラによる撮像画像に基づいて種別が判定できた物体を除外した上で、種別判定ができていない物体に対して、前記レーダーの検出データに基づく種別判定を行う技術が提案されている。
特開２０１４－２０９３８７号公報
　ところで、被写体の検出に関する分野において、被写体の検出精度をより安価に向上させることが望ましいと考えられる。例えば、特許文献１に開示されている技術では、赤外線カメラに加えてレーダーが利用されている。ゆえに、被写体の検出におけるコストが増大し得る。
　そこで、本開示では、被写体の検出精度をより安価に向上させることが可能な、新規かつ改良された画像処理装置及び画像処理方法を提案する。
　本開示によれば、遠赤外画像から互いに異なる設定温度範囲内の温度を示す検出領域をそれぞれ検出する複数の検出部と、検出された複数の前記検出領域間の位置関係と、前記遠赤外画像において所定の被写体が映る場合における前記位置関係を規定するモデリングとに基づいて、前記遠赤外画像に前記所定の被写体が映っているか否かを判定する判定部と、を備える、画像処理装置が提供される。
　また、本開示によれば、遠赤外画像から互いに異なる設定温度範囲内の温度を示す検出領域をそれぞれ検出することと、検出された複数の前記検出領域間の位置関係と、前記遠赤外画像において所定の被写体が映る場合における前記位置関係を規定するモデリングとに基づいて、画像処理装置によって、前記遠赤外画像に前記所定の被写体が映っているか否かを判定することと、を含む、画像処理方法が提供される。
　以上説明したように本開示によれば、被写体の検出精度をより安価に向上させることが可能である。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果又は本明細書から把握され得る他の効果が奏されてもよい。
波長に依存する赤外線画像の多様な用途について説明するための説明図である。 本開示の実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 同実施形態に係る画像処理装置の機能構成の一例を示すブロック図である。 同実施形態に係る画像処理装置が行う処理の流れの一例を示すフローチャートである。 同実施形態に係る画像処理装置が行う各候補領域の検出処理の流れの一例を示すフローチャートである。 第１の応用例に係る画像処理装置の機能構成の一例を示すブロック図である。 人体が映る遠赤外画像の一例を示す説明図である。 記憶部に記憶されるデータテーブルの一例を示す説明図である。 各検出部によるスコア値の算出結果の一例を示す説明図である。 各画素についての画素値から尤度への変換後の画像の一例を示す説明図である。 第１の応用例に係る画像処理装置が行う処理の流れの第１の例を示すフローチャートである。 第１の応用例に係る画像処理装置が行う顔候補領域及び胴体候補領域の各々の検出処理の流れの一例を示すフローチャートである。 第１の応用例に係る画像処理装置が行う処理の流れの第２の例を示すフローチャートである。 第１の応用例に係る画像処理装置が行う顔部分候補領域の検出処理の流れの一例を示すフローチャートである。 第２の応用例に係る画像処理装置の機能構成の一例を示すブロック図である。 車両が映る遠赤外画像の一例を示す説明図である。 記憶部に記憶されるデータテーブルの一例を示す説明図である。 各検出部によるスコア値の算出結果の一例を示す説明図である。 第２の応用例に係る画像処理装置が行う処理の流れの一例を示すフローチャートである。 第２の応用例に係る画像処理装置が行う非通過部顔候補領域、通過部候補領域、及びマフラー候補領域の各々の検出処理の流れの一例を示すフローチャートである。 第３の応用例に係る画像処理装置の機能構成の一例を示すブロック図である。 顕微鏡装置を用いた手術の様子を示す説明図である。 患者の開腹部における異常部が映る遠赤外画像の一例を示す説明図である。 記憶部に記憶されるデータテーブルの一例を示す説明図である。 各検出部によるスコア値の算出結果の一例を示す説明図である。 第３の応用例に係る画像処理装置が行う処理の流れの一例を示すフローチャートである。 第３の応用例に係る画像処理装置が行う体表候補領域、開腹部候補領域、及び異常部候補領域の各々の検出処理の流れの一例を示すフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．導入
　２．画像処理装置の概要
　　２－１．ハードウェア構成
　　２－２．機能構成
　　２－３．動作
　３．応用例
　　３－１．第１の応用例
　　３－２．第２の応用例
　　３－３．第３の応用例
　４．まとめ
　＜１．導入＞
　図１は、波長に依存する赤外線画像の多様な用途について説明するための説明図である。図１の水平方向は赤外線の波長に対応し、左から右へと波長は長くなる。０．７μｍ以下の波長を有する光線は可視光線であり、人間の視覚はこの可視光線を感知する。可視光領域に隣接する波長領域は近赤外（ＮＩＲ）領域であり、ＮＩＲ領域に属する赤外線を近赤外線という。ＮＩＲ領域の波長の上限は、定義に依存して異なるものの、２．５μｍから４．０μｍの間にあるとされることが多い。ＮＩＲ領域のうち相対的に波長の長い部分は、短波長赤外（ＳＷＩＲ）領域と呼ばれることもある。近赤外線は、例えば、暗視（ｎｉｇｈｔ　ｖｉｓｉｏｎ）、透視、光通信、及び測距のために利用され得る。近赤外画像を撮像するカメラは、通常、まず近傍に赤外線を照射し、その反射光を捕捉する。ＮＩＲ領域に長波長側で隣接する波長領域は遠赤外（ＦＩＲ）領域であり、ＦＩＲ領域に属する赤外線を遠赤外線という。ＦＩＲ領域のうち相対的に波長の短い部分は、中波長赤外（ＭＷＩＲ）領域と呼ばれることもある。中波長赤外線の波長範囲では物質固有の吸収スペクトルが現れることから、中波長赤外線は、物質の同定のために利用され得る。遠赤外線は、暗視、サーモグラフィ、及び加熱のために利用され得る。物体からの黒体放射によって発せられる赤外線は、遠赤外線に相当する。そのため、遠赤外線を用いた暗視装置は、赤外線を照射せずとも、物体からの黒体放射を捕捉することにより遠赤外画像を生成することができる。なお、図１に示した波長の範囲の境界値は例に過ぎない。赤外線の分類の境界値には様々な定義が存在しており、本開示に係る技術の後述する利点は、いかなる定義の下でも享受され得る。
　物体から放射される遠赤外線のエネルギと当該物体の温度とは相関関係を有するので、当該遠赤外線を受光することによって生成された遠赤外画像から、当該遠赤外画像に映る複数の物体の温度差を検出することができる。それにより、遠赤外画像から特定の物体が映る領域を、他の領域と区別して抽出することができる。例えば、遠赤外画像に映る生体の温度は、当該生体の周囲の物体の温度と比較して、一般的に高いので、当該生体と周囲の物体の温度差を検出することによって、遠赤外画像から生体領域を抽出することができる。また、抽出された領域について、テンプレートマッチング等の画像処理を利用することによって、当該領域に対応する被写体を検出することができる。ゆえに、当該領域に対応する被写体の種類を判別することができる。
　しかしながら、遠赤外画像は、一般的に可視光画像と比較して、解像度が低い傾向にある。ゆえに、上記のような画像処理を利用した被写体の検出において、所望の検出精度が得られない場合があった。ここで、上述したように、赤外線カメラと異なる他のデバイスを用いて、遠赤外画像と異なるデータを取得し、遠赤外画像と当該データを併用することによって、被写体の検出精度を向上させることが考えられる。しかしながら、そのような方法によれば、赤外線カメラに加えて当該他のデバイスが利用されるので、コストが増大し得る。そこで、本明細書では、被写体の検出精度をより安価に向上させることができる仕組みを提案する。
　＜２．画像処理装置の概要＞
　続いて、図２～図５を参照して、本開示の実施形態に係る画像処理装置１の概要について説明する。
　　[２－１．ハードウェア構成]
　まず、図２を参照して、本実施形態に係る画像処理装置１のハードウェア構成について説明する。
　図２は、本実施形態に係る画像処理装置１のハードウェア構成の一例を示すブロック図である。図２に示したように、画像処理装置１は、赤外線カメラ１０２と、入力インタフェース１０４と、メモリ１０６と、ディスプレイ１０８と、通信インタフェース１１０と、ストレージ１１２と、プロセッサ１１４と、バス１１６と、を備える。
　　　（赤外線カメラ）
　赤外線カメラ１０２は、赤外線を利用した撮像を行い、非カラー画像である赤外線画像を得る撮像モジュールである。赤外線カメラ１０２は、本開示に係る撮像部に相当する。赤外線カメラ１０２は、具体的には、ＦＩＲ領域に属する波長を有する遠赤外線を感知する撮像素子の配列を有しており、遠赤外画像を撮像する。赤外線カメラ１０２は、例えば、一定の時間間隔で遠赤外画像を撮像する。また、赤外線カメラ１０２により得られる一連の遠赤外画像は、映像を構成してもよい。
　　　（入力インタフェース）
　入力インタフェース１０４は、ユーザが画像処理装置１を操作し又は画像処理装置１へ情報を入力するために使用される。例えば、入力インタフェース１０４は、タッチセンサ、キーボード、キーパッド、ボタン、又はスイッチなどの入力デバイスを含んでもよい。また、入力インタフェース１０４は、音声入力用のマイクロフォン及び音声認識モジュールを含んでもよい。また、入力インタフェース１０４は、ユーザにより選択される命令をリモートデバイスから受信する遠隔制御モジュールを含んでもよい。
　　　（メモリ）
　メモリ１０６は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）を含み得る記憶媒体である。メモリ１０６は、プロセッサ１１４に連結され、プロセッサ１１４により実行される処理のためのプログラム及びデータを記憶する。
　　　（ディスプレイ）
　ディスプレイ１０８は、画像を表示する画面を有する表示モジュールである。例えば、ディスプレイ１０８は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ　ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）、又はＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）などであってもよい。
　　　（通信インタフェース）
　通信インタフェース１１０は、画像処理装置１と他の装置との間の通信を仲介するモジュールである。通信インタフェース１１０は、任意の無線通信プロトコル又は有線通信プロトコルに従って、通信接続を確立する。
　　　（ストレージ）
　ストレージ１１２は、赤外線画像データを蓄積し又は画像処理において利用されるデータベースを記憶する記憶デバイスである。ストレージ１１２は、半導体メモリ又はハードディスクなどの記憶媒体を内蔵する。なお、本明細書で説明するプログラム及びデータは、画像処理装置１の外部のデータソース（例えば、データサーバ、ネットワークストレージ、又は外付けメモリなど）から取得されてもよい。
　　　（プロセッサ）
　プロセッサ１１４は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などの処理モジュールである。プロセッサ１１４は、メモリ１０６又は他の記憶媒体に記憶されるプログラムを実行することにより、被写体の検出精度をより安価に向上させることを可能とするための機能を動作させる。
　　　（バス）
　バス１１６は、赤外線カメラ１０２、入力インタフェース１０４、メモリ１０６、ディスプレイ１０８、通信インタフェース１１０、ストレージ１１２、及びプロセッサ１１４を相互に接続する。
　　[２－２．機能構成]
　続いて、図３を参照して、本実施形態に係る画像処理装置１の機能構成について説明する。なお、以下では、各機能構成が行う処理を概要的に説明しており、各機能構成が行う処理の詳細については、後述する各応用例にて、説明する。
　図３は、図２に示した画像処理装置１の構成要素が互いに連係することにより実現される機能構成の一例を示すブロック図である。図３に示したように、画像処理装置１は、第１検出部４１と、第２検出部４２と、判定部５０と、記憶部６０と、を備える。図３に示した第１検出部４１及び第２検出部４２は、本開示に係る複数の検出部に相当する。なお、本実施形態に係る画像処理装置１は、少なくとも２つの検出部を備えればよく、図３に示した検出部の数は、一例に過ぎない。
　　　（記憶部）
　記憶部６０は、画像処理装置１が行う各処理において参照されるデータを記憶する。例えば、記憶部６０は、第１検出部４１及び第２検出部４２の各々が行う候補領域の検出処理において用いられる情報を記憶する。また、記憶部６０は、判定部５０が行う判定処理において用いられるモデリングを記憶する。モデリングは、遠赤外画像に所定の被写体が映っているか否かを判定するために用いられる指標である。また、記憶部６０には、赤外線カメラ１０２によって撮像された各フレームについての遠赤外画像が記憶されてもよい。各機能部は、記憶部６０から、赤外線カメラ１０２によって撮像された遠赤外画像を取得し得る。また、各機能部は、赤外線カメラ１０２から直接的に遠赤外画像を取得してもよい。また、各機能部は、通信インタフェース１１０を介して他の装置から遠赤外画像を取得してもよい。
　　　（第１検出部）
　第１検出部４１は、遠赤外画像から第１設定温度範囲内の温度を示す第１検出領域を検出する。また、第１検出部４１は、検出結果を判定部５０へ出力する。第１設定温度範囲は、第１検出部４１に対応する第１対象物の想定温度に応じた温度範囲である。当該想定温度は、第１対象物の一般的な温度として想定される温度である。また、第１設定温度範囲内の温度を示す上記第１検出領域は、第１対象物が映る候補である第１候補領域に相当する。ゆえに、第１設定温度範囲は、遠赤外画像内において、第１対象物が映っている可能性が比較的高い領域が示す温度の範囲に相当する。このように、第１検出部４１は、換言すると、遠赤外画像から第１候補領域を検出する。第１検出部４１は、例えば、図３に示したように、第１抽出部４１ａと、第１スコア算出部４１ｂと、第１スコア比較部４１ｃと、を含む。
　第１抽出部４１ａは、遠赤外画像から部分領域を抽出し、抽出結果を第１スコア算出部４１ｂへ出力する。部分領域は、例えば、矩形であり、所定の寸法を有する。当該所定の寸法は、第１対象物に応じて設定される。具体的には、当該所定の寸法は、遠赤外画像における第１対象物が映る領域の寸法として想定される寸法と略一致する。なお、当該所定の寸法を示す情報は記憶部６０に記憶され得る。後述するように、第１検出部４１は、部分領域が所定の条件を満たす場合に、当該部分領域を第１候補領域として検出する。ゆえに、第１検出部４１は、第１対象物に応じて設定される当該所定の寸法を有する領域を、第１候補領域として、検出することができる。それにより、検出される第１候補領域に第１対象物が映っている可能性をより向上させることができる。また、第１抽出部４１ａは、例えば、遠赤外画像の全領域を走査するように部分領域の抽出を繰り返す。そして、抽出された各部分領域を示す情報を抽出結果として、第１スコア算出部４１ｂへ出力する。
　第１スコア算出部４１ｂは、抽出された部分領域によって示される温度が第１対象物の想定温度である尤度として、スコア値を算出し、算出結果を第１スコア比較部４１ｃへ出力する。第１スコア算出部４１ｂは、具体的には、第１対象物の想定温度と対応する確率密度関数に基づいて、スコア値を算出してもよい。確率密度関数は、部分領域によって示される温度と上記尤度との関係性を規定する。また、確率密度関数として、例えば、中央値が想定温度と一致するガウス分布に従った確率密度関数が用いられ得る。なお、想定温度が幅を有する場合、確率密度関数として、例えば、中央値が想定温度の中央値と一致するガウス分布に従った確率密度関数が用いられ得る。第１スコア算出部４１ｂは、具体的には、部分領域によって示される温度として、当該部分領域内の各画素の画素値に対応する温度の平均値を算出し、確率密度関数において当該平均値と対応する尤度をスコア値として、算出し得る。
　なお、確率密度関数又は想定温度を示す情報は、記憶部６０に予め記憶され得る。また、第１スコア算出部４１ｂは、想定温度に基づいて、確率密度関数を生成してもよい。また、想定温度が幅を有し、かつ、下限値又は上限値のいずれか一方のみを有する場合、当該確率密度関数として、部分領域によって示される温度が大きい又は小さいほど、上記尤度が大きくなるような関係性を規定する確率密度関数が用いられ得る。
　第１スコア比較部４１ｃは、算出されたスコア値と閾値との比較を行う。当該閾値は、赤外線カメラ１０２における複数の撮像素子間の受光感度のバラツキ等の画像処理装置１の各種設計仕様等に応じて適宜設定され得る。第１検出部４１は、スコア値が閾値より高い場合に、対応する部分領域を第１候補領域として検出する。一方、第１検出部４１は、スコア値が閾値以下である場合に、対応する部分領域を第１候補領域として検出しない。それにより、第１対象物が映る候補である第１候補領域として、より尤もらしい領域を検出することができる。
　第１検出部４１は、第１抽出部４１ａによる部分領域の抽出処理、第１スコア算出部４１ｂによるスコア値の算出処理、及び第１スコア比較部４１ｃによるスコア値と閾値との比較処理が繰り返されることによって、遠赤外画像の全領域について、第１候補領域の検出を行う。
　　　（第２検出部）
　第２検出部４２は、遠赤外画像から第１設定温度範囲と異なる第２設定温度範囲内の温度を示す第２検出領域を検出する。また、第２検出部４２は、検出結果を判定部５０へ出力する。第２設定温度範囲は、第２検出部４２に対応する第２対象物の想定温度に応じた温度範囲である。なお、第２対象物は、第１対象物と異なる対象物である。当該想定温度は、第２対象物の一般的な温度として想定される温度である。また、第２設定温度範囲内の温度を示す上記第２検出領域は、第２対象物が映る候補である第２候補領域に相当する。ゆえに、第２設定温度範囲は、遠赤外画像内のある領域に第２対象物が映っている可能性が比較的高いか否かを判定し得る温度範囲である。このように、第２検出部４２は、換言すると、遠赤外画像から第２候補領域を検出する。第２検出部４２は、例えば、図３に示したように、第２抽出部４２ａと、第２スコア算出部４２ｂと、第２スコア比較部４２ｃと、を含む。
　第２検出部４２における第２抽出部４２ａ、第２スコア算出部４２ｂ、及び第２スコア比較部４２ｃは、第１検出部４１における第１抽出部４１ａ、第１スコア算出部４１ｂ、及び第１スコア比較部４１ｃとそれぞれ対応し、同様の処理を実行し得る。具体的には、第２抽出部４２ａは、遠赤外画像から部分領域を抽出し、抽出結果を第２スコア算出部４２ｂへ出力する。第２スコア算出部４２ｂは、抽出された部分領域によって示される温度が第２対象物の想定温度である尤度として、スコア値を算出し、算出結果を第２スコア比較部４２ｃへ出力する。第２スコア比較部４２ｃは、算出されたスコア値と閾値との比較を行う。第２検出部４２は、スコア値が閾値より高い場合に、対応する部分領域を第２候補領域として検出する。一方、第２検出部４２は、スコア値が閾値以下である場合に、対応する部分領域を第２候補領域として検出しない。
　なお、第２抽出部４２ａが行う部分領域の抽出処理における、当該部分領域の寸法は、第２対象物に応じて設定され得る。また、第２スコア算出部４２ｂが行うスコア値の算出処理において用いられる確率密度関数は、第２対象物の想定温度と対応し得る。また、第２スコア比較部４２ｃが行う比較処理において用いられる閾値は、第１スコア比較部４１ｃが用いる閾値と一致してもよく、異なってもよい。
　　　（判定部）
　判定部５０は、検出された複数の検出領域間の位置関係と、モデリングとに基づいて、遠赤外画像に所定の被写体が映っているか否かを判定する。当該モデリングは、上述したように、遠赤外画像に所定の被写体が映っているか否かを判定するために用いられる指標である。具体的には、当該モデリングは、遠赤外画像において所定の被写体が映る場合における上記複数の検出領域間の位置関係を規定する。
　具体的には、判定部５０は、第１検出部４１によって検出された第１候補領域、及び第２検出部４２によって検出された第２候補領域の間の位置関係と、モデリングとに基づいて、遠赤外画像に所定の被写体が映っているか否かを判定する。ここで、第１対象物及び第２対象物は、当該所定の被写体と対応して存在し、所定の位置関係を有する。例えば、第１対象物又は第２対象物は、当該所定の被写体における各部位であってもよい。また、第１対象物又は第２対象物は、当該所定の被写体と異なる物体であってもよい。モデリングは、当該所定の被写体について想定されるこのような各対象物間の所定の位置関係を、遠赤外画像において当該所定の被写体が映る場合における各候補領域間の位置関係として、規定する。
　より具体的には、判定部５０は、各候補領域間の位置関係がモデリングによって規定される位置関係と略一致する場合に、各候補領域間の位置関係は妥当であると判定する。そして、判定部５０は、各候補領域間の位置関係は妥当であると判定したことをもって、遠赤外画像に所定の被写体が映っていると判定する。
　このように、本実施形態では、互いに異なる設定温度範囲内の温度を示す複数の検出領域間の位置関係と、モデリングとに基づいて、遠赤外画像に所定の被写体が映っているか否かが判定される。ゆえに、遠赤外画像に所定の被写体が映っているか否かの判定において、より尤もらしい判定結果を得ることができる。よって、赤外線カメラ１０２と異なる他のデバイスを利用することなく、被写体の検出精度を向上させることができる。従って、被写体の検出精度をより安価に向上させることが可能となる。
　また、判定部５０は、判定結果を出力してもよい。例えば、判定部５０は、判定結果を記憶部６０へ出力することによって、登録してもよい。また、判定部５０は、判定結果をディスプレイ１０８へ出力することにより、報知してもよい。また、判定部５０は、判定結果を、通信インタフェース１１０を介して、外部の装置へ出力してもよい。
　また、判定部５０は、第１検出部４１及び第２検出部４２から出力される検出結果に応じて、遠赤外画像に所定の被写体が映っているか否かを判定する判定処理を実行するか否かを決定してもよい。例えば、判定部５０は、第１候補領域及び第２候補領域の双方が検出された場合に、判定処理を実行してもよい。一方、判定部５０は、第１候補領域及び第２候補領域のうち少なくとも一方が検出されなかった場合には、判定処理を実行しなくてもよい。
　　[２－３．動作]
　続いて、図４及び図５を参照して、本実施形態に係る画像処理装置１が行う処理の流れについて説明する。図４は、本実施形態に係る画像処理装置１が行う処理の流れの一例を示すフローチャートである。図４に示した処理は、例えば、各フレームについて、実行され得る。
　図４に示したように、まず、画像処理装置１は、遠赤外画像の撮像を行う（ステップＳ５０１）。次に、第１検出部４１は、撮像された遠赤外画像から第１候補領域を検出する検出処理を実行し（ステップＳ５１０）、検出結果を判定部５０へ出力する。そして、判定部５０は、第１候補領域が検出されたか否かを判断する（ステップＳ５０３）。第１候補領域が検出されたと判断されなかった場合（ステップＳ５０３／ＮＯ）、ステップＳ５０１の処理へ戻る。
　一方、第１候補領域が検出されたと判断された場合（ステップＳ５０３／ＹＥＳ）、判定部５０から第２検出部４２へ判断結果が出力され、第２検出部４２は、第２候補領域を検出する検出処理を実行し（ステップＳ５３０）、検出結果を判定部５０へ出力する。そして、判定部５０は、第２候補領域が検出されたか否かを判断する（ステップＳ５０５）。第２候補領域が検出されたと判断されなかった場合（ステップＳ５０５／ＮＯ）、ステップＳ５０１の処理へ戻る。
　一方、第２候補領域が検出されたと判断された場合（ステップＳ５０５／ＹＥＳ）、判定部５０は、各候補領域間の位置関係が妥当であるか否かを判定する（ステップＳ５０７）。各候補領域間の位置関係がモデリングによって規定される位置関係と略一致しない場合には、各候補領域間の位置関係は妥当であると判定されず（ステップＳ５０７／ＮＯ）、ステップＳ５０１の処理へ戻る。一方、各候補領域間の位置関係がモデリングによって規定される位置関係と略一致する場合には、各候補領域間の位置関係は妥当であると判定され（ステップＳ５０７／ＹＥＳ）、判定部５０は、判定結果を記憶部６０へ登録し（ステップＳ５０９）、図４に示した処理は終了する。
　続いて、図５を参照して、本実施形態に係る画像処理装置１が行う各候補領域の検出処理（図４に示したステップＳ５１０，Ｓ５３０）について、より詳細に説明する。図５は、本実施形態に係る画像処理装置１が行う各候補領域の検出処理の流れの一例を示すフローチャートである。
　図５に示したように、まず、第１抽出部４１ａ（第２抽出部４２ａ）は、遠赤外画像から部分領域を抽出し（ステップＳ５１１（ステップＳ５３１））、抽出結果を第１スコア算出部４１ｂ（第２スコア算出部４２ｂ）へ出力する。次に、第１スコア算出部４１ｂ（第２スコア算出部４２ｂ）は、抽出された部分領域についてのスコア値を算出し（ステップＳ５１３（ステップＳ５３３））、算出結果を第１スコア比較部４１ｃ（第２スコア比較部４２ｃ）へ出力する。次に、第１スコア比較部４１ｃ（第２スコア比較部４２ｃ）は、算出されたスコア値と閾値との比較を行う（ステップＳ５１５（ステップＳ５３５））。そして、第１検出部４１（第２検出部４２）は、遠赤外画像の全領域について、部分領域の抽出が終了したか否かを判定する（ステップＳ５１７（ステップＳ５３７））。遠赤外画像の全領域について、部分領域の抽出が終了したと判定されなかった場合（ステップＳ５１７／ＮＯ（ステップＳ５３７／ＮＯ））、ステップＳ５１１（ステップＳ５３１）の処理へ戻る。一方、遠赤外画像の全領域について、部分領域の抽出が終了したと判定された場合（ステップＳ５１７／ＹＥＳ（ステップＳ５３７／ＹＥＳ））、図５に示した処理は終了する。
　＜３．応用例＞
　続いて、上記で説明した本開示に係る技術を各種被写体の検出に適用した各種応用例について説明する。
　　[３－１．第１の応用例]
　まず、図６～図１４を参照して、第１の応用例に係る画像処理装置１０について説明する。第１の応用例は、本開示に係る技術を被写体としての人体の検出に適用した例である。第１の応用例に係る画像処理装置１０は、遠赤外画像に所定の被写体として人体が映っているか否かを判定する。
　　　（機能構成）
　まず、図６を参照して、第１の応用例に係る画像処理装置１０の機能構成について説明する。第１の応用例に係る画像処理装置１０のハードウェア構成は、図２を参照して説明した画像処理装置１のハードウェア構成と同様であってもよい。図６は、そのような画像処理装置１０の構成要素が互いに連係することにより実現される機能構成の一例を示すブロック図である。
　図６に示したように、画像処理装置１０は、顔検出部１４１と、胴体検出部１４２と、目検出部１４３と、眼鏡検出部１４４と、頭髪検出部１４５と、判定部１５０と、記憶部１６０と、を備える。第１の応用例における顔検出部１４１、胴体検出部１４２、目検出部１４３、眼鏡検出部１４４、及び頭髪検出部１４５は、本開示に係る複数の検出部に相当する。また、第１の応用例における判定部１５０及び記憶部１６０は、図３を参照して説明した画像処理装置１の判定部５０及び記憶部６０とそれぞれ対応する。
　記憶部１６０は、画像処理装置１０が行う各処理において参照されるデータを記憶する。例えば、記憶部１６０は、顔検出部１４１、胴体検出部１４２、目検出部１４３、眼鏡検出部１４４、及び頭髪検出部１４５の各々が行う候補領域の検出処理において用いられる情報を記憶する。また、記憶部１６０は、判定部１５０が行う判定処理において用いられるモデリングを記憶する。具体的には、記憶部１６０には、図８に示した後述するデータテーブルＤ１０が記憶され、当該データテーブルＤ１０に各種情報が含まれる。
　顔検出部１４１は、遠赤外画像から人体の顔が映る候補である顔候補領域を、候補領域として、検出する。また、胴体検出部１４２は、遠赤外画像から人体の胴体が映る候補である胴体候補領域を、候補領域として、検出する。また、目検出部１４３は、遠赤外画像から人体の目が映る候補である目候補領域を、候補領域として、検出する。また、眼鏡検出部１４４は、遠赤外画像から人体に装着される眼鏡が映る候補である眼鏡候補領域を、候補領域として、検出する。また、頭髪検出部１４５は、遠赤外画像から人体の頭髪が映る候補である頭髪候補領域を、候補領域として、検出する。これらの検出部は、遠赤外画像から互いに異なる設定温度範囲内の温度を示す領域を検出する。
　ここで、人体の目、人体に装着される眼鏡、及び人体の頭髪は、顔に関連する部分（以下、顔部分とも称する。）に相当する。また、目候補領域、眼鏡候補領域、及び頭髪候補領域は、顔部分が映る候補である顔部分候補領域に相当する。また、目検出部１４３、眼鏡検出部１４４、及び頭髪検出部１４５は、遠赤外画像から顔部分候補領域を候補領域として検出する顔部分検出部に相当する。
　第１の応用例に係る各検出部は、図３を参照して説明した画像処理装置１の第１検出部４１（第２検出部４２）における第１抽出部４１ａ（第２抽出部４２ａ）、第１スコア算出部４１ｂ（第２スコア算出部４２ｂ）、及び第１スコア比較部４１ｃ（第２スコア比較部４２ｃ）の機能を有する。具体的には、第１の応用例に係る各検出部は、図３を参照して説明した画像処理装置１の各検出部と同様に、遠赤外画像から部分領域を抽出し、抽出された部分領域についてのスコア値を算出し、算出されたスコア値と閾値との比較を行う。また、第１の応用例に係る各検出部は、スコア値が閾値より高い場合に、対応する部分領域を候補領域として検出し、スコア値が閾値以下である場合に、対応する部分領域を候補領域として検出しない。また、第１の応用例に係る各検出部は、検出結果を判定部１５０へ出力する。
　図７は、人体Ｐ１０が映る遠赤外画像Ｉｍ１０の一例を示す説明図である。図７に示したように、遠赤外画像Ｉｍ１０には、被写体としての２つの人体Ｐ１０が映っている。また、遠赤外画像Ｉｍ１０において、右側の人体Ｐ１０について、対象物としての顔Ｃ１１、胴体Ｃ１２、眼鏡Ｃ１４、及び頭髪Ｃ１５が示されている。また、遠赤外画像Ｉｍ１０において、左側の人体Ｐ１０について、対象物としての顔Ｃ１１、胴体Ｃ１２、目Ｃ１３、及び頭髪Ｃ１５が示されている。第１の応用例に係る各検出部は、例えば、このような遠赤外画像Ｉｍ１０について、対象物が映る候補の候補領域を検出し得る。図７に示した遠赤外画像Ｉｍ１０において、ハッチングの濃淡は画素値の異同を示す。当該ハッチングが濃い区域ほど、画素値が低い区域である。換言すると、当該ハッチングが濃い区域ほど、当該区域によって示される温度が低い区域である。
　例えば、各検出部は、遠赤外画像Ｉｍ１０から所定の寸法を有する部分領域を抽出する。具体的には、各検出部は、記憶部１６０に記憶されるデータテーブルＤ１０を参照することによって、部分領域の寸法を設定し得る。データテーブルＤ１０において、例えば、図８に示したように、各対象物を示す情報と、当該各対象物に応じた寸法を示す情報とが紐付けられている。
　具体的には、顔検出部１４１は、対象物である顔Ｃ１１に対応する「高さ２０～３０ｃｍ、幅１５～２０ｃｍ」という寸法を、部分領域の寸法として、設定する。また、胴体検出部１４２は、対象物である胴体Ｃ１２に対応する「高さ５０～１００ｃｍ、幅３０～６０ｃｍ」という寸法を、部分領域の寸法として、設定する。また、目検出部１４３は、対象物である目Ｃ１３に対応する「幅２～４ｃｍ」という寸法を、部分領域の寸法として、設定する。また、眼鏡検出部１４４は、対象物である眼鏡Ｃ１４に対応する「幅１５～２０ｃｍ、高さ３～６ｃｍ」という寸法を、部分領域の寸法として、設定する。また、頭髪検出部１４５は、対象物である頭髪Ｃ１５に対応する「高さ１～１５ｃｍ、幅１５～２０ｃｍ」という寸法を、部分領域の寸法として、設定する。図７では、一例として、顔Ｃ１１、胴体Ｃ１２、及び眼鏡Ｃ１４とそれぞれ対応し、上記のように寸法が設定された部分領域Ｂ１１、部分領域Ｂ１２、及び部分領域Ｂ１４が模式的に示されている。
　そして、各検出部は、対象物の想定温度と対応する確率密度関数に基づいて、部分領域についてのスコア値を算出する。具体的には、各検出部は、記憶部１６０に記憶されるデータテーブルＤ１０を参照することによって、対象物の想定温度と対応する確率密度関数を生成し得る。データテーブルＤ１０において、例えば、図８に示したように、各対象物を示す情報と、当該各対象物の想定温度を示す情報とが紐付けられている。なお、記憶部１６０に各対象物と対応する確率密度関数を示す情報が記憶されていてもよく、その場合、各検出部は、記憶部１６０から当該確率密度関数を示す情報を取得し得る。また、図８に示した各対象物の想定温度は、例えば、環境温度が２５℃である場合における値である。記憶部１６０には、環境温度の各々についてデータテーブルが記憶されてもよく、各データテーブルにおける各対象物の想定温度は、対応する環境温度に応じて設定され得る。
　具体的には、顔検出部１４１は、対象物である顔Ｃ１１の想定温度を「３３～３６℃」として、スコア値を算出する。また、胴体検出部１４２は、対象物である胴体Ｃ１２の想定温度を「顔温度より２℃低い温度～顔温度より４℃低い温度」として、スコア値を算出する。また、目検出部１４３は、対象物である目Ｃ１３の想定温度を「顔温度より１℃高い温度以上」として、スコア値を算出する。また、眼鏡検出部１４４は、対象物である眼鏡Ｃ１４の想定温度を「環境温度より２℃低い温度～環境温度より２℃高い温度」として、スコア値を算出する。また、頭髪検出部１４５は、対象物である頭髪Ｃ１５の想定温度を「顔温度より３℃低い温度～顔温度より６℃低い温度」として、スコア値を算出する。なお、顔温度として、顔検出部１４１によって検出された顔候補領域によって示される温度が適用され得る。また、環境温度として、遠赤外画像Ｉｍ１０における所定の位置の領域によって示される温度が適用され得る。当該所定の位置は、遠赤外画像Ｉｍ１０において人体Ｐ１０に対する背景が映る可能性が比較的高い位置であり、例えば、遠赤外画像Ｉｍ１０における上端部であってもよい。なお、環境温度は、環境の温度を検出可能な温度センサを利用することによって、取得されてもよい。
　そして、各検出部は、算出されたスコア値と閾値との比較を行う。スコア値は、例えば、０から１の間の値をとり、スコア値が大きいほど、部分領域によって示される温度が対象物の想定温度である可能性が高くなる。ここで、各検出部は、上述したように、遠赤外画像Ｉｍ１０の全領域を走査するように部分領域の抽出を繰り返す。ゆえに、各検出部は、繰り返し抽出される複数の部分領域と対応する複数のスコア値を算出する。各検出部についての当該複数のスコア値における最大値の組み合わせの例を、図９に示す。図９では、３つの組み合わせ例が示されている。
　具体的には、図９に示したように、組み合わせ例１１では、顔検出部１４１、胴体検出部１４２、目検出部１４３、眼鏡検出部１４４、及び頭髪検出部１４５の各々についてのスコア値の最大値は、「０．７」、「０．８」、「０．６」、「０．１」、及び「０．２」である。また、組み合わせ例１２では、顔検出部１４１、胴体検出部１４２、目検出部１４３、眼鏡検出部１４４、及び頭髪検出部１４５の各々についてのスコア値の最大値は、「０．７」、「０．８」、「０．１」、「０．７」、及び「０．２」である。また、組み合わせ例１３では、顔検出部１４１、胴体検出部１４２、目検出部１４３、眼鏡検出部１４４、及び頭髪検出部１４５の各々についてのスコア値の最大値は、「０．７」、「０．８」、「０．１」、「０．１」、及び「０．８」である。
　ここで、各検出部は、スコア値が閾値より高い場合に、対応する部分領域を候補領域として検出する。一方、検出部は、スコア値が閾値以下である場合に、対応する部分領域を候補領域として検出しない。ゆえに、各検出部についてのスコア値の最大値が閾値より高い場合は、当該各検出部によって、候補領域が検出された場合に相当する。一方、各検出部についてのスコア値の最大値が閾値以下である場合は、当該各検出部によって、候補領域が検出されなかった場合に相当する。
　例えば、閾値が０．５に設定されている場合、組み合わせ例１１では、顔候補領域、胴体候補領域、及び目候補領域は、顔検出部１４１、胴体検出部１４２、及び目検出部１４３によって、それぞれ検出されており、眼鏡候補領域、及び頭髪候補領域は、眼鏡検出部１４４、及び頭髪検出部１４５によって、それぞれ検出されていない。また、組み合わせ例１２では、顔候補領域、胴体候補領域、及び眼鏡候補領域は、顔検出部１４１、胴体検出部１４２、及び眼鏡検出部１４４によって、それぞれ検出されており、目候補領域、及び頭髪候補領域は、目検出部１４３、及び頭髪検出部１４５によって、それぞれ検出されていない。また、組み合わせ例１３では、顔候補領域、胴体候補領域、及び頭髪候補領域は、顔検出部１４１、胴体検出部１４２、及び頭髪検出部１４５によって、それぞれ検出されており、目候補領域、及び眼鏡候補領域は、目検出部１４３、及び眼鏡検出部１４４によって、それぞれ検出されていない。
　第１の応用例に係る判定部１５０は、検出された顔候補領域及び胴体候補領域の間の位置関係と、モデリングとに基づいて、遠赤外画像Ｉｍ１０に所定の被写体として人体Ｐ１０が映っているか否かを判定する。当該モデリングは、遠赤外画像Ｉｍ１０に人体Ｐ１０が映っているか否かを判定するために用いられる指標である。当該モデリングは、遠赤外画像Ｉｍ１０において人体Ｐ１０が映る場合における顔候補領域及び胴体候補領域の間の位置関係を規定する。
　具体的には、判定部１５０は、顔候補領域及び胴体候補領域の間の位置関係がモデリングによって規定される位置関係と略一致する場合に、顔候補領域及び胴体候補領域の間の位置関係は妥当であると判定する。そして、判定部１５０は、顔候補領域及び胴体候補領域の間の位置関係は妥当であると判定したことをもって、遠赤外画像Ｉｍ１０に人体Ｐ１０が映っていると判定する。
　より具体的には、判定部１５０は、記憶部１６０に記憶されるデータテーブルＤ１０を参照することによって、顔候補領域及び胴体候補領域の間の位置関係が妥当であるか否かを判定し得る。データテーブルＤ１０において、例えば、図８に示したように、各対象物を示す情報と、遠赤外画像Ｉｍ１０において人体Ｐ１０が映る場合における当該各対象物の他の対象物に対する相対位置を示す情報とが紐付けられている。このような相対位置が、第１の応用例におけるモデリングによって規定される。
　具体的には、判定部１５０は、顔候補領域が胴体候補領域より上方に位置する場合に、顔候補領域及び胴体候補領域の間の位置関係は妥当であると判定する。換言すると、判定部１５０は、胴体候補領域が顔候補領域より下方に位置する場合に、顔候補領域及び胴体候補領域の間の位置関係は妥当であると判定する。
　このように、第１の応用例では、互いに異なる設定温度範囲内の温度を示す顔候補領域及び胴体候補領域の間の位置関係と、モデリングとに基づいて、遠赤外画像Ｉｍ１０に人体Ｐ１０が映っているか否かが判定される。ここで、顔Ｃ１１及び胴体Ｃ１２は、人体Ｐ１０と対応して存在し、モデリングによって規定される位置関係を有する。ゆえに、遠赤外画像Ｉｍ１０に人体Ｐ１０が映っているか否かの判定において、より尤もらしい判定結果を得ることができる。よって、赤外線カメラ１０２と異なる他のデバイスを利用することなく、被写体としての人体Ｐ１０の検出精度を向上させることができる。従って、被写体としての人体Ｐ１０の検出精度をより安価に向上させることが可能となる。
　なお、図７に示した遠赤外画像Ｉｍ１０のように、遠赤外画像に被写体としての人体Ｐ１０が複数映る場合、顔候補領域又は胴体候補領域が複数検出され得る。そのような場合には、判定部１５０は、例えば、顔候補領域及び胴体候補領域の組み合わせの全てについて、顔候補領域及び胴体候補領域の間の位置関係が妥当であるか否かの判定を実行する。位置関係が妥当であると判定される顔候補領域及び胴体候補領域の組み合わせの数が複数である場合に、判定部１５０は、遠赤外画像に当該複数の組み合わせの各々に対応する人体Ｐ１０が映っていると判定し得る。
　また、判定部１５０は、検出された顔候補領域及び顔部分候補領域の間の位置関係と、モデリングとに基づいて、遠赤外画像Ｉｍ１０に所定の被写体として人体Ｐ１０が映っているか否かを判定してもよい。当該モデリングは、遠赤外画像Ｉｍ１０において人体Ｐ１０が映る場合における顔候補領域及び顔部分候補領域の間の位置関係を規定する。
　具体的には、判定部１５０は、顔候補領域及び顔部分候補領域の間の位置関係がモデリングによって規定される位置関係と略一致する場合に、顔候補領域及び顔部分候補領域の間の位置関係は妥当であると判定する。また、判定部１５０は、顔候補領域及び胴体候補領域の間の位置関係は妥当であると判定し、さらに、顔候補領域及び顔部分候補領域の間の位置関係は妥当であると判定したことをもって、遠赤外画像Ｉｍ１０に人体Ｐ１０が映っていると判定する。例えば、判定部１５０は、顔候補領域及び胴体候補領域の間の位置関係が妥当であると判定し、かつ、顔候補領域及び顔部分候補領域の間の位置関係のうち少なくとも１つの顔部分についての位置関係が妥当であると判定した場合に、遠赤外画像Ｉｍ１０に人体Ｐ１０が映っていると判定してもよい。
　より具体的には、判定部１５０は、記憶部１６０に記憶されるデータテーブルＤ１０を参照することによって、顔候補領域及び顔部分候補領域の間の位置関係が妥当であるか否かを判定し得る。データテーブルＤ１０において、例えば、図８に示したように、対象物としての顔部分の各々を示す情報と、遠赤外画像Ｉｍ１０において人体Ｐ１０が映る場合における当該各対象物の他の対象物に対する相対位置を示す情報とが紐付けられている。このような相対位置が、第１の応用例におけるモデリングによって規定される。
　具体的には、判定部１５０は、目候補領域が顔候補領域の内部に位置する場合に、顔候補領域及び目候補領域の間の位置関係は妥当であると判定する。また、判定部１５０は、眼鏡候補領域が顔候補領域の内部に位置する場合に、顔候補領域及び眼鏡候補領域の間の位置関係は妥当であると判定する。また、判定部１５０は、頭髪候補領域が顔候補領域の上方に隣接する場合に、顔候補領域及び頭髪候補領域の間の位置関係は妥当であると判定する。
　ここで、顔Ｃ１１及び各顔部分は、顔Ｃ１１と対応して存在し、モデリングによって規定される位置関係を有する。ゆえに、顔候補領域及び顔部分候補領域の間の位置関係が、モデリングに基づいて、妥当であると判定される場合に、遠赤外画像Ｉｍ１０に人体Ｐ１０が映っていると判定することによって、遠赤外画像Ｉｍ１０に人体Ｐ１０が映っているか否かの判定において、さらに尤もらしい判定結果を得ることができる。ゆえに、被写体としての人体Ｐ１０の検出精度をより効果的に向上させることができる。
　なお、図７に示した遠赤外画像Ｉｍ１０のように、遠赤外画像に被写体としての人体Ｐ１０が複数映る場合、上述したように、判定部１５０は、顔候補領域及び胴体候補領域の複数の組み合わせについて、位置関係が妥当であると判定し得る。そのような場合には、判定部１５０は、例えば、当該複数の組み合わせの各々について、顔候補領域及び顔部分候補領域の間の位置関係が妥当であるか否かの判定を実行する。
　また、判定部１５０は、判定結果を記憶部１６０へ出力することによって、登録してもよい。
　また、判定部１５０は、各検出部から出力される検出結果に応じて、遠赤外画像Ｉｍ１０に人体Ｐ１０が映っているか否かを判定する判定処理を実行するか否かを決定してもよい。
　例えば、判定部１５０は、顔候補領域及び胴体候補領域の双方が検出された場合に、顔候補領域及び胴体候補領域の間の位置関係についての判定処理を実行してもよい。一方、判定部１５０は、顔候補領域及び胴体候補領域のうち少なくとも一方が検出されなかった場合には、顔候補領域及び胴体候補領域の間の位置関係についての判定処理を実行しなくてもよい。
　また、判定部１５０は、顔候補領域及び胴体候補領域の双方が検出された場合において、顔部分候補領域のうち少なくとも１つが検出された場合に、顔候補領域及び顔部分候補領域の間の位置関係についての判定処理を実行してもよい。一方、判定部１５０は、顔候補領域及び胴体候補領域のうち少なくとも一方が検出されなかった場合、又は、顔部分候補領域のいずれもが検出されなかった場合に、顔候補領域及び顔部分候補領域の間の位置関係についての判定処理を実行しなくてもよい。
　例えば、図９に示した組み合わせ例１１～１３の各々では、顔候補領域及び胴体候補領域の双方が検出され、かつ、顔部分候補領域のうち少なくとも１つが検出されているので、判定部１５０は、顔候補領域及び胴体候補領域の間の位置関係についての判定処理及び顔候補領域及び顔部分候補領域の間の位置関係についての判定処理を実行する。
　上記では、部分領域の抽出処理、スコア値の算出処理、及びスコア値と閾値との比較処理を実行することによって、遠赤外画像からの候補領域の検出が実現される例について説明したが、候補領域の検出の具体的な方法は、係る例に限定されない。
　例えば、画像処理装置１０は、遠赤外画像に対して対象物に応じたテンプレートマッチング等の画像処理を施すことによって、当該遠赤外画像から互いに異なる設定温度範囲内の温度を示す複数の候補領域を検出してもよい。また、画像処理装置１０は、事前に学習される予測モデルを用いることによって、遠赤外画像から互いに異なる設定温度範囲内の温度を示す複数の候補領域を検出してもよい。このような予測モデルは、例えば、用意された遠赤外画像と候補領域の検出結果のペアを利用することによって、ブースティング又はサポートベクタマシンといった既存のアルゴリズムに従って、構築され得る。
　また、画像処理装置１０は、遠赤外画像の各画素について、当該各画素の画素値を、当該各画素によって示される温度が各対象物の想定温度である尤度へ変換し、変換後の画像に対して、テンプレートマッチング等の画像処理を施すことによって、互いに異なる設定温度範囲内の温度を示す複数の候補領域を検出してもよい。具体的には、中央値が各対象物の想定温度と一致するガウス分布に従った確率密度関数を利用することによって、遠赤外画像の各画素の画素値を上記尤度へ変換し得る。なお、想定温度が幅を有する場合、中央値が各対象物の想定温度の中央値と一致するガウス分布に従った確率密度関数が利用され得る。図１０では、各画素についての画素値から尤度への変換後の画像Ｉｍ１２が示されている。具体的には、図１０に示した画像Ｉｍ１２は、図７に示した遠赤外画像Ｉｍ１０の各画素について、当該各画素の画素値を、当該各画素によって示される温度が対象物としての顔Ｃ１１の想定温度である尤度へ変換することによって得られる画像である。図１０に示した画像Ｉｍ１２において、ハッチングの濃淡は尤度の異同を示す。当該ハッチングが濃い区域ほど、尤度が低い区域である。
　　　（動作）
　続いて、図１１～図１４を参照して、第１の応用例に係る画像処理装置１０が行う処理の流れについて説明する。
　まず、図１１及び図１２を参照して、第１の応用例に係る画像処理装置１０が行う処理の流れの第１の例について説明する。図１１は、第１の応用例に係る画像処理装置１０が行う処理の流れの第１の例を示すフローチャートである。図１１に示した処理は、例えば、各フレームについて、実行され得る。
　第１の例では、図１１に示したように、まず、画像処理装置１０は、遠赤外画像Ｉｍ１０の撮像を行う（ステップＳ６０１）。次に、顔検出部１４１は、撮像された遠赤外画像Ｉｍ１０から顔候補領域を検出する検出処理を実行し（ステップＳ６１０）、検出結果を判定部１５０へ出力する。そして、判定部１５０は、顔候補領域が検出されたか否かを判断する（ステップＳ６０３）。顔候補領域が検出されたと判断されなかった場合（ステップＳ６０３／ＮＯ）、ステップＳ６０１の処理へ戻る。
　一方、顔候補領域が検出されたと判断された場合（ステップＳ６０３／ＹＥＳ）、判定部１５０から胴体検出部１４２へ判断結果が出力され、胴体検出部１４２は、胴体候補領域を検出する検出処理を実行し（ステップＳ６３０）、検出結果を判定部１５０へ出力する。そして、判定部１５０は、胴体候補領域が検出されたか否かを判断する（ステップＳ６０５）。胴体候補領域が検出されたと判断されなかった場合（ステップＳ６０５／ＮＯ）、ステップＳ６０１の処理へ戻る。
　一方、胴体候補領域が検出されたと判断された場合（ステップＳ６０５／ＹＥＳ）、判定部１５０は、顔候補領域及び胴体候補領域の間の位置関係が妥当であるか否かを判定する（ステップＳ６０７）。顔候補領域及び胴体候補領域の間の位置関係がモデリングによって規定される位置関係と略一致しない場合には、顔候補領域及び胴体候補領域の間の位置関係は妥当であると判定されず（ステップＳ６０７／ＮＯ）、ステップＳ６０１の処理へ戻る。一方、顔候補領域及び胴体候補領域の間の位置関係がモデリングによって規定される位置関係と略一致する場合には、顔候補領域及び胴体候補領域の間の位置関係は妥当であると判定され（ステップＳ６０７／ＹＥＳ）、判定部１５０は、判定結果を記憶部１６０へ登録し（ステップＳ６０９）、図１１に示した処理は終了する。
　続いて、図１２を参照して、第１の応用例に係る画像処理装置１０が行う顔候補領域及び胴体候補領域の各々の検出処理（図１１に示したステップＳ６１０，Ｓ６３０）について、より詳細に説明する。図１２は、第１の応用例に係る画像処理装置１０が行う顔候補領域及び胴体候補領域の各々の検出処理の流れの一例を示すフローチャートである。
　図１２に示したように、まず、顔検出部１４１（胴体検出部１４２）は、遠赤外画像Ｉｍ１０から部分領域を抽出する（ステップＳ６１１（ステップＳ６３１））。次に、顔検出部１４１（胴体検出部１４２）は、抽出された部分領域についてのスコア値を算出する（ステップＳ６１３（ステップＳ６３３））。次に、顔検出部１４１（胴体検出部１４２）は、算出されたスコア値と閾値との比較を行う（ステップＳ６１５（ステップＳ６３５））。そして、顔検出部１４１（胴体検出部１４２）は、遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したか否かを判定する（ステップＳ６１７（ステップＳ６３７））。遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したと判定されなかった場合（ステップＳ６１７／ＮＯ（ステップＳ６３７／ＮＯ））、ステップＳ６１１（ステップＳ６３１）の処理へ戻る。一方、遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したと判定された場合（ステップＳ６１７／ＹＥＳ（ステップＳ６３７／ＹＥＳ））、図１２に示した処理は終了する。
　続いて、図１３及び図１４を参照して、第１の応用例に係る画像処理装置１０が行う処理の流れの第２の例について説明する。図１３は、第１の応用例に係る画像処理装置１０が行う処理の流れの第２の例を示すフローチャートである。第２の例では、図１１を参照して説明した第１の例と比較して、顔候補領域及び胴体候補領域の間の位置関係についての判定処理（ステップＳ６０７）において、当該位置関係が妥当であると判定された場合（ステップＳ６０７／ＹＥＳ）における処理が異なる。以下では、当該位置関係が妥当であると判定された場合（ステップＳ６０７／ＹＥＳ）における処理の流れについて、説明する。
　第２の例では、図１３に示したように、ステップＳ６０７の判定処理において、顔候補領域及び胴体候補領域の間の位置関係は妥当であると判定された場合（ステップＳ６０７／ＹＥＳ）、判定部１５０から目検出部１４３、眼鏡検出部１４４、及び頭髪検出部１４５へ判断結果が出力される。そして、目検出部１４３、眼鏡検出部１４４、及び頭髪検出部１４５は、顔部分候補領域を検出する検出処理を実行し（ステップＳ６５０）、検出結果を判定部１５０へ出力する。そして、判定部１５０は、顔部分候補領域が少なくとも１つ検出されたか否かを判断する（ステップＳ６１１）。顔部分候補領域が少なくとも１つ検出されたと判断されなかった場合（ステップＳ６１１／ＮＯ）、ステップＳ６０１の処理へ戻る。
　一方、顔部分候補領域が少なくとも１つ検出されたと判断された場合（ステップＳ６１１／ＹＥＳ）、判定部１５０は、顔候補領域及び顔部分候補領域の間の位置関係が妥当であるか否かを判定する（ステップＳ６１３）。顔候補領域及び顔部分候補領域の間の位置関係がモデリングによって規定される位置関係と略一致しない場合には、顔候補領域及び顔部分候補領域の間の位置関係は妥当であると判定されず（ステップＳ６１３／ＮＯ）、ステップＳ６０１の処理へ戻る。一方、顔候補領域及び顔部分候補領域の間の位置関係がモデリングによって規定される位置関係と略一致する場合には、顔候補領域及び顔部分候補領域の間の位置関係は妥当であると判定され（ステップＳ６１３／ＹＥＳ）、判定部１５０は、判定結果を記憶部１６０へ登録し（ステップＳ６０９）、図１３に示した処理は終了する。
　続いて、図１４を参照して、第１の応用例に係る画像処理装置１０が行う顔部分候補領域の検出処理（図１３に示したステップＳ６５０）について、より詳細に説明する。図１４は、第１の応用例に係る画像処理装置１０が行う顔部分候補領域の検出処理の流れの一例を示すフローチャートである。
　図１４に示したように、まず、目検出部１４３は、遠赤外画像Ｉｍ１０から部分領域を抽出する（ステップＳ６５１）。次に、目検出部１４３は、抽出された部分領域についてのスコア値を算出する（ステップＳ６５３）。次に、目検出部１４３は、算出されたスコア値と閾値との比較を行う（ステップＳ６５５）。そして、目検出部１４３は、遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したか否かを判定する（ステップＳ６５７）。遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したと判定されなかった場合（ステップＳ６５７／ＮＯ）、ステップＳ６５１の処理へ戻る。
　一方、遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したと判定された場合（ステップＳ６５７／ＹＥＳ）、眼鏡検出部１４４は、遠赤外画像Ｉｍ１０から部分領域を抽出する（ステップＳ６５９）。次に、眼鏡検出部１４４は、抽出された部分領域についてのスコア値を算出する（ステップＳ６６１）。次に、眼鏡検出部１４４は、算出されたスコア値と閾値との比較を行う（ステップＳ６６３）。そして、眼鏡検出部１４４は、遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したか否かを判定する（ステップＳ６６５）。遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したと判定されなかった場合（ステップＳ６６５／ＮＯ）、ステップＳ６５９の処理へ戻る。
　一方、遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したと判定された場合（ステップＳ６６５／ＹＥＳ）、頭髪検出部１４５は、遠赤外画像Ｉｍ１０から部分領域を抽出する（ステップＳ６６７）。次に、頭髪検出部１４５は、抽出された部分領域についてのスコア値を算出する（ステップＳ６６９）。次に、頭髪検出部１４５は、算出されたスコア値と閾値との比較を行う（ステップＳ６７１）。そして、頭髪検出部１４５は、遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したか否かを判定する（ステップＳ６７３）。遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したと判定されなかった場合（ステップＳ６７３／ＮＯ）、ステップＳ６６７の処理へ戻る。一方、遠赤外画像Ｉｍ１０の全領域について、部分領域の抽出が終了したと判定された場合（ステップＳ６７３／ＹＥＳ）、図１４に示した処理は終了する。
　上記では、目検出部１４３、眼鏡検出部１４４、及び頭髪検出部１４５がこの順に各候補領域についての検出処理を行う例について説明したが、各検出部による検出処理の順序は係る例に限定されない。また、各検出部による検出処理は、並列的に実行されてもよい。
　　[３－２．第２の応用例]
　続いて、図１５～図２０を参照して、第２の応用例に係る画像処理装置２０について説明する。第２の応用例は、本開示に係る技術を被写体としての車両の検出に適用した例である。第２の応用例に係る画像処理装置２０は、遠赤外画像に所定の被写体として車両が映っているか否かを判定する。
　　　（機能構成）
　まず、図１５を参照して、第２の応用例に係る画像処理装置２０の機能構成について説明する。第２の応用例に係る画像処理装置２０のハードウェア構成は、図２を参照して説明した画像処理装置１のハードウェア構成と同様であってもよい。図１５は、そのような画像処理装置２０の構成要素が互いに連係することにより実現される機能構成の一例を示すブロック図である。
　図１５に示したように、画像処理装置２０は、マフラー検出部２４１と、通過部検出部２４２と、非通過部検出部２４３と、判定部２５０と、記憶部２６０と、を備える。第２の応用例におけるマフラー検出部２４１、通過部検出部２４２、及び非通過部検出部２４３は、本開示に係る複数の検出部に相当する。また、第２の応用例における判定部２５０及び記憶部２６０は、図３を参照して説明した画像処理装置１の判定部５０及び記憶部６０とそれぞれ対応する。
　記憶部２６０は、画像処理装置２０が行う各処理において参照されるデータを記憶する。例えば、記憶部２６０は、マフラー検出部２４１、通過部検出部２４２、及び非通過部検出部２４３の各々が行う候補領域の検出処理において用いられる情報を記憶する。また、記憶部２６０は、判定部２５０が行う判定処理において用いられるモデリングを記憶する。具体的には、記憶部２６０には、図１７に示した後述するデータテーブルＤ２０が記憶され、当該データテーブルＤ２０に各種情報が含まれる。
　マフラー検出部２４１は、遠赤外画像から車両のマフラーが映る候補であるマフラー候補領域を、候補領域として、検出する。また、通過部検出部２４２は、遠赤外画像から路面上において車両の車輪が通過した部分が映る候補である通過部候補領域を、候補領域として、検出する。また、非通過部検出部２４３は、遠赤外画像から路面上において車両の車輪が通過していない部分が映る候補である非通過部候補領域を、候補領域として、検出する。これらの検出部は、遠赤外画像から互いに異なる設定温度範囲内の温度を示す領域を検出する。
　第２の応用例に係る各検出部は、図３を参照して説明した画像処理装置１の第１検出部４１（第２検出部４２）における第１抽出部４１ａ（第２抽出部４２ａ）、第１スコア算出部４１ｂ（第２スコア算出部４２ｂ）、及び第１スコア比較部４１ｃ（第２スコア比較部４２ｃ）の機能を有する。具体的には、第２の応用例に係る各検出部は、図３を参照して説明した画像処理装置１の各検出部と同様に、遠赤外画像から部分領域を抽出し、抽出された部分領域についてのスコア値を算出し、算出されたスコア値と閾値との比較を行う。また、第２の応用例に係る各検出部は、スコア値が閾値より高い場合に、対応する部分領域を候補領域として検出し、スコア値が閾値以下である場合に、対応する部分領域を候補領域として検出しない。また、第２の応用例に係る各検出部は、検出結果を判定部２５０へ出力する。
　図１６は、車両Ｐ２０が映る遠赤外画像Ｉｍ２０の一例を示す説明図である。図１６に示したように、遠赤外画像Ｉｍ２０には、路面上を走行する被写体としての車両Ｐ２０が映っている。第２の応用例に係る画像処理装置２０は、例えば、車両Ｐ２０の後続車に搭載されており、当該後続車における前方側に赤外線カメラ１０２が設けられ得る。画像処理装置２０では、主に赤外線カメラ１０２が設けられる車両の直前方の車両Ｐ２０が検出対象の被写体となる。また、遠赤外画像Ｉｍ２０において、対象物として、車両Ｐ２０のマフラーＣ２１、路面上において車両の車輪が通過した部分である通過部Ｃ２２、及び路面上において車両の車輪が通過していない部分である非通過部Ｃ２３が示されている。第２の応用例に係る各検出部は、例えば、このような遠赤外画像Ｉｍ２０について、対象物が映る候補の候補領域を検出し得る。なお、図１６に示したように、遠赤外画像Ｉｍ２０には、例えば、路面の比較的前方に位置する車両群Ｅ２１、路面の両脇側に位置する林Ｅ２２、上方に位置する空Ｅ２３が映っている。図１６に示した遠赤外画像において、ハッチングの濃淡は画素値の異同を示す。当該ハッチングが濃い区域ほど、画素値が低い区域である。換言すると、当該ハッチングが濃い区域ほど、当該区域によって示される温度が低い区域である。
　例えば、各検出部は、遠赤外画像Ｉｍ２０から所定の寸法を有する部分領域を抽出する。具体的には、各検出部は、記憶部２６０に記憶されるデータテーブルＤ２０を参照することによって、部分領域の寸法を設定し得る。データテーブルＤ２０において、例えば、図１７に示したように、各対象物を示す情報と、当該各対象物に応じた寸法を示す情報とが紐付けられている。
　具体的には、マフラー検出部２４１は、対象物であるマフラーＣ２１に対応する「直径６～１０ｃｍ」という寸法を、部分領域の寸法として、設定する。また、通過部検出部２４２は、対象物である通過部Ｃ２２に対応する「線幅１５～２５ｃｍ、線間隔１．５～２．５ｍ」という寸法を、部分領域の寸法として、設定する。また、非通過部検出部２４３は、対象物である非通過部Ｃ２３について、任意の寸法（例えば幅５０ｃｍ）を、部分領域の寸法として、設定する。
　そして、各検出部は、対象物の想定温度と対応する確率密度関数に基づいて、部分領域についてのスコア値を算出する。具体的には、各検出部は、記憶部２６０に記憶されるデータテーブルＤ２０を参照することによって、対象物の想定温度と対応する確率密度関数を生成し得る。データテーブルＤ２０において、例えば、図１７に示したように、各対象物を示す情報と、当該各対象物の想定温度を示す情報とが紐付けられている。なお、記憶部２６０に各対象物と対応する確率密度関数を示す情報が記憶されていてもよく、その場合、各検出部は、記憶部２６０から当該確率密度関数を示す情報を取得し得る。また、図１７に示した各対象物の想定温度は、例えば、環境温度が２５℃である場合における値である。記憶部２６０には、環境温度の各々についてデータテーブルが記憶されてもよく、各データテーブルにおける各対象物の想定温度は、対応する環境温度に応じて設定され得る。
　具体的には、マフラー検出部２４１は、対象物であるマフラーＣ２１の想定温度を「１００℃以上」として、スコア値を算出する。また、通過部検出部２４２は、対象物である通過部Ｃ２２の想定温度を「非通過部温度より１０℃高い温度以上」として、スコア値を算出する。また、非通過部検出部２４３は、対象物である非通過部Ｃ２３の想定温度を「２０℃～３０℃」として、スコア値を算出する。なお、非通過部温度として、非通過部検出部２４３によって検出された非通過部候補領域によって示される温度が適用され得る。このように、通過部Ｃ２２の温度は、非通過部Ｃ２３と比較して、高いことが想定される。
　そして、各検出部は、算出されたスコア値と閾値との比較を行う。スコア値は、例えば、０から１の間の値をとり、スコア値が大きいほど、部分領域によって示される温度が対象物の想定温度である可能性が高くなる。ここで、各検出部は、上述したように、遠赤外画像Ｉｍ２０の全領域を走査するように部分領域の抽出を繰り返す。ゆえに、各検出部は、繰り返し抽出される複数の部分領域と対応する複数のスコア値を算出する。なお、非通過部検出部２４３は、遠赤外画像Ｉｍ２０における所定の位置についてのみ部分領域の抽出を行ってもよい。当該所定の位置は、遠赤外画像Ｉｍ２０において非通過部が映る可能性が比較的高い位置であり、例えば、遠赤外画像Ｉｍ２０における下端部であってもよい。その場合、非通過部検出部２４３は、所定の位置について抽出される部分領域と対応する１つのスコア値を算出する。各検出部についての当該複数のスコア値における最大値の組み合わせの例を、図１８に示す。
　具体的には、図１８に示したように、組み合わせ例２１では、マフラー検出部２４１、通過部検出部２４２、及び非通過部検出部２４３の各々についてのスコア値の最大値は、「０．９」、「０．６」、及び「０．８」である。
　ここで、各検出部は、スコア値が閾値より高い場合に、対応する部分領域を候補領域として検出する。一方、検出部は、スコア値が閾値以下である場合に、対応する部分領域を候補領域として検出しない。ゆえに、各検出部についてのスコア値の最大値が閾値より高い場合は、各検出部によって、候補領域が検出された場合に相当する。一方、各検出部についてのスコア値の最大値が閾値以下である場合は、各検出部によって、候補領域が検出されなかった場合に相当する。
　例えば、閾値が０．５に設定されている場合、組み合わせ例２１では、マフラー候補領域、通過部候補領域、及び非通過部候補領域は、マフラー検出部２４１、通過部検出部２４２、及び非通過部検出部２４３によって、それぞれ検出されている。
　第２の応用例に係る判定部２５０は、検出されたマフラー候補領域及び通過部候補領域の間の位置関係と、モデリングとに基づいて、遠赤外画像Ｉｍ２０に所定の被写体として車両Ｐ２０が映っているか否かを判定する。当該モデリングは、遠赤外画像Ｉｍ２０に車両Ｐ２０が映っているか否かを判定するために用いられる指標である。当該モデリングは、遠赤外画像Ｉｍ２０において車両Ｐ２０が映る場合におけるマフラー候補領域及び通過部候補領域の間の位置関係を規定する。
　具体的には、判定部２５０は、マフラー候補領域及び通過部候補領域の間の位置関係がモデリングによって規定される位置関係と略一致する場合に、マフラー候補領域及び通過部候補領域の間の位置関係は妥当であると判定する。そして、判定部２５０は、マフラー候補領域及び通過部候補領域の間の位置関係は妥当であると判定したことをもって、遠赤外画像Ｉｍ２０に車両Ｐ２０が映っていると判定する。
　より具体的には、判定部２５０は、記憶部２６０に記憶されるデータテーブルＤ２０を参照することによって、マフラー候補領域及び通過部候補領域の間の位置関係が妥当であるか否かを判定し得る。データテーブルＤ２０において、例えば、図１７に示したように、各対象物を示す情報と、遠赤外画像Ｉｍ２０において車両Ｐ２０が映る場合における当該各対象物の他の対象物に対する相対位置を示す情報とが紐付けられている。このような相対位置が、第２の応用例におけるモデリングによって規定される。なお、非通過部候補領域は、基本的に通過部Ｃ２２の想定温度を算出するために検出されるので、非通過部Ｃ２３の他の対象物に対する相対位置は、図１７に示したように、データテーブルＤ２０において、規定されていなくともよい。
　具体的には、判定部２５０は、マフラー候補領域が通過部候補領域より上方に位置する場合に、マフラー候補領域及び通過部候補領域の間の位置関係は妥当であると判定する。換言すると、判定部２５０は、通過部候補領域がマフラー候補領域より下方に位置する場合に、マフラー候補領域及び通過部候補領域の間の位置関係は妥当であると判定する。
　このように、第２の応用例では、互いに異なる設定温度範囲内の温度を示すマフラー候補領域及び通過部候補領域の間の位置関係と、モデリングとに基づいて、遠赤外画像Ｉｍ２０に車両Ｐ２０が映っているか否かが判定される。ここで、マフラーＣ２１及び通過部Ｃ２２は、車両Ｐ２０と対応して存在し、モデリングによって規定される位置関係を有する。ゆえに、遠赤外画像Ｉｍ２０に車両Ｐ２０が映っているか否かの判定において、より尤もらしい判定結果を得ることができる。よって、赤外線カメラ１０２と異なる他のデバイスを利用することなく、被写体としての車両Ｐ２０の検出精度を向上させることができる。従って、被写体としての車両Ｐ２０の検出精度をより安価に向上させることが可能となる。
　なお、遠赤外画像に被写体としての車両Ｐ２０が複数映る場合、マフラー候補領域又は通過部候補領域が複数検出され得る。そのような場合には、判定部２５０は、例えば、マフラー候補領域及び通過部候補領域の組み合わせの全てについて、マフラー候補領域及び通過部候補領域の間の位置関係が妥当であるか否かの判定を実行する。位置関係が妥当であると判定されるマフラー候補領域及び通過部候補領域の組み合わせの数が複数である場合に、判定部２５０は、遠赤外画像に当該複数の組み合わせの各々に対応する車両Ｐ２０が映っていると判定し得る。
　また、判定部２５０は、判定結果を記憶部２６０へ出力することによって、登録してもよい。
　また、判定部２５０は、各検出部から出力される検出結果に応じて、遠赤外画像Ｉｍ２０に車両Ｐ２０が映っているか否かを判定する判定処理を実行するか否かを決定してもよい。
　例えば、判定部２５０は、マフラー候補領域、通過部候補領域、及び非通過部候補領域のいずれもが検出された場合に、マフラー候補領域及び通過部候補領域の間の位置関係についての判定処理を実行してもよい。一方、判定部２５０は、マフラー候補領域、通過部候補領域、及び非通過部候補領域のうち少なくとも一方が検出されなかった場合には、マフラー候補領域及び通過部候補領域の間の位置関係についての判定処理を実行しなくてもよい。
　例えば、図１８に示した組み合わせ例２１では、マフラー候補領域、通過部候補領域、及び非通過部候補領域のいずれもが検出されているので、判定部２５０は、マフラー候補領域及び通過部候補領域の間の位置関係についての判定処理を実行する。
　上記では、部分領域の抽出処理、スコア値の算出処理、及びスコア値と閾値との比較処理を実行することによって、遠赤外画像からの候補領域の検出が実現される例について説明したが、候補領域の検出の具体的な方法は、第１の応用例と同様に、係る例に限定されない。例えば、第２の応用例では、円又は楕円形状をマフラーＣ２１の形状として、テンプレートマッチングを実行することによって、マフラー候補領域を検出することが考えられる。また、下側へ向かうにつれて互いに遠ざかるように傾斜する左右一対の線分形状を通過部Ｃ２２の形状として、テンプレートマッチングを実行することによって、通過部候補領域を検出することが考えられる。
　また、上記では、マフラー候補領域及び通過部候補領域を検出し、マフラー候補領域及び通過部候補領域の間の位置関係と、モデリングとに基づいて、車両Ｐ２０の検出が行われる例について説明したが、車両Ｐ２０の検出は、他の対象物についての候補領域を検出することによっても実現され得る。例えば、対象物としての車両Ｐ２０のバックライト又はタイヤについての候補領域を検出し、当該候補領域と他の候補領域との間の位置関係と、モデリングとに基づいて、車両Ｐ２０の検出が行われ得る。このような候補領域の組み合わせとして、例えば、バックライトについての候補領域であるバックライト候補領域及びタイヤについての候補領域であるタイヤ候補領域の組み合わせや、タイヤ候補領域及び通過部候補領域の組み合わせ等の種々の組み合わせが適用され得る。なお、バックライトの想定温度として、バックライトの種類（例えば、ハロゲンライトやＬＥＤ（ｌｉｇｈｔ　ｅｍｉｔｔｉｎｇ　ｄｉｏｄｅ）等）に応じた温度を示す情報が記憶部２６０に記憶され得る。
　　　（動作）
　続いて、図１９及び図２０を参照して、第２の応用例に係る画像処理装置２０が行う処理の流れについて説明する。図１９は、第２の応用例に係る画像処理装置２０が行う処理の流れの一例を示すフローチャートである。図１９に示した処理は、例えば、各フレームについて、実行され得る。
　図１９に示したように、まず、画像処理装置２０は、遠赤外画像Ｉｍ２０の撮像を行う（ステップＳ７０１）。次に、非通過部検出部２４３は、撮像された遠赤外画像Ｉｍ２０から非通過部候補領域を検出する検出処理を実行し（ステップＳ７１０）、検出結果を判定部２５０へ出力する。そして、判定部２５０は、非通過部候補領域が検出されたか否かを判断する（ステップＳ７０３）。非通過部候補領域が検出されたと判断されなかった場合（ステップＳ７０３／ＮＯ）、ステップＳ７０１の処理へ戻る。
　一方、非通過部候補領域が検出されたと判断された場合（ステップＳ７０３／ＹＥＳ）、判定部２５０から通過部検出部２４２へ判断結果が出力され、通過部検出部２４２は、通過部候補領域を検出する検出処理を実行し（ステップＳ７３０）、検出結果を判定部２５０へ出力する。そして、判定部２５０は、通過部候補領域が検出されたか否かを判断する（ステップＳ７０５）。通過部候補領域が検出されたと判断されなかった場合（ステップＳ７０５／ＮＯ）、ステップＳ７０１の処理へ戻る。
　一方、通過部候補領域が検出されたと判断された場合（ステップＳ７０５／ＹＥＳ）、判定部２５０からマフラー検出部２４１へ判断結果が出力され、マフラー検出部２４１は、マフラー候補領域を検出する検出処理を実行し（ステップＳ７５０）、検出結果を判定部２５０へ出力する。そして、判定部２５０は、マフラー候補領域が検出されたか否かを判断する（ステップＳ７０７）。マフラー候補領域が検出されたと判断されなかった場合（ステップＳ７０７／ＮＯ）、ステップＳ７０１の処理へ戻る。
　一方、マフラー候補領域が検出されたと判断された場合（ステップＳ７０７／ＹＥＳ）、判定部２５０は、マフラー候補領域及び通過部候補領域の間の位置関係が妥当であるか否かを判定する（ステップＳ７０９）。マフラー候補領域及び通過部候補領域の間の位置関係がモデリングによって規定される位置関係と略一致しない場合には、マフラー候補領域及び通過部候補領域の間の位置関係は妥当であると判定されず（ステップＳ７０９／ＮＯ）、ステップＳ７０１の処理へ戻る。一方、マフラー候補領域及び通過部候補領域の間の位置関係がモデリングによって規定される位置関係と略一致する場合には、マフラー候補領域及び通過部候補領域の間の位置関係は妥当であると判定され（ステップＳ７０９／ＹＥＳ）、判定部２５０は、判定結果を記憶部２６０へ登録し（ステップＳ７１１）、図１９に示した処理は終了する。
　なお、通過部候補領域についての検出処理（ステップＳ７３０）及びマフラー候補領域についての検出処理（ステップＳ７５０）の順序は係る例に限定されない。また、通過部候補領域についての検出処理（ステップＳ７３０）及びマフラー候補領域についての検出処理（ステップＳ７５０）は、並列的に実行されてもよい。
　続いて、図２０を参照して、第２の応用例に係る画像処理装置２０が行う非通過部顔候補領域、通過部候補領域、及びマフラー候補領域の各々の検出処理（図１９に示したステップＳ７１０，Ｓ７３０，Ｓ７５０）について、より詳細に説明する。図２０は、第２の応用例に係る画像処理装置２０が行う非通過部顔候補領域、通過部候補領域、及びマフラー候補領域の各々の検出処理の流れの一例を示すフローチャートである。
　図２０に示したように、まず、非通過部検出部２４３（通過部検出部２４２、マフラー検出部２４１）は、遠赤外画像Ｉｍ２０から部分領域を抽出する（ステップＳ７１１（ステップＳ７３１，Ｓ７５１））。次に、非通過部検出部２４３（通過部検出部２４２、マフラー検出部２４１）は、抽出された部分領域についてのスコア値を算出する（ステップＳ７１３（ステップＳ７３３，Ｓ７５３））。次に、非通過部検出部２４３（通過部検出部２４２、マフラー検出部２４１）は、算出されたスコア値と閾値との比較を行う（ステップＳ７１５（ステップＳ７３５，Ｓ７５５））。そして、非通過部検出部２４３（通過部検出部２４２、マフラー検出部２４１）は、遠赤外画像Ｉｍ２０の全領域について、部分領域の抽出が終了したか否かを判定する（ステップＳ７１７（ステップＳ７３７，Ｓ７５７））。遠赤外画像Ｉｍ２０の全領域について、部分領域の抽出が終了したと判定されなかった場合（ステップＳ７１７／ＮＯ（ステップＳ７３７／ＮＯ，Ｓ７５７／ＮＯ））、ステップＳ７１１（ステップＳ７３１，Ｓ７３５）の処理へ戻る。一方、遠赤外画像Ｉｍ２０の全領域について、部分領域の抽出が終了したと判定された場合（ステップＳ７１７／ＹＥＳ（ステップＳ７３７／ＹＥＳ，Ｓ７５７／ＹＥＳ））、図２０に示した処理は終了する。
　なお、上述したように、非通過部検出部２４３は、遠赤外画像Ｉｍ２０における所定の位置についてのみ部分領域の抽出を行ってもよい。その場合、非通過部検出部２４３による非通過部候補領域についての検出処理の流れから、遠赤外画像Ｉｍ２０の全領域について、部分領域の抽出が終了したか否かの判定処理（ステップＳ７１７）は省略される。
　　[３－３．第３の応用例]
　続いて、図２１～図２７を参照して、第３の応用例に係る画像処理装置３０について説明する。第３の応用例は、本開示に係る技術を被写体としての患者の開腹部における異常状態の患部である異常部の検出に適用した例である。なお、開腹部は、切開部の一例であり、本開示に係る技術は、例えば、被写体としての患者の開胸部における異常状態の患部である異常部の検出にも適用され得る。第３の応用例に係る画像処理装置３０は、遠赤外画像に所定の被写体として異常部が映っているか否かを判定する。
　　　（機能構成）
　まず、図２１を参照して、第３の応用例に係る画像処理装置３０の機能構成について説明する。第３の応用例に係る画像処理装置３０のハードウェア構成は、図２を参照して説明した画像処理装置１のハードウェア構成と同様であってもよい。図２１は、そのような画像処理装置３０の構成要素が互いに連係することにより実現される機能構成の一例を示すブロック図である。
　図２１に示したように、画像処理装置３０は、体表検出部３４１と、開腹部検出部３４２と、異常部検出部３４３と、判定部３５０と、記憶部３６０と、を備える。第３の応用例における体表検出部３４１、開腹部検出部３４２、及び異常部検出部３４３は、本開示に係る複数の検出部に相当する。また、第３の応用例における判定部３５０及び記憶部３６０は、図３を参照して説明した画像処理装置１の判定部５０及び記憶部６０とそれぞれ対応する。
　記憶部３６０は、画像処理装置３０が行う各処理において参照されるデータを記憶する。例えば、記憶部３６０は、体表検出部３４１、開腹部検出部３４２、及び異常部検出部３４３の各々が行う候補領域の検出処理において用いられる情報を記憶する。また、記憶部３６０は、判定部３５０が行う判定処理において用いられるモデリングを記憶する。具体的には、記憶部３６０には、図２４に示した後述するデータテーブルＤ３０が記憶され、当該データテーブルＤ３０に各種情報が含まれる。
　体表検出部３４１は、遠赤外画像から患者の体表が映る候補である体表候補領域を、候補領域として、検出する。また、開腹部検出部３４２は、遠赤外画像から患者の開腹部が映る候補である開腹部候補領域を、候補領域として、検出する。また、異常部検出部３４３は、遠赤外画像から開腹部における異常部が映る候補である異常部候補領域を、候補領域として、検出する。これらの検出部は、遠赤外画像から互いに異なる設定温度範囲内の温度を示す領域を検出する。
　ここで、開腹部は、上述したように、切開部の一例である。また、開腹部候補領域は、切開部が映る候補である切開部候補領域に相当する。また、開腹部検出部３４２は、遠赤外画像から切開部候補領域を候補領域として検出する切開部検出部に相当する。
　第３の応用例に係る各検出部は、図３を参照して説明した画像処理装置１の第１検出部４１（第２検出部４２）における第１抽出部４１ａ（第２抽出部４２ａ）、第１スコア算出部４１ｂ（第２スコア算出部４２ｂ）、及び第１スコア比較部４１ｃ（第２スコア比較部４２ｃ）の機能を有する。具体的には、第３の応用例に係る各検出部は、図３を参照して説明した画像処理装置１の各検出部と同様に、遠赤外画像から部分領域を抽出し、抽出された部分領域についてのスコア値を算出し、算出されたスコア値と閾値との比較を行う。また、第３の応用例に係る各検出部は、スコア値が閾値より高い場合に、対応する部分領域を候補領域として検出し、スコア値が閾値以下である場合に、対応する部分領域を候補領域として検出しない。また、第３の応用例に係る各検出部は、検出結果を判定部３５０へ出力する。
　第３の応用例に係る画像処理装置３０は、患者の微細部位を拡大観察しながら行う、いわゆるマイクロサージェリーに用いられる顕微鏡装置に適用される。図２２は、顕微鏡装置３１を用いた手術の様子を示す説明図である。図２２では、手術において、患者ベッド３３上の患者３７の術部を顕微鏡装置３１が撮像している様子が概略的に示されている。患者３７の術部を除く部分は、不織布３５によって覆われている。また、図２２に示したように、顕微鏡装置３１の先端には、カメラ３１ａが設けられており、当該カメラ３１ａが患者３７の術部を撮像する。顕微鏡装置３１は、複数の回動自在なアーム部を含み、当該複数のアーム部を適宜回動させることによって、カメラ３１ａの位置及び姿勢を調整することができる。顕微鏡装置３１は、図示しない表示装置と接続されており、当該表示装置へ術部の画像が映され、術者が当該画像を確認しながら手術を行うことができる。顕微鏡装置３１には図示しない制御装置を含む。第３の応用例に係る画像処理装置３０は、例えば、このような顕微鏡装置３１に適用され得る。その場合、カメラ３１ａが赤外線カメラ１０２に相当する。
　図２３は、患者の開腹部Ｃ３２における異常部Ｐ３０が映る遠赤外画像Ｉｍ３０の一例を示す説明図である。図２３に示したように、遠赤外画像Ｉｍ３０には、被写体としての異常部Ｐ３０が映っている。また、遠赤外画像Ｉｍ３０において、対象物として、患者の体表Ｃ３１及び当該患者の開腹部Ｃ３２が示されている。また、開腹部Ｃ３２における異常部Ｐ３０は、検出対象の被写体に相当するとともに、異常部検出部３４３による候補領域の検出における対象物にも相当する。第３の応用例に係る各検出部は、例えば、このような遠赤外画像Ｉｍ３０について、対象物が映る候補の候補領域を検出し得る。なお、図２３に示したように、遠赤外画像Ｉｍ３０には、例えば、開腹部Ｃ３２の縁部を支持する鉗子等の器具Ｅ３１が複数映っている。図２３に示した遠赤外画像において、ハッチングの濃淡は画素値の異同を示す。当該ハッチングが濃い区域ほど、画素値が低い区域である。換言すると、当該ハッチングが濃い区域ほど、当該区域によって示される温度が低い区域である。
　例えば、各検出部は、遠赤外画像Ｉｍ３０から所定の寸法を有する部分領域を抽出する。具体的には、各検出部は、記憶部３６０に記憶されるデータテーブルＤ３０を参照することによって、部分領域の寸法を設定し得る。データテーブルＤ３０において、例えば、図２４に示したように、各対象物を示す情報と、当該各対象物に応じた寸法を示す情報とが紐付けられている。
　具体的には、体表検出部３４１は、対象物である体表Ｃ３１について、画像全体を、部分領域の寸法として、設定する。また、開腹部検出部３４２は、対象物である開腹部Ｃ３２に対応する「直径１０～３０ｃｍ」という寸法を、部分領域の寸法として、設定する。また、異常部検出部３４３は、対象物である異常部Ｐ３０に対応する「直径１～５ｃｍ」という寸法を、部分領域の寸法として、設定する。
　そして、各検出部は、対象物の想定温度と対応する確率密度関数に基づいて、部分領域についてのスコア値を算出する。具体的には、各検出部は、記憶部３６０に記憶されるデータテーブルＤ３０を参照することによって、対象物の想定温度と対応する確率密度関数を生成し得る。データテーブルＤ３０において、例えば、図２４に示したように、各対象物を示す情報と、当該各対象物の想定温度を示す情報とが紐付けられている。なお、記憶部３６０に各対象物と対応する確率密度関数を示す情報が記憶されていてもよく、その場合、各検出部は、記憶部３６０から当該確率密度関数を示す情報を取得し得る。また、記憶部３６０には、第１の応用例及び第２の応用例と同様に、環境温度の各々についてデータテーブルが記憶されてもよく、各データテーブルにおける各対象物の想定温度は、対応する環境温度に応じて設定され得る。
　具体的には、体表検出部３４１は、対象物である体表Ｃ３１の想定温度を「３５℃」として、スコア値を算出する。また、開腹部検出部３４２は、対象物である開腹部Ｃ３２の想定温度を「３７℃」として、スコア値を算出する。また、異常部検出部３４３は、対象物である異常部Ｐ３０の想定温度を「３９℃」として、スコア値を算出する。異常部Ｐ３０では、腫れや出血が生じている場合があるので、異常部Ｐ３０の温度は、このように、開腹部Ｃ３２と比較して、高いことが想定される。
　そして、各検出部は、算出されたスコア値と閾値との比較を行う。スコア値は、例えば、０から１の間の値をとり、スコア値が大きいほど、部分領域によって示される温度が対象物の想定温度である可能性が高くなる。ここで、各検出部は、上述したように、遠赤外画像Ｉｍ３０の全領域を走査するように部分領域の抽出を繰り返す。ゆえに、開腹部検出部３４２及び異常部検出部３４３は、繰り返し抽出される複数の部分領域と対応する複数のスコア値を算出する。なお、体表検出部３４１は、上述したように、画像全体を部分領域の寸法として設定した場合、遠赤外画像Ｉｍ３０についての部分領域の抽出を複数回行わない。開腹部検出部３４２及び異常部検出部３４３についての当該複数のスコア値における最大値と、体表検出部３４１についてのスコア値の組み合わせの例を、図２５に示す。
　具体的には、図２５に示したように、組み合わせ例３１では、開腹部検出部３４２及び異常部検出部３４３の各々についてのスコア値の最大値は、「１．０」及び「１．０」であり、体表検出部３４１についてのスコア値は、「０．８」である。
　ここで、各検出部は、スコア値が閾値より高い場合に、対応する部分領域を候補領域として検出する。一方、検出部は、スコア値が閾値以下である場合に、対応する部分領域を候補領域として検出しない。ゆえに、開腹部検出部３４２及び異常部検出部３４３の各々についてのスコア値の最大値が閾値より高い場合は、開腹部検出部３４２及び異常部検出部３４３の各々によって、候補領域が検出された場合に相当する。一方、開腹部検出部３４２及び異常部検出部３４３の各々についてのスコア値の最大値が閾値以下である場合は、開腹部検出部３４２及び異常部検出部３４３の各々によって、候補領域が検出されなかった場合に相当する。
　例えば、閾値が０．５に設定されている場合、組み合わせ例３１では、体表候補領域、開腹部候補領域、及び異常部候補領域は、体表検出部３４１、開腹部検出部３４２、及び異常部検出部３４３によって、それぞれ検出されている。
　第３の応用例に係る判定部３５０は、検出された体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係と、モデリングとに基づいて、遠赤外画像Ｉｍ３０に所定の被写体として異常部Ｐ３０が映っているか否かを判定する。当該モデリングは、遠赤外画像Ｉｍ３０に異常部Ｐ３０が映っているか否かを判定するために用いられる指標である。当該モデリングは、遠赤外画像Ｉｍ３０において異常部Ｐ３０が映る場合における体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係を規定する。
　具体的には、判定部３５０は、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係がモデリングによって規定される位置関係と略一致する場合に、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係は妥当であると判定する。そして、判定部３５０は、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係は妥当であると判定したことをもって、遠赤外画像Ｉｍ３０に異常部Ｐ３０が映っていると判定する。
　より具体的には、判定部３５０は、記憶部３６０に記憶されるデータテーブルＤ３０を参照することによって、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係が妥当であるか否かを判定し得る。データテーブルＤ３０において、例えば、図２４に示したように、各対象物を示す情報と、遠赤外画像Ｉｍ３０において異常部Ｐ３０が映る場合における当該各対象物の他の対象物に対する相対位置を示す情報とが紐付けられている。このような相対位置が、第３の応用例におけるモデリングによって規定される。
　具体的には、判定部３５０は、体表候補領域の外周部が開腹部候補領域より外側に位置し、かつ、異常部候補領域が開腹部候補領域より内側に位置する場合に、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係は妥当であると判定する。換言すると、判定部３５０は、開腹部候補領域が体表候補領域より内側に位置し、かつ、異常部候補領域が開腹部候補領域より内側に位置する場合に、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係は妥当であると判定する。
　このように、第３の応用例では、互いに異なる設定温度範囲内の温度を示す体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係と、モデリングとに基づいて、遠赤外画像Ｉｍ３０に異常部Ｐ３０が映っているか否かが判定される。ここで、体表Ｃ３１、開腹部Ｃ３２、及び異常部Ｐ３０は、異常部Ｐ３０と対応して存在し、モデリングによって規定される位置関係を有する。ゆえに、遠赤外画像Ｉｍ３０に異常部Ｐ３０が映っているか否かの判定において、より尤もらしい判定結果を得ることができる。よって、赤外線カメラ１０２と異なる他のデバイスを利用することなく、被写体としての異常部Ｐ３０の検出精度を向上させることができる。従って、被写体としての異常部Ｐ３０の検出精度をより安価に向上させることが可能となる。
　なお、遠赤外画像に被写体としての異常部Ｐ３０が複数映る場合、体表候補領域、開腹部候補領域、又は異常部候補領域が複数検出され得る。そのような場合には、判定部３５０は、例えば、体表候補領域、開腹部候補領域、及び異常部候補領域の組み合わせの全てについて、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係が妥当であるか否かの判定を実行する。位置関係が妥当であると判定される体表候補領域、開腹部候補領域、及び異常部候補領域の組み合わせの数が複数である場合に、判定部３５０は、遠赤外画像に当該複数の組み合わせの各々に対応する異常部Ｐ３０が映っていると判定し得る。
　また、判定部３５０は、判定結果をディスプレイ１０８へ出力することにより、報知する。それにより、例えば、術者への警告がなされる。
　また、判定部３５０は、各検出部から出力される検出結果に応じて、遠赤外画像Ｉｍ３０に異常部Ｐ３０が映っているか否かを判定する判定処理を実行するか否かを決定してもよい。
　例えば、判定部３５０は、体表候補領域、開腹部候補領域、及び異常部候補領域のいずれもが検出された場合に、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係についての判定処理を実行してもよい。一方、判定部３５０は、体表候補領域、開腹部候補領域、及び異常部候補領域のうち少なくとも１つが検出されなかった場合には、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係についての判定処理を実行しなくてもよい。
　例えば、図２５に示した組み合わせ例３１では、体表候補領域、開腹部候補領域、及び異常部候補領域のいずれもが検出されているので、判定部３５０は、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係についての判定処理を実行する。
　上記では、部分領域の抽出処理、スコア値の算出処理、及びスコア値と閾値との比較処理を実行することによって、遠赤外画像からの候補領域の検出が実現される例について説明したが、候補領域の検出の具体的な方法は、第１の応用例及び第２の応用例と同様に、係る例に限定されない。
　　　（動作）
　続いて、図２６及び図２７を参照して、第３の応用例に係る画像処理装置３０が行う処理の流れについて説明する。図２６は、第３の応用例に係る画像処理装置３０が行う処理の流れの一例を示すフローチャートである。図２６に示した処理は、例えば、各フレームについて、実行され得る。
　図２６に示したように、まず、画像処理装置３０は、遠赤外画像Ｉｍ３０の撮像を行う（ステップＳ８０１）。次に、体表検出部３４１は、撮像された遠赤外画像Ｉｍ３０から体表候補領域を検出する検出処理を実行し（ステップＳ８１０）、検出結果を判定部３５０へ出力する。そして、判定部３５０は、体表候補領域が検出されたか否かを判断する（ステップＳ８０３）。体表候補領域が検出されたと判断されなかった場合（ステップＳ８０３／ＮＯ）、ステップＳ８０１の処理へ戻る。
　一方、体表候補領域が検出されたと判断された場合（ステップＳ８０３／ＹＥＳ）、判定部３５０から開腹部検出部３４２へ判断結果が出力され、開腹部検出部３４２は、開腹部候補領域を検出する検出処理を実行し（ステップＳ８３０）、検出結果を判定部３５０へ出力する。そして、判定部３５０は、開腹部候補領域が検出されたか否かを判断する（ステップＳ８０５）。開腹部候補領域が検出されたと判断されなかった場合（ステップＳ８０５／ＮＯ）、ステップＳ８０１の処理へ戻る。
　一方、開腹部候補領域が検出されたと判断された場合（ステップＳ８０５／ＹＥＳ）、判定部３５０から異常部検出部３４３へ判断結果が出力され、異常部検出部３４３は、異常部候補領域を検出する検出処理を実行し（ステップＳ８５０）、検出結果を判定部３５０へ出力する。そして、判定部３５０は、異常部候補領域が検出されたか否かを判断する（ステップＳ８０７）。異常部候補領域が検出されたと判断されなかった場合（ステップＳ８０７／ＮＯ）、ステップＳ８０１の処理へ戻る。
　一方、異常部候補領域が検出されたと判断された場合（ステップＳ８０７／ＹＥＳ）、判定部３５０は、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係が妥当であるか否かを判定する（ステップＳ８０９）。体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係がモデリングによって規定される位置関係と略一致しない場合には、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係は妥当であると判定されず（ステップＳ８０９／ＮＯ）、ステップＳ８０１の処理へ戻る。一方、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係がモデリングによって規定される位置関係と略一致する場合には、体表候補領域、開腹部候補領域、及び異常部候補領域の間の位置関係は妥当であると判定され（ステップＳ８０９／ＹＥＳ）、判定部３５０は、判定結果をディスプレイ１０８へ出力することにより、術者へ警告し（ステップＳ８１１）、図２６に示した処理は終了する。
　なお、体表候補領域についての検出処理（ステップＳ８１０）、開腹部候補領域についての検出処理（ステップＳ８３０）、及び異常部候補領域についての検出処理（ステップＳ８５０）の順序は係る例に限定されない。また、体表候補領域についての検出処理（ステップＳ８１０）、開腹部候補領域についての検出処理（ステップＳ８３０）、及び異常部候補領域についての検出処理（ステップＳ８５０）は、並列的に実行されてもよい。
　続いて、図２７を参照して、第３の応用例に係る画像処理装置３０が行う体表候補領域、開腹部候補領域、及び異常部候補領域の各々の検出処理（図２６に示したステップＳ８１０，Ｓ８３０，Ｓ８５０）について、より詳細に説明する。図２７は、第３の応用例に係る画像処理装置３０が行う体表候補領域、開腹部候補領域、及び異常部候補領域の各々の検出処理の流れの一例を示すフローチャートである。
　図２７に示したように、まず、体表検出部３４１（開腹部検出部３４２、異常部検出部３４３）は、遠赤外画像Ｉｍ３０から部分領域を抽出する（ステップＳ８１１（ステップＳ８３１，Ｓ８５１））。次に、体表検出部３４１（開腹部検出部３４２、異常部検出部３４３）は、抽出された部分領域についてのスコア値を算出する（ステップＳ８１３（ステップＳ８３３，Ｓ８５３））。次に、体表検出部３４１（開腹部検出部３４２、異常部検出部３４３）は、算出されたスコア値と閾値との比較を行う（ステップＳ８１５（ステップＳ８３５，Ｓ８５５））。そして、体表検出部３４１（開腹部検出部３４２、異常部検出部３４３）は、遠赤外画像Ｉｍ３０の全領域について、部分領域の抽出が終了したか否かを判定する（ステップＳ８１７（ステップＳ８３７，Ｓ８５７））。遠赤外画像Ｉｍ３０の全領域について、部分領域の抽出が終了したと判定されなかった場合（ステップＳ８１７／ＮＯ（ステップＳ８３７／ＮＯ，Ｓ８５７／ＮＯ））、ステップＳ８１１（ステップＳ８３１，Ｓ８５１）の処理へ戻る。一方、遠赤外画像Ｉｍ３０の全領域について、部分領域の抽出が終了したと判定された場合（ステップＳ８１７／ＹＥＳ（ステップＳ８３７／ＹＥＳ，Ｓ８５７／ＹＥＳ））、図２７に示した処理は終了する。
　なお、上述のような本実施形態に係る画像処理装置１又は各応用例に係る画像処理装置１０，２０，３０の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。本実施形態に係る画像処理装置１又は各応用例に係る画像処理装置１０，２０，３０は、コンピュータに相当し得る。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。また、本実施形態に係る画像処理装置１又は各応用例に係る画像処理装置１０，２０，３０の各機能は複数のコンピュータにより分割されてもよく、その場合、当該複数のコンピュータが有する各機能は、上記のコンピュータプログラムにより実現され得る。
　＜４．まとめ＞
　以上説明したように、本開示の実施形態によれば、互いに異なる設定温度範囲内の温度を示す複数の検出領域間の位置関係と、モデリングとに基づいて、遠赤外画像に所定の被写体が映っているか否かが判定される。ゆえに、遠赤外画像に所定の被写体が映っているか否かの判定において、より尤もらしい判定結果を得ることができる。よって、赤外線カメラ１０２と異なる他のデバイスを利用することなく、被写体の検出精度を向上させることができる。従って、被写体の検出精度をより安価に向上させることが可能となる。
　上記では、各検出部が所定の寸法の部分領域を抽出する例を主に説明したが、各検出部は、複数の寸法について部分領域の抽出を行ってもよい。それにより、対象物と赤外線カメラ１０２との距離によらず、より確実に部分領域を抽出することができる。
　なお、上述した本開示に係る技術は、様々な用途に利用することができる。具体的には、本開示に係る技術は、人体以外の生体の検出に適用され得る。また、本開示に係る画像処理装置は、車両システム、医療システム、自動生産システム等に適用され得る。
　なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ　ｍｅｄｉａ）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。各プログラムを実行するプロセッサは、単数であっても複数であってもよい。
　また、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲は係る例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　遠赤外画像から互いに異なる設定温度範囲内の温度を示す検出領域をそれぞれ検出する複数の検出部と、
　検出された複数の前記検出領域間の位置関係と、前記遠赤外画像において所定の被写体が映る場合における前記位置関係を規定するモデリングとに基づいて、前記遠赤外画像に前記所定の被写体が映っているか否かを判定する判定部と、
　を備える、画像処理装置。
（２）
　前記設定温度範囲は、前記検出部の各々に対応する対象物の想定温度に応じた温度範囲であり、
　前記検出領域は、前記対象物が映る候補である候補領域に相当する、
　前記（１）に記載の画像処理装置。
（３）
　前記検出部は、前記対象物に応じて設定される寸法を有する領域を、前記候補領域として、検出する、前記（２）に記載の画像処理装置。
（４）
　前記検出部は、前記対象物の前記想定温度である尤度が閾値より高い温度を示す領域を、前記候補領域として、検出する、前記（２）又は（３）に記載の画像処理装置。
（５）
　前記複数の検出部は、前記遠赤外画像から人体の顔が映る候補である顔候補領域を前記候補領域として検出する顔検出部、及び、前記遠赤外画像から前記人体の胴体が映る候補である胴体候補領域を前記候補領域として検出する胴体検出部を含み、
　前記判定部は、検出された前記顔候補領域及び前記胴体候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記人体が映っているか否かを判定する、
　前記（２）～（４）のいずれか一項に記載の画像処理装置。
（６）
　前記複数の検出部は、前記遠赤外画像から前記顔に関連する部分が映る候補である顔部分候補領域を前記候補領域として検出する顔部分検出部をさらに含み、
　前記判定部は、検出された前記顔候補領域及び前記顔部分候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記人体が映っているか否かを判定する、
　前記（５）に記載の画像処理装置。
（７）
　前記複数の検出部は、前記遠赤外画像から車両のマフラーが映る候補であるマフラー候補領域を前記候補領域として検出するマフラー検出部、及び、前記遠赤外画像から路面上において前記車両の車輪が通過した部分が映る候補である通過部候補領域を前記候補領域として検出する通過部検出部を含み、
　前記判定部は、検出された前記マフラー候補領域及び前記通過部候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記車両が映っているか否かを判定する、
　前記（２）～（４）のいずれか一項に記載の画像処理装置。
（８）
　前記複数の検出部は、前記遠赤外画像から患者の体表が映る候補である体表候補領域を前記候補領域として検出する体表検出部、前記遠赤外画像から前記患者の切開部が映る候補である切開部候補領域を前記候補領域として検出する切開部検出部、及び、前記遠赤外画像から前記切開部における異常部が映る候補である異常部候補領域を前記候補領域として検出する異常部検出部を含み、
　前記判定部は、検出された前記体表候補領域、前記切開部候補領域、及び前記異常部候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記異常部が映っているか否かを判定する、
　前記（２）～（４）のいずれか一項に記載の画像処理装置。
（９）
　前記遠赤外画像を撮像する撮像部を備える、前記（１）～（８）のいずれか一項に記載の画像処理装置。
（１０）
　遠赤外画像から互いに異なる設定温度範囲内の温度を示す検出領域をそれぞれ検出することと、
　検出された複数の前記検出領域間の位置関係と、前記遠赤外画像において所定の被写体が映る場合における前記位置関係を規定するモデリングとに基づいて、画像処理装置によって、前記遠赤外画像に前記所定の被写体が映っているか否かを判定することと、
　を含む、画像処理方法。
１，１０，２０，３０　画像処理装置
３１　顕微鏡装置
３１ａ　カメラ
３３　患者ベッド
３５　不織布
３７　患者
４１　第１検出部
４１ａ　第１抽出部
４１ｂ　第１スコア算出部
４１ｃ　第１スコア比較部
４２　第２検出部
４２ａ　第２抽出部
４２ｂ　第２スコア算出部
４２ｃ　第２スコア比較部
５０，１５０，２５０，３５０　判定部
６０，１６０，２６０，３６０　記憶部
１０２　赤外線カメラ
１０４　入力インタフェース
１０６　メモリ
１０８　ディスプレイ
１１０　通信インタフェース
１１２　ストレージ
１１４　プロセッサ
１１６　バス
１４１　顔検出部
１４２　胴体検出部
１４３　目検出部
１４４　眼鏡検出部
１４５　頭髪検出部
２４１　マフラー検出部
２４２　通過部検出部
２４３　非通過部検出部
３４１　体表検出部
３４２　開腹部検出部
３４３　異常部検出部

Claims (10)

  1. 　遠赤外画像から互いに異なる設定温度範囲内の温度を示す検出領域をそれぞれ検出する複数の検出部と、
    　検出された複数の前記検出領域間の位置関係と、前記遠赤外画像において所定の被写体が映る場合における前記位置関係を規定するモデリングとに基づいて、前記遠赤外画像に前記所定の被写体が映っているか否かを判定する判定部と、
    　を備える、画像処理装置。
  2. 　前記設定温度範囲は、前記検出部の各々に対応する対象物の想定温度に応じた温度範囲であり、
    　前記検出領域は、前記対象物が映る候補である候補領域に相当する、
    　請求項１に記載の画像処理装置。
  3. 　前記検出部は、前記対象物に応じて設定される寸法を有する領域を、前記候補領域として、検出する、請求項２に記載の画像処理装置。
  4. 　前記検出部は、前記対象物の前記想定温度である尤度が閾値より高い温度を示す領域を、前記候補領域として、検出する、請求項２に記載の画像処理装置。
  5. 　前記複数の検出部は、前記遠赤外画像から人体の顔が映る候補である顔候補領域を前記候補領域として検出する顔検出部、及び、前記遠赤外画像から前記人体の胴体が映る候補である胴体候補領域を前記候補領域として検出する胴体検出部を含み、
    　前記判定部は、検出された前記顔候補領域及び前記胴体候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記人体が映っているか否かを判定する、
    　請求項２に記載の画像処理装置。
  6. 　前記複数の検出部は、前記遠赤外画像から前記顔に関連する部分が映る候補である顔部分候補領域を前記候補領域として検出する顔部分検出部をさらに含み、
    　前記判定部は、検出された前記顔候補領域及び前記顔部分候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記人体が映っているか否かを判定する、
    　請求項５に記載の画像処理装置。
  7. 　前記複数の検出部は、前記遠赤外画像から車両のマフラーが映る候補であるマフラー候補領域を前記候補領域として検出するマフラー検出部、及び、前記遠赤外画像から路面上において前記車両の車輪が通過した部分が映る候補である通過部候補領域を前記候補領域として検出する通過部検出部を含み、
    　前記判定部は、検出された前記マフラー候補領域及び前記通過部候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記車両が映っているか否かを判定する、
    　請求項２に記載の画像処理装置。
  8. 　前記複数の検出部は、前記遠赤外画像から患者の体表が映る候補である体表候補領域を前記候補領域として検出する体表検出部、前記遠赤外画像から前記患者の切開部が映る候補である切開部候補領域を前記候補領域として検出する切開部検出部、及び、前記遠赤外画像から前記切開部における異常部が映る候補である異常部候補領域を前記候補領域として検出する異常部検出部を含み、
    　前記判定部は、検出された前記体表候補領域、前記切開部候補領域、及び前記異常部候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記異常部が映っているか否かを判定する、
    　請求項２に記載の画像処理装置。
  9. 　前記遠赤外画像を撮像する撮像部を備える、請求項１に記載の画像処理装置。
  10. 　遠赤外画像から互いに異なる設定温度範囲内の温度を示す検出領域をそれぞれ検出することと、
    　検出された複数の前記検出領域間の位置関係と、前記遠赤外画像において所定の被写体が映る場合における前記位置関係を規定するモデリングとに基づいて、画像処理装置によって、前記遠赤外画像に前記所定の被写体が映っているか否かを判定することと、
    　を含む、画像処理方法。
PCT/JP2017/013701 2016-07-13 2017-03-31 画像処理装置及び画像処理方法 WO2018012053A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018527391A JP6904348B2 (ja) 2016-07-13 2017-03-31 画像処理装置及び画像処理方法
US16/314,616 US20190316966A1 (en) 2016-07-13 2017-03-31 Image processing device and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-138848 2016-07-13
JP2016138848 2016-07-13

Publications (1)

Publication Number Publication Date
WO2018012053A1 true WO2018012053A1 (ja) 2018-01-18

Family

ID=60952381

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/013701 WO2018012053A1 (ja) 2016-07-13 2017-03-31 画像処理装置及び画像処理方法

Country Status (3)

Country Link
US (1) US20190316966A1 (ja)
JP (1) JP6904348B2 (ja)
WO (1) WO2018012053A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10202003027QA (en) * 2020-04-01 2020-10-29 Sensetime Int Pte Ltd Image recognition method, apparatus, and storage medium
US11361589B2 (en) * 2020-04-01 2022-06-14 Sensetime International Pte. Ltd. Image recognition method, apparatus, and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001108758A (ja) * 1999-10-06 2001-04-20 Matsushita Electric Ind Co Ltd 人物検出装置
JP2006176020A (ja) * 2004-12-22 2006-07-06 Nissan Motor Co Ltd 歩行者報知装置及び方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014185033A1 (ja) * 2013-05-17 2014-11-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 熱画像センサ、およびユーザインターフェース

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001108758A (ja) * 1999-10-06 2001-04-20 Matsushita Electric Ind Co Ltd 人物検出装置
JP2006176020A (ja) * 2004-12-22 2006-07-06 Nissan Motor Co Ltd 歩行者報知装置及び方法

Also Published As

Publication number Publication date
JPWO2018012053A1 (ja) 2019-04-25
JP6904348B2 (ja) 2021-07-14
US20190316966A1 (en) 2019-10-17

Similar Documents

Publication Publication Date Title
JP6577607B2 (ja) 自動特徴解析、比較、及び異常検出
CN111626125B (zh) 人脸温度检测的方法、系统、装置和计算机设备
Jafari et al. Automatic detection of melanoma using broad extraction of features from digital images
US9808154B2 (en) Biometric identification via retina scanning with liveness detection
TWI617948B (zh) 用於眼部追蹤的校正模組及其方法及電腦可讀取紀錄媒體
CN109691989A (zh) 一种基于红外人脸检测技术的人体温度测量方法
CN111967296B (zh) 虹膜活体检测方法、门禁控制方法及装置
KR102554391B1 (ko) 홍채 인식 기반 사용자 인증 장치 및 방법
KR102162683B1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
EP2917894B1 (en) Skin image analysis
WO2017139632A1 (en) Systems and methods for evaluating pigmented tissue lesions
CA2922403A1 (en) Surface simulation
WO2018012053A1 (ja) 画像処理装置及び画像処理方法
CN111862020A (zh) 一种眼前节生理年龄预测方法、装置、服务器及存储介质
Zeng et al. Automated detection of diabetic retinopathy using a binocular siamese-like convolutional network
Mohan et al. Exudate localization in retinal fundus images using modified speeded up robust features algorithm
Lazri et al. Detecting essential landmarks directly in thermal images for remote body temperature and respiratory rate measurement with a two-phase system
CN115953781A (zh) 基于热层析影像的乳腺人工智能分析系统及方法
CN115375611A (zh) 一种基于模型训练的屈光检测方法和检测系统
Bonyani et al. Different gaze direction (DGNet) collaborative learning for iris segmentation
KR102427395B1 (ko) 인공지능 기반 피부암 판단을 위한 제어 방법, 장치 및 프로그램
US20240013394A1 (en) Skin cancer diagnosis method based on image analysis using artificial intelligence
Xie et al. SEmbedNet: Hardware-Friendly CNN for Ectopic Beat Classification on STM32-Based Edge Device
Xu et al. Stent Deployment Detection Using Radio Frequency‐Based Sensor and Convolutional Neural Networks
WO2024095362A1 (ja) 情報処理システム、情報処理装置、情報処理方法、および記録媒体

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018527391

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17827187

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17827187

Country of ref document: EP

Kind code of ref document: A1