WO2023058265A1 - 判定装置および判定方法 - Google Patents

判定装置および判定方法 Download PDF

Info

Publication number
WO2023058265A1
WO2023058265A1 PCT/JP2022/021133 JP2022021133W WO2023058265A1 WO 2023058265 A1 WO2023058265 A1 WO 2023058265A1 JP 2022021133 W JP2022021133 W JP 2022021133W WO 2023058265 A1 WO2023058265 A1 WO 2023058265A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
person
images
determination
unit
Prior art date
Application number
PCT/JP2022/021133
Other languages
English (en)
French (fr)
Inventor
太郎 今川
晃浩 野田
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2023552689A priority Critical patent/JPWO2023058265A1/ja
Publication of WO2023058265A1 publication Critical patent/WO2023058265A1/ja
Priority to US18/618,281 priority patent/US20240230945A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3581—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using far infrared light; using Terahertz radiation
    • G01N21/3586—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using far infrared light; using Terahertz radiation by Terahertz time domain spectroscopy [THz-TDS]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/12—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with electromagnetic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V5/00—Prospecting or detecting by the use of ionising radiation, e.g. of natural or induced radioactivity
    • G01V5/20—Detecting prohibited goods, e.g. weapons, explosives, hazardous substances, contraband or smuggled objects
    • G01V5/22—Active interrogation, i.e. by irradiating objects or goods using external radiation sources, e.g. using gamma rays or cosmic rays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present disclosure relates to a determination device that determines personal belongings.
  • a determination device that uses a sub-terahertz wave image containing a person to determine the person's belongings is required to determine the belongings of the person with relatively high accuracy.
  • an object of the present disclosure is to provide a determination device or the like that can relatively accurately determine belongings of a person using a subterahertz wave image including the person.
  • a determination device detects a first singular region, which is a characteristic luminance distribution region, for each of a plurality of first images including a person captured at different times.
  • a singular area detection unit detects a reference position related to the person from each of a plurality of second images containing the person captured substantially simultaneously with each of the plurality of first images.
  • each of the one or more first images As objects, a first specific region detected in the first image and the reference in one second image out of the plurality of second images captured substantially simultaneously with the first image a mapping unit that maps the first specific region to the person included in the first second image based on the reference position calculated by the position calculation unit; and a result of the mapping by the mapping unit. and an output unit configured to output a determination result of the determination unit, wherein each of the plurality of first images is a sub-terahertz wave image; Each of the plurality of second images is composed of at least one of a visible light image, an infrared light image, and a range image.
  • sub-terahertz wave means an electromagnetic wave with a frequency of 0.05 THz or more and 2 THz or less.
  • the sub-terahertz wave in this specification may be an electromagnetic wave with a frequency of 0.08 THz or more and 1 THz or less.
  • diffuse reflection means that sub-terahertz waves incident on a reflector at one incident angle from a macroscopic point of view are reflected by a plurality of microscopic irregularities due to the structure of an uneven surface having a plurality of microscopic irregularities. It means that it is reflected at the angle of reflection.
  • a determination device is a virtual sub-terahertz wave that is assumed to be captured from a second image including a person when the person is irradiated with sub-terahertz waves substantially simultaneously with capturing the second image.
  • the first image is targeted based on an estimation unit that estimates a terahertz wave image, the virtual sub-terahertz wave image, and a first image including the person captured substantially simultaneously with the second image.
  • a unique area detection unit that detects a first unique area that is a characteristic luminance distribution area, a determination unit that determines the person's belongings based on the first unique area, and a determination by the determination unit an output unit that outputs a result, wherein the first image is a sub-terahertz wave image, and the second image is at least one of a visible light image, an infrared light image, and a range image.
  • a determination method detects a first singular region, which is a characteristic luminance distribution region, for each of a plurality of first images including a person captured at different times. a singular region detecting step; and a reference position calculating step of calculating a reference position related to the person from each of a plurality of second images including the person, which are captured substantially simultaneously with each of the plurality of first images.
  • each of the one or more first images is As objects, a first specific region detected in the first image and the reference in one second image out of the plurality of second images captured substantially simultaneously with the first image a mapping step of mapping the first singular region to the person included in the first second image based on the reference position calculated by the position calculating step; and a result of the mapping by the mapping step. and an output step of outputting a determination result of the determination step, wherein each of the plurality of first images is a subterahertz wave image, and the Each of the plurality of second images is composed of at least one of a visible light image, an infrared light image, and a range image.
  • a determination method is a virtual sub-terahertz wave that is assumed to be captured from a second image including a person when the person is irradiated with sub-terahertz waves substantially simultaneously with capturing the second image.
  • an estimation step of estimating a terahertz wave image an estimation step of estimating the first image based on the virtual sub-terahertz wave image; and a first image including the person captured substantially simultaneously with the second image;
  • a unique region detection step of detecting a first unique region that is a characteristic luminance distribution region, a determination step of determining the person's belongings based on the first unique region, and a determination by the determination step and an output step of outputting a result, wherein the first image is a sub-terahertz wave image and the second image is at least one of a visible light image, an infrared light image, and a range image.
  • a determination device and the like that can relatively accurately determine belongings of a person using a subterahertz wave image including the person is provided.
  • FIG. 1 is a schematic diagram showing the appearance of a determination system according to Embodiment 1.
  • FIG. FIG. 2 is a block diagram showing the configuration of the determination system according to Embodiment 1.
  • FIG. FIG. 3 is a schematic diagram showing the cross-sectional structure of the reflector according to the first embodiment.
  • FIG. 4A is a schematic diagram showing an example when the first light source according to Embodiment 1 is viewed from the front.
  • 4B is a schematic diagram showing another example when the first light source according to Embodiment 1 is viewed from the front.
  • FIG. FIG. 5 is a schematic diagram showing how the unique region detection unit according to Embodiment 1 detects the first unique region.
  • FIG. 6 is a schematic diagram illustrating an example of how a reference position calculation unit according to Embodiment 1 calculates a skeleton of a person as a reference position
  • FIG. FIG. 7 is a schematic diagram showing an example of how the mapping unit according to Embodiment 1 maps the first singular region to the person included in the second image.
  • 8 is a schematic diagram illustrating an example of an image displayed on a display by an output unit according to Embodiment 1.
  • FIG. FIG. 9 is a flowchart of the first determination process.
  • FIG. 10 is a block diagram showing the configuration of a determination system according to Embodiment 2.
  • FIG. 11 is a schematic diagram illustrating an example of how a mapping unit according to Embodiment 2 maps a first specific region and a second specific region to a person included in a second image.
  • FIG. 12 is a flowchart of the second determination process.
  • FIG. 13 is a block diagram showing the configuration of a determination system according to Embodiment 3.
  • FIG. 14 is a schematic diagram illustrating an example of how a reliability estimation unit according to Embodiment 3 estimates detection reliability from a second image;
  • FIG. 15 is a schematic diagram illustrating an example of how the mapping unit according to Embodiment 3 maps the first singular region and the detection reliability to a person included in the second image;
  • FIG. FIG. 16 is a flowchart of the third determination process.
  • FIG. 17 is a block diagram showing the configuration of a determination system according to Embodiment 4.
  • FIG. 18 is a schematic diagram illustrating an example of how an estimation unit according to Embodiment 4 estimates a virtual sub-terahertz wave image from a second image;
  • FIG. 19 is a schematic diagram showing an example of how the singular region detection unit according to Embodiment 4 detects the first singular region based on the virtual subterahertz wave image and the first image.
  • FIG. 20 is a flowchart of the fourth determination process.
  • FIG. 21 is a block diagram showing the configuration of a determination system according to Embodiment 5.
  • FIG. FIG. 22 is a flowchart of the fifth determination process.
  • Subterahertz waves pass through clothes, bags, and the like, and are specularly reflected on the human body, metal, and the like. Therefore, depending on the orientation of the camera that captures the subterahertz wave image, the subterahertz wave image captured by the camera does not clearly show the image of the reflected wave of the subterahertz wave from the person's belongings.
  • subterahertz wave images are captured from various angles using a plurality of cameras that capture subterahertz wave images, and a plurality of subterahertz wave images captured from various angles are used to determine belongings with relatively high accuracy.
  • a technique for determining a person's belongings based on a sub-terahertz wave image is disclosed.
  • the inventors diligently studied and conducted repeated experiments on a determination device that can relatively accurately determine a person's belongings without preparing multiple cameras that capture subterahertz wave images.
  • the subterahertz wave image includes a peculiar area, which is a characteristic luminance distribution area due to belongings
  • the peculiar area is imaged at approximately the same time as the subterahertz wave image.
  • the inventors have found that from a visible light image including a person captured substantially at the same time as a subterahertz wave image, in which the person's belongings are not hidden behind clothes, bags, etc., By estimating a subterahertz wave image that is assumed to be captured at the timing when the visible light image is captured, and comparing the estimated subterahertz wave image with the actually captured subterahertz wave image, We obtained the knowledge that it is possible to determine the possession with high accuracy.
  • a determination device detects a first singular region, which is a characteristic luminance distribution region, for each of a plurality of first images including a person captured at different times.
  • a singular area detection unit detects a reference position related to the person from each of a plurality of second images containing the person captured substantially simultaneously with each of the plurality of first images.
  • each of the one or more first images As objects, a first specific region detected in the first image and the reference in one second image out of the plurality of second images captured substantially simultaneously with the first image a mapping unit that maps the first specific region to the person included in the first second image based on the reference position calculated by the position calculation unit; and a result of the mapping by the mapping unit. and an output unit configured to output a determination result of the determination unit, wherein each of the plurality of first images is a sub-terahertz wave image; Each of the plurality of second images is composed of at least one of a visible light image, an infrared light image, and a range image.
  • the person In general, as the person moves, the person's belongings will turn in various directions. Therefore, in the first image, which is a plurality of subterahertz wave images, images of reflected waves of subterahertz waves from belongings facing different directions are captured.
  • the first image which is a plurality of subterahertz wave images
  • the determination device when the first image, which is a sub-terahertz wave image, includes a peculiar region, which is a characteristic luminance distribution region due to a possessed item, the peculiar region is The person is mapped to a person included in a second image composed of at least one of a visible light image, an infrared light image, and a range image, which is captured substantially simultaneously with the first image. Then, the possession is determined based on the mapping result. That is, even if the person's belongings move with the person's movement, the person's belongings can be determined based on the relative positional relationship between the person and the person's belongings.
  • the determination device having the above configuration, it is possible to relatively accurately determine the belongings of the person using the subterahertz wave image including the person.
  • the determination unit satisfies a first determination condition related to a mapping image, of the one or more first images, in which the first specific region is mapped to substantially the same position of the person by the mapping unit. Based on this, the person's belongings may be determined.
  • the first determination condition may be a determination condition related to the number of mappings to substantially the same position on the mapping image.
  • the first determination condition may be a determination condition related to the sum of representative luminances representing the first specific region in the mapping image or detection reliability.
  • the determination unit may determine the belongings of the person based on the first determination condition corresponding to the position of the first unique area mapped in the mapping image.
  • the determination unit may further determine the type of the belonging based on the shape of the first specific area mapped in the mapping image.
  • the peculiar area detection unit detects, as the first peculiar area, an area having a luminance higher than a first threshold or an area having a luminance lower than a second threshold lower than the first threshold. You can do it.
  • a reliability estimating unit for estimating wherein the mapping unit further reduces the detection reliability to the one based on also the detection reliability estimated from the one second image by the reliability estimating unit; may be mapped to the person included in the second image of .
  • the possession is determined based on the degree of detection reliability.
  • the specific area detection unit further targets each of a plurality of third images containing the person, which are captured substantially simultaneously with each of the plurality of second images, in a characteristic luminance distribution area. An attempt is made to detect a second specific region, and the mapping unit further detects the second specific region from one or more third images out of the plurality of third images by the specific region detection unit.
  • the second specific region detected in the third image and the plurality of the second specific regions captured substantially simultaneously with the third image based on the reference position calculated by the reference position calculation unit in the one second image out of the second images, the second singular region included in the one second image Mapping to a person
  • each of the plurality of third images may be a sub-terahertz wave image.
  • the possession is determined based on the third image in addition to the first image and the second image.
  • a determination device is a virtual sub-terahertz wave that is assumed to be captured from a second image including a person when the person is irradiated with sub-terahertz waves substantially simultaneously with capturing the second image.
  • the first image is targeted based on an estimation unit that estimates a terahertz wave image, the virtual sub-terahertz wave image, and a first image including the person captured substantially simultaneously with the second image.
  • a unique area detection unit that detects a first unique area that is a characteristic luminance distribution area, a determination unit that determines the person's belongings based on the first unique area, and a determination by the determination unit an output unit that outputs a result, wherein the first image is a sub-terahertz wave image, and the second image is at least one of a visible light image, an infrared light image, and a range image.
  • the second image is composed of at least one of the visible light image including the person, the infrared light image, and the distance image, which are captured substantially simultaneously with the first image, which is the sub-terahertz wave image.
  • virtual sub-terahertz image that is assumed to be captured at the timing when the second image is captured from the second image in which the person's belongings are hidden behind clothes, bags, etc.
  • a wave image is estimated. Then, based on the estimated virtual sub-terahertz wave image and the first image, which is the sub-terahertz wave image actually captured, the possession is determined.
  • the determination device having the above configuration, it is possible to relatively accurately determine the belongings of the person using the subterahertz wave image including the person.
  • a determination method detects a first singular region, which is a characteristic luminance distribution region, for each of a plurality of first images including a person captured at different times. a singular region detecting step; and a reference position calculating step of calculating a reference position related to the person from each of a plurality of second images including the person, which are captured substantially simultaneously with each of the plurality of first images.
  • each of the one or more first images is As objects, a first specific region detected in the first image and the reference in one second image out of the plurality of second images captured substantially simultaneously with the first image a mapping step of mapping the first singular region to the person included in the first second image based on the reference position calculated by the position calculating step; and a result of the mapping by the mapping step. and an output step of outputting a determination result of the determination step, wherein each of the plurality of first images is a subterahertz wave image, and the Each of the plurality of second images is composed of at least one of a visible light image, an infrared light image, and a range image.
  • the person In general, as the person moves, the person's belongings will turn in various directions. Therefore, in the first image, which is a plurality of subterahertz wave images, images of reflected waves of subterahertz waves from belongings facing different directions are captured.
  • the first image which is a plurality of subterahertz wave images
  • the peculiar region is the first image.
  • the person is mapped to a person included in a second image composed of at least one of a visible light image, an infrared light image, and a range image, which is captured substantially simultaneously with the first image. Then, the possession is determined based on the mapping result. That is, even if the person's belongings move with the person's movement, the person's belongings can be determined based on the relative positional relationship between the person and the person's belongings.
  • a determination method is a virtual sub-terahertz wave that is assumed to be captured from a second image including a person when the person is irradiated with sub-terahertz waves substantially simultaneously with capturing the second image.
  • an estimation step of estimating a terahertz wave image an estimation step of estimating the first image based on the virtual sub-terahertz wave image; and a first image including the person captured substantially simultaneously with the second image;
  • a unique region detection step of detecting a first unique region that is a characteristic luminance distribution region, a determination step of determining the person's belongings based on the first unique region, and a determination by the determination step and an output step of outputting a result, wherein the first image is a sub-terahertz wave image and the second image is at least one of a visible light image, an infrared light image, and a range image.
  • the second image which is composed of at least one of a visible light image including a person, an infrared light image, and a range image, is captured substantially simultaneously with the first image, which is a subterahertz wave image.
  • a virtual sub-terahertz wave image that is assumed to be captured at the timing when the second image is captured from the second image in which the belongings of the person are hidden behind clothes, bags, etc. is estimated. Then, based on the estimated virtual sub-terahertz wave image and the first image, which is the sub-terahertz wave image actually captured, the possession is determined.
  • each figure is not necessarily a strict illustration.
  • substantially the same configurations are denoted by the same reference numerals, and overlapping descriptions are omitted or simplified.
  • FIG. 1 is a schematic diagram showing the appearance of a determination system 1 according to the first embodiment. Components other than the reflector 20 are omitted in FIG.
  • the determination system 1 irradiates the person 100 with sub-terahertz waves when the person 100 passes through an imaging space 102 on a passage 101 sandwiched between reflectors 20, for example.
  • a subterahertz wave image is captured based on the reflected wave of the irradiated subterahertz wave by the person 100 .
  • the belongings of the person 100 are determined based on the captured sub-terahertz wave image.
  • the imaging space 102 is a space covered by the reflector 20 in the space above the passage 101 .
  • the determination system 1 also determines whether the person 100 has a knife or a combustible container hidden under clothes or in a bag, for example.
  • FIG. 2 is a block diagram showing the configuration of the determination system 1. As shown in FIG.
  • FIG. 2 shows how the person 100 passes through the imaging space 102 .
  • an example of the course of the sub-terahertz wave emitted from the first light source 41 is indicated by an arrow.
  • the determination system 1 includes a reflector 20 , a first light source 41 , a camera 51 , a camera 60 and a determination device 10 .
  • the reflector 20 covers the space above the passage 101 through which the person 100 passes, specifically the imaging space 102 from at least one of both sides of the passage 101 .
  • Covering from at least one of both sides of the passage 101 specifically means covering from at least one of two directions perpendicular to both sides when the passage 101 is viewed from above, that is, the direction in which the passage 101 extends.
  • the reflector 20 sandwiches the imaging space 102 on the passage 101 through which the person 100 passes from both sides of the passage 101 . That is, the reflector 20 covers the imaging space 102 from both sides of the passage 101 .
  • the imaging space 102 is, for example, a space sandwiched between the inner surfaces of the reflector 20 (the inner surface 25 described later) in the space above the passage 101 .
  • a pair of reflectors 20 stand upright from the floor on both sides of passage 101 and face each other. That is, the pair of reflectors 20 made up of two sheets are arranged so as to have a positional relationship that sandwiches the passage 101 when viewed from above. Also, in the illustrated example, the pair of reflectors 20 are arranged so as to have a parallel positional relationship. In the illustrated example, the pair of reflectors 20 are erected perpendicularly to the floor on which the passage 101 is provided. The height of the upper end of the reflector 20 from the passage 101 is not particularly limited, but is, for example, 1.5 m or more and 5.0 m or less.
  • the shape of the reflector 20 when viewed from the direction in which the path 101 extends is two I-shapes in the case of a pair of reflectors 20, but the shape is not particularly limited.
  • the reflectors 20 may be placed on at least one of the two sides of the imaging space 102, and the reflectors 20 have the shape of an I or a J when viewed from the direction in which the path 101 extends. It may be letter-shaped, L-shaped, U-shaped, C-shaped, frame-shaped, or annular.
  • the determination system 1 may further include a reflector other than the pair of reflectors 20, or may include one reflector having a shape in which the ends of the pair of reflectors 20 are extended and connected. . Note that the determination system 1 may include at least one reflector 20 , and may include only one of the pair of reflectors 20 , for example.
  • Each of the pair of reflectors 20 has a plate shape.
  • Each of the pair of reflectors 20 has an inner surface 25 and an outer surface 28 as two surfaces that are front surfaces when viewed from the thickness direction of the reflectors 20 .
  • the pair of reflectors 20 are arranged such that one inner side surface 25 of the pair of reflectors 20 and the other inner side surface 25 of the pair of reflectors 20 face each other. That is, the inner surface 25 is the surface of the reflector 20 on the imaging space 102 side.
  • each of the pair of reflectors 20 is a flat plate having an inner surface 25 and an outer surface 28 parallel to the inner surface 25 . That is, the thickness of the reflector 20 is uniform.
  • the planar view shape of the pair of reflectors 20 is not particularly limited, for example, each of them is a rectangle.
  • the reflector 20 diffusely reflects the sub-terahertz wave. Specifically, the reflector 20 diffusely reflects sub-terahertz waves incident from at least the imaging space 102 side (that is, the inside of the pair of reflectors 20).
  • the sub-terahertz wave emitted from the first light source 41 is diffusely reflected once or more by at least one of the pair of reflectors 20, and is irradiated to the person 100, as shown in FIG. In this way, by sandwiching the imaging space 102 between the reflectors 20 that diffusely reflect the subterahertz waves, the subterahertz waves that have entered the imaging space 102 tend to stay, and the subterahertz waves are reflected from various angles with respect to the person 100 . is irradiated.
  • the judgment system 1 can be made thinner and smaller than when a member such as a spherical mirror that concentrates the subterahertz waves on the person 100 is used for reflecting the subterahertz waves. is possible.
  • FIG. 3 is a schematic diagram showing the cross-sectional structure of the reflector 20.
  • FIG. FIG. 3 is an enlarged view of a part of the cross section of the reflector 20. As shown in FIG. In FIG. 3, oblique hatching indicating a cross section is omitted for the sake of clarity.
  • the reflector 20 has a reflective member 21 and two covering members 24 and 27 .
  • the reflector 20 has a structure in which a covering member 24, a reflecting member 21, and a covering member 27 are laminated in this order from the imaging space 102 side.
  • the reflecting member 21 is a sheet-like member that diffusely reflects sub-terahertz waves. Reflective member 21 is positioned between covering member 24 and covering member 27 .
  • the reflecting member 21 has two main surfaces 22 and 23 as two front surfaces when viewed from the thickness direction of the reflecting member 21 .
  • the main surface 22 and the main surface 23 are uneven surfaces that diffusely reflect sub-terahertz waves.
  • the main surface 22 is positioned on the imaging space 102 side of the reflecting member 21
  • the main surface 23 is positioned on the opposite side of the reflecting member 21 from the imaging space 102 side. Both of the two main surfaces 22 and 23 of the reflecting member 21 are covered with a covering member 24 and a covering member 27, respectively.
  • the main surface 22 of the reflecting member 21 on the imaging space 102 side is covered with the covering member 24
  • the main surface 23 of the reflecting member 21 on the side opposite to the imaging space 102 side is covered with the covering member 27 . ing. Therefore, main surface 22 and main surface 23 do not constitute the surface of reflector 20 and are not exposed. As a result, when the main surfaces 22 and 23, which are uneven surfaces, are exposed, the uneven surfaces may come into contact with the person 100.
  • the reflecting member 21 is protected by being covered with 27 .
  • the average length RSm of the roughness curve element is equal to or greater than the wavelength of the sub-terahertz wave emitted from the first light source 41 .
  • the average length RSm of the roughness curve element is 0.15 mm or more, and may be 0.3 mm or more.
  • the sub-terahertz waves are efficiently diffusely reflected by the main surfaces 22 and 23 .
  • the uneven shapes of the main surface 22 and the main surface 23 are the same.
  • corrugated shape of the main surface 22 and the main surface 23 may differ.
  • the main surface 22 of the reflecting member 21 on the imaging space 102 side may be an uneven surface, and the main surface 23 may be a flat surface.
  • the reflecting member 21 is made of a conductive member such as metal or conductive oxide.
  • metals include pure metals (single metals) and alloys containing at least one metal such as copper, aluminum, nickel, iron, stainless steel, silver, gold or platinum.
  • conductive oxides include ITO (Indium Tin Oxide), IZO (InZnO; Indium Zinc Oxide), AZO (AlZnO: Aluminum Zinc Oxide), FTO (Florine-doped Tin Oxide), SnO 2 , TiO 2 and ZnO. 2 and other transparent conductive oxides.
  • the covering member 24 and the covering member 27 each transmit subterahertz waves.
  • the covering member 24 and the covering member 27 each transmit, for example, 50% or more of the sub-terahertz waves incident from the thickness direction of the reflector 20 .
  • Each of the covering member 24 and the covering member 27 may transmit 80% or more of the sub-terahertz wave incident from the thickness direction of the reflector 20, or may transmit 90% or more.
  • the covering member 24 is positioned on the imaging space 102 side of the reflecting member 21 and covers the main surface 22 .
  • the surface of the covering member 24 located on the side opposite to the reflecting member 21 side of the covering member 24 constitutes the inner surface 25 of the reflecting plate 20 .
  • the inner side surface 25 is a flat surface that does not have an uneven shape like the main surface 22 . As a result, even when the person 100 passing through the passage 101 collides with the inner surface 25 of the reflector 20, the person 100 is prevented from colliding with the uneven surface (that is, the main surface 22) of the reflecting member 21. Main surface 22 is protected. Further, since the inner surface 25 of the reflector 20 is a flat surface, the reflector 20 can be easily cleaned.
  • the covering member 27 is located on the side opposite to the imaging space 102 side of the reflecting member 21 and covers the main surface 23 .
  • a surface of the covering member 27 located on the side opposite to the reflecting member 21 side of the covering member 27 constitutes an outer surface 28 of the reflecting plate 20 .
  • the outer side surface 28 is a flat surface that does not have an uneven shape like the main surface 23 . This makes it easier to clean the reflecting plate 20 .
  • the material of the covering member 24 and the covering member 27 may be any material that can be processed into the shape of the covering member 24 and the covering member 27 and can retain the shape.
  • a resin material or the like is used as a material for the covering member 24 and the covering member 27, for example.
  • the resin material may be, for example, a transparent amorphous resin material that transmits visible light, or a crystalline resin material that diffusely reflects visible light.
  • the pair of reflectors 20, for example, have the same configuration and material as each other. Note that the pair of reflectors 20 may differ in at least one of their configurations and materials.
  • the first light source 41 is a light source that emits subterahertz waves to the reflector 20 . Specifically, the first light source 41 emits sub-terahertz waves to at least one inner surface 25 of the pair of reflectors 20 . Further, as shown in FIG. 2, the first light source 41 is directed to the reflector 20 so that part of the sub-terahertz wave emitted by the first light source 41 is diffusely reflected by the reflector 20 a plurality of times. to emit sub-terahertz waves. Also, part of the sub-terahertz waves emitted by the first light source 41 may directly enter the person 100 .
  • the first light source 41 may emit subterahertz waves all the time, or may intermittently emit subterahertz waves in synchronization with the imaging timing of the camera 51 .
  • the first light source 41 is supported, for example, by a support member (not shown) or the like.
  • the first light source 41 is implemented by, for example, a known subterahertz wave generating element and a circuit that supplies current to the subterahertz wave generating element.
  • the first light source 41 is positioned forward of the center of the imaging space 102 in the direction in which the passage 101 extends.
  • the center of the imaging space 102 is the center of the space formed by being sandwiched between the reflectors 20 .
  • the first light source 41 is positioned forward of the reflector 20 in the direction in which the passage 101 extends.
  • the first light source 41 emits subterahertz waves from the front side of the reflector 20 toward the inner surface 25 of the reflector 20 .
  • the first light source 41 is positioned near the front end of each of the pair of reflectors 20 .
  • the first light source 41 may be located in the imaging space 102, for example.
  • the first light source 41 includes, for example, a point light source that emits sub-terahertz waves.
  • FIG. 4A is a schematic diagram showing an example when the first light source 41 is viewed from the front. Components other than the first light source 41 and the reflector 20 are omitted in FIG. 4A.
  • the first light source 41 includes a plurality of point light sources 41a arranged along the reflecting plate 20 when viewed from the direction in which the passage 101 extends and emitting sub-terahertz waves.
  • the plurality of point light sources 41a are arranged along the direction in which the pair of reflecting plates 20 are erected.
  • FIG. 4A is a schematic diagram showing an example when the first light source 41 is viewed from the front. Components other than the first light source 41 and the reflector 20 are omitted in FIG. 4A.
  • the first light source 41 includes a plurality of point light sources 41a arranged along the reflecting plate 20 when viewed from the direction in which the passage 101 extends and emitting sub-tera
  • the first light source 41 includes a pair of multiple point light sources 41a arranged along the direction in which the pair of reflecting plates 20 are erected.
  • the number of the plurality of point light sources 41a arranged is not particularly limited, and may be two, or may be four or more.
  • a pair of a plurality of point light sources 41a are arranged symmetrically with respect to the virtual plane P1.
  • a virtual plane P1 is a vertical plane passing through the center of the imaging space 102 and along the direction in which the passage 101 extends. Note that the plurality of point light sources 41 a may be arranged only on one side of the pair of reflectors 20 .
  • the first light source 41 may include another light source instead of the plurality of point light sources 41a.
  • FIG. 4B is a schematic diagram showing another example when the first light source 41 is viewed from the front. Components other than the first light source 41 and the reflector 20 are omitted in FIG. 4B.
  • the first light source 41 includes a linear light source 41b that extends along the reflecting plate 20 and emits sub-terahertz waves when viewed from the direction in which the passage 101 extends.
  • the linear light source 41b extends along the direction in which the pair of reflecting plates 20 are erected.
  • FIG. 4B is a schematic diagram showing another example when the first light source 41 is viewed from the front. Components other than the first light source 41 and the reflector 20 are omitted in FIG. 4B.
  • the first light source 41 includes a linear light source 41b that extends along the reflecting plate 20 and emits sub-terahertz waves when viewed from the direction in which the passage 101 extends.
  • the linear light source 41b
  • one linear light source 41b is arranged to extend along one front side edge of the pair of reflectors 20, and one linear light source 41b is arranged to extend along the other front side edge of the pair of reflectors 20.
  • One linear light source 41b is arranged. That is, the first light source 41 includes a pair of linear light sources 41b.
  • the number of linear light sources 41b arranged so as to extend along the respective front end portions of the pair of reflectors 20 may be two or more.
  • the pair of linear light sources 41b are arranged symmetrically with respect to the virtual plane P1. Note that the linear light source 41b may be arranged only on one side of the pair of reflectors 20 .
  • the first light source 41 is arranged along the reflecting plate 20 when viewed from the direction in which the passage 101 extends. It includes at least one of the line light sources 41b extending along and emitting sub-terahertz waves. Thereby, the first light source 41 can emit sub-terahertz waves widely along the reflecting plate 20 when viewed from the direction in which the passage 101 extends. As a result, the person 100 is effectively irradiated with sub-terahertz waves.
  • the camera 51 receives the reflected wave of the subterahertz wave emitted from the first light source 41 and diffusely reflected by the reflecting plate 20 by the person 100 to obtain a subterahertz wave image including the person 100. A certain first image is captured.
  • the camera 51 captures moving images. Therefore, the camera 51 captures a plurality of first images at mutually different times. Then, the camera 51 outputs the captured first images to the determination device 10 . The camera 51 captures the first image at, for example, 60 FPS.
  • Subterahertz waves pass through clothes and bags, and are specularly reflected on the human body and metal. Therefore, the camera 51 receives a reflected wave specularly reflected by the body of the person 100 from an area included in the angle range of the body of the person 100 that can be received by the camera 51 .
  • the camera 51 detects the angular range of the hidden belongings that the camera 51 can receive. Receives reflected waves specularly reflected by concealed possessions from areas contained within.
  • the camera 51 captures images of reflected sub-terahertz waves from the person 100 and belongings of the person 100 facing different directions. can be imaged.
  • the camera 51 is positioned forward of the center of the imaging space 102 in the direction in which the passage 101 extends.
  • the camera 51 is supported by, for example, a support member (not shown) or the like.
  • the camera 60 receives visible light and/or infrared light waves reflected by the person 100, and forms at least one of a visible light image, an infrared light image, and a range image including the person 100.
  • a second image is captured.
  • the second image will be described as being a visible light image.
  • the camera 60 captures moving images. Therefore, the camera 60 captures a plurality of second images at different times. Then, the camera 60 outputs the multiple captured second images to the determination device 10 .
  • the camera 60 captures the second image in synchronization with the imaging timing of the camera 51 . More specifically, the camera 60 captures each of the second images substantially at the same timing as when the camera 51 captures each of the first images. Therefore, each of the plurality of second images captured by the camera 60 is an image captured substantially simultaneously with each of the first images captured by the camera 51 .
  • the camera 51 captures the first image at 60 FPS
  • the camera 60 captures the second image at the same 60 FPS as the camera 51 .
  • the determination device 10 uses a sub-terahertz wave image including the person 100 to determine the belongings of the person 100 . More specifically, the determination device 10 receives a plurality of first images output from the camera 51 and a plurality of second images output from the camera 60, and determines the plurality of first images and the plurality of The belongings of the person 100 are determined based on the second image, and the determination result is output.
  • the determination device 10 is implemented, for example, in a computer device that includes a processor, a memory, and an input/output interface, with the processor executing a program stored in the memory.
  • the determination device 10 includes a unique area detection unit 11, a reference position calculation unit 12, a mapping unit 13, a determination unit 14, and an output unit 15.
  • the peculiar area detection unit 11 detects a first peculiar area, which is a characteristic luminance distribution area, for each of a plurality of first images including the person 100 captured by the camera 51 and captured at different times. Attempt to detect regions.
  • the peculiar area detection unit 11 may detect, as the first peculiar area, for example, an area having a luminance value that is significantly larger or smaller than the luminance values of the surrounding pixels.
  • the peculiar area detection unit 11 detects, as the first peculiar area, for example, an area with a luminance higher than a first threshold or an area with a luminance lower than a second threshold lower than the first threshold.
  • the peculiar area detection unit 11 detects, for example, from a luminance value significantly larger than or significantly smaller than the pixel value of a pixel corresponding to an exposed portion (for example, face, hand, etc.) of the person 100. may be detected as the first specific region.
  • the unique area detection unit 11 may output the reliability of detection for each detected area. As the reliability, the magnitude of the difference from a predetermined luminance value, the output of detection by machine learning, or the like may be used.
  • the peculiar area detection unit 11 may detect, as the first peculiar area, an area with a reliability higher than a certain value obtained by detection using machine learning or the like.
  • FIG. 5 is a schematic diagram showing an example of how the unique region detection unit 11 detects the first unique region.
  • the peculiar area detection unit 11 detects, for example, an elliptical area in the shape of a knife, which has a luminance value significantly larger than that of surrounding pixels, as a first peculiar area. area and detect.
  • the peculiar area detection unit 11 detects, for example, an elliptical area surrounded by a knife and having a luminance value greater than a predetermined luminance value as the first peculiar area.
  • the peculiar area detection unit 11 detects, for example, a pixel value significantly larger than the pixel value of a pixel corresponding to an exposed portion of the person 100 (for example, face, hand, etc.) surrounded by an ellipse.
  • a region composed of luminance values is detected as a first singular region.
  • the reference position calculation unit 12 captures a plurality of second images including the person 100 captured by the camera 60 at different times, each of the plurality of second images corresponding to a plurality of first images.
  • a reference position related to the person 100 is calculated from each of a plurality of second images captured substantially at the same time as each of the images.
  • the reference position calculation unit 12 may calculate, for example, the body region of the person 100 as the reference position. Alternatively, the reference position calculator 12 may calculate, for example, the skeleton of the person 100 as the reference position.
  • the reference position calculation unit 12 may calculate the reference position using a machine learning model trained in advance to output the reference position.
  • FIG. 6 is a schematic diagram showing an example of how the reference position calculation unit 12 calculates the skeleton of the person 100 as the reference position.
  • the reference position calculation unit 12 calculates, for example, the skeleton of the person 100 indicated by the solid line as the reference position.
  • the mapping unit 13 When the unique region detection unit 11 detects a first unique region from one or more first images out of the plurality of first images, the mapping unit 13 performs mapping of the one or more first images. Based on the first specific region detected in the first image and the reference position calculated by the reference position calculation unit 12 in the second image captured substantially at the same time as the first image. to map the first singular region to the person 100 contained in the second image.
  • FIG. 7 is a schematic diagram showing an example of how the mapping unit 13 maps the first peculiar area to the person 100 included in the second image.
  • the mapping unit 13 calculates, for example, a first singular region 200a detected in a first image captured at time t a and a second image captured at time t a .
  • the first peculiar region 200a is mapped to the position of the left armpit of the person 100 based on the determined reference position and the first peculiar region 200b detected in the first image captured at time tb . and the reference position calculated in the second image captured at time tb , the first peculiar region 200b is mapped to the position of the right hip of the person 100 and captured at time tc .
  • the first peculiar region 200c detected in the first image captured at time tc and the reference position calculated in the second image captured at time tc the first peculiar region 200c of person 100 Map to the left armpit location. Also, when the reliability is calculated for each detected unique region, the information of the set of the first unique region and the reliability value is mapped.
  • the mapping unit 13 identifies each of the plurality of persons and For each person identified as , the first singular region may be mapped to the person in the second image.
  • the determination unit 14 determines the belongings of the person 100 based on the result of mapping by the mapping unit 13 .
  • the determining unit 14 Based on the result of mapping by the mapping unit 13, the determining unit 14, even when the belongings of the person 100 move together with the movement of the person 100, based on the relative positional relationship between the person 100 and the items belonging to the person 100, Possessions of the person 100 can be determined.
  • the determining unit 14 for example, among one or more first images in which the first peculiar regions are detected, maps the first peculiar regions to mapping images in which the first peculiar regions are mapped at substantially the same positions of the person by the mapping unit 13.
  • the belongings of the person 100 may be determined based on such determination conditions.
  • the determination unit 14 may determine the belongings of the person 100, for example, based on a determination condition related to the number of mappings to approximately the same position on the mapping image. More specifically, the determining unit 14 determines that the person 100 possesses a property when the number of mappings to approximately the same position on the mapping image is equal to or greater than a predetermined number, and If the number is less than the number, it may be determined that the person 100 does not possess any belongings.
  • the greater the number of times the first peculiar regions are mapped to a certain position of the person 100 for example, the position of the left armpit of the person 100
  • the determination unit 14 for example, the sum of the representative luminance representing the first specific region in the mapping image and the representative value of the detection reliability (sum, maximum value, median value, mode value, etc.) Based on this, the belongings of the person 100 may be determined. More specifically, the determining unit 14 determines that, for example, the sum of the representative luminances representing the first unique region in the mapping image or the representative value of the detection reliability is a unique value (a first predetermined value or more, or a 1), it is determined that the person 100 is in possession of an item, and the value is not a peculiar value (between the first predetermined value and the second predetermined value). case, it may be determined that the person 100 does not possess any belongings.
  • the representative brightness may be, for example, the average value of the brightness of the first specific region, the median value of the brightness of the first specific region, or the mode. good.
  • the determination unit 14 may determine the belongings of the person 100, for example, based on a determination condition corresponding to the position where the first unique area is mapped.
  • the determination unit 14 determines whether the first singular region is mapped to a place where the person 100 has a relatively high possibility of possessing a dangerous object (for example, the position under the armpit of the person 100). The determination is made based on a determination condition that relatively increases the possibility of determining that the person 100 possesses a possessed item, and the first peculiar area has a relatively low possibility of the person 100 possessing a dangerous object. If the location (for example, the position of the thigh of the person 100) is mapped, the possibility of determining that the person 100 possesses the item is relatively low. good.
  • the determination unit 14 may determine the type of property possessed by the person 100 based on the shape of the first peculiar area.
  • the determining unit 14 may determine that the person 100 possesses a knife when, for example, the shape of the first singular region is the shape of a knife. Alternatively, for example, when the shape of the first singular region is the shape of a container for carrying combustible liquids, etc., the determination unit 14 determines that the person 100 is a container for carrying combustible liquids, etc. You can judge that you have it.
  • the determination unit 14 may, for example, determine either that the person 100 is in possession of the item or that the person 100 is not in possession of the item, or to determine the likelihood that the person 100 is in possession of the item. You may judge.
  • the output unit 15 outputs the result of determination by the determination unit 14.
  • the output unit 15 may display an image showing the determination result by the determination unit 14 on a display included in a computer device that implements the determination device 10 .
  • FIG. 8 is a schematic diagram showing an example of an image that the output unit 15 displays on the display.
  • the output unit 15 causes the mapping unit 13 to generate a first specific When the area is mapped to the left armpit of person 100 , an image may be displayed indicating that an item has been detected at the left armpit of person 100 .
  • the determination device 10 captures a plurality of first images including the person 100 captured by the camera 51 at different times, and a plurality of first images including the person 100 captured by the camera 60 at different times.
  • a plurality of second images each of which determines a belonging of the person 100 based on each of the plurality of first images and a plurality of second images captured substantially simultaneously.
  • a first determination process is performed.
  • FIG. 9 is a flowchart of the first determination process.
  • the camera 51 outputs a plurality of first images including the person 100 captured at different times
  • the camera 60 outputs the person 100 captured at different times. wherein each of the plurality of second images is initiated by outputting a plurality of second images captured substantially simultaneously with each of the plurality of first images. .
  • the peculiar area detection unit 11 detects a plurality of first images including the person 100 captured by the camera 51 at different times. , an attempt is made to detect a first singular region, which is a characteristic luminance distribution region (step S10).
  • the reference position calculation unit 12 calculates a plurality of second images including the person 100 captured by the camera 60 at different times, and each of the plurality of second images is a plurality of second images.
  • a reference position is calculated from each of the plurality of second images captured substantially simultaneously with each of the first images (step S20).
  • mapping unit 13 checks whether the unique region detection unit 11 detects a first unique region from one or more first images among the plurality of first images (step S30).
  • step S30 when the first singular region is detected from one or more first images (step S30: Yes), the mapping unit 13 targets each of the one or more first images. , based on the first specific region detected in the first image and the reference position calculated by the reference position calculation unit 12 in the second image captured substantially simultaneously with the first image, the first is mapped onto the person 100 included in the second image (step S40).
  • the determining unit 14 determines belongings of the person 100 based on the mapping result of the mapping unit 13. (Step S50).
  • the output unit 15 outputs the determination result of the determination unit 14 (step S60).
  • step S30 if the first singular region is not detected from one or more first images (step S30: No), the determination unit 14 determines that the person 100 does not have any belongings, The output unit 15 outputs the result of determination by the determination unit 14 (step S60). When the process of step S60 ends, the determination device 10 ends the first determination process.
  • the first image which is a plurality of subterahertz wave images captured by the camera 51, includes images of reflected waves of the subterahertz waves from belongings facing different directions.
  • the determining unit 14 can determine the belongings of the person 100 based on the relative positional relationship between the person 100 and the person's belongings. can be done.
  • the determination device 10 configured as described above, it is possible to relatively accurately determine the belongings of the person 100 using the sub-terahertz wave image including the person 100 .
  • Embodiment 2 A determination system according to Embodiment 2, which is configured by partially modifying the determination system 1 according to Embodiment 1, will be described below.
  • the same reference numerals are given to the components that are the same as the components of the determination system according to the first embodiment, and the detailed description thereof will be omitted. , the difference from the determination system 1 will be mainly described.
  • FIG. 10 is a block diagram showing the configuration of the determination system 1a according to the second embodiment.
  • the determination system 1a is configured by adding a camera 52 to the determination system 1 according to the first embodiment and changing the determination device 10 to a determination device 10a. Further, the determination device 10a is configured by changing the unique region detection unit 11 to a unique region detection unit 11a and changing the mapping unit 13 to a mapping unit 13a.
  • the camera 52 is a camera having the same function as the camera 51, and receives the reflected wave of the sub-terahertz wave emitted from the first light source 41 and diffusely reflected by the reflector 20 by the person 100. Thus, a third image, which is a subterahertz wave image including the person 100, is captured.
  • the camera 52 captures moving images. Therefore, the camera 52 captures a plurality of third images at mutually different times. Then, the camera 52 outputs the plurality of captured third images to the determination device 10a.
  • the camera 52 captures the third image in synchronization with the imaging timing of the camera 51 . More specifically, camera 52 captures each of the third images substantially at the same timing as camera 51 captures each of the first images. Therefore, each of the plurality of third images captured by the camera 52 is an image captured substantially simultaneously with each of the first images captured by the camera 51 . Thereby, each of the plurality of second images captured by the camera 60 becomes an image captured substantially simultaneously with each of the third images captured by the camera 52 .
  • the camera 52 is positioned forward of the center of the imaging space 102 in the direction in which the passage 101 extends, and is positioned at a location where the person 100 is imaged from an angle different from that of the camera 51 .
  • the camera 52 is supported by, for example, a support member (not shown) or the like.
  • the peculiar area detection unit 11a has the function of the peculiar area detection unit 11 according to Embodiment 1 (attempts to detect a first peculiar area, which is a characteristic luminance distribution area). Then, the peculiar area detection unit 11a further targets each of a plurality of third images including the person 100 captured by the camera 52 and captured at different times, each of which is a characteristic luminance distribution area. Attempt to detect a second unique region.
  • the mapping unit 13a has the function of the mapping unit 13 according to Embodiment 1 (mapping the first specific region onto the person 100 in the second image). Further, when the unique region detection unit 11a detects a second unique region from one or more third images out of the plurality of third images, the mapping unit 13a detects the one or more third images. For each of the 3 images, the second specific region detected in the third image and the reference calculated by the reference position calculation unit 12 in the second image captured substantially simultaneously with the third image. A second singular region is mapped to the person 100 contained in the second image based on the position.
  • FIG. 11 is a schematic diagram showing an example of how the mapping unit 13a maps the first peculiar area and the second peculiar area to the person 100 included in the second image.
  • the mapping unit 13a calculates, for example, the first singular region 200d detected in the first image captured at time td and the second image captured at time td .
  • the first peculiar region 200d is mapped to the position of the left armpit of the person 100 based on the determined reference position, and the first peculiar region 200e detected in the first image captured at time t e and the reference position calculated in the second image captured at time t e , the first singular region 200 e is mapped to the position of the right hip of the person 100 , and is captured at time t f .
  • the second peculiar region 200f is Map to the left armpit location.
  • the determination device 10a performs the second determination process instead of the first determination process according to the first embodiment.
  • This second determination process consists of a plurality of first images including the person 100 captured by the camera 51 at different times and a plurality of second images including the person 100 captured by the camera 60 at different times. , wherein each of the plurality of second images is captured at a different time by the camera 52 than the plurality of second images captured substantially at the same time as the plurality of first images. 100, each of the plurality of third images captured substantially simultaneously with each of the plurality of first images and each of the plurality of second images. This is a process of determining belongings of the person 100 based on the image of .
  • FIG. 12 is a flowchart of the second determination process.
  • the camera 51 outputs a plurality of first images including the person 100 captured at different times
  • the camera 60 outputs the person 100 captured at different times.
  • each of the plurality of second images captured substantially simultaneously with each of the plurality of first images is output
  • the camera 52 captures the A plurality of third images including the person 100 captured at different times, each of the plurality of third images captured substantially simultaneously with each of the plurality of first images. It starts by outputting an image.
  • the process of step S10 is changed to the process of step S110, and the process of step S30 is changed to the process of step S130 in the first determination process according to the first embodiment.
  • the process of step S40 is changed to the process of step S140
  • the process of step S50 is changed to the process of step S150, the process of step S115, the process of step S150, the process of step S160, and the process of step This is a process to which the process of S170, the process of step S180, the process of step S190, and the process of step S200 are added.
  • the peculiar area detection unit 11a detects a plurality of first images including the person 100 captured by the camera 51 at different times. , an attempt is made to detect a first singular region, which is a characteristic luminance distribution region (step S110).
  • the peculiar area detection unit 11a targets each of a plurality of third images including the person 100 captured by the camera 52 and captured at different times. 2 is attempted to be detected (step S115).
  • step S115 When the process of step S115 ends, the process proceeds to step S20.
  • the mapping unit 13a checks whether the unique region detection unit 11a detects a first unique region from one or more first images out of the plurality of first images. (Step S130).
  • step S130 when the first singular region is detected from one or more first images (step S130: Yes), the mapping unit 13a targets each of the one or more first images. , based on the first specific region detected in the first image and the reference position calculated by the reference position calculation unit 12 in the second image captured substantially simultaneously with the first image, the first is mapped onto the person 100 included in the second image (step S140).
  • the mapping unit 13a causes the unique region detection unit 11a to map one or more of the plurality of third images. It is checked whether or not the second singular region is detected from the third image (step S150).
  • step S150 when the second singular region is detected from the one or more third images (step S150: Yes), the mapping unit 13a targets each of the one or more third images. , based on the second specific region detected in the third image and the reference position calculated by the reference position calculation unit 12 in the second image captured substantially simultaneously with the third image, the second is mapped onto the person 100 included in the second image (step S160).
  • the determining unit 14 determines belongings of the person 100 based on the mapping result of the mapping unit 13. (Step S170). That is, the determination unit 14 determines the belongings of the person 100 based on two mapping results, namely, the mapping result of mapping the first specific area and the mapping result of mapping the second specific area.
  • step S130 when the first unique region is not detected from one or more first images (step S130: No), the mapping unit 13a causes the unique region detection unit 11a to detect a plurality of third A determination is made as to whether a second singular region has been detected from one or more third of the images (step S180).
  • step S180 when the second singular region is detected from the one or more third images (step S180: Yes), the mapping unit 13a targets each of the one or more third images. , based on the second specific region detected in the third image and the reference position calculated by the reference position calculation unit 12 in the second image captured substantially simultaneously with the third image, the second is mapped onto the person 100 included in the second image (step S190).
  • step S150 when the second singular region is not detected from one or more third images, and when the process of step S190 ends, the determination unit 14 determines the result of mapping by the mapping unit 13. , the belongings of the person 100 are determined (step S200). That is, the determining unit 14 determines whether the person is mapped based on one of the mapping result of mapping the first specific region and the mapping result of mapping the second specific region. Check 100 possessions.
  • step S170 ends, when the processing of step S200 ends, and when the second singular region is not detected from one or more third images in the processing of step S180 (step S180: No), the process proceeds to step S60.
  • step S60 ends, the determination device 10a ends the second determination process.
  • the possession is determined based on the third image in addition to the first image and the second image.
  • the determination device 10a configured as described above, by mapping the detection result of the third image captured from a position different from that of the first image to the same person, the belongings can be determined with higher accuracy. become.
  • Embodiment 3 A determination system according to Embodiment 3 configured by partially modifying the determination system 1 according to Embodiment 1 will be described below.
  • the same components as those of the determination system according to the first embodiment have already been described, and the same reference numerals will be used to omit the detailed description thereof. , the difference from the determination system 1 will be mainly described.
  • FIG. 13 is a block diagram showing the configuration of a determination system 1b according to the third embodiment.
  • the determination system 1b is configured by changing the determination device 10 from the determination system 1 according to the first embodiment to a determination device 10b.
  • the determination device 10b is configured by changing the mapping unit 13 to a mapping unit 13b, the determination unit 14 to a determination unit 14b, and adding a reliability estimation unit 16b to the determination device 10 .
  • the reliability estimation unit 16b estimates the detection reliability in the first image from the second image including the person 100.
  • the reliability estimation unit 16b uses a machine learning model trained in advance to output the luminance variation of the first image, and calculates the detection reliability. It may be estimated. Alternatively, the reliability estimation unit 16b may, for example, identify the position of the person 100 in the passageway 101 and the posture of the person 100 from the second image, and determine the position and the posture of the person 100 in the passageway 101. Based on this, the detection reliability may be estimated.
  • FIG. 14 is a schematic diagram showing an example of how the reliability estimation unit 16b estimates the detection reliability from the second image.
  • the reliability estimation unit 16b estimates that, for example, the detection reliability of the regions 300a and 300b located on the thighs is relatively low, and the detection reliability of the other regions is relatively high. .
  • the mapping unit 13b When the unique region detection unit 11 detects a first unique region from one or more first images out of the plurality of first images, the mapping unit 13b performs mapping of the one or more first images. For each of them, the first specific region detected in the first image, the reference position calculated by the reference position calculation unit 12 in the second image captured substantially simultaneously with the first image, and the The first specific region and the detection reliability are included in the second image based on the detection reliability estimated by the reliability estimation unit 16b in the second image captured substantially simultaneously with the first image. Map to person 100 .
  • FIG. 15 is a schematic diagram showing an example of how the mapping unit 13b maps the first unique region and the detection reliability to the person 100 included in the second image.
  • the mapping unit 13b maps the first peculiar region 200h and the regions 300c and 300d estimated to have relatively low detection reliability to the person included in the second image.
  • 100 or, for example, the first specific region 200i and regions 300e and 300f estimated to have relatively low detection reliability are mapped to the person 100 included in the second image.
  • the first specific region 200j and regions 300g and 300h estimated to have relatively low detection reliability may be mapped onto the person 100 included in the second image. good.
  • the determination unit 14b determines the belongings of the person 100 based on the result of mapping by the mapping unit 13.
  • the determination unit 14b determines that the reliability of the first specific region located in the region estimated to have relatively high detection reliability by the reliability estimation unit 16b is relatively high, and the detection reliability is relatively high.
  • the belongings of the person 100 may be determined by assuming that the reliability of the first singular area located in the area estimated to be low is relatively low.
  • the determination unit 14b sets the reliability of the first peculiar region 200h, which is mapped to a location that does not match the regions 300c and 300d estimated to have relatively low detection reliability, to 90%, for example. %, and the reliability of the first specific region 200i mapped to a location that partially matches but does not completely match the regions 300e and 300f estimated to have relatively low detection reliability is set to 50%. , and the reliability of the first specific region 200j mapped to a location that completely matches the regions 300g and 300h estimated to have relatively low detection reliability is calculated as 20%, and the calculated reliability , the belongings of the person 100 may be determined.
  • the determination device 10b performs a third determination process instead of the first determination process according to the first embodiment.
  • the third determination process includes a plurality of first images including the person 100 captured by the camera 51 at different times and a plurality of first images including the person 100 captured by the camera 60 at different times. , a plurality of second images including the person 100, each of the plurality of second images being captured substantially simultaneously with each of the plurality of first images, This is a process of determining belongings of the person 100 .
  • FIG. 16 is a flowchart of the third determination process.
  • the camera 51 outputs a plurality of first images including the person 100 captured at different times
  • the camera 60 outputs the person 100 captured at different times. wherein each of the plurality of second images is initiated by outputting a plurality of second images captured substantially simultaneously with each of the plurality of first images. .
  • step S40 is changed to the process of step S240, and the process of step S50 is changed to the process of step S250 in contrast to the first determination process according to the first embodiment.
  • This is a process to which the process of step S210 is added.
  • the reliability estimation unit 16b calculates the detection reliability of the first image captured substantially simultaneously with the second image from each of the plurality of second images. degree is estimated (step S210).
  • step S210 When the process of step S210 ends, the process proceeds to step S30.
  • step S30 when the first singular region is detected from one or more first images (step S30: Yes), the mapping unit 13b targets each of the one or more first images. , the first specific region detected in the first image, the reference position calculated by the reference position calculation unit 12 in the second image captured substantially simultaneously with the first image, and the first image and the detection reliability estimated by the reliability estimating unit 16b in the second image captured substantially at the same time, the first singular region and the detection reliability are mapped to the person 100 included in the second image. (step S240).
  • the determination unit 14b determines the belongings of the person 100 based on the mapping result of the mapping unit 13 (step S250).
  • step S250 ends, or when the first singular region is not detected from one or more first images in the process of step S30 (step S30: No), the process proceeds to step S60. .
  • step S60 ends, the determination device 10b ends the third determination process.
  • the possession is determined further based on the detection reliability.
  • the determination device 10b configured as described above, it is possible to determine a possessed item with higher accuracy.
  • Embodiment 4 A determination system according to Embodiment 4 configured by partially modifying the determination system 1 according to Embodiment 1 will be described below.
  • the same reference numerals will be given to the components that are the same as the components of the determination system according to the first embodiment, and the detailed description thereof will be omitted. , the difference from the determination system 1 will be mainly described.
  • FIG. 17 is a block diagram showing the configuration of a determination system 1c according to the fourth embodiment.
  • the determination system 1c is configured by changing the determination device 10 from the determination system 1 according to the first embodiment to a determination device 10c. Further, the determination device 10c is different from the determination device 10 in that the reference position calculation unit 12 and the mapping unit 13 are deleted, the peculiar area detection unit 11 is changed to the peculiar area detection unit 11c, and the determination unit 14 is replaced with the determination unit 14c. and an estimation unit 16c is added.
  • the estimation unit 16c estimates a virtual subterahertz wave image that is assumed to be captured when the person 100 is irradiated with subterahertz waves substantially simultaneously with the capturing of the second image. .
  • the estimating unit 16c estimates a virtual subterahertz wave image using a machine learning model trained in advance to output a virtual subterahertz wave image. good too.
  • the estimating unit 16c may, for example, identify the position of the person 100 in the passageway 101 and the posture of the person 100 from the second image, and based on the identified position of the person 100 in the passageway 101 and the posture of the person 100 , may estimate a virtual sub-terahertz wave image.
  • FIG. 18 is a schematic diagram showing an example of how the estimation unit 16c estimates a virtual sub-terahertz wave image from the second image.
  • the estimating unit 16c estimates a virtual sub-terahertz wave image made up of pixel values indicating luminance.
  • the estimation unit 16c estimates the virtual sub-terahertz wave image from the second image, which is the visible light image. For this reason, when the person 100 carries a belonging in a position where visible light does not directly reach the camera 51, such as under clothes or in a bag, the estimating unit 16c generates a virtual image that does not include the belonging. Estimate a subterahertz wave image.
  • the singular region detection unit 11c generates the first image based on the virtual sub-terahertz wave image estimated by the estimation unit 16c and the first image including the person 100 captured substantially simultaneously with the second image. As an object, an attempt is made to detect a first singular region, which is a characteristic luminance distribution region.
  • the singular region detection unit 11c compares, for example, a pixel value indicating luminance of each pixel in the virtual sub-terahertz wave image with a pixel value indicating luminance of each pixel in the first image, and detects the virtual sub-terahertz wave image. , if there is an area where the difference between the pixel value indicating luminance and the pixel value indicating luminance in the first image is equal to or greater than a predetermined value, the area may be detected as the first singular area. .
  • the singular region detection unit 11c uses a machine learning model trained in advance to output the first singular region, the first A region may be detected.
  • FIG. 19 is a schematic diagram showing an example of how the singular region detection unit 11c detects the first singular region based on the virtual sub-terahertz wave image and the first image.
  • the peculiar area detection unit 11c detects, as a first peculiar area, for example, an area surrounded by an ellipse in the shape of a knife and having a difference in pixel value indicating brightness equal to or larger than a predetermined value.
  • the determination unit 14c determines the belongings of the person 100 based on the first unique area detected by the unique area detection unit 11c.
  • the determination unit 14c determines that the person 100 possesses the belongings when the unique area detection unit 11c detects the first unique area, and determines that the person 100 possesses the belongings when the unique area detection unit 11c does not detect the first unique area. You may determine that you do not have the
  • the first image may also be used to generate the virtual sub-terahertz image. This makes it possible to generate a more precise virtual sub-terahertz image.
  • the determination device 10c performs a fourth determination process instead of the first determination process according to the first embodiment.
  • this fourth determination process one first image including the person 100 captured by the camera 51 and the person 100 captured by the camera 60 at substantially the same time as the first image are captured. This is a process of determining belongings of the person 100 based on the single second image included.
  • FIG. 20 is a flowchart of the fourth determination process.
  • the camera 51 outputs one first image including the person 100, and the camera 60 captures the person 100 substantially simultaneously with the one first image. It begins by outputting a single second image containing
  • the estimation unit 16 c captures the second image from the second image including 100 including the person 100 captured by the camera 60 .
  • a virtual subterahertz wave image that is supposed to be captured when the person 100 is irradiated with subterahertz waves substantially at the same time is estimated (step S300).
  • the singular region detecting unit 11c detects the virtual sub-terahertz wave image estimated by the estimating unit 16c and the second image that is the target of estimation by the estimating unit 16c. , and the first image including the person 100 captured substantially at the same time, an attempt is made to detect the first singular region (step S310).
  • the determination unit 14c determines the belongings of the person 100 based on the first peculiar area (step S320).
  • the output unit 15 outputs the determination result of the determination unit 14c (step S330).
  • step S330 ends, the determination device 10c ends the fourth determination process.
  • the determination device 10c configured as described above, from the second image in which the belongings of the person 100 are hidden behind clothing, a bag, etc. and are not captured, which are captured substantially at the same time as the first image, which is a sub-terahertz wave image, the A virtual sub-terahertz wave image that is assumed to be captured at the timing when the second image is captured is estimated. Then, based on the estimated sub-terahertz wave image and the first image which is the sub-terahertz wave image actually captured, the possession is determined.
  • the belongings of the person 100 can be determined with relatively high accuracy using the sub-terahertz wave image including the person 100.
  • Embodiment 5 A determination system according to Embodiment 5, which is configured by partially modifying the determination system 1 according to Embodiment 1, will be described below.
  • FIG. 21 is a block diagram showing the configuration of the determination system 1d according to the fourth embodiment.
  • the determination system 1d is configured by changing the determination device 10 from the determination system 1 according to the first embodiment to a determination device 10d. Further, the determination device 10d is configured by changing the unique region detection unit 11 to a unique region detection unit 11c and adding an estimation unit 16c to the determination device 10 .
  • the determination device 10d performs a fifth determination process instead of the first determination process according to the first embodiment.
  • the fifth determination process includes a plurality of first images including the person 100 captured by the camera 51 at different times and a plurality of first images including the person 100 captured by the camera 60 at different times. , a plurality of second images including the person 100, each of the plurality of second images being captured substantially simultaneously with each of the plurality of first images, This is a process of determining belongings of the person 100 .
  • FIG. 22 is a flowchart of the fifth determination process.
  • the camera 51 outputs a plurality of first images including the person 100 captured at different times
  • the camera 60 outputs the person 100 captured at different times. wherein each of the plurality of second images is initiated by outputting a plurality of second images captured substantially simultaneously with each of the plurality of first images. .
  • step S400 is added to the first determination process according to the first embodiment, and the process of step S10 is changed to the process of step S410. processing.
  • the estimating unit 16c selects each of the second images including the person 100 and including the person 100 captured by the camera 60 as the second image.
  • a virtual subterahertz wave image that is assumed to be captured when the person 100 is irradiated with subterahertz waves is estimated substantially at the same time as the image capturing (step S400).
  • the peculiar area detection unit 11c causes the estimation unit 16c to target each of the plurality of first images including the person 100 captured by the camera 51 and captured at different times. Based on the estimated virtual sub-terahertz wave image and the first image including the person 100 captured substantially at the same time as the second image to be estimated by the estimation unit 16c, the first singular region is determined. Detection is attempted (step S410).
  • step S410 When the process of step S410 ends, the process proceeds to step S20.
  • step S60 ends, the determination device 10d ends the fifth determination process.
  • the belongings of the person 100 are hidden by clothing, a bag, etc., and are not shown in the second image, which is captured substantially simultaneously with the first image, which is the sub-terahertz wave image.
  • a virtual sub-terahertz wave image that is assumed to be captured at the timing when the second image is captured is estimated. Then, the peculiar region is detected based on the estimated subterahertz wave image and the first image which is the subterahertz wave image actually captured.
  • the sub-terahertz wave image including the person 100 can be used to relatively accurately determine the belongings of the person 100. can be done.
  • each component of the determination devices 10 to 10d has a program execution unit such as a CPU or processor that reads and executes a software program recorded in a recording medium such as a hard disk or semiconductor memory. It may be implemented by a circuit (or an integrated circuit). These circuits may form one circuit as a whole, or may be separate circuits. These circuits may be general-purpose circuits or dedicated circuits.
  • a program execution unit such as a CPU or processor that reads and executes a software program recorded in a recording medium such as a hard disk or semiconductor memory. It may be implemented by a circuit (or an integrated circuit). These circuits may form one circuit as a whole, or may be separate circuits. These circuits may be general-purpose circuits or dedicated circuits.
  • Embodiments 1 to 5 the order of multiple processes in the operation of the determination devices 10 to 10d is an example. The order of multiple processes may be changed, and multiple processes may be executed in parallel.
  • the present disclosure can be widely used in determination systems for determining objects.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Electromagnetism (AREA)
  • Chemical & Material Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Geology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

判定装置（１０）は、人物を含む、互いに異なる時刻に撮像された複数の第１の画像を対象として第１の特異領域を検出する特異領域検出部（１１）と、複数の第１の画像のそれぞれと略同時に撮像された、人物を含む複数の第２の画像から基準位置を算出する基準位置算出部（１２）と、１以上の第１の画像から第１の特異領域が検出された場合に、１以上の第１の画像のそれぞれを対象として、検出された第１の特異領域と、当該第１の画像と略同時に撮像された第２の画像において算出された基準位置とに基づいて、第１の特異領域を第２の画像に含まれる人物にマッピングするマッピング部（１３）と、マッピングの結果に基づいて、人物の所持物を判定する判定部（１４）と、を備え、第１の画像はサブテラヘルツ波画像であり、第２の画像は、可視光画像と赤外光画像と距離画像とのうちの少なくとも１つからなる。

Description

判定装置および判定方法
　本開示は、人物の所持物を判定する判定装置に関する。
　従来、テラヘルツ波またはサブテラヘルツ波を用いて人物を含むテラヘルツ波画像またはサブテラヘルツ波画像を撮像し、撮像したテラヘルツ波画像またはサブテラヘルツ波画像を用いてその人物の所持物を判定する技術が知られている（例えば、特許文献１参照）。
特開２０２０－１５３９７３号公報
　人物を含むサブテラヘルツ波画像を用いてその人物の所持物を判定する判定装置では、比較的精度よく所持物を判定することが求められている。
　そこで、本開示は、人物を含むサブテラヘルツ波画像を用いて、比較的精度よくその人物の所持物を判定することができる判定装置等を提供することを目的とする。
　本開示の一態様に係る判定装置は、人物を含む、互いに異なる時刻に撮像された複数の第１の画像のそれぞれを対象として、特徴的な輝度分布領域である第１の特異領域を検出する特異領域検出部と、前記複数の第１の画像のそれぞれと略同時に撮像された、前記人物を含む複数の第２の画像のそれぞれから、前記人物に係る基準位置を算出する基準位置算出部と、前記特異領域検出部により、前記複数の第１の画像のうちの１以上の第１の画像から前記第１の特異領域が検出された場合に、前記１以上の第１の画像のそれぞれを対象として、当該第１の画像において検出された第１の特異領域と、当該第１の画像と略同時に撮像された、前記複数の第２の画像のうちの１の第２の画像において前記基準位置算出部により算出された前記基準位置とに基づいて、前記第１の特異領域を前記１の第２の画像に含まれる前記人物にマッピングするマッピング部と、前記マッピング部による前記マッピングの結果に基づいて、前記人物の所持物を判定する判定部と、前記判定部による判定結果を出力する出力部と、を備え、前記複数の第１の画像のそれぞれは、サブテラヘルツ波画像であり、前記複数の第２の画像のそれぞれは、可視光画像と赤外光画像と距離画像とのうちの少なくとも１つからなる。
　なお、本明細書において、「サブテラヘルツ波」とは、０．０５ＴＨｚ以上２ＴＨｚ以下の周波数の電磁波を意味する。本明細書におけるサブテラヘルツ波は、０．０８ＴＨｚ以上１ＴＨｚ以下の周波数の電磁波であってもよい。また、本明細書において、「拡散反射」とは、マクロ的に見て１つの入射角で反射板に対して入射したサブテラヘルツ波が、ミクロ的な凹凸を複数有する凹凸面の構造によって複数の反射角で反射されることを意味する。
　本開示の一態様に係る判定装置は、人物を含む第２の画像から、当該第２の画像の撮像と略同時に前記人物にサブテラヘルツ波を照射する場合において撮像されると仮想される仮想サブテラヘルツ波画像を推定する推定部と、前記仮想サブテラヘルツ波画像と、前記第２の画像と略同時に撮像された、前記人物を含む第１の画像とに基づいて、前記第１の画像を対象として、特徴的な輝度分布領域である第１の特異領域を検出する特異領域検出部と、前記第１の特異領域に基づいて前記人物の所持物を判定する判定部と、前記判定部による判定結果を出力する出力部と、を備え、前記第１の画像は、サブテラヘルツ波画像であり、前記第２の画像は、可視光画像と赤外光画像と距離画像とのうちの少なくとも１つからなる。
　本開示の一態様に係る判定方法は、人物を含む、互いに異なる時刻に撮像された複数の第１の画像のそれぞれを対象として、特徴的な輝度分布領域である第１の特異領域を検出する特異領域検出ステップと、前記複数の第１の画像のそれぞれと略同時に撮像された、前記人物を含む複数の第２の画像のそれぞれから、前記人物に係る基準位置を算出する基準位置算出ステップと、前記特異領域検出ステップにより、前記複数の第１の画像のうちの１以上の第１の画像から前記第１の特異領域が検出された場合に、前記１以上の第１の画像のそれぞれを対象として、当該第１の画像において検出された第１の特異領域と、当該第１の画像と略同時に撮像された、前記複数の第２の画像のうちの１の第２の画像において前記基準位置算出ステップにより算出された前記基準位置とに基づいて、前記第１の特異領域を前記１の第２の画像に含まれる前記人物にマッピングするマッピングステップと、前記マッピングステップによる前記マッピングの結果に基づいて、前記人物の所持物を判定する判定ステップと、前記判定ステップによる判定結果を出力する出力ステップと、を含み、前記複数の第１の画像のそれぞれは、サブテラヘルツ波画像であり、前記複数の第２の画像のそれぞれは、可視光画像と赤外光画像と距離画像とのうちの少なくとも１つからなる。
　本開示の一態様に係る判定方法は、人物を含む第２の画像から、当該第２の画像の撮像と略同時に前記人物にサブテラヘルツ波を照射する場合において撮像されると仮想される仮想サブテラヘルツ波画像を推定する推定ステップと、前記仮想サブテラヘルツ波画像と、前記第２の画像と略同時に撮像された、前記人物を含む第１の画像とに基づいて、前記第１の画像を対象として、特徴的な輝度分布領域である第１の特異領域を検出する特異領域検出ステップと、前記第１の特異領域に基づいて前記人物の所持物を判定する判定ステップと、前記判定ステップによる判定結果を出力する出力ステップと、を含み、前記第１の画像は、サブテラヘルツ波画像であり、前記第２の画像は、可視光画像と赤外光画像と距離画像とのうちの少なくとも１つからなる。
　本開示の一態様に係る判定装置等によれば、人物を含むサブテラヘルツ波画像を用いて、比較的精度よくその人物の所持物を判定することができる判定装置等が提供される。
図１は、実施の形態１に係る判定システムの外観を示す模式図である。 図２は、実施の形態１に係る判定システムの構成を示すブロック図である。 図３は、実施の形態１に係る反射板の断面構造を示す模式図である。 図４Ａは、実施の形態１に係る第１の光源を前方から見た場合の一例を示す模式図である。 図４Ｂは、実施の形態１に係る第１の光源を前方から見た場合の別の一例を示す模式図である。 図５は、実施の形態１に係る特異領域検出部が第１の特異領域を検出する様子を示す模式図である。 図６は、実施の形態１に係る基準位置算出部が、人物の骨格を基準位置と算出する様子の一例を示す模式図である。 図７は、実施の形態１に係るマッピング部が、第１の特異領域を第２の画像に含まれる人物にマッピングする様子の一例を示す模式図である。 図８は、実施の形態１に係る出力部がディスプレイに表示する画像の一例を示す模式図である。 図９は、第１の判定処理のフローチャートである。 図１０は、実施の形態２に係る判定システムの構成を示すブロック図である。 図１１は、実施の形態２に係るマッピング部が、第１の特異領域および第２の特異領域を第２の画像に含まれる人物にマッピングする様子の一例を示す模式図である。 図１２は、第２の判定処理のフローチャートである。 図１３は、実施の形態３に係る判定システムの構成を示すブロック図である。 図１４は、実施の形態３に係る信頼度推定部が、第２の画像から検出信頼度を推定する様子の一例を示す模式図である。 図１５は、実施の形態３に係るマッピング部が、第１の特異領域と検出信頼度とを第２の画像に含まれる人物にマッピングする様子の一例を示す模式図である。 図１６は、第３の判定処理のフローチャートである。 図１７は、実施の形態４に係る判定システムの構成を示すブロック図である。 図１８は、実施の形態４に係る推定部が、第２の画像から仮想サブテラヘルツ波画像を推定する様子の一例を示す模式図である。 図１９は、実施の形態４に係る特異領域検出部が、仮想サブテラヘルツ波画像と第１の画像とに基づいて第１の特異領域を検出するする様子の一例を示す模式図である。 図２０は、第４の判定処理のフローチャートである。 図２１は、実施の形態５に係る判定システムの構成を示すブロック図である。 図２２は、第５の判定処理のフローチャートである。
　（本開示の一態様を得るに至った経緯）
　サブテラヘルツ波は、衣服およびカバン等を透過し、人体および金属等に対して鏡面反射する。このため、サブテラヘルツ波画像を撮像するカメラの向きによっては、そのカメラによって撮像されるサブテラヘルツ波画像に、人物の所持物からの、サブテラヘルツ波の反射波による像が鮮明に写っていないことがある。
　特許文献１には、比較的精度よく所持物を判定するために、サブテラヘルツ波画像を撮像する複数のカメラを用いて様々な角度からサブテラヘルツ波画像を撮像し、様々な角度から撮像した複数のサブテラヘルツ波画像に基づいて、人物の所持物を判定する技術が開示されている。
　これに対して、発明者らは、サブテラヘルツ波画像を撮像するカメラを複数準備しなくても、比較的精度よく人物の所持物を判定することができる判定装置を提供することができれば、比較的簡素な構成のシステムにより、人物の所持物を比較的精度よく判定することができるようになると考えた。
　そこで、発明者らは、サブテラヘルツ波画像を撮像するカメラを複数準備しなくても、比較的精度よく人物の所持物を判定することができる判定装置について、鋭意検討、実験を重ねた。
　検討、実験を通じて、発明者らは、人物の動きと共に、その人物の所持物の向きが様々な方向に向くことになるため、サブテラヘルツ波を撮像するカメラが１つであっても、互いに異なる時刻に、例えば歩行中の人物を含む複数のサブテラヘルツ波画像を撮像することで、それぞれが異なる方向を向いている所持物からの、サブテラヘルツ波の反射波による像を撮像することができるとの知見を得た。
　また、発明者らは、サブテラヘルツ波画像の中に、所持物による特徴的な輝度分布領域である特異領域が含まれている場合に、その特異領域を、そのサブテラヘルツ波画像と略同時に撮像された可視光画像に含まれる人物にマッピングすることで、その人物がどの場所に（例えば、衣服の下の脇の下、カバンの中等）その所持物を所持しているかを特定することができるとの知見を得た。
　また、発明者らは、サブテラヘルツ波画像と略同時に撮像された、人物を含む可視光画像であって、その人物の所持物が、衣服、カバン等に隠れて写っていない可視光画像から、その可視光画像が撮像されたタイミングで撮像されると仮想されるサブテラヘルツ波画像を推定し、推定したサブテラヘルツ波画像と、実際に撮像されたサブテラヘルツ波画像とを比較することで、比較的精度よく所持物を判定することができるとの知見を得た。
　そして、発明者らは、これら知見に基づいて、さらに、検討、実験を重ね、下記本開示の一態様に係る判定装置および判定方法に想到した。
　本開示の一態様に係る判定装置は、人物を含む、互いに異なる時刻に撮像された複数の第１の画像のそれぞれを対象として、特徴的な輝度分布領域である第１の特異領域を検出する特異領域検出部と、前記複数の第１の画像のそれぞれと略同時に撮像された、前記人物を含む複数の第２の画像のそれぞれから、前記人物に係る基準位置を算出する基準位置算出部と、前記特異領域検出部により、前記複数の第１の画像のうちの１以上の第１の画像から前記第１の特異領域が検出された場合に、前記１以上の第１の画像のそれぞれを対象として、当該第１の画像において検出された第１の特異領域と、当該第１の画像と略同時に撮像された、前記複数の第２の画像のうちの１の第２の画像において前記基準位置算出部により算出された前記基準位置とに基づいて、前記第１の特異領域を前記１の第２の画像に含まれる前記人物にマッピングするマッピング部と、前記マッピング部による前記マッピングの結果に基づいて、前記人物の所持物を判定する判定部と、前記判定部による判定結果を出力する出力部と、を備え、前記複数の第１の画像のそれぞれは、サブテラヘルツ波画像であり、前記複数の第２の画像のそれぞれは、可視光画像と赤外光画像と距離画像とのうちの少なくとも１つからなる。
　一般に、人物の動きと共に、その人物の所持物の向きが様々な方向に向くことになる。このため、複数のサブテラヘルツ波画像である第１の画像には、それぞれが異なる方向を向いている所持物からの、サブテラヘルツ波の反射波による像が撮像される。
　また、上記構成の判定装置によると、サブテラヘルツ波画像である第１の画像の中に、所持物による特徴的な輝度分布領域である特異領域が含まれている場合に、その特異領域は、その第１の画像と略同時に撮像された、可視光画像と赤外光画像と距離画像とのうちの少なくとも１つからなる第２の画像に含まれる人物にマッピングされる。そして、マッピング結果に基づいて、所持物が判定される。すなわち、人物の動きと共にその人物の所持物が動く場合であっても、人物とその所持物との相対位置関係に基づいて、その人物の所持物を判定することができる。
　このため、上記構成の判定装置によると、人物を含むサブテラヘルツ波画像を用いて、比較的精度よくその人物の所持物を判定することができる。
　また、前記判定部は、前記１以上の第１の画像のうち、前記マッピング部により前記第１の特異領域が前記人物の互いに略同一位置にマッピングされたマッピング画像に係る第１の判定条件に基づいて、前記人物の所持物を判定するとしてもよい。
　これにより、マッピング画像に基づいて、所持物を判定することができるようになる。
　また、前記第１の判定条件は、前記マッピング画像上の略同一位置へのマッピング数に係る判定条件であるとしてもよい。
　これにより、マッピング画像上の略同一位置へのマッピング数に基づいて、所持物を判定することができるようになる。
　また、前記第１の判定条件は、前記マッピング画像における前記第１の特異領域を代表する代表輝度の和または検出信頼度に係る判定条件であるとしてもよい。
　これにより、マッピング画像においてマッピングされた第１の特異領域の代表輝度の和または検出信頼度に基づいて、所持物を判定することができるようになる。
　また、前記判定部は、前記マッピング画像においてマッピングされた前記第１の特異領域の位置に応じた前記第１の判定条件に基づいて、前記人物の所持物を判定するとしてもよい。
　これにより、マッピングされた第１の特異領域の位置に基づいて、所持物を判定することができるようになる。
　また、前記判定部は、さらに、前記マッピング画像においてマッピングされた前記第１の特異領域の形状に基づいて、前記所持物の種類を判定するとしてもよい。
　これにより、所持物の種類を判定することができるようになる。
　また、前記特異領域検出部は、第１の閾値よりも高い輝度の領域、または、前記第１の閾値よりも低い第２の閾値よりも低い輝度の領域を、前記第１の特異領域と検出するとしてもよい。
　これにより、第１の閾値よりも輝度の高い領域、または、第１の閾値よりも輝度の低い領域を、特異領域として検出することができる。
　また、さらに、前記複数の第２の画像のそれぞれから、前記複数の第１の画像のうちの、当該第２の画像の撮像と略同時に撮像された１の第１の画像における検出信頼度を推定する信頼度推定部を備え、前記マッピング部は、さらに、前記信頼度推定部により前記１の第２の画像から推定された前記検出信頼度にも基づいて、前記検出信頼度をも前記１の第２の画像に含まれる前記人物にマッピングするとしてもよい。
　上記構成の判定装置によると、さらに、検出信頼度にも基づいて所持物が判定される。
　このため、上記構成の判定装置によると、さらに精度よく所持物を判定することができるようになる。
　また、前記特異領域検出部は、さらに、前記複数の第２の画像のそれぞれと略同時に撮像された、前記人物を含む複数の第３の画像のそれぞれを対象として、特徴的な輝度分布領域である第２の特異領域の検出を試み、前記マッピング部は、さらに、前記特異領域検出部により、前記複数の第３の画像のうちの１以上の第３の画像から前記第２の特異領域が検出された場合に、前記１以上の第３の画像のそれぞれを対象として、当該第３の画像において検出された第２の特異領域と、当該第３の画像と略同時に撮像された、前記複数の第２の画像のうちの１の第２の画像において前記基準位置算出部により算出された前記基準位置とに基づいて、前記第２の特異領域を前記１の第２の画像に含まれる前記人物にマッピングし、前記複数の第３の画像のそれぞれは、サブテラヘルツ波画像であるとしてもよい。
　上記構成の判定装置によると、第１の画像と第２の画像とに加えて、さらに、第３の画像にも基づいて所持物が判定される。
　このため、上記構成の判定装置によると、さらに精度よく所持物を判定することができるようになる。
　本開示の一態様に係る判定装置は、人物を含む第２の画像から、当該第２の画像の撮像と略同時に前記人物にサブテラヘルツ波を照射する場合において撮像されると仮想される仮想サブテラヘルツ波画像を推定する推定部と、前記仮想サブテラヘルツ波画像と、前記第２の画像と略同時に撮像された、前記人物を含む第１の画像とに基づいて、前記第１の画像を対象として、特徴的な輝度分布領域である第１の特異領域を検出する特異領域検出部と、前記第１の特異領域に基づいて前記人物の所持物を判定する判定部と、前記判定部による判定結果を出力する出力部と、を備え、前記第１の画像は、サブテラヘルツ波画像であり、前記第２の画像は、可視光画像と赤外光画像と距離画像とのうちの少なくとも１つからなる。
　上記構成の判定装置によると、サブテラヘルツ波画像である第１の画像と略同時に撮像された、人物を含む可視光画像と赤外光画像と距離画像とのうちの少なくとも１つからなる第２の画像であって、その人物の所持物が、衣服、カバン等に隠れて写っていない第２の画像から、その第２の画像が撮像されたタイミングで撮像されると仮想される仮想サブテラヘルツ波画像が推定される。そして、推定された仮想サブテラヘルツ波画像と、実際に撮像されたサブテラヘルツ波画像である第１の画像とに基づいて、所持物が判定される。
　このため、上記構成の判定装置によると、人物を含むサブテラヘルツ波画像を用いて、比較的精度よくその人物の所持物を判定することができる。
　本開示の一態様に係る判定方法は、人物を含む、互いに異なる時刻に撮像された複数の第１の画像のそれぞれを対象として、特徴的な輝度分布領域である第１の特異領域を検出する特異領域検出ステップと、前記複数の第１の画像のそれぞれと略同時に撮像された、前記人物を含む複数の第２の画像のそれぞれから、前記人物に係る基準位置を算出する基準位置算出ステップと、前記特異領域検出ステップにより、前記複数の第１の画像のうちの１以上の第１の画像から前記第１の特異領域が検出された場合に、前記１以上の第１の画像のそれぞれを対象として、当該第１の画像において検出された第１の特異領域と、当該第１の画像と略同時に撮像された、前記複数の第２の画像のうちの１の第２の画像において前記基準位置算出ステップにより算出された前記基準位置とに基づいて、前記第１の特異領域を前記１の第２の画像に含まれる前記人物にマッピングするマッピングステップと、前記マッピングステップによる前記マッピングの結果に基づいて、前記人物の所持物を判定する判定ステップと、前記判定ステップによる判定結果を出力する出力ステップと、を含み、前記複数の第１の画像のそれぞれは、サブテラヘルツ波画像であり、前記複数の第２の画像のそれぞれは、可視光画像と赤外光画像と距離画像とのうちの少なくとも１つからなる。
　一般に、人物の動きと共に、その人物の所持物の向きが様々な方向に向くことになる。このため、複数のサブテラヘルツ波画像である第１の画像には、それぞれが異なる方向を向いている所持物からの、サブテラヘルツ波の反射波による像が撮像される。
　また、上記判定方法によると、サブテラヘルツ波画像である第１の画像の中に、所持物による特徴的な輝度分布領域である特異領域が含まれている場合に、その特異領域は、その第１の画像と略同時に撮像された、可視光画像と赤外光画像と距離画像とのうちの少なくとも１つからなる第２の画像に含まれる人物にマッピングされる。そして、マッピング結果に基づいて、所持物が判定される。すなわち、人物の動きと共にその人物の所持物が動く場合であっても、人物とその所持物との相対位置関係に基づいて、その人物の所持物を判定することができる。
　このため、上記判定方法によると、人物を含むサブテラヘルツ波画像を用いて、比較的精度よくその人物の所持物を判定することができる。
　本開示の一態様に係る判定方法は、人物を含む第２の画像から、当該第２の画像の撮像と略同時に前記人物にサブテラヘルツ波を照射する場合において撮像されると仮想される仮想サブテラヘルツ波画像を推定する推定ステップと、前記仮想サブテラヘルツ波画像と、前記第２の画像と略同時に撮像された、前記人物を含む第１の画像とに基づいて、前記第１の画像を対象として、特徴的な輝度分布領域である第１の特異領域を検出する特異領域検出ステップと、前記第１の特異領域に基づいて前記人物の所持物を判定する判定ステップと、前記判定ステップによる判定結果を出力する出力ステップと、を含み、前記第１の画像は、サブテラヘルツ波画像であり、前記第２の画像は、可視光画像と赤外光画像と距離画像とのうちの少なくとも１つからなる。
　上記判定方法によると、サブテラヘルツ波画像である第１の画像と略同時に撮像された、人物を含む可視光画像と赤外光画像と距離画像とのうちの少なくとも１つからなる第２の画像であって、その人物の所持物が、衣服、カバン等に隠れて写っていない第２の画像から、その第２の画像が撮像されたタイミングで撮像されると仮想される仮想サブテラヘルツ波画像が推定される。そして、推定された仮想サブテラヘルツ波画像と、実際に撮像されたサブテラヘルツ波画像である第１の画像とに基づいて、所持物が判定される。
　このため、上記判定方法によると、人物を含むサブテラヘルツ波画像を用いて、比較的精度よくその人物の所持物を判定することができる。
　以下では、実施の形態について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。
　また、本明細書において、平行などの要素間の関係性を示す用語、および、平板などの要素の形状を示す用語、直後などの時間を示す用語、並びに、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する表現である。
　また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略または簡略化する。
　（実施の形態１）
　以下、サブテラヘルツ波画像を撮像し、撮像したサブテラヘルツ波画像に基づいて、人物の所持物を判定する判定システムについて説明する。
　［構成］
　図１は、本実施の形態１に係る判定システム１の外観を示す模式図である。図１では、反射板２０以外の構成要素は省略されている。
　図１に示すように、判定システム１は、例えば、人物１００が、反射板２０に挟まれた通路１０１上の撮像空間１０２を通過する際に、人物１００に対してサブテラヘルツ波を照射し、照射されたサブテラヘルツ波の、人物１００による反射波に基づいてサブテラヘルツ波画像を撮像する。そして、撮像したサブテラヘルツ波画像に基づいて、人物１００の所持物を判定する。
　撮像空間１０２は、通路１０１上の空間うち、反射板２０に覆われた空間である。また、判定システム１は、例えば、人物１００が衣服等の下、カバンの中に隠し持つ刃物、可燃物入り容器等の所持物を判定する。
　以下、判定システム１の構成の詳細について、図面を参照にしながら説明する。
　図２は、判定システム１の構成を示すブロック図である。
　図２には、撮像空間１０２を人物１００が通過する様子が示されている。また、図２には、第１の光源４１から射出されるサブテラヘルツ波の進路の一例が、矢印で示されている。
　判定システム１は、反射板２０と、第１の光源４１と、カメラ５１と、カメラ６０と、判定装置１０とを備える。
　反射板２０は、人物１００が通過する通路１０１上の空間、具体的には撮像空間１０２を、通路１０１の両側部の少なくとも一方から覆う。通路１０１の両側部の少なくとも一方から覆うとは、具体的には、通路１０１を上方から見た場合の、両側方、つまり通路１０１が延びる方向に対して垂直な２つの方向の少なくとも一方から覆うことを意味する。本実施の形態１においては、反射板２０は、人物１００が通過する通路１０１上の撮像空間１０２を通路１０１の両側部から挟む。つまり、反射板２０は、撮像空間１０２を、通路１０１の両側部の両方から覆う。撮像空間１０２は、例えば、通路１０１上の空間うち、反射板２０の内側の表面（後述する内側面２５）に挟まれた空間である。本実施の形態１においては、一対の反射板２０が、通路１０１の両側部の床面から立設して対向している。つまり、２枚からなる一対の反射板２０は、上面視で通路１０１を挟む位置関係になるように配置されている。また、図示されている例では、一対の反射板２０は、互いに平行な位置関係になるように配置されている。また、図示されている例では、一対の反射板２０は、それぞれ、通路１０１が設けられている床面に対して垂直に立設している。反射板２０の上端の通路１０１からの高さは、特に制限されないが、例えば１．５ｍ以上５．０ｍ以下である。通路１０１が延びる方向から見た場合の反射板２０の形状は、一対の反射板２０の場合には２つのＩ字状であるが、特に形状は制限されない。反射板２０は、撮像空間１０２の両側方の少なくとも一方に反射板２０があるように配置されればよく、通路１０１が延びる方向から見た場合の反射板２０の形状は、Ｉ字状、Ｊ字状、Ｌ字状、Ｕ字状、Ｃ字状、枠状または円環状等であってもよい。例えば、判定システム１は、一対の反射板２０以外の反射板をさらに備えてもよく、または、一対の反射板２０の端部を延長して繋げた形状の１つの反射板を備えてもよい。なお、判定システム１は、少なくとも１つの反射板２０を備えていればよく、例えば、一対の反射板２０のうち、一方のみを備えていてもよい。
　一対の反射板２０は、それぞれ、板状である。一対の反射板２０は、それぞれ、反射板２０の厚み方向から見た場合の正面となる面である２つの面として、内側面２５と外側面２８とを有する。一対の反射板２０は、一対の反射板２０の一方の内側面２５と、一対の反射板２０の他方の内側面２５とが対面するによう配置されている。つまり、内側面２５は、反射板２０における撮像空間１０２側の面である。例えば、一対の反射板２０は、それぞれ、内側面２５と、内側面２５に平行な外側面２８とを有する平板状である。つまり、反射板２０の厚みは均一である。一対の反射板２０の平面視形状は、特に制限されないが、例えば、それぞれ、矩形である。
　反射板２０は、サブテラヘルツ波を拡散反射する。具体的には、反射板２０は、少なくとも撮像空間１０２側（つまり、一対の反射板２０の内側）から入射するサブテラヘルツ波を拡散反射する。第１の光源４１から射出されたサブテラヘルツ波は、図２に示すように、一対の反射板２０の少なくとも一方で１回以上拡散反射され、人物１００に照射される。このように、サブテラヘルツ波を拡散反射する反射板２０が撮像空間１０２を挟むことにより、撮像空間１０２に入射したサブテラヘルツ波がとどまりやすくなると共に、人物１００に対して様々な角度からサブテラヘルツ波が照射される。
　また、反射板２０が平板状であることにより、人物１００にサブテラヘルツ波を集中させる球面ミラーのような部材がサブテラヘルツ波の反射に用いられる場合と比べて、判定システム１の薄型化および小型化が可能である。
　次に、反射板２０の詳細な構成について説明する。
　図３は、反射板２０の断面構造を示す模式図である。図３は、反射板２０の断面の一部が拡大された図である。なお、図３においては、見やすくするため、断面を示す斜線のハッチングは省略されている。
　反射板２０は、反射部材２１と、２つの被覆部材２４および被覆部材２７とを有する。反射板２０は、被覆部材２４と、反射部材２１と、被覆部材２７とが、撮像空間１０２側からこの順で積層された構造を有する。
　反射部材２１は、サブテラヘルツ波を拡散反射するシート状の部材である。反射部材２１は、被覆部材２４と被覆部材２７との間に位置する。反射部材２１は、反射部材２１の厚み方向から見た場合に正面となる２つの面として、２つの主面２２および主面２３を有する。主面２２および主面２３は、サブテラヘルツ波を拡散反射させる凹凸面である。主面２２は、反射部材２１における撮像空間１０２側に位置し、主面２３は、反射部材２１における撮像空間１０２側とは反対側に位置する。反射部材２１における２つの主面２２および主面２３の両方は、被覆部材２４および被覆部材２７にそれぞれ被覆されている。具体的には、反射部材２１における撮像空間１０２側の主面２２は、被覆部材２４に被覆され、反射部材２１における撮像空間１０２側とは反対側の主面２３は、被覆部材２７に被覆されている。そのため、主面２２および主面２３は、反射板２０の表面を構成せず、露出していない。これにより、凹凸面である主面２２および主面２３が露出する場合には、凹凸面が人物１００に接触する可能性があるが、主面２２および主面２３がそれぞれ被覆部材２４および被覆部材２７に被覆されることで、反射部材２１が保護される。
　それぞれ凹凸面である主面２２および主面２３では、例えば、粗さ曲線要素の平均長さＲＳｍが第１の光源４１から射出されるサブテラヘルツ波の波長以上である。具体的に、主面２２および主面２３では、例えば、粗さ曲線要素の平均長さＲＳｍが０．１５ｍｍ以上であり、０．３ｍｍ以上であってもよい。これにより、サブテラヘルツ波が効率良く主面２２および主面２３で拡散反射される。図３に示されている例では、主面２２と主面２３との凹凸形状は、一致している。なお、主面２２と主面２３との凹凸形状は、異なっていてもよい。また、反射部材２１における撮像空間１０２側の主面２２が凹凸面であればよく、主面２３は平坦面であってもよい。
　反射部材２１は、金属または導電性酸化物等の導電性部材で構成される。金属としては、銅、アルミニウム、ニッケル、鉄、ステンレス、銀、金または白金等の金属を少なくとも１つを含む純金属（単体金属）および合金等が挙げられる。導電性酸化物としては、例えば、ＩＴＯ（Ｉｎｄｉｕｍ　Ｔｉｎ　Ｏｘｉｄｅ）、ＩＺＯ（ＩｎＺｎＯ；Ｉｎｄｉｕｍ　Ｚｉｎｃ　Ｏｘｉｄｅ）、ＡＺＯ（ＡｌＺｎＯ：Ａｌｕｍｉｎｕｍ　Ｚｉｎｃ　Ｏｘｉｄｅ）、ＦＴＯ（Ｆｌｏｒｉｎｅ－ｄｏｐｅｄ　Ｔｉｎ　Ｏｘｉｄｅ）、ＳｎＯ２、ＴｉＯ２およびＺｎＯ２等の透明導電性酸化物が挙げられる。
　被覆部材２４および被覆部材２７は、それぞれ、サブテラヘルツ波を透過させる。被覆部材２４および被覆部材２７は、それぞれ、例えば、反射板２０の厚み方向から入射するサブテラヘルツ波の５０％以上を透過させる。被覆部材２４および被覆部材２７は、それぞれ、反射板２０の厚み方向から入射するサブテラヘルツ波の８０％以上を透過させてもよく、９０％以上を透過させてもよい。
　被覆部材２４は、反射部材２１の撮像空間１０２側に位置し、主面２２を被覆する。被覆部材２４における反射部材２１側とは反対側に位置する被覆部材２４の表面は、反射板２０の内側面２５を構成する。内側面２５は、主面２２のような凹凸形状を有さない平坦面である。これにより、通路１０１を通過する人物１００が反射板２０の内側面２５にぶつかった場合にも、人物１００が反射部材２１の凹凸面（つまり主面２２）にぶつかることが防止され、人物１００および主面２２が保護される。また、反射板２０の内側面２５が平坦面であることにより、反射板２０を清掃しやすくなる。
　被覆部材２７は、反射部材２１の撮像空間１０２側とは反対側に位置し、主面２３を被覆する。被覆部材２７における反射部材２１側とは反対側に位置する被覆部材２７の表面は、反射板２０の外側面２８を構成する。外側面２８は、主面２３のような凹凸形状を有さない平坦面である。これにより、反射板２０を清掃しやすくなる。
　被覆部材２４および被覆部材２７の材料は、被覆部材２４および被覆部材２７の形状に加工でき、形状を保持できる材料であればよい。被覆部材２４および被覆部材２７の材料としては、例えば、樹脂材料等が用いられる。樹脂材料は、例えば、可視光を透過させる透明な非晶性樹脂材料であってもよく、可視光を拡散反射させる結晶性樹脂材料であってもよい。
　以上のような構成により、図３に示されるように、反射板２０に対して一対の反射板２０の内側（つまり、撮像空間１０２側）から入射するサブテラヘルツ波は、被覆部材２４に侵入し、反射部材２１の主面２２で拡散反射され、内側面２５から撮像空間１０２側へ様々な角度で射出される。
　一対の反射板２０は、例えば、それぞれ互いに同じ構成および材料である。なお、一対の反射板２０は、それぞれの構成および材料の少なくとも一方が異なっていてもよい。
　再び図２に戻って、判定システム１の説明を続ける。
　第１の光源４１は、反射板２０に対してサブテラヘルツ波を射出する光源である。具体的には、第１の光源４１は、一対の反射板２０の少なくとも一方の内側面２５に対してサブテラヘルツ波を射出する。また、図２に示すように、第１の光源４１が射出したサブテラヘルツ波の一部が、複数回、反射板２０で拡散反射するように、第１の光源４１は、反射板２０に対してサブテラヘルツ波を射出する。また、第１の光源４１が射出するサブテラヘルツ波の一部は、直接、人物１００に入射してもよい。
　第１の光源４１は、常時サブテラヘルツ波を射出していてもよいし、カメラ５１の撮像タイミングに同期して、間欠的にサブテラヘルツ波を射出してもよい。
　第１の光源４１は、例えば、図示が省略されている支持部材等により支持されている。第１の光源４１は、例えば、公知のサブテラヘルツ波発生素子およびサブテラヘルツ波発生素子に電流を供給する回路等によって実現される。
　第１の光源４１は、通路１０１の延びる方向において、撮像空間１０２の中央よりも前方側に位置する。撮像空間１０２の中央とは、反射板２０に挟まれることで形成される空間の中央である。図２に示されている例では、第１の光源４１は、通路１０１の延びる方向において、反射板２０よりも前方側に位置する。第１の光源４１は、反射板２０の前方側から反射板２０の内側面２５に対してサブテラヘルツ波を射出する。
　また、第１の光源４１は、一対の反射板２０それぞれの前方側の端部の近傍に位置する。
　なお、第１の光源４１は、例えば、撮像空間１０２に位置していてもよい。
　第１の光源４１は、例えば、サブテラヘルツ波を放射する点光源を含む。図４Ａは、第１の光源４１を前方から見た場合の一例を示す模式図である。図４Ａにおいては、第１の光源４１および反射板２０以外の構成要素は省略されている。図４Ａに示されるように、第１の光源４１は、通路１０１の延びる方向から見た場合に、反射板２０に沿って並び、サブテラヘルツ波を放射する複数の点光源４１ａを含む。本実施の形態１においては、複数の点光源４１ａは、一対の反射板２０の立設する方向に沿って並んでいる。図４Ａにおいては、一対の反射板２０の一方の前方側端部に沿って３つの点光源４１ａが並び、一対の反射板２０の他方の前方側端部に沿って３つの点光源４１ａが並んでいる。つまり、第１の光源４１は、一対の反射板２０の立設する方向に沿って並ぶ一対の複数の点光源４１ａを含む。複数の点光源４１ａが並ぶ数は、特に制限されず、２つであってもよく、４つ以上であってもよい。また、図４Ａに示されている例では、一対の複数の点光源４１ａは、仮想面Ｐ１を基準に対称に配置されている。仮想面Ｐ１は、撮像空間１０２の中心を通り、通路１０１の延びる方向に沿った鉛直面である。なお、複数の点光源４１ａは、一対の反射板２０の一方側のみに配置されていてもよい。
　また、第１の光源４１は、複数の点光源４１ａの代わりに、別の光源を含んでいてもよい。図４Ｂは、第１の光源４１を前方から見た場合の別の例を示す模式図である。図４Ｂにおいては、第１の光源４１および反射板２０以外の構成要素は省略されている。図４Ｂに示されるように、第１の光源４１は、通路１０１の延びる方向から見た場合に、反射板２０に沿って延び、サブテラヘルツ波を放射する線光源４１ｂを含む。本実施の形態１においては、線光源４１ｂは、一対の反射板２０の立設する方向に沿って延びている。図４Ｂにおいては、一対の反射板２０の一方の前方側端部に沿って延びるように１つの線光源４１ｂが配置され、一対の反射板２０の他方の前方側端部に沿って延びるように１つの線光源４１ｂが配置されている。つまり、第１の光源４１は、一対の線光源４１ｂを含む。一対の反射板２０のそれぞれの前方側端部に沿って延びるように配置される線光源４１ｂの数は２つ以上であってもよい。また、図４Ｂに示されている例では、一対の線光源４１ｂは、仮想面Ｐ１を基準に対称に配置されている。なお、線光源４１ｂは、一対の反射板２０の一方側のみに配置されていてもよい。
　このように、第１の光源４１は、通路１０１の延びる方向から見た場合に、反射板２０に沿って並び、それぞれがサブテラヘルツ波を放射する複数の点光源４１ａ、および、反射板２０に沿って延び、サブテラヘルツ波を放射する線光源４１ｂのうちの少なくとも一方を含む。これにより、第１の光源４１は、通路１０１の延びる方向から見た場合に、反射板２０に沿って幅広くサブテラヘルツ波を射出することができる。その結果、人物１００に効果的にサブテラヘルツ波が照射される。
　再び図２に戻って、判定システム１の説明を続ける。
　カメラ５１は、第１の光源４１から射出された後、反射板２０で拡散反射されたサブテラヘルツ波の、人物１００による反射波を受波することで、人物１００を含む、サブテラヘルツ波画像である第１の画像を撮像する。
　カメラ５１は動画像を撮像する。このため、カメラ５１は、互いに異なる時刻に複数の第１の画像を撮像する。そして、カメラ５１は、撮像した複数の第１の画像を、判定装置１０に出力する。カメラ５１は、例えば、６０ＦＰＳで第１の画像を撮像する。
　サブテラヘルツ波は、衣服およびカバン等を透過し、人体および金属等に対して鏡面反射する。このため、カメラ５１は、人物１００の体のうち、カメラ５１が受波可能な角度範囲内に含まれる領域からの、人物１００の体で鏡面反射した反射波を受波する。また、人物１００が、衣服等の下、カバンの中等に、刃物、可燃物入り容器等の所持物を隠し持つ場合には、カメラ５１は、隠し持つ所持物のうち、カメラ５１が受波可能な角度範囲内に含まれる領域からの、隠し持つ所持物で鏡面反射した反射波を受波する。
　人物１００が通路１０１を移動する際に、人物１００および人物１００の所持物の向きが様々な方向に向くことになる。このため、カメラ５１は、互いに異なる時刻に複数の第１の画像を撮像することで、それぞれが異なる方向を向いている人物１００および人物１００の所持物からの、サブテラヘルツ波の反射波による像を撮像することができる。
　カメラ５１は、通路１０１の延びる方向において、撮像空間１０２の中央よりも前方側に位置する。カメラ５１は、例えば、図示が省略されている支持部材等により支持されている。
　カメラ６０は、可視光、または／および、赤外光の、人物１００による反射波を受光することで、人物１００を含む、可視光画像と赤外光画像と距離画像との少なくとも１つからなる第２の画像を撮像する。本実施の形態１においては、第２の画像は、可視光画像であるとして説明する。
　カメラ６０は動画像を撮像する。このため、カメラ６０は、互いに異なる時刻に複数の第２の画像を撮像する。そして、カメラ６０は、撮像した複数の第２の画像を、判定装置１０に出力する。
　カメラ６０は、カメラ５１の撮像タイミングに同期して第２の画像を撮像する。より具体的には、カメラ６０は、カメラ５１が第１の画像を撮像するそれぞれのタイミングと略同時に、第２の画像のそれぞれを撮像する。このため、カメラ６０により撮像される複数の第２の画像のそれぞれは、カメラ５１により撮像される第１の画像のそれぞれと略同時に撮像された画像となる。カメラ５１が、例えば、６０ＦＰＳで第１の画像を撮像する場合には、カメラ６０は、カメラ５１と同じ６０ＦＰＳで第２の画像を撮像する。
　判定装置１０は、人物１００を含むサブテラヘルツ波画像を用いて、人物１００の所持物を判定する。より具体的は、判定装置１０は、カメラ５１から出力される複数の第１の画像と、カメラ６０から出力される複数の第２の画像とが入力され、複数の第１の画像と複数の第２の画像とに基づいて人物１００の所持物を判定し、判定結果を出力する。
　判定装置１０は、例えば、プロセッサとメモリと入出力インターフェースとを備えるコンピュータ装置において、プロセッサが、メモリに記憶されるプログラムを実行することで実現される。
　図２に示すように、判定装置１０は、特異領域検出部１１と、基準位置算出部１２と、マッピング部１３と、判定部１４と、出力部１５とを備える。
　特異領域検出部１１は、カメラ５１により撮像された、人物１００を含む、互いに異なる時刻に撮像された複数の第１の画像のそれぞれを対象として、特徴的な輝度分布領域である第１の特異領域の検出を試みる。
　特異領域検出部１１は、例えば、周囲の画素の輝度値に比べて有意に大きな輝度値、または、有意に小さな輝度値からなる領域を、第１の特異領域と検出してもよい。
　または、特異領域検出部１１は、例えば、第１の閾値よりも高い輝度の領域、または、第１の閾値より低い第２の閾値よりも低い輝度の領域を、第１の特異領域と検出してもよい。
　または、特異領域検出部１１は、例えば、人物１００の露出している部分（例えば、顔、手等）に対応する画素の画素値よりも有意に大きな輝度値、または、有意に小さな輝度値からなる領域を、第１の特異領域と検出してもよい。または、特異領域検出部１１は、検出した領域ごとに検出の信頼度を出力してもよい。信頼度は、所定の輝度値からの差分の大きさや、機械学習による検出の出力などを用いてもよい。または、特異領域検出部１１は、機械学習を用いた検出等で得られる信頼度が一定値よりも高い領域を第１の特異領域と検出してもよい。
　図５は、特異領域検出部１１が、第１の特異領域を検出する様子の一例を示す模式図である。
　図５に示すように、特異領域検出部１１は、例えば、楕円形で囲った、刃物の形状の、周囲の画素の輝度値に比べて有意に大きな輝度値からなる領域を、第１の特異領域と検出する。または、特異領域検出部１１は、例えば、楕円形で囲った、刃物の形状の、所定の輝度値よりも大きな輝度値からなる領域を、第１の特異領域と検出する。または、特異領域検出部１１は、例えば、楕円形で囲った、刃物の形状の、人物１００の露出している部分（例えば、顔、手等）に対応する画素の画素値よりも有意に大きな輝度値からなる領域を、第１の特異領域と検出する。
　再び図２に戻って、判定システム１の説明を続ける。
　基準位置算出部１２は、カメラ６０により撮像された、人物１００を含む、互いに異なる時刻に撮像された複数の第２の画像であって、複数の第２の画像のそれぞれが、複数の第１の画像のそれぞれと略同時に撮像された複数の第２の画像のそれぞれから、人物１００に係る基準位置を算出する。
　基準位置算出部１２は、例えば、人物１００の身体領域を、基準位置と算出してもよい。または、基準位置算出部１２は、例えば、人物１００の骨格を、基準位置と算出してもよい。
　基準位置算出部１２は、例えば、人物１００を含む第２の画像を入力すると、基準位置を出力するようにあらかじめ訓練された機械学習モデルを利用して、基準位置を算出するとしてもよい。
　図６は、基準位置算出部１２が、人物１００の骨格を基準位置と算出する様子の一例を示す模式図である。
　図６に示すように、基準位置算出部１２は、例えば、実線で示す人物１００の骨格を、基準位置と算出する。
　再び図２に戻って、判定システム１の説明を続ける。
　マッピング部１３は、特異領域検出部１１により、複数の第１の画像のうちの１以上の第１の画像から第１の特異領域が検出された場合に、それら１以上の第１の画像のそれぞれを対象として、第１の画像において検出された第１の特異領域と、その第１の画像と略同時に撮像された第２の画像において基準位置算出部１２により算出された基準位置とに基づいて、第１の特異領域を第２の画像に含まれる人物１００にマッピングする。
　図７は、マッピング部１３が、第１の特異領域を第２の画像に含まれる人物１００にマッピングする様子の一例を示す模式図である。
　図７に示すように、マッピング部１３は、例えば、時刻ｔａに撮像された第１の画像において検出された第１の特異領域２００ａと、時刻ｔａに撮像された第２の画像において算出された基準位置とに基づいて、第１の特異領域２００ａを、人物１００の左の脇の下の位置にマッピングし、時刻ｔｂに撮像された第１の画像において検出された第１の特異領域２００ｂと、時刻ｔｂに撮像された第２の画像において算出された基準位置とに基づいて、第１の特異領域２００ｂを、人物１００の右の腰の位置にマッピングし、時刻ｔｃに撮像された第１の画像において検出された第１の特異領域２００ｃと、時刻ｔｃに撮像された第２の画像において算出された基準位置とに基づいて、第１の特異領域２００ｃを、人物１００の左の脇の下の位置にマッピングする。また、検出された特異領域ごとに信頼度が算出されている場合、第１の特異領域と信頼度の値の組の情報をマッピングする。
　なお、マッピング部１３は、例えば、第１の画像、および／または、第２の画像に、複数の人物が含まれている場合には、それら複数の人物のそれぞれを特定し、同一人物であると特定された人物毎に、第１の特異領域をその第２の画像に含まれる人物にマッピングするとしてもよい。
　再び図２に戻って、判定システム１の説明を続ける。
　判定部１４は、マッピング部１３によるマッピングの結果に基づいて、人物１００の所持物を判定する。
　マッピング部１３によるマッピングの結果に基づくことにより、判定部１４は、人物１００の動きと共に人物１００の所持物が動く場合であっても、人物１００とその所持物との相対位置関係に基づいて、人物１００の所持物を判定することができる。
　判定部１４は、例えば、第１の特異領域が検出された１以上の第１の画像のうち、マッピング部１３によりそれら第１の特異領域が人物の互いに略同一位置にマッピングされたマッピング画像に係る判定条件に基づいて、人物１００の所持物を判定するとしてもよい。
　すなわち、判定部１４は、例えば、マッピング画像上の略同一位置へのマッピング数に係る判定条件に基づいて、人物１００の所持物を判定するとしてもよい。より具体的には、判定部１４は、例えば、マッピング画像上の略同一位置へのマッピング数が所定の数以上である場合に、人物１００が所持物を所持していると判定し、所定の数未満である場合に、人物１００が所持物を所持していないと判定してもよい。
　これは、例えば、人物１００のある位置（例えば、人物１００の左の脇の下の位置）に第１の特異領域がマッピングされた回数が多ければ多い程、それら第１の特異領域が、人物１００がその位置に所持する１つの所持物による像である可能性が高くなり、人物１００のある位置（例えば、人物１００の左の脇の下の位置）に第１の特異領域がマッピングされた回数が低ければ低い程、たまたま何かの加減で輝度が特異になってしまった領域が、第１の特異領域として検出された可能性が高くなるとの事実に基づくものである。
　または、判定部１４は、例えば、マッピング画像における第１の特異領域を代表する代表輝度の和や検出信頼度の代表値（和、最大値、中央値、最頻値等）に係る判定条件に基づいて、人物１００の所持物を判定するとしてもよい。より具体的には、判定部１４は、例えば、マッピング画像における第１の特異領域を代表する代表輝度の和や検出信頼度の代表値が特異な値（第１の所定値以上、または、第１の値より低い第２の所定値以下）である場合に、人物１００が所持物を所持していると判定し、特異な値でない（第１の所定値から第２の所定値の間）場合に、人物１００が所持物を所持していないと判定してもよい。
　これは、例えば、人物１００のある位置に第１の特異領域が複数回マッピングされている場合において、それら第１の特異領域を代表する代表輝度の和や検出信頼度の代表値が大きければ大きい程、それら第１の特異領域が、同一の所持物による像である可能性が高くなり、小さければ小さい程、それら第１の特異領域が、たまたま何かの加減で輝度が特異に（第１の所定値より高く、または、第２の所定値より低く）なってしまった領域が、第１の特異領域として検出された可能性が高くなるとの事実に基づくものである。
　ここで、代表輝度は、例えば、第１の特異領域の輝度の平均値であってもよいし、第１の特異領域の輝度の中央値であってもよいし、最頻値であってもよい。
　判定部１４は、例えば、第１の特異領域がマッピングされた位置に応じた判定条件に基づいて、人物１００の所持物を判定するとしてもよい。
　すなわち、判定部１４は、例えば、第１の特異領域が、人物１００が危険物を所持する可能性が比較的高い場所（例えば、人物１００の脇の下の位置）にマッピングされている場合には、人物１００が所持物を所持していると判定する可能性が相対的に高くなる判定条件に基づいて判定し、第１の特異領域が、人物１００が危険物を所持する可能性が比較的低い場所（例えば、人物１００の太ももの位置）にマッピングされている場合には、人物１００が所持物を所持していると判定する可能性が相対的に低くなる判定条件に基づいて判定するとしてもよい。
　判定部１４は、例えば、第１の特異領域の形状に基づいて、人物１００の所持物の種類を判定するとしてもよい。
　すなわち、判定部１４は、例えば、第１の特異領域の形状が、刃物の形状である場合に、人物１００が刃物を所持していると判定してもよい。または、判定部１４は、例えば、第１の特異領域の形状が、可燃性の液体等を持ち運ぶための容器の形状である場合に、人物１００が、可燃性の液体等を持ち運ぶための容器を所持していると判定してもよい。
　判定部１４は、例えば、人物１００が所持物を所持していると、所持していないとの２者択一に判定するとしてもよいし、人物１００が所持物を所持している確からしさを判定するとしてもよい。
　出力部１５は、判定部１４による判定結果を出力する。
　出力部１５は、例えば、判定装置１０を実現するコンピュータ装置が備えるディスプレイに、判定部１４によるその判定結果を示す画像を表示するとしてもよい。
　図８は、出力部１５がディスプレイに表示する画像の一例を示す模式図である。
　図８に示すように、出力部１５は、例えば、判定部１４が、人物１００が所持物を所持していると判定した場合において、マッピング部１３が、その所持物に対応する第１の特異領域を、人物１００の左の脇の下の位置にマッピングしたときに、人物１００の左の脇の下の位置に所持物が検出された旨を示す画像を表示するとしてもよい。
　［動作］
　以下、上記構成の判定システム１が行う動作について説明する。
　判定システム１において、判定装置１０は、カメラ５１により互いに異なる時刻に撮像された、人物１００を含む複数の第１の画像と、カメラ６０により互いに異なる時刻に撮像された、人物１００を含む複数の第２の画像であって、複数の第２の画像のそれぞれが、複数の第１の画像のそれぞれと略同時に撮像された複数の第２の画像とに基づいて、人物１００の所持物を判定する第１の判定処理を行う。
　図９は、第１の判定処理のフローチャートである。
　第１の判定処理は、例えば、カメラ５１から、互いに異なる時刻に撮像された、人物１００を含む複数の第１の画像が出力され、カメラ６０から、互いに異なる時刻に撮像された、人物１００を含む複数の第２の画像であって、複数の第２の画像のそれぞれが、複数の第１の画像のそれぞれと略同時に撮像された複数の第２の画像が出力されることによって開始される。
　図９に示すように、第１の判定処理が開始されると、特異領域検出部１１は、カメラ５１により撮像された、人物１００を含む、互いに異なる時刻に撮像された複数の第１の画像のそれぞれを対象として、特徴的な輝度分布領域である第１の特異領域の検出を試みる（ステップＳ１０）。
　一方で、基準位置算出部１２は、カメラ６０により撮像された、人物１００を含む、互いに異なる時刻に撮像された複数の第２の画像であって、複数の第２の画像のそれぞれが、複数の第１の画像のそれぞれと略同時に撮像された複数の第２の画像のそれぞれから、基準位置を算出する（ステップＳ２０）。
　次に、マッピング部１３は、特異領域検出部１１により、複数の第１の画像のうちの１以上の第１の画像から第１の特異領域が検出されたか否かを調べる（ステップＳ３０）。
　ステップＳ３０の処理において、１以上の第１の画像から第１の特異領域が検出された場合に（ステップＳ３０：Ｙｅｓ）、マッピング部１３は、それら１以上の第１の画像のそれぞれを対象として、第１の画像において検出された第１の特異領域と、その第１の画像と略同時に撮像された第２の画像において基準位置算出部１２により算出された基準位置とに基づいて、第１の特異領域を第２の画像に含まれる人物１００にマッピングする（ステップＳ４０）。
　検出された全ての第１の特異領域が第２の画像に含まれる人物１００にマッピングされると、判定部１４は、マッピング部１３によるマッピングの結果に基づいて、人物１００の所持物を判定する（ステップＳ５０）。
　判定部１４により、人物１００の所持物が判定されると、出力部１５は、判定部１４による判定結果を出力する（ステップＳ６０）。
　また、ステップＳ３０の処理において、１以上の第１の画像から第１の特異領域が検出されなかった場合（ステップＳ３０：Ｎｏ）、判定部１４により、人物１００の所持物がなしと判定され、出力部１５は、判定部１４による判定結果を出力する（ステップＳ６０）。ステップＳ６０の処理が終了した場合に、判定装置１０は、その第１の判定処理を終了する。
　＜考察＞
　人物１００が通路１０１を通行する際に、人物１００の動きと共に、人物１００の所持物の動きが様々な方向に向くことになる。このため、カメラ５１が撮像する、複数のサブテラヘルツ波画像である第１の画像には、それぞれが異なる方向を向いている所持物からの、サブテラヘルツ波の反射波による像が撮像される。
　また、１以上の第１の画像の中に、人物１００の所持物による特徴的な輝度分布領域である特異領域が含まれている場合に、それら特異領域は、人物１００にマッピングされる。このため、判定部１４は、人物１００の動きと共に人物１００の所持物が動く場合であっても、人物１００とその所持物との相対位置関係に基づいて、人物１００の所持物を判定することができる。
　このように、上記構成の判定装置１０によると、人物１００を含むサブテラヘルツ波画像を用いて、比較的精度よく人物１００の所持物を判定することができる。
　（実施の形態２）
　以下、実施の形態１に係る判定システム１の一部が変更されて構成される実施の形態２に係る判定システムについて説明する。
　以下では、実施の形態２に係る判定システムについて、実施の形態１に係る判定システムの構成要素と同様の構成要素については、既に説明済みであるとして同じ符号を振ってその詳細な説明を省略し、判定システム１との相違点を中心に説明する。
　図１０は、実施の形態２に係る判定システム１ａの構成を示すブロック図である。
　図１０に示すように、判定システム１ａは、実施の形態１に係る判定システム１に対して、カメラ５２が追加され、判定装置１０が判定装置１０ａに変更されて構成される。また、判定装置１０ａは、判定装置１０に対して、特異領域検出部１１が特異領域検出部１１ａに変更され、マッピング部１３がマッピング部１３ａに変更されて構成される。
　カメラ５２は、カメラ５１と同様の機能を有するカメラであって、第１の光源４１から射出された後、反射板２０で拡散反射されたサブテラヘルツ波の、人物１００による反射波を受波することで、人物１００を含む、サブテラヘルツ波画像である第３の画像を撮像する。
　カメラ５２は動画像を撮像する。このため、カメラ５２は、互いに異なる時刻に複数の第３の画像を撮像する。そして、カメラ５２は、撮像した複数の第３の画像を、判定装置１０ａに出力する。
　カメラ５２は、カメラ５１の撮像タイミングに同期して第３の画像を撮像する。より具体的には、カメラ５２は、カメラ５１が第１の画像を撮像するそれぞれのタイミングと略同時に、第３の画像のそれぞれを撮像する。このため、カメラ５２により撮像される複数の第３の画像のそれぞれは、カメラ５１により撮像される第１の画像のそれぞれと略同時に撮像された画像となる。これにより、カメラ６０により撮像される複数の第２の画像のそれぞれは、カメラ５２により撮像される第３の画像のそれぞれと略同時に撮像された画像となる。
　カメラ５２は、通路１０１の延びる方向において、撮像空間１０２の中央よりも前方側に位置し、カメラ５１とは異なる角度から人物１００を撮像する場所に位置する。カメラ５２は、例えば、図示が省略されている支持部材等により支持されている。
　特異領域検出部１１ａは、実施の形態１に係る特異領域検出部１１が有する機能（特徴的な輝度分布領域である第１の特異領域の検出を試みる）を有する。そして、特異領域検出部１１ａは、さらに、カメラ５２により撮像された、人物１００を含む、互いに異なる時刻に撮像された複数の第３の画像のそれぞれを対象として、特徴的な輝度分布領域である第２の特異領域の検出を試みる。
　マッピング部１３ａは、実施の形態１に係るマッピング部１３が有する機能（第１の特異領域を第２の画像の人物１００にマッピングする）を有する。そして、マッピング部１３ａは、さらに、特異領域検出部１１ａにより、複数の第３の画像のうちの１以上の第３の画像から第２の特異領域が検出された場合に、それら１以上の第３の画像のそれぞれを対象として、第３の画像において検出された第２の特異領域と、その第３の画像と略同時に撮像された第２の画像において基準位置算出部１２により算出された基準位置とに基づいて、第２の特異領域を第２の画像に含まれる人物１００にマッピングする。
　図１１は、マッピング部１３ａが、第１の特異領域および第２の特異領域を第２の画像に含まれる人物１００にマッピングする様子の一例を示す模式図である。
　図１１に示すように、マッピング部１３ａは、例えば、時刻ｔｄに撮像された第１の画像において検出された第１の特異領域２００ｄと、時刻ｔｄに撮像された第２の画像において算出された基準位置とに基づいて、第１の特異領域２００ｄを、人物１００の左の脇の下の位置にマッピングし、時刻ｔｅに撮像された第１の画像において検出された第１の特異領域２００ｅと、時刻ｔｅに撮像された第２の画像において算出された基準位置とに基づいて、第１の特異領域２００ｅを、人物１００の右の腰の位置にマッピングし、時刻ｔｆに撮像された第３の画像において検出された第２の特異領域２００ｆと、時刻ｔｆに撮像された第２の画像において算出された基準位置とに基づいて、第２の特異領域２００ｆを、人物１００の左の脇の下の位置にマッピングする。
　［動作］
　以下、上記構成の判定システム１ａが行う動作について説明する。
　判定システム１ａにおいて、判定装置１０ａは、実施の形態１に係る第１の判定処理の替わりに、第２の判定処理を行う。この第２の判定処理は、カメラ５１により互いに異なる時刻に撮像された、人物１００を含む複数の第１の画像と、カメラ６０により互いに異なる時刻に撮像された、人物１００を含む複数の第２の画像であって、複数の第２の画像のそれぞれが、複数の第１の画像のそれぞれと略同時に撮像された複数の第２の画像と、カメラ５２により互いに異なる時刻に撮像された、人物１００を含む複数の第３の画像であって、複数の第３の画像のそれぞれが、複数の第１の画像のそれぞれおよび複数の第２の画像のそれぞれと略同時に撮像された複数の第３の画像とに基づいて、人物１００の所持物を判定する処理である。
　図１２は、第２の判定処理のフローチャートである。
　第２の判定処理は、例えば、カメラ５１から、互いに異なる時刻に撮像された、人物１００を含む複数の第１の画像が出力され、カメラ６０から、互いに異なる時刻に撮像された、人物１００を含む複数の第２の画像であって、複数の第２の画像のそれぞれが、複数の第１の画像のそれぞれと略同時に撮像された複数の第２の画像が出力され、カメラ５２から、互いに異なる時刻に撮像された、人物１００を含む複数の第３の画像であって、複数の第３の画像のそれぞれが、複数の第１の画像のそれぞれと略同時に撮像された複数の第３の画像が出力されることによって開始される。
　図１２に示すように、第２の判定処理は、実施の形態１に係る第１の判定処理に対して、ステップＳ１０の処理がステップＳ１１０の処理に変更され、ステップＳ３０の処理がステップＳ１３０の処理に変更され、ステップＳ４０の処理がステップＳ１４０の処理に変更され、ステップＳ５０の処理がステップＳ１５０の処理に変更され、ステップＳ１１５の処理と、ステップＳ１５０の処理と、ステップＳ１６０の処理と、ステップＳ１７０の処理と、ステップＳ１８０の処理と、ステップＳ１９０の処理と、ステップＳ２００の処理とが追加された処理である。
　図１２に示すように、第２の判定処理が開始されると、特異領域検出部１１ａは、カメラ５１により撮像された、人物１００を含む、互いに異なる時刻に撮像された複数の第１の画像のそれぞれを対象として、特徴的な輝度分布領域である第１の特異領域の検出を試みる（ステップＳ１１０）。
　次に、特異領域検出部１１ａは、カメラ５２により撮像された、人物１００を含む、互いに異なる時刻に撮像された複数の第３の画像のそれぞれを対象として、特徴的な輝度分布領域である第２の特異領域の検出を試みる（ステップＳ１１５）。
　ステップＳ１１５の処理が終了すると、ステップＳ２０の処理に進む。
　ステップＳ２０の処理が終了すると、マッピング部１３ａは、特異領域検出部１１ａにより、複数の第１の画像のうちの１以上の第１の画像から第１の特異領域が検出されたか否かを調べる（ステップＳ１３０）。
　ステップＳ１３０の処理において、１以上の第１の画像から第１の特異領域が検出された場合に（ステップＳ１３０：Ｙｅｓ）、マッピング部１３ａは、それら１以上の第１の画像のそれぞれを対象として、第１の画像において検出された第１の特異領域と、その第１の画像と略同時に撮像された第２の画像において基準位置算出部１２により算出された基準位置とに基づいて、第１の特異領域を第２の画像に含まれる人物１００にマッピングする（ステップＳ１４０）。
　検出された全ての第１の特異領域が第２の画像に含まれる人物１００にマッピングされると、マッピング部１３ａは、特異領域検出部１１ａにより、複数の第３の画像のうちの１以上の第３の画像から第２の特異領域が検出されたか否かを調べる（ステップＳ１５０）。
　ステップＳ１５０の処理において、１以上の第３の画像から第２の特異領域が検出された場合に（ステップＳ１５０：Ｙｅｓ）、マッピング部１３ａは、それら１以上の第３の画像のそれぞれを対象として、第３の画像において検出された第２の特異領域と、その第３の画像と略同時に撮像された第２の画像において基準位置算出部１２により算出された基準位置とに基づいて、第２の特異領域を第２の画像に含まれる人物１００にマッピングする（ステップＳ１６０）。
　検出された全ての第２の特異領域が第２の画像に含まれる人物１００にマッピングされると、判定部１４は、マッピング部１３によるマッピングの結果に基づいて、人物１００の所持物を判定する（ステップＳ１７０）。すなわち、判定部１４は、第１の特異領域がマッピングされたマッピング結果と、第２の特異領域がマッピングされたマッピング結果との２つのマッピング結果に基づいて、人物１００の所持物を判定する。
　ステップＳ１３０の処理において、１以上の第１の画像から第１の特異領域が検出されなかった場合に（ステップＳ１３０：Ｎｏ）、マッピング部１３ａは、特異領域検出部１１ａにより、複数の第３の画像のうちの１以上の第３の画像から第２の特異領域が検出されたか否かを調べる（ステップＳ１８０）。
　ステップＳ１８０の処理において、１以上の第３の画像から第２の特異領域が検出された場合に（ステップＳ１８０：Ｙｅｓ）、マッピング部１３ａは、それら１以上の第３の画像のそれぞれを対象として、第３の画像において検出された第２の特異領域と、その第３の画像と略同時に撮像された第２の画像において基準位置算出部１２により算出された基準位置とに基づいて、第２の特異領域を第２の画像に含まれる人物１００にマッピングする（ステップＳ１９０）。
　ステップＳ１５０の処理において、１以上の第３の画像から第２の特異領域が検出されなかった場合と、ステップＳ１９０の処理が終了した場合とに、判定部１４は、マッピング部１３によるマッピングの結果に基づいて、人物１００の所持物を判定する（ステップＳ２００）。すなわち、判定部１４は、第１の特異領域がマッピングされたマッピング結果と、第２の特異領域がマッピングされたマッピング結果とのうちの、マッピングされた方の１つのマッピング結果に基づいて、人物１００の所持物を判定する。
　ステップＳ１７０の処理が終了した場合と、ステップＳ２００の処理が終了した場合と、ステップＳ１８０の処理において、１以上の第３の画像から第２の特異領域が検出されなかった場合と（ステップＳ１８０：Ｎｏ）に、ステップＳ６０の処理に進む。
　ステップＳ６０の処理が終了した場合に、判定装置１０ａは、その第２の判定処理を終了する。
　＜考察＞
　上記構成の判定装置１０ａによると、第１の画像と第２の画像とに加えて、さらに、第３の画像にも基づいて所持物が判定される。
　このため、上記構成の判定装置１０ａによると、第１の画像とは異なる位置から撮像した第３の画像の検出結果も同一人物にマッピングすることで、さらに精度よく所持物を判定することができるようになる。
　（実施の形態３）
　以下、実施の形態１に係る判定システム１の一部が変更されて構成される実施の形態３に係る判定システムについて説明する。
　以下では、実施の形態３に係る判定システムについて、実施の形態１に係る判定システムの構成要素と同様の構成要素については、既に説明済みであるとして同じ符号を振ってその詳細な説明を省略し、判定システム１との相違点を中心に説明する。
　図１３は、実施の形態３に係る判定システム１ｂの構成を示すブロック図である。
　図１３に示すように、判定システム１ｂは、実施の形態１に係る判定システム１に対して、判定装置１０が判定装置１０ｂに変更されて構成される。また、判定装置１０ｂは、判定装置１０に対して、マッピング部１３がマッピング部１３ｂに変更され、判定部１４が判定部１４ｂに変更され、信頼度推定部１６ｂが追加されて構成される。
　信頼度推定部１６ｂは、人物１００を含む第２の画像から、第１の画像における検出信頼度を推定する。
　信頼度推定部１６ｂは、例えば、人物１００を含む第２の画像を入力すると、第１の画像の輝度のばらつきを出力するようにあらかじめ訓練された機械学習モデルを利用して、検出信頼度を推定するとしてもよい。または、信頼度推定部１６ｂは、例えば、第２画像から、通路１０１における人物１００の位置と人物１００の姿勢とを特定し、特定した、通路１０１における人物１００の位置と人物１００の姿勢とに基づいて検出信頼度を推定するとしてもよい。
　図１４は、信頼度推定部１６ｂが、第２の画像から検出信頼度を推定する様子の一例を示す模式図である。
　図１４に示すように、信頼度推定部１６ｂは、例えば、太ももに位置する領域３００ａ、領域３００ｂの検出信頼度が相対的低く、それら以外の領域の検出信頼度が相対的に高いと推定する。
　再び図１３に戻って、判定システム１ｂの説明を続ける。
　マッピング部１３ｂは、特異領域検出部１１により、複数の第１の画像のうちの１以上の第１の画像から第１の特異領域が検出された場合に、それら１以上の第１の画像のそれぞれを対象として、第１の画像において検出された第１の特異領域と、その第１の画像と略同時に撮像された第２の画像において基準位置算出部１２により算出された基準位置と、その第１の画像と略同時に撮像された第２の画像において信頼度推定部１６ｂにより推定された検出信頼度とに基づいて、第１の特異領域と検出信頼度とを第２の画像に含まれる人物１００にマッピングする。
　図１５は、マッピング部１３ｂが、第１の特異領域と検出信頼度とを第２の画像に含まれる人物１００にマッピングする様子の一例を示す模式図である。
　図１５に示すように、マッピング部１３ｂは、例えば、第１の特異領域２００ｈと、検出信頼度が相対的に低いと推定された領域３００ｃ、領域３００ｄとを、第２の画像に含まれる人物１００にマッピングしてもよいし、例えば、第１の特異領域２００ｉと、検出信頼度が相対的に低いと推定された領域３００ｅ、領域３００ｆとを、第２の画像に含まれる人物１００にマッピングしてもよいし、例えば、第１の特異領域２００ｊと、検出信頼度が相対的に低いと推定された領域３００ｇ、領域３００ｈとを、第２の画像に含まれる人物１００にマッピングしてもよい。
　再び図１３に戻って、判定システム１ｂの説明を続ける。
　判定部１４ｂは、マッピング部１３によるマッピングの結果に基づいて、人物１００の所持物を判定する。
　判定部１４ｂは、例えば、信頼度推定部１６ｂにより、相対的に検出信頼度が高いと推定された領域に位置する第１の特異領域の信頼度が相対的に高く、相対的に検出信頼度が低いと推定された領域に位置する第１の特異領域の信頼度が相対的に低いとみなして、人物１００の所持物を判定するとしてもよい。
　図１５に示すように、判定部１４ｂは、例えば、検出信頼度が相対的に低いと推定された領域３００ｃ、領域３００ｄに一致しない場所にマッピングされた第１の特異領域２００ｈの信頼度を９０％と算出し、検出信頼度が相対的に低いと推定された領域３００ｅ、領域３００ｆに一部一致するが完全には一致しない場所にマッピングされた第１の特異領域２００ｉの信頼度を５０％と算出し、検出信頼度が相対的に低いと推定された領域３００ｇ、３００ｈに完全に一致する場所にマッピングされた第１の特異領域２００ｊの信頼度を２０％と算出し、算出した信頼度に基づいて、人物１００の所持物を判定するとしてもよい。
　［動作］
　以下、上記構成の判定システム１ｂが行う動作について説明する。
　判定システム１ｂにおいて、判定装置１０ｂは、実施の形態１に係る第１の判定処理の替わりに、第３の判定処理を行う。この第３の判定処理は、第１の判定処理と同様に、カメラ５１により互いに異なる時刻に撮像された、人物１００を含む複数の第１の画像と、カメラ６０により互いに異なる時刻に撮像された、人物１００を含む複数の第２の画像であって、複数の第２の画像のそれぞれが、複数の第１の画像のそれぞれと略同時に撮像された複数の第２の画像とに基づいて、人物１００の所持物を判定する処理である。
　図１６は、第３の判定処理のフローチャートである。
　第３の判定処理は、例えば、カメラ５１から、互いに異なる時刻に撮像された、人物１００を含む複数の第１の画像が出力され、カメラ６０から、互いに異なる時刻に撮像された、人物１００を含む複数の第２の画像であって、複数の第２の画像のそれぞれが、複数の第１の画像のそれぞれと略同時に撮像された複数の第２の画像が出力されることによって開始される。
　図１６に示すように、第３の判定処理は、実施の形態１に係る第１の判定処理に対して、ステップＳ４０の処理がステップＳ２４０の処理に変更され、ステップＳ５０の処理がステップＳ２５０の処理に変更され、ステップＳ２１０の処理が追加された処理である。
　図１６に示すように、ステップＳ２０の処理が終了すると、信頼度推定部１６ｂは、複数の第２の画像のそれぞれから、当該第２の画像と略同時に撮像された第１の画像における検出信頼度を推定する（ステップＳ２１０）。
　ステップＳ２１０の処理が終了すると、ステップＳ３０の処理に進む。
　ステップＳ３０の処理において、１以上の第１の画像から第１の特異領域が検出された場合に（ステップＳ３０：Ｙｅｓ）、マッピング部１３ｂは、それら１以上の第１の画像のそれぞれを対象として、第１の画像において検出された第１の特異領域と、その第１の画像と略同時に撮像された第２の画像において基準位置算出部１２により算出された基準位置と、その第１の画像と略同時に撮像された第２の画像において信頼度推定部１６ｂにより推定された検出信頼度とに基づいて、第１の特異領域と検出信頼度とを第２の画像に含まれる人物１００にマッピングする（ステップＳ２４０）。
　第１の特異領域と検出信頼度とがマッピングされると、判定部１４ｂは、マッピング部１３によるマッピングの結果に基づいて、人物１００の所持物を判定する（ステップＳ２５０）。
　ステップＳ２５０の処理が終了した場合と、ステップＳ３０の処理において、１以上の第１の画像から第１の特異領域が検出されなかった場合とに（ステップＳ３０：Ｎｏ）、ステップＳ６０の処理に進む。
　ステップＳ６０の処理が終了すると、判定装置１０ｂは、その第３の判定処理を終了する。
　＜考察＞
　上記構成の判定装置１０ｂによると、さらに、検出信頼度にも基づいて所持物が判定される。
　このため、上記構成の判定装置１０ｂによると、さらに精度よく所持物を判定することができるようになる。
　（実施の形態４）
　以下、実施の形態１に係る判定システム１の一部が変更されて構成される実施の形態４に係る判定システムについて説明する。
　以下では、実施の形態４に係る判定システムについて、実施の形態１に係る判定システムの構成要素と同様の構成要素については、既に説明済みであるとして同じ符号を振ってその詳細な説明を省略し、判定システム１との相違点を中心に説明する。
　図１７は、実施の形態４に係る判定システム１ｃの構成を示すブロック図である。
　図１７に示すように、判定システム１ｃは、実施の形態１に係る判定システム１に対して、判定装置１０が判定装置１０ｃに変更されて構成される。また、判定装置１０ｃは、判定装置１０に対して、基準位置算出部１２とマッピング部１３とが削除され、特異領域検出部１１が特異領域検出部１１ｃに変更され、判定部１４が判定部１４ｃに変更され、推定部１６ｃが追加されて構成される。
　推定部１６ｃは、人物１００を含む第２の画像から、第２の画像の撮像と略同時に人物１００にサブテラヘルツ波を照射する場合において撮像されると仮想される仮想サブテラヘルツ波画像を推定する。
　推定部１６ｃは、例えば、人物１００を含む第２の画像を入力すると、仮想サブテラヘルツ波画像を出力するようにあらかじめ訓練された機械学習モデルを利用して、仮想サブテラヘルツ波画像を推定するとしてもよい。または、推定部１６ｃは、例えば、第２画像から、通路１０１における人物１００の位置と人物１００の姿勢とを特定し、特定した、通路１０１における人物１００の位置と人物１００の姿勢とに基づいて、仮想サブテラヘルツ波画像を推定するとしてもよい。
　図１８は、推定部１６ｃが、第２の画像から仮想サブテラヘルツ波画像を推定する様子の一例を示す模式図である。
　図１８に示すように、推定部１６ｃは、例えば、輝度を示す画素値からなる仮想サブテラヘルツ波画像を推定する。
　上述したように、推定部１６ｃは、可視光画像である第２の画像から、仮想サブテラヘルツ波画像を推定する。このため、人物１００が、衣服の下、カバンの中等といった、カメラ５１に直接可視光が届かない位置に所持物を所持している場合には、推定部１６ｃは、その所持物を含まない仮想サブテラヘルツ波画像を推定する。
　再び図１７に戻って、判定システム１ｃの説明を続ける。
　特異領域検出部１１ｃは、推定部１６ｃにより推定された仮想サブテラヘルツ波画像と、第２の画像と略同時に撮像された、人物１００を含む第１の画像とに基づいて、第１の画像を対象として、特徴的な輝度分布領域である第１の特異領域の検出を試みる。
　特異領域検出部１１ｃは、例えば、仮想サブテラヘルツ波画像における各画素の、輝度を示す画素値と、第１の画像における各画素の、輝度を示す画素値とを比較し、仮想サブテラヘルツ波画像における、輝度を示す画素値と、第１の画像における、輝度を示す画素値との差分が所定値以上となる領域が存在する場合に、その領域を第１の特異領域として検出するとしてもよい。
　または、特異領域検出部１１ｃは、例えば、第１の画像と仮想サブテラヘルツ画像とを入力すると、第１の特異領域を出力するようにあらかじめ訓練された機械学習モデルを利用して、第１の領域を検出するとしてもよい。
　図１９は、特異領域検出部１１ｃが、仮想サブテラヘルツ波画像と第１の画像とに基づいて第１の特異領域を検出するする様子の一例を示す模式図である。
　図１９に示すように、特異領域検出部１１ｃは、例えば、楕円形で囲った、刃物の形状の、輝度を示す画素値の差分が所定値以上の領域を第１の特異領域として検出する。
　再び図１７に戻って、判定システム１ｃの説明を続ける。
　判定部１４ｃは、特異領域検出部１１ｃにより検出された第１の特異領域に基づいて、人物１００の所持物を判定する。
　判定部１４ｃは、例えば、特異領域検出部１１ｃが第１の特異領域を検出した場合に、人物１００が所持物を所持していると判定し、検出しなかった場合に、人物１００が所持物を所持していないと判定してもよい。
　なお、仮想サブテラヘルツ画像の生成に第１の画像も用いてもよい。これにより、より精密な仮想サブテラヘルツ画像を生成することが可能になる。
　［動作］
　以下、上記構成の判定システム１ｃが行う動作について説明する。
　判定システム１ｃにおいて、判定装置１０ｃは、実施の形態１に係る第１の判定処理の替わりに、第４の判定処理を行う。この第４の判定処理は、カメラ５１により撮像された、人物１００を含む１枚の第１の画像と、カメラ６０により、その１枚の第１の画像と略同時に撮像された、人物１００を含む１枚の第２の画像とに基づいて、人物１００の所持物を判定する処理である。
　図２０は、第４の判定処理のフローチャートである。
　第４の判定処理は、例えば、カメラ５１から、人物１００を含む１枚の第１の画像が出力され、カメラ６０から、その１枚の第１の画像と略同時に撮像された、人物１００を含む１枚の第２の画像が出力されることによって開始される。
　図２０に示すように、第４の判定処理が開始されると、推定部１６ｃは、カメラ６０により撮像された、人物１００を含む１００を含む第２の画像から、第２の画像の撮像と略同時に人物１００にサブテラヘルツ波を照射する場合において撮像されると仮想される仮想サブテラヘルツ波画像を推定する（ステップＳ３００）。
　推定部１６ｃにより仮想サブテラヘルツ波画像が推定されると、特異領域検出部１１ｃは、推定部１６ｃにより推定された仮想サブテラヘルツ波画像と、推定部１６ｃによる推定の対象となった第２の画像と略同時に撮像された、人物１００を含む第１の画像とに基づいて、第１の特異領域の検出を試みる（ステップＳ３１０）。
　特異領域検出部１１ｃにより第１の特異領域の検出が試みられると、判定部１４ｃは、第１の特異領域に基づいて、人物１００の所持物を判定する（ステップＳ３２０）。
　判定部１４ｃにより、人物１００の所持物が判定されると、出力部１５は、判定部１４ｃによる判定結果を出力する（ステップＳ３３０）。
　ステップＳ３３０の処理が終了すると、判定装置１０ｃは、その第４の判定処理を終了する。
　＜考察＞
　上記構成の判定装置１０ｃによると、サブテラヘルツ波画像である第１の画像と略同時に撮像された、人物１００の所持物が、衣服、カバン等に隠れて写っていない第２の画像から、その第２の画像が撮像されたタイミングで撮像されると仮想される仮想サブテラヘルツ波画像が推定される。そして、推定されたサブテラヘルツ波画像と、実際に撮像されたサブテラヘルツ波画像である第１の画像とに基づいて、所持物が判定される。
　このため、上記構成の判定装置１０ｃによると、人物１００を含むサブテラヘルツ波画像を用いて、比較的精度よく人物１００の所持物を判定することができる。
　（実施の形態５）
　以下、実施の形態１に係る判定システム１の一部が変更されて構成される実施の形態５に係る判定システムについて説明する。
　以下では、実施の形態５に係る判定システムについて、実施の形態１に係る判定システム１および実施の形態３に係る判定システム１ｂの構成要素と同様の構成要素については、既に説明済みであるとして同じ符号を振ってその詳細な説明を省略し、判定システム１および判定システム１ｂとの相違点を中心に説明する。
　図２１は、実施の形態４に係る判定システム１ｄの構成を示すブロック図である。
　図２１に示すように、判定システム１ｄは、実施の形態１に係る判定システム１に対して、判定装置１０が判定装置１０ｄに変更されて構成される。また、判定装置１０ｄは、判定装置１０に対して、特異領域検出部１１が特異領域検出部１１ｃに変更され、推定部１６ｃが追加されて構成される。
　［動作］
　以下、上記構成の判定システム１ｄが行う動作について説明する。
　判定システム１ｄにおいて、判定装置１０ｄは、実施の形態１に係る第１の判定処理の替わりに、第５の判定処理を行う。この第５の判定処理は、第１の判定処理と同様に、カメラ５１により互いに異なる時刻に撮像された、人物１００を含む複数の第１の画像と、カメラ６０により互いに異なる時刻に撮像された、人物１００を含む複数の第２の画像であって、複数の第２の画像のそれぞれが、複数の第１の画像のそれぞれと略同時に撮像された複数の第２の画像とに基づいて、人物１００の所持物を判定する処理である。
　図２２は、第５の判定処理のフローチャートである。
　第５の判定処理は、例えば、カメラ５１から、互いに異なる時刻に撮像された、人物１００を含む複数の第１の画像が出力され、カメラ６０から、互いに異なる時刻に撮像された、人物１００を含む複数の第２の画像であって、複数の第２の画像のそれぞれが、複数の第１の画像のそれぞれと略同時に撮像された複数の第２の画像が出力されることによって開始される。
　図２２に示すように、第５の判定処理は、実施の形態１に係る第１の判定処理に対して、ステップＳ４００の処理が追加され、ステップＳ１０の処理がステップＳ４１０の処理に変更された処理である。
　図２２に示すように、第５の判定処理が開始されると、推定部１６ｃは、カメラ６０により撮像された、人物１００を含む１００を含む第２の画像のそれぞれを対象として、第２の画像の撮像と略同時に人物１００にサブテラヘルツ波を照射する場合において撮像されると仮想される仮想サブテラヘルツ波画像を推定する（ステップＳ４００）。
　ステップＳ４００の処理が終了すると、特異領域検出部１１ｃは、カメラ５１により撮像された、人物１００を含む、互いに異なる時刻に撮像された複数の第１の画像のそれぞれを対象として、推定部１６ｃにより推定された仮想サブテラヘルツ波画像と、推定部１６ｃによる推定の対象となった第２の画像と略同時に撮像された、人物１００を含む第１の画像とに基づいて、第１の特異領域の検出を試みる（ステップＳ４１０）。
　ステップＳ４１０の処理が終了すると、ステップＳ２０の処理に進む。
　ステップＳ６０の処理が終了すると、判定装置１０ｄは、その第５の判定処理を終了する。
　＜考察＞
　上記構成の判定装置１０ｄによると、サブテラヘルツ波画像である第１の画像と略同時に撮像された、人物１００の所持物が、衣服、カバン等に隠れて写っていない第２の画像から、その第２の画像が撮像されたタイミングで撮像されると仮想される仮想サブテラヘルツ波画像が推定される。そして、推定されたサブテラヘルツ波画像と、実際に撮像されたサブテラヘルツ波画像である第１の画像とに基づいて、特異領域が検出される。
　このため、上記構成の判定装置１０ｄによると、実施の形態１に係る判定装置１０と同様に、人物１００を含むサブテラヘルツ波画像を用いて、比較的精度よく人物１００の所持物を判定することができる。
　（補足）
　以上、本開示に係る判定システムについて、実施の形態１～４に基づいて説明したが、本開示は、これら実施の形態および変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形をこれら実施の形態に施したものや、異なる実施の形態および変形例における構成要素を組み合わせて構築される形態も、本開示の１つまたは複数の態様の範囲内に含まれる。
　（１）実施の形態１～５において、判定装置１０～１０ｄの各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよいし、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　（２）本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラムおよび非一時的な記録媒体の任意な組み合わせで実現されてもよい。例えば、本開示は、判定装置の各構成要素が備える制御部等が行う制御をコンピュータに実行させるためのプログラムとして実現されてもよい。
　（３）実施の形態１～５において、判定装置１０～１０ｄの動作における複数の処理の順序は一例である。複数の処理の順序は、変更されてもよいし、複数の処理は、並行して実行されてもよい。
　本開示は、物体を判定する判定システム等に広く利用可能である。
　１、１ａ、１ｂ、１ｃ　判定システム
　１０、１０ａ、１０ｂ、１０ｃ、１０ｄ　判定装置
　１１、１１ａ、１１ｃ　特異領域検出部
　１２　基準位置算出部
　１３、１３ａ、１３ｂ　マッピング部
　１４、１４ｂ、１４ｃ　判定部
　１５　出力部
　１６ｂ　信頼度推定部
　１６ｃ　推定部
　２０　反射板
　２１　反射部材
　２２、２３　主面
　２４、２７　被覆部材
　２５　内側面
　２８　外側面
　４１　第１の光源
　４１ａ　点光源
　４１ｂ　線光源　
　５１、５２、６０　カメラ
　１００　人物
　１０１　通路
　１０２　撮像空間
　２００ａ、２００ｂ、２００ｃ、２００ｄ、２００ｅ、２００ｈ、２００ｉ、２００ｊ　第１の特異領域
　２００ｆ　第２の特異領域
　３００ａ、３００ｂ、３００ｃ、３００ｄ、３００ｅ、３００ｆ、３００ｇ、３００ｈ　領域
　Ｐ１　仮想面

Claims (12)

  1. 　人物を含む、互いに異なる時刻に撮像された複数の第１の画像のそれぞれを対象として、特徴的な輝度分布領域である第１の特異領域を検出する特異領域検出部と、
    　前記複数の第１の画像のそれぞれと略同時に撮像された、前記人物を含む複数の第２の画像のそれぞれから、前記人物に係る基準位置を算出する基準位置算出部と、
    　前記特異領域検出部により、前記複数の第１の画像のうちの１以上の第１の画像から前記第１の特異領域が検出された場合に、前記１以上の第１の画像のそれぞれを対象として、当該第１の画像において検出された第１の特異領域と、当該第１の画像と略同時に撮像された、前記複数の第２の画像のうちの１の第２の画像において前記基準位置算出部により算出された前記基準位置とに基づいて、前記第１の特異領域を前記１の第２の画像に含まれる前記人物にマッピングするマッピング部と、
    　前記マッピング部による前記マッピングの結果に基づいて、前記人物の所持物を判定する判定部と、
    　前記判定部による判定結果を出力する出力部と、を備え、
    　前記複数の第１の画像のそれぞれは、サブテラヘルツ波画像であり、
    　前記複数の第２の画像のそれぞれは、可視光画像と赤外光画像と距離画像とのうちの少なくとも１つからなる
    　判定装置。
  2. 　前記判定部は、前記１以上の第１の画像のうち、前記マッピング部により前記第１の特異領域が前記人物の互いに略同一位置にマッピングされたマッピング画像に係る第１の判定条件に基づいて、前記人物の所持物を判定する
    　請求項１に記載の判定装置。
  3. 　前記第１の判定条件は、前記マッピング画像上の略同一位置へのマッピング数に係る判定条件である
    　請求項２に記載の判定装置。
  4. 　前記第１の判定条件は、前記マッピング画像における前記第１の特異領域を代表する代表輝度の和または検出信頼度に係る判定条件である
    　請求項２に記載の判定装置。
  5. 　前記判定部は、前記マッピング画像においてマッピングされた前記第１の特異領域の位置に応じた前記第１の判定条件に基づいて、前記人物の所持物を判定する
    　請求項２から請求項４のいずれか１項に記載の判定装置。
  6. 　前記判定部は、さらに、前記マッピング画像においてマッピングされた前記第１の特異領域の形状に基づいて、前記所持物の種類を判定する
    　請求項２から請求項４のいずれか１項に記載の判定装置。
  7. 　前記特異領域検出部は、第１の閾値よりも高い輝度の領域、または、前記第１の閾値よりも低い第２の閾値よりも低い輝度の領域を、前記第１の特異領域と検出する
    　請求項１から請求項４のいずれか１項に記載の判定装置。
  8. 　さらに、前記複数の第２の画像のそれぞれから、前記複数の第１の画像のうちの、当該第２の画像の撮像と略同時に撮像された１の第１の画像における検出信頼度を推定する信頼度推定部を備え、
    　前記マッピング部は、さらに、前記信頼度推定部により前記１の第２の画像から推定された前記検出信頼度にも基づいて、前記検出信頼度をも前記１の第２の画像に含まれる前記人物にマッピングする
    　請求項１から請求項４のいずれか１項に記載の判定装置。
  9. 　前記特異領域検出部は、さらに、前記複数の第２の画像のそれぞれと略同時に撮像された、前記人物を含む複数の第３の画像のそれぞれを対象として、特徴的な輝度分布領域である第２の特異領域の検出を試み、
    　前記マッピング部は、さらに、前記特異領域検出部により、前記複数の第３の画像のうちの１以上の第３の画像から前記第２の特異領域が検出された場合に、前記１以上の第３の画像のそれぞれを対象として、当該第３の画像において検出された第２の特異領域と、当該第３の画像と略同時に撮像された、前記複数の第２の画像のうちの１の第２の画像において前記基準位置算出部により算出された前記基準位置とに基づいて、前記第２の特異領域を前記１の第２の画像に含まれる前記人物にマッピングし、
    　前記複数の第３の画像のそれぞれは、サブテラヘルツ波画像である
    　請求項１から請求項４のいずれか１項に記載の判定装置。
  10. 　人物を含む第２の画像から、当該第２の画像の撮像と略同時に前記人物にサブテラヘルツ波を照射する場合において撮像されると仮想される仮想サブテラヘルツ波画像を推定する推定部と、
    　前記仮想サブテラヘルツ波画像と、前記第２の画像と略同時に撮像された、前記人物を含む第１の画像とに基づいて、前記第１の画像を対象として、特徴的な輝度分布領域である第１の特異領域を検出する特異領域検出部と、
    　前記第１の特異領域に基づいて前記人物の所持物を判定する判定部と、
    　前記判定部による判定結果を出力する出力部と、を備え、
    　前記第１の画像は、サブテラヘルツ波画像であり、
    　前記第２の画像は、可視光画像と赤外光画像と距離画像とのうちの少なくとも１つからなる
    　判定装置。
  11. 　人物を含む、互いに異なる時刻に撮像された複数の第１の画像のそれぞれを対象として、特徴的な輝度分布領域である第１の特異領域を検出する特異領域検出ステップと、
    　前記複数の第１の画像のそれぞれと略同時に撮像された、前記人物を含む複数の第２の画像のそれぞれから、前記人物に係る基準位置を算出する基準位置算出ステップと、
    　前記特異領域検出ステップにより、前記複数の第１の画像のうちの１以上の第１の画像から前記第１の特異領域が検出された場合に、前記１以上の第１の画像のそれぞれを対象として、当該第１の画像において検出された第１の特異領域と、当該第１の画像と略同時に撮像された、前記複数の第２の画像のうちの１の第２の画像において前記基準位置算出ステップにより算出された前記基準位置とに基づいて、前記第１の特異領域を前記１の第２の画像に含まれる前記人物にマッピングするマッピングステップと、
    　前記マッピングステップによる前記マッピングの結果に基づいて、前記人物の所持物を判定する判定ステップと、
    　前記判定ステップによる判定結果を出力する出力ステップと、を含み、
    　前記複数の第１の画像のそれぞれは、サブテラヘルツ波画像であり、
    　前記複数の第２の画像のそれぞれは、可視光画像と赤外光画像と距離画像とのうちの少なくとも１つからなる
    　判定方法。
  12. 　人物を含む第２の画像から、当該第２の画像の撮像と略同時に前記人物にサブテラヘルツ波を照射する場合において撮像されると仮想される仮想サブテラヘルツ波画像を推定する推定ステップと、
    　前記仮想サブテラヘルツ波画像と、前記第２の画像と略同時に撮像された、前記人物を含む第１の画像とに基づいて、前記第１の画像を対象として、特徴的な輝度分布領域である第１の特異領域を検出する特異領域検出ステップと、
    　前記第１の特異領域に基づいて前記人物の所持物を判定する判定ステップと、
    　前記判定ステップによる判定結果を出力する出力ステップと、を含み、
    　前記第１の画像は、サブテラヘルツ波画像であり、
    　前記第２の画像は、可視光画像と赤外光画像と距離画像とのうちの少なくとも１つからなる
    　判定方法。
PCT/JP2022/021133 2021-10-04 2022-05-23 判定装置および判定方法 WO2023058265A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023552689A JPWO2023058265A1 (ja) 2021-10-04 2022-05-23
US18/618,281 US20240230945A1 (en) 2021-10-04 2024-03-27 Determination device and determination method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021163587 2021-10-04
JP2021-163587 2021-10-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/618,281 Continuation US20240230945A1 (en) 2021-10-04 2024-03-27 Determination device and determination method

Publications (1)

Publication Number Publication Date
WO2023058265A1 true WO2023058265A1 (ja) 2023-04-13

Family

ID=85804072

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/021133 WO2023058265A1 (ja) 2021-10-04 2022-05-23 判定装置および判定方法

Country Status (3)

Country Link
US (1) US20240230945A1 (ja)
JP (1) JPWO2023058265A1 (ja)
WO (1) WO2023058265A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018156586A (ja) * 2017-03-21 2018-10-04 株式会社東芝 監視システム
CN209895386U (zh) * 2019-02-28 2020-01-03 清华大学 图像识别系统
EP3675031A1 (en) * 2018-12-29 2020-07-01 Nuctech Company Limited Image processing apparatus and method
CN211086644U (zh) * 2019-11-27 2020-07-24 博微太赫兹信息科技有限公司 一种融合多波段探测的太赫兹安全检查系统
JP2020153975A (ja) * 2019-03-14 2020-09-24 キヤノン株式会社 処理システム
JP2020153973A (ja) * 2019-03-14 2020-09-24 キヤノン株式会社 移動体
JP2021047377A (ja) * 2019-09-20 2021-03-25 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018156586A (ja) * 2017-03-21 2018-10-04 株式会社東芝 監視システム
EP3675031A1 (en) * 2018-12-29 2020-07-01 Nuctech Company Limited Image processing apparatus and method
CN209895386U (zh) * 2019-02-28 2020-01-03 清华大学 图像识别系统
JP2020153975A (ja) * 2019-03-14 2020-09-24 キヤノン株式会社 処理システム
JP2020153973A (ja) * 2019-03-14 2020-09-24 キヤノン株式会社 移動体
JP2021047377A (ja) * 2019-09-20 2021-03-25 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム
CN211086644U (zh) * 2019-11-27 2020-07-24 博微太赫兹信息科技有限公司 一种融合多波段探测的太赫兹安全检查系统

Also Published As

Publication number Publication date
US20240230945A1 (en) 2024-07-11
JPWO2023058265A1 (ja) 2023-04-13

Similar Documents

Publication Publication Date Title
US10013056B2 (en) Dynamic eye tracking calibration
US8743051B1 (en) Mirror detection-based device functionality
US8866809B2 (en) System and method for rendering dynamic three-dimensional appearing imagery on a two-dimensional user interface
TW201108072A (en) Display with an optical sensor
US20140313308A1 (en) Apparatus and method for tracking gaze based on camera array
US20120287035A1 (en) Presence Sensing
US20060044282A1 (en) User input apparatus, system, method and computer program for use with a screen having a translucent surface
JP2014511512A5 (ja)
JPWO2014021169A1 (ja) 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体
CN109840014A (zh) 虚拟触摸识别装置及用于校正其识别误差的方法
EP2350794A1 (en) Interactive input system with multi-angle reflecting structure
TW201112092A (en) Optical touch system and method thereof
TWI484386B (zh) 具光學感測器之顯示器（一）
US20130027548A1 (en) Depth perception device and system
TWI460637B (zh) 光學觸控系統及光學觸控位置檢測方法
WO2021255964A1 (ja) 撮影装置
US20110128386A1 (en) Interactive device and method for use
JP2013536970A (ja) 接触測位方法、タッチスクリーン、接触システム、及びディスプレイ
CN104298405A (zh) 触控模块、投影系统及其触控方法
WO2023058265A1 (ja) 判定装置および判定方法
JP5291560B2 (ja) 操作装置
US8131502B2 (en) Sensing system and method for obtaining location of pointer thereof
TW201237353A (en) Laser-optical position detecting module
JP2023041931A (ja) 評価装置、評価方法、及びプログラム
US8692804B2 (en) Optical touch system and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22878138

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023552689

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22878138

Country of ref document: EP

Kind code of ref document: A1