WO2023032769A1 - 位置推定システム、及び、位置推定方法 - Google Patents

位置推定システム、及び、位置推定方法 Download PDF

Info

Publication number
WO2023032769A1
WO2023032769A1 PCT/JP2022/031809 JP2022031809W WO2023032769A1 WO 2023032769 A1 WO2023032769 A1 WO 2023032769A1 JP 2022031809 W JP2022031809 W JP 2022031809W WO 2023032769 A1 WO2023032769 A1 WO 2023032769A1
Authority
WO
WIPO (PCT)
Prior art keywords
communication device
coordinates
information
communication
person
Prior art date
Application number
PCT/JP2022/031809
Other languages
English (en)
French (fr)
Inventor
達雄 古賀
仁 吉澤
千人 浦
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to CN202280054907.9A priority Critical patent/CN117795365A/zh
Priority to JP2023545483A priority patent/JPWO2023032769A1/ja
Publication of WO2023032769A1 publication Critical patent/WO2023032769A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to a position estimation system and a position estimation method.
  • Patent Document 1 discloses a location information acquisition system that eliminates the need for user input operations and is excellent in terms of cost.
  • the present invention provides a position estimation system and position estimation method capable of estimating the coordinates of an object in a given space.
  • a position estimation system includes an acquisition unit that acquires either image information of an image showing a space in which a person is located or temperature distribution information of the space; an estimating unit for estimating the coordinates of the person in the space based on the first a position information acquisition unit that acquires position information of the first communication device from a positioning system that measures the position of the communication device, wherein the estimation unit acquires the estimated coordinates of the person and the acquired position information. estimating the coordinates of the target first communication device held by the person based on the communication state between the third communication device held by the object other than the person and the target first communication device, and the estimation estimating the coordinates of the object in the space based on the obtained coordinates of the target first communication device;
  • a position estimating method includes an obtaining step of obtaining either image information of an image showing a space in which a person is located or temperature distribution information of the space; a first estimating step of estimating the coordinates of the person in the space based on said a location information acquisition step of acquiring location information of the first communication device from a positioning system that measures the location of the first communication device; and based on the estimated coordinates of the person and the acquired location information, the a second estimating step of estimating the coordinates of a target first communication device held by a person; a communication state between a third communication device held by an object other than the person and the target first communication device; and a third estimating step of estimating the coordinates of the object in the space based on the obtained coordinates of the target first communication device.
  • a program according to one aspect of the present invention is a program for causing a computer to execute the position estimation method.
  • the position estimation system and position estimation method of the present invention can estimate the coordinates of an object in a given space.
  • FIG. 1 is a block diagram showing a functional configuration of a position estimation system according to Embodiment 1.
  • FIG. FIG. 2 is a diagram showing an indoor space to which the position estimation system according to Embodiment 1 is applied.
  • FIG. 3 is a flowchart of an example 1 of operation for estimating the coordinates of the first communication device.
  • FIG. 4 is a diagram schematically showing a plurality of pieces of position information.
  • FIG. 5 is a flowchart of an example 1 of an operation for estimating the coordinates of an object.
  • FIG. 6 is a flow chart of an estimation operation example 2 of coordinates of an object.
  • FIG. 7 is a block diagram showing a functional configuration of a position estimation system according to Embodiment 2.
  • FIG. 8 is a diagram showing an indoor space to which the position estimation system according to Embodiment 2 is applied.
  • FIG. 9 is a diagram schematically showing a thermal image.
  • FIG. 10 is a flow chart of an example 2 of operation for estimating the coordinates of the first communication device.
  • FIG. 11 is a block diagram showing the functional configuration of the positioning system according to the modification.
  • FIG. 12 is a diagram showing an indoor space to which the positioning system according to the modification is applied.
  • each figure is a schematic diagram and is not necessarily strictly illustrated. Moreover, in each figure, the same code
  • FIG. 1 is a block diagram showing a functional configuration of a position estimation system according to Embodiment 1.
  • FIG. 2 is a diagram showing an indoor space to which the position estimation system according to Embodiment 1 is applied.
  • the position estimation system 10 is a system that acquires image information of an image of the indoor space 60 output by the camera 20 and estimates the coordinates of an object among the objects positioned in the indoor space 60 based on the acquired image information.
  • the indoor space 60 is, for example, an office space, but may be a space in a commercial facility or an indoor space in other facilities such as a space in a house.
  • the object (object) is, for example, a living organism such as person A and person B, but may be a tangible object (an object other than a person; for example, a non-living object) such as chair C.
  • the position estimation system 10 includes a camera 20, a server device 30, a positioning system 40, and a third communication device 50. Note that the position estimation system 10 may include multiple cameras 20 .
  • the camera 20 is installed, for example, on the ceiling of the indoor space 60, and images the indoor space 60 from above. Also, the camera 20 transmits image information of the captured image to the server device 30 .
  • An image captured by the camera 20 is, for example, a still image.
  • the camera 20 may capture a moving image, and the image captured by the camera 20 in this case is, for example, a still image corresponding to one frame forming the moving image.
  • Camera 20 is implemented by, for example, an image sensor.
  • the camera 20 is detachably connected to, for example, a power supply terminal of a lighting device 22 installed on the ceiling of an indoor space 60, and receives power from the lighting device 22 to operate.
  • the power supply terminal is, for example, a USB (Universal Serial Bus) terminal.
  • the camera 20 may be fixed directly to the ceiling of the indoor space 60 without the illumination device 22 interposed therebetween. Alternatively, the camera 20 may be fixed to a wall or the like to capture an image of the indoor space 60 from the side.
  • the server device 30 acquires the image information generated by the camera 20, and estimates the coordinates of the object located in the indoor space 60 based on the acquired image information.
  • the server device 30 is an edge computer provided in a facility (building) forming the indoor space 60, but may be a cloud computer provided outside the facility.
  • the server device 30 includes a communication section 31 , an information processing section 32 and a storage section 33 .
  • the communication unit 31 is a communication module (communication circuit) for the server device 30 to communicate with the camera 20 and the positioning system 40 (specifically, the first communication device 41 and the positioning server device 43).
  • the communication unit 31 receives image information from the camera 20, for example. Also, the communication unit 31 receives position information of an object located in the indoor space 60 from the positioning system 40 .
  • the communication performed by the communication unit 31 may be wireless communication or wired communication.
  • the communication standard used for communication is also not particularly limited.
  • the information processing section 32 acquires the image information received by the communication section 31 and performs information processing for estimating the coordinates of the object located in the indoor space 60 based on the acquired image information.
  • the information processing section 32 is specifically realized by a processor or a microcomputer.
  • the information processing section 32 includes an acquisition section 34 , an estimation section 35 and a position information acquisition section 36 .
  • the functions of the acquisition unit 34 , the estimation unit 35 , and the position information acquisition unit 36 are realized by the processor or microcomputer constituting the information processing unit 32 executing computer programs stored in the storage unit 33 . Details of the functions of the acquisition unit 34, the estimation unit 35, and the position information acquisition unit 36 will be described later.
  • the storage unit 33 is a storage device that stores image information and position information received by the communication unit 31, computer programs executed by the information processing unit 32, and the like.
  • the storage unit 33 also stores a machine learning model, which will be described later, and the like.
  • the storage unit 33 is implemented by a semiconductor memory, HDD (Hard Disk Drive), or the like.
  • the positioning system 40 determines the position of the first communication device 41 in the indoor space 60 based on the state of communication between the first communication device 41 located in the indoor space 60 and each of the plurality of second communication devices 42 installed in the indoor space 60. to measure
  • the positioning system 40 includes a plurality of first communication devices 41 , a plurality of second communication devices 42 and a positioning server device 43 . Note that the positioning system 40 may include at least one first communication device 41 .
  • the first communication device 41 is a beacon receiver (scanner) that receives beacon signals transmitted by each of the plurality of second communication devices 42 .
  • the first communication device 41 measures the received signal strength indicator (RSSI) of the received beacon signal, and adds the second identification of the second communication device 42 included in the beacon signal to the measured received signal strength.
  • Information and signal strength information associated with the first identification information of the first communication device 41 itself are transmitted to the positioning server device 43 .
  • the first communication device 41 is, for example, a portable information terminal (such as a smart phone) capable of operating as a beacon receiver, but may be a dedicated beacon receiver. As shown in FIG. 2, first communication device 41 is held by a person located in indoor space 60 . As will be described later, the first communication device 41 also functions as a beacon receiver that receives beacon signals transmitted by the third communication device 50 .
  • the second communication device 42 is a beacon transmitter that transmits beacon signals.
  • the beacon signal includes second identification information of the second communication device 42 .
  • the second communication device 42 is, for example, detachably connected to a power supply terminal of the lighting device 22 installed on the ceiling of the indoor space 60, and operates by receiving power from the lighting device 22. .
  • the power supply terminal is, for example, a USB terminal.
  • the second communication device 42 may be fixed directly to the ceiling of the indoor space 60 without the lighting device 22 interposed therebetween. Also, the second communication device 42 may be fixed to a wall or the like.
  • the plurality of second communication devices 42 are two-dimensionally distributed when viewed from above. The arrangement (installation position) of the plurality of second communication devices 42 is stored in advance in the storage unit 46 as arrangement information.
  • the positioning server device 43 acquires a plurality of pieces of signal strength information corresponding to a plurality of second communication devices 42 from the first communication device 41, and based on the acquired plurality of pieces of signal strength information, locates a first position located in the indoor space 60. Measure the position of one communication device 41 .
  • the positioning server device 43 is an edge computer provided in the facility (building) that constitutes the indoor space 60, but may be a cloud computer provided outside the facility.
  • the positioning server device 43 includes a communication section 44 , an information processing section 45 and a storage section 46 .
  • the communication unit 44 is a communication module (communication circuit) for the positioning server device 43 to communicate with the plurality of first communication devices 41 and the server device 30 .
  • the communication unit 44 receives, for example, a plurality of pieces of signal strength information corresponding to the plurality of second communication devices 42 from each of the plurality of first communication devices 41 .
  • the communication unit 44 transmits the position information of the object located in the indoor space 60 to the server device 30 .
  • the communication performed by the communication unit 44 may be wireless communication or wired communication.
  • the communication standard used for communication is also not particularly limited.
  • the information processing unit 45 measures the position of the first communication device 41 based on a plurality of pieces of signal strength information received by the communication unit 44, and outputs position information indicating the measured position.
  • the output position information is transmitted to the server device 30 by the communication unit 44 .
  • the information processing unit 45 receives a plurality of signal strength information corresponding to the plurality of second communication devices 42 transmitted by the first communication device 41 possessed by the person A, and the plurality of second communication devices in the indoor space 60. 42, the position of the first communication device 41 is measured, and position information (that is, Position information of person A) is output. Any existing algorithm may be used as a method of measuring a position based on a plurality of pieces of signal strength information and arrangement information.
  • the information processing section 45 is specifically realized by a processor or a microcomputer.
  • the functions of the information processing section 45 are realized by executing a computer program stored in the storage section 46 by the processor or microcomputer constituting the information processing section 45 .
  • the storage unit 46 is a storage device that stores signal strength information received by the communication unit 44, arrangement information indicating the arrangement of the plurality of second communication devices 42, computer programs executed by the information processing unit 45, and the like. .
  • the storage unit 46 also stores registration information that indicates what kind of object the third identification information, which will be described later, specifically indicates.
  • the storage unit 46 is specifically implemented by a semiconductor memory, HDD, or the like.
  • the third communication device 50 is a beacon transmitter that transmits beacon signals.
  • the third communication device 50 is, for example, a beacon transmitter specialized for transmitting beacon signals that does not have communication functions with the server device 30, the positioning server device 43, and the like.
  • the third communication device 50 is held by a tangible object located in the indoor space 60 .
  • the tangible object is specifically a chair C (shown in FIG. 2), but may be another article such as the lighting device 22 . It may be held by a person located in the indoor space 60 . In other words, the third communication device 50 may be held by an object.
  • the beacon signal includes third identification information of the third communication device 50 .
  • Example 1 of operation for estimating the coordinates of the first communication device uses the first communication device 41 (beacon reception machine) can be measured.
  • the accuracy of the position of the first communication device 41 measured by the positioning system 40 may not be very high.
  • the positioning system 40 cannot directly measure the position of a beacon transmitter such as the third communication device 50 .
  • the position estimation system 10 uses both the image information of the image captured by the camera 20 and the position information of the first communication device 41 provided by the positioning system 40, so that the first communication device 41 can be detected with high accuracy. Estimate the position of An estimation operation example 1 of the position (coordinates) of the first communication device 41 will be described below.
  • FIG. 3 is a flowchart of an example 1 of coordinate estimation operation of the first communication device 41 .
  • the communication unit 31 of the server device 30 receives image information from the camera 20 (S11).
  • the received image information is stored in the storage section 33 by the information processing section 32 .
  • the image information is, for example, image information of an image when the indoor space 60 is viewed from above.
  • the acquiring unit 34 acquires the image information received by the communication unit 31 and stored in the storage unit 33 (S12), and the estimating unit 35 calculates the indoor space 60 based on the acquired image information. Estimate the coordinates of the person in (S13).
  • the estimating unit 35 performs object detection processing using deep learning (machine learning model) on image information (image), thereby estimating the position of a person in the image, and estimating the position of the person in the image. Convert to coordinates in the indoor space 60 .
  • the estimation unit 35 performs object detection processing based on methods such as R-CNN (Region-Convolutional Neural Network), YOLO (You Only Look at Once), or SSD (Single Shot Multibox Detector).
  • a machine learning model for performing these object detection processes is constructed using, for example, images obtained by imaging the indoor space 60 (or other indoor space) from above as learning data.
  • the storage unit 33 stores table information indicating the correspondence relationship between the positions of pixels in the image and the coordinates in the indoor space 60.
  • the estimation unit 35 uses such table information to obtain the The person's position in the interior space 60 can be transformed into the person's coordinates in the room space 60 .
  • the coordinates of the position of the person estimated by the estimation unit 35 are two-dimensional coordinates when the indoor space 60 is viewed from above. .
  • the communication unit 31 receives from the positioning server device 43 a plurality of pieces of position information each indicating the position of the first communication device 41 located in the indoor space 60 (S14).
  • the received plurality of pieces of position information are stored in the storage unit 33 by the information processing unit 32 .
  • FIG. 4 is a diagram schematically showing a plurality of pieces of position information.
  • the first identification information of the first communication device 41 and the position (coordinates) of the first communication device 41 are associated with each of the plurality of pieces of position information.
  • the position of the first communication device 41 is, for example, two-dimensional coordinates when the indoor space 60 is viewed from above.
  • the location information acquisition unit 36 acquires a plurality of pieces of location information received by the communication unit 31 and stored in the storage unit 33 (S15).
  • the estimating unit 35 selects the first communication device 41 closest to the estimated coordinates based on the acquired multiple pieces of position information as the first communication device 41 held by the person located at the coordinates estimated in step S13. (hereinafter also referred to as the target first communication device 41) (S16).
  • the estimation unit 35 stores the first identification information included in the position information of the identified target first communication device 41 in the storage unit 33 as coordinate information in association with the coordinates estimated in step S13 ( S17).
  • the coordinate information of the target first communication device 41 held by the person in the indoor space 60 is stored in the storage unit 33.
  • the position estimation system 10 can highly accurately estimate the coordinates of the first communication device 41 held by a person based on the image information and the position information acquired from the positioning system 40. can.
  • the estimation unit 35 performs object detection processing on the image information (image) acquired by the acquisition unit 34 to determine the coordinates of the person in the indoor space 60 was estimated.
  • the estimation unit 35 may perform a process of dividing the image into regions.
  • the estimation unit 35 may perform segmentation using deep learning (machine learning model).
  • the estimating unit 35 can estimate the coordinates of the person in the indoor space 60 based on the position of the area in the image where the object is shown.
  • a machine learning model for performing segmentation is constructed using, for example, images obtained by imaging the indoor space 60 (or other indoor space) from above as learning data.
  • Example 1 of operation for estimating the coordinates of an object uses the estimated position of the target first communication device 41 to determine the coordinates of the third communication device 50 in the indoor space 60 (in other words, the coordinates of the object holding the third communication device 50). coordinates) can be estimated.
  • FIG. 5 is a flowchart of an example 1 of an operation for estimating the coordinates of an object.
  • the person holding the first communication device 41 moves, but the object holding the third communication device 50 does not move. done.
  • the estimation unit 35 of the server device 30 estimates the coordinates of the target first communication device 41 (S21).
  • the method of estimating the coordinates of the target first communication device 41 is as described with reference to FIG.
  • the target first communication device 41 receives the beacon signal transmitted by the third communication device 50 and measures the received signal strength of the received beacon signal. In addition, the target first communication device 41 adds the third identification information of the third communication device 50 included in the beacon signal and the first identification information of the target first communication device 41 itself to the measured received signal strength. The associated signal strength information is transmitted to the positioning server device 43 .
  • the communication unit 31 of the server device 30 receives the signal strength information from the target first communication device 41 (S22), and the acquisition unit 34 acquires the received signal strength information (S23).
  • the estimating unit 35 determines that when the coordinates of the target first communication device 41 change, the target first communication device 41 It can be determined how the received signal strength of the received beacon signal varies. Therefore, the estimation unit 35 calculates the third The coordinates of the communication device 50, that is, the coordinates of the object holding the third communication device 50 are estimated (S24).
  • the target first communication device 41 at time t1 and the target at time t2 and the target first communication device 41 at time t3 can be regarded as three beacon receivers whose coordinates are known and whose coordinates are different from each other.
  • the process of step S24 is handled in the same manner as the process of estimating the coordinates of the beacon transmitter (third communication device 50) using three beacon receivers whose coordinates are known and which are different from each other. can be done.
  • the position estimation system 10 can estimate the coordinates of the third communication device 50, that is, the coordinates of the object holding the third communication device 50.
  • the multiple second communication devices 42 are beacon transmitters. Therefore, the positioning system 40 can measure the position of the first communication device 41 (beacon receiver), but cannot directly measure the position of the third communication device 50 (beacon transmitter).
  • the position estimation system 10 based on the change in the communication state between the third communication device 50 and the target first communication device 41 in accordance with the change in the coordinates of the target first communication device 41, the third communication device The coordinates of the object holding 50 can be estimated. It should be noted that which third identification information specifically indicates what kind of object is registered in the storage unit 33 of the server device 30 in advance.
  • the position estimation system 10 can It is possible to estimate where the newly installed lighting device 22 is installed in the indoor space 60 (that is, the coordinates of the newly installed lighting device 22).
  • the coordinates of the object estimated by the position estimation system 10 are provided, for example, by the estimation unit 35 to an information terminal (not shown) such as a personal computer or a smartphone, and visualized by the information terminal. Thereby, the user viewing the display of the information terminal can easily grasp the position of the object in the indoor space 60 . If the object is a tangible object, it becomes easier to grasp the position of the tangible object and maintain the tangible object.
  • the estimated coordinates of the object may be provided to a control device (not shown) that controls equipment such as an air conditioner.
  • equipment such as an air conditioner.
  • the controller can control the equipment based on the person's position in the indoor space 60 .
  • Example 2 of operation for estimating the coordinates of an object Estimation of Object Coordinates
  • the position estimation system 10 estimated the coordinates of an object holding the third communication device 50 by tracking changes in the coordinates of the first communication device 41 of one target.
  • the position estimation system 10 can also estimate the coordinates of the object holding the third communication device 50 by estimating the coordinates of the plurality of target first communication devices 41 .
  • FIG. 6 is a flow chart of an estimation operation example 2 of coordinates of an object.
  • the estimation unit 35 of the server device 30 estimates the coordinates of each of the plurality of target first communication devices 41 located in the indoor space 60 (S31).
  • the estimating unit 35 can estimate the coordinates of the first communication devices 41 of a plurality of targets by performing the operation (processing) of FIG. 3 on a plurality of people appearing in the image. That is, the plurality of target first communication devices 41 are held by different persons.
  • the target first communication device 41 receives the beacon signal transmitted by the third communication device 50 and measures the received signal strength of the received beacon signal. In addition, the target first communication device 41 adds the third identification information of the third communication device 50 included in the beacon signal and the first identification information of the target first communication device 41 itself to the measured received signal strength. The associated signal strength information is transmitted to the positioning server device 43 .
  • the communication unit 31 of the server device 30 receives the signal strength information from each of the plurality of target first communication devices 41 (S32), and the acquisition unit 34 acquires the received plurality of signal strength information (S33). .
  • the estimating unit 35 calculates the coordinates of the third communication device 50, that is, the third communication
  • the coordinates of the object holding the device 50 are estimated (S34).
  • the coordinates of the beacon transmitter (the third communication device 50) are calculated using a plurality of beacon receivers (the plurality of target first communication devices 41) whose coordinates are known and the coordinates are different from each other. can be handled in the same way as the process of estimating If the number of first communication devices 41 whose coordinates are estimated in step S31 is three or more, the estimation unit 35 can estimate the coordinates of the third communication device 50 with high accuracy.
  • the position estimation system 10 can estimate the coordinates of the third communication device 50, that is, the coordinates of the object holding the third communication device 50.
  • the multiple second communication devices 42 are beacon transmitters. Therefore, the positioning system 40 can measure the position of the first communication device 41 (beacon receiver), but cannot directly measure the position of the third communication device 50 (beacon transmitter).
  • the position estimation system 10 estimates the coordinates of each of the plurality of target first communication devices 41 held by different persons, and the communication between the third communication device 50 and each of the plurality of target first communication devices 41. Based on the state and the estimated coordinates of the plurality of target first communication devices 41, the coordinates of the object holding the third communication device 50 can be estimated.
  • FIG. 7 is a block diagram showing a functional configuration of a position estimation system according to Embodiment 2.
  • FIG. 8 is a diagram showing an indoor space 60 to which the position estimation system according to Embodiment 2 is applied.
  • the position estimation system 10a acquires temperature distribution information indicating the temperature distribution of the indoor space 60 output by the infrared sensor 21, and based on the acquired temperature distribution information, coordinates of the object among the objects located in the indoor space 60. is a system for estimating
  • the position estimation system 10a includes an infrared sensor 21, a server device 30, a positioning system 40, and a third communication device 50. That is, the position estimation system 10a includes an infrared sensor 21 instead of the camera 20. FIG. In addition, the position estimation system 10a may include a plurality of infrared sensors 21 .
  • the components other than the infrared sensor 21 are the same as those in the first embodiment, so detailed description thereof will be omitted.
  • the infrared sensor 21 is installed, for example, on the ceiling of the indoor space 60, and generates temperature distribution information (hereinafter also referred to as a thermal image) indicating the temperature distribution when the indoor space 60 is viewed from above.
  • the temperature distribution information is transmitted to the server device 30 .
  • the infrared sensor 21 is, for example, an infrared array sensor (thermal image sensor) configured by an array of 8 ⁇ 8 infrared detection elements. In other words, the thermal image produced by infrared sensor 21 has 8 ⁇ 8 pixels.
  • the thermal image shows the temperature distribution in the sensing range of the infrared sensor 21 with a resolution of 8x8.
  • the infrared sensor 21 is not limited to an infrared array sensor, and may be, for example, a sensor that scans the indoor space 60 with a single infrared detection element, or an infrared image sensor with relatively high resolution. good.
  • the infrared sensor 21 is, for example, detachably connected to a power supply terminal of a lighting device 22 installed on the ceiling of an indoor space 60, and receives power from the lighting device 22 to operate.
  • the power supply terminal is, for example, a USB terminal.
  • the infrared sensor 21 may be fixed directly to the ceiling of the indoor space 60 without the illumination device 22 interposed therebetween. Further, the infrared sensor 21 may be fixed to a wall or the like to generate a thermal image showing the temperature distribution when the indoor space 60 is viewed from the side.
  • the position estimation system 10a uses both the temperature distribution information from the infrared sensor 21 and the position information of the first communication device 41 provided by the positioning system 40, so that the first communication device 41 held by the person in the image is detected.
  • the position of (target first communication device 41) is estimated with high accuracy.
  • An example 2 of operation for estimating the position (coordinates) of the first communication device 41 will be described below.
  • FIG. 10 is a flow chart of the coordinate estimation operation example 2 of the first communication device 41 .
  • the communication unit 31 of the server device 30 receives the temperature distribution information from the infrared sensor 21 (S41).
  • the received temperature distribution information is stored in the storage unit 33 by the information processing unit 32 .
  • the temperature distribution information indicates, for example, the temperature distribution when the indoor space 60 is viewed from above.
  • the acquisition unit 34 acquires the temperature distribution information received by the communication unit 31 and stored in the storage unit 33 (S42), and the estimation unit 35 applies the super-resolution technique to the acquired temperature distribution information. is applied to increase the resolution of the temperature distribution information (S43).
  • the temperature distribution information is described as a thermal image.
  • the estimation unit 35 increases the resolution of the thermal image by applying SRGAN (Generative Adversarial Network for Super-Resolution) to the thermal image.
  • SRGAN Geneative Adversarial Network for Super-Resolution
  • the method for increasing the resolution of the thermal image is not limited to SRGAN, and the estimation unit 35 may increase the resolution of the thermal image by applying SRCNN (Super-Resolution Convolutional Neural Network) to the thermal image.
  • SRCNN Super-Resolution Convolutional Neural Network
  • a high-resolution thermal image can be generated from the inexpensive infrared sensor 21. It should be noted that the application of the super-resolution technique to the thermal image is not essential, and the processing for increasing the resolution of the thermal image may be omitted.
  • the estimation unit 35 estimates the coordinates of the person in the indoor space 60 based on the thermal image (temperature distribution information) to which the super-resolution technology has been applied (S44).
  • the estimating unit 35 estimates the position of a person in the thermal image by, for example, performing object detection processing using deep learning (machine learning model) on the thermal image, and determines the position of the person in the thermal image. Convert to coordinates in space 60 . Specifically, the estimation unit 35 performs object detection processing based on techniques such as R-CNN, YOLO, or SSD.
  • the machine learning model for performing these object detection processes is not a general color image, but a thermal image obtained by imaging the indoor space 60 (or other indoor space) from above as learning data. be done.
  • the storage unit 33 also stores table information indicating the correspondence between the positions of pixels in the thermal image and the coordinates in the indoor space 60.
  • the estimation unit 35 uses such table information to A person's position in the thermal image can be transformed into the person's coordinates in the room space 60 .
  • the coordinates of the position of the person estimated by the estimation unit 35 are two-dimensional coordinates when the indoor space 60 is viewed from above. becomes.
  • steps S45 to S48 are the same as the processes of steps S14 to S17 of the first embodiment.
  • the position estimation system 10a can accurately estimate the coordinates of the first communication device 41 held by a person based on the temperature distribution information and the position information acquired from the positioning system 40. can be done.
  • the estimation operation of the coordinates of the third communication device 50 (coordinates of the object in which the third communication device 50 is held) by the position estimation system 10a is the estimation operation example 1 of the coordinates of the object described in the first embodiment. and the example 2 of the operation for estimating the coordinates of the object may be used.
  • the estimation unit 35 estimates the coordinates of the person in the indoor space 60 by performing object detection processing on the thermal image acquired by the acquisition unit 34 .
  • the estimation unit 35 may perform a process of segmenting the thermal image.
  • the estimation unit 35 may perform segmentation using deep learning (machine learning model).
  • the estimation unit 35 can estimate the coordinates of the person in the indoor space 60 based on the position of the area in which the person appears in the thermal image.
  • a machine learning model for performing segmentation is constructed using, for example, a thermal image obtained by imaging the indoor space 60 (or other indoor space) from above as learning data.
  • the estimation unit 35 may estimate the coordinates of a person by performing information processing on the thermal image based on a rule-based algorithm that does not use a machine learning model. For example, the estimating unit 35 may perform a process of detecting a pixel having a maximum pixel value among a plurality of pixels included in the thermal image.
  • a pixel having a maximum pixel value means a pixel having a maximum pixel value in a two-dimensional arrangement of pixels.
  • a pixel having a maximum pixel value means, in other words, a pixel having a higher pixel value than surrounding pixels when comparing pixel values at the same time in a two-dimensional arrangement of pixels.
  • the estimating unit 35 estimates that a person exists in the indoor space 60 when detecting a pixel having a maximum pixel value and a pixel value equal to or higher than a predetermined value (for example, 30° C. or higher). can do.
  • the estimating unit 35 applies the table information to the position of the pixel having the maximum pixel value and having the pixel value equal to or higher than a predetermined value (for example, 30° C. or higher), thereby determining the indoor space.
  • a predetermined value for example, 30° C. or higher
  • Another example of information processing based on a rule-based algorithm is processing that detects temporal changes in the pixel values (temperature) of each of a plurality of pixels included in a thermal image. Assuming that there are no heat sources other than people in the indoor space 60, and when there are no people in the indoor space 60, the pixel values (temperatures) of the plurality of pixels included in the thermal image slowly change over time. In this state, when a person enters the indoor space 60, the pixel values of the pixels in the portion of the thermal image where the person is shown change (increase) abruptly.
  • the estimating unit 35 can estimate that a person is present in the indoor space 60 when the pixel value suddenly increases by monitoring the temporal change of the pixel value of each of the plurality of pixels.
  • the estimation unit 35 can estimate the coordinates of the position of the person in the indoor space 60 by applying the table information described above to the position of the pixel whose pixel value has increased sharply.
  • the positioning system 40 measures the position of the first communication device 41 based on the received signal strength of the beacon signal transmitted by each of the plurality of second communication devices 42 at the first communication device 41 .
  • position estimation system 10 or position estimation system 10a may include another positioning system instead of positioning system 40 .
  • Another positioning system is, for example, a positioning system that measures the position of a first communication device based on the received signal strength of a beacon signal transmitted by the first communication device at each of a plurality of second communication devices. That is, the position estimation system 10 or the position estimation system 10a may include a positioning system in which the relationship between the positioning system 40 and beacon signal transmission and reception is reversed.
  • FIG. 11 is a block diagram showing the functional configuration of the positioning system according to the modification.
  • FIG. 12 is a diagram showing an indoor space 60 to which the positioning system according to the modification is applied. Note that FIG. 11 also shows the server device 30 and the third communication device 50 .
  • the positioning system 70 is based on the state of communication between a first communication device 71 located in the indoor space 60 and a plurality of second communication devices 72 installed in the indoor space 60. The position of the object in the indoor space 60 is measured.
  • the positioning system 70 includes a plurality of first communication devices 71 , a plurality of second communication devices 72 and a positioning server device 73 .
  • the positioning system 70 may include at least one first communication device 71 .
  • the first communication device 71 is a beacon transmitter that transmits beacon signals.
  • the first communication device 71 is, for example, a portable information terminal (such as a smart phone) capable of operating as a beacon transmitter, but may be a dedicated beacon transmitter. As shown in FIG. 12 , the first communication device 71 is held by a person located in the indoor space 60 .
  • the beacon signal includes first identification information of the first communication device 71 .
  • the first communication device 71 also functions as a beacon receiver that receives beacon signals transmitted by the third communication device 50. Specifically, the first communication device 71 receives the beacon signal transmitted by the third communication device 50 and measures the received signal strength of the received beacon signal. Further, the first communication device 71 generates a signal in which the measured received signal strength is associated with the third identification information of the third communication device 50 included in the beacon signal and the first identification information of the first communication device 71 itself. The intensity information is transmitted to the positioning server device 73 .
  • the second communication device 72 is a beacon receiver (scanner) that receives beacon signals transmitted by the first communication device 71 .
  • the second communication device 72 measures the received signal strength indicator (RSSI) of the received beacon signal, and the measured received signal strength includes the first identification information included in the beacon signal and the second communication device 72 itself.
  • the signal strength information associated with the second identification information is transmitted to the positioning server device 73 .
  • the second communication device 72 is, for example, detachably connected to a power supply terminal of the lighting device 22 installed on the ceiling of the indoor space 60, and operates by receiving power from the lighting device 22.
  • the power supply terminal is, for example, a USB terminal.
  • the second communication device 72 may be fixed directly to the ceiling of the indoor space 60 without the lighting device 22 interposed therebetween. Also, the second communication device 72 may be fixed to a wall or the like.
  • the plurality of second communication devices 72 are two-dimensionally distributed when viewed from above.
  • the positioning server device 73 acquires the signal strength information of the beacon signal transmitted by the first communication device 71 from each of the plurality of second communication devices 72, and based on the acquired signal strength information, the first communication device 71 Measure the position of
  • the positioning server device 73 is an edge computer provided in the facility (building) that constitutes the indoor space 60, but may be a cloud computer provided outside the facility.
  • the positioning server device 73 includes a communication section 74 , an information processing section 75 and a storage section 76 .
  • the communication unit 74 is a communication module (communication circuit) for the positioning server device 73 to communicate with the plurality of second communication devices 72 and the server device 30 .
  • the communication unit 74 receives signal strength information from each of the plurality of second communication devices 72, for example. Also, the communication unit 74 transmits the position information of the object located in the indoor space 60 to the server device 30 .
  • the communication performed by the communication unit 74 may be wireless communication or wired communication.
  • the communication standard used for communication is also not particularly limited.
  • the information processing section 75 measures the position of the first communication device 71 based on a plurality of pieces of signal strength information received by the communication section 74, and outputs position information indicating the measured position.
  • the output position information is transmitted to the server device 30 by the communication unit 74 .
  • the information processing unit 75 includes a plurality of signal strength information including the first identification information included in the beacon signal transmitted by the first communication device 71 and the second identification information of the second communication device 72 itself, and the indoor space
  • the position of the first communication device 71 is measured based on the arrangement information indicating the arrangement (installation position) of the plurality of second communication devices 72 in 60, and the first identification information of the first communication device 71 is provided at the measured position.
  • the arrangement information is specifically information that associates the second identification information of the second communication device 72 with the coordinates (two-dimensional coordinates) of the installation position of the second communication device 72 . Any existing algorithm may be used as a method of measuring a position based on a plurality of pieces of signal strength information and arrangement information.
  • the information processing section 75 is specifically realized by a processor or a microcomputer.
  • the functions of the information processing section 75 are realized by executing a computer program stored in the storage section 76 by a processor or a microcomputer constituting the information processing section 75 .
  • the storage unit 76 is a storage device that stores signal strength information received by the communication unit 74, arrangement information indicating the arrangement of the plurality of second communication devices 72, computer programs executed by the information processing unit 75, and the like. .
  • the storage unit 76 is specifically implemented by a semiconductor memory, HDD, or the like.
  • the positioning system 70 can measure the position of the first communication device 71 based on the received signal strength of the beacon signal transmitted by each of the plurality of second communication devices 72 at the first communication device 71 . Specifically, the positioning system 70 can measure where and what kind of object is located in the indoor space 60 .
  • Position estimation system 10 or position estimation system 10 a may include positioning system 70 instead of positioning system 40 .
  • the location information acquisition unit 36 of the server device 30 acquires location information from the positioning system 70 and the acquisition unit 34 acquires signal strength information from the first communication device 71 .
  • the position estimation system 10 or the position estimation system 10a is an acquisition unit that acquires either image information of an image showing the indoor space 60 where a person is located or temperature distribution information of the indoor space 60. 34, an estimation unit 35 that estimates the coordinates of a person in the indoor space 60 based on the acquired information, a first communication device located in the indoor space 60, and a plurality of second communication devices installed in the indoor space 60.
  • a position information acquiring unit 36 that acquires position information of the first communication device from a positioning system that measures the position of the first communication device based on the state of communication with each.
  • the estimating unit 35 estimates the coordinates of the first communication device held by the person based on the estimated coordinates of the person and the acquired position information, and calculates the coordinates of the third communication device held by the object other than the person.
  • the coordinates of the object in the indoor space 60 are estimated based on the communication state between the device 50 and the target first communication device and the estimated coordinates of the target first communication device.
  • the positioning system here is the positioning system 40 or the positioning system 70
  • the first communication device is the first communication device 41 or the first communication device 71
  • the second communication device is the second communication device 42 or the second communication device.
  • Two communication devices 72 Two communication devices 72 .
  • Such a position estimation system 10 or position estimation system 10a can estimate the coordinates of an object in the indoor space 60.
  • the estimating unit 35 calculates the coordinates of the object based on changes in the communication state between the third communication device 50 and the target first communication device in accordance with changes over time in the coordinates of the target first communication device. presume.
  • Such a position estimation system 10 or position estimation system 10a can estimate the coordinates of an object in the indoor space 60 based on information about one target first communication device.
  • the estimation unit 35 estimates the coordinates of each of a plurality of target first communication devices held by different persons, and calculates the communication state between the third communication device 50 and each of the plurality of target first communication devices , and the coordinates of the object in the indoor space 60 are estimated based on the estimated coordinates of the plurality of target first communication devices.
  • Such a position estimation system 10 or position estimation system 10a can estimate the coordinates of an object in the indoor space 60 based on information about a plurality of target first communication devices.
  • the acquisition unit 34 acquires image information of an image when the indoor space 60 is viewed from above.
  • the estimation unit 35 estimates coordinates based on the acquired image information.
  • the coordinates are two-dimensional coordinates when the indoor space 60 is viewed from above.
  • Such a position estimation system 10 can estimate the coordinates of an object in the indoor space 60 based on the image information.
  • the acquisition unit 34 acquires temperature distribution information indicating the temperature distribution of the indoor space 60 when the indoor space 60 is viewed from above.
  • the estimation unit 35 estimates coordinates based on the acquired temperature distribution information.
  • the coordinates are two-dimensional coordinates when the indoor space 60 is viewed from above.
  • Such a position estimation system 10a can estimate the coordinates of an object in the indoor space 60 based on the temperature distribution information.
  • the positioning system 40 measures the position of the first communication device 41 based on the received signal strength of the beacon signal transmitted by each of the plurality of second communication devices 42 at the first communication device 41 .
  • Such a position estimation system 10 or position estimation system 10a can estimate the coordinates of an object in the indoor space 60 based on the position information provided by the positioning system 40.
  • the positioning system 70 measures the position of the first communication device 71 based on the received signal strength of the beacon signal transmitted by the first communication device 71 at each of the plurality of second communication devices 72 .
  • Such a position estimation system 10 or position estimation system 10a can estimate the coordinates of an object in the indoor space 60 based on the position information provided by the positioning system 70.
  • an object is an object other than a person.
  • Such a position estimation system 10 or position estimation system 10a can estimate the coordinates of an object (tangible object) other than a person in the indoor space 60.
  • the object is a person.
  • Such a position estimation system 10 or position estimation system 10a can estimate the coordinates of a person in the indoor space 60.
  • the position estimation method executed by a computer such as the position estimation system 10 or the position estimation system 10a includes either image information of an image showing the indoor space 60 where a person is located, or temperature distribution information of the indoor space 60.
  • Such a position estimation method can estimate the coordinates of an object in the indoor space 60.
  • the position estimation system is implemented by a plurality of devices, but may be implemented as a single device.
  • the position estimation system may be implemented as a single device that corresponds to the server device.
  • each component included in the position estimation system may be distributed to the plurality of devices in any way.
  • part or all of the functions of the positioning server device may be provided by the server device.
  • processing executed by a specific processing unit may be executed by another processing unit.
  • order of multiple processes may be changed, and multiple processes may be executed in parallel.
  • each component may be realized by executing a software program suitable for each component.
  • Each component may be realized by reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory by a program execution unit such as a CPU or processor.
  • each component may be realized by hardware.
  • each component may be a circuit (or integrated circuit). These circuits may form one circuit as a whole, or may be separate circuits. These circuits may be general-purpose circuits or dedicated circuits.
  • the present invention may be implemented as a position estimation method executed by a computer such as a position estimation system. Further, the present invention may be implemented as a program for causing a computer to execute a position estimation method, or as a computer-readable non-temporary recording medium storing such a program. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

位置推定システム(10)は、人が位置する室内空間が映る画像の画像情報を取得する取得部(34)と、取得された画像情報に基づいて、室内空間における人の座標を推定する推定部(35)と、測位システム(40)から第一通信装置(41)の位置情報を取得する位置情報取得部(36)とを備える。推定部(35)は、推定された人の座標、及び、取得された位置情報に基づいて、人が保持する対象の第一通信装置(41)の座標を推定し、人以外の物体に保持された第三通信装置(50)と対象の第一通信装置(41)との通信状態、及び、推定された対象の第一通信装置(41)の座標に基づいて、室内空間における物体の座標を推定する。

Description

位置推定システム、及び、位置推定方法
 本発明は、位置推定システム、及び、位置推定方法に関する。
 特許文献1には、ユーザによる入力操作を不要としつつ、コスト面に優れた位置情報取得システムが開示されている。
特開2015-152479号公報
 本発明は、所定の空間における物体の座標を推定することができる、位置推定システム、及び、位置推定方法を提供する。
 本発明の一態様に係る位置推定システムは、人が位置する空間が映る画像の画像情報、及び、前記空間の温度分布情報のいずれかの情報を取得する取得部と、取得された前記情報に基づいて、前記空間における前記人の座標を推定する推定部と、前記空間に位置する第一通信装置と前記空間に設置された複数の第二通信装置それぞれとの通信状態に基づいて前記第一通信装置の位置を計測する測位システムから前記第一通信装置の位置情報を取得する位置情報取得部とを備え、前記推定部は、推定された前記人の座標、及び、取得された前記位置情報に基づいて、前記人が保持する対象の第一通信装置の座標を推定し、前記人以外の物体に保持された第三通信装置と前記対象の第一通信装置との通信状態、及び、推定された前記対象の第一通信装置の座標に基づいて、前記空間における前記物体の座標を推定する。
 本発明の一態様に係る位置推定方法は、人が位置する空間が映る画像の画像情報、及び、前記空間の温度分布情報のいずれかの情報を取得する取得ステップと、取得された前記情報に基づいて、前記空間における前記人の座標を推定する第一推定ステップと、前記空間に位置する第一通信装置と前記空間に設置された複数の第二通信装置それぞれとの通信状態に基づいて前記第一通信装置の位置を計測する測位システムから前記第一通信装置の位置情報を取得する位置情報取得ステップと、推定された前記人の座標、及び、取得された前記位置情報に基づいて、前記人が保持する対象の第一通信装置の座標を推定する第二推定ステップと、前記人以外の物体に保持された第三通信装置と前記対象の第一通信装置との通信状態、及び、推定された前記対象の第一通信装置の座標に基づいて、前記空間における前記物体の座標を推定する第三推定ステップとを含む。
 本発明の一態様に係るプログラムは、前記位置推定方法をコンピュータに実行させるためのプログラムである。
 本発明の位置推定システム、及び、位置推定方法は、所定の空間における物体の座標を推定することができる。
図1は、実施の形態1に係る位置推定システムの機能構成を示すブロック図である。 図2は、実施の形態1に係る位置推定システムが適用される室内空間を示す図である。 図3は、第一通信装置の座標の推定動作例1のフローチャートである。 図4は、複数の位置情報を模式的に示す図である。 図5は、物体の座標の推定動作例1のフローチャートである。 図6は、物体の座標の推定動作例2のフローチャートである。 図7は、実施の形態2に係る位置推定システムの機能構成を示すブロック図である。 図8は、実施の形態2に係る位置推定システムが適用される室内空間を示す図である。 図9は、熱画像を模式的に示す図である。 図10は、第一通信装置の座標の推定動作例2のフローチャートである。 図11は、変形例に係る測位システムの機能構成を示すブロック図である。 図12は、変形例に係る測位システムが適用される室内空間を示す図である。
 以下、実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
 (実施の形態1)
 [構成]
 まず、実施の形態1に係る位置推定システムの構成について説明する。図1は、実施の形態1に係る位置推定システムの機能構成を示すブロック図である。図2は、実施の形態1に係る位置推定システムが適用される室内空間を示す図である。
 位置推定システム10は、カメラ20によって出力される室内空間60の画像の画像情報を取得し、取得した画像情報に基づいて室内空間60に位置する物体のうちの対象物の座標を推定するシステムである。室内空間60は、例えば、オフィス空間であるが、商業施設内の空間、または、住宅内の空間などのその他の施設内の室内空間であってもよい。対象物(物体)は、例えば、人A及び人Bなどの生命体であるが、イスCなどの有体物(人以外の物体。例えば、非生命体)であってもよい。
 図1及び図2に示されるように、位置推定システム10は、カメラ20と、サーバ装置30と、測位システム40と、第三通信装置50とを備える。なお、位置推定システム10は、カメラ20を複数備えてもよい。
 カメラ20は、例えば、室内空間60の天井などに設置され、室内空間60を上方から撮像する。また、カメラ20は、撮像した画像の画像情報をサーバ装置30へ送信する。カメラ20によって撮像される画像は、例えば、静止画である。カメラ20は、動画を撮像してもよく、この場合のカメラ20によって撮像される画像は、例えば、動画を構成する1つのフレームに相当する静止画である。カメラ20は、例えば、イメージセンサなどによって実現される。
 図2に示されるように、カメラ20は、例えば、室内空間60の天井に設置された照明装置22が有する給電端子に着脱自在に接続され、照明装置22から給電を受けて動作する。給電端子は、例えば、USB(Universal Serial Bus)端子である。カメラ20は、照明装置22を介さずに室内空間60の天井に直接固定されていてもよい。また、カメラ20は、壁などに固定されることにより、室内空間60を側方から撮像してもよい。
 サーバ装置30は、カメラ20によって生成された画像情報を取得し、取得した画像情報に基づいて、室内空間60に位置する対象物の座標を推定する。サーバ装置30は、室内空間60を構成する施設(建物)に設けられたエッジコンピュータであるが、当該施設外に設けられたクラウドコンピュータであってもよい。サーバ装置30は、通信部31と、情報処理部32と、記憶部33とを備える。
 通信部31は、サーバ装置30が、カメラ20及び測位システム40(具体的には、第一通信装置41及び測位用サーバ装置43)と通信するための通信モジュール(通信回路)である。通信部31は、例えば、カメラ20から画像情報を受信する。また、通信部31は、測位システム40から室内空間60に位置する物体の位置情報を受信する。通信部31によって行われる通信は、無線通信であってもよいし、有線通信であってもよい。通信に用いられる通信規格についても特に限定されない。
 情報処理部32は、通信部31によって受信された画像情報を取得し、取得した画像情報に基づいて室内空間60に位置する対象物の座標を推定するための情報処理を行う。情報処理部32は、具体的には、プロセッサまたはマイクロコンピュータによって実現される。情報処理部32は、取得部34と、推定部35と、位置情報取得部36とを備える。取得部34、推定部35、及び、位置情報取得部36の機能は、情報処理部32を構成するプロセッサまたはマイクロコンピュータが記憶部33に記憶されたコンピュータプログラムを実行することによって実現される。取得部34、推定部35、及び、位置情報取得部36の機能の詳細については後述される。
 記憶部33は、通信部31によって受信された画像情報及び位置情報、並びに、情報処理部32が実行するコンピュータプログラムなどが記憶される記憶装置である。記憶部33には、後述の機械学習モデルなども記憶される。記憶部33は、具体的には、半導体メモリまたはHDD(Hard Disk Drive)などによって実現される。
 測位システム40は、室内空間60に位置する第一通信装置41と室内空間60に設置された複数の第二通信装置42それぞれとの通信状態に基づいて室内空間60における第一通信装置41の位置を計測する。測位システム40は、複数の第一通信装置41と、複数の第二通信装置42と、測位用サーバ装置43とを備える。なお、測位システム40は、少なくとも1つの第一通信装置41を備えればよい。
 第一通信装置41は、複数の第二通信装置42のそれぞれが送信するビーコン信号を受信するビーコン受信機(スキャナ)である。また、第一通信装置41は、受信したビーコン信号の受信信号強度(RSSI:Received Signal Strength Indicator)を計測し、計測した受信信号強度に、ビーコン信号に含まれる第二通信装置42の第二識別情報、及び、第一通信装置41自体の第一識別情報を対応付けた信号強度情報を測位用サーバ装置43へ送信する。第一通信装置41は、例えば、ビーコン受信機として動作することが可能な携帯型の情報端末(スマートフォンなど)であるが、専用のビーコン受信機であってもよい。図2に示されるように、第一通信装置41は、室内空間60に位置する人に保持される。なお、後述のように、第一通信装置41は、第三通信装置50が送信するビーコン信号を受信するビーコン受信機としても機能する。
 第二通信装置42は、ビーコン信号を送信するビーコン送信機である。ビーコン信号には、第二通信装置42の第二識別情報が含まれる。図2に示されるように、第二通信装置42は、例えば、室内空間60の天井に設置された照明装置22が有する給電端子に着脱自在に接続され、照明装置22から給電を受けて動作する。給電端子は、例えば、USB端子である。第二通信装置42は、照明装置22を介さずに室内空間60の天井に直接固定されていてもよい。また、第二通信装置42は、壁などに固定されてもよい。なお、図2に示されるように、複数の第二通信装置42は、上方から見て二次元的に分散配置されている。複数の第二通信装置42の配置(設置位置)は、配置情報としてあらかじめ記憶部46に記憶されている。
 測位用サーバ装置43は、複数の第二通信装置42に対応する複数の信号強度情報を第一通信装置41から取得し、取得した複数の信号強度情報に基づいて、室内空間60に位置する第一通信装置41の位置を計測する。測位用サーバ装置43は、室内空間60を構成する施設(建物)に設けられたエッジコンピュータであるが、当該施設外に設けられたクラウドコンピュータであってもよい。測位用サーバ装置43は、通信部44と、情報処理部45と、記憶部46とを備える。
 通信部44は、測位用サーバ装置43が、複数の第一通信装置41、及び、サーバ装置30と通信するための通信モジュール(通信回路)である。通信部44は、例えば、複数の第一通信装置41のそれぞれから、複数の第二通信装置42に対応する複数の信号強度情報を受信する。また、通信部44は、サーバ装置30へ室内空間60に位置する物体の位置情報を送信する。通信部44によって行われる通信は、無線通信であってもよいし、有線通信であってもよい。通信に用いられる通信規格についても特に限定されない。
 情報処理部45は、通信部44によって受信された複数の信号強度情報に基づいて第一通信装置41の位置を計測し、計測した位置を示す位置情報を出力する。出力された位置情報は、通信部44によってサーバ装置30へ送信される。
 例えば、情報処理部45は、人Aが所持する第一通信装置41によって送信された、複数の第二通信装置42に対応する複数の信号強度情報と、室内空間60における複数の第二通信装置42の配置(設置位置)を示す配置情報とに基づいて、第一通信装置41の位置を計測し、計測した位置に第一通信装置41の第一識別情報を対応付けた位置情報(つまり、人Aの位置情報)を出力する。複数の信号強度情報及び配置情報に基づいて位置を計測する方法については、既存のどのようなアルゴリズムが用いられてもよい。
 情報処理部45は、具体的には、プロセッサまたはマイクロコンピュータによって実現される。情報処理部45の機能は、情報処理部45を構成するプロセッサまたはマイクロコンピュータが記憶部46に記憶されたコンピュータプログラムを実行することによって実現される。
 記憶部46は、通信部44によって受信された信号強度情報、複数の第二通信装置42の配置を示す配置情報、及び、情報処理部45が実行するコンピュータプログラムなどが記憶される記憶装置である。また、記憶部46には、後述の第三識別情報が具体的にどのような物体を示すかを表す登録情報も記憶されている。記憶部46は、具体的には、半導体メモリまたはHDDなどによって実現される。
 第三通信装置50は、ビーコン信号を送信するビーコン送信機である。第三通信装置50は、例えば、サーバ装置30及び測位用サーバ装置43などとの通信機能を有しない、ビーコン信号の送信に特化したビーコン送信機である。図2に示されるように、第三通信装置50は、室内空間60に位置する有体物に保持される。有体物は、具体的には、イスC(図2に図示)であるが、照明装置22などの他の物品であってもよい。室内空間60に位置する人に保持されてもよい。つまり、第三通信装置50は、物体に保持されればよい。ビーコン信号には、第三通信装置50の第三識別情報が含まれる。
 [第一通信装置の座標の推定動作例1]
 上述のように測位システム40は、複数の第二通信装置42のそれぞれが送信するビーコン信号の第一通信装置41における受信信号強度に基づいて、人によって保持される第一通信装置41(ビーコン受信機)の位置を計測することができる。しかしながら、測位システム40によって計測される第一通信装置41の位置の精度はあまり高くない場合がある。また、測位システム40は、第三通信装置50のようなビーコン送信機の位置を直接的に計測できない。
 そこで、位置推定システム10は、カメラ20によって撮像される画像の画像情報と、測位システム40によって提供される第一通信装置41の位置情報とを併用することで、高精度に第一通信装置41の位置を推定する。以下、第一通信装置41の位置(座標)の推定動作例1について説明する。図3は、第一通信装置41の座標の推定動作例1のフローチャートである。
 サーバ装置30の通信部31は、カメラ20から画像情報を受信する(S11)。受信された画像情報は、情報処理部32によって記憶部33に記憶される。上述のように、画像情報は、例えば、室内空間60を上方から見たときの画像の画像情報である。
 次に、取得部34は、通信部31によって受信され、かつ、記憶部33に記憶された画像情報を取得し(S12)、推定部35は、取得された画像情報に基づいて、室内空間60における人の座標を推定する(S13)。
 推定部35は、例えば、ディープラーニング(機械学習モデル)を用いた物体検出処理を画像情報(画像)に対して行うことにより、画像内における人の位置を推定し、画像内の人の位置を室内空間60における座標に変換する。推定部35は、具体的には、R-CNN(Region-Convolutional Neural Network)、YOLO(You Only Look at Once)、または、SSD(Single Shot Multibox Detector)などの手法に基づく物体検出処理を行う。これらの物体検出処理を行うための機械学習モデルは、例えば、室内空間60(あるいは他の室内空間)を上方から撮像することによって得られる画像を学習データとして構築される。
 また、記憶部33には、画像内の画素の位置と、室内空間60における座標との対応関係を示すテーブル情報が記憶されており、推定部35は、このようなテーブル情報を用いて、画像内における人の位置を室内空間60における人の座標に変換することができる。
 なお、画像が室内空間60を上方から見たときの画像である場合には、推定部35によって推定される人の位置の座標は、室内空間60を上方から見たときの二次元座標となる。
 次に、通信部31は、各々が室内空間60に位置する第一通信装置41の位置を示す複数の位置情報を測位用サーバ装置43から受信する(S14)。受信された複数の位置情報は、情報処理部32によって記憶部33に記憶される。図4は、複数の位置情報を模式的に示す図である。図4に示されるように、複数の位置情報のそれぞれにおいては、第一通信装置41の第一識別情報と、当該第一通信装置41の位置(座標)とが対応付けられている。第一通信装置41の位置は、例えば、室内空間60を上方から見たときの二次元座標である。
 次に、位置情報取得部36は、通信部31によって受信され、かつ、記憶部33に記憶された複数の位置情報を取得する(S15)。推定部35は、取得された複数の位置情報に基づいて、推定された座標の最も近くにある第一通信装置41をステップS13で推定された座標に位置する人が保持する第一通信装置41(以下、対象の第一通信装置41とも記載される)として特定する(S16)。
 次に、推定部35は、特定した対象の第一通信装置41の位置情報に含まれる第一識別情報を、ステップS13において推定された座標に対応付けて座標情報として記憶部33に記憶する(S17)。
 ステップS11~ステップS17の処理によれば、室内空間60において人によって保持されている対象の第一通信装置41の座標情報が記憶部33に記憶される。
 以上説明したように、位置推定システム10は、画像情報、及び、測位システム40から取得した位置情報に基づいて、人が保持する対象の第一通信装置41の座標を高精度に推定することができる。
 なお、第一通信装置41の座標の推定動作例1では、推定部35は、取得部34によって取得された画像情報(画像)に対して物体検出処理を行うことで室内空間60における人の座標を推定した。しかしながら、推定部35は、画像を領域分割する処理を行ってもよい。推定部35は、具体的には、ディープラーニング(機械学習モデル)を用いたセグメンテーションを行ってもよい。推定部35は、画像内の当該対象物が映る領域の位置に基づいて、室内空間60における人の座標を推定することができる。セグメンテーションを行うための機械学習モデルは、例えば、室内空間60(あるいは他の室内空間)を上方から撮像することによって得られる画像を学習データとして構築される。
 [物体の座標の推定動作例1]
 また、位置推定システム10は、推定された対象の第一通信装置41の位置を利用して、室内空間60における第三通信装置50の座標(言い換えれば、第三通信装置50を保持する物体の座標)を推定することができる。図5は、物体の座標の推定動作例1のフローチャートである。なお、以下の第三通信装置50の座標の推定動作例1では、対象の第一通信装置41を保持する人は移動するが、第三通信装置50を保持する物体は移動しないものとして説明が行われる。
 サーバ装置30の推定部35は、対象の第一通信装置41の座標を推定する(S21)。対象の第一通信装置41の座標の推定方法については図3で説明した通りである。
 ここで、対象の第一通信装置41は、第三通信装置50が送信するビーコン信号を受信し、受信したビーコン信号の受信信号強度を計測する。また、対象の第一通信装置41は、計測した受信信号強度に、ビーコン信号に含まれる第三通信装置50の第三識別情報、及び、対象の第一通信装置41自体の第一識別情報を対応付けた信号強度情報を測位用サーバ装置43へ送信する。
 サーバ装置30の通信部31は、対象の第一通信装置41から信号強度情報を受信し(S22)、取得部34は、受信された信号強度情報を取得する(S23)。
 ステップS21~ステップS23の処理が時間の経過とともに繰り返されれば、推定部35は、対象の第一通信装置41の座標が変化したときに、対象の第一通信装置41が第三通信装置50から受信したビーコン信号の受信信号強度がどのように変化するかを特定することができる。そこで、推定部35は、対象の第一通信装置41の座標の変化に応じた、受信信号強度(第三通信装置50と第一通信装置41との通信状態)の変化に基づいて、第三通信装置50の座標、すなわち、第三通信装置50を保持している物体の座標を推定する(S24)。
 上述のように、対象の第一通信装置41を保持する人は移動し、第三通信装置50を保持する物体は移動しないとすると、時刻t1における対象の第一通信装置41、時刻t2における対象の第一通信装置41、及び、時刻t3における対象の第一通信装置41は、座標が既知であり、かつ、座標が互いに異なる3つのビーコン受信機とみなすことができる。つまり、ステップS24の処理は、座標が既知であり、かつ、座標が互いに異なる3つのビーコン受信機を用いて、ビーコン送信機(第三通信装置50)の座標を推定する処理と同様に扱うことができる。
 以上説明したように、位置推定システム10は、第三通信装置50の座標、すなわち、第三通信装置50を保持している物体の座標を推定することができる。位置推定システム10が備える測位システム40においては、複数の第二通信装置42がビーコン送信機である。このため、測位システム40は、第一通信装置41(ビーコン受信機)の位置を計測することはできるが、第三通信装置50(ビーコン送信機)の位置を直接的に計測することができない。
 しかしながら、位置推定システム10は、対象の第一通信装置41の座標の変化に応じた、第三通信装置50と対象の第一通信装置41との通信状態の変化に基づいて、第三通信装置50を保持している物体の座標を推定することができる。なお、どの第三識別情報が具体的にどのような物体を示すかは、あらかじめサーバ装置30の記憶部33に登録されている。
 具体的なユースケースについて説明すると、例えば、室内空間60に新たに照明装置22を設置したときに、新たに設置された照明装置22に第三通信装置50を取り付ければ、位置推定システム10は、新たに設置された照明装置22が室内空間60のどこに設置されたか(つまり、新たに設置された照明装置22の座標)を推定することができる。
 位置推定システム10によって推定された物体の座標は、例えば、推定部35により、パーソナルコンピュータまたはスマートフォンなどの情報端末(図示せず)に提供され、当該情報端末によって可視化される。これにより、情報端末のディスプレイを視認するユーザは室内空間60における物体の位置を容易に把握することができる。物体が有体物である場合には、有体物の位置の把握、及び、有体物のメンテナンスなどが容易になる。
 また、推定された物体の座標は、空気調和機などの機器を制御する制御装置(図示せず)に提供されてもよい。例えば、物体が人である場合には、制御装置は、室内空間60における人の位置に基づいて機器を制御することができる。
 [物体の座標の推定動作例2]
 物体の座標の推定動作例1では、位置推定システム10は、1つの対象の第一通信装置41の座標の変化を追跡することにより第三通信装置50を保持している物体の座標を推定した。これに対し、位置推定システム10は、複数の対象の第一通信装置41の座標を推定することにより第三通信装置50を保持している物体の座標を推定することもできる。以下、このような動作例について説明する。図6は、物体の座標の推定動作例2のフローチャートである。
 まず、サーバ装置30の推定部35は、室内空間60に位置する複数の対象の第一通信装置41それぞれの座標を推定する(S31)。推定部35は、図3の動作(処理)を、画像に映る複数の人を対象として行うことにより、複数の対象の第一通信装置41の座標を推定することができる。つまり、複数の対象の第一通信装置41は、互いに異なる人に保持されている。
 物体の座標の推定動作例1と同様に、対象の第一通信装置41は、第三通信装置50が送信するビーコン信号を受信し、受信したビーコン信号の受信信号強度を計測する。また、対象の第一通信装置41は、計測した受信信号強度に、ビーコン信号に含まれる第三通信装置50の第三識別情報、及び、対象の第一通信装置41自体の第一識別情報を対応付けた信号強度情報を測位用サーバ装置43へ送信する。
 サーバ装置30の通信部31は、複数の対象の第一通信装置41のそれぞれから信号強度情報を受信し(S32)、取得部34は、受信された複数の信号強度情報を取得する(S33)。
 推定部35は、取得された複数の信号強度情報と、ステップS31において推定された複数の対象の第一通信装置41の座標とに基づいて、第三通信装置50の座標、すなわち、第三通信装置50を保持している物体の座標を推定する(S34)。ステップS34の処理は、座標が既知であり、かつ、座標が互いに異なる複数のビーコン受信機(複数の対象の第一通信装置41)を用いて、ビーコン送信機(第三通信装置50)の座標を推定する処理と同様に扱うことができる。なお、ステップS31において座標が推定される対象の第一通信装置41の数が3つ以上であれば、推定部35は、第三通信装置50の座標を高精度に推定することができる。
 以上説明したように、位置推定システム10は、第三通信装置50の座標、すなわち、第三通信装置50を保持している物体の座標を推定することができる。位置推定システム10が備える測位システム40においては、複数の第二通信装置42がビーコン送信機である。このため、測位システム40は、第一通信装置41(ビーコン受信機)の位置を計測することはできるが、第三通信装置50(ビーコン送信機)の位置を直接的に計測することができない。しかしながら、位置推定システム10は、互いに異なる人に保持された複数の対象の第一通信装置41それぞれの座標を推定し、第三通信装置50と複数の対象の第一通信装置41それぞれとの通信状態、及び、推定された複数の対象の第一通信装置41の座標に基づいて、第三通信装置50を保持している物体の座標を推定することができる。
 (実施の形態2)
 [構成]
 次に、実施の形態2に係る位置推定システムの構成について説明する。図7は、実施の形態2に係る位置推定システムの機能構成を示すブロック図である。図8は、実施の形態2に係る位置推定システムが適用される室内空間60を示す図である。
 位置推定システム10aは、赤外線センサ21によって出力される室内空間60の温度分布を示す温度分布情報を取得し、取得した温度分布情報に基づいて室内空間60に位置する物体のうちの対象物の座標を推定するシステムである。
 図7及び図8に示されるように、位置推定システム10aは、赤外線センサ21と、サーバ装置30と、測位システム40と、第三通信装置50とを備える。つまり、位置推定システム10aは、カメラ20に代えて赤外線センサ21を備える。なお、位置推定システム10aは、赤外線センサ21を複数備えてもよい。
 位置推定システム10aが備える構成要素のうち、赤外線センサ21以外の構成要素については実施の形態1と同様であるため詳細な説明が省略される。
 赤外線センサ21は、例えば、室内空間60の天井などに設置され、室内空間60を上方から見たときの温度分布を示す温度分布情報(以下、熱画像とも記載される)を生成し、生成した温度分布情報をサーバ装置30へ送信する。赤外線センサ21は、例えば、8×8個の赤外線検出素子のアレイによって構成される赤外線アレイセンサ(熱画像センサ)である。言い換えれば、赤外線センサ21によって生成される熱画像は、8×8個の画素を有する。
 熱画像は、赤外線センサ21のセンシング範囲における温度分布を8×8の分解能で示す。図9は、熱画像を模式的に示す図である。図9の8×8個の小領域のそれぞれは熱画像に含まれる画素を意味する。画素中の数値は画素値であり、具体的には温度を示している。ここでの温度は、室内空間60の表面温度である。以下の実施の形態2では、説明の簡略化のため、画素値=温度値として説明が行われる。
 なお、赤外線センサ21は、赤外線アレイセンサに限定されず、例えば、単一の赤外線検出素子で室内空間60をスキャンするセンサであってもよいし、比較的解像度の高い赤外線イメージセンサであってもよい。
 図8に示されるように、赤外線センサ21は、例えば、室内空間60の天井に設置された照明装置22が有する給電端子に着脱自在に接続され、照明装置22から給電を受けて動作する。給電端子は、例えば、USB端子である。赤外線センサ21は、照明装置22を介さずに室内空間60の天井に直接固定されていてもよい。また、赤外線センサ21は、壁などに固定されることにより、室内空間60を側方から見たときの温度分布を示す熱画像を生成してもよい。
 [第一通信装置の座標の推定動作例2]
 位置推定システム10aは、赤外線センサ21によって温度分布情報と、測位システム40によって提供される第一通信装置41の位置情報とを併用することで、画像に映る人によって保持された第一通信装置41(対象の第一通信装置41)の位置を高精度に推定する。以下、第一通信装置41の位置(座標)の推定動作例2について説明する。図10は、第一通信装置41の座標の推定動作例2のフローチャートである。
 サーバ装置30の通信部31は、赤外線センサ21から温度分布情報を受信する(S41)。受信された温度分布情報は、情報処理部32によって記憶部33に記憶される。上述のように、温度分布情報は、例えば、室内空間60を上方から見たときの温度分布を示す。
 次に、取得部34は、通信部31によって受信され、かつ、記憶部33に記憶された温度分布情報を取得し(S42)、推定部35は、取得された温度分布情報に超解像技術を適用することにより、温度分布情報を高解像度化する(S43)。以下のステップS43及びS44の説明では、温度分布情報を熱画像と記載する。
 例えば、推定部35は、熱画像に、SRGAN(Generative Adversarial Network for Super-Resolurion)を適用することにより、熱画像を高解像度化する。熱画像を高解像度化する方法についてはSRGANに限定されず、推定部35は、熱画像に、SRCNN(Super-Resolution Convolutional Neural Network)を適用することにより、熱画像を高解像度化してもよい。推定部35は、隣接画素の画素値(温度)の平均値を求めることで、隣接画素間に当該平均値に相当する画素値を有する新たな画素を挿入する方法により、熱画像を高解像度化してもよい。
 このような超解像技術によれば、安価な赤外線センサ21から高解像度の熱画像を生成することができる。なお、熱画像に超解像技術が適用されることは必須ではなく、熱画像を高解像度化する処理は省略されてもよい。
 次に、推定部35は、超解像技術が適用された後の熱画像(温度分布情報)に基づいて、室内空間60における人の座標を推定する(S44)。
 推定部35は、例えば、ディープラーニング(機械学習モデル)を用いた物体検出処理を熱画像に対して行うことにより、熱画像内における人の位置を推定し、熱画像内の人の位置を室内空間60における座標に変換する。推定部35は、具体的には、R-CNN、YOLO、または、SSDなどの手法に基づく物体検出処理を行う。これらの物体検出処理を行うための機械学習モデルは、一般的なカラー画像ではなく、例えば、室内空間60(あるいは他の室内空間)を上方から撮像することによって得られる熱画像を学習データとして構築される。
 また、記憶部33には、熱画像内の画素の位置と、室内空間60における座標との対応関係を示すテーブル情報が記憶されており、推定部35は、このようなテーブル情報を用いて、熱画像内における人の位置を室内空間60における人の座標に変換することができる。
 なお、熱画像が室内空間60を上方から見たときの温度分布を示す場合には、推定部35によって推定される人の位置の座標は、室内空間60を上方から見たときの二次元座標となる。
 以降、ステップS45~ステップS48の処理は、実施の形態1のステップS14~S17の処理と同様である。
 以上説明したように、位置推定システム10aは、温度分布情報、及び、測位システム40から取得した位置情報に基づいて、人が保持する対象の第一通信装置41の座標を高精度に推定することができる。なお、位置推定システム10aによる、第三通信装置50の座標(第三通信装置50が保持される物体の座標)の推定動作としては、実施の形態1で説明した物体の座標の推定動作例1及び物体の座標の推定動作例2のいずれの動作例が用いられてもよい。
 第一通信装置41の座標の推定動作例2では、推定部35は、取得部34によって取得された熱画像に対して物体検出処理を行うことで室内空間60における人の座標を推定した。しかしながら、推定部35は、熱画像を領域分割する処理を行ってもよい。推定部35は、具体的には、ディープラーニング(機械学習モデル)を用いたセグメンテーションを行ってもよい。推定部35は、熱画像内の当該人が映る領域の位置に基づいて、室内空間60における人の座標を推定することができる。セグメンテーションを行うための機械学習モデルは、例えば、室内空間60(あるいは他の室内空間)を上方から撮像することによって得られる熱画像を学習データとして構築される。
 また、推定部35は、機械学習モデルを使用しない、ルールベースのアルゴリズムに基づく情報処理を熱画像に対して行うことで人の座標を推定してもよい。例えば、推定部35は、熱画像に含まれる複数の画素のうち、画素値が極大値となる画素を検出する処理を行ってもよい。ここで、画素値が極大値となる画素とは、画素の二次元配置において画素値が極大値となる画素を意味する。画素値が極大値となる画素は、言い換えれば、画素の二次元配置において同一時刻における画素値を比較した場合に周囲の画素に比べて画素値が高い画素を意味する。画素値が極大値となる画素は1つの熱画像内に複数存在する場合がある。
 ここで、室内空間60に人よりも温度の高い熱源が存在しないと仮定すると、画素値が極大値となる画素であっても画素値が小さい(つまり、温度が低い)場合には、当該画素に対応する位置に人は存在しないと考えられる。そこで、推定部35は、画素値が極大値となる画素であって、画素値が所定値以上(例えば、30℃以上)である画素を検出した場合に、室内空間60に人が存在すると推定することができる。
 また、推定部35は、画素値が極大値となる画素であって、画素値が所定値以上(例えば、30℃以上)である画素の位置に上述のテーブル情報を適用することにより、室内空間60における人の位置の座標を推定することができる。
 また、ルールベースのアルゴリズムに基づく情報処理の別の例として、熱画像に含まれる複数の画素それぞれの画素値(温度)の経時変化を検出する処理が挙げられる。室内空間60に人以外の熱源が無いと仮定すると、かつ、室内空間60に人がいない場合には、熱画像に含まれる複数の画素それぞれの画素値(温度)の経時変化はゆるやかである。この状態で、室内空間60に人が入ると、熱画像のうち人が映っている部分の画素の画素値は急激に変化(上昇)する。推定部35は、複数の画素それぞれの画素値の経時変化を監視することにより、急激に画素値が上昇したときに室内空間60に人が存在すると推定することができる。
 また、推定部35は、急激に画素値上昇した画素の位置に上述のテーブル情報を適用することにより、室内空間60における人の位置の座標を推定することができる。
 (測位システムの変形例)
 測位システム40は、複数の第二通信装置42のそれぞれが送信するビーコン信号の第一通信装置41における受信信号強度に基づいて、第一通信装置41の位置を計測した。ここで、位置推定システム10または位置推定システム10aは、測位システム40に代えてもう一つの測位システムを備えてもよい。もう一つの測位システムは、例えば、第一通信装置が送信するビーコン信号の、複数の第二通信装置のそれぞれにおける受信信号強度に基づいて第一通信装置の位置を計測する測位システムである。つまり、位置推定システム10または位置推定システム10aは、測位システム40とビーコン信号の送信及び受信の関係が逆転した測位システムを備えてもよい。
 以下、このような変形例に係る測位システムについて説明する。図11は、変形例に係る測位システムの機能構成を示すブロック図である。図12は、変形例に係る測位システムが適用される室内空間60を示す図である。なお、図11では、サーバ装置30及び第三通信装置50も合わせて図示されている。
 図11及び図12に示されるように、測位システム70は、室内空間60に位置する第一通信装置71と室内空間60に設置された複数の第二通信装置72それぞれとの通信状態に基づいて室内空間60における物体の位置を計測する。測位システム70は、複数の第一通信装置71と、複数の第二通信装置72と、測位用サーバ装置73とを備える。なお、測位システム70は、少なくとも1つの第一通信装置71を備えればよい。
 第一通信装置71は、ビーコン信号を送信するビーコン送信機である。第一通信装置71は、例えば、ビーコン送信機として動作することが可能な携帯型の情報端末(スマートフォンなど)であるが、専用のビーコン送信機であってもよい。図12に示されるように、第一通信装置71は、室内空間60に位置する人に保持される。ビーコン信号には、第一通信装置71の第一識別情報が含まれる。
 なお、第一通信装置41と同様に、第一通信装置71は、第三通信装置50が送信するビーコン信号を受信するビーコン受信機としても機能する。第一通信装置71は、具体的には、第三通信装置50が送信するビーコン信号を受信し、受信したビーコン信号の受信信号強度を計測する。また、第一通信装置71は、計測した受信信号強度に、ビーコン信号に含まれる第三通信装置50の第三識別情報、及び、第一通信装置71自体の第一識別情報を対応付けた信号強度情報を測位用サーバ装置73へ送信する。
 第二通信装置72は、第一通信装置71によって送信されるビーコン信号を受信するビーコン受信機(スキャナ)である。また、第二通信装置72は、受信したビーコン信号の受信信号強度(RSSI)を計測し、計測した受信信号強度に、ビーコン信号に含まれる第一識別情報、及び、第二通信装置72自体の第二識別情報を対応付けた信号強度情報を測位用サーバ装置73へ送信する。
 図12に示されるように、第二通信装置72は、例えば、室内空間60の天井に設置された照明装置22が有する給電端子に着脱自在に接続され、照明装置22から給電を受けて動作する。給電端子は、例えば、USB端子である。第二通信装置72は、照明装置22を介さずに室内空間60の天井に直接固定されていてもよい。また、第二通信装置72は、壁などに固定されてもよい。なお、図12に示されるように、複数の第二通信装置72は、上方から見て二次元的に分散配置されている。
 測位用サーバ装置73は、複数の第二通信装置72のそれぞれから、第一通信装置71が送信するビーコン信号の信号強度情報を取得し、取得した信号強度情報に基づいて、第一通信装置71の位置を計測する。測位用サーバ装置73は、室内空間60を構成する施設(建物)に設けられたエッジコンピュータであるが、当該施設外に設けられたクラウドコンピュータであってもよい。測位用サーバ装置73は、通信部74と、情報処理部75と、記憶部76とを備える。
 通信部74は、測位用サーバ装置73が複数の第二通信装置72、及び、サーバ装置30と通信するための通信モジュール(通信回路)である。通信部74は、例えば、複数の第二通信装置72のそれぞれから信号強度情報を受信する。また、通信部74は、サーバ装置30へ室内空間60に位置する物体の位置情報を送信する。通信部74によって行われる通信は、無線通信であってもよいし、有線通信であってもよい。通信に用いられる通信規格についても特に限定されない。
 情報処理部75は、通信部74によって受信された複数の信号強度情報に基づいて第一通信装置71の位置を計測し、計測した位置を示す位置情報を出力する。出力された位置情報は、通信部74によってサーバ装置30へ送信される。
 例えば、情報処理部75は、第一通信装置71が送信するビーコン信号に含まれる第一識別情報、及び、第二通信装置72自体の第二識別情報を含む複数の信号強度情報と、室内空間60における複数の第二通信装置72の配置(設置位置)を示す配置情報とに基づいて、第一通信装置71の位置を計測し、計測した位置に第一通信装置71の第一識別情報を対応付けた位置情報を出力する。配置情報は、具体的には、第二通信装置72の第二識別情報と第二通信装置72の設置位置の座標(二次元座標)とを対応付けた情報である。複数の信号強度情報及び配置情報に基づいて位置を計測する方法については、既存のどのようなアルゴリズムが用いられてもよい。
 情報処理部75は、具体的には、プロセッサまたはマイクロコンピュータによって実現される。情報処理部75の機能は、情報処理部75を構成するプロセッサまたはマイクロコンピュータが記憶部76に記憶されたコンピュータプログラムを実行することによって実現される。
 記憶部76は、通信部74によって受信された信号強度情報、複数の第二通信装置72の配置を示す配置情報、及び、情報処理部75が実行するコンピュータプログラムなどが記憶される記憶装置である。記憶部76は、具体的には、半導体メモリまたはHDDなどによって実現される。
 このように測位システム70は、複数の第二通信装置72のそれぞれが送信するビーコン信号の第一通信装置71における受信信号強度に基づいて、第一通信装置71の位置を計測することができる。測位システム70は、具体的には、室内空間60のどこにどのような物体が位置するかを計測することができる。位置推定システム10または位置推定システム10aは、測位システム40に代えて、測位システム70を備えてもよい。この場合、サーバ装置30の位置情報取得部36は、測位システム70から位置情報を取得し、取得部34は、第一通信装置71から信号強度情報を取得する。
 (まとめ)
 以上説明したように、位置推定システム10または位置推定システム10aは、人が位置する室内空間60が映る画像の画像情報、及び、室内空間60の温度分布情報のいずれかの情報を取得する取得部34と、取得された情報に基づいて、室内空間60における人の座標を推定する推定部35と、室内空間60に位置する第一通信装置と室内空間60に設置された複数の第二通信装置それぞれとの通信状態に基づいて第一通信装置の位置を計測する測位システムから第一通信装置の位置情報を取得する位置情報取得部36とを備える。推定部35は、推定された人の座標、及び、取得された位置情報に基づいて、人が保持する対象の第一通信装置の座標を推定し、人以外の物体に保持された第三通信装置50と対象の第一通信装置との通信状態、及び、推定された対象の第一通信装置の座標に基づいて、室内空間60における物体の座標を推定する。ここでの測位システムは、測位システム40または測位システム70であり、第一通信装置は、第一通信装置41または第一通信装置71であり、第二通信装置は、第二通信装置42または第二通信装置72である。
 このような位置推定システム10または位置推定システム10aは、室内空間60における物体の座標を推定することができる。
 また、例えば、推定部35は、対象の第一通信装置の座標の経時変化に応じた、第三通信装置50と対象の第一通信装置との通信状態の変化に基づいて、物体の座標を推定する。
 このような位置推定システム10または位置推定システム10aは、1つの対象の第一通信装置に関する情報に基づいて、室内空間60における物体の座標を推定することができる。
 また、例えば、推定部35は、互いに異なる人に保持された複数の対象の第一通信装置それぞれの座標を推定し、第三通信装置50と複数の対象の第一通信装置それぞれとの通信状態、及び、推定された複数の対象の第一通信装置の座標に基づいて、室内空間60における物体の座標を推定する。
 このような位置推定システム10または位置推定システム10aは、複数の対象の第一通信装置に関する情報に基づいて、室内空間60における物体の座標を推定することができる。
 また、位置推定システム10においては、取得部34は、室内空間60を上方から見たときの画像の画像情報を取得する。推定部35は、取得された画像情報に基づいて座標を推定する。座標は、室内空間60を上方から見たときの二次元座標である。
 このような位置推定システム10は、画像情報に基づいて、室内空間60における物体の座標を推定することができる。
 また、位置推定システム10aにおいては、取得部34は、室内空間60を上方から見たときの室内空間60の温度分布を示す温度分布情報を取得する。推定部35は、取得された温度分布情報に基づいて座標を推定する。座標は、室内空間60を上方から見たときの二次元座標である。
 このような位置推定システム10aは、温度分布情報に基づいて、室内空間60における物体の座標を推定することができる。
 また、例えば、測位システム40は、複数の第二通信装置42のそれぞれが送信するビーコン信号の第一通信装置41における受信信号強度に基づいて第一通信装置41の位置を計測する。
 このような位置推定システム10または位置推定システム10aは、測位システム40から提供される位置情報に基づいて、室内空間60における物体の座標を推定することができる。
 また、例えば、測位システム70は、第一通信装置71が送信するビーコン信号の、複数の第二通信装置72のそれぞれにおける受信信号強度に基づいて第一通信装置71の位置を計測する。
 このような位置推定システム10または位置推定システム10aは、測位システム70から提供される位置情報に基づいて、室内空間60における物体の座標を推定することができる。
 また、例えば、物体は、人以外の物体である。
 このような位置推定システム10または位置推定システム10aは、室内空間60における人以外の物体(有体物)の座標を推定することができる。
 また、例えば、物体は、人である。
 このような位置推定システム10または位置推定システム10aは、室内空間60における人の座標を推定することができる。
 また、位置推定システム10または位置推定システム10aなどのコンピュータによって実行される位置推定方法は、人が位置する室内空間60が映る画像の画像情報、及び、室内空間60の温度分布情報のいずれかの情報を取得する取得ステップと、取得された情報に基づいて、室内空間60における人の座標を推定する第一推定ステップと、室内空間60に位置する第一通信装置と室内空間60に設置された複数の第二通信装置それぞれとの通信状態に基づいて第一通信装置の位置を計測する測位システムから第一通信装置の位置情報を取得する位置情報取得ステップと、推定された人の座標、及び、取得された位置情報に基づいて、人が保持する対象の第一通信装置の座標を推定する第二推定ステップと、人以外の物体に保持された第三通信装置50と対象の第一通信装置との通信状態、及び、推定された対象の第一通信装置の座標に基づいて、室内空間60における物体の座標を推定する第三推定ステップとを含む。
 このような位置推定方法は、室内空間60における物体の座標を推定することができる。
 (その他の実施の形態)
 以上、実施の形態に係る位置推定システム、及び、位置推定方法について説明したが、本発明は、上記実施の形態に限定されるものではない。
 また、上記実施の形態では、位置推定システムは、複数の装置によって実現されたが、単一の装置として実現されてもよい。例えば、位置推定システムは、サーバ装置に相当する単一の装置として実現されてもよい。位置推定システムが複数の装置によって実現される場合、位置推定システムが備える各構成要素は、複数の装置にどのように振り分けられてもよい。例えば、測位用サーバ装置の機能の一部または全部は、サーバ装置によって備えられてもよい。
 また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
 また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
 また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路(または集積回路)でもよい。これらの回路は、全体として1つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
 また、本発明の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
 例えば、本発明は、位置推定システムなどのコンピュータによって実行される位置推定方法として実現されてもよい。また、本発明は、位置推定方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記憶された、コンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。
 その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。
 10、10a 位置推定システム
 20 カメラ
 21 赤外線センサ
 22 照明装置
 30 サーバ装置
 31、44、74 通信部
 32、45、75 情報処理部
 33、46、76 記憶部
 34 取得部
 35 推定部
 36 位置情報取得部
 40、70 測位システム
 41、71 第一通信装置
 42、72 第二通信装置
 43、73 測位用サーバ装置
 50 第三通信装置
 60 室内空間(空間)

Claims (11)

  1.  人が位置する空間が映る画像の画像情報、及び、前記空間の温度分布情報のいずれかの情報を取得する取得部と、
     取得された前記情報に基づいて、前記空間における前記人の座標を推定する推定部と、
     前記空間に位置する第一通信装置と前記空間に設置された複数の第二通信装置それぞれとの通信状態に基づいて前記第一通信装置の位置を計測する測位システムから前記第一通信装置の位置情報を取得する位置情報取得部とを備え、
     前記推定部は、
     推定された前記人の座標、及び、取得された前記位置情報に基づいて、前記人が保持する対象の第一通信装置の座標を推定し、
     前記人以外の物体に保持された第三通信装置と前記対象の第一通信装置との通信状態、及び、推定された前記対象の第一通信装置の座標に基づいて、前記空間における前記物体の座標を推定する
     位置推定システム。
  2.  前記推定部は、前記対象の第一通信装置の座標の経時変化に応じた、前記第三通信装置と前記対象の第一通信装置との通信状態の変化に基づいて、前記物体の座標を推定する
     請求項1に記載の位置推定システム。
  3.  前記推定部は、
     互いに異なる人に保持された複数の前記対象の第一通信装置それぞれの前記座標を推定し、
     前記第三通信装置と複数の前記対象の第一通信装置それぞれとの通信状態、及び、推定された複数の前記対象の第一通信装置の座標に基づいて、前記空間における前記物体の座標を推定する
     請求項1に記載の位置推定システム。
  4.  前記取得部は、前記空間を上方から見たときの前記画像の前記画像情報を取得し、
     前記推定部は、取得された前記画像情報に基づいて前記座標を推定し、
     前記座標は、前記空間を上方から見たときの二次元座標である
     請求項1~3のいずれか1項に記載の位置推定システム。
  5.  前記取得部は、前記空間を上方から見たときの前記空間の温度分布を示す前記温度分布情報を取得し、
     前記推定部は、取得された前記温度分布情報に基づいて前記座標を推定し、
     前記座標は、前記空間を上方から見たときの二次元座標である
     請求項1~3のいずれか1項に記載の位置推定システム。
  6.  前記測位システムは、前記複数の第二通信装置のそれぞれが送信するビーコン信号の前記第一通信装置における受信信号強度に基づいて前記第一通信装置の位置を計測する
     請求項1~3のいずれか1項に記載の位置推定システム。
  7.  前記測位システムは、前記第一通信装置が送信するビーコン信号の、前記複数の第二通信装置のそれぞれにおける受信信号強度に基づいて前記第一通信装置の位置を計測する
     請求項1~3のいずれか1項に記載の位置推定システム。
  8.  前記物体は、人以外の物体である
     請求項1~3のいずれか1項に記載の位置推定システム。
  9.  前記物体は、人である
     請求項1~3のいずれか1項に記載の位置推定システム。
  10.  人が位置する空間が映る画像の画像情報、及び、前記空間の温度分布情報のいずれかの情報を取得する取得ステップと、
     取得された前記情報に基づいて、前記空間における前記人の座標を推定する第一推定ステップと、
     前記空間に位置する第一通信装置と前記空間に設置された複数の第二通信装置それぞれとの通信状態に基づいて前記第一通信装置の位置を計測する測位システムから前記第一通信装置の位置情報を取得する位置情報取得ステップと、
     推定された前記人の座標、及び、取得された前記位置情報に基づいて、前記人が保持する対象の第一通信装置の座標を推定する第二推定ステップと、
     前記人以外の物体に保持された第三通信装置と前記対象の第一通信装置との通信状態、及び、推定された前記対象の第一通信装置の座標に基づいて、前記空間における前記物体の座標を推定する第三推定ステップとを含む
     位置推定方法。
  11.  請求項10に記載の位置推定方法をコンピュータに実行させるためのプログラム。
PCT/JP2022/031809 2021-08-31 2022-08-24 位置推定システム、及び、位置推定方法 WO2023032769A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280054907.9A CN117795365A (zh) 2021-08-31 2022-08-24 位置估计系统和位置估计方法
JP2023545483A JPWO2023032769A1 (ja) 2021-08-31 2022-08-24

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021140758 2021-08-31
JP2021-140758 2021-08-31

Publications (1)

Publication Number Publication Date
WO2023032769A1 true WO2023032769A1 (ja) 2023-03-09

Family

ID=85412531

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/031809 WO2023032769A1 (ja) 2021-08-31 2022-08-24 位置推定システム、及び、位置推定方法

Country Status (3)

Country Link
JP (1) JPWO2023032769A1 (ja)
CN (1) CN117795365A (ja)
WO (1) WO2023032769A1 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007316028A (ja) * 2006-05-29 2007-12-06 Nippon Telegr & Teleph Corp <Ntt> 位置情報提供システムおよび移動通信装置
JP2015152479A (ja) 2014-02-17 2015-08-24 大阪瓦斯株式会社 位置情報取得システム
JP2016217931A (ja) * 2015-05-22 2016-12-22 株式会社野村総合研究所 移動体探索サーバ、移動体探索方法、移動体探索プログラム、および移動体探索システム
JP2018096952A (ja) * 2016-12-16 2018-06-21 富士ゼロックス株式会社 情報処理装置、画像処理装置及びプログラム
JP2019100817A (ja) * 2017-11-30 2019-06-24 株式会社東芝 位置推定装置、位置推定方法及び端末装置
JP2019174164A (ja) * 2018-03-27 2019-10-10 Kddi株式会社 物体認識情報及び受信電磁波情報に係るモデルを用いて端末位置を推定する装置、プログラム及び方法
JP2020112441A (ja) * 2019-01-11 2020-07-27 株式会社Where 情報処理装置、位置算出システム
JP2020122726A (ja) * 2019-01-31 2020-08-13 株式会社Soken 車両用位置推定システム
US20200333421A1 (en) * 2019-04-17 2020-10-22 Apple Inc. Fastener with a constrained retention ring
JP2021109750A (ja) * 2020-01-10 2021-08-02 サトーホールディングス株式会社 物品管理システムおよび物品管理方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007316028A (ja) * 2006-05-29 2007-12-06 Nippon Telegr & Teleph Corp <Ntt> 位置情報提供システムおよび移動通信装置
JP2015152479A (ja) 2014-02-17 2015-08-24 大阪瓦斯株式会社 位置情報取得システム
JP2016217931A (ja) * 2015-05-22 2016-12-22 株式会社野村総合研究所 移動体探索サーバ、移動体探索方法、移動体探索プログラム、および移動体探索システム
JP2018096952A (ja) * 2016-12-16 2018-06-21 富士ゼロックス株式会社 情報処理装置、画像処理装置及びプログラム
JP2019100817A (ja) * 2017-11-30 2019-06-24 株式会社東芝 位置推定装置、位置推定方法及び端末装置
JP2019174164A (ja) * 2018-03-27 2019-10-10 Kddi株式会社 物体認識情報及び受信電磁波情報に係るモデルを用いて端末位置を推定する装置、プログラム及び方法
JP2020112441A (ja) * 2019-01-11 2020-07-27 株式会社Where 情報処理装置、位置算出システム
JP2020122726A (ja) * 2019-01-31 2020-08-13 株式会社Soken 車両用位置推定システム
US20200333421A1 (en) * 2019-04-17 2020-10-22 Apple Inc. Fastener with a constrained retention ring
JP2021109750A (ja) * 2020-01-10 2021-08-02 サトーホールディングス株式会社 物品管理システムおよび物品管理方法

Also Published As

Publication number Publication date
CN117795365A (zh) 2024-03-29
JPWO2023032769A1 (ja) 2023-03-09

Similar Documents

Publication Publication Date Title
CN111337142A (zh) 体温修正方法、装置及电子设备
JP5873864B2 (ja) オブジェクト追跡及び認識方法及び装置
US9295141B2 (en) Identification device, method and computer program product
KR102044493B1 (ko) 타겟 장치의 위치를 결정하기 위한 방법 및 그 전자 장치
WO2003092291A1 (fr) Dispositif de detection d&#39;objet, serveur de detection d&#39;objet et procede de detection d&#39;objet
US11037014B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US20130293721A1 (en) Imaging apparatus, imaging method, and program
JP2018061114A (ja) 監視装置および監視方法
US10997474B2 (en) Apparatus and method for person detection, tracking, and identification utilizing wireless signals and images
US9606639B2 (en) Pointing system and display having improved operable range
US9971434B2 (en) Method and system for estimating finger movement with selection of navigation subareas
US20230121253A1 (en) Dynamic radiometric thermal imaging compensation
WO2023032769A1 (ja) 位置推定システム、及び、位置推定方法
WO2023032507A1 (ja) 位置推定システム、及び、位置推定方法
EP4397989A1 (en) Position estimation system and position estimation method
CN111414967A (zh) 提高测温系统鲁棒性的方法及监测系统
EP4397988A1 (en) Position estimation system and position estimation method
JP4137910B2 (ja) 測位装置、識別情報発信装置、受信装置、測位システム、測位方法及びコンピュータプログラム並びに記録媒体
JP5262148B2 (ja) ランドマーク検出装置および方法ならびにプログラム
KR102050418B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
WO2022030548A1 (ja) 監視情報処理装置、方法およびプログラム
JP2021169963A (ja) 位置特定方法、及び位置特定システム
WO2023032770A1 (ja) 人検知システム、及び、人検知方法
CN109564084B (zh) 记录介质、位置推断装置以及位置推断方法
JP2005157635A (ja) 混雑度計測装置、設備制御システム、および混雑度計測方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22864353

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023545483

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280054907.9

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022864353

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022864353

Country of ref document: EP

Effective date: 20240402