WO2023135781A1 - 転倒検出装置、システム及び方法、並びに、コンピュータ可読媒体 - Google Patents

転倒検出装置、システム及び方法、並びに、コンピュータ可読媒体 Download PDF

Info

Publication number
WO2023135781A1
WO2023135781A1 PCT/JP2022/001285 JP2022001285W WO2023135781A1 WO 2023135781 A1 WO2023135781 A1 WO 2023135781A1 JP 2022001285 W JP2022001285 W JP 2022001285W WO 2023135781 A1 WO2023135781 A1 WO 2023135781A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
vehicle
fall detection
road area
image
Prior art date
Application number
PCT/JP2022/001285
Other languages
English (en)
French (fr)
Inventor
智希 北堀
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/001285 priority Critical patent/WO2023135781A1/ja
Publication of WO2023135781A1 publication Critical patent/WO2023135781A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions

Definitions

  • the present invention relates to fall detection devices, systems, methods, and programs.
  • Patent Document 1 discloses a technique for detecting the behavior of an elderly person from a monitoring target image captured by an in-vehicle camera.
  • Patent Literature 2 discloses a technique for determining the possibility of a two-wheeled vehicle overturning from an image of the two-wheeled vehicle in front captured by an in-vehicle camera.
  • the purpose of the present disclosure is to provide a fall detection device, system, method, and program for improving the accuracy of detecting a fallen person outside the vehicle from the image captured by the vehicle-mounted camera.
  • a fall detection device includes: a first detection means for detecting a skeletal point of a person outside the vehicle from the first image captured by the first vehicle-mounted camera; a second detection means for detecting a road area indicating a road area from the first image; determining means for determining whether or not the person has fallen on the road based on the positional relationship between the skeleton points and the road area; Prepare.
  • a fall detection system includes: a first in-vehicle camera; a fall detection device,
  • the fall detection device includes: a first detection means for detecting skeletal points of a person outside the vehicle from the first image captured by the first vehicle-mounted camera; a second detection means for detecting a road area indicating a road area from the first image; determining means for determining whether or not the person has fallen on the road based on the positional relationship between the skeleton points and the road area; Prepare.
  • a fall detection method includes: the computer Detecting the skeletal points of a person outside the vehicle from the first image captured by the first vehicle-mounted camera, detecting a road area indicating a road area from the first image; Based on the positional relationship between the skeleton points and the road area, it is determined whether or not the person has fallen on the road.
  • a non-transitory computer-readable medium comprises: a first detection process for detecting skeletal points of a person outside the vehicle from a first image captured by a first vehicle-mounted camera; a second detection process for detecting a road area indicating a road area from the first image; a determination process for determining whether or not the person has fallen on the road based on the positional relationship between the skeleton points and the road area; A fall detection program that causes the computer to execute is stored.
  • a fall detection device, system, method, and program for improving the accuracy of detecting a person who has fallen outside the vehicle from an image captured by an in-vehicle camera.
  • FIG. 1 is a block diagram showing the configuration of the overturn detection device according to the first embodiment;
  • FIG. 4 is a flow chart showing the flow of a fall detection method according to the first embodiment;
  • FIG. 11 is a block diagram showing the overall configuration including the fall detection system according to the second embodiment;
  • FIG. 11 is a block diagram showing the configuration of the fall detection device according to the second embodiment;
  • 10 is a flow chart showing the flow of overturn detection processing according to the second embodiment.
  • FIG. 11 is a diagram for explaining the concept of overturn detection according to the second embodiment;
  • FIG. 12 is a block diagram showing the overall configuration including the fall detection system according to the third embodiment;
  • FIG. 12 is a block diagram showing the configuration of a turnover detection device according to a fourth embodiment;
  • FIG. 14 is a flow chart showing the flow of overturn detection processing according to the fourth embodiment
  • FIG. FIG. 11 is a block diagram showing the overall configuration including a fall detection system according to a fifth embodiment
  • FIG. 14 is a diagram showing an example of the positional relationship between a person on a roadway and a plurality of vehicles according to Embodiment 5
  • 14 is a flow chart showing the flow of overturn detection processing according to the fifth embodiment.
  • FIG. 1 is a block diagram showing the configuration of the fall detection device 1 according to the first embodiment.
  • a fall detection device 1 is an information processing device for detecting a fall of a person.
  • the fall detection device 1 includes a first detection section 11 , a second detection section 12 and a determination section 13 .
  • the first detection unit 11 detects the skeletal points of the person outside the vehicle from the first image captured by the first vehicle-mounted camera (not shown).
  • a second detection unit 12 detects a road area indicating a road area from the first image.
  • each of the first detection unit 11 and the second detection unit 12 may detect skeleton points and road regions by image recognition processing.
  • the determination unit 13 determines whether or not the person has fallen on the road based on the positional relationship between the skeleton points and the road area.
  • FIG. 2 is a flow chart showing the flow of the overturn detection method according to the first embodiment.
  • the first detection unit 11 detects skeletal points of a person outside the vehicle from the first image captured by the first vehicle-mounted camera (S11).
  • the second detection unit 12 detects a road area indicating a road area from the first image (S12).
  • the determination unit 13 determines whether or not the person has fallen on the road based on the positional relationship between the skeleton points and the road area (S13).
  • the fall detection device 1 detects the posture of a person outside the vehicle by analyzing the image captured by the vehicle-mounted camera and detecting the skeletal points of the person. Therefore, the fall detection device 1 can identify the positional relationship of the parts of the person's body on the road, for example, the coordinate information of each part in the three-dimensional space. Further, the fall detection device 1 can analyze the same photographed image to identify the road area, that is, the coordinate information of the ground in the three-dimensional space. Since the fall detection device 1 can grasp the positional relationship between the skeletal points and the road area, it can accurately determine whether or not a person has fallen on the road, and can accurately detect a person who has fallen.
  • the overturn detection device 1 includes a processor, a memory, and a storage device (not shown). Further, the storage device stores a computer program in which the processing of the overturn detection method according to the present embodiment is implemented. Then, the processor loads a computer program or the like from the storage device into the memory and executes the computer program. Thereby, the processor implements the functions of the first detection unit 11 , the second detection unit 12 and the determination unit 13 .
  • each component of the fall detection device 1 may be realized by dedicated hardware. Also, part or all of each component of each device may be implemented by general-purpose or dedicated circuitry, processors, etc., or combinations thereof. These may be composed of a single chip, or may be composed of multiple chips connected via a bus. A part or all of each component of each device may be implemented by a combination of the above-described circuits and the like and programs.
  • a processor a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (Field-Programmable Gate Array), a quantum processor (quantum computer control chip), or the like can be used.
  • FIG. 3 is a block diagram showing the overall configuration including the fall detection system 1000 according to the second embodiment.
  • the fall detection system 1000 is an information system for detecting a faller among persons outside the vehicle 1001 .
  • FIG. 3 shows an example in which the fall detection system 1000 detects whether or not the person U on the roadway on which the vehicle 1001 is traveling has fallen. However, the person U may be on the sidewalk. Therefore, in the following description, the term "road” includes roadways, sidewalks, and the like.
  • a vehicle 1001 is running with an in-vehicle camera 100 and a fall detection device 200 installed.
  • the in-vehicle camera 100 is a photographing device that photographs at least one of the traveling direction (forward), rearward, and lateral of the vehicle 1001 .
  • Vehicle-mounted camera 100 captures an image of an imaging range at predetermined intervals, and outputs the captured image to fall detection device 200 .
  • Vehicle-mounted camera 100 is an example of the first vehicle-mounted camera described above.
  • the fall detection device 200 is an example of the fall detection device 1 described above, and is an information processing device mounted on the vehicle 1001 .
  • the fall detection device 200 is, for example, an ECU (Electronic Control Unit) that controls the vehicle 1001 or the like.
  • ECU Electronic Control Unit
  • fall detection apparatus 200 may be redundantly provided by a plurality of computers, and each functional block may be implemented by a plurality of computers.
  • the fall detection device 200 is communicably connected to the emergency system 300 via the network N.
  • the network N is a communication network including a wireless communication network, a mobile phone network, and the like.
  • Network N may include the Internet.
  • the communication network does not care about the type of communication protocol.
  • the fall detection device 200 analyzes the image received from the in-vehicle camera 100, determines whether or not the person U in the image is a person who has fallen, and if it is determined to be a person who has fallen, indicates that the person has been detected and the current position. , to the emergency system 300 via the network N.
  • the emergency system 300 is an information system that, in response to a notification from the fall detection device 200, issues an instruction to dispatch an ambulance or the like to the location indicated by the current position.
  • FIG. 4 is a block diagram showing the configuration of the fall detection device 200 according to the second embodiment.
  • the fall detection device 200 includes a storage section 210 , a memory 220 , an IF (InterFace) section 230 and a control section 240 .
  • the storage unit 210 is an example of a storage device such as a hard disk or flash memory.
  • Storage unit 210 stores fall detection program 211 , first threshold 212 and second threshold 213 .
  • the fall detection program 211 is a computer program in which the fall detection process and the like according to the second embodiment are implemented.
  • the first threshold 212 is a threshold of the distance between the head of the person U and the ground for determining that the person U has fallen.
  • a second threshold 213 is a threshold of the distance between the knee portion of the person U and the ground for determining that the person U has fallen.
  • the memory 220 is a volatile storage device such as RAM (Random Access Memory), and is a storage area for temporarily holding information when the control unit 240 operates.
  • the IF unit 230 is a communication interface between the interior of the fall detection device 200 and the vehicle-mounted camera 100 and the network N. FIG.
  • the control unit 240 is a processor that controls each component of the fall detection device 200, that is, a control device.
  • the control unit 240 loads the overturn detection program 211 from the storage unit 210 into the memory 220 and executes the overturn detection program 211 .
  • the control unit 240 realizes the functions of the acquisition unit 241 , the first detection unit 242 , the second detection unit 243 , the determination unit 244 , the calculation unit 245 and the output unit 246 .
  • the acquisition unit 241 acquires an image captured by the vehicle-mounted camera 100 and output.
  • the first detection unit 242 is an example of the first detection unit 11 described above.
  • the first detection unit 242 detects skeletal points of the person U outside the vehicle from the first image captured by the vehicle-mounted camera 100 .
  • the first detection unit 242 detects a body shape area of the person U in the image by the first image recognition processing, and detects a set of skeletal points of the person U from the detected area.
  • the skeleton point is information indicating a characteristic part of the skeleton of the person U, that is, a representative point.
  • the skeletal points preferably include coordinate information (information indicating positions) in a three-dimensional space and information indicating parts of the body. That is, the skeletal points preferably include height information from the road in addition to information indicating the position when the road is a plane.
  • body parts include, for example, the head, shoulders, elbows, hands, hips, knees, feet, etc., but are not limited to these.
  • the first detection unit 242 may detect the posture of the person U through the first image recognition process. Further, the first detection unit 242 may detect a set of skeletal points of the person U from a plurality of images continuously captured by the vehicle-mounted camera 100, that is, video data.
  • a known skeleton detection algorithm, posture estimation algorithm, or the like may be used for the first image recognition processing.
  • the first image recognition processing may use a first AI (Artificial Intelligence) model that receives an image of a person as an input and outputs a set of skeletal points of the person.
  • the first AI model is used for learning including images of various human postures such as falling postures, crouching postures, standing postures, etc., and correct data of a set of human skeleton points in each image. It is preferable that it is a trained model that has been machine-learned using data.
  • the second detection unit 243 is an example of the second detection unit 12 described above.
  • the second detection unit 243 detects a road area indicating a road area from the first image.
  • the second detection unit 243 detects the road area in the image by the second image recognition processing.
  • the road area may be coordinate information (information indicating position) in the same three-dimensional space as the skeleton points described above. However, if there is no height difference on the road, two-dimensional coordinate information omitting the height information may be used as the information indicating the position.
  • Segmentation techniques such as instance segmentation and semantic segmentation may be used for the second image recognition processing.
  • the second image recognition processing may attach a label indicating the type of region to each pixel in the image.
  • the second image recognition processing may use a second AI model that outputs each pixel in the input image with a label indicating whether it is a road or not.
  • the second AI model is used for learning including a plurality of images of roads captured by various in-vehicle cameras and correct answer data in which each pixel in each image is labeled to indicate whether it is a road or not. It is preferable that it is a trained model that has been machine-learned using data.
  • the determination unit 244 is an example of the determination unit 13 described above.
  • the determination unit 244 determines whether or not the person U has fallen on the road based on the positional relationship between the skeleton points and the road area. In particular, the determination unit 244 determines the distance from the ground at the skeleton point calculated from the position of the skeleton point and the position of the road area as the positional relationship.
  • the determination unit 244 may also determine whether or not the first detection unit 242 has detected a set of skeleton points from the image.
  • the determination unit 244 may also determine whether or not the second detection unit 243 has detected a road area from the image.
  • the determination unit 244 determines whether or not the skeletal points of the head have been detected. When the skeletal point of the head is detected, the determination unit 244 determines whether or not the first distance between the head and the ground calculated by the calculation unit 245, which will be described later, is equal to or less than the first threshold value 212. . The determination unit 244 determines that the person U has fallen when the first distance is equal to or less than the first threshold value 212 .
  • the determination unit 244 determines whether or not the skeletal point of the knee portion has been detected. When the skeletal point of the knee portion is detected, the determination unit 244 determines whether or not the second distance between the knee portion and the ground calculated by the calculation unit 245 is equal to or less than the second threshold value 213 . The determination unit 244 determines that the person U has fallen when the second distance is equal to or less than the second threshold value 213 .
  • the determination unit 244 preferably determines whether the second distance is equal to or less than the second threshold value 213. . Accordingly, when the head is detected, the determination process using the second threshold value 213 can be omitted, and the processing cost can be reduced.
  • the calculation unit 245 is an example of first calculation means and second calculation means.
  • the calculation unit 245 calculates a first distance from the ground to the skeletal point of the head based on the road area.
  • the calculator 245 calculates the first distance from the position of the skeletal point of the head and the position of the road region.
  • the calculation unit 245 may compare the positional coordinates of the head on the plane with the positional coordinates of the road area on the plane, and calculate the difference between the coordinates in the height direction at the matching points as the first distance. .
  • the calculation unit 245 may calculate the shortest distance between the position of the head and the position of the road area as the first distance.
  • the calculation unit 245 calculates a second distance from the ground at the skeleton point of the knee portion based on the road area. Specifically, the calculation unit 245 calculates the second distance by replacing the skeletal points of the head in the first distance calculation process with the skeletal points of the knees.
  • the output unit 246 When the determination unit 244 determines that the person U in the image is a person who has fallen, the output unit 246 outputs at least the fact that the person who has fallen has been detected. For example, when the vehicle 1001 is equipped with a display device, the output unit 246 outputs an image including the person U and information indicating that the person U is a fallen person to the display device, and displays the image on the screen of the display device. You may let In addition, when the vehicle 1001 can acquire the current position information (current position) by the GPS (Global Positioning System) function or the like, the fact that the fallen person has been detected and the current position are sent to the emergency system 300 via the network N. You may send.
  • GPS Global Positioning System
  • FIG. 5 is a flow chart showing the flow of overturn detection processing according to the second embodiment.
  • in-vehicle camera 100 photographs the road and outputs the photographed image to fall detection device 200 .
  • fall detection device 200 acquires an image captured by vehicle-mounted camera 100 (S101).
  • fall detection device 200 detects a set of skeletal points of a person outside the vehicle from the image (S102).
  • the fall detection device 200 also detects a road area from the image (S103).
  • S101 vehicle-mounted camera 100
  • S102 vehicle-mounted camera 100
  • S103 road area from the image
  • the fall detection device 200 determines whether or not the skeletal points of the head have been detected (S104). If the skeletal point of the head is detected (YES in S104), fall detection device 200 calculates a first distance between the head and the ground (S105). Then, the fall detection device 200 determines whether or not the first distance is equal to or less than the first threshold (S106). If the first distance is equal to or less than the first threshold (YES in S106), the fall detection device 200 determines that the person U in the image is a fallen person (S110). This is because the possibility that the person U has fallen is extremely high when the head is somewhat close to the ground. Therefore, by prioritizing determination over other sites among the skeleton points, the processing load for calculating and determining distances in other sites is reduced, and the detection speed of a fallen person is also improved.
  • the fall detection device 200 determines whether or not the skeletal point of the knee is detected (S107). If the skeletal point of the knee portion is detected (YES in S107), fall detection device 200 calculates a second distance between the knee portion and the ground (S108). Then, the fall detection device 200 determines whether or not the second distance is equal to or less than the second threshold (S109). If the second distance is equal to or less than the second threshold (YES in S109), the fall detection device 200 determines that the person U in the image is a fallen person (S110).
  • the in-vehicle camera 100 may not image the head, and the skeletal points of the head may not be detected.
  • the skeletal points of the head may not be detected.
  • the processing load can be reduced by not performing the calculation and determination processing of the second distance using the skeletal points of the knee portion.
  • fall detection apparatus 200 identifies person U in the image as a person who has fallen. , and terminates the process. Further, even if the skeleton point of the knee portion is not detected in step S107, the fall detection device 200 ends the processing. Note that if the skeletal point of the knee portion is not detected in step S107, fall detection apparatus 200 calculates a third distance between the other portion of the skeletal points and the ground, and the third distance is the third distance. If it is equal to or less than the threshold, the person U in the image may be determined as the fallen person.
  • step S107 may be performed prior to the detection and determination of the head in step S104.
  • the detection and determination of parts other than the head and knee parts may be performed.
  • step S110 the fall detection device 200 outputs that a fallen person has been detected as described above (S111).
  • FIG. 6 is a diagram for explaining the concept of overturn detection according to the second embodiment.
  • a captured image 5 is an example of an image captured by the vehicle-mounted camera 100 of the vehicle 1001 .
  • the first detection unit 242 has detected the skeleton point set 51 from the captured image 5 and the second detection unit 243 has detected the road area 52 from the captured image 5 .
  • a skeleton point set 51 includes a plurality of skeleton points of the person U.
  • the set of skeletal points 51 includes a head skeletal point 511 and knee skeletal points 512 and 513 .
  • the first distance between the skeletal point 511 of the head and the ground is less than or equal to the first threshold, and the person U is detected as a fallen person.
  • the fallen person can be detected more quickly.
  • the skeletal point 511 of the head is not detected and the second distance between the detected skeletal point 512 or 513 of the knee portion and the ground is equal to or less than the second threshold, the person U is also regarded as the fallen person. detectable. Therefore, it is possible to improve the accuracy of detecting an overturned person outside the vehicle from the image captured by the vehicle-mounted camera.
  • Embodiment 3 is a modification of Embodiment 2 described above.
  • FIG. 7 is a block diagram showing the overall configuration including a fall detection system 1000a according to the third embodiment.
  • the turnover detection device 200a according to the third embodiment is an example installed as a server outside the vehicle 1001, as compared with FIG. 3 described above.
  • the fall detection device 200a is connected to the vehicle-mounted camera 101 and the emergency system 300 via the network N so as to be able to communicate therewith.
  • the vehicle-mounted camera 101 has a wireless communication function in addition to the functions of the vehicle-mounted camera 100 described above. Therefore, the vehicle-mounted camera 101 is connected to the network N by wireless communication. Vehicle-mounted camera 101 transmits the captured image and the current position via network N to fall detection device 200a.
  • the fall detection device 200a acquires an image from the in-vehicle camera 101 via the network N.
  • the fall detection device 200a performs the fall detection process on the acquired image in the same manner as in steps S102 to S110 in FIG. 5 described above.
  • the fall detection device 200a transmits the detection of the fallen person and the current position to the emergency system 300 via the network N.
  • the fall detection device 200a may transmit to the vehicle 1001 via the network N that a fallen person has been detected, and display the fact on the display device in the vehicle 1001.
  • the third embodiment can also achieve the same effects as the second embodiment described above. Furthermore, in the third embodiment, there is no need to install an advanced in-vehicle device equivalent to the turnover detection device 200 in the vehicle 1001 . Further, in the third embodiment, since the turnover detection process is executed outside the vehicle 1001, power consumption of the vehicle 1001 can be suppressed.
  • Embodiment 4 is an improved example of Embodiment 2 or 3 described above.
  • Embodiment 2 and the like described above a person who has fallen can be detected with high accuracy, but when the person who has fallen immediately stands up, it can be said that there is little need to notify the emergency system 300 .
  • the fall detection device 200 or the like detects a fall person, the passengers (driver or fellow passenger) of the vehicle 1001 may hesitate to decide whether to notify the emergency system 300 or not.
  • the passenger of the vehicle 1001 may hesitate whether to report to the emergency system 300 when there is a person collapsed on the road.
  • the fall detection device 200 calculates the fall duration of the person who has fallen from a plurality of images continuously captured by the in-vehicle camera, and when the fall duration exceeds a predetermined time, It notifies the emergency system 300 and the like.
  • FIG. 8 is a block diagram showing the configuration of a fall detection device 200b according to the fourth embodiment.
  • the fall detection device 200b has a fall detection program 211b, a calculation section 245b, and an output section 246b that are changed from those shown in FIG.
  • the fall detection program 211b is a computer program in which the fall detection process and the like according to the fourth embodiment are implemented.
  • the control unit 240 loads the overturn detection program 211b from the storage unit 210 into the memory 220, and executes the overturn detection program 211b. Thereby, the control unit 240 realizes the functions of the calculation unit 245b and the output unit 246b in addition to the functions of the acquisition unit 241, the first detection unit 242, the second detection unit 243, and the determination unit 244 described above.
  • the calculation unit 245b calculates the first is an example of a third calculation means for calculating the falling duration of the person U based on the subsequent image.
  • the output unit 246b is an example of notification means for notifying a predetermined notification destination when the overturning duration is equal to or longer than a predetermined time. Note that the predetermined time is set in advance in the fall detection device 200b and is a value that can be changed as appropriate.
  • FIG. 9 is a flow chart showing the flow of overturn detection processing according to the fourth embodiment.
  • the acquisition unit 241 acquires a first image captured by the vehicle-mounted camera 101 (S101). Then, steps S102 to S109 are executed as described above.
  • the determination unit 244 determines whether or not the person U in the first image is a fallen person (S110b). If YES is determined in step S106 or S109, the determining unit 244 determines that the person U in the first image is the fallen person. In that case, the calculator 245b calculates the falling duration (S112). For example, when the person U is determined to be a faller for the first time in the first image, the calculation unit 245b starts counting the fall duration time. Then, the determination unit 244 determines whether or not the overturning duration is equal to or longer than a predetermined time (S113).
  • step S110b when it is determined in step S110b that the person U in the first image is not the person who has fallen, the calculator 245b clears the duration of the fall (S114). After step S114, or when it is determined in step S113 that the overturning duration is less than the predetermined time, the process returns to step S101.
  • the acquisition unit 241 acquires the first subsequent image captured by the vehicle-mounted camera 101 (S101).
  • the first subsequent image is an image captured by the in-vehicle camera 101 after the first image described above.
  • the fall detection device 200b performs steps S102 to S109 on the first subsequent image.
  • step S110b when the person U in the first subsequent image is determined to be the faller, the calculator 245b calculates the fall duration from the first image (S112). For example, the calculation unit 245b adds the time interval between the first image and the first subsequent image to the last calculated fall duration time. That is, the calculator 245b updates the fall duration. Then, the determination unit 244 determines whether or not the updated fall duration time is equal to or longer than a predetermined time (S113).
  • step S110b When it is determined in step S110b that the person U in the first subsequent image is not the faller, the calculator 245b clears the fall duration (S114). Note that even when it is determined that the person is not a person who has fallen, the calculation unit 245b does not have to clear the fall duration time immediately. For example, the calculation unit 245b may calculate the number of consecutive times that the person is determined not to be a fallen person in step S110b, and clear the fall duration time when the number of times is equal to or greater than a predetermined number. This makes it possible to eliminate temporary noise, such as when it is erroneously determined that the person is not a fallen person. At this time, the calculation unit 245b also clears the number of times. After step S114, or when it is determined in step S113 that the overturning duration is less than the predetermined time, the process returns to step S101.
  • the output unit 246b notifies that the fallen person has been detected as described above (S111b). Specifically, the output unit 246b transmits to the emergency system 300 via the network N the fact that the fallen person has been detected and the current position of the vehicle 1001 . The output unit 246b may output to the display device of the vehicle 1001 that the fallen person has been detected.
  • the duration of falling is measured, and the emergency system 300 or the like is notified when the duration of falling exceeds a predetermined time.
  • the fall detection device 200b notifies the current position information of the vehicle 1001 in the same manner as in the above-described second embodiment. Therefore, the emergency system 300 can grasp the position of the rescuer more accurately.
  • the fall detection device 200b automatically notifies the emergency system 300 regardless of the operation of the passenger of the vehicle 1001, the notification time can be shortened.
  • the emergency system 300 and the like are not notified. For example, if the person U falls down once on the road and then stands up in a short period of time, no notification is given. In other words, in the case of a person who has only fallen slightly, no notification is given. Therefore, excessive notifications can be suppressed.
  • Embodiment 5 is a modification of Embodiments 2 to 4 described above.
  • the fall detection device uses a plurality of images captured by a plurality of vehicle-mounted cameras mounted on a plurality of vehicles to more accurately determine whether or not a person has fallen on the road. is.
  • the determination unit detects skeleton points and roads detected from a second image captured by a second vehicle-mounted camera mounted on a second vehicle other than the first vehicle equipped with the first vehicle-mounted camera. Further based on the positional relationship with the area, it is determined whether or not the person has fallen on the road.
  • FIG. 10 is a block diagram showing the overall configuration including a fall detection system 1000c according to the fifth embodiment.
  • the fall detection system 1000 c includes vehicles 1001 to 100 n (n is a natural number of 2 or more), a fall detection device 200 c and an emergency system 300 .
  • a vehicle 1001 has an on-board camera 101
  • a vehicle 1002 has an on-board camera 102
  • . . . a vehicle 100n has an on-board camera 10n.
  • the functions of the vehicle-mounted cameras 101 to 10n are assumed to be equivalent.
  • Each of the in-vehicle cameras 101 to 10n, the fall detection device 200c, and the emergency system 300 are connected via a network N so as to be able to communicate with each other.
  • the fall detection device 200c is installed as a server outside the vehicle, similar to the fall detection device 200a in FIG. 7 described above. Therefore, each of the in-vehicle cameras 101 to 10n transmits the captured image via the network N to the fall detection device 200c.
  • the fall detection device 200c analyzes a plurality of images acquired from each of the vehicle-mounted cameras 101 to 10n within a predetermined area, and comprehensively determines whether the person in the image has fallen.
  • FIG. 11 is a diagram showing an example of the positional relationship between a person U on the roadway and a plurality of vehicles 1001 to 1003 according to the fifth embodiment.
  • the example in FIG. 11 is an intersection, and the person U is present in the traveling directions of the vehicles 1001 and 1002 . Therefore, the shooting range of the vehicle-mounted camera 101 of the vehicle 1001 and the vehicle-mounted camera 102 of the vehicle 1002 includes the person U as well as the roadway. Also, the vehicle 1003 is traveling in the direction opposite to the traveling direction of the vehicle 1001 . Therefore, the imaging range of the vehicle-mounted camera 103 of the vehicle 1003 also includes the person U as well as the roadway.
  • the first image captured by the vehicle-mounted camera 101, the second image captured by the vehicle-mounted camera 102, and the third image captured by the vehicle-mounted camera 103 each include a common roadway (intersection) and the person U and are included.
  • FIG. 11 shows an example in which the person U exists on the roadway, this embodiment can also be applied when the person U exists on a road other than the roadway, such as a sidewalk.
  • FIG. 12 is a flow chart showing the flow of overturn detection processing according to the fifth embodiment.
  • the fall detection device 200c acquires a plurality of images captured by a plurality of in-vehicle cameras within a predetermined area (S101c).
  • the fall detection device 200c detects a set of skeletal points of a person outside the vehicle from each image (S102c).
  • the fall detection device 200c also detects a road area from each image (S103c).
  • the fall detection device 200c acquires first to third images captured by the vehicle-mounted cameras 101-103. Fall detection device 200c then detects a set of skeleton points of person U from each of the first to third images.
  • the fall detection device 200c combines these detected skeletal points to form a set of skeletal points. Therefore, some skeleton points may overlap in position. Also, the fall detection device 200c detects a road area from each of the first to third images. Then, the fall detection device 200c aligns the positions of these detected road areas and detects them as a road area.
  • steps S102c and S103c steps S104 to S111 are executed in the same manner as in FIG. 5 described above. Therefore, when the person U is determined to be a fallen person, the fall detection device 200c transmits to the emergency system 300 via the network N the fact that the fallen person has been detected and the position information of the vehicle 1001 and the like. Note that the fall detection device 200c may calculate the fall duration as in the above-described fourth embodiment based on the determination results (detection results) from the images of a plurality of vehicle-mounted cameras.
  • the fall detection device 200c collects captured images from onboard cameras of a plurality of vehicles, and detects a fallen person from the collected images.
  • the fall detection device 200c collects images from a plurality of in-vehicle cameras and performs fall detection processing. Therefore, compared to the case of using an image from a single in-vehicle camera, it is possible to detect skeletal points of a person and a road area from multiple angles, and to detect a fallen person with higher accuracy.
  • the program includes instructions (or software code) that, when read into the computer, cause the computer to perform one or more of the functions described in the embodiments.
  • the program may be stored in a non-transitory computer-readable medium or tangible storage medium.
  • computer readable media or tangible storage media may include random-access memory (RAM), read-only memory (ROM), flash memory, solid-state drives (SSD) or other memory technology, CDs -ROM, digital versatile disc (DVD), Blu-ray disc or other optical disc storage, magnetic cassette, magnetic tape, magnetic disc storage or other magnetic storage device.
  • the program may be transmitted on a transitory computer-readable medium or communication medium.
  • transitory computer readable media or communication media include electrical, optical, acoustic, or other forms of propagated signals.
  • (Appendix A1) a first detection means for detecting a skeletal point of a person outside the vehicle from the first image captured by the first vehicle-mounted camera; a second detection means for detecting a road area indicating a road area from the first image; determining means for determining whether or not the person has fallen on the road based on the positional relationship between the skeleton points and the road area;
  • a fall detection device comprising: (Appendix A2) further comprising: first calculating means for calculating a first distance from the ground at the skeletal point of the head of the person based on the road area when the skeletal point of the head of the person is detected by the first detecting means; prepared, The fall detection device according to Appendix A1, wherein the determining means determines that the person has fallen when the first distance is equal to or less than a first threshold.
  • (Appendix A3) second calculating means for calculating a second distance from the ground at the knee skeletal point based on the road area when the first detecting means detects the skeletal point of the knee of the person; prepared, The fall detection device according to appendix A1 or A2, wherein the determination means determines that the person has fallen when the second distance is equal to or less than a second threshold. (Appendix A4) The determining means determines whether or not the second distance is equal to or less than a second threshold when the first detecting means does not detect the skeletal point of the head of the person. detection device.
  • Appendix A5 If it is determined that the person is falling based on the positional relationship between the skeleton points detected from the first image and the road area, the first image captured after the first image is detected. a third calculating means for calculating the falling duration of the person based on the subsequent image; notification means for notifying a predetermined notification destination when the falling duration time is equal to or longer than a predetermined time;
  • the fall detection device according to any one of Appendices A1 to A4, further comprising: (Appendix A6)
  • the determination means determines the skeleton points detected from a second image captured by a second vehicle-mounted camera mounted on a second vehicle other than the first vehicle on which the first vehicle-mounted camera is mounted.
  • the turnover detection device according to any one of Appendices A1 to A5, wherein it is determined whether or not the person has fallen on the road, further based on the positional relationship with the road area.
  • Appendix A7 The fall detection device according to any one of Appendices A1 to A6, wherein the determining means defines a distance from the ground at the skeleton point calculated from the position of the skeleton point and the position of the road region as the positional relationship. .
  • the fall detection device includes: a first detection means for detecting skeletal points of a person outside the vehicle from the first image captured by the first vehicle-mounted camera; a second detection means for detecting a road area indicating a road area from the first image; determining means for determining whether or not the person has fallen on the road based on the positional relationship between the skeleton points and the road area; a fall detection system.
  • the first detection means detects at least skeletal points of the knee portion of the person, The fall detection system according to appendix B1, wherein the determining means determines that the person has fallen when a distance from the ground at the skeleton point of the knee portion is equal to or less than a first threshold based on the road area.
  • the computer Detecting the skeletal points of a person outside the vehicle from the first image captured by the first vehicle-mounted camera, detecting a road area indicating a road area from the first image; Determining whether the person has fallen on the road based on the positional relationship between the skeleton points and the road area; Fall detection method.
  • (Appendix D1) a first detection process for detecting skeletal points of a person outside the vehicle from a first image captured by a first vehicle-mounted camera; a second detection process for detecting a road area indicating a road area from the first image; a determination process for determining whether or not the person has fallen on the road based on the positional relationship between the skeleton points and the road area;
  • a non-transitory computer-readable medium storing a fall detection program that causes a computer to execute

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Abstract

本発明にかかる転倒検出装置（１）は、道路を走行中の車両に搭載された第１の車載カメラにより撮影された第１の画像から、車外の人物の骨格点の集合を検出する第１の検出部（１１）と、第１の画像から道路の領域を示す道路領域を検出する第２の検出部（１２）と、骨格点と道路領域との位置関係に基づいて、道路において人物が転倒しているか否かを判定する判定部（１３）と、を備える。特に、判定部（１３）は、骨格点の位置情報と道路領域の位置情報とから算出される骨格点における地面からの距離を位置関係とする。

Description

転倒検出装置、システム及び方法、並びに、コンピュータ可読媒体
　本発明は、転倒検出装置、システム、方法、及び、プログラムに関する。
　特許文献１には、車載カメラにより撮影された監視対象画像から高齢者の行動を検出する技術が開示されている。また、特許文献２には、車載カメラにより撮影された前方の二輪車の画像から、二輪車が転倒する可能性を判定する技術が開示されている。
特開２０２０－０９５３５７号公報 特開２０１７－１１７１８９号公報
　ここで、車載カメラの撮影画像から車外の転倒者を検出する技術には、精度に改善の余地がある。
　本開示の目的は、上述した課題を鑑み、車載カメラの撮影画像から車外の転倒者を検出する精度を向上するための転倒検出装置、システム、方法、及び、プログラムを提供することにある。
　本開示の第１の態様にかかる転倒検出装置は、
　第１の車載カメラにより撮影された第１の画像から、車外の人物の骨格点を検出する第１の検出手段と、
　前記第１の画像から道路の領域を示す道路領域を検出する第２の検出手段と、
　前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定手段と、
　を備える。
　本開示の第２の態様にかかる転倒検出システムは、
　第１の車載カメラと、
　転倒検出装置と、を備え、
　前記転倒検出装置は、
　前記第１の車載カメラにより撮影された第１の画像から、車外の人物の骨格点を検出する第１の検出手段と、
　前記第１の画像から道路の領域を示す道路領域を検出する第２の検出手段と、
　前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定手段と、
　を備える。
　本開示の第３の態様にかかる転倒検出方法は、
　コンピュータが、
　第１の車載カメラにより撮影された第１の画像から、車外の人物の骨格点を検出し、
　前記第１の画像から道路の領域を示す道路領域を検出し、
　前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する。
　本開示の第４の態様にかかる非一時的なコンピュータ可読媒体は、
　第１の車載カメラにより撮影された第１の画像から、車外の人物の骨格点を検出する第１の検出処理と、
　前記第１の画像から道路の領域を示す道路領域を検出する第２の検出処理と、
　前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定処理と、
　をコンピュータに実行させる転倒検出プログラムが格納される。
　本開示により、車載カメラの撮影画像から車外の転倒者を検出する精度を向上するための転倒検出装置、システム、方法、及び、プログラムを提供することができる。
本実施形態１にかかる転倒検出装置の構成を示すブロック図である。 本実施形態１にかかる転倒検出方法の流れを示すフローチャートである。 本実施形態２にかかる転倒検出システムを含む全体構成を示すブロック図である。 本実施形態２にかかる転倒検出装置の構成を示すブロック図である。 本実施形態２にかかる転倒検出処理の流れを示すフローチャートである。 本実施形態２にかかる転倒検出の概念を説明するための図である。 本実施形態３にかかる転倒検出システムを含む全体構成を示すブロック図である。 本実施形態４にかかる転倒検出装置の構成を示すブロック図である。 本実施形態４にかかる転倒検出処理の流れを示すフローチャートである。 本実施形態５にかかる転倒検出システムを含む全体構成を示すブロック図である。 本実施形態５にかかる車道上の人物と複数の車両の位置関係の例を示す図である。 本実施形態５にかかる転倒検出処理の流れを示すフローチャートである。
　以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
＜実施形態１＞
　図１は、本実施形態１にかかる転倒検出装置１の構成を示すブロック図である。転倒検出装置１は、人物の転倒を検出するための情報処理装置である。転倒検出装置１は、第１の検出部１１、第２の検出部１２及び判定部１３を備える。
　第１の検出部１１は、第１の車載カメラ（不図示）により撮影された第１の画像から、車外の人物の骨格点を検出する。第２の検出部１２は、第１の画像から道路の領域を示す道路領域を検出する。ここで、第１の検出部１１及び第２の検出部１２のそれぞれは、画像認識処理により、骨格点や道路領域を検出するとよい。判定部１３は、骨格点と道路領域との位置関係に基づいて、道路において人物が転倒しているか否かを判定する。
　図２は、本実施形態１にかかる転倒検出方法の流れを示すフローチャートである。まず、第１の検出部１１は、第１の車載カメラにより撮影された第１の画像から、車外の人物の骨格点を検出する（Ｓ１１）。次に、第２の検出部１２は、第１の画像から道路の領域を示す道路領域を検出する（Ｓ１２）。そして、判定部１３は、骨格点と道路領域との位置関係に基づいて、道路において人物が転倒しているか否かを判定する（Ｓ１３）。
　このように、本実施形態にかかる転倒検出装置１は、車載カメラによる撮影画像を解析して、人物の骨格点を検出することで、車外に存在する人物の姿勢を検出する。そのため、転倒検出装置１は、道路での当該人物の身体の部位の位置関係、例えば、各部位の三次元空間上での座標情報を特定できる。また、転倒検出装置１は、同じ撮影画像を解析して道路領域、つまり、地面の三次元空間上での座標情報を特定できる。転倒検出装置１は、骨格点と道路領域との位置関係を把握できるため、道路において人物が転倒しているか否かを精度良く判定でき、転倒者を精度良く検出することができる。
　尚、転倒検出装置１は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態にかかる転倒検出方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラム等を前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、第１の検出部１１、第２の検出部１２及び判定部１３の機能を実現する。
　または、転倒検出装置１の各構成要素は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）、量子プロセッサ（量子コンピュータ制御チップ）等を用いることができる。
＜実施形態２＞
　本実施形態２は、上述した実施形態１の具体例である。図３は、本実施形態２にかかる転倒検出システム１０００を含む全体構成を示すブロック図である。転倒検出システム１０００は、車両１００１の外の人物のうち転倒者を検出するための情報システムである。図３では、転倒検出システム１０００は、車両１００１が走行中の車道上の人物Ｕが転倒しているか否かを検出する例を示している。但し、人物Ｕは歩道にいても構わない。そのため、以下の説明において、「道路」とは、車道や歩道等を含むものとする。
　車両１００１は、車載カメラ１００と転倒検出装置２００を搭載して走行している。車載カメラ１００は、車両１００１の進行方向（前方）、後方、又は、側方の少なくともいずれかを撮影する撮影装置である。車載カメラ１００は、所定間隔で撮影範囲を撮影し、撮影した画像を転倒検出装置２００へ出力する。車載カメラ１００は、上述した第１の車載カメラの一例である。
　転倒検出装置２００は、上述した転倒検出装置１の一例であり、車両１００１に搭載された情報処理装置である。転倒検出装置２００は、例えば、車両１００１の制御を行うＥＣＵ（Electronic Control Unit）等である。または、転倒検出装置２００は、複数台のコンピュータに冗長化されていても良く、各機能ブロックが複数台のコンピュータで実現されてもよい。
　転倒検出装置２００は、ネットワークＮを介して救急システム３００と通信可能に接続されている。ここで、ネットワークＮは、無線通信回線網、携帯電話回線網等を含む通信ネットワークである。ネットワークＮは、インターネットを含んでも良い。また、通信ネットワークは、通信プロトコルの種別を問わない。
　転倒検出装置２００は、車載カメラ１００から受け付けた画像を解析し、画像内の人物Ｕが転倒者か否かを判定し、転倒者と判定した場合、転倒者を検出した旨と現在位置とを、ネットワークＮを介して救急システム３００へ通知する。
　救急システム３００は、転倒検出装置２００からの通知に応じて、現在位置が示す場所へ救急車等を出動させる指示を行う情報システムである。
　図４は、本実施形態２にかかる転倒検出装置２００の構成を示すブロック図である。転倒検出装置２００は、記憶部２１０、メモリ２２０、ＩＦ（InterFace）部２３０及び制御部２４０を備える。記憶部２１０は、ハードディスク、フラッシュメモリ等の記憶装置の一例である。記憶部２１０は、転倒検出プログラム２１１、第１の閾値２１２及び第２の閾値２１３を記憶する。転倒検出プログラム２１１は、本実施形態２にかかる転倒検出処理等が実装されたコンピュータプログラムである。第１の閾値２１２は、人物Ｕが転倒していると判定するための人物Ｕの頭部と地面との距離の閾値である。第２の閾値２１３は、人物Ｕが転倒していると判定するための人物Ｕの膝部分と地面との距離の閾値である。
　メモリ２２０は、ＲＡＭ（Random Access Memory）等の揮発性記憶装置であり、制御部２４０の動作時に一時的に情報を保持するための記憶領域である。ＩＦ部２３０は、転倒検出装置２００内部と、車載カメラ１００及びネットワークＮとの通信インタフェースである。
　制御部２４０は、転倒検出装置２００の各構成を制御するプロセッサつまり制御装置である。制御部２４０は、記憶部２１０から転倒検出プログラム２１１をメモリ２２０へ読み込ませ、転倒検出プログラム２１１を実行する。これにより、制御部２４０は、取得部２４１、第１の検出部２４２、第２の検出部２４３、判定部２４４、算出部２４５及び出力部２４６の機能を実現する。
　取得部２４１は、車載カメラ１００により撮影され、出力された画像を取得する。
　第１の検出部２４２は、上述した第１の検出部１１の一例である。第１の検出部２４２は、車載カメラ１００により撮影された第１の画像から、車外の人物Ｕの骨格点を検出する。第１の検出部２４２は、第１の画像認識処理により、画像内の人物Ｕの体形の領域を検出し、検出した領域の中から人物Ｕの骨格点の集合を検出する。ここで、骨格点は、人物Ｕの骨格のうち特徴的な箇所、すなわち代表点を示す情報である。骨格点は、三次元空間上での座標情報（位置を示す情報）と身体の部位を示す情報とを含むとよい。つまり、骨格点は、道路を平面とした場合の位置を示す情報に加えて、道路からの高さの情報を含むとよい。また、身体の部位とは、例えば、頭部、肩、肘部分、手、腰、膝部分、足等であるが、これらに限定されない。また、第１の検出部２４２は、第１の画像認識処理により、人物Ｕの姿勢を検出してもよい。また、第１の検出部２４２は、車載カメラ１００により連続して撮影された複数の画像、つまり映像データから人物Ｕの骨格点の集合を検出してもよい。
　第１の画像認識処理には、公知の骨格検知アルゴリズム、姿勢推定アルゴリズム等を用いてもよい。また、第１の画像認識処理には、人物が撮影された画像を入力とし、当該人物の骨格点の集合を出力とする第１のＡＩ（Artificial Intelligence）モデルを用いてもよい。このとき、第１のＡＩモデルは、様々な人物が転倒した姿勢、かがみ込んだ姿勢、立った姿勢等の画像と、各画像内の人物の骨格点の集合の正解データとを含めた学習用データを用いて機械学習された学習済みモデルであるとよい。
　第２の検出部２４３は、上述した第２の検出部１２の一例である。第２の検出部２４３は、第１の画像から道路の領域を示す道路領域を検出する。第２の検出部２４３は、第２の画像認識処理により、画像内の道路領域を検出する。ここで、道路領域は、上述した骨格点と同じ三次元空間上での座標情報（位置を示す情報）であるとよい。但し、道路に高低差が無い場合には、高さ情報を省略した二次元の座標情報を位置を示す情報としてもよい。
　第２の画像認識処理には、インスタンスセグメンテーションやセマンティックセグメンテーション等のセグメンテーション技術を用いても良い。また、第２の画像認識処理は、画像内の各画素に、領域の種別を示すラベルを付すものであってもよい。例えば、第２の画像認識処理は、入力された画像内の各画素に、道路か否かを示すラベルを付して出力する第２のＡＩモデルを用いても良い。このとき、第２のＡＩモデルは、様々な車載カメラにより道路が撮影された複数の画像と、各画像内の各画素に道路か否かを示すラベルを付した正解データとを含めた学習用データを用いて機械学習された学習済みモデルであるとよい。
　判定部２４４は、上述した判定部１３の一例である。判定部２４４は、骨格点と道路領域との位置関係に基づいて、道路において人物Ｕが転倒しているか否かを判定する。特に、判定部２４４は、骨格点の位置と道路領域の位置とから算出される骨格点における地面からの距離を位置関係として、判定する。
　また、判定部２４４は、第１の検出部２４２により画像から骨格点の集合が検出されたか否かを判定してもよい。また、判定部２４４は、第２の検出部２４３により画像から道路領域が検出されたか否かを判定してもよい。
　また、判定部２４４は、頭部の骨格点が検出されたか否かを判定する。頭部の骨格点が検出された場合、判定部２４４は、後述する算出部２４５により算出された頭部と地面との第１の距離が第１の閾値２１２以下であるか否かを判定する。判定部２４４は、第１の距離が第１の閾値２１２以下である場合、人物Ｕが転倒していると判定する。
　判定部２４４は、膝部分の骨格点が検出されたか否かを判定する。膝部分の骨格点が検出された場合、判定部２４４は、算出部２４５により算出された膝部分と地面との第２の距離が第２の閾値２１３以下であるか否かを判定する。判定部２４４は、第２の距離が第２の閾値２１３以下である場合、人物Ｕが転倒していると判定する。
　特に、判定部２４４は、第１の検出部２４２により人物Ｕの頭部の骨格点が骨格点として検出されなかった場合、第２の距離が第２の閾値２１３以下か否かを判定するとよい。これにより、頭部が検出された場合には、第２の閾値２１３を用いた判定処理を省略することができ、処理コストを軽減できる。
　算出部２４５は、第１の算出手段及び第２の算出手段の一例である。算出部２４５は、第１の検出部２４２により人物Ｕの頭部の骨格点が検出された場合、道路領域に基づき頭部の骨格点における地面からの第１の距離を算出する。具体的には、算出部２４５は、頭部の骨格点の位置と道路領域の位置とから第１の距離を算出する。例えば、算出部２４５は、頭部の平面上の位置座標と、道路領域の平面上の位置座標とを照合し、一致する地点における高さ方向の座標の差を第１の距離として算出するとよい。または、算出部２４５は、頭部の位置と道路領域の位置との最短距離を第１の距離として算出するとよい。
　また、算出部２４５は、第１の検出部２４２により人物Ｕの膝部分の骨格点が検出された場合、道路領域に基づき膝部分の骨格点における地面からの第２の距離を算出する。具体的には、算出部２４５は、上述した第１の距離の算出処理における頭部の骨格点を膝部分の骨格点に置き換えて、第２の距離を算出する。
　出力部２４６は、判定部２４４により画像内の人物Ｕが転倒者と判定された場合、少なくとも転倒者検出の旨を出力する。例えば、車両１００１に表示装置が搭載されている場合、出力部２４６は、人物Ｕを含む画像と人物Ｕが転倒者である旨を示す情報とを表示装置へ出力し、表示装置の画面に表示させてもよい。また、車両１００１は、ＧＰＳ（Global Positioning System）機能等により現在の位置情報（現在位置）を取得可能とした場合、転倒者検出の旨と現在位置とを、ネットワークＮを介して救急システム３００へ送信してもよい。
　図５は、本実施形態２にかかる転倒検出処理の流れを示すフローチャートである。まず、車載カメラ１００は、道路を撮影し、撮影された画像を転倒検出装置２００へ出力する。これに応じて、転倒検出装置２００は、車載カメラ１００により撮影された画像を取得する（Ｓ１０１）。次に、転倒検出装置２００は、画像から車外の人物の骨格点の集合を検出する（Ｓ１０２）。また、転倒検出装置２００は、画像から道路領域を検出する（Ｓ１０３）。ここでは、画像から人物の骨格点の集合と道路領域とが検出されたものとする。
　ステップＳ１０２及びＳ１０３の後、転倒検出装置２００は、頭部の骨格点が検出されたか否かを判定する（Ｓ１０４）。頭部の骨格点が検出された場合（Ｓ１０４でＹＥＳ）、転倒検出装置２００は、頭部と地面との第１の距離を算出する（Ｓ１０５）。そして、転倒検出装置２００は、第１の距離が第１の閾値以下であるか否かを判定する（Ｓ１０６）。第１の距離が第１の閾値以下である場合（Ｓ１０６でＹＥＳ）、転倒検出装置２００は、画像内の人物Ｕを転倒者と判定する（Ｓ１１０）。頭部が地面からある程度近い場合には、人物Ｕが転倒している可能性が極めて高いためである。そのため、骨格点のうち他の部位よりも優先的に判定することで、他の部位における距離の算出や判定する処理負荷を軽減し、転倒者の検出速度も向上する。
　ステップＳ１０４で頭部の骨格点が検出されなかった場合（Ｓ１０４でＮＯ）、転倒検出装置２００は、膝部分の骨格点が検出されたか否かを判定する（Ｓ１０７）。膝部分の骨格点が検出された場合（Ｓ１０７でＹＥＳ）、転倒検出装置２００は、膝部分と地面との第２の距離を算出する（Ｓ１０８）。そして、転倒検出装置２００は、第２の距離が第２の閾値以下であるか否かを判定する（Ｓ１０９）。第２の距離が第２の閾値以下である場合（Ｓ１０９でＹＥＳ）、転倒検出装置２００は、画像内の人物Ｕを転倒者と判定する（Ｓ１１０）。例えば、人物Ｕの転倒方向によっては、車載カメラ１００から頭部が撮影されず、頭部の骨格点が検出されない場合がある。このような場合、他の部位のうち、例えば、膝部分が地面からある程度近い場合には、人物Ｕが転倒しているか、少なくとも膝を付いている可能性が高い。そのため、画像から頭部の骨格点が検出されなかった場合に、膝部分の骨格点を用いた判定を行うことで、より妥当な判定を行うことができる。さらに、頭部が検出された場合には、膝部分の骨格点を用いた第２の距離の算出及び判定処理を行わないことで、処理負荷を軽減できる。
　一方、ステップＳ１０６で第１の距離が第１の閾値より大きい場合、又は、ステップＳ１０９で第２の距離が第２の閾値より大きい場合、転倒検出装置２００は、画像内の人物Ｕを転倒者と判定せず、処理を終了する。また、ステップＳ１０７で膝部分の骨格点が検出されなかった場合も、転倒検出装置２００は、処理を終了する。尚、ステップＳ１０７で膝部分の骨格点が検出されなかった場合、転倒検出装置２００は、骨格点のうち他の部位と地面との第３の距離を算出し、第３の距離が第３の閾値以下の場合、画像内の人物Ｕを転倒者と判定してもよい。他の部位としては、例えば、肩、肘部分、手、腰、足等が挙げられるが、これらに限定されない。また、ステップＳ１０４の頭部の検出判定より前に、ステップＳ１０７の膝部分の検出判定を行っても良い。または、ステップＳ１０４より前に、頭部や膝部分以外の他の部位の検出判定を行っても良い。
　ステップＳ１１０の後、転倒検出装置２００は、上述したように、転倒者検出の旨を出力する（Ｓ１１１）。
　図６は、本実施形態２にかかる転倒検出の概念を説明するための図である。撮影画像５は、車両１００１の車載カメラ１００により撮影された画像の例である。ここでは、第１の検出部２４２が撮影画像５から骨格点の集合５１を検出し、第２の検出部２４３が撮影画像５から道路領域５２を検出したことを示す。骨格点の集合５１は、人物Ｕの複数の骨格点を含む。特に、骨格点の集合５１は、頭部の骨格点５１１、膝部分の骨格点５１２及び５１３を含む。
　図６の例では、頭部の骨格点５１１と地面との第１の距離が第１の閾値以下を示すものとし、人物Ｕが転倒者として検出される。このとき、膝部分の骨格点５１２及び５１３を用いた算出や判定が行われないため、より早く転倒者を検出できる。また、仮に頭部の骨格点５１１が検出されず、検出された膝部分の骨格点５１２又は５１３と地面との第２の距離が第２の閾値以下である場合、やはり人物Ｕを転倒者として検出できる。よって、車載カメラの撮影画像から車外の転倒者を検出する精度を向上することができる。
＜実施形態３＞
　本実施形態３は、上述した実施形態２の変形例である。図７は、本実施形態３にかかる転倒検出システム１０００ａを含む全体構成を示すブロック図である。本実施形態３にかかる転倒検出装置２００ａは、上述した図３と比べて、車両１００１の外部にサーバとして設置された例である。つまり転倒検出装置２００ａは、ネットワークＮを介して車載カメラ１０１及び救急システム３００と通信可能に接続されている。車載カメラ１０１は、上述した車載カメラ１００の機能に加えて、無線通信機能を備えている。そのため、車載カメラ１０１は、無線通信によりネットワークＮと接続されている。車載カメラ１０１は、撮影した画像と現在位置を、ネットワークＮを介して転倒検出装置２００ａへ送信する。
　転倒検出装置２００ａは、車載カメラ１０１からネットワークＮを介して画像を取得する。転倒検出装置２００ａは、取得した画像から、上述した図５のステップＳ１０２からＳ１１０と同様に、転倒検出処理を行う。そして、画像内の人物Ｕが転倒者と判定された場合、転倒検出装置２００ａは、転倒者検出の旨と現在位置を、ネットワークＮを介して救急システム３００へ送信する。また、転倒検出装置２００ａは、転倒者検出の旨をネットワークＮを介して車両１００１へ送信し、車両１００１内の表示装置にその旨を表示してもよい。
　このように、本実施形態３においても、上述した実施形態２と同様の効果を奏することができる。さらに、本実施形態３では、車両１００１内に転倒検出装置２００相当の高度な車載装置を搭載する必要がない。また、本実施形態３では、車両１００１の外部で転倒検出処理を実行するため、車両１００１の電力消費を抑制できる。
＜実施形態４＞
　本実施形態４は、上述した実施形態２又は３の改良例である。上述した実施形態２等では転倒者を精度良く検出できるが、転倒者がすぐに立ち上がった場合には、救急システム３００への通知の必要性が低いといえる。つまり、車両１００１の搭乗者（運転者や同乗者）は、転倒検出装置２００等により転倒者が検出されたとしても、救急システム３００へ通知するべきか判断に迷う場合もある。例えば、車両１００１の搭乗者は、道路で倒れている人がいた場合に、救急システム３００への通報をするべきか迷うことがあり得る。または、車両１００１の搭乗者は、転倒検出装置２００等により転倒者が検出されたとしても、他の人が救護や通報する可能性を考えて、救急システム３００への通報を躊躇することもあり得る。そのため、転倒者に対する対応に遅れが生じる可能性もある。そこで、本実施形態４にかかる転倒検出装置は、車載カメラにより連続して撮影された複数の画像から、転倒者の転倒継続時間を算出し、転倒継続時間が所定時間以上となった場合に、救急システム３００等へ通知するものである。
　図８は、本実施形態４にかかる転倒検出装置２００ｂの構成を示すブロック図である。転倒検出装置２００ｂは、上述した図４と比べて、転倒検出プログラム２１１ｂ、算出部２４５ｂ及び出力部２４６ｂが変更されたものである。転倒検出プログラム２１１ｂは、本実施形態４にかかる転倒検出処理等が実装されたコンピュータプログラムである。制御部２４０は、記憶部２１０から転倒検出プログラム２１１ｂをメモリ２２０へ読み込ませ、転倒検出プログラム２１１ｂを実行する。これにより、制御部２４０は、上述した取得部２４１、第１の検出部２４２、第２の検出部２４３及び判定部２４４の機能に加えて、算出部２４５ｂ及び出力部２４６ｂの機能を実現する。
　算出部２４５ｂは、第１の画像から検出された骨格点と道路領域との位置関係に基づいて、人物Ｕが転倒していると判定された場合、第１の画像の後に撮影された第１の後続画像に基づき人物Ｕの転倒継続時間を算出する第３の算出手段の一例である。出力部２４６ｂは、転倒継続時間が所定時間以上である場合、所定の通知先へその旨を通知する通知手段の一例である。尚、所定時間は、予め転倒検出装置２００ｂに設定され、適宜、変更可能な値とする。
　図９は、本実施形態４にかかる転倒検出処理の流れを示すフローチャートである。まず、取得部２４１は、車載カメラ１０１により撮影された第１の画像を取得する（Ｓ１０１）。そして、上述したようにステップＳ１０２からＳ１０９が実行される。その後、判定部２４４は、第１の画像内の人物Ｕが転倒者か否かを判定する（Ｓ１１０ｂ）。ステップＳ１０６又はＳ１０９でＹＥＳと判定されていた場合、判定部２４４は、第１の画像内の人物Ｕが転倒者と判定する。その場合、算出部２４５ｂは、転倒継続時間を算出する（Ｓ１１２）。例えば、第１の画像で初めて人物Ｕが転倒者と判定された場合、算出部２４５ｂは、転倒継続時間のカウントを開始する。そして、判定部２４４は、転倒継続時間が所定時間以上か否かを判定する（Ｓ１１３）。
　また、ステップＳ１１０ｂで第１の画像内の人物Ｕが転倒者でないと判定された場合、算出部２４５ｂは、転倒継続時間をクリアする（Ｓ１１４）。ステップＳ１１４の後、又は、ステップＳ１１３で転倒継続時間が所定時間未満と判定された場合、ステップＳ１０１へ戻る。
　そして、取得部２４１は、車載カメラ１０１により撮影された第１の後続画像を取得する（Ｓ１０１）。第１の後続画像は、車載カメラ１０１により、上述した第１の画像の後に撮影された画像である。そして、転倒検出装置２００ｂは、第１の後続画像に対してステップＳ１０２からＳ１０９を行う。
　そして、ステップＳ１１０ｂで、第１の後続画像内の人物Ｕが転倒者と判定された場合、算出部２４５ｂは、第１の画像からの転倒継続時間を算出する（Ｓ１１２）。例えば、算出部２４５ｂは、直前に算出された転倒継続時間に、第１の画像と第１の後続画像との撮影間隔の時間を加算する。つまり、算出部２４５ｂは、転倒継続時間を更新する。そして、判定部２４４は、更新後の転倒継続時間が所定時間以上か否かを判定する（Ｓ１１３）。
　ステップＳ１１０ｂで第１の後続画像内の人物Ｕが転倒者でないと判定された場合、算出部２４５ｂは、転倒継続時間をクリアする（Ｓ１１４）。尚、転倒者でないと判定された場合であっても、算出部２４５ｂは、直ちに転倒継続時間をクリアしなくてもよい。例えば、算出部２４５ｂは、ステップＳ１１０ｂで転倒者でないと連続して判定された回数を算出し、当該回数が所定回数以上となった場合に、転倒継続時間をクリアしてもよい。これにより、転倒者でないと誤判定された場合など、一時的なノイズを除外することができる。このとき、併せて算出部２４５ｂは、当該回数をクリアする。ステップＳ１１４の後、又は、ステップＳ１１３で転倒継続時間が所定時間未満と判定された場合、ステップＳ１０１へ戻る。
　一方、ステップＳ１１３で転倒継続時間が所定時間以上と判定された場合、出力部２４６ｂは、上述したように、転倒者検出の旨を通知する（Ｓ１１１ｂ）。具体的には、出力部２４６ｂは、転倒者検出の旨と車両１００１の現在位置とを、ネットワークＮを介して救急システム３００へ送信する。尚、出力部２４６ｂは、転倒者検出の旨を車両１００１の表示装置に出力してもよい。
　このように本実施形態４では、転倒継続時間を計測し、転倒継続時間が所定時間以上となった場合に救急システム３００等へ通知する。これにより、救護の必要性の高い転倒者について救急システム３００への通知を実現できる。そして、転倒検出処理の精度は、上述した実施形態２等と同等であるため、転倒者（要救助者）の見落としを軽減できる。また、転倒検出装置２００ｂは、上述した実施形態２等と同様に、車両１００１の現在の位置情報を通知する。よって、救急システム３００は、より正確に要救助者の位置を把握できる。また、車両１００１の搭乗者の操作によらず、転倒検出装置２００ｂが自動的に救急システム３００へ通知するため、通知の時間短縮につながる。
　また、第１の画像で転倒者として検出されたが、その後に撮影された第１の後続画像において転倒者でないと判定された場合には、救急システム３００等への通知が行われない。例えば、人物Ｕが道路で一度、転倒したが、その後、短時間で立ち上がった場合には通知されない。つまり、少し転んだだけの人の場合には、通知されない。よって、過剰な通知を抑制できる。
＜実施形態５＞
　本実施形態５は、上述した実施形態２から４の変形例である。本実施形態５にかかる転倒検出装置は、複数の車両に搭載された複数の車載カメラにより撮影された複数の画像を用いて、道路において人物が転倒しているか否かをより精度良く判定するものである。特に、判定部は、第１の車載カメラが搭載された第１の車両以外の第２の車両に搭載された第２の車載カメラにより撮影された第２の画像から検出された骨格点と道路領域との位置関係にさらに基づいて、道路において人物が転倒しているか否かを判定する。
　図１０は、本実施形態５にかかる転倒検出システム１０００ｃを含む全体構成を示すブロック図である。転倒検出システム１０００ｃは、車両１００１から１００ｎ（ｎは２以上の自然数。）、転倒検出装置２００ｃ及び救急システム３００を備える。車両１００１は車載カメラ１０１を備え、車両１００２は車載カメラ１０２を備え、・・・車両１００ｎは車載カメラ１０ｎを備える。車載カメラ１０１から１０ｎの機能は同等とする。車載カメラ１０１から１０ｎ、転倒検出装置２００ｃ及び救急システム３００のそれぞれは、ネットワークＮを介して通信可能に接続されている。
　転倒検出装置２００ｃは、上述した図７の転倒検出装置２００ａと同様に、車外にサーバとして設置されたものである。そのため、車載カメラ１０１から１０ｎのそれぞれは、撮影した画像を、ネットワークＮを介して転倒検出装置２００ｃへ送信する。転倒検出装置２００ｃは、所定エリア内の車載カメラ１０１から１０ｎのそれぞれから取得した複数の画像を解析して、画像内の人物が転倒しているかを総合的に判定する。
　図１１は、本実施形態５にかかる車道上の人物Ｕと複数の車両１００１～１００３の位置関係の例を示す図である。図１１の例は交差点であり、人物Ｕは、車両１００１と車両１００２の進行方向に存在しているものとする。よって、車両１００１の車載カメラ１０１と車両１００２の車載カメラ１０２との撮影範囲には、車道と共に人物Ｕが含まれる。また、車両１００３は、車両１００１の進行方向とは逆方向から走行している。そのため、車両１００３の車載カメラ１０３の撮影範囲にも、車道と共に人物Ｕが含まれる。つまり、車載カメラ１０１が撮影した第１の画像、車載カメラ１０２が撮影した第２の画像、及び、車載カメラ１０３が撮影した第３の画像には、それぞれ、共通する車道（交差点）と人物Ｕとが含まれる。尚、図１１では、車道上に人物Ｕが存在する例を示したが、車道以外の道路、例えば歩道上に人物Ｕが存在する場合にも本実施形態は適用可能である。
　図１２は、本実施形態５にかかる転倒検出処理の流れを示すフローチャートである。まず、転倒検出装置２００ｃは、所定エリア内の複数の車載カメラにより撮影された複数の画像を取得する（Ｓ１０１ｃ）。次に、転倒検出装置２００ｃは、各画像から車外の人物の骨格点の集合を検出する（Ｓ１０２ｃ）。また、転倒検出装置２００ｃは、各画像から道路領域を検出する（Ｓ１０３ｃ）。例えば、転倒検出装置２００ｃは、車載カメラ１０１から１０３により撮影された第１から第３の画像を取得する。そして、転倒検出装置２００ｃは、第１から第３の画像のそれぞれから人物Ｕの骨格点の集合を検出する。例えば、第１の画像から人物Ｕの骨格点の一部が検出され、第２及び第３の画像からも人物Ｕの骨格点の一部が検出されるものとする。そして、転倒検出装置２００ｃは、これらの検出された骨格点を合わせて、骨格点の集合とする。そのため、各骨格点の一部は、位置が重複する場合もある。また、転倒検出装置２００ｃは、第１から第３の画像のそれぞれから道路領域を検出する。そして、転倒検出装置２００ｃは、これらの検出された道路領域の位置を合わせて、道路領域として検出する。
　ステップＳ１０２ｃ及びＳ１０３ｃの後、上述した図５と同様に、ステップＳ１０４からＳ１１１が実行される。そのため、人物Ｕが転倒者と判定された場合、転倒検出装置２００ｃは、転倒者検出の旨及び車両１００１等の位置情報を、ネットワークＮを介して救急システム３００へ送信する。尚、転倒検出装置２００ｃは、複数の車載カメラの画像からの判定結果（検出結果）に基づいて、上述した実施形態４のように、転倒継続時間を算出してもよい。
　このように、本実施形態５では、転倒検出装置２００ｃは、複数の車両の車載カメラから撮影画像を収集し、収集された画像の中から転倒者を検出する。つまり、転倒検出装置２００ｃは、複数の車載カメラからの画像を集約して転倒検出処理を行う。そのため、１台の車載カメラによる画像を用いる場合と比べて、人物の骨格点や道路領域を多角的に検出でき、転倒者をより精度よく検出することができる。
＜その他の実施形態＞
　上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
　なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
　（付記Ａ１）
　第１の車載カメラにより撮影された第１の画像から、車外の人物の骨格点を検出する第１の検出手段と、
　前記第１の画像から道路の領域を示す道路領域を検出する第２の検出手段と、
　前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定手段と、
　を備える転倒検出装置。
　（付記Ａ２）
　前記第１の検出手段により前記人物の頭部の骨格点が検出された場合、前記道路領域に基づき前記頭部の骨格点における地面からの第１の距離を算出する第１の算出手段をさらに備え、
　前記判定手段は、前記第１の距離が第１の閾値以下である場合に、前記人物が転倒していると判定する
　付記Ａ１に記載の転倒検出装置。
　（付記Ａ３）
　前記第１の検出手段により前記人物の膝部分の骨格点が検出された場合、前記道路領域に基づき前記膝部分の骨格点における地面からの第２の距離を算出する第２の算出手段をさらに備え、
　前記判定手段は、前記第２の距離が第２の閾値以下である場合に、前記人物が転倒していると判定する
　付記Ａ１又はＡ２に記載の転倒検出装置。
　（付記Ａ４）
　前記判定手段は、前記第１の検出手段により前記人物の頭部の骨格点が検出されなかった場合、前記第２の距離が第２の閾値以下か否かを判定する
　付記Ａ３に記載の転倒検出装置。
　（付記Ａ５）
　前記第１の画像から検出された前記骨格点と前記道路領域との位置関係に基づいて、前記人物が転倒していると判定された場合、前記第１の画像の後に撮影された第１の後続画像に基づき前記人物の転倒継続時間を算出する第３の算出手段と、
　前記転倒継続時間が所定時間以上である場合、所定の通知先へその旨を通知する通知手段と、
　をさらに備える付記Ａ１乃至Ａ４のいずれか１項に記載の転倒検出装置。
　（付記Ａ６）
　前記判定手段は、前記第１の車載カメラが搭載された第１の車両以外の第２の車両に搭載された第２の車載カメラにより撮影された第２の画像から検出された前記骨格点と前記道路領域との位置関係にさらに基づいて、前記道路において前記人物が転倒しているか否かを判定する
　付記Ａ１乃至Ａ５のいずれか１項に記載の転倒検出装置。
　（付記Ａ７）
　前記判定手段は、前記骨格点の位置と前記道路領域の位置とから算出される前記骨格点における地面からの距離を前記位置関係とする
　付記Ａ１乃至Ａ６のいずれか１項に記載の転倒検出装置。
　（付記Ｂ１）
　第１の車載カメラと、
　転倒検出装置と、を備え、
　前記転倒検出装置は、
　前記第１の車載カメラにより撮影された第１の画像から、車外の人物の骨格点を検出する第１の検出手段と、
　前記第１の画像から道路の領域を示す道路領域を検出する第２の検出手段と、
　前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定手段と、
　を備える転倒検出システム。
　（付記Ｂ２）
　前記第１の検出手段は、少なくとも前記人物の膝部分の骨格点を検出し、
　前記判定手段は、前記道路領域に基づき前記膝部分の骨格点における地面からの距離が第１の閾値以下である場合に、前記人物が転倒していると判定する
　付記Ｂ１に記載の転倒検出システム。
　（付記Ｃ１）
　コンピュータが、
　第１の車載カメラにより撮影された第１の画像から、車外の人物の骨格点を検出し、
　前記第１の画像から道路の領域を示す道路領域を検出し、
　前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する、
　転倒検出方法。
　（付記Ｄ１）
　第１の車載カメラにより撮影された第１の画像から、車外の人物の骨格点を検出する第１の検出処理と、
　前記第１の画像から道路の領域を示す道路領域を検出する第２の検出処理と、
　前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定処理と、
　をコンピュータに実行させる転倒検出プログラムが格納された非一時的なコンピュータ可読媒体。
　以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１　転倒検出装置
　１１　第１の検出部
　１２　第２の検出部
　１３　判定部
　１０００　転倒検出システム
　１００１　車両
　１００２　車両
　１００３　車両
　１００ｎ　車両
　１００　車載カメラ
　１０１　車載カメラ
　１０２　車載カメラ
　１０３　車載カメラ
　１０ｎ　車載カメラ
　２００　転倒検出装置
　２１０　記憶部
　２１１　転倒検出プログラム
　２１２　第１の閾値
　２１３　第２の閾値
　２２０　メモリ
　２３０　ＩＦ部
　２４０　制御部
　２４１　取得部
　２４２　第１の検出部
　２４３　第２の検出部
　２４４　判定部
　２４５　算出部
　２４６　出力部
　３００　救急システム
　Ｎ　ネットワーク
　Ｕ　人物
　５　撮影画像
　５１　骨格点の集合
　５１１　骨格点
　５１２　骨格点
　５１３　骨格点
　５２　道路領域
　１０００ａ　転倒検出システム
　２００ａ　転倒検出装置
　２００ｂ　転倒検出装置
　２１１ｂ　転倒検出プログラム
　２４５ｂ　算出部
　２４６ｂ　出力部
　１０００ｃ　転倒検出システム
　２００ｃ　転倒検出装置

Claims (11)

  1. 　第１の車載カメラにより撮影された第１の画像から、車外の人物の骨格点を検出する第１の検出手段と、
    　前記第１の画像から道路の領域を示す道路領域を検出する第２の検出手段と、
    　前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定手段と、
    　を備える転倒検出装置。
  2. 　前記第１の検出手段により前記人物の頭部の骨格点が検出された場合、前記道路領域に基づき前記頭部の骨格点における地面からの第１の距離を算出する第１の算出手段をさらに備え、
    　前記判定手段は、前記第１の距離が第１の閾値以下である場合に、前記人物が転倒していると判定する
    　請求項１に記載の転倒検出装置。
  3. 　前記第１の検出手段により前記人物の膝部分の骨格点が検出された場合、前記道路領域に基づき前記膝部分の骨格点における地面からの第２の距離を算出する第２の算出手段をさらに備え、
    　前記判定手段は、前記第２の距離が第２の閾値以下である場合に、前記人物が転倒していると判定する
    　請求項１又は２に記載の転倒検出装置。
  4. 　前記判定手段は、前記第１の検出手段により前記人物の頭部の骨格点が検出されなかった場合、前記第２の距離が第２の閾値以下か否かを判定する
    　請求項３に記載の転倒検出装置。
  5. 　前記第１の画像から検出された前記骨格点と前記道路領域との位置関係に基づいて、前記人物が転倒していると判定された場合、前記第１の画像の後に撮影された第１の後続画像に基づき前記人物の転倒継続時間を算出する第３の算出手段と、
    　前記転倒継続時間が所定時間以上である場合、所定の通知先へその旨を通知する通知手段と、
    　をさらに備える請求項１乃至４のいずれか１項に記載の転倒検出装置。
  6. 　前記判定手段は、前記第１の車載カメラが搭載された第１の車両以外の第２の車両に搭載された第２の車載カメラにより撮影された第２の画像から検出された前記骨格点と前記道路領域との位置関係にさらに基づいて、前記道路において前記人物が転倒しているか否かを判定する
    　請求項１乃至５のいずれか１項に記載の転倒検出装置。
  7. 　前記判定手段は、前記骨格点の位置と前記道路領域の位置とから算出される前記骨格点における地面からの距離を前記位置関係とする
    　請求項１乃至６のいずれか１項に記載の転倒検出装置。
  8. 　第１の車載カメラと、
    　転倒検出装置と、を備え、
    　前記転倒検出装置は、
    　前記第１の車載カメラにより撮影された第１の画像から、車外の人物の骨格点を検出する第１の検出手段と、
    　前記第１の画像から道路の領域を示す道路領域を検出する第２の検出手段と、
    　前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定手段と、
    　を備える転倒検出システム。
  9. 　前記第１の検出手段は、少なくとも前記人物の膝部分の骨格点を検出し、
    　前記判定手段は、前記道路領域に基づき前記膝部分の骨格点における地面からの距離が第１の閾値以下である場合に、前記人物が転倒していると判定する
    　請求項８に記載の転倒検出システム。
  10. 　コンピュータが、
    　第１の車載カメラにより撮影された第１の画像から、車外の人物の骨格点を検出し、
    　前記第１の画像から道路の領域を示す道路領域を検出し、
    　前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する、
    　転倒検出方法。
  11. 　第１の車載カメラにより撮影された第１の画像から、車外の人物の骨格点を検出する第１の検出処理と、
    　前記第１の画像から道路の領域を示す道路領域を検出する第２の検出処理と、
    　前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定処理と、
    　をコンピュータに実行させる転倒検出プログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2022/001285 2022-01-17 2022-01-17 転倒検出装置、システム及び方法、並びに、コンピュータ可読媒体 WO2023135781A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/001285 WO2023135781A1 (ja) 2022-01-17 2022-01-17 転倒検出装置、システム及び方法、並びに、コンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/001285 WO2023135781A1 (ja) 2022-01-17 2022-01-17 転倒検出装置、システム及び方法、並びに、コンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2023135781A1 true WO2023135781A1 (ja) 2023-07-20

Family

ID=87278636

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001285 WO2023135781A1 (ja) 2022-01-17 2022-01-17 転倒検出装置、システム及び方法、並びに、コンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2023135781A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056382A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018097185A (ja) * 2016-12-14 2018-06-21 パナソニックＩｐマネジメント株式会社 音声対話装置、音声対話方法、音声対話プログラム及びロボット
JP2019153184A (ja) * 2018-03-05 2019-09-12 株式会社 ディー・エヌ・エー 自動運転車両を制御するためのシステム、方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056382A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018097185A (ja) * 2016-12-14 2018-06-21 パナソニックＩｐマネジメント株式会社 音声対話装置、音声対話方法、音声対話プログラム及びロボット
JP2019153184A (ja) * 2018-03-05 2019-09-12 株式会社 ディー・エヌ・エー 自動運転車両を制御するためのシステム、方法、及びプログラム

Similar Documents

Publication Publication Date Title
JP7052663B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US10077054B2 (en) Tracking objects within a dynamic environment for improved localization
CN108062095B (zh) 在概率框架内使用传感器融合的物体追踪
US11308717B2 (en) Object detection device and object detection method
JP2019175451A (ja) 交通状況のリアルタイム検出
US11631326B2 (en) Information providing system, server, onboard device, vehicle, storage medium, and information providing method
JP6556563B2 (ja) 検出装置、検出方法、検出プログラムおよび情報処理システム
WO2022142786A1 (zh) 驾驶行为识别方法、设备和存储介质
CN111497741B (zh) 碰撞预警方法及装置
JP6711982B1 (ja) 交通安全支援装置、携帯情報端末、及びプログラム
Ijjina et al. Accident detection from dashboard camera video
WO2023135781A1 (ja) 転倒検出装置、システム及び方法、並びに、コンピュータ可読媒体
Bhandari et al. Fullstop: A camera-assisted system for characterizing unsafe bus stopping
US20220324387A1 (en) Display control system, display control method, and non-transitory storage medium
US20220114815A1 (en) Moving body collision avoidance device, collision avoidance method and electronic device
CN115100632A (zh) 膨胀点云识别方法、装置、计算机设备和存储介质
KR102084329B1 (ko) 차량 내 유아 모니터링 방법 및 시스템
JP6773854B2 (ja) 検出装置、検出方法、および検出プログラム
WO2020194391A1 (ja) 事故予測率算出コンピュータ、方法及びプログラム
CN111210617A (zh) 适用于专用车道的车道判断方法、系统、终端及介质
WO2023166675A1 (ja) 監視装置、監視システム、監視方法及び記録媒体
US20220381566A1 (en) Techniques for detecting a tracking vehicle
CN112596620B (zh) 使用智能手机传感器数据的碰撞检测
WO2023047535A1 (ja) 利用者検出装置、利用者検出システム、利用者検出方法、及び非一時的なコンピュータ可読媒体
WO2022024212A1 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22920306

Country of ref document: EP

Kind code of ref document: A1