WO2021192793A1 - 転倒防止システム - Google Patents

転倒防止システム Download PDF

Info

Publication number
WO2021192793A1
WO2021192793A1 PCT/JP2021/006974 JP2021006974W WO2021192793A1 WO 2021192793 A1 WO2021192793 A1 WO 2021192793A1 JP 2021006974 W JP2021006974 W JP 2021006974W WO 2021192793 A1 WO2021192793 A1 WO 2021192793A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
unit
fall prevention
skeleton model
vehicle
Prior art date
Application number
PCT/JP2021/006974
Other languages
English (en)
French (fr)
Inventor
英斗 三宅
石井　宏二
大輝 齊藤
Original Assignee
矢崎総業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 矢崎総業株式会社 filed Critical 矢崎総業株式会社
Priority to EP21774402.8A priority Critical patent/EP4131197A4/en
Publication of WO2021192793A1 publication Critical patent/WO2021192793A1/ja
Priority to US17/902,429 priority patent/US20220414898A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to a fall prevention system.
  • an appearance feature amount is extracted based on a human body image representing a human body to be detected, and it is detected that the human body has fallen based on the appearance feature amount.
  • a fall detection device is disclosed.
  • the fall detection device described in Patent Document 1 described above has room for further improvement in terms of more appropriate fall prevention, for example.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a fall prevention system capable of appropriately preventing falls.
  • the fall prevention system has a skeleton that generates an imaging unit that captures an image of a monitored space and a skeleton model that represents a person included in the image captured by the imaging unit.
  • the state of the person corresponding to the skeleton model includes a state in which the person is standing and a state in which the person is sitting. It is provided with a determination unit for distinguishing and determining, and an operation processing unit capable of executing a fall prevention process for preventing the person from falling, which is a process according to the determination result based on the determination result by the determination unit. It is characterized by.
  • the fall prevention system includes a guide unit for guiding, and when the determination unit determines that the person corresponding to the skeleton model is standing, the fall prevention system is provided. As the preventive process, it is possible to control the guide unit and execute a guide process for guiding the person to sit down.
  • the fall prevention system includes a notification unit that performs notification, and when the determination unit determines that the person corresponding to the skeleton model is standing, the operation processing unit provides the fall prevention system.
  • a preventive process it is possible to execute a first notification process that controls the notification unit and notifies another person different from the person that the person is standing.
  • the fall prevention system includes an external communication unit capable of communicating with an external device outside the monitored space, and the operation processing unit continues for a predetermined period after executing the guidance process.
  • the determination unit determines that the person corresponding to the skeleton model is standing, the person is standing against the external device by controlling the external communication unit as the fall prevention process. It is possible to execute the first notification process for notifying that the state is in the state.
  • the fall prevention system includes an internal communication unit capable of communicating with an in-vehicle device mounted on the vehicle whose vehicle interior space is the monitoring target space, and the motion processing unit is the skeleton model by the determination unit.
  • an internal communication unit capable of communicating with an in-vehicle device mounted on the vehicle whose vehicle interior space is the monitoring target space
  • the motion processing unit is the skeleton model by the determination unit.
  • the fall prevention system includes a notification unit that performs a notification operation and an external communication unit that can communicate with an external device outside the monitored space, and the determination unit is generated by the skeleton model generation unit.
  • the determination unit is generated by the skeleton model generation unit.
  • the operation processing unit controls the notification unit and is different from the person.
  • the second notification process for notifying the person of the person that the person has fallen, or the state that the person has fallen to the external device by controlling the external communication unit. It is possible to execute the second notification process for notifying.
  • the image pickup unit captures an image of the monitored space
  • the skeleton model generation unit generates a skeleton model representing a person included in the image.
  • the determination unit distinguishes between the state in which the person is standing and the state in which the person is sitting as the state of the person corresponding to the skeleton model based on the skeleton model generated by the skeleton model generation unit. judge.
  • the operation processing unit can execute the fall prevention processing according to the determination result based on the determination result by the determination unit.
  • the fall prevention system determines the state of the person in more detail by distinguishing between the state in which the person is standing and the state in which the person is sitting based on the skeletal model. Moreover, it can be accurately determined. As a result, the fall prevention system has the effect of being able to properly prevent falls based on a more accurate state determination.
  • FIG. 1 is a block diagram showing a schematic configuration of a fall prevention system according to an embodiment.
  • FIG. 2 is a schematic cross-sectional view showing an example of mounting the fall prevention system according to the embodiment.
  • FIG. 3 is a schematic diagram illustrating an example of state determination based on a skeleton model in the fall prevention system according to the embodiment.
  • FIG. 4 is a flowchart showing an example of control in the fall prevention system according to the embodiment.
  • FIG. 5 is a flowchart showing an example of control in the fall prevention system according to the embodiment.
  • the fall prevention system 1 of the present embodiment shown in FIGS. 1 and 2 is a system that monitors the state of the person P existing in the monitored space SP and prevents the person P from falling.
  • the fall prevention system 1 of the present embodiment constitutes an in-vehicle system mounted on a vehicle V capable of carrying and transporting a person P.
  • the vehicle interior space IN is set as the monitoring target space SP by the fall prevention system 1.
  • the monitored space SP of the present embodiment is the vehicle interior space IN of the vehicle V capable of transporting the person P.
  • the fall prevention system 1 of the present embodiment is a structural module that monitors the monitored space SP and performs fall prevention processing according to the state of the person P.
  • the fall prevention system 1 constitutes a cooperation system systems together with an external device 201 provided outside the vehicle V.
  • the cooperation system systems includes a fall prevention system 1 mounted on the vehicle V, and an external device 201 provided outside the vehicle V and capable of transmitting and receiving information to and from the fall prevention system 1.
  • the fall prevention system 1 of the present embodiment determines the state of the person P existing in the monitored space SP based on the skeleton model MDL (see FIG. 3) representing the person P, thereby determining the accuracy of the state determination. This is a more appropriate fall prevention based on this.
  • the fall prevention system 1 is realized by mounting the component shown in FIG. 1 on the vehicle V.
  • each configuration of the fall prevention system 1 will be described in detail with reference to each figure.
  • connection method between each component for exchanging power supply, control signals, various information, etc. is a wired connection or a wireless connection unless otherwise specified. It may be either.
  • the wired connection is, for example, a connection via a wiring material such as an electric wire or an optical fiber.
  • the wireless connection is, for example, a connection by wireless communication, contactless power supply, or the like.
  • the vehicle V to which the fall prevention system 1 is applied is an electric vehicle (EV (Electric Vehicle)), a hybrid vehicle (HEV (Hybrid Electric Vehicle)), and a plug-in hybrid vehicle (PHEV (Plug-in Hybrid Electric Vehicle)).
  • EV Electric Vehicle
  • HEV Hybrid Electric Vehicle
  • PHEV plug-in Hybrid Electric Vehicle
  • Gasoline vehicles diesel vehicles, and any other vehicle that uses a motor or engine as a drive source.
  • the driving of the vehicle V may be any of manual driving, semi-automatic driving, fully automatic driving and the like by the driver.
  • the vehicle V may be a so-called private car owned by an individual, a rental car, a sharing car, a bus, a taxi, or a ride sharing car.
  • the vehicle V is managed by a specific business operator such as a bus, taxi, ride shelling car, etc., used by an unspecified number of users, and automatically at the boarding / alighting position reserved by the user. It will be described as a vehicle that can be driven fully automatically. In the case of fully automatic driving, the driver itself may be absent from the vehicle V. Further, the external device 201 is provided in a facility such as a business operator that operates the vehicle V, for example.
  • the fall prevention system 1 includes an imaging unit 2, an information output unit 3, a microphone 4, a notification unit 5, an external communication unit 6, and an internal communication unit. 7 and a control device 8.
  • the information output unit 3, the notification unit 5, the external communication unit 6, the internal communication unit 7, and the like constitute an operation unit that performs various fall prevention operations to prevent the person P from falling in the fall prevention system 1.
  • the fall prevention system 1 is, for example, an overhead module (OHM) in which various functions are integrated by assembling these components into a housing or the like, unitizing them, and then providing them on the roof member (roof) RF of the vehicle V. : Over-Head Module), roof module (RM: Roof Module), and the like may be configured. Further, in the fall prevention system 1, for example, each part may be individually provided in the vehicle V.
  • the image pickup unit 2 captures an image of the monitored space SP.
  • the imaging unit 2 may be, for example, a monocular camera capable of capturing a two-dimensional image, or a stereo camera capable of capturing a three-dimensional image. Further, the imaging unit 2 may be a so-called TOF (Time of Flight) camera or the like.
  • the imaging unit 2 is provided at a position where all the occupants of the vehicle interior space IN constituting the monitored space SP can be imaged.
  • the imaging unit 2 is arranged, for example, above the vehicle interior space IN of the vehicle V, here, on the roof member RF, and the angle of view is set so that the imaging range includes the entire region of the vehicle interior space IN.
  • a plurality of image pickup units 2 may be provided and the plurality of image pickup units 2 may be configured to cover the entire area of the vehicle interior space IN.
  • the image captured by the image capturing unit 2 is typically used by the control device 8 to determine the state of the person P.
  • the information output unit 3 can output various information toward the vehicle interior space IN (monitoring target space SP).
  • the information output unit 3 of the present embodiment constitutes a guide unit that performs a guidance operation described later, and outputs various information to perform various guidances (announcements).
  • the information output unit 3 includes a display 3a and a speaker 3b as an example.
  • the display 3a displays (outputs) image information (visual information) toward the vehicle interior space IN.
  • the display 3a is composed of, for example, a thin liquid crystal display, a plasma display, an organic EL display, or the like.
  • the display 3a displays the image information at a position visible to the person P in the vehicle interior space IN.
  • the speaker 3b outputs sound information (auditory information) toward the vehicle interior space IN.
  • sound information for example, a speaker 3b with high directivity that enables sound information to be heard only by a specific person P who wants to present information in the vehicle interior space IN may be used.
  • the information output unit 3 may be configured to include an indicator light, an indicator, and the like in addition to the display 3a and the speaker 3b.
  • the microphone 4 is a sound collecting device that converts the sound generated in the vehicle interior space IN into an electric signal.
  • the microphone 4 can be used, for example, for exchanging voice with a person (for example, an operator described later) outside the vehicle interior space IN.
  • the notification unit 5 performs a notification operation described later, and can notify various information to persons P inside and outside the vehicle interior space IN (monitoring target space SP).
  • the notification unit 5 is typically a person different from the person P to be monitored by the fall prevention system 1, for example, a person who supports services in the vehicle V or a driver when the vehicle V is a manually driven vehicle.
  • Various notifications are performed by outputting various information to the above.
  • the notification unit 5 includes, for example, a speaker, a display, an indicator light, an indicator, and the like. Further, the information output unit 3 described above may also be used as the notification unit 5.
  • the external communication unit 6 is a wireless communication function component mounted on the vehicle V, and is capable of communicating with an external device 201 outside the vehicle interior space IN (monitoring target space SP).
  • the external communication unit 6 is a communication module (Data Communication Module) that wirelessly connects the vehicle V and the network N outside the vehicle V.
  • the network N connects the fall prevention system 1 and the external device 201 of the vehicle V in a communicable manner.
  • any communication network can be used regardless of whether it is wired or wireless.
  • the external communication unit 6 transmits / receives information between the device connected to the network N and the fall prevention system 1.
  • the external communication unit 6 can communicate with an external device of the vehicle V via the network N by various types of wireless communication such as wide area radio and narrow area radio.
  • the wide area radio system is, for example, radio (AM, FM), TV (UHF, 4K, 8K), TEL, GPS, WiMAX (registered trademark) and the like.
  • the narrow range wireless system is, for example, ETC / DSRC, VICS (registered trademark), wireless LAN, millimeter wave communication and the like.
  • the external communication unit 6 of the present embodiment transmits / receives information to / from the external device 201 connected to the network N at least via the network N. That is, the external communication unit 6 of the present embodiment is configured to be able to communicate with at least the external device 201 as an external device of the vehicle V.
  • the internal communication unit 7 is a communication relay function component mounted on the vehicle V, and can communicate with the in-vehicle device 101 mounted on the vehicle V.
  • the internal communication unit 7 is configured to be able to communicate with the ECU (Electronic Control Unit) 100 mounted on the vehicle V and the vehicle-mounted device 101 via the vehicle-mounted network or the like. That is, the internal communication unit 7 is configured to be able to transmit and receive various information to and from the ECU 100 and the in-vehicle device 101 mounted on the vehicle V.
  • ECU Electronic Control Unit
  • the ECU 100 is an electronic control unit that comprehensively controls the entire vehicle V including the in-vehicle device 101 and the like.
  • the ECU 100 may be configured as a part of the fall prevention system 1.
  • the fall prevention system 1 may be configured to include the ECU 100.
  • the in-vehicle device 101 is a device mounted on the vehicle V and realizes various functions.
  • the internal communication unit 7 transmits / receives information to / from a plurality of in-vehicle devices 101 connected to the ECU 100 via the ECU 100.
  • the plurality of in-vehicle devices 101 of the present embodiment are configured to include, for example, a traveling system actuator as various devices for traveling the vehicle V.
  • the traveling system actuator is typically configured to include a traveling power train, a steering device, a braking device, and the like.
  • the traveling power train is a driving device for traveling the vehicle V.
  • the steering device is a device that steers the vehicle V.
  • the braking device is a device that brakes the vehicle V.
  • the in-vehicle device 101 may be configured to include a lighting device, an air conditioning device, a display device, an audio device, and the like of the vehicle V.
  • the control device 8 comprehensively controls each part of the fall prevention system 1.
  • the control device 8 monitors the state of the vehicle interior space IN and executes various arithmetic processes for performing various corresponding processes according to the situation.
  • the control device 8 includes a CPU (Central Processing Unit), an MPU (Micro Processing Unit), an ASIC (Application Special Integrated Circuit), an FPGA (Field Program Integrated Circuit), an FPGA (Field Program It is configured to include electronic circuits mainly composed of well-known microcomputers including a Random Access Memory) and an interface.
  • the image pickup unit 2, the information output unit 3, the microphone 4, the notification unit 5, the external communication unit 6, the internal communication unit 7, and the like are electrically connected.
  • the control device 8 can mutually exchange various electric signals such as various detection signals and drive signals for driving each part with each part.
  • control device 8 is functionally conceptually configured to include an interface unit 8A, a storage unit 8B, and a processing unit 8C.
  • the interface unit 8A, the storage unit 8B, and the processing unit 8C can exchange various information with each other with various electrically connected devices.
  • the interface unit 8A is an interface for transmitting and receiving various information to and from each unit of the fall prevention system 1 such as the image pickup unit 2, the information output unit 3, the microphone 4, the notification unit 5, the external communication unit 6, and the internal communication unit 7. ..
  • the interface unit 8A has a function of transmitting information by wire with each unit via an electric wire or the like, a function of wirelessly communicating information with each unit via a wireless communication unit or the like, and the like.
  • the storage unit 8B is a storage device that stores various information.
  • the storage unit 8B can rewrite data such as a relatively large-capacity storage device such as a hard disk, SSD (Solid State Drive), or optical disk, or data such as RAM, flash memory, NVSRAM (Non Volatile Static Random Access Memory). It may be a simple semiconductor memory.
  • the storage unit 8B stores conditions and information necessary for various processes in the control device 8, various programs and applications executed by the control device 8, control data, and the like.
  • the storage unit 8B stores, for example, a learned mathematical model used for determining the state of the person P in the vehicle interior space IN (monitoring target space SP).
  • the storage unit 8B is, for example, various types of image information of the image captured by the imaging unit 2, information output unit 3, output information output from the notification unit 5, and various types received by the external communication unit 6 and the internal communication unit 7. Information and the like can be temporarily stored. In the storage unit 8B, such information is read out as needed by the processing unit 8C or the like.
  • the processing unit 8C executes various programs stored in the storage unit 8B based on various input signals and the like, and when the program operates, outputs an output signal to each unit and realizes various functions. This is the part that executes the process.
  • the processing unit 8C of the present embodiment determines the state of the person P existing in the vehicle interior space IN (monitoring target space SP) based on the skeleton model MDL (see FIG. 3) representing the person P, and the determination result. It is possible to execute the fall prevention processing according to the above.
  • the processing unit 8C of the present embodiment is functionally conceptually composed of an information processing unit 8a, a skeleton model generation unit 8b, a determination unit 8c, and an operation processing unit 8d in order to execute the various processes. ..
  • the information processing unit 8a is a part having a function capable of executing processing related to various information used in the fall prevention system 1.
  • the information processing unit 8a controls, for example, the image pickup unit 2 and executes a process of capturing an image of the vehicle interior space IN (monitoring target space SP) of the vehicle V. Then, the information processing unit 8a executes a process of storing the image information of the vehicle interior space IN imaged by the imaging unit 2 in the storage unit 8B.
  • the information processing unit 8a can control the external communication unit 6 and execute a process of transmitting and receiving various information to and from the external device 201.
  • the information processing unit 8a can execute a process of reading information transmitted by the external communication unit 6 from the storage unit 8B and a process of storing the information received by the external communication unit 6 in the storage unit 8B.
  • the information processing unit 8a can execute a process of transmitting the image information captured by the imaging unit 2 and the sound information collected by the microphone 4 to the external device 201 via the external communication unit 6.
  • the information processing unit 8a can execute a process of receiving the output information output by the display 3a and the speaker 3b from the external device 201 via the external communication unit 6.
  • the fall prevention system 1 can exchange information (for example, voice information, image information, etc.) with the external device 201 by these processes by the information processing unit 8a.
  • the information processing unit 8a can control the internal communication unit 7 and execute a process of transmitting and receiving various information to and from the in-vehicle device 101.
  • the information processing unit 8a executes a process of reading information transmitted by the internal communication unit 7 from the storage unit 8B and a process of storing the information received by the internal communication unit 7 in the storage unit 8B.
  • the information processing unit 8a executes, for example, a process of transmitting and receiving various information to and from the in-vehicle device 101 via the ECU 100.
  • the information processing unit 8a executes a process of transmitting information for operating the in-vehicle device 101 or the like to the in-vehicle device 101 via the internal communication unit 7 by the operation processing unit 8d described later.
  • the skeleton model generation unit 8b has a function capable of executing a process of generating a skeleton model MDL (see FIG. 3) representing a person P included in an image of the vehicle interior space IN (monitoring target space SP) imaged by the imaging unit 2. It is a part having.
  • the skeleton model MDL is a human body model that represents the human skeleton including the head, eyes, nose, mouth, shoulders, hips, legs, knees, elbows, hands, and joints of the person P in three dimensions.
  • FIG. 3 is an example of the image I of the vehicle interior space IN imaged by the image pickup unit 2.
  • the skeleton model generation unit 8b is included in the image I from the image I captured by the image pickup unit 2 using various known methods such as background subtraction method, Mean Shift method, pattern matching, and various machine learning. Estimate and generate a skeletal model MDL representing person P.
  • the skeleton model generation unit 8b can generate a skeleton model MDL representing the person P included in the image I by, for example, top-down type skeleton estimation that first detects the person P and then estimates the skeleton of the person P. ..
  • the skeleton model generation unit 8b recognizes the person P in the image I by using various known object recognition techniques, and the bounding box BB outside the region where the recognized person P exists in the image I. Execute the enclosing process.
  • the bounding box BB is a rectangular frame having a size required to enclose the person P recognized in the image I.
  • the skeleton model generation unit 8b is a skeleton part (human body part) of the human body such as the head, eyes, nose, mouth, shoulders, hips, legs, knees, elbows, hands, and joints of the person P in the bounding box BB. ) Is detected, and these are combined to generate a skeleton model MDL of the person P.
  • the skeletal model MDL illustrated in FIG. 3 symbolically represents each skeletal part of the human body such as the head, eyes, nose, mouth, shoulders, hips, legs, knees, elbows, hands, and joints of the person P by "dots". It is generated by expressing and connecting these with "lines”.
  • the skeleton model generation unit 8b When there are a plurality of persons P included in the image I, the skeleton model generation unit 8b generates a plurality of skeleton model MDLs according to the number of the persons P.
  • the skeleton model generation unit 8b obtains the image I by, for example, bottom-up skeleton estimation in which the skeleton of the person P is estimated after detecting all the skeleton parts of the human body in the image I without using the bounding box BB or the like.
  • a skeletal model representing the included person P may be generated.
  • the skeleton model generation unit 8b first uses various known object recognition techniques to describe the head, eyes, nose, mouth, shoulders, waist, legs, knees, elbows, and hands of the human body in the image I. All three-dimensional position coordinates of each skeletal part such as a joint are detected. After that, the skeleton model generation unit 8b generates a skeleton model MDL of each person P by matching and connecting the detected skeleton parts for each person P.
  • the determination unit 8c is a portion having a function capable of executing a process of determining the state of the person P corresponding to the skeleton model MDL based on the skeleton model MDL generated by the skeleton model generation unit 8b.
  • the determination unit 8c of the present embodiment sets the state of the person P corresponding to the skeleton model MDL generated by the skeleton model generation unit 8b as a state in which the person P is standing and a state in which the person P is sitting.
  • the person P1 shown in FIG. 3 represents a standing state
  • the person P2 shown in FIG. 3 represents a state of sitting in the seat S in the vehicle interior space IN.
  • the determination unit 8c of the present embodiment sets the state of the person P corresponding to the skeleton model MDL as a state in which the person P is standing and a state in which the person P is standing. In addition to the state in which the person is sitting, the state in which the person P has fallen is also determined separately.
  • the determination unit 8c determines the state of the person P.
  • the person P is standing by various machine learning in advance with parameters such as the relative positional relationship and relative distance of each skeleton part in the skeleton model MDL, the size of the bounding box BB, and the like. Learn how to sit, fall.
  • the fall prevention system 1 uses "relative positional relationship, relative distance, size of bounding box BB, etc. of each skeleton part in the skeleton model MDL" collected in advance as explanatory variables, and "is in a standing state.
  • Machine learning is performed with the objective variable such as "whether you are sitting or lying down”.
  • various types of algorithms applicable to this embodiment can be used, such as logistic regression, support vector machines, neural networks, and random forests.
  • the fall prevention system 1 stores in advance a learned mathematical model for determining a state or the like obtained by this machine learning in the storage unit 8B.
  • the determination unit 8c determines the state of the person corresponding to the skeleton model MDL by classification / regression based on the learned mathematical model for state determination stored in the storage unit 8B as described above. More specifically, the determination unit 8c determines the relative positional relationship, relative distance, and size of the bounding box BB of each skeletal part obtained from the skeletal model MDL of the person P included in the actually captured image I. , Input to the mathematical model for determining the state. As a result, the determination unit 8c determines that the state of the person P corresponding to the skeleton model MDL is a state in which the person P is standing, a state in which the person P is sitting, and a state in which the person P is overturned. Is distinguished and judged.
  • the motion processing unit 8d is a portion having a function capable of executing a process of controlling the operation of each unit of the fall prevention system 1. Based on the determination result by the determination unit 8c, the operation processing unit 8d of the present embodiment can execute a fall prevention process that prevents the person P from falling, which is a process according to the determination result.
  • the operation processing unit 8d controls the information output unit 3, the notification unit 5, the external communication unit 6, the internal communication unit 7, etc., which constitute the operation unit, based on the determination result by the determination unit, and falls according to the determination result. Execute preventive processing.
  • the motion processing unit 8d determines that the person P corresponding to the skeleton model MDL is standing after the person P gets on the vehicle V
  • the motion processing unit 8d guides the person P as a fall prevention process.
  • This guidance process is a process of controlling the information output unit 3 to guide the person P to sit down.
  • the motion processing unit 8d controls, for example, the display 3a constituting the information output unit 3, prompts the person P to sit down by the display 3a, and is careful to prevent the person P from falling.
  • a guidance display is displayed to encourage arousal.
  • the motion processing unit 8d controls the speaker 3b constituting the information output unit 3 by executing the guidance process as the fall prevention process, and the speaker 3b prompts the person P to sit down and prevents the person P from falling. Voice guidance may be provided to call attention.
  • the motion processing unit 8d further determines that the person P corresponding to the skeleton model MDL is standing by the determination unit 8c for a predetermined period of time after executing the guidance process.
  • the first notification process may be executed as the fall prevention process.
  • the first notification process is a process of controlling the external communication unit 6 and notifying the external device 201 that the person P is standing.
  • the external device 201 will be briefly explained.
  • the external device 201 is provided in, for example, a facility such as a business operator that operates the vehicle V.
  • the external device 201 constitutes a cloud service device mounted on the network N outside the vehicle V, and constitutes a center in a so-called cloud service.
  • the external device 201 can transmit and receive information to and from the fall prevention system 1 (vehicle V) via the network N.
  • the external device 201 can also be configured by installing an application that realizes various processes on a known computer system such as a PC or workstation.
  • the fall prevention system 1 can receive various cloud services from the external device 201 by communicating with and cooperating with the external device 201 via the external communication unit 6.
  • the external device 201 includes a communication unit 202, an information output unit 203, a microphone 204, and a control device 205, as illustrated in FIG.
  • the communication unit 202 is a communication module capable of communicating with the network N like the external communication unit 6, and here, it is possible to communicate with the fall prevention system 1 via the network N by wire / wireless.
  • the information output unit 203 can output various information, and includes a display 203a, a speaker 203b, and the like.
  • the microphone 204 is a sound collecting device that converts sound into an electric signal, and is used for exchanging voice with a person P or the like in the vehicle V.
  • the control device 205 controls each part of the external device 201 in an integrated manner, and like the control device 8, the control device 205 includes an interface unit 205A, a storage unit 205B, and a processing unit 205C in terms of functional concept.
  • the interface unit 205A is an interface for transmitting and receiving various information to and from each unit of the external device 201 such as the communication unit 202, the information output unit 203, and the microphone 204.
  • the storage unit 205B is a storage device that stores various types of information.
  • the processing unit 205C executes various programs stored in the storage unit 205B based on various input signals and the like, and when the program operates, outputs an output signal to each unit and realizes various functions. This is the part that executes the process.
  • the motion processing unit 8d is, for example, a person who gets on the vehicle V to the operator or the like of the business operator via the external device 201 configured as described above. Notify that P is still standing. Further, the operation processing unit 8d may perform mutual communication with the external device 201 of the notification destination via the processing by the information processing unit 8a or the external communication unit 6 after the notification is performed. In this case, the operation processing unit 8d exchanges various information (for example, voice information, image information, etc.) between the external device 201 and the vehicle V via the information output units 3, 203, microphones 4, 204, and the like.
  • various information for example, voice information, image information, etc.
  • the motion processing unit 8d can be urged to sit on the person P directly from, for example, an operator on the external device 201 side.
  • the motion processing unit 8d executes the first notification process as the fall prevention process when, for example, the determination unit 8c determines that the person P corresponding to the skeleton model MDL is standing. May be good.
  • the first notification process is a process of controlling the notification unit 5 to notify another person different from the person P that the person P is standing.
  • the operation processing unit 8d controls, for example, the speakers, displays, indicator lights, indicators, etc. constituting the notification unit 5 by executing the first notification processing as the fall prevention processing, and is a person different from the person P, for example. If the person who supports the service in the vehicle V or the vehicle V is a manually driven vehicle, the driver or the like is notified that the person P is standing.
  • the motion processing unit 8d may execute the start prohibition process as the fall prevention process when, for example, the determination unit 8c determines that the person P corresponding to the skeleton model MDL is standing. good.
  • This start prohibition process is a process of controlling the in-vehicle device 101 via the internal communication unit 7 to prohibit the vehicle V from starting.
  • the motion processing unit 8d controls, for example, the traveling system actuators and the like constituting the in-vehicle device 101 to prevent the vehicle V from starting.
  • the motion processing unit 8d executes a second notification process or a second notification process when, for example, the determination unit 8c determines that the person P corresponding to the skeleton model MDL has fallen. You may try to do it.
  • This second notification process is a process that controls the notification unit 5 to notify another person different from the person P that the person P has fallen.
  • the operation processing unit 8d controls, for example, the speakers, displays, indicator lights, indicators, etc. that make up the notification unit 5, and in a person different from the person P, for example, the vehicle V.
  • the driver or the like is notified that the person P has fallen.
  • the second notification process is a process of controlling the external communication unit 6 and notifying the external device 201 that the person P has fallen.
  • the motion processing unit 8d causes the person P who got on the vehicle V to fall over to the operator or the like of the business operator via the external device 201 configured as described above. Notify that it is in a state.
  • the operation processing unit 8d performs mutual communication with the external device 201 of the notification destination via the processing by the information processing unit 8a or the external communication unit 6 after the notification is performed. You may do so.
  • the motion processing unit 8d can, for example, directly confirm the state of the fallen person P from an operator or the like on the external device 201 side.
  • control in the fall prevention system 1 will be described with reference to the flowcharts of FIGS. 4 and 5.
  • the control of FIG. 4 and the control of FIG. 5 may be executed in parallel, or one may be incorporated into the other and executed.
  • the information processing unit 8a of the control device 8 controls the imaging unit 2 to image the vehicle interior space IN. I is imaged, and the captured image information is stored in the storage unit 8B (step S1).
  • the skeleton model generation unit 8b of the control device 8 detects the position of each skeleton part of the person P by object recognition and skeleton estimation based on the image I of the vehicle interior space IN stored in the storage unit 8B. (Step S2), a skeleton model MDL of the person P is generated (step S3).
  • the determination unit 8c of the control device 8 corresponds to the skeleton model MDL by using a mathematical model for state determination that has been learned by machine learning based on the skeleton model MDL generated in the process of step S3. It is detected whether the person P is standing or sitting (step S4).
  • the determination unit 8c determines whether or not the person P corresponding to the skeleton model MDL is standing (step S5).
  • the determination unit 8c determines that the person P is not in a standing state, that is, is in a sitting state (step S5: No)
  • the determination unit 8c ends this control.
  • the operation processing unit 8d of the control device 8 executes the fall prevention process (step S6).
  • the operation processing unit 8d executes, for example, the above-mentioned guidance process, first notification process, start prohibition process, and the like as the fall prevention process.
  • the determination unit 8c is in a state in which the person P corresponding to the skeleton model MDL is still standing after a predetermined period (for example, about several minutes) has elapsed after the fall prevention process is executed in step S6. Whether or not it is determined (step S7).
  • the determination unit 8c determines that the person P is not in a standing state, that is, is in a sitting state (step S7: No)
  • the determination unit 8c ends this control.
  • step S7 determines that the person P corresponding to the skeleton model MDL is still standing (step S7: Yes)
  • the motion processing unit 8d performs the above-mentioned first notification process as the fall prevention process. It is executed (step S8), and this control is terminated.
  • the information processing unit 8a controls the image pickup unit 2 to capture the image I of the vehicle interior space IN.
  • the captured image information is stored in the storage unit 8B (step S101).
  • the skeleton model generation unit 8b detects the position of each skeleton part of the person P by object recognition and skeleton estimation based on the image I of the vehicle interior space IN stored in the storage unit 8B (step S102). , A skeleton model MDL of the person P is generated (step S103).
  • the determination unit 8c of the control device 8 corresponds to the skeleton model MDL by using a mathematical model for state determination that has been learned by machine learning based on the skeleton model MDL generated in the process of step S103. It is detected whether the person P is in a fallen state (step S104).
  • the determination unit 8c determines whether or not the person P corresponding to the skeleton model MDL is in a fallen state (step S105).
  • the determination unit 8c determines that the person P is not in a fallen state, that is, is in a sitting state or a standing state (step S105: No)
  • this control is terminated.
  • step S105 determines that the person P corresponding to the skeleton model MDL has fallen (step S105: Yes).
  • the motion processing unit 8d may perform the second notification process or the second notification process described above. Is executed (step S106), and this control is terminated.
  • the image pickup unit 2 captures the image I of the monitored space SP, and the skeleton model generation unit 8b generates a skeleton model MDL representing the person P included in the image I. Then, the determination unit 8c determines that the person P is standing and the person P is sitting as the state of the person P corresponding to the skeleton model MDL based on the skeleton model MDL generated by the skeleton model generation unit 8b. Judgment is made by distinguishing it from the state in which it is. Then, the operation processing unit 8d can execute the fall prevention processing according to the determination result based on the determination result by the determination unit 8c.
  • the fall prevention system 1 distinguishes between the standing state of the person P and the sitting state of the person P based on the skeleton model MDL, thereby determining the state of the person P.
  • the state can be determined in more detail and accurately.
  • the determination unit 8c determines the posture and the state not only from the image including the person P but also from the skeleton model MDL of the person P, for example, even when the person P makes various movements, the person The state of P can be determined more appropriately. As a result, the fall prevention system 1 can properly prevent the fall based on a more accurate state determination.
  • the motion processing unit 8d performs a guidance process as a fall prevention process. Can be executed. In this case, since the fall prevention system 1 can guide the standing person P to sit down, it is possible to prevent the person P from falling.
  • the motion processing unit 8d when the determination unit 8c determines that the person P corresponding to the skeleton model MDL is standing, the motion processing unit 8d first notifies the fall prevention system 1 as a fall prevention process.
  • the process can be executed.
  • the fall prevention system 1 is a person different from the standing person P, for example, a person who supports the service in the vehicle V or a person who stands against the driver when the vehicle V is a manually driven vehicle. It is possible to notify that P is present. As a result, the fall prevention system 1 can prevent the person P from falling through the supporting person, the driver, or the like.
  • the fall prevention system 1 after executing the guidance process, it is determined by the determination unit 8c that the person P corresponding to the skeleton model MDL is standing continuously for a predetermined period of time. In this case, the operation processing unit 8d may execute the first notification process as the fall prevention process. In this case, the fall prevention system 1 can notify the operator or the like of the business operator of the existence of the standing person P via the external device 201. As a result, the fall prevention system 1 can be urged to sit on the person P directly from, for example, an operator on the external device 201 side, and can prevent the person P from falling.
  • the motion processing unit 8d when the determination unit 8c determines that the person P corresponding to the skeleton model MDL is standing, the motion processing unit 8d performs a start prohibition process as a fall prevention process. Can be executed. In this case, the fall prevention system 1 can prohibit the vehicle V from starting when there is a person P standing in the vehicle interior space IN, which is the monitored space SP, so that the person P can fall. It can be prevented in advance.
  • the motion processing unit 8d when the determination unit 8c determines that the person P corresponding to the skeleton model MDL is in a state of being overturned, the motion processing unit 8d performs a second notification process or a second notification process. , The second notification process may be executed.
  • the fall prevention system 1 promptly informs the person who supports the service in the vehicle V, the driver when the vehicle V is a manually driven vehicle, the operator on the external device 201 side, and the like that the person P has fallen. Since it can be communicated, it is possible to take prompt and appropriate measures.
  • the determination unit 8c as the state of the person P represented by the skeleton model MDL, in addition to the state in which the person P is standing and the state in which the person P is sitting, the person P has fallen. Although it has been explained that the state of being in the state is also judged separately, the present invention is not limited to this.
  • the determination unit 8c may determine the state of the person P represented by the skeleton model MDL by distinguishing at least the state in which the person P is standing and the state in which the person P is sitting.
  • the fall prevention system 1 has been described as including an information output unit 3, a microphone 4, a notification unit 5, an external communication unit 6, and an internal communication unit 7, but the present invention is not limited to this, and any one of them may be used. It may not be provided.
  • the fall prevention process has been described as being a guidance process, a notification process, a first notification process, a start prohibition process, etc. It may be.
  • the vehicle V is described as being a vehicle that is managed by a specific business operator such as a bus, a taxi, a ride shelling car, etc. and can be driven fully automatically, but the present invention is not limited to this.
  • the vehicle V may be, for example, a manually driveable vehicle in which the behavior of the vehicle V is controlled according to a driving operation by the driver of the vehicle V.
  • the fall prevention system 1 is mounted on the vehicle V, and the monitored space SP is assumed to be the vehicle interior space IN, but the present invention is not limited to this.
  • the fall prevention system 1 may be applied to a facility other than the vehicle V, for example, a nursing care facility, and the monitored space SP may be a corridor space, a living room space, or the like of the facility instead of the vehicle interior space IN. good.
  • the control device 8 described above may be configured such that each part is configured as a separate body and the respective parts are connected to each other so that various electric signals can be exchanged with each other, and some of the functions of the control device 8 may be other control devices. May be realized by. Further, the programs, applications, various data and the like described above may be updated as appropriate, or may be stored in a server connected to the fall prevention system 1 via an arbitrary network. The programs, applications, various data, and the like described above can be downloaded in whole or in part as needed. Further, for example, with respect to the processing function provided in the control device 8, all or any part thereof may be realized by, for example, a CPU or a program interpreted and executed by the CPU or the like, or wired logic. It may be realized as hardware such as.
  • the fall prevention system according to the present embodiment may be configured by appropriately combining the components of the embodiments and modifications described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Management (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Psychology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

転倒防止システム（１）は、監視対象空間の画像を撮像する撮像部（２）と、撮像部（２）によって撮像された画像に含まれる人物を表す骨格モデルを生成する骨格モデル生成部（８ｂ）と、骨格モデル生成部（８ｂ）によって生成された骨格モデルに基づいて、骨格モデルに対応する人物の状態として、当該人物が立っている状態と、当該人物が座っている状態とを区別して判定する判定部（８ｃ）と、判定部（８ｃ）による判定結果に基づいて、当該判定結果に応じた処理であって人物の転倒を防止する転倒防止処理を実行可能である動作処理部８ｄと備えることを特徴とする。

Description

転倒防止システム
　本発明は、転倒防止システムに関する。
　従来の転倒防止システムに関する技術として、例えば、特許文献１には、検知対象である人体を表す人体画像に基づいてアピアランス特徴量を抽出し、当該アピアランス特徴量を基に人体が転倒したことを検知する転倒検知装置が開示されている。
特許第６２１７６３５号公報
　ところで、上述の特許文献１に記載の転倒検知装置は、例えば、より適正な転倒防止の点で更なる改善の余地がある。
　本発明は、上記の事情に鑑みてなされたものであって、適正に転倒防止を行うことができる転倒防止システムを提供することを目的とする。
　上記目的を達成するために、本発明に係る転倒防止システムは、監視対象空間の画像を撮像する撮像部と、前記撮像部によって撮像された前記画像に含まれる人物を表す骨格モデルを生成する骨格モデル生成部と、前記骨格モデル生成部によって生成された前記骨格モデルに基づいて、前記骨格モデルに対応する前記人物の状態として、当該人物が立っている状態と、当該人物が座っている状態とを区別して判定する判定部と、前記判定部による判定結果に基づいて、当該判定結果に応じた処理であって前記人物の転倒を防止する転倒防止処理を実行可能である動作処理部と備えることを特徴とする。
　また、上記転倒防止システムでは、案内を行う案内部を備え、前記動作処理部は、前記判定部によって前記骨格モデルに対応する前記人物が立っている状態であるものと判定された場合、前記転倒防止処理として、前記案内部を制御し当該人物に対して着座を案内する案内処理を実行するものとすることができる。
　また、上記転倒防止システムでは、報知を行う報知部を備え、前記動作処理部は、前記判定部によって前記骨格モデルに対応する前記人物が立っている状態であるものと判定された場合、前記転倒防止処理として、前記報知部を制御し当該人物とは異なる他の人物に対して当該人物が立っている状態である旨を報知する第１報知処理を実行するものとすることができる。
　また、上記転倒防止システムでは、前記監視対象空間の外部の外部機器と通信可能である外部通信部を備え、前記動作処理部は、前記案内処理を実行した後、予め定められた期間継続して、前記判定部によって前記骨格モデルに対応する前記人物が立っている状態であるものと判定された場合、前記転倒防止処理として、前記外部通信部を制御し前記外部機器に対して当該人物が立っている状態である旨を通知する第１通知処理を実行するものとすることができる。
　また、上記転倒防止システムでは、車両室内空間が前記監視対象空間とされた車両に搭載された車載機器と通信可能である内部通信部を備え、前記動作処理部は、前記判定部によって前記骨格モデルに対応する前記人物が立っている状態であるものと判定された場合、前記転倒防止処理として、前記内部通信部を介して前記車載機器を制御し、前記車両の発進を禁止する発進禁止処理を実行するものとすることができる。
　また、上記転倒防止システムでは、報知動作を行う報知部と、前記監視対象空間の外部の外部機器と通信可能である外部通信部とを備え、前記判定部は、前記骨格モデル生成部によって生成された前記骨格モデルに基づいて、前記骨格モデルに対応する前記人物の状態として、当該人物が立っている状態と、当該人物が座っている状態とに加えて、当該人物が転倒している状態も区別して判定し、前記動作処理部は、前記判定部によって前記骨格モデルに対応する前記人物が転倒している状態であるものと判定された場合、前記報知部を制御し当該人物とは異なる他の人物に対して当該人物が転倒している状態である旨を報知する第２報知処理、又は、前記外部通信部を制御し前記外部機器に対して当該人物が転倒している状態である旨を通知する第２通知処理を実行するものとすることができる。
　本発明に係る転倒防止システムは、撮像部によって監視対象空間の画像を撮像し、骨格モデル生成部によって当該画像に含まれる人物を表す骨格モデルを生成する。そして、判定部は、骨格モデル生成部によって生成された骨格モデルに基づいて、骨格モデルに対応する人物の状態として、当該人物が立っている状態と、当該人物が座っている状態とを区別して判定する。そして、動作処理部は、判定部による判定結果に基づいて、当該判定結果に応じた転倒防止処理を実行可能である。この場合に、転倒防止システムは、上記のように、骨格モデルに基づいて、人物が立っている状態と、人物が座っている状態とを区別して判定することで、人物の状態をより詳細、かつ、正確に判定することができる。この結果、転倒防止システムは、より正確な状態判定に基づいて適正に転倒防止を行うことができる、という効果を奏する。
図１は、実施形態に係る転倒防止システムの概略構成を表すブロック図である。 図２は、実施形態に係る転倒防止システムの搭載例を表す模式的な断面図である。 図３は、実施形態に係る転倒防止システムにおける骨格モデルに基づく状態判定の一例を説明する模式図である。 図４は、実施形態に係る転倒防止システムにおける制御の一例を表すフローチャート図である。 図５は、実施形態に係る転倒防止システムにおける制御の一例を表すフローチャート図である。
　以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
［実施形態］
　図１、図２に示す本実施形態の転倒防止システム１は、監視対象空間ＳＰに存在する人物Ｐの状態を監視し当該人物Ｐの転倒を防止するシステムである。本実施形態の転倒防止システム１は、人物Ｐを乗車させ輸送することが可能な車両Ｖに搭載される車載システムを構成する。車両Ｖは、車両室内空間ＩＮが転倒防止システム１による監視対象空間ＳＰとされる。言い換えれば、本実施形態の監視対象空間ＳＰは、人物Ｐを輸送することが可能な車両Ｖの車両室内空間ＩＮである。
　本実施形態の転倒防止システム１は、上記監視対象空間ＳＰを監視し、人物Ｐの状態に応じた転倒防止処理を行う構造的なモジュールである。ここでは、転倒防止システム１は、車両Ｖの外部に設けられる外部機器２０１と共に連携システムｓｙｓを構成する。連携システムｓｙｓは、車両Ｖに搭載される転倒防止システム１と、車両Ｖの外部に設けられ転倒防止システム１と相互に情報を送受信可能である外部機器２０１とを備える。
　そして、本実施形態の転倒防止システム１は、監視対象空間ＳＰに存在する人物Ｐの状態を、当該人物Ｐを表す骨格モデルＭＤＬ（図３参照）に基づいて判定することで、状態判定の精度を向上し、これに基づいたより適正な転倒防止を図ったものである。転倒防止システム１は、図１に示す構成要素を車両Ｖに搭載することで実現される。以下、各図を参照して転倒防止システム１の各構成について詳細に説明する。
　なお、図１に図示する転倒防止システム１において、電力供給、制御信号、各種情報等の授受のための各構成要素間の接続方式は、特に断りのない限り、有線による接続、無線による接続のいずれであってもよい。有線による接続とは、例えば、電線や光ファイバ等の配索材を介した接続である。無線による接続とは、例えば、無線通信、非接触給電等による接続である。
　また、転倒防止システム１が適用される車両Ｖは、電気車両（ＥＶ（Ｅｌｅｃｔｒｉｃ　Ｖｅｈｉｃｌｅ））、ハイブリッド車両（ＨＥＶ（Ｈｙｂｒｉｄ　Ｅｌｅｃｔｒｉｃ　Ｖｅｈｉｃｌｅ））、プラグインハイブリッド車両（ＰＨＥＶ（Ｐｌｕｇ－ｉｎ　Ｈｙｂｒｉｄ　Ｅｌｅｃｔｒｉｃ　Ｖｅｈｉｃｌｅ））、ガソリン車両、ディーゼル車両など、駆動源としてモータ又はエンジンを用いるいずれの車両であってもよい。また、当該車両Ｖの運転は、運転者による手動運転、半自動運転、完全自動運転等、いずれであってもよい。また、当該車両Ｖは、いわゆる個人が所有する自家用車、レンタカー、シェアリングカー、バス、タクシー、ライドシェアカーのいずれであってもよい。以下の説明では、一例として、車両Ｖは、バス、タクシー、ライドシェリングカー等、特定の事業者等によって管理され不特定多数の利用者によって利用され、利用者によって予約された乗降位置に自動で移動する完全自動運転可能な車両であるものとして説明する。完全自動運転の場合、車両Ｖに運転者自体が不在となる場合もありうる。また、外部機器２０１は、例えば、車両Ｖを運用する事業者等の施設に設けられる。
　具体的には、転倒防止システム１は、図１、図２に示すように、撮像部２と、情報出力部３と、マイク４と、報知部５と、外部通信部６と、内部通信部７と、制御装置８とを備える。情報出力部３、報知部５、外部通信部６、内部通信部７等は、転倒防止システム１において、人物Ｐの転倒を防止する種々の転倒防止動作を行う動作部を構成するものである。転倒防止システム１は、例えば、これらの構成要素が筐体等に組み付けられユニット化された上で車両Ｖの屋根部材（ルーフ）ＲＦに設けられることで、種々の機能を統合したオーバーヘッドモジュール（ＯＨＭ：Ｏｖｅｒ－Ｈｅａｄ　Ｍｏｄｕｌｅ）やルーフモジュール（ＲＭ：Ｒｏｏｆ　Ｍｏｄｕｌｅ）等を構成してもよい。また、転倒防止システム１は、例えば、各部が車両Ｖに個別に設けられてもよい。
　撮像部２は、監視対象空間ＳＰの画像を撮像するものである。撮像部２は、例えば、２次元画像を撮像可能な単眼カメラであってもよいし、３次元画像を撮像可能なステレオカメラであってもよい。また、撮像部２は、いわゆるＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）カメラ等であってもよい。撮像部２は、監視対象空間ＳＰを構成する車両室内空間ＩＮの全乗員を撮像可能な位置に設けられる。撮像部２は、例えば、車両Ｖの車両室内空間ＩＮの上方、ここでは、屋根部材ＲＦに配置され、撮像範囲に車両室内空間ＩＮの全領域が含まれるように画角が設定されている。撮像部２は、１つで車両室内空間ＩＮの全域をカバーできない場合には複数が設けられ当該複数によって車両室内空間ＩＮの全域をカバーするように構成されてもよい。撮像部２によって撮像された画像は、典型的には、制御装置８によって人物Ｐの状態判定に用いられる。
　情報出力部３は、車両室内空間ＩＮ（監視対象空間ＳＰ）に向けて種々の情報を出力可能なものである。本実施形態の情報出力部３は、後述する案内動作を行う案内部を構成するものであり、各種情報を出力することで種々の案内（アナウンス）を行う。情報出力部３は、一例として、ディスプレイ３ａ、スピーカ３ｂを含んで構成される。
　ディスプレイ３ａは、車両室内空間ＩＮに向けて画像情報（視覚情報）を表示（出力）するものである。ディスプレイ３ａは、例えば、薄型の液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等によって構成される。ディスプレイ３ａは、車両室内空間ＩＮ内の人物Ｐから目視可能な位置に画像情報を表示する。
　スピーカ３ｂは、車両室内空間ＩＮに向けて音情報（聴覚情報）を出力するものである。スピーカ３ｂは、例えば、車両室内空間ＩＮにおいて、情報を提示したい特定の人物Ｐにのみ音情報を聴き取り可能とする指向性の高いものを用いてもよい。
　なお、情報出力部３は、ディスプレイ３ａ、スピーカ３ｂの他、表示灯、インジケータ等を含んで構成されてもよい。
　マイク４は、車両室内空間ＩＮで発生した音を電気信号に変換する集音装置である。マイク４は、例えば、車両室内空間ＩＮの外部の人物（例えば、後述するオペレータ等）との音声のやり取りに使用することができる。
　報知部５は、後述する報知動作を行うものであり、車両室内空間ＩＮ（監視対象空間ＳＰ）の内外の人物Ｐに対して種々の情報を報知可能なものである。報知部５は、典型的には、転倒防止システム１による監視の対象となる人物Ｐとは異なる人物、例えば、車両Ｖにおけるサービスをサポートする人物や車両Ｖが手動運転車の場合には運転者等に対して各種情報を出力することで種々の報知を行う。報知部５は、上述の情報出力部３と同様に、例えば、スピーカ、ディスプレイ、表示灯、インジケータ等を含んで構成される。また、報知部５は、上述の情報出力部３が兼用されてもよい。
　外部通信部６は、車両Ｖに搭載される無線通信機能部品であり、車両室内空間ＩＮ（監視対象空間ＳＰ）の外部の外部機器２０１と通信可能なものである。外部通信部６は、車両Ｖと当該車両Ｖの外部のネットワークＮとを無線により接続する通信モジュール（Ｄａｔａ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｍｏｄｕｌｅ）である。
　ここで、ネットワークＮは、転倒防止システム１と車両Ｖの外部機器２０１とを通信可能に接続するものである。ネットワークＮは、有線または無線を問わず、任意の通信網を用いることができる。外部通信部６は、ネットワークＮに接続された機器と転倒防止システム１との間で情報の送受信を行う。
　外部通信部６は、例えば、広域無線、狭域無線等、種々の方式の無線通信によりネットワークＮを介して車両Ｖの外部の機器と通信可能である。ここで、広域無線の方式は、例えば、ラジオ（ＡＭ、ＦＭ）、ＴＶ（ＵＨＦ、４Ｋ、８Ｋ）、ＴＥＬ、ＧＰＳ、ＷｉＭＡＸ（登録商標）等である。また、狭域無線の方式は、例えば、ＥＴＣ／ＤＳＲＣ、ＶＩＣＳ（登録商標）、無線ＬＡＮ、ミリ波通信等である。本実施形態の外部通信部６は、少なくともネットワークＮを介して、当該ネットワークＮに接続された外部機器２０１との間で情報の送受信を行う。つまり、本実施形態の外部通信部６は、車両Ｖの外部の機器として、少なくとも外部機器２０１と通信可能に構成される。
　内部通信部７は、車両Ｖに搭載される通信中継機能部品であり、車両Ｖに搭載された車載機器１０１と通信可能なものである。内部通信部７は、車載ネットワーク等を介して車両Ｖに搭載されたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）１００や車載機器１０１と通信可能に構成される。つまり、内部通信部７は、車両Ｖに搭載されるＥＣＵ１００や車載機器１０１と種々の情報を送受信可能に構成される。
　ここで、ＥＣＵ１００は、車載機器１０１等を含む車両Ｖの全体を統括的に制御する電子制御ユニットである。このＥＣＵ１００は、転倒防止システム１の一部として構成されていてもよい。言い換えれば、転倒防止システム１は、ＥＣＵ１００を備える構成であってもよい。車載機器１０１は、車両Ｖに搭載され、種々の機能を実現させる機器である。内部通信部７は、ＥＣＵ１００を介して、当該ＥＣＵ１００に接続された複数の車載機器１０１との間で情報の送受信を行う。本実施形態の複数の車載機器１０１は、例えば、車両Ｖを走行させるための種々の機器として走行系アクチュエータを含んで構成される。走行系アクチュエータは、典型的には、走行用パワートレーン、操舵装置、制動装置等を含んで構成される。走行用パワートレーンは、車両Ｖを走行させる駆動装置である。操舵装置は、車両Ｖの操舵を行う装置である。制動装置は、車両Ｖの制動を行う装置である。また、車載機器１０１は、車両Ｖの照明機器、空調機器、表示機器、音響機器等を含んで構成されてもよい。
　制御装置８は、転倒防止システム１の各部を統括的に制御するものである。制御装置８は、車両室内空間ＩＮの状況を監視し、状況に応じて様々な対応処理を行うための種々の演算処理を実行する。制御装置８は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の中央演算処理装置、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）及びインターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。制御装置８は、撮像部２、情報出力部３、マイク４、報知部５、外部通信部６、内部通信部７等が電気的に接続される。制御装置８は、各種の検出信号や各部を駆動させるための駆動信号等の各種の電気信号を各部との間で相互に授受することができる。
　具体的には、制御装置８は、機能概念的に、インターフェース部８Ａ、記憶部８Ｂ、及び、処理部８Ｃを含んで構成される。インターフェース部８Ａ、記憶部８Ｂ、及び、処理部８Ｃは、電気的に接続されている各種機器との間で種々の情報を相互に授受することができる。
　インターフェース部８Ａは、撮像部２、情報出力部３、マイク４、報知部５、外部通信部６、内部通信部７等の転倒防止システム１の各部と種々の情報を送受信するためのインターフェースである。インターフェース部８Ａは、各部との間で電線等を介して情報を有線通信する機能、各部との間で無線通信ユニット等を介して情報を無線通信する機能等を有している。
　記憶部８Ｂは、種々の情報を記憶する記憶装置である。記憶部８Ｂは、例えば、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、光ディスクなどの比較的に大容量の記憶装置、あるいは、ＲＡＭ、フラッシュメモリ、ＮＶＳＲＡＭ（Ｎｏｎ　Ｖｏｌａｔｉｌｅ　Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などのデータを書き換え可能な半導体メモリであってもよい。記憶部８Ｂは、制御装置８での各種処理に必要な条件や情報、制御装置８で実行する各種プログラムやアプリケーション、制御データ等が格納されている。記憶部８Ｂは、例えば、車両室内空間ＩＮ（監視対象空間ＳＰ）の人物Ｐの状態判定に用いられる学習済みの数理モデル等を記憶する。また、記憶部８Ｂは、例えば、撮像部２によって撮像された画像の画像情報、情報出力部３、報知部５から出力される出力情報、外部通信部６、内部通信部７によって受信された各種情報等を一時的に記憶することもできる。記憶部８Ｂは、処理部８Ｃ等によってこれらの情報が必要に応じて読み出される。
　処理部８Ｃは、各種入力信号等に基づいて、記憶部８Ｂに記憶されている各種プログラムを実行し、当該プログラムが動作することにより各部に出力信号を出力し各種機能を実現するための種々の処理を実行する部分である。
　本実施形態の処理部８Ｃは、車両室内空間ＩＮ（監視対象空間ＳＰ）に存在する人物Ｐの状態を、当該人物Ｐを表す骨格モデルＭＤＬ（図３参照）に基づいて判定し、当該判定結果に応じた転倒防止処理を実行可能である。
　本実施形態の処理部８Ｃは、上記各種処理を実行するために、機能概念的に、情報処理部８ａ、骨格モデル生成部８ｂ、判定部８ｃ、及び、動作処理部８ｄを含んで構成される。
　情報処理部８ａは、転倒防止システム１で用いる種々の情報に関する処理を実行可能な機能を有する部分である。情報処理部８ａは、例えば、撮像部２を制御し、車両Ｖの車両室内空間ＩＮ（監視対象空間ＳＰ）の画像を撮像させる処理を実行する。そして、情報処理部８ａは、撮像部２によって撮像された車両室内空間ＩＮの画像情報を記憶部８Ｂに記憶させる処理を実行する。
　また、情報処理部８ａは、外部通信部６を制御し、外部機器２０１との間で種々の情報を送受信させる処理を実行可能である。情報処理部８ａは、外部通信部６によって送信される情報を記憶部８Ｂから読み出す処理や外部通信部６によって受信された情報を記憶部８Ｂに記憶させる処理を実行可能である。例えば、情報処理部８ａは、撮像部２によって撮像された画像情報やマイク４によって集音された音情報を、外部通信部６を介して外部機器２０１に送信させる処理を実行可能である。さらには、情報処理部８ａは、ディスプレイ３ａ、スピーカ３ｂで出力させる出力情報を、外部通信部６を介して外部機器２０１から受信させる処理を実行可能である。転倒防止システム１は、情報処理部８ａによるこれらの処理により、外部機器２０１と相互に情報（例えば、音声情報や画像情報等）のやり取りが可能となる。
　また、情報処理部８ａは、内部通信部７を制御し、車載機器１０１との間で種々の情報を送受信させる処理を実行可能である。情報処理部８ａは、内部通信部７によって送信される情報を記憶部８Ｂから読み出す処理や内部通信部７によって受信された情報を記憶部８Ｂに記憶させる処理を実行する。また、情報処理部８ａは、例えば、ＥＣＵ１００を介して車載機器１０１との間で種々の情報を送受信させる処理を実行する。例えば、情報処理部８ａは、後述する動作処理部８ｄによって車載機器１０１等を動作させるための情報を、内部通信部７を介して当該車載機器１０１に送信させる処理を実行する。
　骨格モデル生成部８ｂは、撮像部２によって撮像された車両室内空間ＩＮ（監視対象空間ＳＰ）の画像に含まれる人物Ｐを表す骨格モデルＭＤＬ（図３参照）を生成する処理を実行可能な機能を有する部分である。骨格モデルＭＤＬは、人物Ｐの頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等を含む人体骨格を３次元で表した人体モデルである。
　図３は、撮像部２によって撮像された車両室内空間ＩＮの画像Ｉの一例である。骨格モデル生成部８ｂは、例えば、背景差分法、Ｍｅａｎ　Ｓｈｉｆｔ法、パターンマッチング、各種機械学習等、種々の公知の手法を用いて、撮像部２によって撮像された画像Ｉから当該画像Ｉに含まれる人物Ｐを表す骨格モデルＭＤＬを推定、生成する。
　骨格モデル生成部８ｂは、例えば、まず人物Ｐを検出した後に当該人物Ｐの骨格を推定するトップダウン型の骨格推定によって、画像Ｉに含まれる人物Ｐを表す骨格モデルＭＤＬを生成することができる。この場合、骨格モデル生成部８ｂは、種々の公知の物体認識技術を用いて、画像Ｉ内の人物Ｐを認識し、画像Ｉにおいて当該認識した人物Ｐが存在する領域の外側をバウンディングボックスＢＢで囲う処理を実行する。ここで、バウンディングボックスＢＢとは、画像Ｉにおいて認識された人物Ｐを囲うために必要な大きさの矩形状の枠である。そして、骨格モデル生成部８ｂは、当該バウンディングボックスＢＢ内の人物Ｐの頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等の人体の各骨格部位（人体パーツ）の３次元位置座標を検出し、これらを組み合わせて当該人物Ｐの骨格モデルＭＤＬを生成する。図３に例示する骨格モデルＭＤＬは、人物Ｐの頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等の人体の各骨格部位を「点」によって象徴的に表すと共にこれらを「線」でつなぎ合わせることで生成されている。骨格モデル生成部８ｂは、画像Ｉに含まれる人物Ｐが複数である場合には、当該人物Ｐの数に応じて複数の骨格モデルＭＤＬを生成する。
　なお、骨格モデル生成部８ｂは、例えば、バウンディングボックスＢＢ等を用いず画像Ｉ中の人体の各骨格部位を全て検出した後に人物Ｐの骨格を推定するボトムアップ型の骨格推定によって、画像Ｉに含まれる人物Ｐを表す骨格モデルを生成してもよい。この場合、骨格モデル生成部８ｂは、まず、種々の公知の物体認識技術を用いて、画像Ｉ中の人体の頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等の各骨格部位の３次元位置座標を全て検出する。その後、骨格モデル生成部８ｂは、当該検出した各骨格部位を人物Ｐごとにマッチングさせて繋ぎ合わせていくことで、各人物Ｐの骨格モデルＭＤＬを生成する。
　判定部８ｃは、骨格モデル生成部８ｂによって生成された骨格モデルＭＤＬに基づいて、当該骨格モデルＭＤＬに対応する人物Ｐの状態を判定する処理を実行可能な機能を有する部分である。本実施形態の判定部８ｃは、骨格モデル生成部８ｂによって生成された骨格モデルＭＤＬに対応する人物Ｐの状態として、当該人物Ｐが立っている状態と、当該人物Ｐが座っている状態とを区別して判定する。図３に示す人物Ｐ１は、立っている状態を表しており、図３に示す人物Ｐ２は、車両室内空間ＩＮ内の座席Ｓに座っている状態を表している。本実施形態の判定部８ｃは、骨格モデル生成部８ｂによって生成された骨格モデルＭＤＬに基づいて、骨格モデルＭＤＬに対応する人物Ｐの状態として、当該人物Ｐが立っている状態と、当該人物Ｐが座っている状態とに加えて、当該人物Ｐが転倒している状態も区別して判定する。判定部８ｃは、撮像部２によって撮像された車両室内空間ＩＮ（監視対象空間ＳＰ）の画像Ｉに人物Ｐが含まれていた場合に、当該人物Ｐに対してこれらの状態判定を行う。
　この転倒防止システム１は、例えば、骨格モデルＭＤＬにおける各骨格部位の相対的な位置関係や相対距離、バウンディングボックスＢＢの大きさ等をパラメータとして、予め各種機械学習により、人物Ｐが立っている状態、座っている状態、転倒している状態を学習しておく。例えば、転倒防止システム１は、予め収集された「骨格モデルＭＤＬにおける各骨格部位の相対的な位置関係、相対距離、バウンディングボックスＢＢの大きさ」等を説明変数とし　、「立っている状態であるか、座っている状態であるか、転倒している状態であるか」等を目的変数として機械学習を行う。機械学習としては、例えば、ロジスティック回帰、サポートベクトルマシン、ニューラルネットワーク、ランダムフォレスト等、本実施形態に適用可能な様々な形式のアルゴリズムを用いることができる。転倒防止システム１は、この機械学習によって得られた学習済みの状態判定用の数理モデル等を予め記憶部８Ｂに記憶しておく。
　そして、判定部８ｃは、上記にように記憶部８Ｂに記憶されている学習済みの状態判定用の数理モデル等に基づいた分類・回帰により、骨格モデルＭＤＬに対応する人物の状態を判定する。より具体的には、判定部８ｃは、実際に撮像された画像Ｉに含まれる人物Ｐの骨格モデルＭＤＬから得られる各骨格部位の相対的な位置関係、相対距離、バウンディングボックスＢＢの大きさを、当該状態判定用の数理モデルに入力する。これにより、判定部８ｃは、骨格モデルＭＤＬに対応する人物Ｐの状態として、当該人物Ｐが立っている状態と、当該人物Ｐが座っている状態と、当該人物Ｐが転倒している状態とを区別して判定する。
　動作処理部８ｄは、転倒防止システム１の各部の動作を制御する処理を実行可能な機能を有する部分である。本実施形態の動作処理部８ｄは、判定部８ｃによる判定結果に基づいて、当該判定結果に応じた処理であって人物Ｐの転倒を防止する転倒防止処理を実行可能である。動作処理部８ｄは、判定部による判定結果に基づいて、動作部を構成する情報出力部３、報知部５、外部通信部６、内部通信部７等を制御し、当該判定結果に応じて転倒防止処理を実行する。
　例えば、動作処理部８ｄは、人物Ｐが車両Ｖに乗車した後、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが立っている状態であるものと判定された場合、転倒防止処理として案内処理を実行する。この案内処理とは、情報出力部３を制御し当該人物Ｐに対して着座を案内する処理である。動作処理部８ｄは、転倒防止処理として当該案内処理を実行することで、例えば、情報出力部３を構成するディスプレイ３ａを制御し当該ディスプレイ３ａによって人物Ｐに対して着座を促すと共に転倒防止の注意喚起を促す案内表示を行う。また、動作処理部８ｄは、転倒防止処理として案内処理を実行することで、例えば、情報出力部３を構成するスピーカ３ｂを制御し当該スピーカ３ｂによって人物Ｐに対して着座を促すと共に転倒防止の注意喚起を促す音声案内を行うようにしてもよい。
　この場合、動作処理部８ｄは、さらに、案内処理を実行した後、予め定められた期間継続して、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが立っている状態であるものと判定された場合、転倒防止処理として第１通知処理を実行するようにしてもよい。この第１通知処理とは、外部通信部６を制御し外部機器２０１に対して当該人物Ｐが立っている状態である旨を通知する処理である。
　ここで、外部機器２０１について簡単に説明しておく。外部機器２０１は、上述したように、例えば、車両Ｖを運用する事業者等の施設に設けられる。外部機器２０１は、車両Ｖの外部のネットワークＮ上に実装されるクラウドサービス機器を構成するものであり、いわゆるクラウドサービスにおけるセンタを構成する。外部機器２０１は、転倒防止システム１（車両Ｖ）との間でネットワークＮを介して相互に情報を送受信することができる。外部機器２０１は、既知のＰＣやワークステーションなどのコンピュータシステムに種々の処理を実現させるアプリケーションをインストールすることで構成することもできる。転倒防止システム１は、当該外部通信部６を介して外部機器２０１と相互に通信し連携することで当該外部機器２０１から様々なクラウドサービスを受けることができる。
　一例として、外部機器２０１は、図１に例示するように、通信部２０２と、情報出力部２０３と、マイク２０４と、制御装置２０５とを備える。通信部２０２は、外部通信部６と同様に、ネットワークＮと通信可能な通信モジュールであり、ここでは、有線／無線によりネットワークＮを介して転倒防止システム１と通信可能である。情報出力部２０３は、情報出力部３と同様に、種々の情報を出力可能なものであり、ディスプレイ２０３ａ、スピーカ２０３ｂ等を含んで構成される。マイク２０４は、マイク４と同様に、音を電気信号に変換する集音装置であり、車両Ｖ内の人物Ｐ等との音声のやり取りに使用する。制御装置２０５は、外部機器２０１の各部を統括的に制御するものであり、制御装置８と同様に、機能概念的に、インターフェース部２０５Ａ、記憶部２０５Ｂ、及び、処理部２０５Ｃを含んで構成される。インターフェース部２０５Ａは、通信部２０２、情報出力部２０３、マイク２０４等の外部機器２０１の各部と種々の情報を送受信するためのインターフェースである。記憶部２０５Ｂは、種々の情報を記憶する記憶装置である。処理部２０５Ｃは、各種入力信号等に基づいて、記憶部２０５Ｂに記憶されている各種プログラムを実行し、当該プログラムが動作することにより各部に出力信号を出力し各種機能を実現するための種々の処理を実行する部分である。
　動作処理部８ｄは、転倒防止処理として当該第１通知処理を実行することで、例えば、上記のように構成される外部機器２０１を介して事業者のオペレータ等に対して車両Ｖに乗車した人物Ｐが未だ立っている状態であることを通知する。さらに、動作処理部８ｄは、通知を行った後、情報処理部８ａによる処理や外部通信部６を介して当該通知先の外部機器２０１との間で相互通信を行うようにしてもよい。この場合、動作処理部８ｄは、情報出力部３、２０３、マイク４、２０４等を介して、外部機器２０１と車両Ｖとの間で各種情報（例えば、音声情報や画像情報等）をやり取りすることで、車両Ｖ側の人物Ｐとの外部機器２０１側のオペレータ等とで直接、意思の疎通を図らせることができる。これにより、動作処理部８ｄは、例えば、外部機器２０１側のオペレータ等から直接、人物Ｐに着座するように促すことができる。
　また、動作処理部８ｄは、例えば、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが立っている状態であるものと判定された場合、転倒防止処理として第１報知処理を実行するようにしてもよい。この第１報知処理とは、報知部５を制御し当該人物Ｐとは異なる他の人物に対して当該人物Ｐが立っている状態である旨を報知する処理である。動作処理部８ｄは、転倒防止処理として当該第１報知処理を実行することで、例えば、報知部５を構成するスピーカ、ディスプレイ、表示灯、インジケータ等を制御し、人物Ｐとは異なる人物、例えば、車両Ｖにおけるサービスをサポートする人物や車両Ｖが手動運転車の場合には運転者等に対して当該人物Ｐが立っている状態である旨を報知する。
　さらに、動作処理部８ｄは、例えば、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが立っている状態であるものと判定された場合、転倒防止処理として発進禁止処理を実行するようにしてもよい。この発進禁止処理とは、内部通信部７を介して車載機器１０１を制御し、車両Ｖの発進を禁止する処理である。動作処理部８ｄは、転倒防止処理として当該発進禁止処理を実行することで、例えば、車載機器１０１を構成する走行系アクチュエータ等を制御し、車両Ｖを発進させないようにする。
　また、動作処理部８ｄは、例えば、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが転倒している状態であるものと判定された場合、第２報知処理、又は、第２通知処理を実行するようにしてもよい。
　この第２報知処理とは、報知部５を制御し当該人物Ｐとは異なる他の人物に対して当該人物Ｐが転倒している状態である旨を報知する処理である。動作処理部８ｄは、当該第２報知処理を実行することで、例えば、報知部５を構成するスピーカ、ディスプレイ、表示灯、インジケータ等を制御し、人物Ｐとは異なる人物、例えば、車両Ｖにおけるサービスをサポートする人物や車両Ｖが手動運転車の場合には運転者等に対して当該人物Ｐが転倒した状態である旨を報知する。
　一方、第２通知処理とは、外部通信部６を制御し外部機器２０１に対して当該人物Ｐが転倒している状態である旨を通知する処理である。動作処理部８ｄは、当該第２通知処理を実行することで、例えば、上記のように構成される外部機器２０１を介して事業者のオペレータ等に対して車両Ｖに乗車した人物Ｐが転倒した状態であることを通知する。動作処理部８ｄは、第１通知処理の場合と同様、通知を行った後、情報処理部８ａによる処理や外部通信部６を介して当該通知先の外部機器２０１との間で相互通信を行うようにしてもよい。これにより、動作処理部８ｄは、例えば、外部機器２０１側のオペレータ等から直接、転倒した人物Ｐの状態を確認させることができる。
　次に、図４、図５のフローチャート図を参照して転倒防止システム１おける制御の一例について説明する。図４の制御と図５の制御とは、並行して実行されてもよいし、一方が他方に組み込まれて実行されてもよい。
　図４の制御では、まず、制御装置８の情報処理部８ａは、人物Ｐが車両Ｖの車両室内空間ＩＮ（監視対象空間ＳＰ）に乗車すると、撮像部２を制御し車両室内空間ＩＮの画像Ｉを撮像させ、撮像された画像情報を記憶部８Ｂに記憶させる（ステップＳ１）。
　次に、制御装置８の骨格モデル生成部８ｂは、記憶部８Ｂに記憶された車両室内空間ＩＮの画像Ｉに基づいて、物体認識、骨格推定により、人物Ｐの各骨格部位の位置を検出し（ステップＳ２）、当該人物Ｐの骨格モデルＭＤＬを生成する（ステップＳ３）。
　次に、制御装置８の判定部８ｃは、ステップＳ３の処理で生成された骨格モデルＭＤＬに基づいて、機械学習により学習済みの状態判定用の数理モデル等を用いて、骨格モデルＭＤＬに対応する人物Ｐが立っている状態であるのか、座っている状態であるのかを検出する（ステップＳ４）。
　そして、判定部８ｃは、骨格モデルＭＤＬに対応する人物Ｐが立っている状態であるか否かを判定する（ステップＳ５）。判定部８ｃは、人物Ｐが立っている状態ではない、すなわち、座っている状態であると判定した場合（ステップＳ５：Ｎｏ）、この制御を終了する。
　制御装置８の動作処理部８ｄは、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが立っている状態であると判定された場合（ステップＳ５：Ｙｅｓ）、転倒防止処理を実行する（ステップＳ６）。動作処理部８ｄは、転倒防止処理として、例えば、上述した案内処理、第１報知処理、発進禁止処理等を実行する。
　そして、判定部８ｃは、ステップＳ６で転倒防止処理が実行された後、予め定められた期間（例えば、数分程度）経過後、骨格モデルＭＤＬに対応する人物Ｐがまだ立っている状態であるか否かを判定する（ステップＳ７）。判定部８ｃは、人物Ｐが立っている状態ではない、すなわち、座っている状態であると判定した場合（ステップＳ７：Ｎｏ）、この制御を終了する。
　動作処理部８ｄは、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐがまだ立っている状態であると判定された場合（ステップＳ７：Ｙｅｓ）、転倒防止処理として、上述した第１通知処理を実行し（ステップＳ８）、この制御を終了する。
　図５の制御では、まず、情報処理部８ａは、人物Ｐが車両Ｖの車両室内空間ＩＮ（監視対象空間ＳＰ）に乗車すると、撮像部２を制御し車両室内空間ＩＮの画像Ｉを撮像させ、撮像された画像情報を記憶部８Ｂに記憶させる（ステップＳ１０１）。
　次に、骨格モデル生成部８ｂは、記憶部８Ｂに記憶された車両室内空間ＩＮの画像Ｉに基づいて、物体認識、骨格推定により、人物Ｐの各骨格部位の位置を検出し（ステップＳ１０２）、当該人物Ｐの骨格モデルＭＤＬを生成する（ステップＳ１０３）。
　次に、制御装置８の判定部８ｃは、ステップＳ１０３の処理で生成された骨格モデルＭＤＬに基づいて、機械学習により学習済みの状態判定用の数理モデル等を用いて、骨格モデルＭＤＬに対応する人物Ｐが転倒した状態であるのかを検出する（ステップＳ１０４）。
　そして、判定部８ｃは、骨格モデルＭＤＬに対応する人物Ｐが転倒した状態であるか否かを判定する（ステップＳ１０５）。判定部８ｃは、人物Ｐが転倒した状態ではない、すなわち、座っている状態か立っている状態であると判定した場合（ステップＳ１０５：Ｎｏ）、この制御を終了する。
　動作処理部８ｄは、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが転倒した状態であると判定された場合（ステップＳ１０５：Ｙｅｓ）、上述した第２報知処理、又は、第２通知処理等を実行し（ステップＳ１０６）、この制御を終了する。
　以上で説明した転倒防止システム１は、撮像部２によって監視対象空間ＳＰの画像Ｉを撮像し、骨格モデル生成部８ｂによって当該画像Ｉに含まれる人物Ｐを表す骨格モデルＭＤＬを生成する。そして、判定部８ｃは、骨格モデル生成部８ｂによって生成された骨格モデルＭＤＬに基づいて、骨格モデルＭＤＬに対応する人物Ｐの状態として、当該人物Ｐが立っている状態と、当該人物Ｐが座っている状態とを区別して判定する。そして、動作処理部８ｄは、判定部８ｃによる判定結果に基づいて、当該判定結果に応じた転倒防止処理を実行可能である。この場合に、転倒防止システム１は、上記のように、骨格モデルＭＤＬに基づいて、人物Ｐが立っている状態と、人物Ｐが座っている状態とを区別して判定することで、人物Ｐの状態をより詳細、かつ、正確に判定することができる。また、判定部８ｃは、人物Ｐを含む画像だけでなく、当該人物Ｐの骨格モデルＭＤＬから姿勢や状態を判定しているため、例えば、人物Ｐが様々な動きをしている場合でも当該人物Ｐの状態をより適正に判定することができる。この結果、転倒防止システム１は、より正確な状態判定に基づいて適正に転倒防止を行うことができる。
　また、以上で説明した転倒防止システム１は、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが立っている状態であるものと判定された場合、動作処理部８ｄによって転倒防止処理として案内処理を実行することができる。この場合、転倒防止システム１は、立っている人物Ｐに対して着座を案内することができるので、人物Ｐの転倒を未然に防ぐことができる。
　また、以上で説明した転倒防止システム１は、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが立っている状態であるものと判定された場合、動作処理部８ｄによって転倒防止処理として第１報知処理を実行することができる。この場合、転倒防止システム１は、立っている人物Ｐとは異なる人物、例えば、車両Ｖにおけるサービスをサポートする人物や車両Ｖが手動運転車の場合には運転者等に対して立っている人物Ｐが存在することを報知することができる。この結果、転倒防止システム１は、サポートする人物や運転者等を通じて、人物Ｐの転倒を未然に防ぐことができる。
　また、以上で説明した転倒防止システム１は、案内処理を実行した後、予め定められた期間継続して判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが立っている状態であるものと判定された場合、動作処理部８ｄによって転倒防止処理として第１通知処理を実行してもよい。この場合、転倒防止システム１は、外部機器２０１を介して事業者のオペレータ等に対して立っている人物Ｐが存在することを通知することができる。これにより、転倒防止システム１は、例えば、外部機器２０１側のオペレータ等から直接、人物Ｐに着座するように促すことができ、人物Ｐの転倒を未然に防ぐことができる。
　また、以上で説明した転倒防止システム１は、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが立っている状態であるものと判定された場合、動作処理部８ｄによって転倒防止処理として発進禁止処理を実行することができる。この場合、転倒防止システム１は、監視対象空間ＳＰである車両室内空間ＩＮ内に立っている人物Ｐが存在した場合には、車両Ｖの発進を禁止することができるので、人物Ｐの転倒を未然に防ぐことができる。
　また、以上で説明した転倒防止システム１は、判定部８ｃによって骨格モデルＭＤＬに対応する人物Ｐが転倒している状態であるものと判定された場合、動作処理部８ｄによって第２報知処理、又は、第２通知処理を実行するようにしてもよい。この場合、転倒防止システム１は、車両Ｖにおけるサービスをサポートする人物や車両Ｖが手動運転車の場合には運転者、外部機器２０１側のオペレータ等に対して、人物Ｐが転倒した事実を逸早く伝えることができるので、迅速かつ適切な処置を実施させることができる。
　なお、上述した本発明の実施形態に係る転倒防止システムは、上述した実施形態に限定されず、請求の範囲に記載された範囲で種々の変更が可能である。
　以上の説明では、判定部８ｃは、骨格モデルＭＤＬが表す人物Ｐの状態として、当該人物Ｐが立っている状態と、当該人物Ｐが座っている状態とに加えて、当該人物Ｐが転倒している状態も区別して判定するものとして説明したがこれに限らない。判定部８ｃは、骨格モデルＭＤＬが表す人物Ｐの状態として、少なくとも当該人物Ｐが立っている状態と、当該人物Ｐが座っている状態とを区別して判定できるものであればよい。
　以上の説明では、転倒防止システム１は、情報出力部３、マイク４、報知部５、外部通信部６、内部通信部７とを備えるものとして説明したがこれに限らず、これらのいずれかを備えない構成であってもよい。
　以上の説明では、転倒防止処理は、案内処理、報知処理、第１報知処理、発進禁止処理等であるものとして説明したがこれに限らず、人物の転倒を防止する処理であれば他の処理であってもよい。
　以下の説明では、一例として、車両Ｖは、バス、タクシー、ライドシェリングカー等、特定の事業者等によって管理され、完全自動運転可能な車両であるものとして説明したがこれに限らない。車両Ｖは、例えば、車両Ｖの運転者による運転操作に応じて車両Ｖの挙動が制御される手動運転可能な車両であってもよい。
　以下の説明では、転倒防止システム１は、車両Ｖに搭載され、監視対象空間ＳＰは、車両室内空間ＩＮであるものとして説明したがこれに限らない。転倒防止システム１は、車両Ｖ以外の施設、例えば、介護施設等に適用されてもよく、監視対象空間ＳＰは、車両室内空間ＩＮにかえて当該施設の廊下空間や居室空間等であってもよい。
　以上で説明した制御装置８は、各部が別体に構成され、当該各部が各種の電気信号を相互に授受可能に接続されることで構成されてもよく、一部の機能が他の制御装置によって実現されてもよい。また、以上で説明したプログラム、アプリケーション、各種データ等は、適宜、更新されてもよいし、転倒防止システム１に対して任意のネットワークを介して接続されたサーバに記憶されていてもよい。以上で説明したプログラム、アプリケーション、各種データ等は、例えば、必要に応じてその全部又は一部をダウンロードすることも可能である。また、例えば、制御装置８が備える処理機能については、その全部又は任意の一部を、例えば、ＣＰＵ等及び当該ＣＰＵ等にて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジック等によるハードウェアとして実現してもよい。
　本実施形態に係る転倒防止システムは、以上で説明した実施形態、変形例の構成要素を適宜組み合わせることで構成してもよい。
１　転倒防止システム
２　撮像部
３　情報出力部（案内部）
３ａ、２０３ａ　ディスプレイ
３ｂ、２０３ｂ　スピーカ
４、２０４　マイク
５　報知部
６　外部通信部
７　内部通信部
８、２０５　制御装置
８Ａ、２０５Ａ　インターフェース部
８Ｂ、２０５Ｂ　記憶部
８Ｃ、２０５Ｃ　処理部
８ａ　情報処理部
８ｂ　骨格モデル生成部
８ｃ　判定部
８ｄ　動作処理部
１００　ＥＣＵ
１０１　車載機器
２０１　外部機器
２０２　通信部
２０３　情報出力部
ＢＢ　バウンディングボックス
Ｉ　画像
ＩＮ　車両室内空間
ＭＤＬ　骨格モデル
Ｎ　ネットワーク
Ｐ、Ｐ１、Ｐ２　人物
ＲＦ　屋根部材
Ｓ　座席
ＳＰ　監視対象空間
ｓｙｓ　連携システム

Claims (6)

  1. 　監視対象空間の画像を撮像する撮像部と、
    　前記撮像部によって撮像された前記画像に含まれる人物を表す骨格モデルを生成する骨格モデル生成部と、
    　前記骨格モデル生成部によって生成された前記骨格モデルに基づいて、前記骨格モデルに対応する前記人物の状態として、当該人物が立っている状態と、当該人物が座っている状態とを区別して判定する判定部と、
    　前記判定部による判定結果に基づいて、当該判定結果に応じた処理であって前記人物の転倒を防止する転倒防止処理を実行可能である動作処理部と備えることを特徴とする、
    　転倒防止システム。
  2. 　案内を行う案内部を備え、
    　前記動作処理部は、前記判定部によって前記骨格モデルに対応する前記人物が立っている状態であるものと判定された場合、前記転倒防止処理として、前記案内部を制御し当該人物に対して着座を案内する案内処理を実行する、
    　請求項１に記載の転倒防止システム。
  3. 　報知を行う報知部を備え、
    　前記動作処理部は、前記判定部によって前記骨格モデルに対応する前記人物が立っている状態であるものと判定された場合、前記転倒防止処理として、前記報知部を制御し当該人物とは異なる他の人物に対して当該人物が立っている状態である旨を報知する第１報知処理を実行する、
    　請求項１又は請求項２に記載の転倒防止システム。
  4. 　前記監視対象空間の外部の外部機器と通信可能である外部通信部を備え、
    　前記動作処理部は、前記案内処理を実行した後、予め定められた期間継続して、前記判定部によって前記骨格モデルに対応する前記人物が立っている状態であるものと判定された場合、前記転倒防止処理として、前記外部通信部を制御し前記外部機器に対して当該人物が立っている状態である旨を通知する第１通知処理を実行する、
    　請求項２に記載の転倒防止システム。
  5. 　車両室内空間が前記監視対象空間とされた車両に搭載された車載機器と通信可能である内部通信部を備え、
    　前記動作処理部は、前記判定部によって前記骨格モデルに対応する前記人物が立っている状態であるものと判定された場合、前記転倒防止処理として、前記内部通信部を介して前記車載機器を制御し、前記車両の発進を禁止する発進禁止処理を実行する、
    　請求項１乃至請求項４のいずれか１項に記載の転倒防止システム。
  6. 　報知動作を行う報知部と、
    　前記監視対象空間の外部の外部機器と通信可能である外部通信部とを備え、
    　前記判定部は、前記骨格モデル生成部によって生成された前記骨格モデルに基づいて、前記骨格モデルに対応する前記人物の状態として、当該人物が立っている状態と、当該人物が座っている状態とに加えて、当該人物が転倒している状態も区別して判定し、
    　前記動作処理部は、前記判定部によって前記骨格モデルに対応する前記人物が転倒している状態であるものと判定された場合、前記報知部を制御し当該人物とは異なる他の人物に対して当該人物が転倒している状態である旨を報知する第２報知処理、又は、前記外部通信部を制御し前記外部機器に対して当該人物が転倒している状態である旨を通知する第２通知処理を実行する、
    　請求項１乃至請求項５のいずれか１項に記載の転倒防止システム。
PCT/JP2021/006974 2020-03-24 2021-02-25 転倒防止システム WO2021192793A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21774402.8A EP4131197A4 (en) 2020-03-24 2021-02-25 FALL PROTECTION SYSTEM
US17/902,429 US20220414898A1 (en) 2020-03-24 2022-09-02 Fall prevention system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-052176 2020-03-24
JP2020052176A JP7091007B2 (ja) 2020-03-24 2020-03-24 転倒防止システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/902,429 Continuation US20220414898A1 (en) 2020-03-24 2022-09-02 Fall prevention system

Publications (1)

Publication Number Publication Date
WO2021192793A1 true WO2021192793A1 (ja) 2021-09-30

Family

ID=77886532

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/006974 WO2021192793A1 (ja) 2020-03-24 2021-02-25 転倒防止システム

Country Status (4)

Country Link
US (1) US20220414898A1 (ja)
EP (1) EP4131197A4 (ja)
JP (1) JP7091007B2 (ja)
WO (1) WO2021192793A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018207422A1 (ja) 2017-05-08 2018-11-15 ソニー株式会社 レーザ装置組立体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6217635B2 (ja) 2012-07-13 2017-10-25 日本電気株式会社 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
JP2020003936A (ja) * 2018-06-26 2020-01-09 株式会社デンソー 車両制御方法、車両制御システム、及び車両制御装置
JP2020014109A (ja) * 2018-07-18 2020-01-23 株式会社日立製作所 検出システム、および検出方法
JP2020034960A (ja) * 2018-08-27 2020-03-05 株式会社シークェンス 被監視者の姿勢検知装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6217635B2 (ja) 2012-07-13 2017-10-25 日本電気株式会社 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
JP2020003936A (ja) * 2018-06-26 2020-01-09 株式会社デンソー 車両制御方法、車両制御システム、及び車両制御装置
JP2020014109A (ja) * 2018-07-18 2020-01-23 株式会社日立製作所 検出システム、および検出方法
JP2020034960A (ja) * 2018-08-27 2020-03-05 株式会社シークェンス 被監視者の姿勢検知装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4131197A4

Also Published As

Publication number Publication date
JP2021152688A (ja) 2021-09-30
EP4131197A4 (en) 2023-07-19
US20220414898A1 (en) 2022-12-29
EP4131197A1 (en) 2023-02-08
JP7091007B2 (ja) 2022-06-27

Similar Documents

Publication Publication Date Title
US11373421B1 (en) Apparatuses, systems and methods for classifying digital images
CN110321771B (zh) 车内监视模块以及监视系统
US20230110523A1 (en) Personalization system and method for a vehicle based on spatial locations of occupants' body portions
CN107396249B (zh) 用于在交通运输车辆中提供乘员特定声学功能的系统
WO2020100584A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP6782283B2 (ja) 監視システム
CN107415938A (zh) 基于乘员位置和注意力控制自主车辆功能和输出
JP2020003936A (ja) 車両制御方法、車両制御システム、及び車両制御装置
US9734412B2 (en) Method and system of communicating vehicle information
US20150248830A1 (en) In-vehicle charging device, automobile and charging system
US10674003B1 (en) Apparatus and system for identifying occupants in a vehicle
CN113763670A (zh) 一种报警方法及装置、电子设备和存储介质
CN108284804A (zh) 一种用于车辆的移动终端设备
JP2019156299A (ja) 車両遠隔操作装置及び車両遠隔操作方法
WO2021192793A1 (ja) 転倒防止システム
JP2014095999A (ja) 車両周辺監視装置
JP2022104907A (ja) 車両内の乗員を監視し、乗員の活動を検出するためのカメラシステム
US11373447B2 (en) Systems including image detection to inhibit vehicle operation
US20230234564A1 (en) Agent apparatus
CN111669542B (zh) 车辆管理系统
JP6378719B2 (ja) 生体情報記憶システム、及び、車内生体情報記憶装置
JP2020135509A (ja) 監視通報システム
JP2019109659A (ja) 走行支援システム及び車載装置
CN116157833A (zh) 图像处理装置及图像处理程序
US20230295963A1 (en) Door control device, storage medium storing computer program for door control, and method for door control

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21774402

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021774402

Country of ref document: EP

Effective date: 20221024