WO2018047392A1 - モビリティ及びモビリティシステム - Google Patents
モビリティ及びモビリティシステム Download PDFInfo
- Publication number
- WO2018047392A1 WO2018047392A1 PCT/JP2017/014109 JP2017014109W WO2018047392A1 WO 2018047392 A1 WO2018047392 A1 WO 2018047392A1 JP 2017014109 W JP2017014109 W JP 2017014109W WO 2018047392 A1 WO2018047392 A1 WO 2018047392A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- mobility
- information
- travel
- user
- Prior art date
Links
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 230000003930 cognitive ability Effects 0.000 claims abstract description 5
- 230000007613 environmental effect Effects 0.000 claims description 30
- 238000004891 communication Methods 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 21
- 230000035790 physiological processes and functions Effects 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims description 16
- 230000005484 gravity Effects 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 230000002747 voluntary effect Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 16
- 238000011176 pooling Methods 0.000 description 11
- 230000003920 cognitive function Effects 0.000 description 10
- 230000003863 physical function Effects 0.000 description 10
- 238000013459 approach Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 3
- 238000012850 discrimination method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 206010003210 Arteriosclerosis Diseases 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 208000011775 arteriosclerosis disease Diseases 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000004962 physiological condition Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000031648 Body Weight Changes Diseases 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000005842 biochemical reaction Methods 0.000 description 1
- 230000004071 biological effect Effects 0.000 description 1
- 238000009530 blood pressure measurement Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000004579 body weight change Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 231100000862 numbness Toxicity 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000009747 swallowing Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/04—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/10—Parts, details or accessories
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6894—Wheel chairs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D6/00—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62K—CYCLES; CYCLE FRAMES; CYCLE STEERING DEVICES; RIDER-OPERATED TERMINAL CONTROLS SPECIALLY ADAPTED FOR CYCLES; CYCLE AXLE SUSPENSIONS; CYCLE SIDE-CARS, FORECARS, OR THE LIKE
- B62K5/00—Cycles with handlebars, equipped with three or more main road wheels
- B62K5/003—Cycles with four or more wheels, specially adapted for disabled riders, e.g. personal mobility type vehicles with four wheels
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
- A61G2203/14—Joysticks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/30—General characteristics of devices characterised by sensor means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/30—General characteristics of devices characterised by sensor means
- A61G2203/40—General characteristics of devices characterised by sensor means for distance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/70—General characteristics of devices with special adaptations, e.g. for safety or comfort
- A61G2203/72—General characteristics of devices with special adaptations, e.g. for safety or comfort for collision prevention
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2105/00—Specific applications of the controlled vehicles
- G05D2105/20—Specific applications of the controlled vehicles for transportation
- G05D2105/22—Specific applications of the controlled vehicles for transportation of humans
- G05D2105/24—Specific applications of the controlled vehicles for transportation of humans personal mobility devices
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2107/00—Specific environments of the controlled vehicles
- G05D2107/40—Indoor domestic environment
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2109/00—Types of controlled vehicles
- G05D2109/10—Land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
- G05D2111/10—Optical signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
- G05D2111/60—Combination of two or more signals
- G05D2111/63—Combination of two or more signals of the same type, e.g. stereovision or optical flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Definitions
- the present invention relates to mobility and a mobility system, and is particularly suitable for application to personal mobility that can move in a desired direction according to a user's operation.
- a search area that extends in the operation direction from the vehicle body portion and is substantially equal to the width of the vehicle body portion is generated, and when the magnitude of the operation amount or the operation force calculated from the operation direction and the operation amount is large, the search area A technique has been proposed for automatically avoiding even if there is an obstacle in the operation direction by changing the shape to a pointed shape in the operation direction (see Patent Document 3).
- JP 2012-11886 A International Publication No. 2012/039280 JP 2012-106722 A
- the present invention has been made in consideration of the above points, and is intended to provide a mobility and a mobility system in which a carer requiring reduced physical function and cognitive function can lead a more independent life. is there.
- an operation unit that detects an operation content input by a user, and a travel drive unit that travels and drives at a travel speed and a travel direction according to the operation content by the operation unit.
- the user's intention based on the biological signal detection unit having an electrode for detecting the biological signal of the user based on the finger touching the operation unit, and the biological signal acquired by the biological signal detection unit.
- an optional control unit that generates a command signal for generating power according to the driving drive unit
- an environment detection unit that detects a traveling environment during traveling on the mobility main body side
- the information acquisition unit for acquiring the above environment information, the current operation content by the operation unit, the command signal by the optional control unit, the traveling environment detected by the environment detection unit, and the information acquisition
- a travel adjustment unit that adjusts the current mobility travel state to an optimal travel state for ensuring safety while reflecting the user's intention based on each environmental information acquired by the unit, and a travel adjustment unit
- a travel control unit that controls the travel drive by the travel drive unit so that the travel state adjusted by the above is achieved.
- the user's physical function and cognitive function decreased by adjusting the current mobility driving state to the optimal driving state for ensuring safety while reflecting the intention of the user Even a care recipient can travel in the desired direction with peace of mind without the support of a third party on the premise of following his will as much as possible.
- the mobility of the present invention further includes a posture detection unit that is provided on a support unit that supports the weight of the user and detects a change in body movement and a change in the center of gravity of the user.
- the running state is adjusted by reflecting the weight change and the center-of-gravity fluctuation detected by the posture detection unit in the operation content of the above.
- the user's weight change and center-of-gravity change can be reflected, so that the user can approach a desired running state.
- the mobility of the present invention further includes a voice analysis unit that analyzes the utterance content based on the voice of the user collected through the sound collection microphone, and the travel adjustment unit adds a voice to the current operation content by the operation unit.
- the running state was adjusted to reflect the analysis result by the analysis unit.
- the utterance content related to the travel instruction among the utterance content of the user is reflected, thereby making it possible to approach the user's desired driving state.
- the mobility of the present invention further includes a physiological state detection unit that detects the physiological state of the user, and the travel adjustment unit is outside the predetermined reference range for a predetermined time or more with respect to the physiological state detected by the physiological state detection unit.
- the current mobility driving state is adjusted to a driving state where safety is given the highest priority, regardless of the current operation by the operation unit.
- the environment detection unit includes an imaging unit that images the target object from a plurality of different viewpoints, and the travel adjustment unit determines the target object based on RGB data that is an imaging result of the imaging unit. And determining whether the target object approaching within a predetermined target distance is an obstacle while calculating the relative positional relationship between the target object and the mobility body based on the depth data calculated from the RGB image data. I tried to do it.
- mobility determines whether the target object that is in close proximity is an obstacle according to the situation, and generates a safe movement path and autonomous movement based on the relative position of the target object and the mobility body. Can be done.
- the mobility of the present invention further includes an information content notification unit that notifies the user in real time of either or both of the adjustment contents and adjustment facts of the driving state by the driving adjustment unit.
- the information content notification part consists of the stimulus provision part which provides the user with the physical stimulus according to the adjustment content of the driving
- the user can recognize the adjustment contents and adjustment facts of the driving state in a feedback manner, and can obtain the learning effect by the function recovery by being aware of the difference of the adjustment contents with the own operation contents.
- the environmental information presentation unit is provided for each environmental information.
- An information presentation unit that presents corresponding environment information in response to a request from the mobile phone is provided, and the mobility information acquisition unit acquires only available environment information from each information presentation unit.
- the mobility system can supplement the autonomous control capability of the mobility itself with the information content based on the environmental information by appropriately acquiring the surrounding environmental information when the mobility is running.
- the mobility system can supplement the autonomous control capability of the mobility itself with the information content based on the environmental information by appropriately acquiring the surrounding environmental information when the mobility is running.
- the mobility includes the adjustment contents of the running state by the running adjustment unit, the body weight change and the center of gravity change detected by the posture detection unit, the cognitive ability detected by the cognitive ability detection unit, and the physiological state detection unit.
- an information communication unit that transmits to the outside is provided, and is provided separately from mobility, and receives various information transmitted from the information communication unit, via a communication line
- a data terminal device that transmits data to the management server is provided.
- the user's physical function and cognitive function are externally determined based on the adjustment contents of the user's running state generated from the information communication unit and various information representing the physical function and cognitive function associated therewith.
- the data can be stored in the management server via the data terminal device. Then, by analyzing the user information accumulated in the management server in time series, it is possible to grasp the degree of decrease in physical function and cognitive function.
- the mobility further includes a position information detection unit that detects position information of the mobility, and the information communication unit transmits the current position information obtained from the position information transmission unit. .
- the external data terminal device it is possible for the external data terminal device to always check the mobility position information.
- the data terminal device transmits a command signal representing an operation command for mobility input from the outside, and the mobility travel adjustment unit receives the command signal via the information communication unit. Regardless of the operation content, the preferential transition to the running state according to the operation command based on the command signal is made.
- the administrator who uses the data terminal device wants to call immediately because there is a concern about the health condition of the user boarding the mobility, the destination is changed under the administrator and the mobility is It is also possible to forcibly operate and run.
- the administrator using the data terminal device can control the mobility remotely, so that sufficient safety can be ensured even when the user who rides is a care recipient.
- the user's physical function and cognitive function are reduced by controlling driving while cooperating with not only the operation content according to the user's intention but also the information content acquired from the external environment. Even in the care state, it is possible to realize a mobility and a mobility system that can lead a more independent life.
- the mobility system 1 in the present invention includes a mobility 2 that travels at a traveling speed and a traveling direction according to a user's operation, and the mobility 2
- An environmental information presentation unit 3 presents at least one or more environmental information.
- the mobility system 1 may also include a data terminal device 4 and a management server 5 that transmit and receive various types of data to and from the mobility 2.
- the environmental information presentation unit 3 presents environmental information from the outside to the mobility 2 to supplement the autonomous control capability of the mobility itself with information content based on the environmental information. That is, the user's ability to recognize the environment can be coordinated with the environment information presentation unit in the external environment of the mobility 2 to realize driving control with higher safety for the user.
- Environmental information includes various types of information for realizing a safer movement to the destination by increasing the level of environmental awareness of the user. For example, information on shortcuts to the destination, road surface condition of the driving environment (whether it is flat, etc.), route information that can avoid damage in case of rain, advance notification of traffic volume and traffic conditions before encountering an intersection, obstacles and people This includes advance notices such as crossing the road, location information for toilets and rest areas for wheelchairs, and information on stores opened in the driving environment.
- the environmental information providing unit 3 converts the above-mentioned environmental information as vision information, electromagnetic information, radio wave information, optical information, and sound information according to a request from the mobility 2 or by providing means that automatically responds to the mobility in response to the request. 2 to provide.
- vision information includes a recognition pattern, a landmark, a line sensing permission mark, a QR code (registered trademark) or a hologram arranged on a floor / wall / ceiling / object in a driving environment.
- a QR code registered trademark
- a hologram arranged on a floor / wall / ceiling / object in a driving environment.
- an imaging camera, a 3D distance image sensor, or the like is applicable.
- electromagnetic information and radio wave information include RFID (Radio Frequency Identification) embedded in the driving environment, an electric cable that generates a magnetic field, GPS (Global Positioning System), and the like.
- RFID Radio Frequency Identification
- GPS Global Positioning System
- active or passive wireless communication means, infrared communication means, and the like are applicable.
- examples of the optical information include a laser range sensor, an optical communication code, and a mechanical optical guide (irradiating the floor, wall surface, and ceiling with optical information using a laser pointer or the like).
- an image pickup element such as a CMOS (complementary metal oxide oxide semiconductor) image sensor, or a photoelectric conversion element such as a photoconductive light receiving element or a photovoltaic light receiving element is applicable.
- examples of sound information include original sound information generated from the user and the surrounding environment, processed frequency information and pattern sound information (including abnormal sound as necessary).
- a directional microphone, an omnidirectional sound collecting microphone, or the like is applicable.
- a plurality of pieces of information that can be acquired from the environment information presentation unit 3 are integrated, communicated, and automatically determined, and travel control is performed while cooperating with the operation content according to the user's intention. Yes.
- mobility 2 is a two-wheel drive type four-wheel moving body that can travel according to an external operation or autonomously, and is seated by a user.
- a seating portion (supporting portion) 10 a backrest portion 11 for holding the back, and an armrest portion 12 for holding both arms are provided.
- a traveling drive section 15 that includes a pair of left and right drive rear wheels 13a and 13b on the rear side and a pair of left and right front wheels 14a and 14b on the front side.
- the left and right drive rear wheels 13a and 13b in the travel drive unit 15 are independently driven to rotate by driving, and are moved forward and backward by forward rotation or reverse rotation of the drive rear wheels 13a and 13b, respectively, and driven rear wheels 13a and 13b.
- the vehicle travels right or left while moving forward by giving a difference in the forward rotation speed.
- the driving rear wheels 13a and 13b to rotate in opposite directions, the mobility 2 changes direction at that position.
- the armrest portion 12 is a portion on which both elbows are hung when the user is seated on the seating portion 10. Of these, one (right side) armrest portion 12 is provided with an operation portion 20.
- the operation unit 20 has a configuration in which a rod-shaped operation lever is pivotally supported in a desired direction on a bearing provided on the distal end side, and the inclination angle and the inclination direction of the operation lever by the user.
- the travel drive unit 15 is operated.
- the traveling drive unit 15 drives the left and right driving rear wheels independently according to the operation content (direction and speed) input by the operation unit 20.
- a biological signal detection unit 21 (FIG. 2 to be described later) having an electrode for detecting a biological signal is attached in advance to a portion of the stool 12 that is based on a finger touching the operation unit 20 and is detected.
- the overall control unit 30 (FIG. 2), which will be described later, generates a command signal for causing the travel drive unit 15 to generate power according to the user's intention.
- the biological signal in the present invention is a signal caused by electricity generated in the user's body, and is a signal that can be measured from the body and that changes in time series in accordance with the movement of the body and the signal from the brain. It is.
- biological signals include nerve potentials, muscle potentials, brain waves, cardiac potentials, potentials generated by motion artifacts (effects of motion), potentials generated by biochemical reactions, pulse waves generated by heartbeats, etc. It means a signal generated by biological activity such as vibration.
- the biosignal detection unit 21 according to the present invention has the same principle as the content described in Japanese Patent No. 5409637 by the present inventor and uses the same principle.
- an operation assisting tool described in Japanese Patent Publication No. 5472680 by the present inventor can be applied.
- a laser range sensor 31 for detecting obstacles in the diagonally forward direction and the left-right direction, an RGB-D sensor 32 capable of three-dimensional scanning, a 3D distance image sensor 33, and an imaging camera 34. ing.
- the laser range sensor 31 irradiates an object (obstacle) viewed from the installation position, receives the reflected light, and calculates the distance.
- object obstacle
- fan-shaped distance information on a plane can be obtained in a range of a maximum of 30 m and an angle of 240 degrees.
- the RGB-D sensor 32 has a depth sensor that can measure the distance to the object (obstacle) viewed from the camera, and can perform three-dimensional scanning of the object.
- This depth sensor is composed of an infrared sensor, which captures an object in a state where a single pattern of structured light is projected onto the object, and calculates the depth of each point on the image by triangulation using the parameters.
- the RGB-D sensor 32 when Kinect (trade name of Microsoft Corporation) is applied as the RGB-D sensor 32, it is possible to photograph a horizontal field of view of 57 degrees, a vertical field of view of 43 degrees, and a sensor range of 1.2 m to 3.5 m.
- the RGB image is 640 ⁇ 480
- the depth image is 320 ⁇ 240 pixels, both of which can be acquired at 30 frames / second.
- the reason why the RGB-D sensor 32 is installed at the tip of the armrest portion 12 is that the vertical driving field cannot be secured in the traveling drive portion which is almost close to the floor surface, and it is necessary to secure a height of 0.6 m to 1.8 m from the floor surface. Become.
- the 3D distance image sensor 33 emits an LED pulse, measures the arrival time of reflected light from the object in units of pixels, and simultaneously superimposes the acquired image information, thereby calculating distance information to the object in units of pixels. To do.
- the 3D distance image sensor 33 has a detection capability with higher accuracy than the RGB-D sensor 32 described above, and has a wider viewing angle than the laser range sensor 31, and is therefore required as a complementary sensor for outdoor use.
- Pixel Soleil (trade name of Nippon Signal Co., Ltd.) is applied as the 3D distance image sensor 33, it is possible to photograph a horizontal field of view of 72 degrees, a vertical field of view of 72 degrees, and a sensor range of 0.3 m to 4.0 m. It is.
- SLAM Simultaneous Localization and Mapping
- the mobility 2 using the SLAM technology is configured to dynamically generate an environment map representing a three-dimensional position of an object existing in a real space while estimating its own position with high accuracy. It is possible to identify and move autonomously within the environment.
- a sound collecting microphone 35 and a speaker 36 are mounted on the center upper portion of the backrest part 11 to collect sound of the surrounding environment and to make a speech and a warning sound as necessary.
- FIG. 2 is a configuration diagram of a control system mounted on the mobility 2.
- the overall control unit (travel adjustment unit) 30 that controls the entire control, the target travel route storage unit 40 that stores travel route information, the travel drive unit 15 is controlled according to input from the operation unit 20 or control by the overall control unit 30
- the traveling control unit 41 is provided.
- the overall control unit 30 receives the travel route information from the target travel route storage unit 40 that stores preset travel route information, and the detection signals from the laser range sensor 31, the RGB-D sensor 32, and the 3D distance image sensor 33. Based on the self-position estimation and the construction of the environment map described later, the suitability of the travel route and the necessity for change are determined, and the presence or absence of a travel obstacle is determined.
- the overall control unit 30 sends the determined travel route information to the travel control unit 41, and the travel control unit 41 controls the left and right motor drivers 42a and 42b in accordance with the travel route information, and controls the drive motors 43a and 43b. Control the rotation.
- the mobility 2 automatically creates an environment map of a target area that can be traveled in a real environment such as a sidewalk in a predetermined area by using the above-described SLAM technology.
- the mobility 2 indicates a moving environment of a local map on a grid divided by a two-dimensional grid based on distance information and angle information from an object obtained from the laser range sensor 31 and the 3D distance image sensor 33. While setting as an area, an environmental map representing the entire desired target area is created.
- the travel amount of the own aircraft is calculated, and the next location map and the current time are calculated.
- the self-position is estimated from the matching with the created environmental map and the travel amount of the aircraft.
- the mobility 2 includes an information communication unit 50 that wirelessly communicates with the data terminal device 4, and under the control of the overall control unit 30, various information representing adjustment contents of a running state, which will be described later, and physical functions and cognitive functions associated therewith are stored.
- the data is transmitted to the data terminal device 4 and stored in the management server 5 via the communication line 6 from the data terminal device 4 (FIG. 1).
- the mobility 2 uses the information communication unit 50, the imaging camera 34, the sound collecting microphone 35, the laser range sensor 31, the RGB-D sensor 32, and the 3D distance image as the environmental information from the available providing means in the environmental information presentation unit 3.
- the autonomous control capability of the mobility itself can be supplemented with information content based on surrounding environmental information as appropriate during traveling.
- the environment information presentation unit 3 in the external environment of the mobility 2, it is possible to realize travel control that is even safer for the user.
- the overall control unit 30 generates a command signal for causing the travel drive unit 15 to generate power according to the user's intention based on the user's biological signal acquired by the biological signal detection unit 21 described above. .
- the overall control unit 30 includes the current operation content by the operation unit 20, a command signal generated as an optional control result, the traveling environment detected by the above-described SLAM technology, and the environment information acquired from the environment information presentation unit 3. Based on the above, the current traveling state of the mobility 2 is adjusted to the optimum traveling state for ensuring safety while reflecting the intention of the user. Then, the travel control unit 41 drives and controls the motor drivers 42a and 42b of the travel drive unit 15 so that the travel state adjusted by the overall control unit 30 is achieved.
- the user's physical function and cognitive function are reduced by adjusting the current traveling state of mobility 2 to the optimal traveling state for ensuring safety while reflecting the intention of the user. Even if a care recipient needs to follow his / her will as much as possible, he / she can travel in the desired direction without any third party support.
- the mobility 2 is provided with a posture detection unit 60 in which a plurality of pressure sensors are arranged in a two-dimensional matrix on the seating surface of the seating unit 10, and the body when the user is seated on the seating surface of the seating unit 10.
- a body pressure center of gravity based on the pressure distribution is calculated, and a change in the weight of the user and a change in the center of gravity are detected.
- the posture detection unit 60 is based on the body pressure data detected from a plurality of pressure sensors, and the X-axis direction (left-right direction) and Y-axis direction (front-rear direction) in the two-dimensional array are calculated from the sum of all body pressure data. After calculating the center of gravity coordinates, the body pressure center of gravity on the seating surface is calculated based on the relationship with the distance between the sensors. The posture detection unit 60 obtains the user's body movement change and center-of-gravity fluctuation based on the time-series data of the body pressure center of gravity change of the seating surface.
- the overall control unit 30 adjusts the running state by reflecting the change in weight and the change in the center of gravity detected by the posture detection unit 60 in the current operation content by the operation unit 20. That is, when the user tilts the upper body in accordance with the traveling direction while operating the operation unit 20 during traveling, the weight change of the seating surface and the change in the center of gravity are generated accordingly, so that it is possible to further approximate the desired traveling state. It becomes.
- the overall control unit 30 (voice analysis unit) analyzes the utterance content based on the user's voice collected via the sound collection microphone 35 and adjusts the running state based on the analysis result. That is, by reflecting the utterance content related to the travel instruction among the utterance content of the user, it is possible to bring the user closer to a desired driving state.
- the mobility 2 includes a physiological state detection unit 61 that detects the physiological state of the user, and the overall control unit 30 is outside the predetermined reference range for the physiological state detected by the physiological state detection unit 61 for a predetermined time or more.
- the current traveling state of the mobility 2 is adjusted to a traveling state where safety is the highest priority, regardless of the current operation content by the operation unit 20.
- This physiological state includes blood pressure, arteriosclerosis, electrocardiogram, breathing, swallowing, sleep and the like. Considering the convenience of getting on and off the mobility 2 by the user, it is desirable to mount a measurement means using light or laser in a non-invasive manner.
- a blood pressure calculation device based on blood flow described in International Application No. 2015/068787 by the present inventor can be applied.
- a non-invasive blood flow measurement method and arteriosclerosis measurement method a non-contact blood vessel state measurement device using light described in Japanese Patent No. 5283700 by the present inventor can be applied.
- an electroencephalogram detection device based on head blood flow measurement described in Japanese Patent No. 5717064 and Japanese Patent No. 555884 by the present inventor can be applied.
- an emergency alert is issued from the speaker 36 provided in the mobility 2 to alert the surroundings, or emergency information is transmitted to a mobile terminal held by a user concerned using a communication function. By doing so, it can serve as a user watching function.
- the mobility 2 has an armrest portion 12 and a display portion 62 such as a monitor attached to the armrest portion 12 and displays either or both of the adjustment contents and the adjustment facts of the running state by the overall control portion 30, and is used in real time.
- the person in charge As a result, the user can recognize the adjustment contents and adjustment facts of the running state in a feedback manner.
- the mobility 2 provides physical (mechanical, electrical, and / or thermal) stimulation in contact with the user's body surface as an information content notification unit together with or instead of the display unit 62.
- a stimulus applying unit 63 for the purpose.
- the overall control unit 30 controls the stimulus applying unit 63 at a predetermined timing and a predetermined pattern to adjust one or both of the adjustment contents and the adjustment facts of the running state to apply the stimulus to the user's body surface in real time. Notify users.
- the user can recognize the adjustment contents and adjustment facts of the driving state in a feedback manner, and can obtain the learning effect by the function recovery by being aware of the difference of the adjustment contents with the own operation contents.
- the mobility 2 has a location information transmission unit 64 composed of GPS (Global Positioning System) that transmits the location information of the mobility 2, and the information communication unit 50 displays the current location information obtained from the location information transmission unit 64. send.
- GPS Global Positioning System
- the data terminal device 4 transmits a command signal representing an operation command for the mobility 2 input from the outside, and the overall control unit 30 (operation adjustment unit) of the mobility 2 is connected via the information communication unit 50.
- the vehicle is preferentially shifted to the traveling state corresponding to the operation command based on the command signal regardless of the current operation content.
- the administrator using the data terminal device 4 wants to call immediately because there is anxiety about the health condition of the user boarding the mobility 2, the destination is changed under the administrator. Thus, it is possible to force the mobility 2 to run.
- the administrator who uses the data terminal device 4 can control the mobility 2 remotely, so that sufficient safety can be ensured even when the boarding user is a care recipient.
- Mobility 2 uses an imaging unit that captures images from a plurality of different viewpoints to determine an approaching target object, and the relative position between the target object and the mobility main body By calculating the relationship, it is determined whether a target object approaching within a predetermined target distance is an approach target or an obstacle.
- a stereo camera (not shown) may be used as the imaging unit instead of the RGB-D sensor 32.
- the stereo camera is a device capable of acquiring depth information and an image at the same time.
- the RGB-D sensor 32 that uses infrared rays in a general home environment has an error in depth information due to the influence of sunlight. Therefore, a stereo camera that is less affected by sunlight is desirable.
- the stereo camera is arranged on the backrest portion so that the user and the mobility main body are not reflected. Further, the mobility coordinate system and the stereo camera coordinate system are made to coincide.
- the XYZ coordinates of the object in the camera coordinate system are acquired.
- the coordinates (x, y) where the upper left pixel in the frame of the area in which the object is reflected is the origin and the element i of the one-dimensional array representing the 3D image are expressed by the following equation (1 ).
- the coordinates in the camera frame and the coordinates on the 3D image can be made to correspond one-to-one. If an area in the camera frame is specified, XYZ in the camera coordinate system of the area is designated. Coordinates can be acquired.
- the overall control unit 30 first acquires an RGB image from the stereo camera, and performs depth calculation processing using the parallax information. Next, after performing object discrimination based on the learning model, coordinate calculation processing of the target object in camera coordinates is performed. Finally, an output signal for autonomously moving the mobility 2 to the target point is generated, and a command is given to the traveling control unit 41.
- the travel control unit 41 operates the travel drive unit 15 based on the given command.
- the overall control unit 30 creates a discrimination model intended for use in a general home environment using machine learning as a method for discriminating a target object from RGB image data.
- general object recognition is an image classification problem
- a convolutional neural network CNN
- CNN has multiple convolution layers and pooling layers (compression layers) alternately arranged with the convolution layers, and enables local classification of RGB image data in a hierarchical manner so that images can be classified with high accuracy. It is.
- the CNN analyzes the input data image while maintaining its shape and detects the pattern in the image by convolution of the image before the fully connected layer where connections exist between all the neurons in the adjacent layers.
- This is one of the structures of a neural network in which a convolution layer and a pooling layer that reduces the position sensitivity of extracted features by compressing the number of pixels in the vertical and horizontal directions are added.
- FIGS. 3A and 3B The concepts visualized in the convolution layer and the pooling layer are shown in FIGS. 3A and 3B, respectively.
- the number of channels of the input image is C
- the height is H
- the width is W
- the number of channels of the filter is C
- the height is FH_C
- the width is FW_C.
- the number of channels of output data is 1.
- Convolution processing is performed on all regions of the input image using a stride S that is a value that defines how much the filter is shifted.
- the height OH and the width OW of the output data are expressed by the following equations (2) and (3), which are input data for the next layer.
- the filter size for performing the pooling process is defined as height FH_P and width FW_P.
- the pooling process includes Max-Pooling that outputs the maximum value included in the area and Average-Pooling that returns the average value of the area. Since only one value is returned per region, the output channel has a height of 1 and a width of 1. This process is performed in all areas of the input image by shifting the stride S.
- Fig. 4 shows the structure of the created learning device.
- a neural network composed of 10 or more layers of CNN composed of a convolutional layer and a pooling layer called a VGG model by the University of Oxford was referred to.
- This learning device corresponds to an image having an input of 224 ⁇ 224, and the stride S is 1 and the filter is 3 ⁇ 3. Also, padding that fills the periphery of the image with a specified width of 0 is performed. From this, it can be seen that the image is not reduced in the convolution layer in order to satisfy the following expression (4).
- the pooling layer reduces the input image as the output signal by setting the padding to 0 m, the filter size ksize, and the stride stride to the values shown below the arrows.
- ReLU Rectified Linear Unit
- To create a learning model we prepared 800 images of bed, desk, and chair from the image database ImageNet, 2,400 images in total, and prepared RGB images that were resized to 224 x 224 size images. Of these images, 1,800 images are used as training data, and 600 images are used as test data. The training data is used for learning to determine CNN parameters.
- the test data is used to sequentially evaluate the discrimination rate of the learning model being created.
- a loss function for obtaining a loss rate as an index representing a learning state is expressed using a Softmax function and a cross entropy error.
- the Softmax function is frequently used in the classification problem. If the output finally obtained from the neural network is y k , the input signal is a k , and the number of output layers is n, the softmax function is given by the following equation (5). It is done.
- the learning device created using CNN that functions as a learning model parameter, the final discrimination rate of training data and test data when trained using training data is about 90%, about It became 94%. This discrimination rate is a value indicating the possibility that the output result is correct for all discrimination target labels in percentage.
- the discrimination target is arranged so that the entire image of all discrimination targets is reflected in the discrimination area, and the center of the discrimination target coincides with the discrimination area.
- a performance evaluation test of the autonomous movement function to the target object is performed. Assuming that the range where the user can reach the target object is the target distance, the 5% tile value of the upper limb length of men and women over 60 years old is approximately 60.8cm, and the user's hand with the 5% tile value reaches the target object. For this purpose, the tip of the mobility bearing surface needs to approach the target object by 60 cm or more.
- the target distance between the tip of the mobility seat and the target object is set to 50 cm or less in consideration of grabbing the target object to board the mobility.
- FIG. 9 shows a state where the distance between the tip of the seating surface and the target object is 50 cm.
- the experimental environment is the same as the function evaluation test of the discrimination method described above, and the trial is performed five times for each bed, desk, and chair.
- the distance between the tip of the mobility seat and the target object is measured using a measure.
- Fig. 10 shows the average and standard deviation of the distance between the tip of the mobility bearing surface and the target object after movement. According to this result, it was confirmed that the tip of the mobility seating surface can approach the target object up to the target 50 cm in all trials.
- the target object is determined based on the RGB image data that is the imaging result of the stereo camera (imaging unit), and the target object is determined based on the depth data calculated from the RGB image data. While calculating the relative positional relationship with the mobility main body, it is determined whether or not the target object approaching within a predetermined target distance is an obstacle.
- the mobility 2 determines whether or not the adjacent target object is an obstacle depending on the situation, and based on the relative position of the target object and the mobility body, generates a safe movement route and autonomous movement Can be performed.
- a two-wheel drive type four-wheel moving body capable of traveling according to an external operation or autonomously is applied as the mobility 2, that is, the traveling drive unit 15 is used.
- the drive rear wheels 13a and 13b, the front wheels 14a and 14b, the motor drivers 42a and 42b, and the drive motors 43a and 43b are described.
- the present invention is not limited to this, and the four-wheel drive type.
- various traveling mechanisms such as a caterpillar and an omni wheel may be applied.
- the SLAM technology using the laser range sensor 31, the RGB-D sensor 32, and the 3D distance image sensor 33 is applied as the environment detection unit that detects the traveling environment during traveling on the mobility 2 body side.
- the present invention is not limited to this, and various methods such as the imaging camera 34 and the sound collecting microphone 35 and combinations thereof may be applied as long as the traveling environment of the mobility 2 can be grasped during traveling.
- the display unit 62 and the stimulus applying unit 63 are applied as the information content notification unit.
- the present invention is not limited to this, and allows the user to perceive feedback. If possible, various methods such as the speaker 36 and the display unit 62 and combinations thereof may be applied.
- the information acquisition unit that acquires environment information from the environment information providing unit 3 includes the imaging camera 34 in the case of vision information, the information communication unit 50 in the case of electromagnetic information and radio wave information, and the sound information.
- the sound collecting microphone 35 may be applied, and a wide variety of acquisition means can be applied as long as various environmental information can be automatically acquired in response to a request from mobility or when approaching.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Transportation (AREA)
- Acoustics & Sound (AREA)
- Otolaryngology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Dentistry (AREA)
Abstract
【課題】身体機能や認知機能の低下した要介護者がより自立度の高い生活を送ることが可能なモビリティ及びモビリティシステムを提供する。 【解決手段】操作部による現在の操作内容と、随意的制御部による指令信号と、環境検知部により検知される走行環境と、情報取得部により取得される各環境情報とに基づいて、現在のモビリティの走行状態を、利用者の意思を反映させつつ安全性確保のための最適な走行状態に調整して走行駆動部による走行駆動を制御するようにした。
Description
本発明は、モビリティ及びモビリティシステムに関し、特に利用者の操作に応じて所望方向に移動可能なパーソナルモビリティに適用して好適なるものである。
近年、身体機能や認知機能の低下によって、トイレや台所やショッピングセンタへの移動が困難な要介護者の増加は、超高齢化に直面する我が国の大きな社会課題である。より自立度の高い生活を送るための移動支援の手法の開発が切望されている。
従来、要介護者が自ら電動車椅子を操縦する際、障害物に対する認識不足を補うための安全回避技術は多数提案されている。例えば、障害物の位置と車体通過予測領域とに基づいて、車体と障害物との衝突可能性を判定し、車体が障害物の近傍を通過する際に衝突可能性ありと判定された場合は速度及び進行方向を修正する一方、衝突可能性なしと判定された場合は、車体の速度を制限しないようにした技術が提案されている（特許文献１参照）。
また障害物と移動体とが所定間隔以内に接近するか否かを判定し、近接すると判定した場合に移動体の回避動作及び障害物に期待する回避動作を計画することにより、移動体が一方的に回避する場合と比べて効率の良い回避動作を行う技術も提案されている（特許文献２参照）。
さらに車体部より操作方向に延びて、車体部の幅と略等しいサーチ領域を生成すると共に、操作量の大きさ又は操作方向及び操作量から算出された操作力の大きさが大きい場合、サーチ領域を操作方向に尖った形状に変えることにより、操作方向に障害物があっても安全に自動回避を行う技術が提案されている（特許文献３参照）。
ところが、要介護者の身体機能や認知機能の低下が進んでいた場合には、電動車椅子に障害物の自動回避技術を搭載しただけでは、自ら操作しながら走行するは非常に困難となり、自立性の面では実用上不十分である。
この問題を解決すべく、操作者の走行経路の周辺環境の至るところに、各種のセンサを設置しておき、操作者が搭乗する電動車椅子を目的地まで安全に誘導する方法も考えられる。
しかしながら、周辺環境に大量のセンサを設けて安全誘導させるだけでは、操作者が単独で使用して安全性を確保することができるものの、操作者の自立性はほとんど考慮されなくなるおそれがある。
本発明は以上の点を考慮してなされたもので、身体機能や認知機能の低下した要介護者がより自立度の高い生活を送ることが可能なモビリティ及びモビリティシステムを提供しようとするものである。
かかる課題を解決するために本発明においては、利用者から入力された操作内容を検出する操作部と、当該操作部による操作内容に応じた走行速度及び走行方向で走行駆動する走行駆動部とを有するモビリティにおいて、操作部に触れる手指を基準とする利用者の生体信号を検出するための電極を有する生体信号検出部と、生体信号検出部により取得された生体信号に基づいて、利用者の意思に従った動力を走行駆動部に発生させるための指令信号を生成する随意的制御部と、モビリティ本体側にて走行時の走行環境を検知する環境検知部と、外部環境から提示される少なくとも１以上の環境情報を取得する情報取得部と、操作部による現在の操作内容と、随意的制御部による指令信号と、環境検知部により検知される走行環境と、情報取得部により取得される各環境情報とに基づいて、現在のモビリティの走行状態を、利用者の意思を反映させつつ安全性確保のための最適な走行状態に調整する走行調整部と、走行調整部により調整された走行状態となるように、走行駆動部による走行駆動を制御する走行制御部とを備えるようにした。
以上のモビリティによれば、現在のモビリティの走行状態を、利用者の意思を反映させつつ安全性確保のための最適な走行状態に調整することにより、利用者が身体機能や認知機能が低下した要介護者であっても、可能な限り自己の意思に従うことを前提に、第三者のサポートがなくても安心して所望方向に走行することができる。
また本発明のモビリティにおいては、利用者の体重を支持する支持部に設けられ、当該利用者の体動変化及び重心変動を検知する姿勢検知部をさらに備え、走行調整部は、操作部による現在の操作内容に、姿勢検知部により検出された体重変化及び重心変動を反映させて走行状態を調整するようにした。
この結果、利用者による現在の操作内容に加えて、利用者の体重変化及び重心変動も反映させることにより、利用者にとって所望の走行状態に近づけることが可能となる。
さらに本発明のモビリティにおいては、集音マイクを介して集音した利用者の音声に基づく発話内容を分析する音声分析部をさらに備え、走行調整部は、操作部による現在の操作内容に、音声分析部による分析結果を反映させて走行状態を調整するようにした。
この結果、利用者による現在の操作内容に加えて、利用者の発話内容のうち走行指示に関係する発話内容も反映させることにより、利用者にとって所望の走行状態に近づけることが可能となる。
さらに本発明のモビリティにおいては、利用者の生理状態を検出する生理状態検出部をさらに備え、走行調整部は、生理状態検出部により検出された生理状態について、所定時間以上所定基準の範囲外である場合、操作部による現在の操作内容に関わらず、現在のモビリティの走行状態を安全性確保を最優先とする走行状態に調整するようにした。
この結果、利用者の生理状態が良くなく、走行移動に支障が生じると判断した場合は、モビリティを安全性が確保可能な場所まで強制的に誘導することにより、その後の危険回避を図ることができる。これと同時に、モビリティに設けられたスピーカから緊急警報を発生するようにして周囲に注意喚起したり、通信機能を用いて利用者の関係者が保有する携帯端末に緊急情報を送信したりすることにより、利用者の見守り機能としての役割を果たすことができる。
さらに本発明のモビリティにおいては、環境検知部は、複数の異なる視点から対象物体を撮像する撮像部を有し、走行調整部は、撮像部の撮像結果であるＲＧＢデータに基づいて対象物体を判別するとともに、当該ＲＧＢ画像データから算出した深度データに基づいて対象物体とモビリティ本体との相対位置関係を算出しながら、所定の目標距離内に接近した対象物体が障害物であるか否かを判断するようにした。
この結果、モビリティは、状況に応じて近接する対象物体が障害物であるか否かを判別し、対象物体とモビリティ本体の相対位置に基づいて、安全な移動経路の生成と自律的な移動を行うことが可能となる。
さらに本発明のモビリティにおいては、走行調整部による走行状態の調整内容及び調整事実のいずれか一方又は両方をリアルタイムで利用者に通知する情報内容通知部をさらに備えるようにした。そして情報内容通知部は、利用者に対して走行調整部による走行状態の調整内容に応じた物理的な刺激を付与する刺激付与部からなるようにした。
この結果、利用者は走行状態の調整内容や調整事実をフィードバック的に認識することができ、自己の操作内容との調整分の差を意識することによって機能回復による学習効果を得ることができる。
さらに本発明においては、上述したモビリティと、当該モビリティに対して少なくとも１以上の環境情報を提示する環境情報提示ユニットとを有するモビリティシステムにおいて、環境情報提示ユニットは、環境情報ごとに設けられ、モビリティからの要求に応じて対応する環境情報を提示する情報提示部を備え、モビリティの情報取得部は、各情報提示部から利用可能な環境情報のみを取得するようにした。
この結果、モビリティシステムでは、モビリティの走行時に適宜、周囲の環境情報を取得することにより、モビリティ自体の自律制御能力を環境情報に基づく情報内容で補完することができる。利用者の環境認識能力をモビリティの外部環境にある環境情報提示ユニットと協調させることで、より一層利用者にとって安全性の高い走行制御を実現することができる。
さらに本発明においては、モビリティは、走行調整部による走行状態の調整内容を、姿勢検知部により検出された体重変化及び重心変動と、認知能力検知部により検出された認知能力と、生理状態検出部により検出された生理状態とのうち少なくとも１以上とともに、外部に発信する情報通信部を備えるとともに、モビリティと別体に設けられ、情報通信部から送信される各種情報を受信し、通信回線を介して管理サーバに送信するデータ端末装置を備えるようにした。
この結果、モビリティシステムでは、情報通信部から発生される利用者の走行状態の調整内容及びこれに伴う身体機能及び認知機能を表す各種情報に基づいて、利用者の身体機能や認知機能を外部のデータ端末装置を介して管理サーバに蓄積することができる。そして管理サーバに蓄積された利用者の情報を時系列で分析することにより、身体機能や認知機能の低下度合い等を把握することが可能となる。
さらに本発明のモビリティシステムにおいては、モビリティは、当該モビリティの位置情報を検出する位置情報検出部をさらに備え、情報通信部は、位置情報発信部から得られる現在の位置情報を発信するようにした。この結果、モビリティの位置情報も常に外部のデータ端末装置が確認することが可能となる。
さらに本発明のモビリティシステムにおいては、データ端末装置は、外部入力されたモビリティに対する操作指令を表す指令信号を送信し、モビリティの走行調整部は、情報通信部を介して指令信号を受信すると、現在の操作内容にかかわらず、当該指令信号に基づく操作指令に応じた走行状態に優先的に移行させるようにした。
この結果、モビリティシステムでは、データ端末装置を使用する管理者がモビリティに搭乗する利用者の健康状態に不安があるなど急遽呼び寄せたい場合には、管理者の下に目的地を変更してモビリティを強制的に操作して走行させるようにすることも可能となる。それ以外にもデータ端末装置を使用する管理者がモビリティを遠隔的に制御することにより、搭乗する利用者が要介護者の場合でも十分に安全性を確保することが可能となる。
本発明によれば、利用者の意思に応じた操作内容のみならず外部環境から取得される情報内容と協調させながら走行制御させるようにして、利用者の身体機能や認知機能が低下して要介護状態となった場合でも、より自立度の高い生活を送ることが可能なモビリティ及びモビリティシステムを実現することができる。
以下図面について、本発明の一実施の形態を詳述する。
（１）本実施の形態によるモビリティシステムの構成
図１に示すように、本発明におけるモビリティシステム１は、利用者の操作に応じた走行速度及び走行方向で走行するモビリティ２と、当該モビリティ２に対して少なくとも１以上の環境情報を提示する環境情報提示ユニット３とを有する。このモビリティシステム１には、モビリティ２との間で双方向に各種のデータを送受信するデータ端末装置４及び管理サーバ５も含めてもよい。
図１に示すように、本発明におけるモビリティシステム１は、利用者の操作に応じた走行速度及び走行方向で走行するモビリティ２と、当該モビリティ２に対して少なくとも１以上の環境情報を提示する環境情報提示ユニット３とを有する。このモビリティシステム１には、モビリティ２との間で双方向に各種のデータを送受信するデータ端末装置４及び管理サーバ５も含めてもよい。
本発明による環境情報提示ユニット３は、モビリティ２に対して外部から環境情報を提示することにより、モビリティ自体の自律制御能力を環境情報に基づく情報内容で補完するようになされている。すなわち利用者の環境認識能力をモビリティ２の外部環境にある環境情報提示ユニットと協調させることで、より一層利用者にとって安全性の高い走行制御を実現し得るようになされている。
環境情報としては、利用者の環境認知の水準を高めてより安全に目的地までの移動を実現するための各種情報が該当する。例えば、目的地への近道情報、走行環境の路面状態（平坦か否か等）、雨天時の被害を回避可能なルート情報、交差点遭遇までの交通量や交通状態の事前通知、障害物や人の横断などの事前通知、車椅子用のトイレや休憩所の位置情報、走行環境に出店されている店舗情報などが挙げられる。
環境情報提供ユニット３は、上述の環境情報をビジョン情報、電磁気情報、電波情報、光情報及び音情報として、モビリティ２からの要求に応じて又は近接時に自動的にそれぞれ対応する提供手段によって当該モビリティ２に提供する。
具体的にビジョン情報としては、認識パターン、ランドマーク、ラインセンシング許可マーク、走行環境における床・壁面・天井・物体に配置されたＱＲコード（登録商標）やホログラムなどが挙げられる。そのための提供手段としては、撮像カメラや３Ｄ距離画像センサなどが該当する。
また電磁気情報や電波情報としては、走行環境に埋め込まれたＲＦＩＤ（Radio Frequency Identification）、磁界を生成する電気ケーブル、ＧＰＳ（Global Positioning System）などが挙げられる。そのための提供手段としては、アクティブ方式又はパッシブ方式の無線通信手段や赤外線通信手段などが該当する。
さらに光情報としては、レーザ測域センサ、光通信コード、機械光学式ガイド（レーザーポインタなどで光情報を床・壁面・天井に照射）などが挙げられる。そのための提供手段としては、ＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサのような撮像素子や、光伝導型受光素子、光起電力型受光素子などの光電変換素子が該当する。
さらに音情報としては、利用者や周辺環境から発生する原音情報や、処理された周波数情報やパターン音声情報（必要に応じて異音も含む）などが挙げられる。そのための提供手段としては、指向性マイクロフォンや全方向型集音マイクなどが該当する。
このようにモビリティ２では、環境情報提示ユニット３から取得可能な複数の情報を統合処理・通信・自動判断するとともに、利用者の意思に応じた操作内容と協調させながら走行制御するようになされている。
（２）本実施の形態によるモビリティの構成
モビリティ２は、図１に示すように、外部操作に応じて又は自律的に走行可能な二輪駆動型の四輪移動体であり、利用者が着座する着座部（支持部）１０と、背中を保持するための背もたれ部１１と、両腕を保持するための肘掛け部１２とを備える。
モビリティ２は、図１に示すように、外部操作に応じて又は自律的に走行可能な二輪駆動型の四輪移動体であり、利用者が着座する着座部（支持部）１０と、背中を保持するための背もたれ部１１と、両腕を保持するための肘掛け部１２とを備える。
着座部１０の下部には、後側に左右一対の駆動後輪１３ａ，１３ｂと、前側に左右一対の前車輪１４ａ，１４ｂとからなる走行駆動部１５が設けられている。走行駆動部１５における左右の駆動後輪１３ａ，１３ｂは、それぞれ駆動によってそれぞれ独立して回転駆動し、駆動後輪１３ａ，１３ｂの前進回転或いは後進回転によって前進及び後進し、駆動後輪１３ａ，１３ｂの前進回転速度に差を与えることによって前進しつつ右或いは左に走行する。また、駆動後輪１３ａ，１３ｂを互いに逆方向に回転駆動することによってモビリティ２がその位置で方向転換する。
肘掛け部１２は、利用者が着座部１０に着座した際に両肘を掛ける部分である。このうち片方（右側）の肘掛け部１２には、操作部２０が設けられている。この操作部２０は、図示しないが、先端側に設けられた軸受け部に棒状の操作レバーが所望方向に傾斜自在に軸支された構成を有し、利用者による操作レバーの傾斜角度及び傾斜方向に応じて走行駆動部１５が操作される。走行駆動部１５は、操作部２０によって入力される操作内容（方向及び速度）に応じて、左右の駆動後輪を独立して駆動させる。
また腰掛け部１２における操作部２０に触れる手指を基準とする部位には、予め生体信号を検出するための電極を有する生体信号検出部２１（後述する図２）が取り付けられており、検出された生体信号に基づいて、後述する統括制御部３０（図２）が利用者の意思に従った動力を走行駆動部１５に発生させるための指令信号を生成する。
なお本発明における生体信号とは、利用者の体内に発生する電気に起因する信号であり、身体から測定可能な信号であると共に身体の動作や脳からの信号に伴って時系列で変化する信号である。例えば、生体信号は、神経電位や筋電位、脳波、心電位、更に、モーションアーティアファクト（動作の影響）によって生じる電位等、生化学反応により生じる電位や、心臓の拍動によって生じる脈波等の振動等、生体の活動によって生じる信号を意味する。
本発明による生体信号検出部２１については、本願発明者による特登5409637号公報に記載された内容と軌を一にし、かつ同一原理を用いている。また利用者の指を動作させる信号を取得する手法としては、本願発明者による特登5472680号公報に記載された動作補助具を適用することができる。
肘掛け部１２の先端には、斜め前方方向及び左右方向の障害物の検知を行うレーザレンジセンサ３１と、３次元スキャン可能なＲＧＢ－Ｄセンサ３２、３Ｄ距離画像センサ３３及び撮像カメラ３４が設けられている。
具体的にレーザレンジセンサ３１は、設置位置から見た対象物（障害物）に照射し、その反射光を受光して距離を算出する。これを一定角度間隔で距離を測定することにより、平面上に扇状の距離情報を最大30ｍ、角度240度の範囲で得ることができる。
またＲＧＢ－Ｄセンサ３２は、ＲＧＢカラーカメラ機能に加えて、当該カメラから見た対象物（障害物）までの距離を計測できる深度センサを有し、対象物の３次元スキャンを行うことができる。この深度センサは赤外線センサからなり、構造化光の単一のパターンを対象物に投影した状態で対象を撮影し、そのパラメータを用いて三角測量により画像上の各点のデプスを算出する。
例えばＲＧＢ－Ｄセンサ３２として、例えばＫｉｎｅｃｔ（マイクロソフト社の商標名）を適用した場合、水平視野57度、垂直視野43度、センサ範囲は1.2ｍ～3.5ｍの範囲を撮影することが可能であり、ＲＧＢ画像は640×480、Ｄｅｐｔｈ（深度）画像は320×240画素で共に30フレーム／秒で取得できる。
ＲＧＢ－Ｄセンサ３２を肘掛け部１２の先端に設置したのは、ほぼ床面に近い走行駆動部では垂直視野が確保できないためであり、床面から0.6ｍ～1.8ｍの高さ確保が必要となる。
３Ｄ距離画像センサ３３は、ＬＥＤパルスを照射し、対象物からの反射光の到達時間を画素単位で計測すると同時に取得した画像情報を重畳することにより、対象物までの距離情報を画素単位で算出する。この３Ｄ距離画像センサ３３は、上述のＲＧＢ－Ｄセンサ３２よりも高精度の検出能力を有し、かつレーザレンジセンサ３１よりも視野角が広いことから、屋外向けの補完センサとして必要である。
３Ｄ距離画像センサ３３として、例えばピクセルソレイユ（日本信号株式会社の商品名）を適用した場合、水平視野72度、垂直視野72度、センサ範囲は0.3ｍ～4.0ｍの範囲を撮影することが可能である。
本発明のモビリティ２では、レーザレンジセンサ３１、ＲＧＢ－Ｄセンサ３２及び３Ｄ距離画像センサ３３を用いて、外部環境に対して自己の位置を推定すると同時に環境地図を作成するＳＬＡＭ（Simultaneous Localization and Mapping）技術が実現するようになされている。
このＳＬＡＭ技術を用いたモビリティ２は、高精度に自己の位置を推定しながら、実空間内に存在する物体の３次元位置を表現する環境地図を動的に生成することにより、自己の移動経路を特定して環境内を自律的に移動することが可能である。
さらに背もたれ部１１の中央上部には、集音マイク３５及びスピーカ３６が搭載されており、周囲環境の音声を集音し、必要に応じて発話や警告音を発するようになされている。
（３）モビリティの内部の回路構成
図２は、モビリティ２に搭載される制御系の構成図である。全体の制御を司る統括制御部（走行調整部）３０、走行経路情報を記憶する目標走行経路記憶部４０、操作部２０からの入力又は統括制御部３０による制御に応じて走行駆動部１５を制御する走行制御部４１を備える。
図２は、モビリティ２に搭載される制御系の構成図である。全体の制御を司る統括制御部（走行調整部）３０、走行経路情報を記憶する目標走行経路記憶部４０、操作部２０からの入力又は統括制御部３０による制御に応じて走行駆動部１５を制御する走行制御部４１を備える。
統括制御部３０は、予め設定された走行経路情報を記憶する目標走行経路記憶部４０からの走行経路情報と、レーザレンジセンサ３１、ＲＧＢ－Ｄセンサ３２及び３Ｄ距離画像センサ３３による各検出信号に基づいて自己位置推定と後述する環境地図の構築を同時に行いながら、走行経路の適否や変更の要否を判断したり、走行障害物の有無を判断する。
例えば道路走行中のモビリティ２が道端の縁石などの走行障害物に接触するか否かを判断し、接触する直前に一旦停止して当該利用者の追従方向に走行向きを変更する。統括制御部３０は、決定した走行経路情報を走行制御部４１に送り、走行制御部４１は、該走行経路情報に応じて、左右のモータドライバ４２ａ，４２ｂを制御し、駆動モータ４３ａ，４３ｂの回転を制御する。
実際にモビリティ２は、上述したＳＬＡＭ技術を利用して、所定地域内の歩道等の実環境内の走行可能な対象エリアの環境地図を自動的に作成する。
具体的にはモビリティ２は、レーザレンジセンサ３１及び３Ｄ距離画像センサ３３から得られる対象物との距離情報及び角度情報に基づいて、２次元格子で区切ったグリッド上の局所地図を移動環境を示すエリアとして設定していきながら、所望の対象エリア全体を表す環境地図を作成する。
それと同時にモビリティ２の一対の駆動後輪１３ａ，１３ｂに対応するエンコーダ（図示せず）から読み出された回転角度に基づいて、自機の走行量を演算し、次の居所地図と現時点までに作成された環境地図とのマッチング及び自機の走行量から自己位置を推定する。
またモビリティ２は、データ端末装置４と無線通信する情報通信部５０を備え、統括制御部３０の制御の下、後述する走行状態の調整内容及びこれに伴う身体機能や認知機能を表す各種情報をデータ端末装置４に送信するとともに、当該データ端末装置４から通信回線６を介して管理サーバ５に蓄積するようになされている（図１）。
さらにモビリティ２は、環境情報提示ユニット３のうち利用可能な提供手段からの環境情報を情報通信部５０、撮像カメラ３４、集音マイク３５、レーザレンジセンサ３１、ＲＧＢ－Ｄセンサ３２及び３Ｄ距離画像センサ３３の中から可能な限り取得することにより、走行時に適宜、周囲の環境情報に基づく情報内容でモビリティ自体の自律制御能力を補完することができる。利用者の環境認識能力をモビリティ２の外部環境にある環境情報提示ユニット３と協調させることで、より一層利用者にとって安全性の高い走行制御を実現することができる。
また統括制御部３０は、上述した生体信号検出部２１により取得された利用者の生体信号に基づいて、利用者の意思に従った動力を走行駆動部１５に発生させるための指令信号を生成する。
統括制御部３０は、操作部２０による現在の操作内容と、随意的制御結果として生成した指令信号と、上述のＳＬＡＭ技術により検知される走行環境と、環境情報提示ユニット３から取得した環境情報とに基づいて、現在のモビリティ２の走行状態を、利用者の意思を反映させつつ安全性確保のための最適な走行状態に調整する。そして走行制御部４１は、統括制御部３０により調整された走行状態となるように、走行駆動部１５のモータドライバ４２ａ、４２ｂを駆動制御する。
このようにモビリティ２において、現在のモビリティ２の走行状態を、利用者の意思を反映させつつ安全性確保のための最適な走行状態に調整することにより、利用者が身体機能や認知機能が低下した要介護者であっても、可能な限り自己の意思に従うことを前提に、第三者のサポートがなくても安心して所望方向に走行することができる。
またモビリティ２には、着座部１０の座面に２次元マトリクス状に複数の圧力センサが配列されてなる姿勢検知部６０が設けられ、利用者が着座部１０の座面に着座したときの体圧分布に基づく体圧重心を算出して、利用者の体重変化及び重心変動を検知する。
すなわち姿勢検知部６０は、複数の圧力センサから検知される体圧データに基づいて、全ての体圧データの総和から２次元配列におけるＸ軸方向（左右方向）及びＹ軸方向（前後方向）の重心座標を算出した後、センサ間の距離との関係に基づき座面における体圧重心を算出する。そして姿勢検知部６０は、座面の体圧重心の変化の時系列データに基づいて、利用者の体動変化及び重心変動を求める。
統括制御部３０は、操作部２０による現在の操作内容に、姿勢検知部６０により検出された体重変化及び重心変動を反映させて走行状態を調整する。すなわち利用者が走行時に操作部２０を操作しながら走行方向に合わせて上半身を傾けたときに、それに応じた座面の体重変化及び重心変動が生じるため、さらに所望の走行状態に近づけることが可能となる。
一方、利用者が走行時に上半身を前後左右に揺らし始めたり、特定方向にのみ長時間傾いた場合には、脳神経系の病気や心臓発作などを発症した可能性があると判断することも可能となる。
さらに統括制御部３０（音声分析部）は、集音マイク３５を介して集音した利用者の音声に基づく発話内容を分析し、当該分析結果に基づいて走行状態を調整する。すなわち利用者の発話内容のうち走行指示に関係する発話内容も反映させることにより、利用者にとって所望の走行状態に近づけることが可能となる。
例えば利用者が走行時に手指にしびれが生じた場合や操作部２０が故障した場合でも、即座に停止する旨の発話内容に基づいて停止させることが可能となる。
さらにモビリティ２は、利用者の生理状態を検出する生理状態検出部６１を有し、統括制御部３０は、生理状態検出部６１により検出された生理状態について、所定時間以上所定基準の範囲外である場合、操作部２０による現在の操作内容に関わらず、現在のモビリティ２の走行状態を安全性確保を最優先とする走行状態に調整する。
この生理状態としては、血圧、動脈硬化、心電、呼吸、嚥下、睡眠等が挙げられる。利用者がモビリティ２への乗り降りの利便性を考慮すると、非侵襲にて光やレーザを用いた計測手段を搭載することが望ましい。
非侵襲による血圧測定方法については、本願発明者による国際出願2015/068787号公報に記載された血流に基づく血圧算出装置を適用することができる。また非侵襲による血流測定方法及び動脈硬化測定方法については、本願発明者による特登5283700号公報に記載された光を用いた非接触の血管状態計測装置を適用することができる。さらに脳波や脳活動の計測方法については、本願発明者による特登5717064号公報及び特登5295584号公報に記載された頭部血流計測に基づく脳波検出装置を適用することができる。
この結果、利用者の生理状態が良くなく、走行移動に支障が生じると判断した場合は、モビリティ２を安全性が確保可能な場所まで強制的に誘導することにより、その後の危険回避を図ることができる。
これと同時に、モビリティ２に設けられたスピーカ３６から緊急警報を発生するようにして周囲に注意喚起したり、通信機能を用いて利用者の関係者が保有する携帯端末に緊急情報を送信したりすることにより、利用者の見守り機能としての役割を果たすことができる。
さらにモビリティ２は、肘掛け部１２及びこれに付随するモニタ等の表示部６２を有し、統括制御部３０による走行状態の調整内容及び調整事実のいずれか一方又は両方を表示して、リアルタイムで利用者に通知する。この結果、利用者は走行状態の調整内容や調整事実をフィードバック的に認識することができる。
さらにモビリティ２は、表示部６２とともに又はこれに代えて、情報内容通知部として、利用者の体表に接触して物理的（力学的、電気的、及び／又は、熱的）な刺激を与えるための刺激付与部６３を有する。統括制御部３０は、走行状態の調整内容及び調整事実のいずれか一方又は両方を所定タイミング及び所定パターンで刺激付与部６３を制御して利用者の体表に刺激を付与することにより、リアルタイムで利用者に通知する。
この結果、利用者は走行状態の調整内容や調整事実をフィードバック的に認識することができ、自己の操作内容との調整分の差を意識することによって機能回復による学習効果を得ることができる。
さらにモビリティ２は、当該モビリティ２の位置情報を発信するＧＰＳ（Global Positioning System）からなる位置情報発信部６４を有し、情報通信部５０は、位置情報発信部６４から得られる現在の位置情報を発信する。この結果、モビリティシステム１において、モビリティ２の位置情報も常に外部のデータ端末装置４が確認することが可能となる。
さらにモビリティシステム１において、データ端末装置４は、外部入力されたモビリティ２に対する操作指令を表す指令信号を送信し、モビリティ２の統括制御部３０（操作調整部）は、情報通信部５０を介して指令信号を受信すると、現在の操作内容にかかわらず、当該指令信号に基づく操作指令に応じた走行状態に優先的に移行させる。
この結果、モビリティシステム１では、データ端末装置４を使用する管理者がモビリティ２に搭乗する利用者の健康状態に不安があるなど急遽呼び寄せたい場合には、管理者の下に目的地を変更してモビリティ２を強制的に操作して走行させるようにすることも可能となる。それ以外にもデータ端末装置４を使用する管理者がモビリティ２を遠隔的に制御することにより、搭乗する利用者が要介護者の場合でも十分に安全性を確保することが可能となる。
（４）本実施の形態における安全移動経路の確保方法
モビリティ２は、複数の異なる視点から撮像する撮像部を用いて、接近する対象物体を判別するとともに、当該対象物体とモビリティ本体との相対位置関係を算出することにより、所定の目標距離内に接近する対象物体が接近対象又は障害物のいずれかを判断するようになされている。
モビリティ２は、複数の異なる視点から撮像する撮像部を用いて、接近する対象物体を判別するとともに、当該対象物体とモビリティ本体との相対位置関係を算出することにより、所定の目標距離内に接近する対象物体が接近対象又は障害物のいずれかを判断するようになされている。
この実施形態において、撮像部としては、ＲＧＢ－Ｄセンサ３２に替えて、ステレオカメラ（図示せず）を用いるようにしてもよい。ステレオカメラもＲＧＢ－Ｄセンサ３２と同様に、深度情報と画像の取得を同時に可能なデバイスであるが、太陽光の影響により一般の家庭環境において赤外線を用いるＲＧＢ－Ｄセンサ３２では深度情報に誤差が生じるため、太陽光による影響が少ないステレオカメラが望ましい。
家庭環境によっては対象物体の長辺全体を映すように撮影する必要があり、特にベッドのような家具は長さ２ｍ程度あるため、ベッド全体を映すために必要な距離はカメラの視野角が広いほど短くなり、部屋の広さの制約条件が緩和される。この条件を満たすカメラとしては、例えばＳＴＥＲＥＯＬＡＢＳ社製のＺＥＤ ２Ｋステレオカメラが挙げられる。
このステレオカメラを適用した場合、最大視野角が110度であることから、距離測定が70ｃｍから20ｍまで可能であり、ベッドの全体像を約80ｃｍ離れた位置から撮影することができる。
なお本実施形態におけるモビリティにおいて、ステレオカメラは、利用者やモビリティ本体が映り込まないように背もたれ部の上部に配置されている。また、モビリティの座標系とステレオカメラの座標系とを一致させておく。
ステレオカメラのフレーム内において物体が写っている領域の座標を用いることにより、その物体のカメラ座標系でのＸＹＺ座標を取得する。物体が映っている領域のフレーム内での左上のピクセルが原点である座標（ｘ,ｙ）と、３Ｄ画像を表す１次元配列の要素ｉは、重みベクトルｗを用いて、次の式（１）のような関係をもつ。
この式（１）を用いることにより、カメラフレーム内の座標と３Ｄ画像上の座標を一対一対応させることが可能となり、カメラフレーム内の領域を指定すれば、その領域のカメラ座標系でのＸＹＺ座標を取得することが可能となる。
モビリティ２において、統括制御部３０は、まずステレオカメラからＲＧＢ画像を取得し、視差情報を用いて深度算出処理を行う。次に学習モデルに基づく物体判別を行った後、カメラ座標における対象物体の座標算出処理を行う。最後に目標地点までモビリティ２を自律移動させるための出力信号を生成し、走行制御部４１へ指令を与える。走行制御部４１は、与えられた指令に基づき、走行駆動部１５を動作させる。
ここで日常生活における移動支援のためには、一般家庭での使用を考慮しなければならない。家庭によってベッド、机、椅子などの家具は様々なものが使用されていることから、一般物体認識を行う必要がある。
このため、統括制御部３０は、ＲＧＢ画像データから対象物体を判別する手法として、機械学習を用いて一般家庭環境で使用することを目的とした判別モデルを作成する。一般物体認識は画像の分類問題であるため、畳み込みニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）を用いる。ＣＮＮは、複数の畳み込み層や、当該畳み込み層と交互に並ぶプーリング層（圧縮層）を有し、ＲＧＢ画像データの局所特徴を階層的に畳み込むことにより、画像を精度よくクラス分け可能とするものである。
ＣＮＮは、隣接する層のすべてのニューロン間に結合が存在する全結合層の前に、入力データの画像を、形状を維持したまま解析し、画像の畳み込みによって画像内のパターンを検出するための畳み込み（Convolution）層と、縦横方向の画素数を圧縮することによって、抽出された特徴の位置感度を低下させる働きを持つプーリング（Pooling）層が追加されたニューラルネットワークの構造の一つである。
畳み込み層とプーリング層で行われている処理を可視化した概念をそれぞれ図３（Ａ）及び（Ｂ）に示す。図３（Ａ）では、入力画像のチャンネル数をＣ、高さをＨ、横幅をＷ、フィルタのチャンネル数をＣ、高さをＦＨ＿Ｃ、横幅をＦＷ＿Ｃとする。入力画像とフィルタの対応する要素同士を掛け合わせ足し合わせる畳み込み処理を各チャンネルで行い、それぞれのチャンネルでの計算結果を足し合わせた値を出力とする。
このため、出力データのチャンネル数は１となる。フィルタをどれだけずらすかを定義する値であるストライドＳを用いて、入力画像の全ての領域で畳み込み処理を行っている。出力データの高さＯＨ、横幅ＯＷは、次式（２）及び（３）となり、これが次層の入力データとなる。
図３（Ｂ）では、プーリング（Pooling）処理を行うフィルタサイズを高さＦＨ＿Ｐ、横幅ＦＷ＿Ｐと定めた。プーリング処理には領域に含まれる最大値を出力とするMax-Pooling、領域の平均値を返すAverage-Poolingがある。領域につき値を一つだけ返すので、出力チャンネルは、高さ１、横幅１となる。ストライドＳだけずらし、この処理を入力画像の全ての領域で行っている。
図４に作成した学習器の構造を示す。作成する学習器の構造は、英オックスフォード大学によるＶＧＧモデルと呼ばれる畳み込み層とプーリング層から構成されるＣＮＮを10層以上重ね構成されるニューラルネットワークを参考にした。
この学習器は、入力が224×224の画像に対応しており、ストライドＳを１、フィルタを３×３としている。また、画像の周りを指定した幅だけ０で満たすパディング（padding）を行う。このことから、次の式（４）を満たすため、畳み込み層において画像の縮小は行われていないことがわかる。
また、プーリング層はパディングを０m、フィルタサイズksize、ストライドstrideを矢印の下に示す値として入力画像を縮小して出力信号としている。ここでも活性化関数としてＲｅＬＵ（Rectified Linear Unit）を用いる。学習モデル作成のため、画像データベースImageNetからベッド、机、椅子の画像を800枚ずつ、計2,400枚を使用し、224×224サイズの画像にリサイズしたＲＧＢ画像を用意した。この画像のうち1,800枚をトレーニングデータ、600枚をテストデータとして用いる。トレーニングデータはＣＮＮのパラメータを決定するための学習に用いられる。
テストデータは作成している学習モデルの判別率を逐次評価するために用いられる。学習の状態を表す指標となる損失率を求める損失関数を、Softmax関数とcross entropy誤差とを用いて表す。Softmax関数は、分類問題で頻繁に用いられ、ニューラルネットワークから最終的に得る出力をｙk、入力信号をａk、出力層の層数をｎとすると、次の式（５）のように与えられる。
この式（４）を用いることにより、出力の総和が１となり、Softmax関数から得た出力値を確率として扱うことが可能となる。また、cross entropy誤差は次の式（６）のように与えられる。ｔkは正解ラベルとなるインデックスが１、その他が０で表現される教師データである。
この損失率が小さくなるようにパラメータの学習を行う。学習モデルのパラメータをする働きを持つＣＮＮを用いて作成した学習器によれば、トレーニングデータを用いて学習させたときのトレーニングデータ及びテストデータの最終的な判別率は、それぞれ約90%、約94%となった。この判別率は、出力結果が全判別対象のラベルに対して正解である可能性をパーセントで表した値である。
このようにトレーニングデータの判別率とテストデータの判別率とが大きく離れていないことから、過学習を起こさずに学習できていることがわかる。
実際に屋内移動において判別すべき対象物体としてベッド、机、椅子を仮定し、学習モデルを用いて上述のような対象物体の判別手法を用いるようにした。図５に示すように、判別対象を判別領域内に全ての判別対象の全体像が映り込み、かつ、判別領域内と判別対象の中央が一致するように配置する。
本実験では予め用意した判別対象の画像から、各対象物体に対する判別を１５回行う。上述の判別手法による判別結果に基づいて、モビリティと対象物体との相対位置関係を算出し、目標とする距離内までモビリティが自律的に対象物体に接近できることを確認する。
実験結果として得られたベッド、机、椅子の判別率は、それぞれ図６～図８のように示される。この結果に基づいて、本発明による対象物体の判別方法が実用上十分であることが確認できた。
続いて対象物体への自律移動機能の性能評価試験を行う。利用者が対象物体に手が届く範囲を目標距離とすると、60歳以上の男女の上肢長の５%tile値はおよそ60.8ｃｍであり、５%tile値の利用者の手が対象物体に届くためには、モビリティの座面の先端が対象物体まで60ｃｍ以上近づく必要がある。
そして利用者が対象物体に近づいた後、モビリティに搭乗するために対象物体をつかむことを考慮し、モビリティの座面の先端と対象物体間の目標距離を50ｃｍ以下に設定する。図９に座面の先端と対象物体間の距離が50ｃｍの状態を示す。
実験環境は上述の判別手法の機能評価試験と同様であり、試行回数はベッド、机、椅子につきそれぞれ５回ずつ行う。モビリティの座面の先端と対象物体間の距離はメジャーを用いた計測にする。
図１０に移動後のモビリティ座面の先端と対象物体間の距離の平均と標準偏差を示す。この結果によれば、全ての試行において目標とする50ｃｍまでモビリティの座面の先端が対象物体まで接近可能であることを確認することができた。
このように本発明のモビリティ２においては、ステレオカメラ（撮像部）の撮像結果であるＲＧＢ画像データに基づいて対象物体を判別するとともに、当該ＲＧＢ画像データから算出した深度データに基づいて対象物体とモビリティ本体との相対位置関係を算出しながら、所定の目標距離内に接近した対象物体が障害物であるか否かを判断する。
この結果、モビリティ２は、状況に応じて近接する対象物体が障害物であるか否かを判別し、対象物体とモビリティ本体の相対位置に基づいて、安全な移動経路の生成と自律的な移動を行うことが可能となる。
（５）他の実施形態
なお上述の実施の形態においては、モビリティ２として、外部操作に応じて又は自律的に走行可能な二輪駆動型の四輪移動体を適用し、すなわち走行駆動部１５を、駆動後輪１３ａ,１３ｂと前車輪１４ａ,１４ｂとモータドライバ４２ａ,４２ｂと駆動モータ４３ａ,４３ｂとから構成するようにした場合について述べたが、本発明はこれに限らず、四輪駆動型の四輪移動体でもよく、利用者が安全に着座した状態で移動できれば、駆動方法や車輪の数など多種多様のものを適用しても良い。また車輪以外でもキャタピラやオムニホイール等の種々の走行機構を適用しても良い。
なお上述の実施の形態においては、モビリティ２として、外部操作に応じて又は自律的に走行可能な二輪駆動型の四輪移動体を適用し、すなわち走行駆動部１５を、駆動後輪１３ａ,１３ｂと前車輪１４ａ,１４ｂとモータドライバ４２ａ,４２ｂと駆動モータ４３ａ,４３ｂとから構成するようにした場合について述べたが、本発明はこれに限らず、四輪駆動型の四輪移動体でもよく、利用者が安全に着座した状態で移動できれば、駆動方法や車輪の数など多種多様のものを適用しても良い。また車輪以外でもキャタピラやオムニホイール等の種々の走行機構を適用しても良い。
また上述の実施の形態においては、モビリティ２本体側にて走行時の走行環境を検知する環境検知部として、レーザレンジセンサ３１、ＲＧＢ－Ｄセンサ３２及び３Ｄ距離画像センサ３３によるＳＬＡＭ技術を適用した場合について述べたが、本発明はこれに限らず、モビリティ２の走行環境を走行時に把握することができれば、撮像カメラ３４や集音マイク３５など種々の手法やその組合せを適用しても良い。
さらに上述の実施の形態においては、情報内容通知部として、表示部６２及び刺激付与部６３を適用する場合について述べたが、本発明はこれに限らず、利用者に対してフィードバック的に知覚させることができれば、スピーカ３６、表示部６２など種々の手法やその組合せを適用しても良い。
さらに上述の実施の形態においては、環境情報提供ユニット３から環境情報を取得する情報取得部として、ビジョン情報の場合は撮像カメラ３４、電磁気情報及び電波情報の場合は情報通信部５０、音情報の場合は集音マイク３５を適用すればよく、種々の環境情報をモビリティからの要求に応じて又は近接時に自動的に取得できれば、取得手段としては広く様々なものを適用することができる。
１……モビリティシステム、２……モビリティ、３……環境情報提示ユニット、４……データ端末装置、５……管理サーバ、６……通信回線、１０……着座部（支持部）、１１……背もたれ部、１２……腰掛け部、１３ａ，１３ｂ……駆動後輪、１４ａ，１４ｂ……前車輪、１５……走行駆動部、２０……操作部、２１……生体信号検出部、３０……統括制御部、３１……レーザレンジセンサ、３２……ＲＧＢ－Ｄセンサ、３３……３Ｄ距離画像センサ、３４……撮像カメラ、３５……集音マイク、３６……スピーカ、４０……目標走行経路記憶部、４１……走行制御部、４２ａ，４２ｂ……モータドライバ、４３ａ，４３ｂ……駆動モータ、５０……情報通信部、６０……姿勢検知部、６１……生理状態検出部、６２……表示部、６３……刺激付与部、６４……位置情報発信部。
Claims (11)
- 利用者から入力された操作内容を検出する操作部と、当該操作部による操作内容に応じた走行速度及び走行方向で走行駆動する走行駆動部とを有するモビリティにおいて、
前記操作部に触れる手指を基準とする前記利用者の生体信号を検出するための電極を有する生体信号検出部と、
前記生体信号検出部により取得された生体信号に基づいて、前記利用者の意思に従った動力を前記走行駆動部に発生させるための指令信号を生成する随意的制御部と、
前記モビリティ本体側にて走行時の走行環境を検知する環境検知部と、
外部環境から提示される少なくとも１以上の環境情報を取得する情報取得部と、
前記操作部による現在の操作内容と、前記随意的制御部による指令信号と、前記環境検知部により検知される走行環境と、前記情報取得部により取得される各環境情報とに基づいて、現在の前記モビリティの走行状態を、前記利用者の意思を反映させつつ安全性確保のための最適な走行状態に調整する走行調整部と、
前記走行調整部により調整された走行状態となるように、前記走行駆動部による走行駆動を制御する走行制御部と
を備えることを特徴とするモビリティ。 - 前記利用者の体重を支持する支持部に設けられ、当該利用者の体動変化及び重心変動を検知する姿勢検知部をさらに備え、
前記走行調整部は、前記操作部による現在の操作内容に、前記姿勢検知部により検出された体重変化及び重心変動を反映させて前記走行状態を調整する
ことを特徴とする請求項１に記載のモビリティ。 - 集音マイクを介して集音した前記利用者の音声に基づく発話内容を分析する音声分析部をさらに備え、
前記走行調整部は、操作部による現在の操作内容に、前記音声分析部による分析結果を反映させて前記走行状態を調整する
ことを特徴とする請求項１または２に記載のモビリティ。 - 前記利用者の生理状態を検出する生理状態検出部をさらに備え、
前記走行調整部は、前記生理状態検出部により検出された生理状態について、所定時間以上所定基準の範囲外である場合、前記操作部による現在の操作内容に関わらず、現在の前記モビリティの走行状態を安全性確保を最優先とする走行状態に調整する
ことを特徴とする請求項１から３のいずれか一項に記載のモビリティ。 - 前記環境検知部は、複数の異なる視点から対象物体を撮像する撮像部を有し、
前記走行調整部は、前記撮像部の撮像結果であるＲＧＢデータに基づいて前記対象物体を判別するとともに、当該ＲＧＢ画像データから算出した深度データに基づいて前記対象物体と前記モビリティ本体との相対位置関係を算出しながら、所定の目標距離内に接近した前記対象物体が障害物であるか否かを判断する
ことを特徴とする請求項１から４のいずれか一項に記載のモビリティ。 - 前記走行調整部による前記走行状態の調整内容及び調整事実のいずれか一方又は両方をリアルタイムで前記利用者に通知する情報内容通知部をさらに備える
ことを特徴とする請求項１から５のいずれか一項に記載のモビリティ。 - 前記情報内容通知部は、前記利用者に対して前記走行調整部による前記走行状態の調整内容に応じた物理的な刺激を付与する刺激付与部からなる
ことを特徴とする請求項６に記載のモビリティ。 - 請求項１から請求項７のいずれかに記載のモビリティと、当該モビリティに対して少なくとも１以上の環境情報を提示する環境情報提示ユニットとを有するモビリティシステムにおいて、
前記環境情報提示ユニットは、
環境情報ごとに設けられ、前記モビリティからの要求に応じて対応する環境情報を提示する情報提示部を備え、
前記モビリティの前記情報取得部は、前記各情報提示部から利用可能な環境情報のみを取得する
ことを特徴とするモビリティシステム。 - 前記モビリティは、前記走行調整部による前記走行状態の調整内容を、前記姿勢検知部により検出された体重変化及び重心変動と、前記認知能力検知部により検出された認知能力と、前記生理状態検出部により検出された生理状態とのうち少なくとも１以上とともに、外部に発信する情報通信部を備え、
前記モビリティと別体に設けられ、前記情報通信部から送信される各種情報を受信し、通信回線を介して管理サーバに送信するデータ端末装置を備える
ことを特徴とする請求項８に記載のモビリティシステム。 - 前記モビリティは、当該モビリティの位置情報を検出する位置情報検出部をさらに備え、
前記情報通信部は、前記位置情報発信部から得られる現在の位置情報を発信する
ことを特徴とする請求項９に記載のモビリティシステム。 - 前記データ端末装置は、外部入力された前記モビリティに対する操作指令を表す指令信号を送信し、
前記モビリティの前記操作調整部は、前記情報通信部を介して前記指令信号を受信すると、現在の操作内容にかかわらず、当該指令信号に基づく操作指令に応じた走行状態に優先的に移行させる
ことを特徴とする請求項９又は１０に記載のモビリティシステム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018538012A JP6814220B2 (ja) | 2016-09-06 | 2017-04-04 | モビリティ及びモビリティシステム |
| EP17848339.2A EP3510986B1 (en) | 2016-09-06 | 2017-04-04 | Mobility device and mobility system |
| US16/331,074 US11020294B2 (en) | 2016-09-06 | 2017-04-04 | Mobility and mobility system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016-173336 | 2016-09-06 | ||
| JP2016173336 | 2016-09-06 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018047392A1 true WO2018047392A1 (ja) | 2018-03-15 |
Family
ID=61562393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2017/014109 WO2018047392A1 (ja) | 2016-09-06 | 2017-04-04 | モビリティ及びモビリティシステム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11020294B2 (ja) |
| EP (1) | EP3510986B1 (ja) |
| JP (1) | JP6814220B2 (ja) |
| WO (1) | WO2018047392A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020042785A (ja) * | 2018-09-10 | 2020-03-19 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体 |
| WO2020137314A1 (ja) * | 2018-12-28 | 2020-07-02 | パナソニックＩｐマネジメント株式会社 | 位置測定装置 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10869187B1 (en) * | 2018-08-07 | 2020-12-15 | State Farm Mutual Automobile Insurance Company | System and method for generating consumer mobility profile |
| JP2020106275A (ja) * | 2018-12-26 | 2020-07-09 | Ｗｈｉｌｌ株式会社 | ステレオカメラおよび電動モビリティ |
| TWI726412B (zh) * | 2019-09-06 | 2021-05-01 | 國立成功大學 | 識別室內位置的建模系統、可攜式電子裝置、室內定位方法、電腦程式產品及電腦可讀取紀錄媒體 |
| US11794008B2 (en) | 2020-06-19 | 2023-10-24 | Toyota Motor North America, Inc. | Support devices including electrical stimulation systems and methods for using the same |
| US11730646B2 (en) * | 2020-09-25 | 2023-08-22 | Rajeev Ramanath | System and method to combine input from multiple sensors on an autonomous wheelchair |
| US20220099831A1 (en) * | 2020-09-25 | 2022-03-31 | Rajeev Ramanath | Sensor arrangement on an autonomous personal mobility vehicle |
| US12042443B2 (en) * | 2020-09-25 | 2024-07-23 | Rajeev Ramanath | System and method to control multiple inputs provided to a powered wheelchair |
| KR102592732B1 (ko) * | 2021-12-30 | 2023-10-25 | 인천대학교 산학협력단 | 장애물 충돌방지 기능이 결합된 휠체어 조이스틱 입력 기반 전동 휠체어 |
| CN115120429B (zh) * | 2022-06-17 | 2023-03-10 | 广东工业大学 | 一种基于表面肌电信号的智能轮椅人体跟随控制系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002197569A (ja) * | 2000-12-25 | 2002-07-12 | Matsushita Electric Works Ltd | 電動カート監視システム |
| JP2012011886A (ja) * | 2010-06-30 | 2012-01-19 | Toyota Central R&D Labs Inc | 動力車 |
| JP2014206906A (ja) * | 2013-04-15 | 2014-10-30 | 株式会社デンソー | 運転支援装置 |
| JP2016013214A (ja) * | 2014-07-01 | 2016-01-28 | 株式会社豊田自動織機 | 電動車両 |
| JP2016084092A (ja) * | 2014-10-28 | 2016-05-19 | 富士重工業株式会社 | 車両の走行制御装置 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3374845A (en) | 1966-05-05 | 1968-03-26 | Selwyn Donald | Command control system for vehicles |
| US6349231B1 (en) * | 1994-01-12 | 2002-02-19 | Brain Functions Laboratory, Inc. | Method and apparatus for will determination and bio-signal control |
| US6636763B1 (en) * | 1998-12-10 | 2003-10-21 | Andrew Junker | Brain-body actuated system |
| WO2001026599A1 (en) * | 1999-10-12 | 2001-04-19 | Invacare Corporation | Wheelchair having speed and direction control touchpad |
| JP2006043072A (ja) * | 2004-08-04 | 2006-02-16 | Yamaha Motor Co Ltd | 車両の制御装置およびそれを備えた車両 |
| JP2006280511A (ja) | 2005-03-31 | 2006-10-19 | National Institute Of Information & Communication Technology | 乗り物運転時における操縦者の異常検知方法及び装置 |
| JP2007143886A (ja) * | 2005-11-28 | 2007-06-14 | Hiroshima Univ | 電動車椅子システム |
| US8504146B2 (en) * | 2007-06-29 | 2013-08-06 | The Regents Of The University Of California | Multi-channel myoelectrical control using single muscle |
| WO2010050113A1 (ja) * | 2008-10-29 | 2010-05-06 | トヨタ自動車株式会社 | 移動体制御装置及び移動体制御方法 |
| JP5167077B2 (ja) | 2008-11-12 | 2013-03-21 | トヨタ自動車株式会社 | 移動体、及びその制御方法 |
| WO2012039280A1 (ja) | 2010-09-21 | 2012-03-29 | トヨタ自動車株式会社 | 移動体 |
| JP5161353B2 (ja) | 2010-10-19 | 2013-03-13 | パナソニック株式会社 | 電動車両及びその制御方法 |
| US9026250B2 (en) * | 2011-08-17 | 2015-05-05 | Harris Corporation | Haptic manipulation system for wheelchairs |
| KR101314570B1 (ko) * | 2011-10-12 | 2013-10-07 | 서울대학교산학협력단 | 정밀한 제어를 위한 뇌-기계 인터페이스 장치 및 방법 |
| JP6235216B2 (ja) | 2013-02-15 | 2017-11-22 | トヨタ自動車株式会社 | 自律移動体及びその制御方法 |
| US20150059086A1 (en) | 2013-08-29 | 2015-03-05 | Altorr Corporation | Multisensory control of electrical devices |
| US10265227B2 (en) * | 2014-03-21 | 2019-04-23 | Rensselaer Polytechnic Institute | Mobile human-friendly assistive robot |
| KR102420853B1 (ko) * | 2015-12-21 | 2022-07-15 | 삼성전자주식회사 | 복수의 생체 신호들 각각을 측정할 수 있는 바이오-프로세서와 이를 포함하는 웨어러블 장치 |
-
2017
- 2017-04-04 EP EP17848339.2A patent/EP3510986B1/en active Active
- 2017-04-04 WO PCT/JP2017/014109 patent/WO2018047392A1/ja unknown
- 2017-04-04 US US16/331,074 patent/US11020294B2/en active Active
- 2017-04-04 JP JP2018538012A patent/JP6814220B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002197569A (ja) * | 2000-12-25 | 2002-07-12 | Matsushita Electric Works Ltd | 電動カート監視システム |
| JP2012011886A (ja) * | 2010-06-30 | 2012-01-19 | Toyota Central R&D Labs Inc | 動力車 |
| JP2014206906A (ja) * | 2013-04-15 | 2014-10-30 | 株式会社デンソー | 運転支援装置 |
| JP2016013214A (ja) * | 2014-07-01 | 2016-01-28 | 株式会社豊田自動織機 | 電動車両 |
| JP2016084092A (ja) * | 2014-10-28 | 2016-05-19 | 富士重工業株式会社 | 車両の走行制御装置 |
Non-Patent Citations (1)
| Title |
|---|
| See also references of EP3510986A4 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020042785A (ja) * | 2018-09-10 | 2020-03-19 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体 |
| US11315349B2 (en) | 2018-09-10 | 2022-04-26 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Method, apparatus and device for identifying passenger state in unmanned vehicle, and storage medium |
| JP7256086B2 (ja) | 2018-09-10 | 2023-04-11 | アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド | 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体 |
| WO2020137314A1 (ja) * | 2018-12-28 | 2020-07-02 | パナソニックＩｐマネジメント株式会社 | 位置測定装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3510986A4 (en) | 2020-07-15 |
| EP3510986A1 (en) | 2019-07-17 |
| US20190192361A1 (en) | 2019-06-27 |
| EP3510986B1 (en) | 2024-06-05 |
| JPWO2018047392A1 (ja) | 2019-08-29 |
| JP6814220B2 (ja) | 2021-01-13 |
| US11020294B2 (en) | 2021-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018047392A1 (ja) | モビリティ及びモビリティシステム | |
| US10052246B2 (en) | Autonomous wheelchair | |
| CN107485543A (zh) | 移动助行车、具有移动助行车的监测和信息系统以及用于操作移动助行车的方法 | |
| JP2017529521A (ja) | 社会的且つ環境的認識を提供する装用可能イヤピース | |
| WO2019236627A1 (en) | Mobility assistance device | |
| CN102895092A (zh) | 一种基于多传感器融合的助行机器人三维环境识别系统 | |
| CN108478348A (zh) | 一种室内自主导航物联的智能轮椅车及控制方法 | |
| KR102125756B1 (ko) | 지능형 차량 편의 제어 장치 및 방법 | |
| Mihailidis et al. | An intelligent powered wheelchair to enable mobility of cognitively impaired older adults: An anticollision system | |
| Liu et al. | Electronic travel aids for the blind based on sensory substitution | |
| KR20110082225A (ko) | 시각장애인용 안내 시스템 및 그를 이용한 안내방법 | |
| Ni et al. | A walking assistant robotic system for the visually impaired based on computer vision and tactile perception | |
| Frizera et al. | The smart walkers as geriatric assistive device. the simbiosis purpose | |
| JP2024505933A (ja) | 視覚障害者の動作を支援するためのコンピュータ実装方法、ウェアラブルデバイス、非一過性のコンピュータ読み取り可能な記憶媒体、コンピュータプログラムおよびシステム | |
| Ruíz-Serrano et al. | Obstacle avoidance embedded system for a smart wheelchair with a multimodal navigation interface | |
| US10035541B2 (en) | Robotic personal assistant | |
| CN209500102U (zh) | 一种室内自主导航物联的智能轮椅车 | |
| Ahmed Sayemaldahar et al. | An integrated smart wheelchair model: Iw smart wheelchair with embedded smart home, navigation and obstacle avoidance systems | |
| Al Shamsi et al. | Blind assistant navigation system | |
| Mohanraj et al. | A framework for tracking system aiding disabilities | |
| JP2022174638A (ja) | ロボット | |
| Cherubini et al. | Development of a multimode navigation system for an assistive robotics project | |
| Rohmer et al. | Laser based driving assistance for smart robotic wheelchairs | |
| Ishizuka et al. | Motion control of a powered wheelchair using eye gaze in unknown environments | |
| Maheswari et al. | A Review on Smart Wheelchair Monitoring and Controlling System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17848339 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2018538012 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| ENP | Entry into the national phase |
Ref document number: 2017848339 Country of ref document: EP Effective date: 20190408 |