TWI822096B - 用於控制電動助行裝置的控制系統以及控制方法 - Google Patents

用於控制電動助行裝置的控制系統以及控制方法 Download PDF

Info

Publication number
TWI822096B
TWI822096B TW111121316A TW111121316A TWI822096B TW I822096 B TWI822096 B TW I822096B TW 111121316 A TW111121316 A TW 111121316A TW 111121316 A TW111121316 A TW 111121316A TW I822096 B TWI822096 B TW I822096B
Authority
TW
Taiwan
Prior art keywords
user
electric walking
navigation information
controller
electric
Prior art date
Application number
TW111121316A
Other languages
English (en)
Other versions
TW202349154A (zh
Inventor
李昂謙
Original Assignee
和碩聯合科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 和碩聯合科技股份有限公司 filed Critical 和碩聯合科技股份有限公司
Priority to TW111121316A priority Critical patent/TWI822096B/zh
Priority to KR1020230027025A priority patent/KR20230169834A/ko
Priority to US18/306,802 priority patent/US20230404823A1/en
Priority to EP23174041.6A priority patent/EP4290178A3/en
Priority to JP2023086237A priority patent/JP2023180221A/ja
Application granted granted Critical
Publication of TWI822096B publication Critical patent/TWI822096B/zh
Publication of TW202349154A publication Critical patent/TW202349154A/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10—Parts, details or accessories
    • A61G5/1051—Arrangements for steering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/04—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10—Parts, details or accessories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10—Parts, details or accessories
    • A61G5/1005—Wheelchairs having brakes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/04—Wheeled walking aids for patients or disabled persons
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/12—Remote controls
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/20—Displays or monitors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/22—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering for automatically guiding movable devices, e.g. stretchers or wheelchairs in a hospital
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/30—General characteristics of devices characterised by sensor means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/30—General characteristics of devices characterised by sensor means
    • A61G2203/40—General characteristics of devices characterised by sensor means for distance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/70—General characteristics of devices with special adaptations, e.g. for safety or comfort
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/04—Wheeled walking aids for patients or disabled persons
    • A61H2003/043—Wheeled walking aids for patients or disabled persons with a drive mechanism
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/04—Wheeled walking aids for patients or disabled persons
    • A61H2003/046—Wheeled walking aids for patients or disabled persons with braking means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled
    • A61H2201/501—Control means thereof computer controlled connected to external computer devices or networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00—Measuring physical parameters of the user
    • A61H2230/85—Contour of the body
    • A61H2230/855—Contour of the body used as a control parameter for the apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Pain & Pain Management (AREA)
  • Rehabilitation Therapy (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Control And Safety Of Cranes (AREA)
  • Rehabilitation Tools (AREA)
  • Traffic Control Systems (AREA)

Abstract

本發明提供一種用於控制電動助行裝置的控制系統以及控制方法。控制系統包括全景攝影機、導航資訊裝置以及控制器。全景攝影機擷取電動助行裝置周圍的全景影像。導航資訊裝置產生導航資訊。控制器依據全景影像來偵測使用者，並依據導航資訊來控制電動助行裝置接近使用者。

Description

用於控制電動助行裝置的控制系統以及控制方法
本發明是有關於一種控制系統以及方法，且特別是有關於一種用於控制電動助行裝置的控制系統以及控制方法。
電動助行裝置，如電動助行器、電動助行椅、電動移位機、電動輪椅等，能夠協助行動不便的使用者進行移動。然而，若要使用現行的電動助行裝置，使用者必須自行靠近電動助行裝置，或由旁人協助以將電動助行裝置靠近使用者。由此可知，現行的電動助行裝置的使用便利性相當有限。因此，如何控制電動助行裝置主動接近使用者以提升電動助行裝置的使用便利性，是本領域技術人員的研究重點之一。
本發明提供一種用於控制電動助行裝置的控制系統以及控制方法，能夠控制電動助行裝置主動接近使用者。
本發明的控制系統用於控制電動助行裝置。控制系統包括全景攝影機、導航資訊裝置以及控制器。全景攝影機被設置於電動助行裝置。全景攝影機擷取電動助行裝置周圍的全景影像。導航資訊裝置被設置於電動助行裝置。導航資訊裝置產生導航資訊。控制器耦接於全景攝影機以及導航資訊裝置。控制器依據全景影像來偵測使用者，並依據導航資訊來控制電動助行裝置接近使用者。
本發明的控制方法用於控制電動助行裝置。控制方法包括：藉由全景攝影機擷取電動助行裝置周圍的全景影像；藉由導航資訊裝置產生導航資訊；以及依據全景影像來偵測使用者，並依據導航資訊來控制電動助行裝置接近使用者。
基於上述，本發明的控制系統以及控制方法利用全景攝影機擷取電動助行裝置周圍的全景影像，利用導航資訊裝置產生導航資訊。本發明的控制系統以及控制方法依據全景影像來偵測使用者，並依據導航資訊來控制電動助行裝置接近使用者。如此一來，電動助行裝置的使用便利性能夠被提升。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
請參考圖1，圖1是依據本發明一實施例所繪示的控制系統的示意圖。控制系統100用於控制電動助行裝置10。在本實施例中，電動助行裝置10例如是電動助行器、電動助行椅、電動移位機、電動輪椅等移動輔助裝置。在本實施例中，控制系統100包括全景攝影機110、導航資訊裝置120以及控制器130。全景攝影機110被設置於電動助行裝置10。全景攝影機110擷取電動助行裝置10周圍的全景影像PIMG。全景影像PIMG是電動助行裝置10周圍的360ﾟ環景影像。舉例來說，全景攝影機110可以是由多個具有不同影像擷取角度的影像擷取電路來實現。在本實施例中，導航資訊裝置120被設置於電動助行裝置10。導航資訊裝置120產生導航資訊NM。
在本實施例中，控制器130耦接於全景攝影機110以及導航資訊裝置120。控制器130接收全景影像PIMG以及導航資訊NM。控制器130依據全景影像PIMG來偵測出使用者，並依據導航資訊NM來控制電動助行裝置10接近使用者。在本實施例中，控制器130依據導航資訊NM來提供控制訊號SC以控制電動助行裝置10，使得電動助行裝置10能夠接近使用者。在本實施例中，控制器130例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合，其可載入並執行電腦程式。
在此值得一提的是，控制器130依據全景影像PIMG來偵測出在全景影像PIMG中的使用者，從而獲知使用者在全景影像PIMG中的位置。控制器130還依據導航資訊NM來對電動助行裝置10進行導航，從而控制電動助行裝置10接近使用者。如此一來，電動助行裝置10的使用便利性能夠被提升。
在本實施例中，控制器130控制電動助行裝置10在場域中移動，從而使導航資訊裝置120產生場域的導航資訊NM。場域可以是室內環境及/或室外環境。在本實施例中，控制器130能夠建構出即時地圖SM。舉例來說，控制器130可依據導航資訊NM進行同時定位與地圖構建（Simultaneous localization and mapping，SLAM）運算，從而提供用於場域的即時地圖SM。即時地圖SM對應於場域的環境。舉例來說，即時地圖SM紀錄了場域中的障礙物以及電動助行裝置10在場域中可移動的空間資訊。控制器130可基於即時地圖SM與導航資訊NM產生控制訊號SC，並獲知電動助行裝置10在場域的環境中的移動情況（如，當前位置、速度等），並利用控制訊號SC控制電動助行裝置10的移動。進一步地，控制器130進行視覺SLAM（Visual SLAM）運算，從而提供用於場域的即時地圖SM。控制器130能夠利用導航資訊NM來獲知電動助行裝置10在即時地圖SM中的移動狀況或在場域中的當前位置。移動狀況包括移動方向以及移動速度。因此，在控制器130獲知電動助行裝置10在即時地圖SM中的移動狀況或在場域中的當前位置的情況下，控制器130能夠利用即時地圖SM以及導航資訊NM來提供控制訊號SC，從而對電動助行裝置10進行導航。在本實施例中，控制器130還依據全景影像PIMG來進行使用者的人形偵測以及關節點偵測的至少其中之一。舉例來說，控制器130透過人形偵測識別出使用者，並獲知使用者在全景影像PIMG中的位置。控制器130透過關節點偵測來獲知使用者的姿勢，如站姿、坐姿、蹲姿、睡姿或舉手姿勢。舉例來說，控制器130透過關節點偵測來獲得使用者的多個關節點座標，利用多個關節點座標判斷出使用者的骨架分佈，並使用者的骨架分佈來獲知使用者的姿勢。
請同時參考圖1以及圖2，圖2是依據本發明一實施例所繪示的控制方法流程圖。在本實施例中，圖2的控制方法可適用於控制電動助行裝置10。在步驟S110中，全景攝影機110擷取電動助行裝置10周圍的全景影像PIMG。在步驟S120中，導航資訊裝置120產生導航資訊NM。在步驟S130中，控制器130依據全景影像PIMG來偵測出使用者，並依據導航資訊NM來控制電動助行裝置10接近使用者。步驟S110~S130的實施細節已在圖1的實施例中充份說明或教示，故不在此重述。
請參考圖1以及圖3，圖3是依據本發明另一實施例所繪示的控制系統的示意圖。在本實施例中，控制系統200可用以實現或替代控制系統100。控制系統200包括全景攝影機210、導航資訊裝置220以及控制器230。全景攝影機210擷取電動助行裝置10周圍的全景影像PIMG。導航資訊裝置220包括慣性測量單元（Inertial measurement unit，IMU）221以及深度攝影機222。在本實施例中，導航資訊NM包括加速度資訊IF1以及點雲（point cloud）資訊IF2。慣性測量單元221獲得電動助行裝置10在場域中移動時的加速度資訊IF1。加速度資訊IF1關聯於電動助行裝置10在場域中移動時的移動軌跡。深度攝影機222產生場域的點雲資訊IF2。
在此進一步來說明，請參考同時參考圖3以及圖4，圖4是依據本發明一實施例所繪示的點雲資訊以及原影像的對照示意圖。圖4示出了單一點雲資訊IF2以及單一原影像FIMG。電動助行裝置10在場域中移動的過程中，深度攝影機222會接收原影像FIMG，並依據原影像FIMG產生點雲資訊IF2。在本實施例中，點雲資訊IF2包括對應於場域的原影像FIMG的點雲圖。較佳地，點雲圖包括多個特徵點的多個深度資訊。
在本實施例中，控制器230包括即時地圖產生模組231以及運算模型232。即時地圖產生模組231接收加速度資訊IF1以及點雲資訊IF2，並依據加速度資訊IF1以及點雲資訊IF2來建立即時地圖SM。在本實施例中，即時地圖SM可以是在電動助行裝置10第一次進入此場域時被建立。舉例來說，當電動助行裝置10剛到場域中時，控制器230可控制電動助行裝置10在場域中移動，導航資訊裝置220對場域的環境進行掃描以產生加速度資訊IF1以及點雲資訊IF2，從而使即時地圖產生模組231建立出即時地圖SM。控制器230依據全景影像PIMG來偵測出使用者，並依據即時地圖SM來控制電動助行裝置10接近使用者。運算模型232依據全景影像PIMG來進行人形偵測以及關節點偵測。因此，控制器230能夠獲知使用者在全景影像PIMG中的位置以及使用者的姿勢。在本實施例中，運算模型232可例如包括YOLO（You only look once）運算模型以及OpenPose人體姿態辨識模型等模型，但本發明並不以此為限。此外，在獲知使用者在全景影像PIMG中的位置後，控制器230依據即時地圖SM來控制電動助行裝置10接近使用者。基於即時地圖SM，控制器230能夠在接近使用者的過程中避開可能的障礙物。
請同時參考圖3以及圖5，圖5是依據本發明另一實施例所繪示的控制方法流程圖。在本實施例中，圖5的控制方法可適用於控制電動助行裝置（如，圖1所示的電動助行裝置10）。在步驟S201中，被載入的即時地圖會被讀取。在本實施例中，當一即時地圖被載入後，控制器230讀取被載入的即時地圖。在步驟S202中，控制器230依據被載入的地圖判斷對應於場域中的即時地圖SM是否已經存在。也就是說，控制器230判斷被載入的地圖是否包含對應於場域中的即時地圖SM。在本實施例中，當控制器230在步驟S202中判斷即時地圖SM並不存在時，這表示當前場域中的即時地圖SM還沒有被建立。因此，在步驟S203中，控制器230建立對應於場域的即時地圖SM。在本實施例中，控制器230可控制電動助行裝置在場域中移動，導航資訊裝置220在步驟S203中對場域的環境進行掃描以產生加速度資訊IF1以及點雲資訊IF2，從而使控制器230建立對應於場域中的即時地圖SM。接下來，新產生的對應於場域中的即時地圖SM會在步驟S201中被控制器230讀取。
當控制器230在步驟S202中判斷對應於場域中的即時地圖SM存在時，這表示場域中的即時地圖SM已經被建立。因此，在步驟S204中，全景攝影機210擷取電動助行裝置周圍的全景影像PIMG。在步驟S205中，控制器230偵測出使用者在全景影像PIMG中的位置。接著，控制器230會在步驟S206中利用對應於場域中的即時地圖SM對電動助行裝置進行導航，從而使電動助行裝置靠近使用者。
在步驟S207中，深度攝影機222於控制器230對電動助行裝置進行導航的過程中持續產生點雲資訊IF2。在步驟S208中，控制器230透過點雲資訊IF2來獲得電動助行裝置與使用者之間的距離DIS。在步驟S209中，控制器230比較預設距離與電動助行裝置與使用者之間的距離DIS。當電動助行裝置與使用者之間的距離DIS大於或等於預設距離時，控制方法會回到步驟S204的操作。也就是說，一旦對應於場域中的即時地圖SM存在後，控制方法會執行步驟S204~S209的步驟迴圈，直到距離DIS小於預設距離。在本實施例中，預設距離例如可以被設定為1公尺或數十公分，本發明並不以此為限。
在步驟S209中，當電動助行裝置與使用者之間的距離DIS小於預設距離時，控制器230在步驟S210尋找使用者的背後的位置。在本實施例中，控制器230在步驟S210中依據全景影像PIMG來尋找使用者的背後的位置。進一步來說，控制器230在步驟S210中依據全景影像PIMG來進行人形偵測以及關節點偵測的至少其中之一的偵測結果來尋找出使用者的背後的位置。舉例來說，在步驟S210中，控制器230可例如使用OpenPose人體姿態辨識模型來對全景影像PIMG進行關節點偵測以獲得關節點偵測資訊，使用YOLO運算模型來對全景影像PIMG進行人形偵測以獲得人形偵測資訊。控制器230使用EfficientNet工具分類出的使用者的背面資訊。進一步，控制器230將使用者的背面資訊與人形偵測資訊以及關節點偵測資訊進行資訊融合來尋找出使用者的背後的方向或位置。
另舉例來說，控制器230依據全景影像PIMG的人形偵測以及關節點偵測的至少其中之一的偵測結果來判斷出使用者的面對方向或背對方向。當控制器230依據人形偵測以及關節點偵測的至少其中之一的偵測結果判斷出使用者正面向電動助行裝置時，控制器230會控制電動助行裝置繞過使用者以到達使用者的背後。當控制器230尋找出使用者的背後的位置時，進入步驟S211。
在步驟S211中，控制器230會控制電動助行裝置朝向使用者的背後移動，並在步驟S212中偵測使用者的姿勢GES。在本實施例中，一旦確認出使用者的背後的位置，控制器230會在步驟S211中控制電動助行裝置朝向使用者的背後緩緩移動，並在步驟S212中依據全景影像PIMG來偵測使用者的姿勢GES。
接下來，在步驟S213中，控制器230判斷使用者是否坐上電動助行裝置。在本實施例中，該控制器依據該人形偵測以及該關節點偵測的至少其中之一的偵測結果來判斷使用者是否坐上電動助行裝置。當判斷出使用者未坐上電動助行裝置時，控制器230在步驟S211中控制電動助行裝置朝向使用者的背後移動。在另一方面，當判斷出使用者已坐上電動助行裝置時，控制器230則在步驟S214中控制電動助行裝置停止移動。
在本實施例中，在步驟S214之後，控制器230可結束導航，並將電動助行裝置的控制權交給使用者。
在一些實施例中，控制系統200可以透過全景影像PIMG來識別出使用者的動作或手勢，以啟動如圖5的控制方法。舉例來說，控制器230依據全景影像PIMG的人形偵測以及關節點偵測的至少其中之一的偵測結果判斷出使用者的手勢符合預設手勢（本發明並不以此為限）。因此，控制器230依據預設手勢來開始如圖5的控制方法。
綜上所述，本發明的控制系統以及控制方法利用全景攝影機擷取電動助行裝置周圍的全景影像，利用導航資訊裝置產生導航資訊。本發明的控制系統以及控制方法依據全景影像來偵測使用者，並依據導航資訊來控制電動助行裝置接近使用者。如此一來，電動助行裝置能夠被控制以接近使用者。電動助行裝置的使用便利性能夠被提升。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:電動助行裝置
100、200:控制系統
110、210:全景攝影機
120、220:導航資訊裝置
130、230:控制器
221:慣性測量單元
222:深度攝影機
231:即時地圖產生模組
232:運算模型
DIS:電動助行裝置與使用者之間的距離
GES:使用者的姿勢
IF1:加速度資訊
IF2:點雲資訊
NM:導航資訊
PIMG:全景影像
S110、S120、S130:步驟
S201~S214:步驟
SC:控制訊號
SM:即時地圖
圖1是依據本發明一實施例所繪示的控制系統的示意圖。 圖2是依據本發明一實施例所繪示的控制方法流程圖。 圖3是依據本發明另一實施例所繪示的控制系統的示意圖。 圖4是依據本發明一實施例所繪示的點雲資訊以及原影像的對照示意圖。 圖5是依據本發明另一實施例所繪示的控制方法流程圖。
10:電動助行裝置
100:控制系統
110:全景攝影機
120:導航資訊裝置
130:控制器
NM:導航資訊
PIMG:全景影像
SC:控制訊號
SM:即時地圖

Claims (15)

  1. 一種用於控制一電動助行裝置的控制系統，包括：一全景攝影機，設置於該電動助行裝置，經配置以擷取該電動助行裝置周圍的一全景影像；一導航資訊裝置，設置於該電動助行裝置，經配置以產生一導航資訊；以及一控制器，耦接於該全景攝影機以及該導航資訊裝置，經配置以依據該全景影像來偵測一使用者，並依據該導航資訊來控制該電動助行裝置接近該使用者。
  2. 如請求項1所述的控制系統，其中該控制器控制該電動助行裝置在一場域中移動以使該導航資訊裝置產生該場域的該導航資訊。
  3. 如請求項1所述的控制系統，其中該控制器依據該全景影像來進行該使用者的一人形偵測以及一關節點偵測的至少其中之一。
  4. 如請求項3所述的控制系統，其中該控制器透過該人形偵測來獲知該使用者在該全景影像中的位置以及該控制器透過該關節點偵測來獲知該使用者的姿勢。
  5. 如請求項3所述的控制系統，其中該導航資訊包括一加速度資訊以及一點雲資訊，其中該導航資訊裝置包括：一慣性測量單元，經配置以獲得該電動助行裝置在一場域中移動時的該加速度資訊；以及 一深度攝影機，經配置以產生該場域的該點雲資訊。
  6. 如請求項5所述的控制系統，其中該控制器依據該點雲資訊以及該加速度資訊來產生一即時地圖，其中該即時地圖對應於該場域的環境。
  7. 如請求項5所述的控制系統，其中：該控制器透過該點雲資訊獲得該電動助行裝置與該使用者之間的一距離，並且當該距離小於一預設距離時，該控制器依據該人形偵測以及該關節點偵測的至少其中之一的偵測結果來尋找該使用者的背後的位置，控制該電動助行裝置朝向該使用者的背後移動。
  8. 如請求項3所述的控制系統，其中：該控制器依據該人形偵測以及該關節點偵測的至少其中之一的偵測結果來判斷該使用者是否坐上該電動助行裝置，當判斷出該使用者已坐上該電動助行裝置時，該控制器控制該電動助行裝置停止移動，以及當判斷出該使用者未坐上該電動助行裝置時，該控制器控制該電動助行裝置朝向該使用者的背後移動。
  9. 一種用於控制一電動助行裝置的控制方法，包括：藉由一全景攝影機擷取該電動助行裝置周圍的一全景影像；藉由一導航資訊裝置產生一導航資訊；以及依據該全景影像來偵測一使用者，並依據該導航資訊來控制該電動助行裝置接近該使用者。
  10. 如請求項9所述的控制方法，其中藉由該導航資訊裝置產生該導航資訊的步驟包括：控制該電動助行裝置在一場域中移動以使該導航資訊裝置產生該場域的該導航資訊。
  11. 如請求項9所述的控制方法，其中依據該全景影像來偵測該使用者的步驟包括：依據該全景影像來進行該使用者的一人形偵測以及一關節點偵測的至少其中之一。
  12. 如請求項11所述的控制方法，依據該全景影像來進行該人形偵測以及該關節點偵測的至少其中之一的步驟包括：透過該人形偵測來獲知該使用者在該全景影像中的位置；以及透過該關節點偵測來獲知該使用者的姿勢。
  13. 如請求項11所述的控制方法，其中該導航資訊包括一加速度資訊以及一點雲資訊，其中藉由該導航資訊裝置產生該導航資訊的步驟包括：獲得該電動助行裝置在一場域中移動時的該加速度資訊；以及產生該場域的該點雲資訊。
  14. 如請求項13所述的控制方法，還包括：依據該點雲資訊以及該加速度資訊來產生一即時地圖，其中該即時地圖對應於該場域的環境。
  15. 如請求項12所述的控制方法，還包括：依據該人形偵測以及該關節點偵測的至少其中之一的偵測結果來判斷該使用者是否坐上該電動助行裝置；當判斷出該使用者已坐上該電動助行裝置時，控制該電動助行裝置停止移動；以及當判斷出該使用者未坐上該電動助行裝置時，控制該電動助行裝置朝向該使用者的背後移動。
TW111121316A 2022-06-08 2022-06-08 用於控制電動助行裝置的控制系統以及控制方法 TWI822096B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
TW111121316A TWI822096B (zh) 2022-06-08 2022-06-08 用於控制電動助行裝置的控制系統以及控制方法
KR1020230027025A KR20230169834A (ko) 2022-06-08 2023-02-28 전동 보행 장치를 제어하기 위한 제어 시스템 및 제어 방법
US18/306,802 US20230404823A1 (en) 2022-06-08 2023-04-25 Control system and control method for controlling electric walking aid device
EP23174041.6A EP4290178A3 (en) 2022-06-08 2023-05-17 Control system and control method for controlling electric walking aid device
JP2023086237A JP2023180221A (ja) 2022-06-08 2023-05-25 電動歩行補助装置を制御するための制御システムおよび制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111121316A TWI822096B (zh) 2022-06-08 2022-06-08 用於控制電動助行裝置的控制系統以及控制方法

Publications (2)

Publication Number Publication Date
TWI822096B true TWI822096B (zh) 2023-11-11
TW202349154A TW202349154A (zh) 2023-12-16

Family

ID=86426024

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111121316A TWI822096B (zh) 2022-06-08 2022-06-08 用於控制電動助行裝置的控制系統以及控制方法

Country Status (5)

Country Link
US (1) US20230404823A1 (zh)
EP (1) EP4290178A3 (zh)
JP (1) JP2023180221A (zh)
KR (1) KR20230169834A (zh)
TW (1) TWI822096B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110130940A1 (en) * 2008-05-23 2011-06-02 Foundacion Fatronik Wheelchair and method for correcting the guidance of a wheelchair
TW201224396A (en) * 2010-12-15 2012-06-16 Tomtom Int Bv Methods and systems for obtaining location information
US20130317735A1 (en) * 2012-05-25 2013-11-28 Nokia Corporation Method and apparatus for associating panoramic images with routing information
WO2014068975A1 (ja) * 2012-11-05 2014-05-08 パナソニック株式会社 自律走行装置の走行情報生成装置、方法、及びプログラム、並びに自律走行装置
US20170011210A1 (en) * 2014-02-21 2017-01-12 Samsung Electronics Co., Ltd. Electronic device
TWM556590U (zh) * 2017-12-05 2018-03-11 Lin ze yu 無線全功能輪椅型代步導航自走載具系統
TW201842889A (zh) * 2017-05-05 2018-12-16 國立虎尾科技大學 具有辨色循跡移動之輪椅裝置
US20200117184A1 (en) * 2017-06-29 2020-04-16 Munevo Gmbh Specialist control for a wheelchair
WO2020119912A1 (de) * 2018-12-13 2020-06-18 Leica Geosystems Ag Vermessungsverfahren, messsysteme und messhilfsinstrumente
US20200278683A1 (en) * 2017-08-10 2020-09-03 Patroness, LLC Systems and Methods For Crowd Navigation In Support of Collision Avoidance For a Motorized Mobile System
US20200337919A1 (en) * 2018-04-09 2020-10-29 Toyota Motor North America, Inc. Wheelchair apparatuses including usage features

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190365592A1 (en) * 2018-06-04 2019-12-05 John Mark Norton Mobility assistance device
CN108897328B (zh) * 2018-08-27 2024-05-10 桂林电子科技大学 轮椅机器人及其室内自主导航方法
US11967161B2 (en) * 2020-06-26 2024-04-23 Amazon Technologies, Inc. Systems and methods of obstacle detection for automated delivery apparatus
JP7487057B2 (ja) * 2020-09-14 2024-05-20 株式会社東芝 作業推定装置、方法およびプログラム
CN112869968B (zh) * 2021-01-14 2023-01-17 安徽金百合医疗器械有限公司 一种基于电动轮椅自主运行方法及其装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110130940A1 (en) * 2008-05-23 2011-06-02 Foundacion Fatronik Wheelchair and method for correcting the guidance of a wheelchair
TW201224396A (en) * 2010-12-15 2012-06-16 Tomtom Int Bv Methods and systems for obtaining location information
US20130317735A1 (en) * 2012-05-25 2013-11-28 Nokia Corporation Method and apparatus for associating panoramic images with routing information
WO2014068975A1 (ja) * 2012-11-05 2014-05-08 パナソニック株式会社 自律走行装置の走行情報生成装置、方法、及びプログラム、並びに自律走行装置
US20170011210A1 (en) * 2014-02-21 2017-01-12 Samsung Electronics Co., Ltd. Electronic device
TW201842889A (zh) * 2017-05-05 2018-12-16 國立虎尾科技大學 具有辨色循跡移動之輪椅裝置
US20200117184A1 (en) * 2017-06-29 2020-04-16 Munevo Gmbh Specialist control for a wheelchair
US20200278683A1 (en) * 2017-08-10 2020-09-03 Patroness, LLC Systems and Methods For Crowd Navigation In Support of Collision Avoidance For a Motorized Mobile System
TWM556590U (zh) * 2017-12-05 2018-03-11 Lin ze yu 無線全功能輪椅型代步導航自走載具系統
US20200337919A1 (en) * 2018-04-09 2020-10-29 Toyota Motor North America, Inc. Wheelchair apparatuses including usage features
WO2020119912A1 (de) * 2018-12-13 2020-06-18 Leica Geosystems Ag Vermessungsverfahren, messsysteme und messhilfsinstrumente

Also Published As

Publication number Publication date
EP4290178A2 (en) 2023-12-13
US20230404823A1 (en) 2023-12-21
JP2023180221A (ja) 2023-12-20
EP4290178A3 (en) 2024-03-06
KR20230169834A (ko) 2023-12-18
TW202349154A (zh) 2023-12-16

Similar Documents

Publication Publication Date Title
Rao et al. Human robot interaction: application to smart wheelchairs
Park et al. Robotic smart house to assist people with movement disabilities
Argyros et al. Semi-autonomous navigation of a robotic wheelchair
Kobayashi et al. Robotic wheelchair based on observations of people using integrated sensors
US20220382282A1 (en) Mobility aid robot navigating method and mobility aid robot using the same
Mirza et al. An indoor navigation approach to aid the physically disabled people
Grewal et al. Autonomous wheelchair navigation in unmapped indoor environments
TWI822096B (zh) 用於控制電動助行裝置的控制系統以及控制方法
Mahmud et al. A vision based voice controlled indoor assistant robot for visually impaired people
Diao et al. Design and realization of a novel obstacle avoidance algorithm for intelligent wheelchair bed using ultrasonic sensors
TWI555524B (zh) 機器人的行動輔助系統
Park et al. A nursing robot system for the elderly and the disabled
CN109948672A (zh) 一种轮椅控制方法及系统
Hildebrand et al. Semi-autonomous tongue control of an assistive robotic arm for individuals with quadriplegia
Maskeliunas et al. Multimodal wheelchair control for the paralyzed people
Mrabet et al. Development of a new intelligent joystick for people with reduced mobility
Shibata et al. Human-robot interface with instruction of neck movement using laser pointer
Papageorgiou et al. Intelligent assistive robotic systems for the elderly: two real-life use cases
WO2023273492A1 (zh) 人体姿态判断方法及使用该方法的移动机器
WO2023273389A1 (zh) 人体躺姿检测方法及使用该方法的移动机器
Wahyufitriyani et al. Review of intelligent wheelchair technology control development in the last 12 years
Mohan Design and Simulation of an Autonomous Indoor Robot for Elderly Assistance
Megalingam et al. Unconventional indoor navigation: gesture based wheelchair control
Palla et al. Embedded implementation of an eye-in-hand visual servoing control for a wheelchair mounted robotic arm
Falck et al. Human-centered manipulation and navigation with Robot DE NIRO