JP2024022506A - トレッドミル及びその速度制御方法 - Google Patents

トレッドミル及びその速度制御方法 Download PDF

Info

Publication number
JP2024022506A
JP2024022506A JP2023119175A JP2023119175A JP2024022506A JP 2024022506 A JP2024022506 A JP 2024022506A JP 2023119175 A JP2023119175 A JP 2023119175A JP 2023119175 A JP2023119175 A JP 2023119175A JP 2024022506 A JP2024022506 A JP 2024022506A
Authority
JP
Japan
Prior art keywords
runner
treadmill
sensed image
processor
running belt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023119175A
Other languages
English (en)
Inventor
林子皓
Tzu-Hao Lin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pegatron Corp
Original Assignee
Pegatron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pegatron Corp filed Critical Pegatron Corp
Publication of JP2024022506A publication Critical patent/JP2024022506A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/0054—Features for injury prevention on an apparatus, e.g. shock absorbers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/02—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills
    • A63B22/0235—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills driven by a motor
    • A63B22/0242—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills driven by a motor with speed variation
    • A63B22/025—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills driven by a motor with speed variation electrically, e.g. D.C. motors with variable speed control
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/02—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/02—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills
    • A63B22/0235—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills driven by a motor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A63B2024/0093—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load the load of the exercise apparatus being controlled by performance parameters, e.g. distance or speed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/0054—Features for injury prevention on an apparatus, e.g. shock absorbers
    • A63B2071/0072—Limiting the applied force, torque, movement or speed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0625—Emitting sound, noise or music
    • A63B2071/0627—Emitting sound, noise or music when used improperly, e.g. by giving a warning
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/10—Positions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/10—Positions
    • A63B2220/13—Relative positions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/20—Distances or displacements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A63B2220/833—Sensors arranged on the exercise apparatus or sports implement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • Vascular Medicine (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Electrotherapy Devices (AREA)

Abstract

【課題】トレッドミル及びその速度制御方法を提供する。【解決手段】トレッドミルは、トレッドミル本体と、イベントベースビジョンセンサと、プロセッサとを含む。トレッドミル本体はランニングベルトを含む。イベントベースビジョンセンサはトレッドミル本体に設けられ、感知画像を生成する。プロセッサはイベントベースビジョンセンサに結合され、感知画像を取得し、感知画像上でランナー検出を実行する。感知画像からランナーが検出されたと判定したことに応じて、プロセッサは感知画像を深度推定モデルに入力してランニングベルトに対するランナーの位置情報を取得し、ランナーの位置情報に基づいてランニングベルトのランニング速度を制御する。【選択図】図２

Description

本発明はスポーツ器具の一種に関するものであり、特に、トレッドミル及びその速度制御方法に関するものである。
現代人はエクササイズの重要性にますます注目しており、トレッドミルは非常に一般的で普及しているスポーツ器具である。使用者は、トレッドミルのランニングベルト上で早歩きしたり走ったりしてエクササイズを行うことができる。ただし、使用者のペースがトレッドミルに追いつけない場合、または異物（ペット、子供、水筒、他のスポーツ器具等）がトレッドミ付近に存在する場合、このような状況は使用者が転倒したり、子供やペットがトレッドミルの底部に引き込まれたり、無視できない危害が生じる可能性がある。
現在、既存のトレッドミルの事故防止策は安全キーを取り付けることである。安全キーの一端はトレッドミルに挿入され、安全キーの他端は使用者に取り付けられる。トレッドミル上の使用者が転倒すると安全キーが外れ、更なる危害を避けるためにトレッドミルの動作が停止する。しかし、安全キーを使用者に取り付ける必要があり、使用者の体の揺れや手の振りにより誤って安全キーが抜けてしまう可能性があるため、この策は使用者に歓迎されない。加えて、安全キーは異物が作動中のトレッドミル付近に存在するか検知することができない。
上記を鑑み、本発明は、トレッドミルの使用安全性を向上させるため、トレッドミル上のランナーの位置情報に応じてトレッドミルの速度を自動的に制御することのできるトレッドミル及びその速度制御方法を提供する。
本発明の１つの実施形態は、トレッドミル本体と、イベントベースビジョンセンサと、プロセッサとを含むトレッドミルを提供する。トレッドミル本体はランニングベルトを含む。イベントベースビジョンセンサはトレッドミル本体に設けられ、感知画像を生成する。プロセッサはイベントベースビジョンセンサに結合され、感知画像を取得し、感知画像上でランナー検出を実行する。感知画像からランナーが検出されたと判定したことに応じて、プロセッサは感知画像を深度推定モデルに入力し、ランニングベルトに対するランナーの位置情報を取得し、ランナーの位置情報に基づいてランニングベルトのランニング速度を制御する。
本発明の１つの実施形態はトレッドミルの速度制御方法を提供し、該方法は下記ステップを含む。トレッドミルに設けられたイベントベースビジョンセンサを通じて感知画像が生成される。感知画像上でランナー検出を実行する。感知画像からランナーが検出されたと判定したことに応じて、感知画像が深度推定モデルに入力され、ランニングベルトに対するランナーの位置情報が取得される。ランナーの位置情報に基づいてランニングベルトのランニング速度が制御される。
本発明の実施形態において、撮像動作を実行するためイベントベースビジョンセンサがトレッドミル本体に設けられ、感知画像が生成される。感知画像からランナーが識別されたとき、ランニングベルトに対するランナーの位置情報を推定するために感知画像と深度推定モデルが用いられ、ランナーの位置情報に基づいてランニングベルトのランニング速度を下げるか否かを判定する。これに基づき、使用者が事故に遭いそうなとき、トレッドミルは事前に対処動作を実行するか警告を発することができ、これによりトレッドミルの使用安全性を向上させる。
本発明の１つの実施形態によるトレッドミルの概略図である。 本発明の１つの実施形態によるトレッドミルの速度制御方法のフロー図である。 本発明の１つの実施形態によるランナー検出のフロー図である。 本発明の１つの実施形態によるランナー識別のフロー図である。 本発明の１つの実施形態によるランナー識別のフロー図である。 本発明の１つの実施形態によるトレッドミルの速度制御方法のフロー図である。 本発明の１つの実施形態による深度推定マップの生成の概略図である。 本発明の１つの実施形態による背景領域上でのモーション検出実行の概略図である。
本発明のいくつかの実施形態を図面と併せて以下に詳細に説明する。以下の説明で使用される符号は、異なる図面に同じ符号が出現する場合には、同一又は類似の要素と見なされる。これら実施形態は本発明の一部にすぎず、本発明の全ての可能な実装を開示するものではない。より正確には、実施形態は本発明の特許請求の範囲における方法及び装置の例にすぎない。
図１は、本発明の１つの実施形態によるトレッドミルの概略図である。図１を参照し、トレッドミル１００は、トレッドミル本体１１０と、イベントベースビジョンセンサ１２０と、プロセッサ１３０とを含む。イベントベースビジョンセンサ１２０とプロセッサ１３０はトレッドミル本体１１０に設けられ、プロセッサ１３０はイベントベースビジョンセンサ１２０に結合される。
トレッドミル本体１１０は、ベース１１１と、ランニングベルト１１２と、入力装置１１３と、コンソール１１４と、モニタ１１５とを含んでよい。ベース１１１はランニングベルト１１２と共に提供される。トレッドミル１００が動作中であるとき、ベース１１１上のランニングベルト１１２はモータにより駆動されることで動く。ランニングベルト１１２はランナーが乗るためのものであり、ランナーの足はランニングベルト１１２に沿って繰り返し踏み出される。モニタ１１５と入力装置１１３はコンソール１１４に設けられる。ランナーは、ランニングベルト１１２のランニング速度を制御するため、入力装置１１３を通じて設定速度を入力する。入力装置１１３は、例えば、キー又はボタンを含む制御パネルであるが、本発明において限定されない。
イベントベースビジョンセンサ１２０は、例えば、動的視覚センサ（ＤＶＳ）又は動的アクティブ画素視覚センサ（ＤＡＶＩＳ）である。イベントベースビジョンセンサ１２０の撮影方向は、ランナーのランニング方向とは逆であり、トレッドミル１００を使用しているランナーに向かって感知画像を撮像する。いくつかの実施形態において、イベントベースビジョンセンサ１２０はコンソール１１４に設けられてよい。イベントベースビジョンセンサ１２０は、撮影シーンにおける光強度の変化を感知して感知画像を生成するよう構成されてよい。換言すれば、イベントベースビジョンセンサ１２０により生成された感知画像における各画素は、光強度の変化を表す。イベントベースビジョンセンサ１２０は、低データ量、高速反応時間、低電力消費の特長を有し、使用者のプライバシーを保護することができる。
プロセッサ１３０は、トレッドミル１００の様々なコンポーネントの動作を制御するよう構成されてよく、例えば、中央処理装置（ＣＰＵ）、又は他のプログラム可能な汎用又は特定用途向けマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、プログラマブルコントローラ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、又は類似の要素、又は前記要素の組合せであってよい。
本実施形態において、イベントベースビジョンセンサ１２０は、トレッドミル１００のランニングベルト１１２が動いているときに複数の感知画像を継続して生成してよい。プロセッサ１３０は、事故発生を防止するため、感知画像に基づいてトレッドミル１００の動作モード又は動作環境における異常が発生したか否かを検出する。事故には、ランナーの落下や、異物がトレッドミル１００の底部内に引き込まれることなどを含む。このようにして、トレッドミル１００の使用上の事故が起こる前に、事故の発生を防止する又は事故による怪我を軽減させるため、プロセッサ１３０はランニング速度を下げるようランニングベルト１１２を制御してよい。
詳細には、図２は、本発明の１つの実施形態によるトレッドミルの速度制御方法のフロー図である。図１と図２を同時に参照し、本実施形態の方法は上述したトレッドミル１００に適合されている。本実施形態におけるトレッドミルの速度制御方法の詳細なステップを、トレッドミル１００の様々な要素と共に以下に説明する。
ステップＳ２１０にて、トレッドミル１００に設けられたイベントベースビジョンセンサ１２０を通じて感知画像が生成される。上述したように、イベントベースビジョンセンサ１２０は継続的に感知を行って、異なる感知時点に対応する複数の感知画像を生成してよい。ランナーがトレッドミル１００上で運動している場合、イベントベースビジョンセンサ１２０はランナーを含む感知画像を撮像することが分かる。加えて、本発明の実施形態は、感知画像の画像解像度を限定せず、実際の応用に応じて決定されてよい。また、いくつかの実施形態において、イベントベースビジョンセンサ１２０は動的視覚センサ（ＤＶＳ）であってよく、感知画像はＤＶＳ画像である。
ステップＳ２２０にて、プロセッサ１３０は感知画像上でランナー検出を行う。つまり、プロセッサ１３０は、感知画像上でランナー検出を行うことにより、ランナーがトレッドミル１００上で運動しているか否かを判定してよい。加えて、いくつかの実施形態において、プロセッサ１３０は更に、赤外線感知技術や重量感知技術といった他の感知技術に支援されて、ランナーがトレッドミル１００上で運動しているか否かを判定してよい。
詳細には、本発明の１つの実施形態によるランナー検出のフロー図である図３を参照されたい。図２に示すステップＳ２２０は、ステップＳ２２１～Ｓ２２４として実施されてよい。ステップＳ２２１にて、プロセッサ１３０は、感知画像上で人物検出を行って、感知画像上の人物バウンディングボックスを取得する。いくつかの実施形態において、プロセッサ１３０は、人物検出のため、感知画像を訓練済み深層学習モデルに入力してよい。深層学習モデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）モデルであり、これは人物検出のために感知画像から特徴をキャプチャすることができる。例えば、プロセッサ１３０は、感知画像上の人物検出のためＹＯＬＯアルゴリズムに基づいて深層学習モデルを適用してよいが、本発明はこれに限定されない。深層学習モデルが人物を検出した場合、深層学習モデルは人物の位置を標識付けするため矩形の人物バウンディングボックスを用い、プロセッサ１３０は深層学習モデルの出力に基づいて感知画像における人物バウンディングボックスを取得することができる。例えば、深層学習モデルは人物バウンディングボックスの頂点座標、ボックス長、及びボックス幅を出力してよい。
ステップＳ２２２にて、プロセッサ１３０は、人物バウンディングボックスが感知画像上の所定領域内に位置するか否かに基づいて、ランナーが検出されたか否かを判定する。上述した所定領域は、例えば、感知画像の中央領域である。ただし、所定領域のサイズ及び位置は、イベントベースビジョンセンサ１２０が設けられる位置に応じて設計されてよい。人物バウンディングボックスが感知画像上の所定領域内に位置するか否かを判定することにより、プロセッサ１３０は人物バウンディングボックスにより標識付けられた人物がトレッドミル１００上のランナーであるか否かを特定することができる。
人物バウンディングボックスが感知画像上の所定領域内に位置している場合（ステップＳ２２２における判定がＹＥＳ）、ステップＳ２２３にて、プロセッサ１３０はランナーが検出されたと判定する。逆に、人物バウンディングボックスが感知画像上の所定領域内に位置していない場合（ステップＳ２２２における判定がＮＯ）、ステップＳ２２４にて、プロセッサ１３０はランナーが検出されていないと判定する。
例えば、図４Ａと図４Ｂは、本発明の１つの実施形態によるランナー識別の概略図である。本実施形態において、所定領域は感知画像の中央領域であると仮定する。図４Ａを参照し、プロセッサ１３０は人物バウンディングボックスＢ１が感知画像Ｉｍｇ＿１上の中央領域Ｚ１内に位置していないと判定し、プロセッサ１３０はランナーが検出されていないと判定する。逆に、図４Ｂを参照し、プロセッサ１３０は人物バウンディングボックスＢ１が感知画像Ｉｍｇ＿１上の中央領域Ｚ１内に位置すると判定し、プロセッサ１３０はランナーが検出されたと判定する。
再び図２を参照し、ステップＳ２３０にて、感知画像からランナーが検出されたと判定したことに応じて、プロセッサ１３０は感知画像を深層学習モデルに入力して、ランニングベルト１１２に対するランナーの位置情報を取得する。具体的には、ランナーがトレッドミル１００上で運動しているか否かを判定する際に、プロセッサ１３０はランナーの深度情報を取得するために感知画像を深度推定モデルに入力し、これによりランニングベルト１１２上のランナーの位置情報を取得する。深度推定モデルは、単眼深度推定（Ｍｏｎｏｄｅｐｔｈ）アルゴリズムを応用した深層学習モデルであってよい。いくつかの実施形態において、深度推定モデルは、モデル訓練のため、ＤＶＳ画像を訓練データとして用いてよい。加えて、深度推定モデルにより生成されたランナーの深度情報は、ランナーとイベントベースビジョンセンサ１２０との間の深度情報である。いくつかの実施形態において、イベントベースビジョンセンサ１２０の設置位置に基づいて、プロセッサ１３０は深度推定モデルにより生成された深度情報に基づきランニングベルト１１２上のランナーの位置情報を取得してよい。例えば、イベントベースビジョンセンサ１２０とコンソール１１４のコンポーネントとの間の相対位置関係に基づき、ランナーの位置情報は、ランナーとコンソール１１４の該コンポーネントとの間の距離であってよい。
ステップＳ２４０にて、プロセッサ１３０は、ランナーの位置情報に基づいて、ランニングベルト１１２の速度を制御する。具体的には、プロセッサ１３０がランナーの位置情報に基づいて、ランナーがコンソール１１４から離れすぎている、又はランニングベルト１１２の末端領域に位置していることを発見したとき、ランナーがランニングベルト１１２のランニング速度についていくことができないことを意味する。よって、プロセッサ１３０はランニングベルト１１２のランニング速度を自動的に下げてよい。いくつかの実施形態において、プロセッサ１３０はランニングベルト１１２のランニング速度を漸減させてよい。加えて、いくつかの実施形態において、プロセッサ１３０は、ランナーの位置情報に基づいて警告を更に提供してよく、上述した警告は、例えば、光による警告や音声による警告等である。このようにして、プロセッサ１３０は、ランナーの運動状態をリアルタイムで監視し、ランナーがランニングベルト１１２のランニング速度についていくことができずに転倒することを防止するため、対応してランニングベルト１１２のランニング速度を制御するか警告を提供してよい。
言及すべき点として、いくつかの実施形態において、イベントベースビジョンセンサ１２０により生成された感知画像は、ランナーの運動に影響する異物による事故を防止するため、異物がトレッドミル１００に接近しすぎているか否かを検出するよう更に構成されてよい。
詳細には、図５は、本発明の１つの実施形態によるトレッドミルの速度制御方法のフロー図である。図１～図５を同時に参照し、本実施形態の方法は、上述したトレッドミル１００に適用される。本実施形態におけるトレッドミルの速度制御方法の詳細なステップを、トレッドミル１００の様々な要素と併せて以下に詳細に説明する。
ステップＳ５１０にて、プロセッサ１３０は、トレッドミル１００のイベントベースビジョンセンサ１２０を通じて感知画像を生成する。ステップＳ５２０にて、プロセッサ１３０は感知画像上でランナー検出を実行する。上述したステップＳ５１０～Ｓ５２０の詳細な実施方法は、図２の実施形態のステップＳ２１０～Ｓ２２０に明確に説明されており、ここでは繰り返し述べない。
ステップＳ５３０にて、感知画像からランナーが検出されたことに応じて、プロセッサ１３０は感知画像を深度推定モデルに入力し、ランニングベルト１１２に対するランナーの位置情報を取得する。ここで、ステップＳ５３０はＳ５３１～Ｓ５３２として実施されてよい。
ステップＳ５３１にて、感知画像からランナーが検出されたことに応じて、プロセッサ１３０は感知画像を深度推定モデルに入力し、深度推定モデルにより出力された深度マップを取得する。図６は、本発明の１つの実施形態による深度マップ生成の概略図を示す。プロセッサ１３０は感知画像Ｉｍｇ＿１を深度推定モデルＭ１に入力して、深度推定モデルＭ１により出力された深度マップＤ１を取得してよい。深度マップＤ１は、感知画像Ｉｍｇ＿１における各画素に対応する深度値、即ち、それぞれ感知画像Ｉｍｇ＿１における複数画素に対応する深度マップＤ１における複数の深度値を含んでよい。いくつかの実施形態において、深度マップＤ１における深度値は、０～２５５の範囲であってよい。
感知画像がＤＶＳ画像として実施されるとき、深度推定モデルは、訓練データセットとしての複数のＤＶＳ画像及び対応するグラウンドトゥルースに基づいてモデル訓練を完了してよいことに注意されたい。上述したグラウンドトゥルースは、ＲＧＢ画像に基づいて深度推定を行うことにより取得された深度マップであってよい。このようにして、プロセッサ１３０が深度推定モデルを適用するとき、プロセッサ１３０はイベントベースビジョンセンサ１２０により生成されたＤＶＳ画像を深度推定モデルに入力して、対応する深度マップを取得してよい。
ステップＳ５３２にて、プロセッサ１３０は、深度マップに基づいて、ランナーと基準位置との間の第１の距離を判定する。詳細には、いくつかの実施形態において、プロセッサ１３０は、人物バウンディングボックスに基づいて、ランナーに対応する深度情報を深度マップから取得してよい。例えば、プロセッサ１３０は、人物バウンディングボックスの中央位置に基づいて、ランナーに対応する深度値を深度マップから抽出してよい。或いは、プロセッサ１３０は、人物バウンディングボックスの座標位置に基づいて深度マップから複数の深度値を選出し、該深度値に対して統計計算を行って、ランナーに対応する深度値を取得してよい。
次いで、プロセッサ１３０は、ランナーの深度情報に基づいて、ランナーと基準位置との間の第１の距離を算出してよい。具体的には、いくつかの実施形態において、ランナーの位置情報はランナーと基準位置との間の第１の距離であってよく、上述した基準位置は、例えば、イベントベースビジョンセンサ１２０の設置位置又はコンソール１１４の他のコンポーネントの設置位置である。例えば、トレッドミル１００のコンソール１１４にモニタ１１５が提供されると仮定する。深度マップからランナーの深度情報を取得した後、モニタ１１５とイベントベースビジョンセンサ１２０との間の相対位置関係に基づいて、プロセッサ１３０はランナーの深度情報に基づきランナーとモニタ１１５との間の第１の距離を算出してよい。このため、プロセッサ１３０は、第１の距離に基づいて、ランナーがランニングベルト１１２のランニング速度についていけない状況を即座に判定することができる。
ステップＳ５４０にて、プロセッサ１３０は、ランナーの位置情報に基づいて、ランニングベルトのランニング速度を制御する。ここで、ステップＳ５４０は、ステップＳ５４１～Ｓ５４３として実施されてよい。
ステップＳ５４１にて、プロセッサ１３０は、第１の距離が第１の閾値よりも大きいか否かを判定する。第１の閾値は実際の応用に応じて設定されてよく、本発明において限定されない。第１の距離が第１の閾値よりも大きい場合（ステップＳ５４１の判定がＹＥＳ）、ランナーがランニングベルト１１２のランニング速度についていけないことを意味する。ステップＳ５４２にて、プロセッサ１３０はランニングベルト１１２のランニング速度を低下させるよう制御する。逆に、第１の距離が第１の閾値よりも大きくない場合（ステップＳ５４１の判定がＮＯ）、ステップＳ５４３において、プロセッサ１３０はランニングベルト１１２のランニング速度を維持する、つまり、プロセッサ１３０はランニングベルト１１２のランニング速度を調整しない。
一方で、ステップＳ５５０にて、感知画像からランナーが検出されたと判定したことに応じて、プロセッサ１３０は感知画像の背景領域における移動物体を検出するため、背景領域上でモーション検出を行う。いくつかの実施形態において、プロセッサ１３０は、感知画像における人物バウンディングボックスの外側の領域を背景領域として用いてよい。或いは、背景領域は、感知画像において予め定義されてもよい。
いくつかの実施形態において、プロセッサ１３０は、移動物体が背景領域に出現するか否かを判定するため、現在の感知画像の背景領域を以前の感知画像の背景領域と比較してよい。例えば、プロセッサ１３０は、画像減算又はオプティカルフローにより移動物体を検出してよいが、本発明はこれに限定されない。例えば、図７は、本発明の１つの実施形態による背景領域上でのモーション検出の実行の概略図である。図７を参照し、イベントベースビジョンセンサ１２０により実行される継続感知に基づいて、プロセッサ１３０は、以前の感知画像Ｉｍｇ＿２と現在の感知画像Ｉｍｇ＿３とを取得してよい。以前の感知画像Ｉｍｇ＿２の背景領域ＺＢ２を現在の感知画像Ｉｍｇ＿３の背景領域ＺＢ３と比較することにより、プロセッサ１３０は移動物体Ｏｂｊ＿ｍを検出してよい。現在の感知画像Ｉｍｇ＿３の背景領域ＺＢ３は、人物バウンディングボックスＢ１の外側の領域であってよい。
ステップＳ５６０にて、移動物体の検出に応じて、プロセッサ１３０は、感知画像を深度推定モデルに入力して、移動物体の位置情報を取得する。ここで、ステップＳ５６０は、ステップＳ５６１～Ｓ５６２として実施されてよい。
ステップＳ５６１にて、移動物体の検出に応じて、プロセッサ１３０は、感知画像を深度推定モデルに入力して、深度推定モデルにより出力された深度マップを取得する。ステップＳ５６２にて、プロセッサ１３０は、深度マップに基づいて、移動物体と基準位置との間の第２の距離を判定する。モーション検出の後、プロセッサ１３０は、移動物体を標識付けするよう構成されたバウンディングボックスを取得してもよく、移動物体の位置情報を取得する動作方法は、ランナーの位置情報を取得する動作方法に類似する。つまり、ステップＳ５６１～Ｓ５６２の詳細な実施は、ステップＳ５３１～Ｓ５３２の詳細な実施方法に類似しており、ここでは繰り返し述べない。
ステップＳ５７０にて、プロセッサ１３０は、移動物体の位置情報に基づいて、ランニングベルトのランニング速度を制御する。ここで、ステップＳ５７０は、ステップＳ５７１～Ｓ５７３として実施されてよい。ステップＳ５７１にて、プロセッサ１３０は、第２の距離が第２の閾値未満であるか否かを判定する。第２の距離が第２の閾値未満である場合（ステップＳ５７１における判定がＹＥＳ）、移動物体がトレッドミル１００に非常に近いことを意味する。ステップＳ５７２にて、プロセッサ１３０は、ランニングベルト１１２のランニング速度を低下させる。いくつかの実施形態において、第２の距離が第２の閾値未満である場合、プロセッサ１３０はランナーに音声及び光による警告を提供してもよい。逆に、第２の距離が第２の閾値未満ではない場合（ステップＳ５７１における判定がＮＯ）、ステップＳ５７３にて、プロセッサ１３０はランニングベルト１１２のランニング速度を維持する。このようにして、ランナーは、異物がランニングベルト１１２によりベース１１１の底部内に引き込まれることを防止するため、又は、ランナーが異物に煩わされることを防止するため、動作中のトレッドミル１００に接近していることを事前に通知されることができる。
本発明の実施形態において、感知を実行するため、イベントベースビジョンセンサがトレッドミルに設けられる。ランナーがトレッドミル上で運動しているとき、イベントベースビジョンセンサにより生成された感知画像及び深度推定モデルに基づいて、ランナーの位置情報が推定され、ランナーの位置情報に基づいてトレッドミルの速度が制御される。このようにして、ランナーがトレッドミル上で転倒することを事前に防止することができる。加えて、ランナーがトレッドミル上で運動しているとき、イベントベースビジョンセンサにより生成された感知画像に基づいて、移動物体を検出することができる。感知画像及び深度推定モデルに基づいて移動物体の位置情報を推定することにより、移動物体の位置情報に基づいてトレッドミルの速度を制御することができる。このようにして、ランナーが異物に煩わされることを事前に防止することができる、又は、異物がトレッドミルの底部に引き込まれることを事前に防止することができる。上記を考慮し、トレッドミルの安全性を大幅に向上させることができる。
１００：トレッドミル
１１０：トレッドミル本体
１１１：ベース
１１２：ランニングベルト
１１３：入力装置
１１４：コンソール
１１５：モニタ
１２０：イベントベースビジョンセンサ
１３０：プロセッサ
Ｂ１：人物バウンディングボックス
Ｚ１：中央領域
Ｉｍｇ＿１、Ｉｍｇ＿２、Ｉｍｇ＿３：感知画像
Ｄ１：深度マップ
Ｍ１：深度推定モデル
ＺＢ２、ＺＢ３：背景領域
Ｏｂｊ＿ｍ：移動物体
Ｓ２１０～Ｓ２４０、Ｓ２２１～Ｓ２２４、Ｓ５１０～Ｓ５７０：ステップ

Claims (10)

  1. ランニングベルトを含むトレッドミル本体と、
    前記トレッドミル本体に設けられて感知画像を生成するイベントベースビジョンセンサと、
    前記イベントベースビジョンセンサに結合されて、前記感知画像上でランナー検出を実行するプロセッサと
    を含み、
    前記感知画像からランナーが検出されたことに応じて、前記プロセッサは前記感知画像を深度推定モデルに入力して前記ランニングベルトに対する前記ランナーの位置情報を取得し、前記ランナーの前記位置情報に基づいて前記ランニングベルトのランニング速度を制御する、
    トレッドミル。
  2. 前記プロセッサは、前記感知画像上で人物検出を実行して前記感知画像上の人物バウンディングボックスを取得し、前記人物バウンディングボックスが前記感知画像上の所定領域内に位置するか否かに基づいて、前記ランナーが検出されたか否かを判定する、
    請求項１に記載のトレッドミル。
  3. 前記人物バウンディングボックスが前記感知画像上の前記所定領域に位置していない場合、前記プロセッサは前記ランナーが検出されなかったと判定し、
    前記人物バウンディングボックスが前記感知画像上の前記所定領域に位置している場合、前記プロセッサは前記ランナーが検出されたと判定する、
    請求項２に記載のトレッドミル。
  4. 前記感知画像から前記ランナーが検出されたことに応じて、前記プロセッサは前記感知画像を前記深度推定モデルに入力して前記深度推定モデルにより出力された深度マップを取得し、前記深度マップに基づいて前記ランナーと基準位置との間の第１の距離を判定する、
    請求項１に記載のトレッドミル。
  5. 前記第１の距離が第１の閾値よりも大きい場合、前記プロセッサは前記ランニングベルトの前記ランニング速度を低下させるよう制御し、
    前記第１の距離が前記第１の閾値よりも大きくない場合、前記プロセッサは前記ランニングベルトの前記ランニング速度を維持する、
    請求項４に記載のトレッドミル。
  6. 前記感知画像から前記ランナーが検出されたと判定したことに応じて、前記プロセッサは、前記感知画像の背景領域における移動物体を検出するため、前記背景領域上でモーション検出を実行する、
    請求項１に記載のトレッドミル。
  7. 前記移動物体の検出に応じて、前記プロセッサは、前記移動物体の位置情報に基づいて前記ランニングベルトの前記ランニング速度を制御するため、前記感知画像を前記深度推定モデルに入力して前記移動物体の前記位置情報を取得する、
    請求項６に記載のトレッドミル。
  8. 前記移動物体の検出に応じて、前記プロセッサは、前記感知画像を前記深度推定モデルに入力して前記深度推定モデルにより出力された深度マップを取得し、前記深度マップに基づいて、前記移動物体と基準位置との間の第２の距離を判定する、
    請求項７に記載のトレッドミル。
  9. 前記第２の距離が第２の閾値未満である場合、前記プロセッサは前記ランニングベルトの前記ランニング速度を低下させるよう制御し、
    前記第２の距離が前記第２の閾値未満ではない場合、前記プロセッサは前記ランニングベルトの前記ランニング速度を維持する、
    請求項８に記載のトレッドミル。
  10. トレッドミルの速度制御方法であって、
    前記トレッドミルに設けられたイベントベースビジョンセンサを通じて感知画像を生成することと、
    前記感知画像上でランナー検出を実行することと、
    前記感知画像からランナーが検出されたと判定したことに応じて、前記感知画像を深度推定モデルに入力して前記トレッドミルのランニングベルトに対するランナーの位置情報を取得することと、
    前記ランナーの前記位置情報に基づいて前記ランニングベルトのランニング速度を制御することと
    を含む、
    トレッドミルの速度制御方法。
JP2023119175A 2022-08-04 2023-07-21 トレッドミル及びその速度制御方法 Pending JP2024022506A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW111129282A TWI815590B (zh) 2022-08-04 2022-08-04 跑步機與其速度控制方法
TW111129282 2022-08-04

Publications (1)

Publication Number Publication Date
JP2024022506A true JP2024022506A (ja) 2024-02-16

Family

ID=86732013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023119175A Pending JP2024022506A (ja) 2022-08-04 2023-07-21 トレッドミル及びその速度制御方法

Country Status (6)

Country Link
US (1) US20240042269A1 (ja)
EP (1) EP4316610A1 (ja)
JP (1) JP2024022506A (ja)
KR (1) KR20240019680A (ja)
CN (1) CN117504224A (ja)
TW (1) TWI815590B (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10953281B2 (en) * 2018-02-05 2021-03-23 Pixart Imaging Inc. Treadmill, control method and detection module for the same
EP3849675B1 (en) * 2018-09-13 2024-05-29 Tecnobody S.p.A. Integrated method and system for the dynamic control of the speed of a treadmill
CN111437575B (zh) * 2019-01-16 2021-08-31 北京邦天信息技术有限公司 一种智能跑步机的控制方法和装置
US20230031291A1 (en) * 2019-12-26 2023-02-02 The University Of Tokyo Smart treadmill
JP7349600B2 (ja) * 2020-03-30 2023-09-25 パナソニックＩｐマネジメント株式会社 運動支援ユニット

Also Published As

Publication number Publication date
EP4316610A1 (en) 2024-02-07
TW202406598A (zh) 2024-02-16
US20240042269A1 (en) 2024-02-08
TWI815590B (zh) 2023-09-11
KR20240019680A (ko) 2024-02-14
CN117504224A (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
US7957566B2 (en) Eyelid detection apparatus, eyelid detection method and program therefor
JP4743137B2 (ja) 眠気判定装置及びプログラム
US10331140B2 (en) Moving body
JP5358414B2 (ja) 漫然状態判定装置、方法及びプログラム
JP2008512153A5 (ja)
US10899356B2 (en) Drowsiness prevention device, drowsiness prevention method, and recording medium
TWI673043B (zh) 認知功能評估裝置、認知功能評估系統、認知功能評估方法及程式
KR20060094491A (ko) 광학 포인팅 장치 및 광학 네비게이션 센서에 의한 실행방법
JP2008204107A (ja) 不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラム
JP2003057007A (ja) 距離画像を用いた人体検知方法
JP2019087170A (ja) 瞼開閉判定装置および眠気検知装置
JP4883415B2 (ja) 監視装置及びプログラム
TWI647666B (zh) 瞌睡偵測裝置及其瞌睡偵測方法
JP2024022506A (ja) トレッドミル及びその速度制御方法
JP5139470B2 (ja) 眠気度推定装置および眠気度推定方法
JP4717445B2 (ja) 画像処理システム、画像処理装置、ゲーム装置、プログラム、情報記憶媒体および画像処理方法
JP4201644B2 (ja) 端末装置及び端末装置の制御プログラム
TWI585716B (zh) 跌倒偵測裝置及其方法
JP7360315B2 (ja) 携帯端末、生体情報取得方法、及び生体情報取得プログラム
KR101159941B1 (ko) 엘리베이터 감시 시스템 및 그 운영 방법
JP2007251690A5 (ja)
JP2015112215A (ja) オフィス空間モニタリングシステム
KR102231244B1 (ko) 버스정보안내장치 및 버스정보안내방법
US20230177861A1 (en) Apparatus, method, and computer program for detecting hand region
US20230356035A1 (en) Treadmill and exercise accident detection method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230721