JP7155266B2 - テレメトリデータおよびウェアラブルセンサデータを用いたレーシングデータ分析のためのシステムおよび方法 - Google Patents

テレメトリデータおよびウェアラブルセンサデータを用いたレーシングデータ分析のためのシステムおよび方法 Download PDF

Info

Publication number
JP7155266B2
JP7155266B2 JP2020532858A JP2020532858A JP7155266B2 JP 7155266 B2 JP7155266 B2 JP 7155266B2 JP 2020532858 A JP2020532858 A JP 2020532858A JP 2020532858 A JP2020532858 A JP 2020532858A JP 7155266 B2 JP7155266 B2 JP 7155266B2
Authority
JP
Japan
Prior art keywords
data
vehicle
muscle
telemetry
sensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020532858A
Other languages
English (en)
Other versions
JP2020531929A (ja
Inventor
ヤスユキ カタオカ
Original Assignee
エヌティーティー リサーチ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エヌティーティー リサーチ インコーポレイテッド filed Critical エヌティーティー リサーチ インコーポレイテッド
Publication of JP2020531929A publication Critical patent/JP2020531929A/ja
Application granted granted Critical
Publication of JP7155266B2 publication Critical patent/JP7155266B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1107Measuring contraction of parts of the body, e.g. organ, muscle
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63KRACING; RIDING SPORTS; EQUIPMENT OR ACCESSORIES THEREFOR
    • A63K99/00Subject matter not provided for in other groups of this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/02Registering or indicating driving, working, idle, or waiting time only
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816Indicating performance data, e.g. occurrence of a malfunction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/16Control of vehicles or other craft
    • G09B19/167Control of land vehicles
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808Diagnosing performance data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q2209/00Arrangements in telecontrol or telemetry systems
    • H04Q2209/40Arrangements in telecontrol or telemetry systems using a wireless architecture
    • H04Q2209/43Arrangements in telecontrol or telemetry systems using a wireless architecture using wireless personal area networks [WPAN], e.g. 802.15, 802.15.1, 802.15.4, Bluetooth or ZigBee
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q2209/00Arrangements in telecontrol or telemetry systems
    • H04Q2209/80Arrangements in the sub-station, i.e. sensing device
    • H04Q2209/82Arrangements in the sub-station, i.e. sensing device where the sensing device takes the initiative of sending data
    • H04Q2209/826Arrangements in the sub-station, i.e. sensing device where the sensing device takes the initiative of sending data where the data is sent periodically
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Educational Technology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Developmental Disabilities (AREA)

Description

(優先権の主張/関連出願)
本出願は、2017年8月23日に出願された、「SYSTEM AND METHOD FOR RACING DATA ANALYSIS USING TELEMETRY DATA AND WEARABLE」と題する米国仮特許出願第62/549,415号に対し、米国特許法第120条の下での優先権、および米国特許法第190(e)条の下での利益を主張し、2018年8月22日に出願された、「SYSTEM AND METHOD FOR RACING DATA ANALYSIS USING TELEMETRY DATA AND WEARABLE SENSOR DATA」と題する米国特許出願第16/109,548号に対し、米国特許法第120条の下での優先権を主張する。これらはその全体が参照により本明細書に援用される。
本開示は、一般的には、ビークル(vehicle:自動車等の乗り物)インサイト(insight:洞察)に関し、特に、レーシングカー(racing car:レース用自動車)のための疲労軽減インサイトに関する。
カーレース(car racing)は、運転者の身体に大きな打撃を与える。例えば、IndyCarは、チャンピオンシップオートレースのためのアメリカに本拠を置くオートレース統括団体である。FormulaOne等の他のレース形式と異なり、IndyCarは、パワーステアリングの使用を禁じる規則を有する。これは、運転者が、ハンドルを回すときに自身の前腕(forearm)を用いて力を加えることを必要とし、これは、レース中、前腕筋が疲労すると、運転者のパフォーマンスを劇的に劣化させる。このため、レース中に運転者の筋肉使用を節減することは、運転者にとって有利なインサイトである。このため、運転者筋肉疲労の問題を解決し、これにより運転パフォーマンスを改善できることが望ましい。
オートレース(auto-racing)の研究において、従来から、運転者のパフォーマンスまたは安全性を改善するために、様々な手法が取られている。1つの手法は、運転者の記録に基づく軌道経路最適化である。Kegelman, J. C., Harbott, L. K., & Gerdes, J. C. (2016). Insights into vehicle trajectories at the handling limits: Analyzing open data from race car drivers. Vehicle System Dynamics。軌道分析からの研究結果が、自動運転車の経路計画に用いられる。Theodosis, P. A., & Gerdes, C. J. (2012). Nonlinear Optimization of a Racing Line for an Autonomous Racecar Using Professional Driving Techniques. ASME 2012 5th Annual Dynamic Systems and Control Conference joint with the JSME 2012 11th Motion and Vibration Conference。別の手法は、レース内のタイヤ交換のためのリアルタイム決定システムである。Tulabandhula Theja and Rudin Cynthia (2014). Tire Changes, Fresh Air, and Yellow Flags: Challenges in Predictive Analytics for Professional Racing. Big Data。更に、運転者の安全性のための研究が存在する。1つの手法は、運転者上の温度センサを用いた周囲熱防止(around heat prevention)である。[4] Lee, J. H., Matsumura, K., Yamakoshi, K., Rolfe, P., Tanaka, N., Yamakoshi, Y., ... Yamakoshi, T. (2013). Development of a novel Tympanic temperature monitoring system for GT car racing athletes. In World Congress on Medical Physics and Biomedical Engineering。
しかしながら、異種データの検討によりレース中の前腕使用を分析することに焦点を当てた公開された論文またはシステムは存在しない。このため、以下で開示するようにこの問題に対する技術的解決策を提供することが望ましい。
前腕筋の疲労のためのインサイトを提供するために用いることができる乗り物(vehicle:ビークル、自動車等)データ分析システム(data analytics system)の実施の例を示す図である。 乗り物データ分析システムの更なる詳細を示す図である。 乗り物データ分析システムのレース分析エンジンの更なる詳細を示す図である。 レース分析エンジンのモデルトレーニングエンジンの実施の例を示す図である。 レース分析エンジンの品質評価エンジンの実施の例を示す図である。 例示的な試験データに対するデータ検証(validation)プロセスの例を示す図である。 例示的な試験データに対するデータ検証プロセスの例を示す図である。 レース分析エンジンのインサイト分析エンジンによって行うことができるインサイト分析プロセスの例を示す図である。 ノイズを有するウェアラブルセンサデータを示す図である。 ウェブベースの視覚化ツールの例によって生成されるユーザインタフェースの例を示す図である。 ウェブベースの視覚化ツールの例によって生成するユーザインタフェースの例を示す図である。 ウェブベースの視覚化ツールの例によって生成するユーザインタフェースの例を示す図である。 ウェブベースの視覚化ツールの例によって生成するユーザインタフェースの例を示す図である。 クラスタリング(clustering)分析のためのデータ視覚化の例を示す図である。 類似性(similarity:類似度)分析のためのデータ視覚化の例を示す図である。 EMGデータ品質評価プロセスの例を示す図である。
本開示は、パワーステアリングを許可しないレース乗り物のための前腕疲労インサイトに特に適用可能であり、本開示はこの文脈において説明される。しかしながら、システムおよび方法は、運転者のパフォーマンスを改善するための他の要因についてのインサイトを決定するのに用いてもよく、他のタイプの乗り物について用いられてもよく、開示される実施形態において以下に開示される方式以外の方式で実施されてもよいため、より大きな有用性を有することが理解されよう。
システムおよび方法は、1つまたは複数のウェアラブル(wearable:身に付けられる)センサと、乗り物からのテレメトリ(telemetry:遠隔計測)データと、1つまたは複数のウェアラブルセンサからのデータおよび乗り物からのテレメトリデータを用いて運転者のパフォーマンスを改善するためのアクショナブルインサイト(actionable insight:実行可能な洞察)を生成するレーシングデータ(racing data)解析システムとを用いて、運転者のパフォーマンスおよび運転者の疲労を評価する上記の問題を解決することができる。1つの実施形態においてシステムおよび方法は、パワーステアリングを用いないレースカーにおいて前腕筋疲労を軽減する方法に関するアクショナブルインサイトを生成することができる。ここで、アクショナブルインサイトは、例えば、運転者が前腕筋をリラックスさせ、疲労を軽減することができるレースサーキット上のロケーション(location:場所)とすることができる。
筋肉の使用および疲労に焦点を当てて運転者の性能を改善するための例示的な実施形態では、システムおよび方法は、1)レースカーにおいて存在し得る極端な条件におけるウェアラブルセンサから得られるノイズを有する信号に対するデータ検証、および2)異種レーシングデータから運転者のためのアクショナブルインサイトを得るためのデータカルティベーション(data cultivation:データ育成)、を含む2つの主要な技術的課題に取り組む。
ウェアラブルデバイスの一般的な課題のうちの1つは、データ品質および検証である。ウェアラブルデバイスから到来する信号の品質は、身体に適切に取り付けられているか否かに非常に敏感である。このため、システムおよび方法は、データが信頼できるか否かの判定を可能にするデータ品質検証技法を用いることができる。この方法論(methodology)は、実際の筋電図(EMG:Electromyogram)データと、以下で説明されるような機械学習技法によって計算される予測EMGデータとの間の比較に基づく。実際のEMGが予測EMGから大幅に(significantly)逸脱している場合、実際のEMGは有効でないとみなされる。予測の性能を保証するために、予測モデルにおける特徴は、自動車(car)のテレメトリ情報のみを、すなわちEMG情報自体を除外して、特徴として用いる。なぜなら、EMG信号自体は、予測に用いるには過度にノイズを有する場合がある一方で、自動車のテレメトリ情報は安定した信号を提供することができるためである。1つの実施形態では、試験データは、この質的分析ベースのデータ検証方法が、99.5%の精度でデータ信頼性を分類するように機能することを示す。
アクショナブルインサイトを得るためのデータカルティベーションのために、システムおよび方法は、レースチームが、異種データをカルティベートし、直感的な方式で有用なインサイトを発見することを可能にする、データ視覚化およびインタラクションエンジンを提供する。このエンジンの背後にある計算方法は、1つの実施態様において、EMGおよび自動車テレメトリデータのマルチモード分析とすることができる。分析は、以下の技法、すなわち、1.地理的形式でデータポイントをクラスタ化し、2.EMGと自動車のテレメトリデータとの間の類似性を求めることを用いた、教師なし学習とすることができる。この分析に基づいて、例えば図15に示すように、運転者がレース中に不要な力を加えているロケーション、換言すれば運転者が休み、回復することができ得るロケーションが特定される。
図1は、前腕筋の疲労についてのインサイトを与えるために用いることができる乗り物データ分析システム10の実施の例を示す。システムは、通常、乗り物に関するデータ、および運転者に関するデータを受信し、部分的に機械学習を用いて、運転性能インサイトを生成することができる。本明細書に説明される1つの例示的な実施態様において、システムおよび方法は、乗り物テレメトリデータ、乗り物の運転者の1つまたは複数の前腕の筋肉からのデータを受信/取得し、運転者が、パワーステアリングを有しない乗り物を運転している間に前腕の筋肉疲労を軽減することができる方法に関するインサイトを生成することができる。システム10は、例えばIndycarレーシングカー等の乗り物12を含むことができ、この乗り物から、例えば、加速度計データ(緯度、経度、垂直方向)、ステアリング角(steering angle)、速さ(speed:スピード)(mph)、スロットル圧、ブレーキ圧、エンジンrpm、角加速度等のような様々な自動車テレメトリデータを取得し、レース分析システム18に通信することができる。システム10は、前腕筋疲労についての実施では、各前腕上に例えば筋電図(EMG)センサ等の1つまたは複数のウェアラブルセンサ16を有する運転者衣類14も有することができ、1つまたは複数のウェアラブルセンサからのデータをレース分析システム18に通信することができる。レース分析システム18は、テレメトリデータおよびセンサデータを受信し、レースカーに存在し得るような極端な条件においてウェアラブルセンサから取得されるノイズを有する信号に対しデータ検証を行い、データカルティベーションを行って異種レーシングデータから運転者のためのアクショナブルインサイトを得ることができる。以下で論考される前腕筋疲労の例では、システムは、例えば運転者が前腕をリラックスさせ、これにより前腕筋の疲労を軽減することが可能であり得るレースサーキット上のロケーションを生成することができる。
図2は、乗り物データ分析システム18の更なる詳細を示す。乗り物データ分析システム18は、ハードウェアまたはソフトウェアにおいて実施することができる。乗り物データ分析システム18がハードウェアで実施されるとき、レース分析エンジン206の各要素(図3において更に詳細に示される)は、以下に説明されるような分析およびデータ検証を行うのに専用のハードウェアデバイスとすることができる。代替的に、レース分析エンジン206の1つまたは複数の要素は、同じハードウェアデバイスを用いて実施されてもよい。乗り物データ分析システム18がソフトウェアにおいて実施されるとき(その例が図2に示される)、レース分析エンジン206、およびレース分析エンジン206の各要素(図3に示される)は、レース分析エンジン206をホスティングするコンピュータシステムのプロセッサによって実行することができる、複数の命令ライン/コンピュータコードを用いて実装することができ、それによって、コンピュータシステムのプロセッサは、レース分析エンジン206の要素の各々の動作およびプロセスを実行するように構成される。ソフトウェアでの実施において、レース分析エンジン206の要素をホスティングするコンピュータシステムは、1つまたは複数のサーバコンピュータ、1つまたは複数のアプリケーションサーバ、1つまたは複数のクラウドコンピューティングリソース等とすることができる。1つの例では、コンピュータシステムは、ストレージ200、メモリ202および1つまたは複数のプロセッサ204を含むことができる。ストレージ200は、例えば、テレメトリデータ、EMGデータ、ユーザデータ、レース分析エンジン206の要素の各々の動作およびプロセスを実行するのに用いられるコンピュータコード、ならびに以下で説明されるようなデータ分析プロセスの結果を記憶することができる、ソフトウェアまたはハードウェアにより実装される記憶機構とすることができる。メモリ202は、テレメトリおよびEMGデータを一時的に記憶することができ、プロセッサによってレース分析エンジン206の要素の各々の動作およびプロセスを行うために実行されるコードを記憶することができ、データ分析の結果を記憶することができる。プロセッサ204は、コンピュータシステムが、レース分析エンジン206の要素の各々の動作およびプロセスを行うよう構成されるように、コード/複数の命令を実行することができる。図2に示すように、乗り物データ分析システム18は、前腕疲労の例示的な使用事例の場合のEMGデータ等の、テレメトリデータおよびセンサデータを受信することができ、テレメトリデータおよびセンサデータの組合せに基づいて1つまたは複数の運転者パフォーマンスインサイトを生成し、運転者のパフォーマンスを改善することができる。前腕疲労の例示的な使用事例では、1つまたは複数の運転者パフォーマンスインサイトは、運転者が前腕筋をリラックスさせることが可能であり得るレースサーキット(トラック、高速道路、または車道/道路とすることができる、乗り物がレースしているルート)上の1つまたは複数のロケーションとすることができる。例えば、インサイトは、レースサーキットの直線状の部分が、運転者が前腕筋をリラックスさせるべきレースサーキット上のロケーションであることを示すことができる。
図3は、乗り物データ分析システムのレース分析エンジン206の更なる詳細を示す。レース分析エンジン206は、モデルトレーニングエンジン300および品質評価エンジン302を含むことができ、これらは共にウェアラブルセンサ検証プロセスを行い、これにより、例えば、受信したウェアラブルセンサデータが有効であり、システムのインサイトを生成するのに使用可能であるか否かを判断(determine:決定)することができる。モデルトレーニングエンジン300は、機械学習プロセス(図6に更に詳細に示される)を実施することができる。この機械学習プロセスは、機械学習モデルをトレーニングし、機械学習モデルを用いてウェアラブルセンサデータを検証し、ウェアラブルセンサデータが有効であり、このためインサイト分析プロセス中に使用可能であるか否かを判断することができるようにする。品質評価エンジン302は、(モデルトレーニングエンジン300によってトレーニングされた)トレーニングされたモデルを用いて、(機械学習技法を用いて)予測を生成し、各ウェアラブルセンサデータを検証する。1つの実施形態では、上記で説明したように、センサデータはノイズを有するため、品質評価エンジン302は、トレーニングされたモデルによる予測センサ値を実際のセンサデータと比較して、ウェアラブルセンサデータの各々を検証することができる。モデルトレーニングエンジン300および品質評価エンジン302は、運転者改善データのプロセスに対し技術的解決策および改善を提供し、上記で説明したノイズを有するセンサデータの問題を解決する。
レース分析エンジン206は、テレメトリデータ、検証されたセンサデータおよびGPSデータを受信して1つまたは複数のインサイトを生成するインサイト分析エンジン304を更に含むことができる。1つの実施形態では、このエンジン304は、クラスタリングおよび類似性分析を行って、1つまたは複数のインサイトを生成することができる。前腕疲労の例では、このエンジンは、運転(drive)が前腕筋をリラックスさせるべきレースサーキット上のロケーションについてのインサイトを生成することができる。インサイト分析エンジン304は、運転者インサイトを生成するプロセスに対し、技術的解決策および改善を提供し、運転者パフォーマンスインサイトを自動的に生成可能であることの問題を解決する。
レース分析エンジン206は、図10~図15に示すような、レポート、アクショナブルインサイトのデータ視覚化等のようなプロセスの視覚的表示を生成することができるユーザインタフェースエンジン306を更に含むことができる。
(データ収集)
インサイトが生成される前に、またはインサイトが生成されているときに同時に、運転者がレースサーキット上にいる間の様々なデータポイントを収集することができる。1つの実施形態において、1つまたは複数のウェアラブルセンサは、胸郭の周りに配置された心電図(ECG)センサ、および前腕の周りに配置されたセンサを用いてEMGの信号を収集する1つまたは複数のセンサを含むことができる。センサは、乗り物の搭載されたテレメトリシステムに接続されたBluetooth受信機を通じて通信し、或るポイントにおいてシステム18に通信される。Bluetooth受信機は、毎秒200サンプルでデータを捕捉し、各レースは、ラップ(lap)あたり2.2マイルの平均距離を有する50~300ラップの範囲を取る様々なラップ数を提示する。
運転者のウェアラブルセンサ情報に加えて、方法は、乗り物の搭載されたテレメトリシステムから、加速度計データ(緯度、経度、垂直方向)、ステアリング角、速さ(mph)、スロットル(throttle)圧、ブレーキ(brake)圧、エンジンrpm、および/または角加速度を含むテレメトリデータを収集することができる。システム10は、(トラック上の固定点に対する)GPS座標、および運転者の前後の自動車間のギャップ秒数も収集することができる。
上記のデータは、レース中にアクセス可能なプライベートネットワークを通じて収集することができ、チームがほぼリアルタイムの分析を行うことを可能にするが、システム10は、レース後に乗り物のテレメトリシステムからダウンロードすることができるデータを用いてレース後分析を行うこともできる。システムは、乗り物に搭載されたリアルタイムクロック(RTC)からタイムスタンプを収集することもできる。RTCを用いて、様々な周波数にわたって収集されたデータをアンカリングする。このRCTチャネル値を用いて、ソースチャネルがより低い周波数でデータを収集したブランク値をリスト化しながら、全てのチャネルからのデータが最も高い周波数チャネルに再位置合わせされる。
1つの実施形態において、ウェアラブル衣類は、参照により本明細書に援用される、https://www.ntt-review.jp/archive/ntttechnical.php?contents=ntr201409ra1.htmlにおいて得ることができる論文Kazuhiko Takagahara et al. ““hitoe”-A Wearable Sensor Developed through Cross-industrial Collaboration”において記載されている、NTT Docomoによって開発されたhitoeウェアラブルセンサとすることができる。各EMGセンサは既知であり、市販されているため、このhitoeウェアラブルセンサ技術は、EMGデータを生成するための1つまたは複数のEMGセンサを含むことができる。
(センサデータプロセスの検証)
上記で説明したような雑音を有するウェアラブルセンサデータの技術的問題を解決するために、システムは、ウェアラブルセンサデータの検証を行い、ウェアラブルセンサデータを、システムによって生成される1つまたは複数のインサイトを生成するために用いることができるか否かを判断することができる。1つの実施形態において、データ検証プロセスは、図3に示すモデルトレーニングエンジン300および品質評価エンジン302によって行うことができる。
乗り物レースのためのデータ検証プロセスは、ウェアラブルデバイスから到来する信号の品質が、センサが身体に適切に取り付けられているか否かに非常に敏感であるため、特に重要である。IndyCarレースの場合、センサデータは、レース条件において受ける極端な力によって大きく影響される。データが有効で信頼性のあるものでない場合、不完全な分析および誤ったインサイトにつながる場合がある。
データ検証の方法論は、図5に示すように、実際のEMGデータと予測EMGとの比較に基づき、品質評価エンジン302によって行われる。運転者の実際のEMGが予測EMGから大幅に逸脱している場合、(生成された品質スコアによって示されるように)収集されるEMGは有効であるとみなされない。方法論は、図4に示すモデルトレーニングエンジン300を用いた機械学習を介して信頼性のある方式で高い精度でEMG値を予測することに依拠する。トレーニングされているモデルにおいて、システムおよび方法は、予測モデルのための特徴として、異種の信頼性の或る自動車テレメトリデータのみを用い、すなわち、収集されたEMG情報を特徴として除外する。いくつかの実施形態では、更なる分析がラップデータに依拠するため、データ検証は、レースコースの各ラップについて行うことができる。
(機械学習モデルトレーニングプロセス)
データ検証プロセスの一部は、機械学習モデルのトレーニングであり、これは次に、ウェアラブルセンサデータの品質を評価するのに用いることができる。図4は、レース分析エンジンのモデルトレーニングエンジン300の実施の例を示す。モデルトレーニングエンジン300は、EMGデータ予測モデル400をトレーニングすることができる。データセットは、[それぞれの3軸加速度[m/s2]、スロットルペダル[%]、ジャイロ[rad/s]、ラップ数、圧力ブレーキ、速さ、ステアリング、hitoeEMGを含むことができる。
図4に示す実施形態では、モデル400は、機械学習を介してトレーニングすることができる。上記で説明したように、トレーニングのために用いられるデータおよび特徴は、様々なテレメトリデータとすることができる。1つの実施態様において、機械学習は、ランダムフォレスト、XGBoost等のような様々な予測アルゴリズムを集約(aggregate)するアンサンブル学習を用いることができる。このようにして、モデル400は、多様な予測モデルを利用してより正確な結果を生成することができる。アンサンブル学習は、モデルをトレーニングすることができるプロセスの1つの例である。
機械学習の特徴は、自動車テレメトリデータによって単純に設計される。EMGデータは、上記で説明したように、ウェアラブルデバイスが身体に取り付けられる方法によって大きく影響されるため、特徴として用いられない。IndyCarの極端な状況では、運転者の身体から一時的に離れることが容易に生じ得る。このため、EMG予測モデルを作成するために、プロセスは信頼性のある異種データ(例えば、テレメトリデータ)のみを利用する。モデルトレーニングプロセスは、クリーンラベルを付されたEMGデータを用いることができ、方法は、このトレーニング段階のためにしっかりと取り付けられたウェアラブルな生地(wearable fabric:ウェアラブルファブリック)(よりノイズの少ないデータ)から取得されたデータセットを用いることができる。
(品質評価プロセス)
データ検証プロセスの第2の部分として、1つの例におけるEMGデータ等のウェアラブルセンサデータの各々の品質が評価される。図5は、品質評価を行うのに用いることができるレース分析エンジンの品質評価エンジン302の実施の例を示す。このプロセス中、ウェアラブルセンサデータの品質が測定され、これが更なる分析のために使用可能であるか否かが判定される。データ品質評価プロセス500は、実際のEMG値と予測EMG値との間の誤差に基づく。いくつかの実施形態では、システムおよび方法は、図16に示すように、次の分析レベルについてラップごとにデータ品質を検証することができる。
プロセス500において、テレメトリデータの特徴およびモデルトレーニングプロセス400中にトレーニングされたモデルを用いてウェアラブルセンサデータを予測することができる。ここでもまた、このモデルのための特徴は、安定した信号を提供する自動車テレメトリ情報のみから構成される。このため、これらの予測EMG値は、受容可能なほど正確であり得ると想定される。このため、図16に示すように、第1の線1602(カラーの図面における緑色の線)は、センサから到来する元のEMG値を示し、第2の線1604(カラーの図面において赤色で示す)は、自動車テレメトリデータのみを用いたEMGからの予測値を示す。図16に示すように、緑色の線1602および赤色の線1604が互いに密に対応する場合(図の左側)、これらはクリーンな(clean)データ(受容可能なラップ)であるが、2つの線1602、1604が互いに対応しない場合(図の右側)、センサが測定したEMGデータの品質が予測値と過度に異なるため、EMGデータは受容可能でない。
次に、プロセス500は、誤差特定プロセス502を行うことができ、このプロセスにおいて、予測ウェアラブルセンサデータと実際のウェアラブルセンサデータとの間の誤差が特定される。1つの実施態様において、誤差は、以下のアルゴリズム/定式を用いて計算することができる。
Figure 0007155266000001
ここで、lはラップインデックスを表し、elは、ラップlにおける平均誤差(RMSE:Root Mean Squared Error:二乗平均平方根誤差)を表し、Nlは、ラップlにおけるEMGのデータポイント数を表し、
Figure 0007155266000002
は、データインデックス=kにおける予測EMGを表し、
Figure 0007155266000003
は、インデックスkにおける実際のEMGを表す。このため、誤差特定の結果は平均誤差値である。プロセス500は、次に、ラップlにおけるデータを、高度な分析のために用いることができるか否かを判断した品質検証プロセス504を有することができる。この分類は、eiに対する閾値に基づく。この閾値は、トレーニングデータに対する分類性能が最も高いものが実験的に設定される。
上記のデータ検証プロセスは、ウェアラブルセンサデータのクリーンなデータセットに対して試験された。このデータセットは、1,655,102個のデータポイントから構成される10回の異なる予行ランにおける40ラップのレーシングデータを含む。評価は5分割交差検証方法を用いる。各セグメントはラップで区切られ、予測モデルは、分析実験のために、10%~100%の、データセットの10個の異なるサイズを用いて構築される。EMG予測の結果が図6に示される。100%のデータを用いる場合、試験データセットに対する最良予測誤差は約0.220であるのに対し、トレーニングデータに対する誤差は0.088である。EMGデータは、元のデータからの標準化によってスケーリングされることに留意されたい。これは、平均が0に等しく、標準偏差が1.0に等しいことを意味する。したがって、このモデルの結果として、予測EMG信号における約22%の誤差が生じ、この予測は、図6に示されるようなランダム予測モデルよりも性能が優れている。予測性能は、機械学習モデルの更なる精緻化によって改善することができる。また、図5が示すように、データセットのサイズが増大するにつれ、誤差は小さくなる。
図7は、品質検証の結果を示し、クリーン(clean:きれいな)およびダーティ(dirty:きたない)の双方の分類についてRMSEのヒストグラムを示す。この図は、5回繰り返された評価によって取得された全ての結果を一度に示すことに留意されたい。クリーンなデータについてのEMG予測は良好に機能するので、クリーンなデータのRMSEは比較的小さい。しかしながら、ダーティなデータのRMSEは、予測EMG値が実際のEMG値から逸脱するため、広く変動し、比較的大きい。自動車テレメトリデータは、ノイズによる影響を受ける可能性が低いため、予測は概ね22%の誤差内で機能するはずである。したがって、実際のEMG値は、異常がないとみなされる。
分類閾値がダーティデータのRMSEの最小値、この場合は0.507となるように設定される場合、分類の正確度は99.48%となる。現実的には、閾値は保守的に設定されるべきである。これにより、更なる分析に利用可能なクリーンなデータセットから何らかの損失が生じるが、更なる分析のためにノイズを有するデータを含めることは、不良な分析につながる可能性があり、これはいくらかの有効なデータを失うよりもはるかに悪い。
(アクショナブルインサイト分析)
1つの例において、このアクショナブルインサイト分析は、図3に示すようなインサイト分析エンジン304によって行うことができる。レースケアおよび前腕疲労の例では、アクショナブルインサイトは、運転者がパフォーマンスを改善することができる潜在的なポイントとすることができる。例えば、アクショナブルインサイトは、運転者がレース中に前腕疲労を軽減し、したがって運転パフォーマンスを増大させるために前腕をリラックスさせるべきレースサーキット上のロケーションとすることができる。
(図8に示すような)アクショナブルインサイトのためのプロセス800は、教師なし学習を利用することができる。システムを用いて前腕疲労のための運転者パフォーマンスインサイトを改善する例では、プロセス800はレーストラックに沿った様々なGPS座標に沿った自動車のテレメトリ情報から様々なデータポイントとのEMG相関を識別することができる。図8に示すように、プロセスは、自動車テレメトリデータ、GPSデータおよびEMGデータを受信することができる。プロセス800は、妥当でないまたはスパイク状のノイズを防ぐためにEMGデータをフィルタリング(filtering)するためのフィルタプロセス802と、EMGデータおよびテレメトリデータを正規化するための正規化プロセス804と、GPSデータを使用し、GPSロケーションデータに対し、同じ付近の複数のラップからのデータを集約するための、例えばk平均クラスタリングを行うクラスタリングプロセス806と、フィルタリングされ正規化されたEMGデータおよびテレメトリデータならびにクラスタリングされたGPSデータを受信し、各クラスタリングされたロケーションにおいて計算される、正規化されたEMGと自動車テレメトリデータとの間の類似性を特定する類似性プロセス808と、インタラクティブツール(その例は、(パイプラインについて)図8に、およびインタラクティブツールを示す図10~図13に示される)を用いてデータ視覚化を生成するデータ視覚化プロセス810とを含むことができる。
(フィルタリングプロセス)
フィルタリングプロセス802は、ウェアラブルセンサデータから妥当でないまたはスパイク状のノイズを除去することができる。図9に示すように、元のEMG信号は、約0.7秒の間隔で0.1秒内にスパイク状のノイズを有する。これは、除去することができるEMGデータ内の運転者のパルスを測定するセンサに起因しているように見える。フィルタプロセス802は、Chebyshev type2フィルタを使用することができる。用いることができる他の可能なフィルタは、Butterworth、Chebyshev type1、Elliptic、Besselおよび/またはFIR(ハミング窓(hamming window))を含む。
(クラスタリングプロセス)
時系列データに過度に多くのデータポイントを含むことにより、ユーザが運転者の挙動を直感的に理解することが困難になる。k平均クラスタリング等のクラスタリングプロセス806は、1つの例において、プロセスが、トラック上のロケーションを集約することによって、各GPSロケーションにおける一般的な挙動を理解することを可能にする。k平均クラスタリングのための初期重心は、1つのラップについてのトラック上の完全なGPSデータに基づいて決定される。例えば、各重心は、0.5秒間隔で選び取ることができる。GPSのサンプリングレートは0.1秒であるため、クラスタリングは、1つのロケーション内で約5つのデータサンプルを集約する。例えば、本方法は、l{c,j}が0.1秒以内のデータポイントを表すものとし、ここで、lはラップインデックスであり、cはクラスタインデックスであり、jはクラスタcにおけるデータインデックスである。クラスタリングプロセス806を通じて、クラスタインデックスcおよびデータインデックスjが特定される一方で、lは未加工データにおいて与えられる。このl{c,j}は、1つのGPSデータポイントでEMGデータおよび自動車テレメトリデータの双方のデータを所有する。このクラスタリングは、クリーンなデータのみを検討することに留意されたい。上記の分類は、データが更なるクラスタリング分析のための品質レベルを満たすラップインデックスlを特定し、ラップlにおけるデータがクリーンでないと分類される場合、このデータは単に除外される。例示的なレースサーキットのためのクラスタリングの結果として得られるデータの例が図12に示される。
(正規化プロセス)
類似性を計算する前に、異種データポイントは異なるスケールおよびサンプリングレートを有するため、正規化(normalization)および線形補間(linear interpolation)を用いることができる。このため、第1に、全てのデータポイントが標準化され、これは、平均が0に等しく、標準偏差が1.0に等しいことを意味する。第2に、全てのデータポイントが0.1秒の時間間隔で分離される。第3に、サンプリングレートはセンサごとに異なるため、データセットを比較可能にするために、線形補間が適用される。
(類似性プロセス)
類似性プロセス808は、EMGと自動車テレメトリデータとの間の類似性を特定することができ、これは以下のように計算することができる。
Figure 0007155266000004
ここで、
Figure 0007155266000005
は、クラスタcにおけるj番目のデータポイントにおけるEMGと自動車テレメトリデータとの間の類似性を表し、
Figure 0007155266000006
は、クラスタcにおけるn番目のデータポイントにおけるEMGとテレメトリデータとの間の平均絶対誤差を表し、N{c,j}は、線形補間後のサンプルポイントの数を表し、
Figure 0007155266000007
および
Figure 0007155266000008
は、クラスタcにおけるj番目のデータポイントのi番目のサンプルポイントを表す。
各クラスタにおける複数の類似性スコアに基づいて、平均および標準偏差が以下のように計算される。これらの情報は次のステップのデータ視覚化のために用いられる。
Figure 0007155266000009
例示的なレースサーキットについて上記の類似性分析プロセスから結果として得られるデータの例が図15に示される。図15における例は、アクショナブルインサイト(レースサーキットの周りの潜在的なリラックスポイント)も示す。
(視覚化プロセス)
レースチームに、データをカルティベーションし、パフォーマンス改善に向けたアクショナブルフィードバックを自身で発見する能力を提供することが重要である。視覚化プロセス810は、ウェブベースのユーザインタフェースを有するデータ視覚化ツールを用いることができる。このツールは、パラメータを選択し、分析結果を即座に検索する能力を提供する。図10は初期スクリーンを示す。このツールを用いて、ユーザは、用いられるレース、ラップおよびデータ分析ツールのパラメータを選択することができる。ユーザがパラメータを選択すると、図11に示すように結果が表示される。ここで、ユーザは、データをパンするか、ズームするかまたはデータの他の操作を行うことができる。クラスタリング分析結果の例が図12および図13に示される。形状および色の意味は上記で図8において説明されている。
以上、特定の実施形態を参照しながら説明目的で解説を行った。しかしながら、上記の例示的な説明は、完全であることも、開示した厳密な形に本開示を限定することも意図したものではない。上記の教示に照らして多くの変更および変形が可能である。これらの実施形態は、本開示の原理およびその実際の応用を最良に説明することにより、他の当業者が、検討する特定の用途に適した形で本開示および様々な実施形態を様々に変更して最良に利用できるように選択し説明したものである。
本明細書に開示したシステムおよび方法は、1つまたは複数のコンポーネント、システム、サーバ、機器、他のサブコンポーネントを通じて実装することができ、またはこのような要素間で分散することができる。システムとして実装する場合、このようなシステムは、とりわけ汎用コンピュータで見られるソフトウェアモジュール、汎用CPU、RAM等のコンポーネントを含み、an/または(or)伴うことができる。サーバに革新性が存在する実装では、このようなサーバが、汎用コンピュータで見られるようなCPU、RAM等のコンポーネントを含むか、または伴うことができる。
また、本明細書におけるシステムおよび方法は、上述した以外の異種のまたは完全に異なるソフトウェアコンポーネント、ハードウェアコンポーネントおよび/またはファームウェアコンポーネントを含む実装を通じて実現することもできる。このような他のコンポーネント(例えば、ソフトウェア、処理コンポーネント等)、および/または本発明に関連するまたは本発明を具体化するコンピュータ可読媒体については、例えば本明細書における革新性の態様を数多くの汎用または専用コンピュータシステムまたは構成と調和させて実装することができる。本明細書における革新性との併用に適することができる様々な例示的なコンピュータシステム、環境および/または構成としては、以下に限定されるわけではないが、パーソナルコンピュータ、ルーティング/接続性コンポーネント等のサーバまたはサーバコンピューティングデバイス、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、家庭用電子機器、ネットワークPC、他の既存のコンピュータプラットフォーム、上記のシステムまたは装置のうちの1つまたは複数を含む分散型コンピューティング環境等の内部のまたはこれらに組み込まれたソフトウェアまたは他のコンポーネントを挙げることができる。
場合によっては、システムおよび方法の態様を、例えばこのようなコンポーネントまたは回路に関連して実行されるプログラムモジュールを含む論理回路および/もしくは論理命令を介して実現し、またはこのような論理回路および/もしくは論理命令によって実行することもできる。一般に、プログラムモジュールは、本明細書における特定のタスクまたは特定の命令を実行するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含むことができる。また、本発明は、通信バス、通信回路または通信リンクを介して回路が接続された分散ソフトウェア、分散コンピュータまたは分散回路環境を背景として実施することもできる。分散回路環境では、メモリストレージデバイスを含むローカルコンピュータ記憶媒体および遠隔コンピュータ記憶媒体の両方から制御/命令を行うことができる。
本明細書におけるソフトウェア、回路およびコンポーネントは、1つまたは複数のタイプのコンピュータ可読媒体を含みおよび/または利用することもできる。コンピュータ可読媒体は、このような回路および/またはコンピュータコンポーネント上に存在する、これらに関連する、またはこれらがアクセスできる任意の利用可能な媒体とすることができる。一例として、限定ではないが、コンピュータ可読媒体としてはコンピュータ記憶媒体および通信媒体を挙げることができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュールまたはその他のデータ等の情報を記憶するための任意の方法または技術で実装された揮発性および不揮発性の取り外し可能および取り外し不能媒体を含む。コンピュータ記憶媒体は、限定ではないが、RAM、ROM、EEPROM、フラッシュメモリもしくは他のメモリ技術、CD-ROM、デジタル多用途ディスク(DVD)もしくは他の光学ストレージ、磁気テープ、磁気ディスクストレージもしくは他の磁気記憶装置、または所望の情報を記憶するために使用できると共にコンピュータコンポーネントがアクセスできる任意の他の媒体を含む。通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュールおよび/またはその他のコンポーネントを含むことができる。更に、通信媒体は、有線ネットワークまたは直接有線接続等の有線媒体を含むことができるが、本明細書におけるこのようなタイプの媒体は、いずれも一時的媒体を含まない。また、上記の任意のものの組合せもコンピュータ可読媒体の範囲に含まれる。
本明細書におけるコンポーネント、モジュール、装置等の用語は、様々な形で実装できる任意のタイプの論理的または機能的ソフトウェア要素、回路、ブロックおよび/またはプロセスを指すことができる。例えば、様々な回路および/またはブロックの機能を互いに組み合わせて任意の他の数のモジュールにすることができる。各モジュールは、中央処理装置に読み取られて本明細書における革新性の機能を実行できる、有形メモリ(例えば、ランダムアクセスメモリ、リードオンリメモリ、CD-ROMメモリ、ハードディスクドライブ等)に記憶されたソフトウェアプログラムとして実装することもできる。または、これらのモジュールは、汎用コンピュータに送信される、または送信搬送波を介して処理/グラフィックスハードウェアに送信されるプログラミング命令を含むこともできる。また、モジュールは、本明細書における革新性に含まれる機能を実装するハードウェア論理回路として実装することもできる。最後に、これらのモジュールは、専用命令(SIMD命令:special purpose instructions)、フィールドプログラマブル(プログラム可能)ロジックアレイ(field programmable logic arrays)、または所望のレベルの性能およびコストをもたらすこれらのいずれかの混合物を用いて実装することもできる。
本明細書に開示したように、本開示による機能は、コンピュータハードウェア、ソフトウェアおよび/またはファームウェアを通じて実装することができる。例えば、本明細書で開示したシステムおよび方法は、例えばデータベース、デジタル電子回路、ファームウェア、ソフトウェアまたはこれらの組合せも含むコンピュータ等のデータプロセッサを含む様々な形態で具現化することができる。更に、開示した実装の一部では、特定のハードウェアコンポーネントについて説明しているが、本明細書における革新性によるシステムおよび方法は、ハードウェア、ソフトウェアおよび/またはファームウェアの任意の組合せを用いて実装することもできる。更に、上述した機能および他の態様、ならびに本明細書における革新性の原理は、様々な環境で実装することができる。このような環境および関連する用途は、本発明による様々なルーチン、プロセスおよび/もしくは動作を実行するように特別に構築することもでき、または汎用コンピュータ、もしくは必要な機能を提供するようにコードによって選択的に有効化もしくは再構成されたコンピュータプラットフォームを含むこともできる。本明細書で開示したプロセスは、本質的にいずれかの特定のコンピュータ、ネットワーク、アーキテクチャ、環境または他の装置に関連するものではなく、ハードウェア、ソフトウェアおよび/またはファームウェアの好適な組合せによって実装することができる。例えば、本発明の教示に従って書かれたプログラムと共に様々な汎用機械を使用することもでき、または必要とされる方法および技法を実行することに特化した装置もしくはシステムを構築する方が便利な場合もある。
本明細書で説明したロジック(論理)等の方法およびシステムの態様は、フィールドプログラマブルゲートアレイ(「FPGA:field programmable gate arrays」)、プログラマブルアレイロジック(「PAL:programmable array logic」)デバイス、電気的にプログラム可能なロジック等のプログラマブルロジックデバイス(「PLD:programmable logic devices」)、メモリデバイスおよび標準的なセルベースの装置、ならびに特定用途向け集積回路を含む様々な回路のいずれかにプログラムされる機能として実装することもできる。態様を実装するための他のいくつかの可能性としては、メモリデバイス、(EEPROM等の)メモリ付きマイクロコントローラ、内蔵マイクロプロセッサ、ファームウェア、ソフトウェア等が挙げられる。更に、ソフトウェアベースの回路エミュレーション、ディスクリートロジック(順序ロジックおよび組合せロジック)、カスタムデバイス、ファジー(ニューラル)ロジック、量子デバイス、およびこれらのデバイスタイプのいずれかの混成を有するマイクロプロセッサにおいて態様を具体化することもできる。例えば、金属酸化物半導体電界効果トランジスタ(「MOSFET:metal-oxide semiconductor field-effect transistor」)技術に似た相補型金属酸化物半導体(「CMOS:complementary metal-oxide semiconductor」)、バイポーラ(bipolar)技術に似たエミッタ結合型論理回路(「ECL」)、ポリマー技術(例えば、シリコン共役ポリマーおよび金属共役ポリマー金属構造体)、混合アナログおよびデジタル等の基礎デバイス技術を様々なコンポーネントタイプで提供することができる。
また、本明細書で開示した様々なロジックおよび/または機能は、挙動特性、レジスタ転送特性、論理コンポーネント特性および/またはその他の特性の観点から、ハードウェア、ファームウェアのあらゆる数の組合せを使用して、および/または様々な機械可読もしくはコンピュータ可読媒体に具現化されたデータおよび/または命令として有効にすることができることに留意されたい。このようなフォーマットデータおよび/または命令を具現化できるコンピュータ可読媒体は、限定的な意味ではなく様々な形態の不揮発性記憶媒体(例えば、光学記憶媒体、磁気記憶媒体または半導体記憶媒体)を含むことができるが、ここでも一時的媒体は含まない。本明細書全体を通じ、「備える(comprise、comprising)」等の用語は、文脈上明らかに他の意味を必要としない限り、排他的または網羅的な意味の対語である包括的な意味で、すなわち「~を含むけれどもそれに限定されない(including, but not limited to)」という意味で解釈されたい。また、単数または複数を用いた単語は、それぞれ複数または単数も含む。また、「本明細書において(herein)」、「本明細書に従って(hereunder)」、「上記の(above)」、「以下の(below)」、および同様の意味の単語は、本出願のいずれかの特定の部分ではなく本出願全体を示す。2つ以上の項目のリストへの言及において「または、もしくは(or)」という単語を使用している場合、この単語は、リスト内の任意の項目、リスト内の全ての項目、およびリスト内の項目の任意の組合せ、という解釈を全て含む。
本明細書では、本発明の現在のところ好ましいいくつかの実装について具体的に説明したが、本発明に関連する当業者には、本発明の趣旨および範囲から逸脱することなく、本明細書で図示し説明した様々な実装の変形および変更を行うことができることが明らかであろう。したがって、本発明は、適用される法の原則によって定められる範囲のみに限定されるように意図されている。
上記では、本開示の特定の実施形態について言及したが、当業者であれば、本開示の原理および趣旨から逸脱することなく実施形態に変更を行うことができ、本開示の範囲は添付の特許請求の範囲によって定められると理解するであろう。

Claims (17)

  1. 自動車データ分析方法であって、
    乗り物の運転者に取り付けられたセンサを用いて、前記乗り物(vehicle)の操作(operation)中の前記運転者の前腕筋に関するデータを生成することと、
    前記乗り物内に配置されたテレメトリシステムを用いて、前記乗り物の操作中の前記運転者の前記前腕筋に関する前記データおよび乗り物テレメトリデータを捕捉することと、
    前記センサからの筋肉使用の元のデータが前記乗り物テレメトリデータを用いて予測される値に対応するような有効な前腕筋データの受容可能なラップを受容することにより前記前腕筋データが有効であるか否かを判断することと、
    有効な筋肉センサデータおよび乗り物テレメトリデータを処理して、前記有効な筋肉センサデータおよび乗り物テレメトリデータを用いて、トラック中の場所において前記運転者が前腕をリラックスさせるためのアクショナブルインサイトを生成することと、
    を含む、自動車データ分析方法。
  2. 受信した前記筋肉センサデータを、予測筋肉データの組と比較して、前記受信した筋肉センサデータと前記予測筋肉データの組との間に大幅なずれがない場合、前記筋肉センサデータが有効であると判断することを更に含む、請求項1に記載の方法。
  3. 機械学習を用いて、前記受信した筋肉センサデータと、前記予測筋肉データの組との前記比較を行うことを更に含む、請求項2に記載の方法。
  4. 前記受信した筋肉データをフィルタリングして前記有効な筋肉センサデータを処理することを更に含む、請求項1に記載の方法。
  5. 前記乗り物の複数のラップについて筋肉センサデータおよび乗り物テレメトリデータを受信することと、前記乗り物の複数のラップについて前記筋肉センサデータおよび前記乗り物テレメトリデータをクラスタリングして、各ラップ中の特定の乗り物ロケーションについて前記筋肉センサデータおよび前記乗り物テレメトリデータを集約することとを更に含む、請求項4に記載の方法。
  6. 筋肉センサデータと乗り物テレメトリデータとの間の類似性を生成して、前記運転者の前記アクショナブルインサイトを生成することを更に含む、請求項5に記載の方法。
  7. 前記運転者の操作中に前記運転者の心臓に関するデータを生成することを更に含む、請求項1に記載の方法。
  8. 自動車データ分析のためのシステムであって、
    乗り物の運転者に取り付けられ、前記乗り物の操作中の前記運転者の前腕筋に関するデータを生成するセンサと、
    前記乗り物内に配置され、前記乗り物の操作中に、前記運転者の前記前腕筋に関する前記データを捕捉し、乗り物テレメトリデータを捕捉する、テレメトリシステムと、
    プロセッサ、メモリ、および複数の命令ラインを有するデータ分析システムであって、
    前記筋肉センサデータおよび前記乗り物テレメトリデータを受信し、
    前記センサからの筋肉使用の元のデータが前記乗り物テレメトリデータを用いて予測される値に対応するような有効な前腕筋データの受容可能なラップを受容することにより前記筋肉センサデータが有効であるか否かを判断し、
    有効な前記筋肉センサデータおよび乗り物テレメトリデータを処理して、前記有効な筋肉センサデータおよび乗り物テレメトリデータを用いて、トラック中の場所において前記運転者が前腕をリラックスさせるためのアクショナブルインサイトを生成する、
    ように構成される、データ分析システムと、
    を備える、システム。
  9. 前記データ分析システムは、前記受信した筋肉センサデータを、予測筋肉データの組と比較して、前記受信した筋肉センサデータと前記予測筋肉データの組との間に大幅なずれがない場合、前記筋肉センサデータが有効であると判断するように更に構成される、請求項8に記載のシステム。
  10. 前記データ分析システムは、機械学習を用いて、前記受信した筋肉センサデータと、前記予測筋肉データの組との前記比較を行うように更に構成される、請求項9に記載のシステム。
  11. 前記データ分析システムは、前記受信した筋肉データをフィルタリングして前記有効な筋肉センサデータを処理するように更に構成される、請求項8に記載のシステム。
  12. 前記データ分析システムは、前記乗り物の複数のラップについて筋肉センサデータおよび乗り物テレメトリデータを受信し、前記乗り物の複数のラップについて前記筋肉センサデータおよび前記乗り物テレメトリデータをクラスタリングして、各ラップ中の特定の乗り物ロケーションについて前記筋肉センサデータおよび前記乗り物テレメトリデータを集約するように更に構成される、請求項11に記載のシステム。
  13. 前記データ分析システムは、筋肉センサデータと乗り物テレメトリデータとの間の類似性を生成して、前記運転者の前記アクショナブルインサイトを生成するように更に構成される、請求項12に記載のシステム。
  14. 前記センサは、ウェアラブルな生地を更に含む、請求項8に記載のシステム。
  15. 前記乗り物の操作中に前記運転者の心臓に関するデータを生成するセンサを更に備える、請求項14に記載のシステム。
  16. 前記テレメトリシステムは、前記筋肉センサデータをワイヤレスで(無線で)捕捉する、請求項8に記載のシステム。
  17. 前記乗り物テレメトリデータは、加速度計データ、ステアリング角データ、速さデータ、スロットルデータおよびブレーキ圧データのうちの1つまたは複数を更に含む、請求項8に記載のシステム。
JP2020532858A 2017-08-23 2018-08-22 テレメトリデータおよびウェアラブルセンサデータを用いたレーシングデータ分析のためのシステムおよび方法 Active JP7155266B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762549415P 2017-08-23 2017-08-23
US62/549,415 2017-08-23
PCT/US2018/047615 WO2019040675A1 (en) 2017-08-23 2018-08-22 SYSTEM AND METHOD FOR ANALYZING RACE DATA USING TELEMETRY DATA AND DETECTION SENSOR DATA
US16/109,548 2018-08-22
US16/109,548 US10566084B2 (en) 2017-08-23 2018-08-22 System and method for racing data analysis using telemetry data and wearable sensor data

Publications (2)

Publication Number Publication Date
JP2020531929A JP2020531929A (ja) 2020-11-05
JP7155266B2 true JP7155266B2 (ja) 2022-10-18

Family

ID=65439894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020532858A Active JP7155266B2 (ja) 2017-08-23 2018-08-22 テレメトリデータおよびウェアラブルセンサデータを用いたレーシングデータ分析のためのシステムおよび方法

Country Status (4)

Country Link
US (1) US10566084B2 (ja)
JP (1) JP7155266B2 (ja)
CA (1) CA3073682C (ja)
WO (1) WO2019040675A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018053511A1 (en) 2016-09-19 2018-03-22 Ntt Innovation Institute, Inc. Threat scoring system and method
US11757857B2 (en) 2017-01-23 2023-09-12 Ntt Research, Inc. Digital credential issuing system and method
US10656987B1 (en) * 2017-04-26 2020-05-19 EMC IP Holding Company LLC Analysis system and method
WO2019008771A1 (ja) * 2017-07-07 2019-01-10 りか 高木 治療及び/又は運動の指導プロセス管理システム、治療及び/又は運動の指導プロセス管理のためのプログラム、コンピュータ装置、並びに方法
US11372893B2 (en) 2018-06-01 2022-06-28 Ntt Security Holdings Corporation Ensemble-based data curation pipeline for efficient label propagation
US11252185B2 (en) 2019-03-28 2022-02-15 NTT Security Corporation Graph stream mining pipeline for efficient subgraph detection
IT201900005868A1 (it) * 2019-04-16 2020-10-16 St Microelectronics Srl Procedimento di elaborazione di un segnale elettrofisiologico, sistema, prodotto informatico e veicolo corrispondenti
CN110364059A (zh) * 2019-07-25 2019-10-22 山东海格尔信息技术股份有限公司 一种机动车驾驶人考试统一评判终端及防作弊系统
IT201900015926A1 (it) 2019-09-09 2021-03-09 St Microelectronics Srl Procedimento di elaborazione di segnali elettrofisiologici per calcolare una chiave virtuale di veicolo, dispositivo, veicolo e prodotto informatico corrispondenti
JP7385033B2 (ja) * 2019-11-20 2023-11-21 華為技術有限公司 自動運転のための時間源を提供するための方法および装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000000232A (ja) 1998-06-15 2000-01-07 Toyota Central Res & Dev Lab Inc 筋肉疲労判定装置
JP2008167979A (ja) 2007-01-12 2008-07-24 Yokohama Rubber Co Ltd:The 疲労評価方法および疲労評価装置。
JP2009075695A (ja) 2007-09-19 2009-04-09 Nec Personal Products Co Ltd 危険報知装置およびシステム
JP2014126916A (ja) 2012-12-25 2014-07-07 Ikutoku Gakuen テレメトリシステム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3862192B2 (ja) * 1998-05-15 2006-12-27 矢崎総業株式会社 車両運転者健康状態判定方法及びその装置
AU767533B2 (en) * 1999-01-27 2003-11-13 Compumedics Limited Vigilance monitoring system
US20060038818A1 (en) * 2002-10-22 2006-02-23 Steele Robert C Multimedia racing experience system and corresponding experience based displays
DE102007038392B8 (de) * 2007-07-11 2015-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Vorhersage eines Kontrollverlustes über einen Muskel
US20090021394A1 (en) * 2007-07-20 2009-01-22 Coughlin Daniel J Altaview system
US20090066521A1 (en) * 2007-09-12 2009-03-12 Dan Atlas Method and system for detecting the physiological onset of operator fatigue
JP5188652B2 (ja) * 2010-03-12 2013-04-24 タタ コンサルタンシー サービシズ リミテッド 車両の防犯、カスタマイズを行うと共に運転者の心臓活動をモニタリングするシステム
US9674880B1 (en) * 2014-11-04 2017-06-06 Dell Products, Lp Method and apparatus for a smart vehicle gateway with connection context aware radio communication management and multi-radio technology

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000000232A (ja) 1998-06-15 2000-01-07 Toyota Central Res & Dev Lab Inc 筋肉疲労判定装置
JP2008167979A (ja) 2007-01-12 2008-07-24 Yokohama Rubber Co Ltd:The 疲労評価方法および疲労評価装置。
JP2009075695A (ja) 2007-09-19 2009-04-09 Nec Personal Products Co Ltd 危険報知装置およびシステム
JP2014126916A (ja) 2012-12-25 2014-07-07 Ikutoku Gakuen テレメトリシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
脇森 浩志、外2名,"機械学習で実現できること",「クラウドではじめる機械学習 Azure MLでらくらく体験」,第1版第1刷,日本,株式会社リックテレコム,2015年06月23日,pp.51-59

Also Published As

Publication number Publication date
CA3073682C (en) 2023-07-11
US20190156934A1 (en) 2019-05-23
US10566084B2 (en) 2020-02-18
WO2019040675A1 (en) 2019-02-28
CA3073682A1 (en) 2019-02-28
JP2020531929A (ja) 2020-11-05

Similar Documents

Publication Publication Date Title
JP7155266B2 (ja) テレメトリデータおよびウェアラブルセンサデータを用いたレーシングデータ分析のためのシステムおよび方法
US10520947B2 (en) Machine learning for event detection and classification in autonomous vehicles
Khodairy et al. Driving behavior classification based on oversampled signals of smartphone embedded sensors using an optimized stacked-LSTM neural networks
Xing et al. Identification and analysis of driver postures for in-vehicle driving activities and secondary tasks recognition
Gateau et al. Real-time state estimation in a flight simulator using fNIRS
US10578456B2 (en) Safety enhanced computer assisted driving method and apparatus
US20190202466A1 (en) Method and apparatus for assessing comfort level of driving system
CN110765807B (zh) 驾驶行为分析、处理方法、装置、设备和存储介质
US20160107509A1 (en) System and method for vehicle control integrating environmental conditions
Manawadu et al. Multiclass classification of driver perceived workload using long short-term memory based recurrent neural network
Alamri et al. An effective bio-signal-based driver behavior monitoring system using a generalized deep learning approach
US11710082B2 (en) Systems and methods for utilizing machine learning and feature selection to classify driving behavior
JP2019112049A (ja) 陸上車両の運転者の運転スタイルを認識するための方法及び対応する装置
US10242275B1 (en) Systems and methods for associating vehicle operators with driving misses indicated in vehicle operation data
Ramirez et al. Inferring drivers’ visual focus attention through head-mounted inertial sensors
JP2017225647A (ja) 運転時の心理状態解析方法
Zontone et al. Stress evaluation in simulated autonomous and manual driving through the analysis of skin potential response and electrocardiogram signals
Campos-Ferreira et al. Vehicle and driver monitoring system using on-board and remote sensors
Assuncao et al. Vehicle driver monitoring through the statistical process control
Corcoba-Magaña et al. Prediction of motorcyclist stress using a heartrate strap, the vehicle telemetry and road information
EP3673478A1 (en) System and method for racing data analysis using telemetry data and wearable sensor data
Beles et al. Driver drowsiness multi-method detection for vehicles with autonomous driving functions
Subbaiah et al. Driver drowsiness detection methods: A comprehensive survey
Rastgoo et al. Driver stress levels detection system using hyperparameter optimization
Qi et al. Detection of vehicle steering based on smartphone

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210513

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221005

R150 Certificate of patent or registration of utility model

Ref document number: 7155266

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150