JP7221291B2 - 可動式処置デバイスの位置特定を実施するための装置及び方法 - Google Patents

可動式処置デバイスの位置特定を実施するための装置及び方法 Download PDF

Info

Publication number
JP7221291B2
JP7221291B2 JP2020543228A JP2020543228A JP7221291B2 JP 7221291 B2 JP7221291 B2 JP 7221291B2 JP 2020543228 A JP2020543228 A JP 2020543228A JP 2020543228 A JP2020543228 A JP 2020543228A JP 7221291 B2 JP7221291 B2 JP 7221291B2
Authority
JP
Japan
Prior art keywords
sensor data
treatment device
motion
mobile treatment
inertial sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020543228A
Other languages
English (en)
Other versions
JP2021514223A (ja
Inventor
ファイズ、フェイサル、シャーマン
シャオレ、マオ
Original Assignee
ブラウン ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP18157362.7A external-priority patent/EP3528167A1/en
Priority claimed from EP18157358.5A external-priority patent/EP3528166B1/en
Application filed by ブラウン ゲーエムベーハー filed Critical ブラウン ゲーエムベーハー
Publication of JP2021514223A publication Critical patent/JP2021514223A/ja
Priority to JP2022158618A priority Critical patent/JP2023017766A/ja
Application granted granted Critical
Publication of JP7221291B2 publication Critical patent/JP7221291B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16Power-driven cleaning or polishing devices
    • A61C17/22Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
    • A61C17/221Control arrangements therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B15/00Other brushes; Brushes with additional arrangements
    • A46B15/0055Brushes combined with other articles normally separate from the brushing process, e.g. combs, razors, mirrors
    • A46B15/0069Brushes fitted with a interdental devices, e.g. toothpick
    • A46B15/0073Brushes with an arrangement for using the floss
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16Power-driven cleaning or polishing devices
    • A61C17/22Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16Power-driven cleaning or polishing devices
    • A61C17/22Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
    • A61C17/24Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like rotating continuously
    • A61C17/26Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like rotating continuously driven by electric motor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B15/00Other brushes; Brushes with additional arrangements
    • A46B15/0002Arrangements for enhancing monitoring or controlling the brushing process
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B15/00Other brushes; Brushes with additional arrangements
    • A46B15/0002Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0016Arrangements for enhancing monitoring or controlling the brushing process with enhancing means
    • A46B15/0036Arrangements for enhancing monitoring or controlling the brushing process with enhancing means with a lighting means, e.g. laser, bulb
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B15/00Other brushes; Brushes with additional arrangements
    • A46B15/0002Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0038Arrangements for enhancing monitoring or controlling the brushing process with signalling means
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B15/00Other brushes; Brushes with additional arrangements
    • A46B15/0002Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0038Arrangements for enhancing monitoring or controlling the brushing process with signalling means
    • A46B15/004Arrangements for enhancing monitoring or controlling the brushing process with signalling means with an acoustic signalling means, e.g. noise
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B15/00Other brushes; Brushes with additional arrangements
    • A46B15/0055Brushes combined with other articles normally separate from the brushing process, e.g. combs, razors, mirrors
    • A46B15/0069Brushes fitted with a interdental devices, e.g. toothpick
    • A46B15/0071Toothbrushes with flossing arrangements
    • AHUMAN NECESSITIES
    • A46BRUSHWARE
    • A46BBRUSHES
    • A46B2200/00Brushes characterized by their functions, uses or applications
    • A46B2200/10For human or animal care
    • A46B2200/1066Toothbrush for cleaning the teeth or dentures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247Pressure sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0252Load cells
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16Power-driven cleaning or polishing devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16Power-driven cleaning or polishing devices
    • A61C17/22Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
    • A61C17/32Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like reciprocating or oscillating
    • A61C17/34Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like reciprocating or oscillating driven by electric motor
    • A61C17/3409Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like reciprocating or oscillating driven by electric motor characterized by the movement of the brush body
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B26HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26BHAND-HELD CUTTING TOOLS NOT OTHERWISE PROVIDED FOR
    • B26B21/00Razors of the open or knife type; Safety razors or other shaving implements of the planing type; Hair-trimming devices involving a razor-blade; Equipment therefor
    • B26B21/40Details or accessories
    • B26B21/405Electric features; Charging; Computing devices
    • B26B21/4056Sensors or controlling means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B26HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26BHAND-HELD CUTTING TOOLS NOT OTHERWISE PROVIDED FOR
    • B26B21/00Razors of the open or knife type; Safety razors or other shaving implements of the planing type; Hair-trimming devices involving a razor-blade; Equipment therefor
    • B26B21/40Details or accessories
    • B26B21/4081Shaving methods; Usage or wear indication; Testing methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • G06F2218/16Classification; Matching by matching signal segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Animal Behavior & Ethology (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Brushes (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Description

本発明の実施形態は、可動式処置デバイスの位置特定を実施するための装置、可動式処置デバイスの位置特定を実施するための方法、並びに装置及び可動式処置デバイスを備えるシステムに関する。
可動式処置デバイスは、表面などを処置するために使用され得る。例えば、可動式処置デバイスは、ヘアブラシ、かみそり、グルーマ、歯ブラシなどの個人用器具に関係し得る。これらの例では、処置される表面は、身体、又は上記身体の少なくとも特定の部分若しくはゾーンであり得る。
可動式処置デバイスの他の例としては、例えば、ほうき、モップ、スクラビングブラシなどの家庭用器具を挙げることができる。これらの例では、処置される表面は、床、又は上記床の少なくとも特定の部分若しくはゾーンであり得る。
いくつかの用途では、可動式処置デバイスの現在の場所を知ることが有用である場合がある。いくつかの用途では、追加的又は代替的に、特に個人用器具の場合に、可動式処置デバイスの運動を分類することが有用である場合がある。
現今では、撮像技法は、対象表面に対して可動式処置デバイスを位置特定するために、例えば、上記対象表面を捕捉するカメラによって、使用され得る。可動式処置デバイスを位置特定するために、GPSセンサなどのセンサを使用することが知られている場合もある。上述の撮像技法を、可動式処置デバイスの運動を撮像し、上記捕捉された運動を分類するために使用することもできる。
これらの一般的なデバイス及び方法は、大まかな位置特定及び分類のために好適に申し分なく作用し得る。しかしながら、いくつかの欠点が存在し得る。例えば、GPSセンサは、屋外条件でのみ十分に申し分なく作用し得る。対象表面を捕捉するカメラの視界は、時には可動式処置デバイス自体によっても妨害される場合がある。更に、異なるユーザが可動式処置デバイス、例えば、個人用器具を使用している場合であっても、上述のデバイス及び方法の出力は、各ユーザが、上記可動式処置デバイスをどのように使用するかの個別のスタイル及び嗜好を有し得るとしても、ユーザごとに常に同じである。
したがって、可動式処置デバイスの正確な位置特定、及び/又は上述の欠点を伴わない可動式処置デバイスの運動の正確な分類を可能にする、装置及び方法を提供することが望ましいであろう。更に、異なる人物に個別に訓練された技法を提供することによって、これらの装置及び方法を個人化することが望ましいであろう。
一態様によれば、対象表面に対する可動式処置デバイスの位置特定を実施するための装置であって、可動式処置デバイスが、少なくとも1つの慣性センサを備え、対象表面を処置するように構成されており、装置が、可動式処置デバイスの運動クラスのセットに含有される2つ以上の運動クラス間を判別するように構成された、運動パターン分類デバイスと、慣性センサからの少なくとも1つの慣性センサデータを運動パターン分類デバイスに提供するためのインターフェースであって、少なくとも1つの慣性センサデータが、可動式処置デバイスの移動を表す、インターフェース(16)と、を備え、運動パターン分類デバイスが、少なくとも1つの慣性センサデータを受信し、かつ運動クラスのセットに含まれる運動クラスに対して少なくとも1つの慣性センサデータを分類ように構成された、少なくとも1つのニューラルネットワークを備え、上記運動クラスが各々、対象表面に関する1つ以上の異なるゾーンに関連付けられ、それにより、運動クラスに対する少なくとも1つの慣性センサデータの分類が、対象表面の1つ以上のゾーンに対する可動式処置デバイスの位置の推定を示す、装置が提供される。
一態様によれば、対象表面に対する可動式処置デバイスの位置特定を実施するための方法であって、可動式処置デバイスが、少なくとも1つの慣性センサを備え、対象表面を処置するように構成されており、方法が、可動式処置デバイスの運動クラスのセットに含まれる2つ以上の運動クラスを提供することと、慣性センサから少なくとも1つの慣性センサデータを受信することであって、少なくとも1つの慣性センサデータが、可動式処置デバイスの移動をわしており、ニューラルネットワークによって、少なくとも1つの慣性センサデータを受信して処理することと、運動クラスのセットに含まれる少なくとも1つの運動クラスに対して少なくとも1つの慣性センサデータを分類することと、を含み、運動クラスが各々、対象表面の1つ以上の異なるゾーンに関連付けられ、それにより、少なくとも1つの運動クラスによる少なくとも1つの慣性センサデータの分類が、対象表面の1つ以上のゾーンに対する可動式処置デバイスの場所の位置の推定を示す、方法が提供される。
一態様によれば、コンピュータ可読デジタル記憶媒体であって、そこに記憶されたコンピュータプログラムを有し、コンピュータプログラムが、コンピュータ上で作動しているときに、対象表面に対する可動式処置デバイスの位置特定を実施するための上述の方法を実施するためのプログラムコードを有する、コンピュータ可読デジタル記憶媒体が提供される。
一態様によれば、先に記載されるように、可動式処置デバイス及び装置を備えるシステムが提供される。
以下、本発明の実施形態は、図面を参照してより詳細に記載されている。
本開示による、例示的な装置の概略ブロック図を示している。 可動式処置デバイスで処置される対象表面の一例を示している。 可動式処置デバイスで処置される対象表面の更なる例を示している。 回帰型ニューラルネットワークで使用され得る、繰り返しモジュール(又はユニット若しくはブロック若しくはセル)の概略ブロック図を示している。 回帰型ニューラルネットワークで使用され得る、繰り返しゲート付き回帰型ユニット(gated recurrent unit、GRU)モジュールの概略ブロック図を示している。 回帰型ニューラルネットワークで使用され得る、繰り返しLSTMモジュール(又はユニット)の概略ブロック図を示している。 異なる時間インスタンスにおける、LSTMモジュールの1つの層を有する、アンロールされたLSTMモジュールベースの回帰型ニューラルネットワークの概略ブロック図を示している。 異なる時間インスタンスにおける、LSTMモジュール(すなわち、深層LSTM)の2つの積重された層を有する、アンロールされたLSTMモジュールベースの回帰型ニューラルネットワークの概略ブロック図を示している。 一実施形態による、本発明の方法のブロック図を示している。 一実施形態による、本発明の装置の概略ブロック図を示している。 更なる実施形態による、本発明の装置の概略ブロック図を示している。 更なる実施形態による、本発明の装置の概略ブロック図を示している。 一実施形態による、本発明の方法のブロック図を示している。
均等又は等価の要素若しくは均等又は等価の機能を有する要素は、以下の記述で、均等又は等価の参照符合で示される。
以下では、可動式処置デバイスの非限定的な例として、個人用器具及び/又は家庭用器具への参照がなされる。しかしながら、これらの器具の種類は、本発明の実施形態及び例を記載するための非限定的な例としてのみ述べられている。したがって、本発明は、これらの述べられる種類の器具のみに限定されるものではない。
更に、方法の任意の方法工程の順序は、非限定的な例としてのみ記載され得る。したがって、本明細書に記載される任意の方法工程を、記載される以外の任意の他の順序で実行することもできる。
いくつかの態様は装置又はデバイスに関して説明されているが、これらの態様は、対応する方法の説明も表すことは明らかであり、ブロック又はデバイスは方法工程又は方法工程の特徴に対応する。同様に、方法又は方法工程に関して説明した態様は、対応する装置又はデバイスの対応するブロック又はアイテム又は特徴の説明も表す。
本発明の第1の態様は、可動式処置デバイスを位置特定するように、特に、可動式処置デバイスを、上記処置デバイスで処置される対象表面に対して、位置特定するように構成された装置に関する。
かかる可動式処置デバイスの例は、例えば、個人用器具であり得る。個人用器具は、例えば、ヘアブラシ、かみそり、シェーバ、脱毛器、美容デバイス、グルーマ、歯ブラシ(電動又は手動歯ブラシ)などであり得る。これらの例では、処置される表面は、身体、又は上記身体の少なくとも特定の部分若しくはゾーンであり得る。
可動式処置デバイスの他の例は、例えば、ほうき、モップ、スクラビングブラシなどの家庭用器具に関し得る。これらの例では、処置される表面は、床若しくは壁若しくは天井、又は上記床、壁、若しくは天井の少なくとも特定の部分若しくはゾーンであり得る。
図1は、本発明の一実施形態による装置10を示している。更に、可動式処置デバイス11が描写されている。可動式処置デバイス11及び装置10は一緒になってシステムを形成する。可動式処置デバイス11は、少なくとも1つの慣性センサ13を備え得る。慣性センサ13の例は、可動式処置デバイス11の場所、向き、速度、及び加速度が直接及び間接的に決定され得るような、運動センサ(線形加速度を提供する加速度計)、回転速度センサ(角速度を提供するジャイロスコープ)、及び向きセンサ(磁力計)である。限定するためのものではないが、慣性センサは、3軸慣性センサ、6軸慣性センサ、又は9軸慣性センサであり得る。慣性センサは、特に、MEMSセンサとして実現され得る。更に、可動式処置デバイス11は、対象表面12を処置するように構成され得る。
見られ得るように、可動式処置デバイス11は、対象表面12に対して特定の場所又は位置、例えば、対象表面12の中、上、又は隣で使用され得る。対象表面12自体は、1つ以上のゾーン21、21、21、…、21に分割され得る。ゾーン21、21、21、…、21のうちの1つは、更に以下でより詳細に説明されるように、対象表面の外側の可動式処置デバイス11の位置に関連し得る。可動式処置デバイス11は、対象表面12に対して移動され得る。可動式処置デバイス11の運動は、可動式処置デバイスが使用されるゾーンに依存すること、ひいては、可動式処置デバイス11が使用されるゾーンが、運動を分類することによって識別されてもよく、その運動が、少なくとも、更なるセンサデータ、例えば、圧力センサデータによって拡張され得る、慣性センサデータによって表されることが、本明細書に記載される装置及びシステムの背後にある基本概念である。
図1に描写される本発明の装置10は、対象表面12に対して可動式処置デバイス11の位置特定を実施するように構成されている。
単純な言い方をすれば、本説明の基本概念は、回帰型ニューラルネットワーク(recurrent neural network、RNN)、特に、ゲート付き回帰型ユニット(Gated Recurrent Unit、GRU)RNN、LSTM RNN(短いLSTM)、若しくは深層GRU RNN/LSTM、又は更には深層双方向GRU RNN/LSTMなどのニューラルネットワーク(neural network、NN)を使用して、NNの出力ベクトルの要素が運動クラスの各々に対する確率を表す、学習された運動クラスに対する入力ベクトルの時間的シーケンスを(少なくとも少なくとも1つの慣性センサからのデータに基づいて)分類し、次いで、可動式処置デバイスの使用に関連する複数のゾーンのうちの1つのゾーンにNNの出力ベクトルのシーケンスをマッピングし、このゾーンを出力することである。出力ベクトルのシーケンスをゾーンにマッピングする代わりに、出力ベクトルを、より一般的な出力、例えば、「良好な」運動対「不良な」運動、又は「正しい」運動対「正しくない」運動、又は「第1のユーザ」の運動対「第2のユーザ」の運動などのような出力にマッピングすることができ、これらは、これらの良好な又は不良な運動などを表す運動クラスに対して分類が生じることを意味する。これを以下により詳細に説明する。
装置10は、運動パターン分類デバイス14を備え得る。運動パターン分類デバイス14は、可動式処置デバイス11の運動クラスのセット15に含まれる2つ以上の運動クラス15、15、15、…、15間を判別するように構成され得る。換言すれば、可動式処置デバイス11は、例えば、上記可動式処置デバイス11を使用するユーザによって、異なる線形方向及び/又は回転方向に移動され得る。したがって、可動式処置デバイス11の各運動は、それぞれ又は個別の運動パターンを表し得る。運動パターン分類デバイス14は、異なる運動クラスのセット15を含み得る。運動クラスのセット15は、2つ以上の運動クラス15、15、15、…、15を含み得る。運動パターン分類デバイス14は、これら2つ以上の運動クラス15、15、15、…、15間を判別するように構成され得る。つまり、運動パターン分類デバイス14は、第1の運動クラス15を第2の運動クラス15から区別するように構成され得る。ここで、運動パターン分類デバイスが運動クラス間を判別するように構成されていると言える場合、運動パターン分類デバイスは、少なくとも2つの運動クラスに対する入力運動パターンを分類するように訓練されたことを意味する。
可動式処置デバイス11の運動は、可動式処置デバイス11が備える少なくとも1つの慣性センサ13によって検出され得る。慣性センサ13は、慣性に基づくセンサであり、加速度計、ジャイロスコープ、及び磁力計のうちの少なくとも1つを含み得る。慣性センサ13は、線形速度、角速度、線形加速度、角加速度、及び重力のうちの少なくとも1つを表すセンサデータを提供し得る。慣性センサ13は、1つ以上の慣性センサを備える慣性測定ユニットの一部であり得る。
装置10は、慣性センサ13から少なくとも1つの慣性センサデータ17、17、17、…、17を受信するため、並びに少なくとも1つの慣性センサデータ17、17、17、…、17を運動パターン分類デバイス14に提供するための、インターフェース16を備え得る。少なくとも1つの慣性センサデータ17、17、17、…、17は、可動式処置デバイス11の運動を表す。換言すれば、可動式処置デバイス11が移動すると、慣性センサ13は、この運動を検知し、少なくとも1つの慣性センサデータ17、17、17、…、17を作成する。したがって、少なくとも1つの慣性センサデータ17、17、17、…、17は、移動した処置デバイス11のそれぞれの運動を表す。慣性センサデータ17、17、17、…、17は、慣性センサ13から時間的に連続してサンプリングされ得る。1つの所与の時間インスタントに関する慣性センサデータの単一のサンプルを運動パターン分類デバイスに入力して、少なくとも2つの運動クラス15、15、15、…、15に対して運動パターンを分類することを除外しないものとするが、インターフェースは、特に、慣性センサデータの時間的シーケンスを運動パターン分類デバイス13に入力することができ、それにより、慣性センサデータの時間的な関係を分類処理で利用することができる。
本開示によれば、運動パターン分類デバイス14は、ニューラルネットワーク18を備え得る。ニューラルネットワーク18は、回帰型ニューラルネットワーク又は深層ニューラルネットワークであり得る。ニューラルネットワーク18は、少なくとも1つの慣性センサデータ17、17、17、…、17を受信し、かつ運動クラスのセット15に含まれる運動クラス15、15、15、…、15のうちの少なくとも1つに対して少なくとも1つの慣性センサデータ17、17、17、…、17を分類するように構成され得る(慣性センサデータの数nは、運動クラスの数kとは無関係であり、すなわち、25個の入力ベクトルを提供することができ、12個の運動クラスが使用される)。この分類は、図1において、破線及び実線の矢印19、19、19、…、19によって概略的に示されている。実線で描画された矢印19は、ニューラルネットワーク18が、少なくとも1つの慣性センサデータ17、17、17、…、17を第3の運動クラス15にうまく分類したことを例示的に示し得る。NNの出力は、典型的には、入力と同じシーケンス長さを有し、すなわち、10個の入力ベクトルが入力シーケンスとして提供される場合、10個の出力ベクトルが出力シーケンスとして提供され(すなわち、RNNユニットは常に、時間インスタントごとに出力ベクトルを生成する)、1つの入力ベクトルのみが提供される場合も、1つの出力ベクトルのみが提供されることが理解される。典型的には、NNの各出力ベクトルは、k個の運動クラスに関連するk個の要素を含み、出力ベクトルの各要素は、同じ時間インスタントの入力運動パターンがそれぞれの対応する運動クラスに関連する確率を提供する。
セット15に含まれる異なる運動クラス15、15、15、…、15は、単に例示目的のために、異なる幾何学的形状(円、矩形、三角形、星形)によって例示的に記号化される。
基本原理によれば、運動クラス15、15、15、…、15は各々、対象表面12の1つ以上の異なるゾーン21、21、21、…、21に関連付けられる。これは、破線及び実線の矢印20、20、20、…、20によって示されている。見られ得るように、第1の運動クラス15は、破線の矢印20によって示されるように、対象表面12の第1のゾーン21に関連付けられ得る。第2の運動クラス15は、破線の矢印20によって示されるように、対象表面12の第2のゾーン21に関連付けられ得る。第3の運動クラス15は、実線で描画された矢印20によって示されるように、対象表面12の第3のゾーン21に関連付けられ得る。第Kの運動クラス15は、破線の矢印20によって示されるように、対象表面12の第mのゾーン21に関連付けられ得る。これは、ニューラルネットワークの当業者には一般的に知られているが、ここでは、ニューラルネットワークが最初に、ラベル付けされた入力運動パターン、すなわち、特定の運動クラスに関連することが知られている運動パターンで訓練され、それにより、装置10で使用されるニューラルネットワークは、当然ながら、特定の予測確率で、(訓練された)運動クラス15のセットに含まれる運動クラス15、15、15、…、15に対して新しい入力運動パターンを分類し得る、訓練されたニューラルネットワークであることが述べられている。
実線で描画された矢印20は、ニューラルネットワーク18によって少なくとも1つの慣性センサデータ17、17、17、…、17をうまく分類した第3の運動クラス15が、対象表面12の第3のゾーン21に関連付けられることを例示的に示し得る。対象表面12の運動クラス15、15、15、…、15とゾーン21、21、21、…、21との間で、本明細書において行われる差別化は、運動クラスとゾーンとが全単射(すなわち、1対1及び上への)関数によって互いに関連付けられる場合には、ある程度人工的であるが、この差別化は、ニューラルネットワークが、運動クラス15、15、15、…、15の第1の数に対して、仮にk=20だとして、入力(すなわち、運動パターン)を分類するように訓練されたこと、並びにニューラルネットワークの出力が、より低い(又はより高い)数のゾーン21、21、21、…、21の上に、仮にm=6だとして、マッピングされることを可能にするように行われる。以下で更に説明されるように、運動クラスのうちの1つ又はいくつかを、2つ以上のゾーンに関連付けることができる(例えば、運動クラス5を、ゾーン3及び4に関連付けることができる)。このことは上記から明らかであるべきであるが、NNは、ゾーンに対して入力運動パターンを分類しないが、運動クラスに対してのみ入力運動パターンを分類すること、並びにゾーンを識別する工程は、(以下で更に詳細に説明される)様々な追加の計算工程を伴う場合があり、特に、ゾーンの数mが、運動クラスの数kよりも低くてもよい(又はそれよも高くてもよく、これは、異なることを意味する)、追加の工程であること、をここで繰り返す。更に具体的には、装置は、入力ベクトルシーケンスごとにゾーンを出力することができ、例えば、装置は、現在の入力ベクトルシーケンスに関連する期間の間に装置が使用されたゾーンとしてゾーン6を出力することができる。以下で更に説明されるように、最大基準又は大基準を使用して、出力ベクトルシーケンスを単一のゾーン出力にマッピングすることができる。
したがって、少なくとも1つの運動クラス15、15、15、…、15に対する少なくとも1つの慣性センサデータ17、17、17、…、17の分類は、対象表面12の1つ以上のゾーン21、21、21、…、21に対する可動式処置デバイス11の位置の推定を示す。本例では、第3の運動クラス15による少なくとも1つの慣性センサデータ17、17、17、…、17の分類は、対象表面12の第3のゾーン21に対する可動式処置デバイス11の位置の推定を示す。以下でより詳細に説明されるように、本明細書に記載されるニューラルネットワークのニューラルユニットの出力ベクトルyは、典型的には、入力運動パターンが運動クラスの各々に関連する確率値を提供する。
換言すれば、ニューラルネットワーク18は、受信した少なくとも1つの慣性センサデータ17、17、17、…、17を第3の運動クラス15にうまく分類した(運動クラス15の出力ベクトルyの確率値は、最も高い確率値である)。この例によれば、第3の運動クラス15は第3のゾーン21に関連付けられるため、装置10は、可動式処置デバイス11が第3のゾーン21に位置し得るか、又は少なくとも1つの慣性センサデータ17、17、17、…、17が作成された時点で、可動式処置デバイス11が少なくとも第3のゾーン21に位置していたとの情報を回収する。
したがって、装置10は、可動式処置デバイス11の実行された運動又は運動パターンによって、簡単に対象表面12に対して可動式処置デバイス11を位置特定するように構成され得る。
一実施形態によれば、可動式処置デバイス11は、個人用器具であり得、対象表面12は、可動式処置デバイス11によって処置される身体部分であり得る。
例えば、可動式処置デバイス11は、ユーザの身体の身体部分を剃毛又は毛づくろいするための、かみそり又はグルーマである。この場合、ユーザの身体が対象表面12であり得る。ユーザの身体12は、異なるゾーン、例えば、左頬ゾーン、右頬ゾーン、頤ゾーンなどに分離され得る。かみそり11を用いて特定の運動パターンを実行することによって、装置10は、訓練されたニューラルネットワークを使用して、ユーザの身体に対してかみそり11を位置特定することができる。
更なる例として、可動式処置デバイス11は、家庭用器具であり、対象表面12は、床、壁、家具などの表面であり得る。例えば、可動式処置デバイス11は、真空掃除機であり得、対象表面12は、部屋の床であり得る。部屋12は、異なるゾーン、例えば、部屋の左上隅、部屋の右下隅、部屋の中心、部屋の内側に位置するベッドの下などに分離され得る。真空掃除機11を用いて特定の運動パターンを実行することにより、装置10は、部屋の床に対して真空掃除機11を位置特定することができる。例えば、真空掃除機11が、真空掃除機11のランスが地面近くまで下げられた状態で、単に前方及び後方に方向付けられた運動パターンを実行する場合、装置10は、真空掃除機11を、例えば、「ベッドの下」のゾーンに位置するように位置特定することができる。したがって、装置10は、真空掃除機11を、その実行された運動パターンによって、簡単に部屋の内側に位置特定することができる。
更なる実施形態によれば、可動式処置デバイス11は、口腔ケアデバイスであり、対象表面12は、口腔空洞であってもよく、口腔空洞12は、異なるゾーン21、21、21、…、21に分離され、少なくとも1つの運動クラス15、15、15、…、15に対する少なくとも1つの慣性センサデータ17、17、17、…、17の分類は、口腔空洞12の1つ以上の口腔空洞ゾーン21、21、21、…、21に対する口腔ケアデバイス11の位置の推定を示す。口腔空洞は顕著に歯列を備え、歯列は、(以下で更により詳細に説明されるように)異なる歯科ゾーンに分離され得るが、口腔空洞はまた、舌(特に、舌は異なる舌セクションに分離され得る)と、歯肉及び頬セクションと、を備え、それらの面積も同様にゾーンであり得、運動クラスは、ニューラルネットワークが入力運動パターンを舌などに関連する運動クラスに分類することができるように、訓練され得る。
口腔ケアデバイスは、歯ブラシ、特に、電動歯ブラシであり得る。口腔ケアデバイスはまた、デンタルフロス、プラーク除去デバイス、超音波デバイス、及びウォータージェットデバイスのうちの少なくとも1つであり得る。
この例によれば、口腔ケアデバイス11を用いて特定の運動パターンを実行することによって、装置10は、口腔に対して、例えば、歯列に対して口腔ケアデバイス11を位置特定することができる。例えば、口腔ケアデバイス11が左に傾けられた状態で、口腔ケアデバイス11が、単に上方及び下方に方向付けられた運動パターンを実行する場合、装置10は、例えば、学習された運動クラスへの運動の分類により、及び識別された運動クラスを入力データの各時間インスタント又は全時間シーケンスのいずれかのゾーンの上に更にマッピングすることによって、上顎の左上歯科ゾーンに位置するように、口腔ケアデバイス11を位置特定することができる。したがって、装置10は、口腔ケアデバイス11を、その実行された運動パターンによって、ユーザの歯列に対して簡単に位置特定することができる。例として本明細書に記載される入力運動パターンは、基本概念のみを例示するものとする。実際に、特定のゾーン(例えば、上前歯)に関連する運動パターンは、個人及び個人のブラッシング習慣に大きく依存する。例えば、個人が、右利きの人物である場合、又は左利きの人物である場合があり、個人が、ごしごし洗っている場合がある。ニューラルネットワークの訓練フェーズが、ニューラルネットワークの予測品質が全てのタイプの入力運動パターンに対して高くなり得るほどに多くの、ブラッシング習慣に影響を及ぼす異なる個人又はユーザのタイプ及び状況を含み得ることは明白である。
一実施形態によれば、歯列を、9つの歯科ゾーンに分離することができ、第1の歯科ゾーンは、歯列の上顎及び下顎の左頬側に対応し、第2の歯科ゾーンは、歯列の上顎の左側及び右側の咬合側に対応し、第3のゾーンは、歯列の下顎の左側及び右側の咬合側に対応し、第4の歯科ゾーンは、歯列の上顎及び下顎の左舌側に対応し、第5の歯科ゾーンは、歯列の上顎及び下顎の右頬側に対応し、第6の歯科ゾーンは、歯列の上顎及び下顎の右舌側に対応し、第7の歯科ゾーンは、歯列の上顎及び下顎の唇側に対応し、第8の歯科ゾーンは、歯列の上顎の口蓋側に対応し、第9の歯科ゾーンは、歯列の前部下顎の口腔側に対応する。
更なる実施形態によれば、運動クラスのセット15に追加的に含まれ得る少なくとも1つの運動クラス15NBは、対象表面12の外側のゾーン21NBに関連付けられても、対象表面12に関連しなくてもよく、少なくとも1つの運動クラス15NBとの少なくとも1つの慣性センサデータ17、17、17、…、17のマッピングは、可動式処置デバイス11が、対象表面12の外側にあるか、又は対象表面12に関連しない上記ゾーン21NBに位置することを示す。運動クラス15NBは、ユーザが可動式処置デバイス11を対象表面に向かって移動させる(例えば、口腔ケアデバイスを、浴室の洗面台の上に留置して、口腔空洞に向かって移動させる)か、又はユーザが可動式処置デバイス11を1つのゾーンから別のゾーンに遷移させる(例えば、ユーザが口腔ケアデバイスを左下大臼歯から右下大臼歯に向かって移動させることができる)入力運動パターンに関連し得る。
換言すれば、対象表面12の外側のゾーン21NBは、対象表面12に直接関連しないゾーンであってもよい。例えば、可動式処置デバイス11が歯ブラシであり得る場合、対象表面12の外側の上記ゾーン21NBは、歯列の外側のゾーンであり得る。したがって、このゾーン21NBは、ユーザが自身の歯をブラッシングしないことを示し得る。したがって、このゾーンは、「NB」と略される、「ブラッシングしない」ゾーンと称されることもある。このゾーン21NBは、対象表面12の少なくとも1つのゾーンであり得るか、又はこのゾーン21NBは、対象表面の1つ以上のゾーン21、21、21、…、21に加えて、追加のゾーンであり得る。しかしながら、対象表面12の外側のこの特定のゾーン21NBは、上に記載される例示的な歯のブラッシングに限定されない。運動パターン分類デバイスが、運動クラスのセットを含み、運動クラスのうちの1つ以上が各々、対象表面の外側の1つ以上のゾーンに関連付けられることが排除されてはならず、例えば、少なくとも1つの運動クラスを、対象表面の外側のゾーンに関連付けることができ(例えば、装置が対象表面に向かって又は対象表面から離れる方向に移動されるとき)、及び/又は少なくとも1つの運動クラスを、対象表面のゾーン間の遷移に関連付けることができる(例えば、装置がゾーン3からゾーン4に移動されるとき)。
図2は、上に記載される例を例示するための歯列12を示している。歯列12は、対象表面であり得るか、又は例えば、舌も含み得る、対象表面の一部であり得る。歯列12は、9つの歯科ゾーン1a~9aに分離され得る。任意選択で、第10のゾーンNBが存在してもよい。この第10のゾーンNBは、歯列12の外側のゾーンである。したがって、この第10のゾーンNBは、図2には明示的に例示されていない。この第10のゾーンNBは歯列12の歯科ゾーンのうちの1つに関連せず、ひいては、歯列12の歯のブラッシングに関係しないため、この第10のゾーンNBは、「ブラッシングしない」ゾーンと称されることもある。
図2に見られ得るように、第1の歯科ゾーン1aは、歯列12の上顎及び下顎の左頬側に対応し得る。第2の歯科ゾーン2aは、歯列12の上顎の左側及び右側の咬合側に対応し得る。第3のゾーン3aは、歯列12の下顎の左側及び右側の咬合側に対応し得る。第4の歯科ゾーン4aは、歯列12の上顎及び下顎の左舌側に対応し得る。第5の歯科ゾーン5aは、歯列12の上顎及び下顎の右頬側に対応し得る。第6の歯科ゾーン6aは、歯列12の上顎及び下顎の右舌側に対応し得る。第7の歯科ゾーン7aは、歯列12の上顎及び下顎の唇側に対応し得る。第8の歯科ゾーン8aは、歯列12の上顎の口蓋側に対応し得る。第9の歯科ゾーン9aは、歯列12の前部下顎の口腔側に対応し得る。更なるゾーンは、舌に対応し得る。
図3は、更なる例を例示するための歯列12を示している。歯列12は、対象表面であり得る。歯列12は、16個の歯科ゾーン1b~16bに分離され得る。任意選択で、第17のゾーンNBが存在してもよい。この第17のゾーンNBは、歯列12の外側のゾーンである。したがって、この第17のゾーンNBは、図3には明示的に例示されていない。この第17のゾーンNBは歯列12の歯科ゾーンのうちの1つに関連せず、ひいては、歯列12の歯のブラッシングに関係しないため、この第17のゾーンNBは、「ブラッシングしない」ゾーンと称されることもある。
図3に見られ得るように、第1の歯科ゾーン1bは、歯列12の上顎の左頬側に対応し得る。第2の歯科ゾーン2bは、歯列12の上顎の左側の咬合側に対応し得る。第3の歯科ゾーン3bは、歯列12の下顎の左側の咬合側に対応し得る。第4の歯科ゾーン4bは、歯列12の上顎及び下顎の左舌側に対応し得る。第5の歯科ゾーン5bは、歯列12の上顎及び下顎の右頬側に対応し得る。第6の歯科ゾーン6bは、歯列12の上顎の右側の咬合側に対応し得る。第7の歯科ゾーン7bは、歯列12の下顎の右側の咬合側に対応し得る。第8の歯科ゾーン8bは、歯列12の上顎の口蓋側に対応し得る。第9の歯科ゾーン9bは、歯列12の上顎の唇側に対応し得る。第10の歯科ゾーン10bは、歯列12の下顎の唇側に対応し得る。第11の歯科ゾーン11bは、歯列12の上顎の口蓋側に対応し得る。第12の歯科ゾーン12bは、歯列12の前部下顎の口腔側に対応し得る。第13の歯科ゾーン13bは、歯列12の下顎の左頬側に対応し得る。第14の歯科ゾーン14bは、歯列12の下顎の左舌側に対応し得る。第15の歯科ゾーン15bは、歯列12の下顎の右頬側に対応し得る。第16の歯科ゾーン16bは、歯列12の下顎の右舌側に対応し得る。
この例では、16個の運動クラスを訓練することができ(又は、ブラッシングしない運動クラスを含む17個の運動クラス)、全単射関数を使用して、運動クラスとゾーンとを互いに関連付けることができる。口腔ケアの例を参照すると、更なる運動クラスが訓練され得る。例えば、ユーザは、左上大臼歯の頬側表面及び左下大臼歯の頬側表面を個別にブラッシングする代わりに、左大臼歯の外側(すなわち、左大臼歯の頬側表面)を一緒にブラッシングする傾向があることが知られている。したがって、ニューラルネットワークは、左大臼歯の頬側表面のこの組み合わせのブラッシングに関連する更なる運動クラスに対して入力運動パターンを分類するように訓練され得る。この運動クラスは、次いで、前述のゾーンのうちの2つ、つまり、第1の歯科ゾーン1b及び第13の歯科ゾーン13bに関連付けられる。したがって、更なる訓練された運動クラスは、前歯の外側表面及び右大臼歯の頬側表面に関連し得る。かかる例では、20個の運動クラスが使用され、17個のゾーンに関連付けられる。
図2及び図3は、非限定的な例としてのみ記載されている。対象表面12はまた、記載される9個又は16個の歯科ゾーンよりも多い又は少ない歯科ゾーンを備えることができる。更に、対象表面12の外側の第10/第17の歯科ゾーンNBは、任意選択である。歯列12の1つ以上の歯科ゾーンの正確な分布は、上に記載される例とは異なる場合がある。
ニューラルネットワーク18は、回帰型ニューラルネットワーク(RNN)であり得る。例えば、ニューラルネットワークは、超短期メモリ(Long Short-Term Memory、LSTM)ネットワーク又はゲート付き回帰型ユニット(GRU)ネットワークであり得る。RNNは、双方向性回帰型ニューラルネットワークであり得る。これは、入力ベクトルのシーケンスが、左から右(例えば、過去から将来)への出力を計算する第1の回帰型ニューラルネットワーク、及び右から左(例えば、将来から過去)への出力を計算する別個の第2の回帰型ニューラルネットワークに供給されることを意味する。このようにして、RNNは、入力シーケンスにおける過去及び将来の特徴を使用することができる。次いで、2つの別個のRNNの前向き及び後ろ向きの隠れベクトルを一緒に出力層に供給して、出力ベクトルシーケンスを生成する。
代替的に、装置10は、2つの異なるニューラルネットワークを使用することができる。歯列の例を参照すると、第1のニューラルネットワークは、入力運動パターンを左大臼歯、右大臼歯、及び前歯の運動クラスに分類することができ、第2のニューラルネットワークは、入力運動パターンを上顎及び下顎の運動クラスに分類することができる。このセグメント化を直交運動クラスと呼ぶ場合がある。次いで、第1及び第2のニューラルネットワークの出力を組み合わせて、歯列の6つのゾーン、つまり、左上大臼歯、右上大臼歯、左下大臼歯、右下臼歯、上前歯、又は下前歯のうちの1つを出力することができる。これは、少なくとも、述べられる6つの運動クラスの確率値を出力する単一のニューラルネットワークを直接使用するものの代替を表す。2つのニューラルネットワークの使用は、更なるニューラルネットワークによって拡張されてもよく、例えば、第3のニューラルネットワークは、入力運動パターンを歯の頬側並びに舌側(及び咬合側)表面の運動クラスに分類することができる。
既に述べたように、インターフェースを配置して、慣性センサデータのシーケンスを運動パターン分類デバイスに提供することができ、ここで、シーケンスは、時間的シーケンスに関連する。歯のブラッシングの場合、20~30の慣性センサデータの範囲のシーケンス長さは、検知可能なシーケンス長さを表すこと、並びにこれらの慣性センサデータがサンプリングされた期間は、0.5秒~5秒の範囲であり得ること、特に、約1秒であり得ることが見出された。
RNNは、いわゆる勾配消失問題という欠点を有することがあり、勾配は、より多くの数の層で急速に消失する。勾配消失は、より緩徐な訓練速度をもたらし得る。したがって、LSTMネットワーク及び/又はGRUネットワークを使用して、勾配消失問題を回避することができる。
LSTMネットワークは、正規ネットワークユニット(例えば、完全に接続された出力層など)に加えて、LSTMモジュール又はユニットを含む人工的なニューラルネットワークである。ここで、LSTMモジュール、又はLSTMユニット、又はLSTMセル、又はLSTMブロックという用語は全て、図6aに例示的に描写されるものと同じ、つまり、完全なLSTMユニットを意味するものとする。LSTMモジュールは、LSTMユニットに値を覚えさせるために、入力がいつ十分に大きくなるか、いつ値を覚え続けるべきか、又はいつ値を忘却するべきかを決定する、ゲートを含む。
図4は、単純な形態のRNNモジュール40の例を示している。モジュール40(ニューラルユニットとも呼ばれることがある)に、特定の時間インスタントtで入力41を供給することができる。入力41は、単一の値であっても、又は2つ以上の値を含むベクトルであってもよい。特定の時間インスタントtにおける入力41を、Xで記号化することもできる。入力41の値(複数可)は、慣性センサからの生データであり得る。6軸慣性センサ(例えば、3軸加速度計及び3軸ジャイロスコープ)を使用する場合、入力41は、6つの値を有することができる。すなわち、ベクトルXは、6つのベクトル要素、又は換言すると、X∈Rを有する。
既に述べたように、可動式処置デバイスは、更なるセンサ、例えば、可動式処置デバイスが処置表面に対して押される圧力を測定する圧力センサを備え得る。かかる例では、圧力を同じ方法でサンプリングすることができ、その場合、入力41は、例えば、第7の要素、つまり、圧力値を、単一の圧力値が想定される場合、X∈Rであるように得ることができる。圧力(又は力)センサは、代わりに多軸圧力(又は力)センサであってもよく、その場合、入力は、更により高い次元を有することができる。圧力値は、ニューラルネットワークの分類品質を改善することができる。ニューラルユニット40はまた、更なる入力42を含み得る。この更なる入力42は、以前の時間インスタントt-1において、ニューラルユニット(ここでは描写せず)から提供され得る。回帰型ニューラルネットワークの計算方向は、正の時間方向(すなわち、過去から将来)で作動される必要はない。慣性センサデータのシーケンスがRNNに入力される場合、回帰型ニューラルネットワークは、時間的に最後の慣性センサデータから時間的に最初の慣性センサデータに向かって(すなわち、将来から過去)又はその逆に計算することができる。既に述べたように、RNNは、過去から将来に計算される1つの分岐、及び将来から過去に計算される別の分岐を有する双方向性RNNであり得る。これは、「以前の時間インスタント」という用語が、計算方向に対して以前の時間インスタントのみを指すことを意味するが、必ずしも時間的により早い時間インスタントを意味しない。
ニューラルユニット40は、数学的動作を提供し得る、少なくとも1つのニューラルネットワーク層43を備え得る。この例では、ゲート43は、単一のtanh層である。ボックスとして示されるニューラルネットワーク層は、学習されたネットワーク層を示すことを理解されたい。
ニューラルユニット40は、少なくとも1つの出力46を含み得る。出力46は、入力41、及び任意選択で更なる入力42を供給されたtanhニューラルネットワーク層43の動作の結果を含み得る。出力46は、後に説明される隠れ状態45をもたらし得る。
ニューラルユニット40は、任意選択で、入力41、及び任意選択で更なる入力42を供給されたtanhゲート43の動作の上述の出力結果から分岐する、更なる出力分岐46を含み得る。
図4では、各描写された線は、1つのノードの出力から他のノードの入力まで、ベクトル全体を搬送し得る。例えば、47において線が合流することは、連結を示しているが、例えば、48において線がフォーク状になることは、そのコンテンツがコピーされ、コピーが異なる位置に進むことを示している。これはまた、以下の図を参照して以下に記載される他のニューラルネットワークユニットについても当てはまる。
これは、ニューラルネットワークの当業者には一般的に知られているが、6つの値を含み得る入力ベクトルXを、モジュール40の入力層内の遙かに高い次元を有するベクトル上にマッピングすることができ、例えば、NNモジュール40で使用されるベクトルは、R256のベクトルであってもよく、ここでは、これは単に非限定的な例であることを理解されたい。ニューラルネットワーク内のベクトルの次元の典型的な値は、128、256、512、又は1024であり得るが、他の値を同様に選択することができる。したがって、このマッピングを実施するための入力重み付け行列は、RxR256行列である。バイアスベクトルは、当該技術分野において既知のように使用されてもよく、その場合、このバイアスベクトルはまた、R256のベクトルであり得る。モジュール40の出力ベクトルhもまた、R256のベクトルである。図4に示されるように、RNNがモジュールの単一の繰り返しチェーンのみを有すると想定すると、その場合、出力層は、出力ベクトルhの各々を、運動クラスの数、例えば、20個の運動クラスの場合にはR20、による次元を有する出力ベクトル上にマッピングすることができる。その場合、出力重み付け行列は、R256xR20行列である。前述したように、重み付け及びバイアスは、訓練フェーズで決定される。
図5は、RNNで使用され得る、GRUモジュール50の例を示している。上に記載される単純なRNNニューラルユニット40に加えて、GRUニューラルユニット50は、2つの更なるニューラルネットワーク層、つまり、第1のシグモイド層53と、第2のシグモイド層54と、を備え得る。更に、GRUニューラルユニット50は、例えば、ベクトル加算58のような点別動作55、56、57、58、59を含み得る。
図6aは、本発明による装置10内のニューラルネットワーク18で活用され得るLSTMモジュールとして一般的に知られている、繰り返しモジュール60の例を示している。上に記載されるニューラルユニット40、50に加えて、LSTMユニット60は、ニューラルユニット60の頂部を通って走る水平線61であるセル状態を含み得る。ニューラルユニット60は、セル状態入力62を受信することができ、セル状態出力66を作成することができる。
ニューラルユニット60は、3つのゲート(又はゲート層)、つまり、入力ゲート54と、出力ゲート63と、忘却ゲート53と、を備え得る。これらのゲート53、54、63の各々は、フィードフォワード(又は多層)ニューラルネットワーク内の「標準」ニューロンとして考えることができる。つまり、それらは、重み付き合計の活性化(活性化機能を使用する)を計算する。情報は、これらのゲート53、54、63によってセル状態(水平線61)まで除去又は追加され得る。入力ゲート54は、入力ゲートと一緒になってセル状態の更新を決定する候補状態を作成する、tanh層43と組み合わされる。LSTMユニット内の流れを説明する、以下で更に示され、論じられる等式のセットも参照されたい。
ニューラルユニット50及び60は、例示的なニューラルユニットとして単に示され、論じられていることを理解されたい。他のニューラルユニットは、のぞき穴接続、並びに/又は接続された忘却及び入力ゲート層を使用することができる。長期依存は、例えば、クロックワークRNN又は他のマルチスケールRNNによってアプローチすることもできる。
図6bは、ニューラルユニットの(時間インスタントtに対する)以前の状態及び後続の状態が描写されるLSTMモジュールを備える、アンロールされたRNNの例を示している。具体的には、時間インスタントtにおけるニューラルユニット60が描写されている。更に、以前の時間インスタントt-1における更なるニューラルユニット60t-1が描写されている。なお更に、後続の時間インスタントt+1における更なるニューラルユニット60t+1が描写されている。描写されるニューラルユニット60t-1、60、60t+1は、同じニューラルユニットであるが、異なる時点、つまり、時間インスタントtにおける、以前の時間インスタントt-1及び後続の時間インスタントt+1を表すことができる。図6bは、入力シーケンス内に入力ベクトルXが存在するときほどに多くの繰り返しニューラルユニットを有する、アンロールされたLSTMネットワークの一部分として理解され得る。前述したように、20~30、例えば、約25の範囲のシーケンス長さを使用することができる。
上に記載される入力41はまた、文字Xによって記号化されてもよく、慣性センサ13からの少なくとも1つのセンサデータ17、17、17、…、17を含んでもよい。入力Xは、時間依存性であってもよく、したがって、X=X(t)である。具体的には、描写される入力Xは、考慮される時間インスタントtの間に取得されたセンサデータ17を含むことができ、描写される入力Xt-1は、以前の時間インスタントt-1の間に取得されたセンサデータ17を含むことができ、描写される入力Xt+1は、後続の時間インスタントt+1の間に取得されたセンサデータ17を含むことができる。前で説明されたように、入力Xは、RNNの入力層に供給される。
図6bに更に見られ得るように、ニューラルユニット60t-1、60、60t+1は、各描写される時間インスタントt-1、t、t+1において、それぞれの出力値yt-1、y、yt+1を提供することができる。出力値y(t)は、単一の値(1つの単一の運動クラスのみが存在する場合)であっても、又は複数のベクトル要素を含むベクトルであってもよい。
出力値y(t)は、RNNの完全に接続された出力層において、以下のように計算することができ、
=ソフトマックス(Why・h+b)
式中、Whyは、それぞれの出力重み付け行列であり、bは、それぞれの出力バイアスベクトルである。出力ベクトルy(t)は、図7に関してより詳細に説明されるように、0~1の範囲の確率値を含む。出力ベクトルy(t)は、1つ以上のベクトル要素を含み、各ベクトル要素は、入力ベクトルX、すなわち、慣性センサデータ17、17、17、…、17が運動クラス15、15、15、…、15のうちの1つに関連する、確率値を提供する。ソフトマックス関数の適用は、単に任意選択であることを理解されたい。具体的には、出力ベクトルにおける最も高い確率を有する運動クラスの識別は、任意の正規化なしに行うことができる。
更に、描写されるニューラルユニット60t-1、60、60t+1は、同じ層、つまり、第1の層に配置され得る。本発明のいくつかの例は、1つ以上の更なる積重された層を含み得、各層は、それ自体のニューラルユニット(複数可)を含み得る。かかる例は、例えば、図7を参照して後で記載され得る。しかしながら、少なくとも第1の層を有する例及び実施形態は、図6bを更に参照して記載される。
この実施形態によれば、ニューラルネットワーク18は、ここではLSTMユニットの、ニューラルユニット60t-1、60、60t+1の第1の層を備えることができ、上記第1の層は、ニューラルユニット60を備え、第1の時間インスタントtにおいて、少なくとも1つの慣性センサデータXは、第1の層のニューラルユニット60に入力される。後続の第2の時間インスタントt+1において、第2の慣性センサデータXt+1、及び以前の第1の時間インスタントtのニューラルユニット60の少なくとも1つの出力hは、第1の層のニューラルユニット60t+1に入力される。
図7は、ニューラルネットワーク18が、ニューラルユニットの少なくとも2つの積重された層、つまり、第1の層71及び第2の層72を備える、更なる例を示している。第1の層71は、少なくとも第1のニューラルユニット60を備え、第2の層72は、少なくとも第2のニューラルユニット70を備える。示される積重された構造は、積重された複数のRNN隠れ層を備える深層RNN構造であると理解され得る。
見られ得るように、異なる時間インスタンスt-1、t、t+1で取得されたセンサデータ17、17、17は、入力Xt-1、X、Xt+1として、第1の層71のそれぞれのニューラルユニット60t-1、60、60t+1に供給される。
第1の層71の各ニューラルユニット60t-1、60、60t+1の隠れ出力ベクトル45t-1、45、45t+1は、入力として、第2の層72のそれぞれのニューラルユニット70t-1、70、70t+1に供給され得る。
第1の層71のニューラルユニット60t-1、60、60t+1及び第2の層72のニューラルユニット70t-1、70、70t+1は、同一であり得る。代替的に、第1の層71のニューラルユニット60t-1、60、60t+1及び第2の層72のニューラルユニット70t-1、70、70t+1の内部構造は、互いに異なり得る。
図7に示される実施形態によれば、ニューラルネットワーク18は、少なくとも第1の層71と、第2の層72と、を備えることができ、第1の層71は、第1のニューラルユニット60を備えることができ、第2の層72は、第2のニューラルユニット70を備えることができ、第1の時間インスタントtにおいて、少なくとも1つの慣性センサデータXが、第1の層71の第1のニューラルユニット60に入力され、第1のニューラルユニット60の出力hが、第2の層72のニューラルユニット70に入力される。双方向性RNNの場合、別個の層の各々の中間隠れ出力ベクトル45は、次の層のニューラルユニットに供給され得る。
これまで、垂直方向、すなわち、底部の第1の層71から頂部の第2の層72への信号経路を記載してきた。しかしながら、図7の実施形態では、水平方向の信号経路も示されている。
見られ得るように、第1の時間インスタントtにおける第1のニューラルユニット60のセル状態出力C、及び/又は第1の時間インスタントtにおける第1のニューラルユニット60の出力h46は、入力として、再び第1のニューラルユニット60に、つまり、後続の時間インスタントt+1において第1のニューラルユニット60t+1に供給され得る。既に上述したように、ニューラルユニット60自体は、同じニューラルユニットであり得るが、異なる時間インスタンスt-1、t、t+1におけるニューラルユニット60の状態の例示を容易にするために、ニューラルユニット60t-1、60、60t+1のチェーンとしてのみ図に描写され得る。換言すれば、水平信号経路は、異なる後続の時間インスタンスt-1、t、t+1におけるニューラルユニット60の信号経路を説明し得る。同様に、第2の層72及び任意の潜在的な更なる層についても当てはまる。
したがって、描写される後続の時間インスタンスt-1、t、t+1は、ニューラルネットワーク18が、取得されたセンサデータ17、17、17、…、17をサンプリングして処理し得る間の長さ77を表し得る。したがって、上記長さ77は、ランレングス、サンプル長さ、又はサンプル期間と称されることがある。例えば、サンプル長さ77は、1秒に対応し得、時間インスタンスt-1、t、t+1は、上記1秒の端数であり得る。例えば、サンプル期間77は、50個のサンプルの長さ、すなわち、50個の時間インスタンスを有し得る。ニューラルネットワーク18は、サンプル期間中に1回作動され得るか、又はニューラルネットワーク18は、2つ以上のサンプル期間にわたって恒久的に作動され得る。
したがって、更なる実施形態によれば、ニューラルネットワーク18は、少なくとも第1の層71と、積重された第2の層72と、を備えることができ、第1の層71は、第1のニューラルユニット60を備えることができ、第2の層72は、第2のニューラルユニット70を備えることができ、第1の時間インスタントtにおいて、少なくとも1つの慣性センサデータXが、第1の層71の第1のニューラルユニット60に入力され得、第1のニューラルユニット60の少なくとも1つの出力hが、第2の層72のニューラルユニット70に入力され得る。これまで、上に記載されるものと同じであってもよい。しかしながら、追加的に、後続の第2の時間インスタントt+1における第2の慣性センサデータXt+1、及び第1の時間インスタントtにおける第1のニューラルユニット60の少なくとも1つの出力h46は、後続の第2の時間インスタントt+1における第1のニューラルユニット60t+1に入力される。
上述のように、いくつかの数学的動作は、例えば、ゲート43、53、54、63のニューラルネットワーク18によって実行され得る。図7に示される例では、以下の数学的動作を異なる段階で実行することができ、
Figure 0007221291000001
式中(時間tの代わりに、ここで選択された表記法はjをランニング指標として使用する)、
は、入力ベクトルであり、
は、入力ゲートの活性化ベクトルであり、
jkは、忘却ゲートの活性化ベクトルであり、
は、出力ゲートの活性化ベクトルであり、
は、候補状態ベクトルであり、
は、セル状態ベクトルであり、
は、LSTMモジュール又はニューラルユニット60、70の出力ベクトルであり、
この例では、入力センサデータXは、要素ベクトルX∈Rであり得る。例えば、入力テンソルX∈R、[A、A、A、G、G、Gであり得る。
更に、重み付け行列W、U及びバイアスベクトルbは、各ネットワーク層で使用され、この例では、
入力重み付けWxy∈R6×256
隠れ層重み付けUxy∈R256×256
隠れ層b∈R256に使用されるバイアス、である。
隠れ状態hはまた、256個の要素h∈R256を含む、要素ベクトルである。
更に、セル状態cはまた、256個の要素c∈R256を含む、要素ベクトルである。
上述のように、入力慣性センサデータXは、6つのベクトル要素、例えば、入力テンソルX∈R、[A、A、A、G、G、Gを含む、要素ベクトルX∈Rであり得る。これらのベクトル要素[A、A、A、G、G、Gはまた、慣性センサデータ部分と称されることもある。
一実施形態によれば、少なくとも1つの慣性センサデータ17は、x、y、及びz方向の線形速度と、x、y、及びz軸に対する角速度と、x、y、及びz方向の線形加速度と、x、y、及びz軸に対する角加速度と、を含む群の少なくとも3つの慣性センサデータ部分を含み得る。
換言すれば、慣性センサ13は、1つ以上の時間インスタンスt-1、t、t+1において慣性センサデータ17、17、17、…、17を提供することができ、慣性センサデータ17、17、17、…、17は、1つの観測された時間インスタンスt-1、t、t+1における可動式処置デバイス11の現在の向き及び運動に依存し得る。慣性センサデータ17、17、17、…、17の各々は、少なくとも3つ、又は他の例では、少なくとも6つのベクトル要素を含むベクトルであり得、上記ベクトル要素は、上述の慣性センサデータ部分を表し、上記慣性センサデータ部分のうちの少なくとも1つは、ゼロであり得る。
したがって、慣性センサデータ17、17、17、…、17(ベクトル)、及び特に、センサデータ部分(ベクトル要素)は、1つ以上の後続の時間インスタンスt-1、t、t+1を含むサンプル期間77の間にサンプリングされた、可動式処置デバイス11の現在の運動パターンを表すことができる。
図7に描写される一実施形態によれば、少なくとも1つの慣性センサデータ17(ベクトル)は、1つ以上の慣性センサデータ部分(ベクトル要素)を含み得、第1の時間インスタントtにおけるニューラルユニット60への入力は、上記第1の時間インスタントtの間に回収された1つ以上の慣性センサデータ部分を含む、それぞれの慣性センサデータ17である。少なくとも1つの慣性センサデータ17、17、17、…、17は、サンプル時間77の間にサンプリングされ得る。
ニューラルネットワーク18は、最初に図1を参照して記載されたように、運動クラスのセット15に含まれる少なくとも1つの運動クラス15、15、15、…、15に対して、サンプル時間77の間にサンプリングされた少なくとも1つのサンプリングされた慣性センサデータ17、17、17、…、17を分類することができる。
記載されたように、ニューラルネットワークの出力ベクトルyは、各々が0~1の範囲の値を有するベクトル要素を含み得、ベクトル要素は、任意選択のソフトマックス関数が適用される場合、最大1まで合計する。したがって、各ベクトル要素は、入力ベクトルXが運動クラス15、15、15、…、15のうちの1つに関連する、確率値である。運動パターン分類デバイス14は、入力が関連する運動クラスとして最も高い確率値を受信した運動クラスを示し得る。いくつかの実施形態では、運動パターン分類デバイス14は、最も高い確率値が特定の閾値を下回る、例えば、(正規化された出力の場合に)0.7を下回る場合、運動クラスを示し得ない。閾値を下回る値を見て、予測品質が低く、結果が信頼できないことを示すことができる。いくつかの実施形態では、運動パターン分類デバイス14は、入力ベクトルの完全なシーケンスの動作クラスを示すことができ、示された運動クラスを、出力ベクトルのシーケンスに関する最大基準又は大基準を適用することによって識別した。
換言すれば、ニューラルネットワーク18は、慣性センサデータ17、17、17、…、17を入力x(t)として受信することができ、1つ以上の確率値を出力y(t)として出力することができる。上述のように、図7に示される例では、出力値y(t)はまた、例えば、少なくとも3個、又は少なくとも6個、又は少なくとも12個のベクトル要素を含む、要素ベクトルであり得る。出力ベクトルy(t)の各ベクトル要素は、ゾーン21、21、21、…、21に関連付けられ得る運動クラス15、15、15、…、15の確率値を表し得る。これは、運動パターン分類デバイス14が、例えば、閾値を上回る最も高い確率値を有する運動クラスを選択することによって、単一の運動クラスを出力として提供する場合、内部で可動式処置デバイスがサンプリング期間の間に使用された、関連付けられた1つ以上のゾーンが、例えば、ディスプレイ上でユーザに示され得ることを意味する。
ニューラルネットワーク18は、少なくとも1つの慣性センサデータ17、17、17、…、17を受信し、少なくとも1つの運動クラス15、15、15、…、15に対して少なくとも1つの慣性センサデータ17、17、17、…、17を分類することができ、上記運動クラス15、15、15、…、15は各々、対象表面12の1つ以上の異なるゾーン21、21、21、…、21に関連付けられ得るため、確率値を見て、取得された少なくとも1つの慣性センサデータ17、17、17、…、17が対象表面12の異なるゾーン21、21、21、…、21のうちの1つに対応する確率を示すことができる。
換言すれば、装置10は、運動パターン分類デバイス14から、単にセンサデータ17、17、17、…、17を受信し、各々が対象表面12の1つ以上のゾーン21、21、21、…、21に関連付けられた運動クラス15、15、15、…、15に対して上記センサデータ17、17、17、…、17を分類することによって、対象表面12のどのゾーン21、21、21、…、21に可動式処置デバイス11が位置するかの推定を導き出すことができる。
図8は、対象表面12に対する可動式処置デバイス11の位置特定を実施するための本発明の方法の一例のブロック図を示しており、可動式処置デバイス11は、慣性センサ13を備え、可動式処置デバイス11は、対象表面12を処置するように構成されている。
ブロック801において、本方法は、可動式処置デバイス11の運動クラスのセット15に含まれる2つ以上の運動クラス15、15、15、…、15間を判別する工程を含む。ここで、判別とは、運動パターン分類デバイス14が、2つ以上の運動クラスに対する入力運動パターンを分類するように学習されることを意味するものとする。換言すれば、2つ以上の運動クラスを提供し、それにより、分類を行うことができる。
ブロック802では、本方法は、慣性センサ13から少なくとも1つの慣性センサデータ17、17、17、…、17を受信する工程を含み、少なくとも1つの慣性センサデータ17、17、17、…、17は、可動式処置デバイス11の運動を表す。
ブロック803では、本方法は、ニューラルネットワーク18によって、少なくとも1つの慣性センサデータ17、17、17、…、17を受信して処理し、かつ運動クラスのセット15に含まれる少なくとも1つの運動クラス15、15、15、…、15に対して少なくとも1つの慣性センサデータ17、17、17、…、17を分類する工程を含み、運動クラスのセット15に含まれる上記運動クラス15、15、15、…、15は各々、対象表面12の1つ以上の異なるゾーン21、21、21、…、21に関連付けられ、それにより、少なくとも1つの運動クラス15、15、15、…、15による少なくとも1つの慣性センサデータ17、17、17、…、17の分類が、対象表面12の1つ以上のゾーン21、21、21、…、21に対する可動式処置デバイス11の位置の推定を示す、方法。
図9は、本発明の第2の態様による装置100を示している。第2の態様の装置100は、第1の態様の上に記載される装置10と同様であり得る。更に、第1の態様の装置10に関して上に記載される特徴の全ては、以下に記載される第2の態様の装置100と組み合わせ可能であり、逆もまた同様である。
第2の態様の装置100は、運動クラス15、15、15、…、15が、対象表面12の異なるゾーン21、21、21、…、21の代わりに、1つ又はいくつかの関連付けられたクラス101、102、103、104の1つ以上のクラスメンバ101A、101B、…、mA、mBに関連付けられ得るという点で、第1の態様の装置10(図1参照)とは異なり得る。本質的に、これは、関連付けられたクラス101が適切なものであり得るため、装置10に関して論じられる基本概念のより抽象的かつより広範な考察である。以下の説明では、ユーザに関連して関連付けられるクラス、特に、ユーザ群の異なるメンバ(例えば、家庭の異なるメンバ)に関連し得るか、又は可動式処置デバイス11を使用する異なるスタイルを有するユーザに関連し得る、関連付けられるクラス101に焦点が置かれている。
したがって、第2の態様の装置100は、慣性センサ13を備える可動式処置デバイス11の運動を分類するように構成されている。装置100は、可動式処置デバイス11の運動クラスのセット15に含まれる2つ以上の運動クラス15、15、15、…、15間を判別するように構成された、運動パターン分類デバイス14を備える。
更に、装置100は、慣性センサ13からの少なくとも1つの慣性センサデータ17、17、17、…、17を運動パターン分類デバイス14に提供するためのインターフェース16を備え、少なくとも1つの慣性センサデータ17、17、17、…、17は、可動式処置デバイス11の運動を表す。
本発明の第2の態様によれば、運動パターン分類デバイス14は、少なくとも1つの慣性センサデータ17、17、17、…、17を受信し、かつ運動クラスのセット15に含まれる少なくとも1つの運動クラス15、15、15、…、15に対して少なくとも1つの慣性センサデータ17、17、17、…、17を分類するように構成された、ニューラルネットワーク18を備え、少なくとも1つの分類された運動クラス15、15、15、…、15は、1つ以上の関連付けられるクラス101、102、103、104の少なくとも1つ以上のクラスメンバ101A、101B、102A、102B、103A、103B、mA、mBに関連付けられ、それにより、少なくとも1つのクラスメンバ101A、101B、…、mA、mBが、可動式処置デバイス11の運動に基づいて選択される。
入力運動パターンの分類、すなわち、運動クラスのセット15に含まれる運動クラス15、15、15、…、15に対する慣性センサデータ17、17、17、…、17に関して、前の説明を参照する。
図9の非限定的な例は、4つの関連付けられたクラス101、102、103、104を示しており、各関連付けられたクラスは、2つのクラスメンバ101A、101B、…、mA、mBを含む。しかしながら、少なくとも1つの関連付けられたクラスが存在してもよく、各関連付けられたクラスは、少なくとも2つのクラスメンバを含んでもよい。また、3つ以上の関連付けられたクラス、又は更には例示的に描写される4つの関連付けられたクラスよりも多くが存在してもよい。
図9の例に見られ得るように、第1の運動クラス15は、第1の関連付けられたクラス101のクラスメンバ101Aに関連付けられ得る。第Kの運動クラス15は、第mのクラス104のクラスメンバmBに関連付けられ得る。第2の運動クラス15は、関連付けられた異なるクラスの2つのクラスメンバ、例えば、第1の関連付けられたクラス101のクラスメンバ101B及び第2の関連付けられたクラス102のクラスメンバ102Aに関連付けられ得る。第3の運動クラス15は、関連付けられた同じクラスの2つのクラスメンバ、例えば、第3の関連付けられたクラスの2つのクラスメンバ103A、103Bに関連付けられ得る。
以下では、関連付けられたクラス及びクラスメンバのいくつかの例が記載される。
一実施形態によれば、1つ以上の関連付けられたクラス101、102、103、104のうちの少なくとも1つの関連付けられたクラス101は、少なくとも1つのクラスメンバ101Aを含み得、上記1つの関連付けられたクラス101は、ユーザ群を表すことができ、上記少なくとも1つのクラスメンバ101Aは、上記ユーザ群の少なくとも1人のユーザを表すことができ、少なくとも1つの運動クラス15、15、15、…、15は、可動式処置デバイス11の運動に基づいて、上記少なくとも1人のユーザを識別するための少なくとも1つのクラスメンバ101Aに関連付けられ得る。
換言すれば、関連付けられたクラス101、102、103、104のうちの1つは、ユーザ群、すなわち、可動式処置デバイス11を使用するユーザの群を表し得る。それぞれの関連付けられたクラスは、上記ユーザ群の1人の特定のユーザを表し得る少なくとも1つのクラスメンバを含み得る。例えば、第1のクラス101は、ユーザ群を表すことができ、上記ユーザ群は、単一の家庭の個人に関連し得る。この例では、ユーザ群101は、1つのクラスメンバ101A、すなわち、1人の人物のみを含み得る。本発明の装置100は、可動式処置デバイス11の運動に基づいて、簡単に上記少なくとも1人のユーザ101Aを識別するように構成され得る。したがって、装置100は、後でいくつかの例で説明されるように、上記1人の識別されたユーザ101Aとの任意の行為又は相互作用を個人化し得る。
更なる実施形態によれば、1つ以上の関連付けられたクラス101、102、103、104のうちの少なくとも1つの関連付けられたクラス101は、少なくとも2つのクラスメンバ101A、101Bを含み得、上記1つの関連付けられたクラス101は、ユーザ群を表すことができ、上記少なくとも2つのクラスメンバ101A、101Bは、上記ユーザ群の少なくとも2人のユーザを表すことができ、少なくとも1つの運動クラス15、15、15、…、15は、可動式処置デバイス11の運動に基づいて、ユーザ群内の少なくとも1人のユーザを識別するための少なくとも2つのクラスメンバ101A、101Bのうちの1つに関連付けられ得る。
換言すれば、関連付けられたクラス101、102、103、104のうちの1つは、ユーザ群、すなわち、可動式処置デバイス11を使用するユーザの群を表し得る。それぞれの関連付けられたクラスは、上記ユーザ群の1人の特定のユーザを表し得る少なくとも1つのクラスメンバを含み得る。例えば、第1の関連付けられたクラス101は、ユーザ群を表すことができ、上記ユーザ群は、ある家族であり得る。上記関連付けられたクラス101のクラスメンバ101A、101Bは、家族メンバを表し得る。例えば、ユーザ群101は、1つ以上の家族メンバを含むことができ、第1のクラスメンバ101Aは、家族の母親を表すことができ、第2のクラスメンバ101Bは、家族の子供を表すことができる。
装置100は、可動式処置デバイス11の運動に基づいて、簡単に少なくとも1人のユーザを識別するように構成され得る。これは、全てのユーザが可動式処置デバイス11を異なる又は個別の方法で使用することができる場合に達成され得る。
例えば、一実施形態では、可動式処置デバイス11は、歯ブラシ、特に、電動歯ブラシなどの可動式口腔ケアデバイスである。可動式口腔ケアデバイスはまた、デンタルフロス、プラーク除去デバイス、超音波デバイス、及びウォータージェットデバイスのうちの少なくとも1つであり得る。
上の例を取り上げると、母親101Aは、歯ブラシ11を子供101Bとは異なる方法で使用し得る。歯ブラシ11の慣性センサ13は、その慣性センサデータ17、17、17、…、17を、ニューラルネットワーク18を含む運動パターン分類デバイス14に提供することができる。ニューラルネットワーク18は、既に記載したように、少なくとも1つの運動クラス15、15、15、…、15に対して慣性センサデータ17、17、17、…、17を分類することができる。
例えば、図9に示されるように、母親は、第1の運動クラス15に対応するブラッシングスタイルを有し得る。この運動クラス15は、母親を表すクラスメンバ101Aに関連付けられ得る。代わりに、子供は、母親とは異なるブラッシングスタイル、例えば、第2の運動クラス15に対応するブラッシングスタイルを有し得る。この運動クラス15は、子供を表すクラスメンバ101Bに関連付けられ得る。
したがって、本発明の装置100は、可動式処置デバイス11の異なる運動パターンに基づいて、簡単にユーザ群のユーザを識別することができる。上述のように、本発明の装置100は、識別されたユーザとの任意の行為又は相互作用を個人化することができる。
一実施形態によれば、運動パターン分類デバイス14は、上記少なくとも1人のユーザ101Aを識別する工程に基づいて、上記識別された少なくとも1人のユーザ101Aによって特徴がある、可動式処置デバイス11の2つ以上のユーザ特有の運動クラス115、115、115、…、115を含むユーザ特有のセット115を選択するように構成され得る。
この2工程処理の例が、図10に示されている。第1の工程121で、ユーザが識別される。識別されたユーザは、個別化されたラベル付き訓練データを使用してニューラルネットワーク18によって個別に訓練されている運動クラス115、115、115、…、115のユーザ特有のセット115に関連付けられ得る。第2の工程122では、ニューラルネットワーク18は、ユーザ特有のセット115からユーザ特有の運動クラス115、115、115、…、115を使用する。換言すれば、ニューラルネットワーク18は、次いで、より広範な集団に有効である重み付け及びバイアスの代わりに、特定のユーザに関連付けられた重み付け及びバイアスを使用し得る。したがって、本発明の装置100は、識別されたユーザごとに個別に行動及び相互作用し得る。
図10では、ニューラルネットワーク18が、少なくとも1つの慣性センサデータ17、17、17、…、17を受信し、かつそれを、運動クラスのセット15に含まれる運動クラス15、15、15、…、15のうちの少なくとも1つに対して分類する、第1の工程121が示されている。少なくとも1つの分類された運動クラス、例えば、第kの運動クラス15は、第1の関連付けられたクラス101のクラスメンバ101Bに関連付けられ得る。この手順は、図9を参照して上に記載される手順に対応し得る。
関連付けられたクラス101は、ユーザ群に関連し得、クラスメンバ101Bは、上記ユーザ群の特定のユーザであり得る。上の例を取り上げると、識別されたユーザ101Bは、家族の子供であり得る。装置100は、ユーザ特有の運動クラスを記憶している場合がある。つまり、識別されたユーザ、すなわち、子供101Bは、装置100に記憶された運動クラス115、115、115、…、115の、ユーザ独自の個別のユーザ特有のセット115を有し得る。第1の工程121での識別に続く任意の更なる行為のために、運動パターン分類デバイス14、かつ特に、ニューラルネットワーク18は、以前に識別されたユーザに属する、これらのユーザ特有の運動クラス115、115、115、…、115を使用し得る。前に述べたように、運動クラスへの参照は、重み付け及びバイアスのユーザ特有のセットが、ユーザ特有のラベル付き入力データを使用して重み付け及びバイアスが訓練されたニューラルネットワーク18によって使用されることを意味する。
したがって、ニューラルネットワーク18は、上記少なくとも1人のユーザ101Bを識別する工程121の後に、上記識別された少なくとも1人のユーザ101Bによって特徴がある、可動式処置デバイス11の2つ以上のユーザ特有の運動クラス115、115、115、…、115を含む少なくとも1つのユーザ特有のセット115を選択し得る。
したがって、ユーザを識別する第1の工程121に続く第2の工程122では、ニューラルネットワーク18は、運動クラス15、15、15、…、15のセット15の代わりに、ユーザ特有の運動クラス115、115、115、…、115のユーザ特有のセット115を使用し得る。つまり、運動パターン15、15、15、…、15のセット15を活用することによって装置10、100により実行され得る、本明細書に記載される行為の全てを、運動パターン15、15、15、…、15のセット15の代わりに、運動クラス115、115、115、…、115のユーザ特有のセット115を活用することによって装置10、100により、識別されたユーザごとに個別化又は個人化して実行することもできる。
したがって、一実施形態によれば、ニューラルネットワーク18は、上記少なくとも1人のユーザ101Bを識別する第1の工程121の後に、運動クラスのセット15を、選択されたユーザ特有のセット115に置き換え、かつ運動パターンのセット15に含まれる2つ以上の運動クラス15、15、15、…、15を、ユーザ特有の運動パターンのプリセット115に含まれる2つ以上のユーザ特有の運動クラス115、115、115、…、115に置き換えるように構成され得る。運動クラス15、15、15、…、15は、可動式処置デバイスを移動させるユーザを予測するように選択されたが、運動クラス115、115、115、…、115は、可動式処置デバイス11の位置特定などの異なるタスクのために選択されている場合もあることに留意されたい。
追加的又は代替的に、装置100は、少なくとも第2のニューラルネットワークを備え得る。図11は、かかる例を示している。
図11の装置100の例は、図10に示される例の装置100に実質的に対応し得る。図11の装置は、図11の装置が第2のニューラルネットワーク18を備え得る点で、図10の装置とは異なる。図10を参照して説明したが、構造的に同じニューラルネットワーク18が2つの異なる分類タスクに使用されること、並びに重み付け及びバイアスのみを変更することができ、本例は、構造が異なる2つの異なるニューラルネットワークを使用し、これにより、分類タスクごとに、最適化されたニューラルネットワーク構造を使用することを可能にすることを理解されたい。
図11に見られ得るように、第1の工程121では、第1のニューラルネットワーク18は、上に記載される行為、例えば、ユーザ群101のユーザ101Bを識別することを実行し得る。しかしながら、第2の工程122では、慣性センサデータ17、17、17、…、17は、上記第2のニューラルネットワーク18に供給され得る。第2のニューラルネットワーク18は、上に記載されるように、運動クラス115、115、115、…、115のユーザ特有のセット115を使用し得る。明らかに、運動クラス115、115、115、…、115の少なくとも2つの異なるセット115は、1人のユーザに対して最適化された1つの運動クラスのセット、及び別のユーザに対して最適化された別の運動クラスのセットを用いて、第2のニューラルネットワークを作動させるために、装置に記憶させる必要がある。
換言すれば、上記少なくとも1人のユーザ101Bを識別する第1の工程121の後に、運動パターン分類デバイス14は、第2のニューラルネットワーク18を使用することができ、第2のニューラルネットワーク18は、少なくとも1つの慣性センサデータ17、17、17、…、17を受信し、かつ運動クラスのユーザ特有のセット115に含まれる少なくとも1つのユーザ特有の運動クラス115、115、115、…、115に対して、少なくとも1つの慣性センサデータ17、17、17、…、17を分類するように構成され得、上記ユーザ特有の運動クラス115、115、115、…、115は各々、関連付けられたクラス102の少なくとも1つのクラスメンバ102A、102Bに関連付けられ得、それにより、少なくとも1つのクラスメンバ102A、102Bは、可動式処置デバイス11の運動に基づいて選択される。関連付けられたクラス102は、対象表面に関連し得、クラスメンバは、対象表面のゾーンである。
したがって、運動パターン分類デバイス14は、少なくとも1つの慣性センサデータ17、17、17、…、17によって可動式処置デバイス11の運動をユーザ特有に分類するために、ユーザ特有の運動クラス115、115、115、…、115のユーザ特有のセット115を使用するように構成され得る。
図10及び図11の例に示されるように、装置100は、第2の工程122で目的を分類するための少なくとも1つの関連付けられたクラス102を含み得る。しかしながら、装置100は、図9の例に示されるように、第2の工程122において、2つ以上の関連付けられたクラスを含み得る。
上記第2の工程122では、例えば、第1の工程121で特定のユーザが識別された後、異なる行為を可動式処置デバイス11によって実施することができる。例えば、可動式処置デバイス11は、その動作モードを、識別されたユーザに基づいて変更することができる。例えば、可動式処置デバイス11は、電気的に駆動され得、かつモータを備えることができ、可動式処置デバイス11は、識別されたユーザに基づいて、周波数、振幅、又は脈動などの1つ以上のモータ特有の特徴を変更することができる。追加的又は代替的に、可動式処置デバイス11は、ユーザと通信するか、又はユーザにフィードバックを提供するための1つ以上の要素、例えば、光、例えば、LEDなどの視覚要素、又は振動モータなどの触覚要素を備え得る。例えば、可動式処置デバイス11は、通信するための上記要素の動作モードを変更することによって、例えば、LED光を異なる色に変更することによって、又は識別されたユーザに基づいて、振動モータによる異なるパルスフィードバックを提供することによって、識別されたユーザに基づいてユーザエクスペリエンスを変更することができる。
ユーザ群の特定のユーザ、例えば、家族の家族メンバを識別することに加えて又は代替的に、装置100は、特定のユーザタイプを識別するように構成され得る。例えば、可動式処置デバイス11が歯ブラシである場合、一部の人々は自身の歯のブラッシングを自身の前歯又は切歯で開始するが、一部の他の人々は自身の歯のブラッシングを自身の後歯又は大臼歯で開始し得る。更なる例では、個人用器具がかみそりである場合、一部の人々は、ヒゲの生える向きに沿って剃る場合があり、一部の他の人々は、ヒゲの生える向きに逆らって剃る場合がある。要約すると、ユーザタイプは、特定の方法で可動式処置デバイス11を使用するユーザのタイプであり得る。ユーザタイプの群にクラスタ化することができる2人以上のユーザが存在し得る。前で説明したユーザ識別の例は、代わりに、各ユーザを個別に識別する。
ユーザタイプを識別するための一実施形態によれば、1つ以上の関連付けられたクラス101、102、103、104のうちの少なくとも1つの関連付けられたクラス104は、少なくとも2つのクラスメンバnA、nBを含むことができ、上記1つの関連付けられたクラス104は、可動式処置デバイス11のユーザタイプを表すことができ、第1のクラスメンバnAは、可動式処置デバイス11の第1のユーザタイプを表すことができ、第2のクラスメンバnBは、可動式処置デバイス11の第2のユーザタイプを表すことができ、少なくとも1つの運動クラス15、15、15、…、15は、可動式処置デバイス11の運動に基づいて、可動式処置デバイス11のユーザタイプを識別するための第1又は第2のクラスメンバmA、mBのいずれかに関連付けられ得る。
更なる実施形態によれば、運動パターン分類デバイス14は、上記ユーザタイプを識別する工程の後に、上記識別されたユーザタイプによって特徴がある、可動式処置デバイス11の2つ以上のユーザタイプ特有の運動クラス115、115、115、…、115を含むユーザタイプ特有のセット115を選択するように構成され得、ニューラルネットワーク18は、上記ユーザタイプを識別する工程の後に、運動クラスのセット15を、選択されたユーザタイプ特有のセット115に置き換え、かつ運動クラスのセット15に含まれる2つ以上の運動クラス15、15、15、…、15を、2つ以上のユーザタイプ特有の運動クラス115、115、115、…、115に置き換えるように構成され得る。
ユーザ特有の運動クラス115、115、115、…、115のユーザ特有のセット115に関して上に説明されていることは全て、ユーザタイプ特有の運動クラス115、115、115、…、115のユーザタイプ特有のセット115についても当てはまる。
上述のように、識別されたユーザタイプは、クラスタ又はユーザタイプの群にクラスタ化され得る。したがって、装置100は、ユーザが特定のユーザタイプ群にクラスタ化される前に、ユーザが可動式処置デバイス11を既定の回数にわたって使用し得るクラスタ分析を実施し得る。例えば、ユーザは、自身のかみそりを5日間に5回使用する場合がある。5日のうち4日は、ユーザは、ヒゲの生える向きに逆らって剃る場合がある。したがって、5日目の後に、装置100は、このユーザを、全てのユーザがヒゲの生える向きに逆らって剃るユーザタイプ群にクラスタ化することができる。
クラスタ分析を、より短い時間間隔で実施することもできる。すなわち、歯ブラシ11のオンオフの切り替えを直接連続的に行うことができる。例えば、ユーザは、第1の時間で自身の電動歯ブラシ11をオンオフに切り替え、歯ブラシ11を再び再開させるために、それを第2の時間でオンに切り替えることができる。歯ブラシ11を再開させる時間において、本発明の装置100、特に、ニューラルネットワーク18を再開させることもできる。歯ブラシ11は、オンに切り替えられると、クラスタ分析のための情報を収集することができる。しかしながら、少なくともニューラルネットワーク18は、クラスタ分析のための新たな情報が収集される前に、毎回再開されるものとする。要約すると、装置100は、ユーザを特定のユーザタイプ群に最終的にクラスタ化する前に、クラスタ分析を繰り返し(例えば、5回)実施し得る。
ユーザが特定のユーザタイプ特有の群にクラスタ化された後、ニューラルネットワーク18は、ユーザタイプ特有の運動パターン115、115、115、…、115の、関連付けられたユーザタイプ特有のプリセット115を使用し得る。
かかる実施形態によれば、運動パターン分類デバイス14は、既定の回数にわたってクラスタ分析を繰り返し実施するように構成され得、上記クラスタ分析ごとに、ニューラルネットワーク18は、再開され、かつ再開後に、少なくとも1つの慣性センサデータ17、17、17、…、17を受信し、かつ少なくとも1つの慣性センサデータ17、17、17、…、17を、運動パターンのセット15に含まれる少なくとも1つの運動パターン15、15、15、…、15にマッピングする工程を実施するように構成され得、ニューラルネットワーク18は、既定の回数にわたってクラスタ分析を実施した後に、ユーザタイプ特有の運動パターンのプリセット115を選択するように構成され得る。
装置100は、可動式処置デバイス11の運動を分類するための更により多くのシナリオを可能にし得る。したがって、再び図9への参照を行うものとする。
一実施形態によれば、1つ以上の関連付けられたクラス101、102、103、104のうちの少なくとも1つのクラス102は、少なくとも2つのクラスメンバ102A、102Bを含み得、上記1つの関連付けられたクラス102は、可動式処置デバイス11の取り扱い評価を表すことができ、第1のクラスメンバ102Aは、可動式処置デバイス11の正しい取り扱いを表すことができ、第2のクラスメンバ102Bは、可動式処置デバイス11の誤った取り扱いを表すことができ、少なくとも1つの分類された運動クラス15、15、15、…、15は、可動式処置デバイス11の運動に基づいて、可動式処置デバイス11の取り扱いを評価するための第1又は第2のクラスメンバ102A、102Bのいずれかに関連付けられ得る。一例によれば、2つ以上の運動クラス15、15、15、…、15は、デバイスの正しい取り扱いに関連し得、ひいては、これらの運動クラスは、第1のクラスメンバ102Aに関連付けられ得、2つ以上の運動クラス15、15、15、…、15は、デバイスの正しくない取り扱いに関連し得、ひいては、これらの運動クラスは、第2のクラスメンバ102Bに関連付けられ得る。
換言すれば、装置100は、可動式処置デバイス11のユーザが可動式処置デバイス11を正しく使用しているか否かを確認するように構成され得る。当然ながら、取り扱い評価を表す上記1つのクラス102を、例えば、ユーザ及び/又はユーザタイプを識別した後に、図10及び図11の上に記載される2工程手順の第2の工程122のクラスとして使用することもできる。
更なる実施形態によれば、1つ以上の関連付けられたクラス101、102、103、104のうちの少なくとも1つの関連付けられたクラス103は、少なくとも2つのクラスメンバ103A、103Bを含み得、上記1つの関連付けられたクラス103は、可動式処置デバイス11の運動実行の品質を表すことができ、第1のクラスメンバ103Aは、可動式処置デバイス11の良好な運動実行を表すことができ、第2のクラスメンバ103Bは、可動式処置デバイス11の不良な運動実行を表すことができ、少なくとも1つの分類された運動クラス15、15、15、…、15は、可動式処置デバイス11の運動に基づいて、可動式処置デバイス11の運動実行の品質を評価するための第1又は第2のクラスメンバ103A、103Bのいずれかに関連付けられ得る。
換言すれば、装置100は、可動式処置デバイス11のユーザが可動式処置デバイス11を良好な方法で使用し得るか、又は不良な方法で使用し得るかを確認するように構成され得る。良好な方法が、意図される可動式処置デバイス11の運動を実施する方法であり得る一方、不良な方法は、意図されていない可動式処置デバイス11の運動を実施する方法であり得る。例えば、可動式処置デバイス11が歯ブラシである場合、装置は、ユーザが良好なブラッシング技法を有し得るか、又は不良なブラッシング技法を有し得るかを確認することができる。
当然ながら、運動実行の品質を表す上記1つのクラス103を、例えば、ユーザ及び/又はユーザタイプを識別した後に、図10及び図11の上に記載される2工程手順の第2の工程122の関連付けられたクラスとして使用することもできる。
装置100のニューラルネットワーク18は、図4~図7を参照して記載されている装置10のニューラルネットワーク18と同じ又は類似の特徴を含み得る。
図4~図7に示される装置10のニューラルネットワーク18の任意の特徴に関して上に記載されていることは全て、図9~図11を参照して記載される装置100のニューラルネットワーク18にも当てはまる。
図12は、慣性センサ13を備える可動式処置デバイス11の運動を分類するための本発明の方法のブロック図を示している。
ブロック1201において、本方法は、可動式処置デバイス11の運動パターンのセット15に含まれる2つ以上の運動クラス15、15、15、…、15間を判別する工程を含む。
ブロック1202では、本方法は、慣性センサ13からの少なくとも1つの慣性センサデータ17、17、17、…、17を運動パターン分類デバイス14に提供する工程を含み、少なくとも1つの慣性センサデータ17、17、17、…、17は、可動式処置デバイス11の運動を表す。
ブロック1203において、本方法は、ニューラルネットワーク18によって、少なくとも1つの慣性センサデータ17、17、17、…、17を受信して処理し、かつ運動クラスのセット15に含まれる少なくとも1つの運動クラス15、15、15、…、15に対して少なくとも1つの慣性センサデータ17、17、17、…、17を分類する工程を含み、少なくとも1つの分類された運動クラス15、15、15、…、15は、少なくとも1つの関連付けられたクラス101、102、103、104の少なくとも1つのクラスメンバ101A、101B、102A、102B、…、mA、mBに関連付けられ、それにより、少なくとも1つのクラスメンバ101A、101B、102A、102B、…、mA、mBは、可動式処置デバイス11の運動に基づいて選択される。
本発明の装置10、100のなお更なる例によれば、可動式処置デバイス11は、個人用器具であり得、対象表面12は、可動式処置デバイス11によって処置される身体部分であり得る。
本発明の装置10、100のなお更なる例によれば、可動式処置デバイス11又は可動式処置デバイス11は、個人用器具によって対象ゾーンに加えられる圧力を検知するための圧力センサ、及び/又は個人用器具を駆動し得るモータのモータ負荷を検知するための負荷センサを備え得る。
圧力センサ及び/又は負荷センサのそれぞれのセンサデータは、少なくとも1つの慣性センサデータ17、17、17、…、17に加えて又は代替的に、ニューラルユニット18に入力として供給され得る。
本発明の装置10のなお更なる例によれば、装置10は、可動式処置デバイス11が位置する対象表面12の1つ以上のゾーン21、21、21、…、21をユーザに出力するための出力インターフェースを備え得る。
本発明の装置100のなお更なる例によれば、装置100は、ユーザに情報を出力するための出力インターフェースを備えることができ、上記情報は、1つ以上の関連付けられたクラス101、102、103、104、及び/又は1つ以上の関連付けられたクラス101、102、103、104の1つ以上のクラスメンバ101A、101B、…、mA、mBに関連する。
本明細書に記載される実施形態の各々では、センサデータ17、17、17、…、17を、可動式処置デバイス又は処置デバイス11に記憶することができ、その後、上に記載されるような方法で、装置10、100に供給することができる。異なるゾーン又は関連付けられたクラスに対する、この記憶されたセンサデータ17、17、17、…、17の任意の後処理を使用して、消費者又はユーザに対して、彼らがどの程度うまく及びどのゾーンをカバーしたか、何を忘却したか、対象の内と外に何が存在したかを、ダッシュボード上に示すことができる。このデータを、使用ごとに示すことができ、かつ/又は時間の経過とともに2回以上の使用で集計することができる(すなわち、消費者又はユーザに対して、彼らが週の間どのようにブラッシングしてきたかの単純なダッシュボードを示す)。
いくつかの態様は装置の文脈で説明されているものの、これらの態様はまた、対応する方法の説明を表すことは明らかであり、ブロック又はデバイスは、方法工程又は方法工程の特徴に対応する。同様に、方法工程の文脈で説明した態様はまた、対応する装置の対応するブロック又はアイテム又は特徴の説明を表す。方法工程のうちのいくつか又は全ては、例えば、マイクロプロセッサ、プログラマブルコンピュータ、又は電子回路のようなハードウェア装置により(又はそれを使用して)実行されてもよい。いくつかの実施形態では、最も重要な方法工程のうちの1つ以上は、このような装置により実行されてもよい。
特定の実装要件に応じて、本発明の実施形態は、ハードウェアに、又はソフトウェアに、又は少なくとも部分的にハードウェアに、又は少なくとも部分的にソフトウェアに実装することができる。この実装は、電子的可読制御信号が記憶され、それぞれの方法が実施されるようにプログラマブルコンピュータシステムと協働する(又は協働することができる)デジタル記憶媒体、例えばフロッピーディスク、DVD、Blu-Ray、CD、ROM、PROM、EPROM、EEPROM、又はFLASHメモリを使用して実施され得る。したがって、デジタル記憶媒体は、コンピュータ可読であってもよい。
本発明によるいくつかの実施形態は、電子的可読制御信号を有するデータキャリアを備え、データキャリアは、本明細書に記載の方法のうちの1つが実施されるように、プログラマブルコンピュータシステムと協働することができる。
概して、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で作動するときに、これらの方法のうちの1つを実施するように動作可能である。プログラムコードは、例えば、機械可読キャリアに記憶されてもよい。
他の実施形態は、機械可読キャリアに記憶された、本明細書に記載の方法のうちの1つを実施するためのコンピュータプログラムを含む。
換言すれば、本発明の方法のある実施形態は、したがって、コンピュータプログラムがコンピュータ上で作動するときに、本明細書に記載の方法のうちの1つを実施するためのプログラムコードを有するコンピュータプログラムである。
本発明の方法の更なる実施形態は、したがって、本明細書に記載の方法のうちの1つを実施するためのコンピュータプログラムを含む、それが記録されたデータキャリア(又はデジタル記憶媒体、又はコンピュータ可読媒体)である。データキャリア、デジタル記憶媒体、又は記録媒体は、典型的には、有形及び/又は非一時的である。
本発明の方法の更なる実施形態は、したがって、本明細書に記載の方法のうちの1つを実施するためのコンピュータプログラムを表すデータストリーム又は信号のシーケンスである。データストリーム又は信号のシーケンスは、例えば、データ通信接続、例えば、インターネット、Bluetooth低エネルギー(Bluetooth Low Energy、BLE)、WiFi、又は任意の種類のネットワーク、例えば、メッシュネットワーク、を介して転送されるように構成され得る。
更なる実施形態は、本明細書に記載の方法のうちの1つを実施するように構成又は適合された処理手段、例えばコンピュータ又はプログラマブル論理デバイスを含む。
更なる実施形態は、本明細書に記載の方法のうちの1つを実施するためのコンピュータプログラムがインストールされたコンピュータを含む。
本発明による更なる実施形態は、本明細書に記載の方法のうちの1つを実施するためのコンピュータプログラムを受信器に(例えば、電子的又は光学的に)転送するように構成された装置又はシステムを備える。受信器は、例えば、コンピュータ、モバイル機器、メモリデバイスなどであってもよい。装置又はシステムは、例えば、コンピュータプログラムを受信器に転送するためのファイルサーバを備えてもよい。
いくつかの実施形態では、プログラマブル論理デバイス(例えば、フィールドプログラマブルゲートアレイ)を使用して、本明細書に記載の方法の機能のうちのいくつか又は全てを実施してもよい。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法のうちの1つを実施するために、マイクロプロセッサと協働してもよい。一般に、方法は、できれば任意のハードウェア装置により実施されることが好ましい。
本明細書に記載の装置は、ハードウェア装置を使用して実装されても、コンピュータを使用して実装されても、又はハードウェア装置とコンピュータとの組み合わせを使用して実装されてもよい。
本明細書に記載の方法は、ハードウェア装置を使用して実施されても、コンピュータを使用して実施されても、又はハードウェア装置とコンピュータとの組み合わせを使用して実施されてもよい。
上に記載される実施形態は、単に本発明の原理の例示である。本明細書に記載の配置及び詳細に対する変更及び変形は当業者に明らかであろうことが理解される。したがって、すぐ次の特許請求の範囲によってのみ限定され、かつ本明細書に記載の実施形態の記載及び説明により提示された具体的な詳細によっては限定されないことが意図である。
更に、本明細書に開示される寸法及び値は、列挙した正確な数値に厳密に制限されると理解すべきではない。その代わりに、特に指示がない限り、このような寸法はそれぞれ、列挙された値とその値を囲む機能的に同等な範囲との両方を意味することが意図されている。例えば、「40mm」と開示された寸法は、「約40mm」を意味することが意図される。

Claims (14)

  1. 対象表面(12)に対する可動式処置デバイス(11)の位置特定を実施するための装置(10、100)であって、前記可動式処置デバイス(11)が、少なくとも1つの慣性センサ(13)、および、前記処置デバイス(11)が前記対象表面に対して加える圧力を測定するように配置された圧力センサを備える少なくとも1つの更なるセンサを備え、前記対象表面(12)を処置するように構成されており、前記装置(10)が、
    前記可動式処置デバイス(11)の運動クラスのセット(15)に含まれる2つ以上の運動クラス(15、15、15、…、15)間を判別するように構成された、運動パターン分類デバイス(14)と、
    前記慣性センサ(13)からの少なくとも1つの慣性センサデータ(17、17、17、…、17)を前記運動パターン分類デバイス(14)に提供するためのインターフェース(16)であって、前記少なくとも1つの慣性センサデータ(17、17、17、…、17)が、前記可動式処置デバイス(11)の運動を表す、インターフェース(16)であって、前記少なくとも1つの慣性センサデータ(17、17、17、…、17)に加えて、前記更なるセンサからの少なくとも1つの更なるセンサデータを前記運動パターン分類デバイス(14)に提供するように更に配置されており、前記少なくとも1つの更なるセンサデータは前記圧力センサのセンサデータを備える、前記インターフェース(16)と、を備え、
    前記運動パターン分類デバイス(14)が、前記少なくとも1つの慣性センサデータ(17、17、17、…、17)および前記圧力センサの前記センサデータを受信し、かつ前記運動クラスのセット(15)に含まれる前記運動クラス(15、15、15、…、15)に対して前記少なくとも1つの慣性センサデータ(17、17、17、…、17)および前記圧力センサの前記センサデータを分類するように構成された、少なくとも1つのニューラルネットワーク(18)を備え、前記運動クラス(15、15、15、…、15)が各々、前記対象表面(12)に関する1つ以上の異なるゾーン(21、21、21、…、21)に関連付けられ(20、20、20、…、20)、それにより、前記運動クラス(15、15、15、…、15)に対する前記少なくとも1つの慣性センサデータ(17、17、17、…、17)および前記圧力センサの前記センサデータの前記分類が、前記対象表面(12)の前記1つ以上のゾーン(21、21、21、…、21)に対する前記可動式処置デバイス(11)の位置の推定を示すものであり、
    前記可動式処置デバイス(11)が、口腔ケアデバイスであり、前記対象表面(12)が、口腔空洞であり、前記口腔空洞(12)が、複数の口腔空洞ゾーン(1a~9a、1b~16b)に分離され、前記運動クラス(15 、15 、15 、…、15 )に対する前記少なくとも1つの慣性センサデータ(17 、17 、17 、…、17 )および前記圧力センサの前記センサデータの前記分類が、前記1つ以上の口腔空洞ゾーン(1a~9a、1b~16b)に対する前記口腔ケアデバイス(11)の位置の推定を示す、装置(10、100)。
  2. 前記ニューラルネットワーク(18)の出力(yt-1、y、yt+1)が、前記対象表面(12)の前記1つ以上のゾーン(21、21、21、…、21)に対する前記可動式処置デバイス(11)の位置の前記推定のための1つ以上の確率値又は尤度値を含む、請求項1に記載の装置(10、100)。
  3. 前記装置(10)が、前記可動式処置デバイス(11)が前記出力(yt-1、y、yt+1)の最も高い確率値又は尤度値に基づいて位置する、1つのゾーン(Z)を示すように配置されている、請求項2に記載の装置(10、100)。
  4. 前記運動クラスのセット(15)に含まれる少なくとも1つの運動クラス(15NB)が、前記対象表面(12)の外側のゾーン(21NB)に関連付けられ、この運動クラス(15NB)に対する前記少なくとも1つの慣性センサデータ(17、17、17、…、17)の前記分類が、前記可動式処置デバイス(11)が前記対象表面(12)の外側の前記ゾーン(21NB)に位置することを示す、請求項1~3のいずれか一項に記載の装置(10、100)。
  5. 前記ニューラルネットワーク(18)が、回帰型ニューラルネットワーク、具体的には、長短期メモリネットワーク又はゲート付き回帰型ユニットネットワークであり、更に具体的には、前記回帰型ニューラルネットワークが、双方向性回帰型ニューラルネットワークであり、なお更に具体的には、前記回帰型ニューラルネットワークが、少なくとも2層の双方向性回帰型ニューラルネットワークである、請求項1~4のいずれか一項に記載の装置(10、100)。
  6. 前記インターフェース(16)が、前記慣性センサ(13)からの慣性センサデータ(17、17、17、…、17)のシーケンスを、前記運動パターン分類デバイス(14)に入力(X、X、X、…X)として提供するように配置されている、請求項1~5のいずれか一項に記載の装置(10、100)。
  7. 前記装置(10)が、前記可動式処置デバイスが最大基準又は大基準に基づいて、前記慣性センサデータのシーケンスに関する期間中に位置した、前記ゾーン(21、21、21、…、21)のうちの1つ以上を示すように配置されている、請求項6に記載の装置(10)。
  8. 前記少なくとも1つの慣性センサデータ(17、17、17、…、17)が、少なくとも1つの慣性センサデータ部分、特に、x、y、及びz方向の線形速度と、x、y、及びz軸に対する角速度と、x、y、及びz方向の線形加速度と、x、y、及びz軸に対する角加速度と、を含む群の少なくとも3つの慣性センサデータ部分を含む、請求項1~7のいずれか一項に記載の装置(10)。
  9. 前記少なくとも1つの更なるセンサが、前記可動式処置デバイス(11)を駆動するモータのモータ負荷を検知するための負荷センサを更に備える、請求項1~8のいずれか一項に記載の装置(10)。
  10. 前記運動パターン分類デバイス(14)が、前記少なくとも1つの慣性センサデータ(17、17、17、…、17)および前記圧力センサの前記センサデータを受信するように各々が構成された少なくとも第1及び第2のニューラルネットワーク(18)を備え、前記第1のニューラルネットワークが、運動クラスの第1のセット(15)に含まれる運動クラス(15、15、15、…、15)に対して前記少なくとも1つの慣性センサデータ(17、17、17、…、17)および前記圧力センサの前記センサデータを分類するように構成され、前記第2のニューラルネットワークが、運動クラスの第2のセット(15)に含まれる運動クラス(15、15、15、…、15)に対して前記少なくとも1つの慣性センサデータ(17、17、17、…、17)および前記圧力センサの前記センサデータを分類するように構成され、前記運動クラスの第1及び第2のセットの前記運動クラス(15、15、15、…、15)が各々、前記対象表面(12)に関する1つ以上の異なるゾーン(21、21、21、…、21)に関連付けられ(20、20、20、…、20)、それにより、前記運動クラス(15、15、15、…、15)に対する前記少なくとも1つの慣性センサデータ(17、17、17、…、17)および前記圧力センサの前記センサデータの前記分類が、前記対象表面(12)の前記1つ以上のゾーン(21、21、21、…、21)に対する前記可動式処置デバイス(11)の位置の推定を示し、前記第1のニューラルネットワークの出力(yt-1、y、yt+1)及び前記第2のニューラルネットワークの出力(yt-1、y、yt+1)が、前記対象表面(12)の前記1つ以上のゾーン(21、21、21、…、21)に対する前記可動式処置デバイス(11)の位置の推定を提供するために使用される、請求項1~9のいずれか一項に記載の装置(10)。
  11. 前記ニューラルネットワークが、訓練された重み行列及びバイアスベクトルを含む、請求項1~10のいずれか一項に記載の装置(10)。
  12. 前記可動式処置デバイス(11)が、個人用器具であり、前記対象表面(12)が、前記可動式処置デバイス(11)によって処置される身体部分である、請求項1~11のいずれか一項に記載の装置(10)。
  13. 対象表面(12)に対する可動式処置デバイス(11)の位置特定を実施するための方法であって、前記可動式処置デバイス(11)が、少なくとも1つの慣性センサ(13)、および、前記処置デバイス(11)が前記対象表面に対して加える圧力を測定するように配置された圧力センサを備える少なくとも1つの更なるセンサを備え、前記対象表面(12)を処置するように構成されており、前記方法が、
    前記可動式処置デバイス(11)の運動クラスのセット(15)に含まれる2つ以上の運動クラス(15、15、15、…、15)を提供することと、 前記慣性センサ(13)から少なくとも1つの慣性センサデータ(17、17、17、…、17)を受信することであって、前記少なくとも1つの慣性センサデータ(17、17、17、…、17)が、前記可動式処置デバイス(11)の運動を表しており、 前記圧力センサのセンサデータを受信することと、
    ニューラルネットワーク(18)によって、前記少なくとも1つの慣性センサデータ(17、17、17、…、17)および前記圧力センサの前記センサデータを受信して処理することと、前記運動クラスのセット(15)に含まれる少なくとも1つの運動クラス(15、15、15、…、15)に対して前記少なくとも1つの慣性センサデータ(17、17、17、…、17)および前記圧力センサの前記センサデータを分類することと、を含み、
    前記運動クラス(15、15、15、…、15)が各々、前記対象表面(12)の1つ以上の異なるゾーン(21、21、21、…、21)に関連付けられ、それにより、前記少なくとも1つの運動クラス(15、15、15、…、15)による前記少なくとも1つの慣性センサデータ(17、17、17、…、17)および前記圧力センサの前記センサデータの前記分類が、前記対象表面(12)の前記1つ以上のゾーン(21、21、21、…、21)に対する前記可動式処置デバイス(11)の位置の推定を示すものであり、
    前記可動式処置デバイス(11)が、口腔ケアデバイスであり、前記対象表面(12)が、口腔空洞であり、前記口腔空洞(12)が、複数の口腔空洞ゾーン(1a~9a、1b~16b)に分離され、前記運動クラス(15 、15 、15 、…、15 )に対する前記少なくとも1つの慣性センサデータ(17 、17 、17 、…、17 )および前記圧力センサの前記センサデータの前記分類が、前記1つ以上の口腔空洞ゾーン(1a~9a、1b~16b)に対する前記口腔ケアデバイス(11)の位置の推定を示す、方法。
  14. 請求項1~12のいずれか一項に記載の装置(10)と、前記対象表面(12)を処置するように構成され、前記少なくとも1つの慣性センサ(13)を備える可動式処置デバイス(11)と、を備えるシステム。
JP2020543228A 2018-02-19 2019-02-15 可動式処置デバイスの位置特定を実施するための装置及び方法 Active JP7221291B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022158618A JP2023017766A (ja) 2018-02-19 2022-09-30 可動式処置デバイスの位置特定を実施するための装置及び方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP18157362.7 2018-02-19
EP18157362.7A EP3528167A1 (en) 2018-02-19 2018-02-19 Apparatus and method for performing a localization of a movable treatment device
EP18157358.5 2018-02-19
EP18157358.5A EP3528166B1 (en) 2018-02-19 2018-02-19 Apparatus and method for classifying a motion of a movable personal appliance
PCT/IB2019/051249 WO2019159129A2 (en) 2018-02-19 2019-02-15 Apparatus and method for performing a localization of a movable treatment device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022158618A Division JP2023017766A (ja) 2018-02-19 2022-09-30 可動式処置デバイスの位置特定を実施するための装置及び方法

Publications (2)

Publication Number Publication Date
JP2021514223A JP2021514223A (ja) 2021-06-10
JP7221291B2 true JP7221291B2 (ja) 2023-02-13

Family

ID=65324298

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2020543384A Active JP7203856B2 (ja) 2018-02-19 2019-02-15 手持ち式消費者装置の使用を分類するためのシステム
JP2020543228A Active JP7221291B2 (ja) 2018-02-19 2019-02-15 可動式処置デバイスの位置特定を実施するための装置及び方法
JP2020543273A Active JP7402165B2 (ja) 2018-02-19 2019-02-15 可動式処置デバイスの位置特定を実施するための装置及び方法
JP2020543144A Active JP7190496B2 (ja) 2018-02-19 2019-02-15 可動式処置デバイスの運動を分類するための装置及び方法
JP2022158618A Pending JP2023017766A (ja) 2018-02-19 2022-09-30 可動式処置デバイスの位置特定を実施するための装置及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020543384A Active JP7203856B2 (ja) 2018-02-19 2019-02-15 手持ち式消費者装置の使用を分類するためのシステム

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2020543273A Active JP7402165B2 (ja) 2018-02-19 2019-02-15 可動式処置デバイスの位置特定を実施するための装置及び方法
JP2020543144A Active JP7190496B2 (ja) 2018-02-19 2019-02-15 可動式処置デバイスの運動を分類するための装置及び方法
JP2022158618A Pending JP2023017766A (ja) 2018-02-19 2022-09-30 可動式処置デバイスの位置特定を実施するための装置及び方法

Country Status (7)

Country Link
US (5) US11755686B2 (ja)
EP (3) EP3528172B1 (ja)
JP (5) JP7203856B2 (ja)
KR (2) KR102613604B1 (ja)
CN (4) CN111771208B (ja)
ES (1) ES2971724T3 (ja)
WO (4) WO2019159130A2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11755686B2 (en) 2018-02-19 2023-09-12 Braun Gmbh System for classifying the usage of a handheld consumer device
KR20210030106A (ko) * 2019-09-09 2021-03-17 엘지전자 주식회사 서버
WO2021262955A1 (en) * 2020-06-24 2021-12-30 Edgewell Personal Care Brands, Llc Machine learning for a personal care device
GB2602086B (en) * 2020-12-17 2024-07-03 Dyson Technology Ltd Oral treatment device
US20220201256A1 (en) * 2020-12-22 2022-06-23 Here Global B.V. Method, apparatus, and system for capturing an image sequence for a visual positioning service request
CN112884132B (zh) * 2021-03-19 2024-04-30 有品国际科技(深圳)有限责任公司 基于神经网络的刷牙检测方法、装置、电动牙刷及介质
WO2023012718A1 (en) 2021-08-06 2023-02-09 Braun Gmbh Universal base for electric toothbrush
WO2024007117A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007098A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007100A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007106A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007113A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007091A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007886A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
EP4399996A1 (en) 2023-01-12 2024-07-17 Braun GmbH Personal care device comprising a force sensor

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002090267A (ja) 2000-09-21 2002-03-27 Mitsui Eng & Shipbuild Co Ltd 異常診断方法
JP2009240759A (ja) 2008-03-14 2009-10-22 Omron Healthcare Co Ltd 電動歯ブラシ
WO2016180929A1 (en) 2015-05-13 2016-11-17 Kolibree Toothbrush system with magnetometer for dental hygiene monitoring
WO2017029570A1 (en) 2015-08-19 2017-02-23 Koninklijke Philips N.V. Methods and systems for oral cleaning device localization
WO2017042673A1 (en) 2015-09-08 2017-03-16 Braun Gmbh Determination of a currently treated body portion of a user
JP2021513415A (ja) 2018-02-19 2021-05-27 ブラウン ゲーエムベーハー 可動式処置デバイスの位置特定を実施するための装置及び方法

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757602B2 (en) * 1997-02-06 2004-06-29 Automotive Technologies International, Inc. System for determining the occupancy state of a seat in a vehicle and controlling a component based thereon
DE4218600C2 (de) 1992-06-05 1994-09-22 Bodenseewerk Geraetetech Einrichtung zur Bestimmung von Bewegungsgrößen eines Flugkörpers
KR100580647B1 (ko) * 2004-04-01 2006-05-16 삼성전자주식회사 입력모드 분류가능한 동작기반 입력장치 및 방법
EP1851606A1 (en) 2005-02-24 2007-11-07 Nokia Corporation Motion-input device for a computing terminal and method of its operation
WO2006137648A1 (en) * 2005-06-20 2006-12-28 Jin-Sang Hwang Tooth brushing pattern analyzing/modifying device, method and system for interactively modifying tooth brushing behavior
JP4388033B2 (ja) 2006-05-15 2009-12-24 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2008108788A2 (en) 2006-05-31 2008-09-12 Trx Systems, Inc. Method and system for locating and monitoring first responders
US7636645B1 (en) * 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
US20080102953A1 (en) * 2006-10-31 2008-05-01 Motorola, Inc. Toothbrush affecting game play
DE102007001025B4 (de) 2007-01-02 2008-11-20 Siemens Ag Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems
US8462109B2 (en) 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US7835999B2 (en) 2007-06-27 2010-11-16 Microsoft Corporation Recognizing input gestures using a multi-touch input device, calculated graphs, and a neural network with link weights
KR100947046B1 (ko) 2007-11-19 2010-03-10 황진상 운동체 자세 추적 장치, 운동체 자세 추적 방법, 이를이용한 칫솔 자세 추적 장치 및 칫솔 자세 추적 방법
WO2010024697A1 (en) 2008-09-01 2010-03-04 Business Intelligence Solutions Safe B.V. Methods, apparatus and systems for determining an adjustment value of a gaming device
JP2011059815A (ja) * 2009-09-07 2011-03-24 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
JP5574789B2 (ja) * 2010-04-08 2014-08-20 株式会社東芝 車両周辺監視装置及び車両周辺監視方法
KR20130057688A (ko) * 2011-11-24 2013-06-03 (주)케이엔씨웰빙 양치 패턴 분석용 칫솔 및 분석 시스템
US10314492B2 (en) 2013-05-23 2019-06-11 Medibotics Llc Wearable spectroscopic sensor to measure food consumption based on interaction between light and the human body
US20140065588A1 (en) * 2012-08-31 2014-03-06 Ideas That Work, Llc Toothbrush Training System
US9263036B1 (en) 2012-11-29 2016-02-16 Google Inc. System and method for speech recognition using deep recurrent neural networks
CN105009027B (zh) * 2012-12-03 2018-09-04 纳维森斯有限公司 用于估计对象的运动的系统和方法
US9413797B2 (en) 2013-04-23 2016-08-09 Gurulogic Microsystems Oy Data communication system and method
US9529385B2 (en) * 2013-05-23 2016-12-27 Medibotics Llc Smart watch and human-to-computer interface for monitoring food consumption
WO2014202250A1 (en) * 2013-06-19 2014-12-24 Kolibree Toothbrush system with sensors for a dental hygiene monitoring system
US10172552B2 (en) * 2013-06-19 2019-01-08 Benjamin Ohmer Method for determining and analyzing movement patterns during dental treatment
US9389694B2 (en) 2013-10-22 2016-07-12 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
US9820233B2 (en) * 2013-11-25 2017-11-14 Qualcomm Incorporated Motion state based mobile device positioning
US20160091308A1 (en) 2014-09-30 2016-03-31 Invensense, Inc. Microelectromechanical systems (mems) acoustic sensor-based gesture recognition
US20160091965A1 (en) 2014-09-30 2016-03-31 Microsoft Corporation Natural motion-based control via wearable and mobile devices
EP3420849A1 (en) * 2014-12-22 2019-01-02 Sunstar Inc. Brushing assistance system, brushing assistance device, and brushing assistance program
CN105832315A (zh) 2015-01-16 2016-08-10 中国科学院上海高等研究院 不受个体运动状态与环境位置影响的远程监测系统
CN104848861B (zh) * 2015-05-28 2017-12-08 西安交通大学 一种基于图像消失点识别技术的移动设备姿态测量方法
US9336482B1 (en) 2015-07-27 2016-05-10 Google Inc. Predicting likelihoods of conditions being satisfied using recurrent neural networks
FI127926B (en) * 2015-12-21 2019-05-31 Suunto Oy Sensor-based context management
CN109152471A (zh) * 2016-03-14 2019-01-04 科里布里公司 具有视觉识别功能以用于监测依从性的口腔卫生系统
AU2017236782B2 (en) 2016-03-22 2021-01-28 Magic Leap, Inc. Head mounted display system configured to exchange biometric information
WO2017173213A1 (en) 2016-03-31 2017-10-05 Zoll Medical Corporation Systems and methods of tracking patient movement
JP2017187850A (ja) 2016-04-01 2017-10-12 株式会社リコー 画像処理システム、情報処理装置、プログラム
US11112784B2 (en) 2016-05-09 2021-09-07 Strong Force Iot Portfolio 2016, Llc Methods and systems for communications in an industrial internet of things data collection environment with large data sets
CN107516102B (zh) * 2016-06-16 2020-10-23 北京市商汤科技开发有限公司 图像数据分类与建立分类模型方法、装置及系统
US10003924B2 (en) * 2016-08-10 2018-06-19 Yandex Europe Ag Method of and server for processing wireless device sensor data to generate an entity vector associated with a physical location
KR20180070932A (ko) 2016-12-19 2018-06-27 삼성전자주식회사 이동체 및 이동체의 제어 방법
US20170173262A1 (en) 2017-03-01 2017-06-22 François Paul VELTZ Medical systems, devices and methods
CN107092894A (zh) * 2017-04-28 2017-08-25 孙恩泽 一种基于lstm模型的运动行为识别方法
CN107153642A (zh) * 2017-05-16 2017-09-12 华北电力大学 一种基于神经网络识别文本评论情感倾向的分析方法
CN107203753B (zh) * 2017-05-25 2020-09-08 西安工业大学 一种基于模糊神经网络和图模型推理的动作识别方法
CN109002189B (zh) 2017-06-07 2021-09-07 斑马智行网络(香港)有限公司 一种运动识别方法、装置、设备和计算机存储介质
US10726301B2 (en) * 2017-06-29 2020-07-28 The Procter & Gamble Company Method for treating a surface
CN209085657U (zh) * 2017-08-02 2019-07-09 强力物联网投资组合2016有限公司 用于与化工生产工艺有关的或工业环境的数据收集系统
GB2567850B (en) * 2017-10-26 2020-11-04 Gb Gas Holdings Ltd Determining operating state from complex sensor data
GB2569794A (en) * 2017-12-21 2019-07-03 Yoti Holding Ltd Biometric user authentication
US10646029B2 (en) 2017-12-28 2020-05-12 Colgate-Palmolive Company Oral hygiene systems and methods
CN108451155B (zh) * 2018-04-13 2020-09-08 深圳市力博得科技有限公司 智能牙刷的控制电路、智能牙刷及刷牙行为的监控方法
WO2021262955A1 (en) 2020-06-24 2021-12-30 Edgewell Personal Care Brands, Llc Machine learning for a personal care device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002090267A (ja) 2000-09-21 2002-03-27 Mitsui Eng & Shipbuild Co Ltd 異常診断方法
JP2009240759A (ja) 2008-03-14 2009-10-22 Omron Healthcare Co Ltd 電動歯ブラシ
WO2016180929A1 (en) 2015-05-13 2016-11-17 Kolibree Toothbrush system with magnetometer for dental hygiene monitoring
WO2017029570A1 (en) 2015-08-19 2017-02-23 Koninklijke Philips N.V. Methods and systems for oral cleaning device localization
WO2017042673A1 (en) 2015-09-08 2017-03-16 Braun Gmbh Determination of a currently treated body portion of a user
JP2021513415A (ja) 2018-02-19 2021-05-27 ブラウン ゲーエムベーハー 可動式処置デバイスの位置特定を実施するための装置及び方法

Also Published As

Publication number Publication date
US11755686B2 (en) 2023-09-12
KR102555432B1 (ko) 2023-07-13
US12056208B2 (en) 2024-08-06
WO2019159127A1 (en) 2019-08-22
WO2019159128A3 (en) 2019-10-17
US12033057B2 (en) 2024-07-09
KR102613604B1 (ko) 2023-12-15
CN111771209A (zh) 2020-10-13
US20230342423A1 (en) 2023-10-26
WO2019159129A3 (en) 2019-10-31
WO2019159128A2 (en) 2019-08-22
JP7402165B2 (ja) 2023-12-20
JP2021513420A (ja) 2021-05-27
KR20200108034A (ko) 2020-09-16
US20190278786A1 (en) 2019-09-12
JP7203856B2 (ja) 2023-01-13
WO2019159130A3 (en) 2019-10-17
WO2019159129A2 (en) 2019-08-22
EP3528170B1 (en) 2023-11-22
WO2019159130A2 (en) 2019-08-22
CN111742327A (zh) 2020-10-02
CN111771208B (zh) 2024-05-28
EP3528171B1 (en) 2023-11-22
US20190254795A1 (en) 2019-08-22
CN111771208A (zh) 2020-10-13
CN111771209B (zh) 2024-09-20
ES2971724T3 (es) 2024-06-06
EP3528171A2 (en) 2019-08-21
US20190254794A1 (en) 2019-08-22
EP3528172A3 (en) 2020-01-08
CN111742327B (zh) 2024-05-28
JP2021513415A (ja) 2021-05-27
JP2021514221A (ja) 2021-06-10
EP3528172A2 (en) 2019-08-21
EP3528171A3 (en) 2020-01-08
EP3528172B1 (en) 2023-12-27
CN111742328B (zh) 2024-09-17
CN111742328A (zh) 2020-10-02
KR20200108035A (ko) 2020-09-16
US12045710B2 (en) 2024-07-23
JP2023017766A (ja) 2023-02-07
JP2021514223A (ja) 2021-06-10
JP7190496B2 (ja) 2022-12-15
EP3528170A1 (en) 2019-08-21
US20190254796A1 (en) 2019-08-22

Similar Documents

Publication Publication Date Title
JP7221291B2 (ja) 可動式処置デバイスの位置特定を実施するための装置及び方法
US11752650B2 (en) Apparatus and method for operating a personal grooming appliance or household cleaning appliance
US20220398745A1 (en) Apparatus and method for operating a dental appliance
EP3528166B1 (en) Apparatus and method for classifying a motion of a movable personal appliance
EP3528167A1 (en) Apparatus and method for performing a localization of a movable treatment device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220303

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220930

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220930

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221011

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230201

R150 Certificate of patent or registration of utility model

Ref document number: 7221291

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150