KR102555432B1 - 이동가능 처리 디바이스의 모션을 분류하기 위한 장치 및 방법 - Google Patents

이동가능 처리 디바이스의 모션을 분류하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR102555432B1
KR102555432B1 KR1020207023040A KR20207023040A KR102555432B1 KR 102555432 B1 KR102555432 B1 KR 102555432B1 KR 1020207023040 A KR1020207023040 A KR 1020207023040A KR 20207023040 A KR20207023040 A KR 20207023040A KR 102555432 B1 KR102555432 B1 KR 102555432B1
Authority
KR
South Korea
Prior art keywords
motion
class
processing device
user
classes
Prior art date
Application number
KR1020207023040A
Other languages
English (en)
Other versions
KR20200108034A (ko
Inventor
파이즈 파이살 셔먼
샤올레 마오
Original Assignee
브라운 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP18157362.7A external-priority patent/EP3528167A1/en
Priority claimed from EP18157358.5A external-priority patent/EP3528166B1/en
Application filed by 브라운 게엠베하 filed Critical 브라운 게엠베하
Publication of KR20200108034A publication Critical patent/KR20200108034A/ko
Application granted granted Critical
Publication of KR102555432B1 publication Critical patent/KR102555432B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00—Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16—Power-driven cleaning or polishing devices
    • A61C17/22—Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
    • A61C17/221—Control arrangements therefor
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B15/00—Other brushes; Brushes with additional arrangements
    • A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B15/00—Other brushes; Brushes with additional arrangements
    • A46B15/0055—Brushes combined with other articles normally separate from the brushing process, e.g. combs, razors, mirrors
    • A46B15/0069—Brushes fitted with a interdental devices, e.g. toothpick
    • A46B15/0073—Brushes with an arrangement for using the floss
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00—Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16—Power-driven cleaning or polishing devices
    • A61C17/22—Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00—Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16—Power-driven cleaning or polishing devices
    • A61C17/22—Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
    • A61C17/24—Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like rotating continuously
    • A61C17/26—Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like rotating continuously driven by electric motor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B15/00—Other brushes; Brushes with additional arrangements
    • A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0016—Arrangements for enhancing monitoring or controlling the brushing process with enhancing means
    • A46B15/0036—Arrangements for enhancing monitoring or controlling the brushing process with enhancing means with a lighting means, e.g. laser, bulb
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B15/00—Other brushes; Brushes with additional arrangements
    • A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0038—Arrangements for enhancing monitoring or controlling the brushing process with signalling means
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B15/00—Other brushes; Brushes with additional arrangements
    • A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0038—Arrangements for enhancing monitoring or controlling the brushing process with signalling means
    • A46B15/004—Arrangements for enhancing monitoring or controlling the brushing process with signalling means with an acoustic signalling means, e.g. noise
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B15/00—Other brushes; Brushes with additional arrangements
    • A46B15/0055—Brushes combined with other articles normally separate from the brushing process, e.g. combs, razors, mirrors
    • A46B15/0069—Brushes fitted with a interdental devices, e.g. toothpick
    • A46B15/0071—Toothbrushes with flossing arrangements
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B2200/00—Brushes characterized by their functions, uses or applications
    • A46B2200/10—For human or animal care
    • A46B2200/1066—Toothbrush for cleaning the teeth or dentures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247—Pressure sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0252—Load cells
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00—Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16—Power-driven cleaning or polishing devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00—Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A61C17/16—Power-driven cleaning or polishing devices
    • A61C17/22—Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
    • A61C17/32—Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like reciprocating or oscillating
    • A61C17/34—Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like reciprocating or oscillating driven by electric motor
    • A61C17/3409—Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like reciprocating or oscillating driven by electric motor characterized by the movement of the brush body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B26—HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26B—HAND-HELD CUTTING TOOLS NOT OTHERWISE PROVIDED FOR
    • B26B21/00—Razors of the open or knife type; Safety razors or other shaving implements of the planing type; Hair-trimming devices involving a razor-blade; Equipment therefor
    • B26B21/40—Details or accessories
    • B26B21/405—Electric features; Charging; Computing devices
    • B26B21/4056—Sensors or controlling means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B26—HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26B—HAND-HELD CUTTING TOOLS NOT OTHERWISE PROVIDED FOR
    • B26B21/00—Razors of the open or knife type; Safety razors or other shaving implements of the planing type; Hair-trimming devices involving a razor-blade; Equipment therefor
    • B26B21/40—Details or accessories
    • B26B21/4081—Shaving methods; Usage or wear indication; Testing methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G06F2218/16—Classification; Matching by matching signal segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Animal Behavior & Ethology (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Brushes (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

본 개시는 이동가능 처리 디바이스의 모션을 분류하기 위한 장치로서, 이동가능 처리 디바이스는 적어도 하나의 관성 센서를 갖고, 장치는 이동가능 처리 디바이스의 모션 클래스의 세트에 포함된 2개 이상의 모션 클래스를 구별하도록 구성된 모션 패턴 분류 디바이스와, 관성 센서로부터 모션 패턴 분류 디바이스로 적어도 하나의 관성 센서 데이터를 제공하기 위한 인터페이스 - 적어도 하나의 관성 센서 데이터는 이동가능 처리 디바이스의 움직임을 나타냄 - 를 가지며, 모션 패턴 분류 디바이스는 적어도 하나의 관성 센서 데이터를 수신하도록, 그리고 모션 클래스의 세트에 포함된 모션 클래스에 대해 적어도 하나의 관성 센서 데이터를 분류하도록 구성된 적어도 하나의 신경망을 포함하고, 상기 모션 클래스는 각각 하나 이상의 클래스의 적어도 한 명의 클래스 멤버와 연관되어, 적어도 한 명의 클래스 멤버가 이동가능 처리 디바이스의 모션에 기초하여 선택되는, 장치에 관한 것이다.

Description

이동가능 처리 디바이스의 모션을 분류하기 위한 장치 및 방법
본 발명의 추가 실시예들은 이동가능 처리 디바이스(movable treatment device)의 모션을 분류하기 위한 장치, 이동가능 처리 디바이스의 모션을 분류하기 위한 방법, 및 장치 및 이동가능 처리 디바이스를 포함하는 시스템에 관한 것이다.
이동가능 처리 디바이스들은 표면 등을 처리하는 데 사용될 수 있다. 예를 들어, 이동가능 처리 디바이스들은 헤어 브러시, 면도기, 그루머(groomer), 칫솔 등과 같은 개인용 기기들에 관련된 것일 수 있다. 이들 예에서, 처리될 표면은 신체 또는 상기 신체의 적어도 소정 부분 또는 구역일 수 있다.
이동가능 처리 디바이스들의 다른 예들은, 예를 들어, 빗자루, 대걸레, 스크러빙 브러시(scrubbing brush) 등과 같은 가정용 기기들에 관련된 것일 수 있다. 이들 예에서, 처리될 표면은 바닥 또는 상기 바닥의 적어도 소정 부분 또는 구역일 수 있다.
몇몇 응용들에서, 이동가능 처리 디바이스의 현재 위치를 아는 것은 유용할 수 있다. 몇몇 응용들에서, 특히 개인용 기기의 경우에, 이동가능 처리 디바이스의 모션들을 추가적으로 또는 대안적으로 분류하는 것은 유용할 수 있다.
요즘에, 이동가능 처리 디바이스들을 타겟 표면에 대해, 예를 들어, 상기 타겟 표면을 캡처하는 카메라에 의해 측위(localizing)하기 위해 이미징 기술들이 사용될 수 있다. 이동가능 처리 디바이스를 측위하기 위해, GPS 센서들 등과 같은, 센서들을 사용하는 것이 또한 알려져 있을 수 있다. 전술한 이미징 기술들은 또한 이동가능 처리 디바이스의 모션을 이미징하기 위해 그리고 상기 캡처된 모션을 분류하는 데 사용될 수 있다.
이러한 일반적인 디바이스들 및 방법들은 대략적인 측위 및 분류에 적합하게 잘 작동할 수 있다. 그러나, 몇 가지 문제점이 존재할 수 있다. 예를 들어, GPS 센서들은 실외 조건들에서만 충분히 잘 작동할 수 있다. 타겟 표면을 캡처하는 카메라의 시야가, 때때로 이동가능 처리 디바이스 자체에 의해서도, 차단될 수 있다. 또한, 상이한 사용자들이 이동가능 처리 디바이스, 예를 들어 개인용 기기를 사용하고 있는 경우에도, 전술한 디바이스들 및 방법들의 출력은 각각의 사용자가 상기 이동가능 처리 디바이스를 사용하는 방법에 대해 개별적인 스타일들 및 선호들을 가질 수 있을지라도 각각의 사용자에 대해 항상 동일할 것이다.
따라서, 전술한 문제점들 없이 이동가능 처리 디바이스의 정밀한 측위 및/또는 이동가능 처리 디바이스의 모션들의 정밀한 분류를 가능하게 하는 장치들 및 방법들을 제공하는 것이 바람직할 것이다. 또한, 상이한 사람들에게 개별적으로 훈련된 기술들을 제공함으로써 이러한 장치들 및 방법들을 개인화하는 것이 바람직할 것이다.
배경 기술의 일 예로 아래의 특허 문헌을 참고할 수 있다.
(문헌 1) 중국특허공보 제107203753호
일 태양에 따르면, 이동가능 처리 디바이스의 모션을 분류하기 위한 장치로서, 이동가능 처리 디바이스는 적어도 하나의 관성 센서를 갖고, 장치는 이동가능 처리 디바이스의 모션 클래스의 세트에 포함된 2개 이상의 모션 클래스를 구별하도록 구성된 모션 패턴 분류 디바이스와, 관성 센서로부터 모션 패턴 분류 디바이스로 적어도 하나의 관성 센서 데이터를 제공하기 위한 인터페이스 - 적어도 하나의 관성 센서 데이터는 이동가능 처리 디바이스의 움직임을 나타냄 - 를 가지며, 모션 패턴 분류 디바이스는 적어도 하나의 관성 센서 데이터를 수신하도록, 그리고 모션 클래스의 세트에 포함된 모션 클래스에 대해 적어도 하나의 관성 센서 데이터를 분류하도록 구성된 적어도 하나의 신경망을 포함하고, 상기 모션 클래스는 각각 하나 이상의 클래스의 적어도 한 명의 클래스 멤버와 연관되어, 적어도 한 명의 클래스 멤버가 이동가능 처리 디바이스의 모션에 기초하여 선택되는, 장치가 제공된다.
일 태양에 따르면, 청구항 12의 주제에 의한 방법이 제공된다.
일 태양에 따르면, 이전에 기술된 바와 같은 장치 및 이동가능 처리 디바이스를 포함하는 시스템이 제공된다.
이하에서, 본 발명의 실시예들이 도면들을 참조하여 더 상세히 설명된다.
도 1은 본 설명에 따른 예시적인 장치의 개략 블록도를 도시한다.
도 2는 이동가능 처리 디바이스로 처리될 타겟 표면의 예를 도시한다.
도 3은 이동가능 처리 디바이스로 처리될 타겟 표면의 추가 예를 도시한다.
도 4는 순환 신경망에서 사용될 수 있는 반복 모듈(또는 유닛 또는 블록 또는 셀)의 개략 블록도를 도시한다.
도 5는 순환 신경망에서 사용될 수 있는 반복 게이트 순환 유닛(GRU) 모듈의 개략 블록도를 도시한다.
도 6a는 순환 신경망에서 사용될 수 있는 반복 LSTM 모듈(또는 유닛)의 개략 블록도를 도시한다.
도 6b는 상이한 시간 인스턴스들에서 LSTM 모듈들의 하나의 층을 갖는 펼쳐진 LSTM 모듈 기반 순환 신경망의 개략 블록도를 도시한다.
도 7은 상이한 시간 인스턴스들에서 LSTM 모듈들(즉, 딥 LSTM)의 2개의 적층된 층들을 갖는 펼쳐진 LSTM 모듈 기반 순환 신경망의 개략 블록도를 도시한다.
도 8은 실시예에 따른 본 발명의 방법의 블록도를 도시한다.
도 9는 실시예에 따른 본 발명의 장치의 개략 블록도를 도시한다.
도 10은 추가 실시예에 따른 본 발명의 장치의 개략 블록도를 도시한다.
도 11은 추가 실시예에 따른 본 발명의 장치의 개략 블록도를 도시한다.
도 12는 실시예에 따른 본 발명의 방법의 블록도를 도시한다.
동일하거나 등가의 요소들, 또는 동일하거나 등가의 기능을 갖는 요소들은 이하의 설명에서 동일하거나 등가의 도면 부호들에 의해 표시된다.
이하에서, 이동가능 처리 디바이스들에 대한 비제한적인 예들로서 개인용 기기들 및/또는 가정용 기기들이 참조될 것이다. 그러나, 이러한 종류의 기기들은 단지 본 발명의 실시예들 및 예들을 설명하기 위해 비제한적 예들로서 언급될 뿐이다. 따라서, 본 발명은 단지 이러한 언급된 종류의 기기들로만 제한되지 않는다.
또한, 방법의 임의의 방법 단계들의 순서는 단지 비제한적인 예로서 설명될 수 있다. 따라서, 본 명세서에 설명된 바와 같은 임의의 방법 단계들은 또한 설명된 것 이외의 임의의 순서로 실행될 수 있다.
몇몇 태양들이 장치 또는 디바이스와 관련하여 설명될 것이지만, 이들 태양은 또한 대응하는 방법의 설명을 표현하며, 여기서 블록 또는 디바이스가 방법 단계 또는 방법 단계의 특징에 대응한다는 것이 명백하다. 유사하게, 방법 또는 방법 단계와 관련하여 설명된 태양들은 또한 대응하는 장치 또는 디바이스의 대응하는 블록 또는 아이템 또는 특징의 설명을 표현한다.
본 발명의 제1 태양은 이동가능 처리 디바이스를 측위하도록, 특히 이동가능 처리 디바이스를 상기 처리 디바이스로 처리될 타겟 표면에 대해 측위하도록 구성된 장치에 관한 것이다.
그러한 이동가능 처리 디바이스들에 대한 예들은, 예를 들어, 개인용 기기들일 수 있다. 개인용 기기는, 예를 들어, 헤어 브러시, 면도기, 전기 면도기, 제모기, 미용 디바이스, 그루머, 칫솔(전기 또는 수동 칫솔) 등일 수 있다. 이들 예에서, 처리될 표면은 신체 또는 상기 신체의 적어도 소정 부분 또는 구역일 수 있다.
이동가능 처리 디바이스들의 다른 예들은, 예를 들어, 빗자루, 대걸레, 스크러빙 브러시 등과 같은 가정용 기기들과 관련된 것일 수 있다. 이들 예에서, 처리될 표면은 바닥 또는 벽 또는 천장, 또는 상기 바닥, 벽 또는 천장의 적어도 소정 부분 또는 구역일 수 있다.
도 1은 본 발명의 실시예에 따른 장치(10)를 도시한다. 또한, 이동가능 처리 디바이스(11)가 도시된다. 이동가능 처리 디바이스(11)와 장치(10)는 함께 시스템을 형성한다. 이동가능 처리 디바이스(11)는 적어도 하나의 관성 센서(13)를 포함할 수 있다. 관성 센서들(13)의 예들은 모션 센서들(선가속도를 제공하는 가속도계들), 회전 속도 센서들(각속도를 제공하는 자이로스코프들), 및 배향 센서들(자력계들)이며, 따라서 이동가능 처리 디바이스(11)의 위치, 배향, 속도 및 가속도가 직접적으로 그리고 간접적으로 결정될 수 있다. 제한하는 것으로 의도됨이 없이, 관성 센서는 3축 관성 센서, 6축 관성 센서, 또는 9축 관성 센서일 수 있다. 관성 센서들은 특히 MEMS 센서들로서 실현될 수 있다. 또한, 이동가능 처리 디바이스(11)는 타겟 표면(12)을 처리하도록 구성될 수 있다.
알 수 있는 바와 같이, 이동가능 처리 디바이스(11)는 타겟 표면(12)에 대해 소정 장소 또는 위치에서, 예를 들어 타겟 표면(12) 내에서, 타겟 표면에서, 타겟 표면 상에서 또는 타겟 표면 옆에서 사용될 수 있다. 타겟 표면(12) 자체는 하나 이상의 구역(211, 212, 213, ..., 21m)으로 분할될 수 있다. 구역들(211, 212, 213, ..., 21m) 중 하나는 아래에 추가로 더 상세히 설명될 바와 같이 타겟 표면 밖의 이동가능 처리 디바이스(11)의 위치에 관련될 수 있다. 이동가능 처리 디바이스(11)는 타겟 표면(12)에 대해 이동될 수 있다. 이동가능 처리 디바이스(11)의 모션들은 이동가능 처리 디바이스가 사용되는 구역에 의존한다는 것, 이에 따라 이동가능 처리 디바이스(11)가 사용되는 구역은 모션을 분류함으로써 식별될 수 있으며, 모션은 추가 센서 데이터, 예를 들어 압력 센서 데이터에 의해 확장될 수 있는 관성 센서 데이터에 의해 적어도 표현된다는 것이 본 명세서에 설명된 장치 및 시스템 배후에 있는 기본 개념이다.
도 1에 도시된 바와 같은 본 발명의 장치(10)는 타겟 표면(12)에 대한 이동가능 처리 디바이스(11)의 측위를 수행하도록 구성된다.
간단히 말하면, 본 설명의 기본 개념은 순환 신경망(RNN), 특히 게이트 순환 유닛(GRU) RNN, LSTM RNN(단기 LSTM) 또는 딥 GRU RNN/LSTM 또는 심지어 딥 양방향 GRU RNN/LSTM과 같은 신경망(NN)을 사용하여, 학습된 모션 클래스들에 대해 (적어도 하나의 관성 센서로부터의 데이터에 기초하여) 입력 벡터들의 시간 시퀀스를 분류하고 - 여기서 NN의 출력 벡터의 요소들은 모션 클래스들 각각에 대한 확률들을 표현함 -, 이어서 NN의 출력 벡터들의 시퀀스를 이동가능 처리 디바이스의 사용에 관한 복수의 구역 중 하나의 구역에 매핑하고 이 구역을 출력하는 것이다. 출력 벡터들의 시퀀스를 구역에 매핑하는 대신에, 출력 벡터들은 더 일반적인 출력, 예를 들어 "양호한" 모션 대 "불량한" 모션 또는 "올바른" 모션 대 "옳지 않은" 모션 또는 "제1 사용자" 모션 대 "제2 사용자" 모션 등과 같은 출력에 매핑될 수 있으며, 이는 분류가 이러한 양호한 또는 불량한 등의 모션들을 나타내는 모션 클래스들에 대해 발생한다는 것을 의미한다. 이것은 아래에서 더 상세히 설명될 것이다.
장치(10)는 모션 패턴 분류 디바이스(14)를 포함할 수 있다. 모션 패턴 분류 디바이스(14)는 이동가능 처리 디바이스(11)의 모션 클래스들의 세트(15)에 포함되는 2개 이상의 모션 클래스들(151, 152, 153, ..., 15k)을 구별하도록 구성될 수 있다. 다시 말해서, 이동가능 처리 디바이스(11)는, 예를 들어 상기 이동가능 처리 디바이스(11)를 사용하는 사용자에 의해, 상이한 선형 및/또는 회전 방향들로 이동될 수 있다. 따라서, 이동가능 처리 디바이스(11)의 각각의 모션은 각각의 또는 개개의 모션 패턴을 나타낼 수 있다. 모션 패턴 분류 디바이스(14)는 상이한 모션 클래스들의 세트(15)를 포함할 수 있다. 모션 클래스들의 세트(15)는 2개 이상의 모션 클래스들(151, 152, 153, ..., 15k)을 포함할 수 있다. 모션 패턴 분류 디바이스(14)는 이러한 2개 이상의 모션 클래스들(151, 152, 153, ..., 15k)을 구별하도록 구성될 수 있다. 즉, 모션 패턴 분류 디바이스(14)는 제1 모션 클래스(151)를 제2 모션 클래스(152)와 구별하도록 구성될 수 있다. 여기서 모션 패턴 분류 디바이스가 모션 클래스들을 구별하도록 구성된다고 말해지는 경우, 모션 패턴 분류 디바이스가 적어도 2개의 모션 클래스들에 대해 입력 모션 패턴을 분류하도록 훈련되었다는 것을 의미한다.
이동가능 처리 디바이스(11)의 움직임은 이동가능 처리 디바이스(11)가 포함하는 적어도 하나의 관성 센서(13)에 의해 검출될 수 있다. 관성 센서(13)는 관성에 기초한 센서이며, 가속도계, 자이로스코프 및 자력계 중 적어도 하나를 포함할 수 있다. 관성 센서(13)는 선속도, 각속도, 선가속도, 각가속도 및 중력 중 적어도 하나를 나타내는 센서 데이터를 제공할 수 있다. 관성 센서(13)는 하나 이상의 관성 센서들을 포함하는 관성 측정 유닛의 일부일 수 있다.
장치(10)는 관성 센서(13)로부터 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 수신하기 위한, 그리고 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 모션 패턴 분류 디바이스(14)에 제공하기 위한 인터페이스(16)를 포함할 수 있다. 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)는 이동가능 처리 디바이스(11)의 움직임을 나타낸다. 다시 말해서, 이동가능 처리 디바이스(11)가 이동할 때, 관성 센서(13)는 이 모션을 감지하고 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 생성한다. 따라서, 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)는 이동된 처리 디바이스(11)의 각자의 모션을 나타낸다. 관성 센서 데이터(171, 172, 173, ..., 17n)는 관성 센서(13)로부터 시간 연속적으로 샘플링될 수 있다. 하나의 주어진 시간 순간에 관한 관성 센서 데이터의 단일 샘플이 적어도 2개의 모션 클래스(151, 152, 153, ..., 15k)에 대해 모션 패턴을 분류하기 위해 모션 패턴 분류 디바이스 내로 입력되는 것이 배제되지 않아야 하지만, 인터페이스는 관성 센서 데이터의 시간 관계가 분류 프로세스에서 이용될 수 있도록 특히 관성 센서 데이터의 시간 시퀀스를 모션 패턴 분류 디바이스(13) 내로 입력할 수 있다.
본 개시에 따르면, 모션 패턴 분류 디바이스(14)는 신경망(18)을 포함할 수 있다. 신경망(18)은 순환 신경망 또는 딥 신경망일 수 있다. 신경망(18)은 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 수신하도록, 그리고 모션 클래스들의 세트(15)에 포함된 모션 클래스들(151, 152, 153, ..., 15k) 중 적어도 하나에 대해 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 분류하도록 구성될 수 있다(관성 센서 데이터의 수 n은 모션 클래스들의 수 k와는 독립적인데, 즉 25개의 입력 벡터들이 제공될 수 있고 12개의 모션 클래스들이 사용된다). 이러한 분류는 도 1에서 점선 및 실선 화살표들(191, 192, 193, ..., 19k)에 의해 개략적으로 표시된다. 실선으로 그려진 화살표(193)는 신경망(18)이 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 제3 모션 클래스(153)로 성공적으로 분류했다는 것을 예시적으로 나타낼 수 있다. NN의 출력은 전형적으로 입력과 동일한 시퀀스 길이를 갖는데, 즉 10개의 입력 벡터들이 입력 시퀀스로서 제공되는 경우에 10개의 출력 벡터들이 출력 시퀀스로서 제공되고(즉, RNN 유닛은 항상 시간 순간마다 출력 벡터를 생성함), 단지 하나의 입력 벡터만이 제공되는 경우에 또한 단지 하나의 출력 벡터만이 제공된다는 것이 이해된다. 전형적으로, NN의 각각의 출력 벡터는 k개의 모션 클래스에 관련되는 k개의 요소를 포함하고, 출력 벡터의 각각의 요소는 동일한 시간 순간의 입력 모션 패턴이 각자의 대응하는 모션 클래스에 관련되는 확률을 제공한다.
세트(15)에 포함된 상이한 모션 클래스들(151, 152, 153, ..., 15k)은 단지 예시 목적을 위해 상이한 기하학적 형상들(원, 직사각형, 삼각형, 별 모양)에 의해 예시적으로 상징화된다.
기본 원리에 따르면, 모션 클래스들(151, 152, 153, ..., 15k)은 각각 타겟 표면(12)의 하나 이상의 상이한 구역(211, 212, 213, ..., 21m)과 연관된다. 이것은 점선 및 실선 화살표들(201, 202, 203, ..., 20k)에 의해 표시된다. 알 수 있는 바와 같이, 제1 모션 클래스(151)는, 점선 화살표(201)에 의해 표시된 바와 같이, 타겟 표면(12)의 제1 구역(211)과 연관될 수 있다. 제2 모션 클래스(152)는, 점선 화살표(202)에 의해 표시된 바와 같이, 타겟 표면(12)의 제2 구역(212)과 연관될 수 있다. 제3 모션 클래스(153)는, 실선으로 그려진 화살표(203)에 의해 표시된 바와 같이, 타겟 표면(12)의 제3 구역(213)과 연관될 수 있다. 제k 모션 클래스(15k)는, 점선 화살표(20k)에 의해 표시된 바와 같이, 타겟 표면(12)의 제m 구역(21m)과 연관될 수 있다. 이것은 일반적으로 신경망 분야의 기술자에게 알려져 있지만, 신경망은 먼저 라벨링된 입력 모션 패턴들, 즉 소정 모션 클래스에 관련된 것으로 알려진 모션 패턴들로 훈련되며, 따라서 장치(10)에 사용되는 신경망은 물론 소정 예측 확률로 (훈련된) 모션 클래스들의 세트(15)에 포함된 모션 클래스들(151, 152, 153, ..., 15k)에 대해 새로운 입력 모션 패턴을 분류할 수 있는 훈련된 신경망인 것으로 여기서 언급된다.
실선으로 그려진 화살표(203)는 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)가 신경망(18)에 의해 성공적으로 분류되었던 제3 모션 클래스(153)가 타겟 표면(12)의 제3 구역(213)과 연관된다는 것을 예시적으로 나타낼 수 있다. 모션 클래스들(151, 152, 153, ..., 15n)과 타겟 표면(12)의 구역들(211, 212, 213, ..., 21m) 간의 여기서 이루어진 구별은 모션 클래스들 및 구역들이 전단사(즉, 일대일 및 전사) 함수에 의해 서로 연관되는 경우 어느 정도 인위적이지만, 이러한 구별은 신경망이 제1 수의 모션 클래스들(151, 152, 153, ..., 15k)(예를 들어, k = 20)에 대해 입력들(즉, 모션 패턴들)을 분류하도록 훈련되었던 것, 그리고 신경망의 출력이 더 낮은(또는 더 높은) 수의 구역들(211, 212, 213, ..., 21m)(예를 들어, m = 6)에 매핑되는 것을 허용하기 때문에 행해진다. 이하에서 추가로 설명될 바와 같이, 모션 클래스들 중 하나 또는 여러 개는 2개 이상의 구역들과 연관될 수 있다(예를 들어, 모션 클래스 5는 구역 3 및 구역 4와 연관될 수 있다). 이것은 상기로부터 명백해야 하지만, NN은 입력 모션 패턴을 구역들에 대해 분류하지 않고 단지 모션 클래스들에 대해서만 분류하는 것, 그리고 구역을 식별하는 단계는 (아래에 추가로 더 상세히 설명될 바와 같은) 다양한 추가적인 계산 단계들을 포함할 수 있는 추가된 단계이고 특히 구역들의 수 m은 모션 클래스들의 수 k보다 낮을 수 있다(또는 높을 수 있다, 이는 상이함을 의미함)는 것이 여기서 되풀이된다. 게다가 특히, 장치는 단지 입력 벡터 시퀀스마다 구역을 출력할 수 있는데, 예를 들어 장치는 장치가 현재 입력 벡터 시퀀스에 관한 기간 동안 사용되었던 구역으로서 구역 6을 출력할 수 있다. 이하에서 추가로 설명될 바와 같이, 최대 기준(maximum criterium) 또는 다수결 기준(majority criterium)이 출력 벡터 시퀀스를 단일 구역 출력에 매핑하는 데 사용될 수 있다.
따라서, 적어도 하나의 모션 클래스(151, 152, 153, ..., 15k)에 대한 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)의 분류는 타겟 표면(12)의 하나 이상의 구역(211, 212, 213, ..., 21m)에 대한 이동가능 처리 디바이스(11)의 위치의 추정을 나타낸다. 본 예에서, 제3 모션 클래스(153)에 관한 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)의 분류는 타겟 표면(12)의 제3 구역(213)에 대한 이동가능 처리 디바이스(11)의 위치의 추정을 나타낸다. 아래에 더 상세히 설명될 바와 같이, 본 명세서에 설명되는 신경망의 신경 유닛의 출력 벡터 yt는 전형적으로 입력 모션 패턴이 모션 클래스들 각각에 관련되는 확률 값들을 제공한다.
다시 말해서, 신경망(18)은 수신된 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 제3 모션 클래스(153)로 성공적으로 분류하였다(모션 클래스(153)에 대한 출력 벡터 yt의 확률 값은 최고 확률 값이다). 이 예에 따르면, 제3 모션 클래스(153)가 제3 구역(213)과 연관되기 때문에, 장치(10)는 이동가능 처리 디바이스(11)가 제3 구역(213)에 위치할 수 있다는, 또는 이동가능 처리 디바이스(11)가 적어도 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)가 생성되었던 시간에 제3 구역(213)에 위치하였다는 정보를 검색한다.
따라서, 장치(10)는 단지 이동가능 처리 디바이스(11)의 실행된 모션 또는 모션 패턴에 의해 이동가능 처리 디바이스(11)를 타겟 표면(12)에 대해 측위하도록 구성될 수 있다.
실시예에 따르면, 이동가능 처리 디바이스(11)는 개인용 기기일 수 있고 타겟 표면(12)은 이동가능 처리 디바이스(11)에 의해 처리될 신체 부분일 수 있다.
예를 들어, 이동가능 처리 디바이스(11)는 사용자의 신체의 신체 부분을 면도하거나 그루밍하기 위한 면도기 또는 그루머이다. 사용자의 신체는 이 경우에 타겟 표면(12)일 수 있다. 사용자의 신체(12)는 상이한 구역들, 예를 들어 좌측 뺨 구역, 우측 뺨 구역, 턱 구역 등으로 분리될 수 있다. 면도기(11)로 소정 모션 패턴을 실행함으로써, 장치(10)는 훈련된 신경망을 사용하여 면도기(11)를 사용자의 신체에 대해 측위할 수 있다.
추가 예로서, 이동가능 처리 디바이스(11)는 가정용 기기이고 타겟 표면(12)은 바닥, 벽, 가구 등의 표면일 수 있다. 예를 들어, 이동가능 처리 디바이스(11)는 진공 청소기일 수 있고 타겟 표면(12)은 방의 바닥일 수 있다. 방(12)은 상이한 구역들, 예를 들어 방의 좌상 모서리, 방의 우하 모서리, 방의 중앙, 방 안에 위치한 침대 아래 등으로 분리될 수 있다. 진공 청소기(11)로 소정 모션 패턴을 실행함으로써, 장치(10)는 진공 청소기(11)를 방의 바닥에 대해 측위할 수 있다. 예를 들어, 진공 청소기(11)의 랜스(lance)가 바닥에 가까이 낮춰진 상태로 진공 청소기(11)가 단지 앞뒤로 향하는 모션 패턴을 실행하는 경우, 장치(10)는 진공 청소기(11)를 예를 들어 "침대 아래" 구역에 위치하는 것으로서 측위할 수 있다. 따라서, 장치(10)는 단지 그의 실행된 모션 패턴에 의해 진공 청소기(11)를 방 안에서 측위할 수 있다.
추가 실시예에 따르면, 이동가능 처리 디바이스(11)는 구강 케어 디바이스이고 타겟 표면(12)은 구강일 수 있으며, 여기서 구강(12)은 상이한 구역들(211, 212, 213, ..., 21m)로 분리되고, 적어도 하나의 모션 클래스(151, 152, 153, ..., 15k)에 대한 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)의 분류는 구강(12)의 하나 이상의 구강 구역(211, 212, 213, ..., 21m)에 대한 구강 케어 디바이스(11)의 위치의 추정을 나타낸다. 구강은 두드러지게도 치열을 포함하며, 여기서 치열은 (아래에서 추가로 더 상세히 설명될 바와 같이) 상이한 치아 구역들로 분리될 수 있지만, 구강은 또한 혀(특히, 혀는 상이한 혀 섹션들로 분리될 수 있음) 및 잇몸 및 뺨 섹션들을 포함하며, 이들 영역이 또한 구역들일 수 있고 모션 클래스들은 신경망이 입력 모션 패턴들을 혀 등과 관련된 모션 클래스로 분류할 수 있도록 훈련될 수 있다.
구강 케어 디바이스는 칫솔, 특히 전기 칫솔일 수 있다. 구강 케어 디바이스는 또한 치실, 플라크 제거 디바이스, 초음파 디바이스 및 워터제트 디바이스 중 적어도 하나일 수 있다.
이 예에 따르면, 구강 케어 디바이스(11)로 소정 모션 패턴을 실행함으로써, 장치(10)는 구강 케어 디바이스(11)를 구강에 대해, 예를 들어 치열에 대해 측위할 수 있다. 예를 들어, 구강 케어 디바이스(11)가 좌측으로 기울어진 상태로 단지 상하로 향하는 모션 패턴을 구강 케어 디바이스(11)가 실행하는 경우, 장치(10)는, 예를 들어, 학습된 모션 클래스들로의 모션의 분류로 인해, 그리고 추가로 각각의 시간 순간 동안 또는 입력 데이터의 전체 시간 시퀀스 동안 식별된 모션 클래스를 구역에 매핑함으로써 구강 케어 디바이스(11)를 상부 턱의 좌상 치아 구역에 위치하는 것으로서 측위할 수 있다. 따라서, 장치(10)는 단지 그의 실행된 모션 패턴에 의해 구강 케어 디바이스(11)를 사용자의 치열에 대해 측위할 수 있다. 예에 의해 본 명세서에 설명된 입력 모션 패턴들은 단지 기본 개념을 예시할 것이다. 사실은, 소정 구역에(예를 들어, 상부 전방 치아에) 관한 모션 패턴들은 개인 및 개인의 칫솔질 습관들에 크게 의존하는데, 예를 들어 개인은 오른손잡이 또는 왼손잡이일 수 있고, 개인은 스크러빙 등을 사용할 수 있다. 신경망의 훈련 단계는 신경망의 예측 품질이 모든 유형의 입력 모션 패턴들에 대해 높을 수 있게 할 정도로 많은 상이한 개인들 또는 사용자 유형들 및 칫솔질 습관들에 영향을 미치는 상황들을 포함할 수 있다는 것이 명백하다.
실시예에 따르면, 치열은 9개의 치아 구역들로 분리될 수 있으며, 여기서 제1 치아 구역은 치열의 상부 및 하부 턱의 좌측 볼측에 대응하고, 제2 치아 구역은 치열의 상부 턱의 좌측 및 우측의 교합측에 대응하고, 제3 구역은 치열의 하부 턱의 좌측 및 우측의 교합측에 대응하고, 제4 치아 구역은 치열의 상부 및 하부 턱의 좌측 혀측에 대응하고, 제5 치아 구역은 치열의 상부 및 하부 턱의 우측 볼측에 대응하고, 제6 치아 구역은 치열의 상부 및 하부 턱의 우측 혀측에 대응하고, 제7 치아 구역은 치열의 상부 및 하부 턱의 입술측에 대응하고, 제8 치아 구역은 치열의 상부 턱의 구개측에 대응하고, 제9 치아 구역은 치열의 전방 하부 턱의 구강측에 대응한다.
추가 실시예에 따르면, 모션 클래스들의 세트(15)에 추가로 포함될 수 있는 적어도 하나의 모션 클래스(15NB)는 타겟 표면(12) 밖에 있거나 타겟 표면(12)에 관련되지 않은 구역(21NB)과 연관될 수 있으며, 여기서 적어도 하나의 모션 클래스(15NB)에 관한 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)의 매핑은 이동가능 처리 디바이스(11)가 타겟 표면(12) 밖에 있거나 타겟 표면(12)에 관련되지 않은 상기 구역(21NB)에 위치한다는 것을 나타낸다. 모션 클래스(15NB)는 사용자가 이동가능 처리 디바이스(11)를 타겟 표면을 향해 이동시키는(예를 들어, 구강 케어 디바이스가 욕실 세면대 상에 배치되었고 구강을 향해 이동됨), 또는 사용자가 이동가능 처리 디바이스(11)를 하나의 구역으로부터 다른 구역으로 전이시키는(예를 들어, 사용자가 구강 케어 디바이스를 좌상 어금니들로부터 우하 어금니들을 향해 이동시킬 수 있음) 입력 모션 패턴들에 관련될 수 있다.
다시 말해서, 타겟 표면(12) 밖의 구역(21NB)은 타겟 표면(12)에 직접 관련되지 않는 구역일 수 있다. 예를 들어, 이동가능 처리 디바이스(11)가 칫솔일 수 있는 경우, 타겟 표면(12) 밖의 상기 구역(21NB)은 치열 밖의 구역일 수 있다. 따라서, 이 구역(21NB)은 사용자가 그의 치아를 칫솔질하고 있지 않다는 것을 나타낼 수 있다. 이에 따라, 이 구역은 또한 'NB'로 축약되는, 구역 '칫솔질하지 않음'으로 지칭될 수 있다. 이 구역(21NB)은 타겟 표면(12)의 적어도 하나의 구역일 수 있거나, 이 구역(21NB)은 타겟 표면의 하나 이상의 구역(211, 212, 213, ..., 21m)에 더한 추가 구역일 수 있다. 그러나, 타겟 표면(12) 밖의 이러한 특정 구역(21NB)은 전술한 칫솔질의 예로 한정되지 않는다. 모션 패턴 분류 디바이스는 모션 클래스들의 세트를 포함하며, 이때 모션 클래스들 중 하나 이상은 각각 타겟 표면 밖의 하나 이상의 구역과 연관되는데, 예를 들어 적어도 하나의 모션 클래스가 (예를 들어, 장치가 타겟 표면을 향해 또는 그로부터 멀어지는 쪽으로 이동될 때) 타겟 표면 밖의 구역과 연관될 수 있고/있거나, 적어도 하나의 모션 클래스가 (예를 들어, 장치가 구역 3으로부터 구역 4로 이동될 때) 타겟 표면의 구역들 사이의 전이와 연관될 수 있다는 것이 배제되지 않아야 한다.
도 2는 전술된 예를 예시하기 위한 치열(12)을 도시한다. 치열(12)은 타겟 표면일 수 있거나, 예를 들어 혀를 또한 포함할 수 있는 타겟 표면의 일부일 수 있다. 치열(12)은 9개의 치아 구역(1a 내지 9a)으로 분리될 수 있다. 선택적으로, 제10 구역(NB)이 존재할 수 있다. 이러한 제10 구역(NB)은 치열(12) 밖의 구역이다. 따라서, 이러한 제10 구역(NB)은 도 2에 명시적으로 예시되지 않는다. 이러한 제10 구역(NB)은 치열(12)의 치아 구역들 중 하나에 관련되지 않고, 이에 따라 치열(12)의 치아들을 칫솔질하는 것과 관련되지 않기 때문에, 이러한 제10 구역(NB)은 또한 '칫솔질하지 않음' 구역으로 지칭될 수 있다.
도 2에서 알 수 있는 바와 같이, 제1 치아 구역(1a)은 치열(12)의 상부 및 하부 턱의 좌측 볼측에 대응할 수 있다. 제2 치아 구역(2a)은 치열(12)의 상부 턱의 좌측 및 우측의 교합측에 대응할 수 있다. 제3 구역(3a)은 치열(12)의 하부 턱의 좌측 및 우측의 교합측에 대응할 수 있다. 제4 치아 구역(4a)은 치열(12)의 상부 및 하부 턱의 좌측 혀측에 대응할 수 있다. 제5 치아 구역(5a)은 치열(12)의 상부 및 하부 턱의 우측 볼측에 대응할 수 있다. 제6 치아 구역(6a)은 치열(12)의 상부 및 하부 턱의 우측 혀측에 대응할 수 있다. 제7 치아 구역(7a)은 치열(12)의 상부 및 하부 턱의 입술측에 대응할 수 있다. 제8 치아 구역(8a)은 치열(12)의 상부 턱의 구개측에 대응할 수 있다. 제9 치아 구역(9a)은 치열(12)의 전방 하부 턱의 구강측에 대응할 수 있다. 추가 구역이 혀에 대응할 수 있다.
도 3은 추가 예를 예시하기 위한 치열(12)을 도시한다. 치열(12)은 타겟 표면일 수 있다. 치열(12)은 16개의 치아 구역(1b 내지 16b)으로 분리될 수 있다. 선택적으로, 제17 구역(NB)이 존재할 수 있다. 이러한 제17 구역(NB)은 치열(12) 밖의 구역이다. 따라서, 이러한 제17 구역(NB)은 도 3에 명시적으로 예시되지 않는다. 이러한 제17 구역(NB)은 치열(12)의 치아 구역들 중 하나에 관련되지 않고, 이에 따라 치열(12)의 치아들을 칫솔질하는 것과 관련되지 않기 때문에, 이러한 제17 구역(NB)은 또한 '칫솔질하지 않음' 구역으로 지칭될 수 있다.
도 3에서 알 수 있는 바와 같이, 제1 치아 구역(1b)은 치열(12)의 상부 턱의 좌측 볼측에 대응할 수 있다. 제2 치아 구역(2b)은 치열(12)의 상부 턱의 좌측의 교합측에 대응할 수 있다. 제3 치아 구역(3b)은 치열(12)의 하부 턱의 좌측의 교합측에 대응할 수 있다. 제4 치아 구역(4b)은 치열(12)의 상부 및 하부 턱의 좌측 혀측에 대응할 수 있다. 제5 치아 구역(5b)은 치열(12)의 상부 및 하부 턱의 우측 볼측에 대응할 수 있다. 제6 치아 구역(6b)은 치열(12)의 상부 턱의 우측의 교합측에 대응할 수 있다. 제7 치아 구역(7b)은 치열(12)의 하부 턱의 우측의 교합측에 대응할 수 있다. 제8 치아 구역(8b)은 치열(12)의 상부 턱의 구개측에 대응할 수 있다. 제9 치아 구역(9b)은 치열(12)의 상부 턱의 입술측에 대응할 수 있다. 제10 치아 구역(10b)은 치열(12)의 하부 턱의 입술측에 대응할 수 있다. 제11 치아 구역(11b)은 치열(12)의 상부 턱의 구개측에 대응할 수 있다. 제12 치아 구역(12b)은 치열(12)의 전방 하부 턱의 구강측에 대응할 수 있다. 제13 치아 구역(13b)은 치열(12)의 하부 턱의 좌측 볼측에 대응할 수 있다. 제14 치아 구역(14b)은 치열(12)의 하부 턱의 좌측 혀측에 대응할 수 있다. 제15 치아 구역(15b)은 치열(12)의 하부 턱의 우측 볼측에 대응할 수 있다. 제16 치아 구역(16b)은 치열(12)의 하부 턱의 우측 혀측에 대응할 수 있다.
이 예에서, 16개의 모션 클래스(또는 칫솔질하지 않음 모션 클래스를 포함하여, 17개의 모션 클래스)가 훈련될 수 있고, 전단사 함수가 모션 클래스들과 구역들을 서로 연관시키는 데 사용될 수 있다. 구강 케어 예를 참조하면, 추가의 모션 클래스들이 훈련될 수 있다. 예를 들어, 사용자들은 좌상 어금니들의 볼 표면들과 좌하 어금니들의 볼 표면들을 개별적으로 칫솔질하는 대신에 좌측 어금니들의 외측 면들(즉, 좌측 어금니들의 볼 표면들)을 함께 칫솔질하는 경향이 있다는 것이 알려져 있다. 따라서, 신경망은 좌측 어금니들의 볼 표면들의 이러한 조합된 칫솔질에 관련된 추가 모션 클래스에 대해 입력 모션 패턴을 분류하도록 훈련될 수 있다. 이어서 이러한 모션 클래스는 이전에 언급된 구역들 중 2개, 즉 제1 치아 구역(1b) 및 제13 치아 구역(13b)과 연관된다. 그 결과, 추가의 훈련된 모션 클래스들이 전방 치아들의 외측 표면들에 그리고 우측 어금니들의 볼 표면들에 관련될 수 있다. 그러한 예에서, 20개의 모션 클래스가 사용되고 17개의 구역과 연관된다.
도 2 및 도 3은 단지 비제한적인 예들로서 설명되었다. 타겟 표면(12)은 또한 설명된 9개 또는 16개의 치아 구역보다 더 많이 또는 더 적게 포함할 수 있다. 또한, 타겟 표면(12) 밖의 제10/제17 치아 구역(NB)은 선택적이다. 치열(12)의 하나 이상의 치아 구역의 정확한 분포는 전술된 예들과는 다를 수 있다.
신경망(18)은 순환 신경망(RNN)일 수 있다. 예를 들어, 신경망은 장단기 메모리(LSTM) 네트워크 또는 게이트 순환 유닛(GRU) 네트워크일 수 있다. RNN은 양방향 순환 신경망일 수 있다. 그것은 입력 벡터들의 시퀀스가 좌측으로부터 우측으로의(예를 들어, 과거로부터 미래로의) 출력을 계산하는 제1 순환 신경망 내로, 그리고 우측으로부터 좌측으로의(예를 들어, 미래로부터 과거로의) 출력을 계산하는 별개의 제2 순환 신경망 내로 공급된다는 것을 의미한다. 이러한 방식으로, RNN은 입력 시퀀스 내의 과거 및 미래 특징들을 이용할 수 있다. 이어서 2개의 별개의 RNN들의 순방향 및 역방향 은닉 벡터들은 출력 벡터 시퀀스를 생성하기 위해 출력 층 내로 함께 공급된다.
대안적으로, 장치(10)는 2개의 상이한 신경망을 이용할 수 있다. 치열 예를 참조하면, 제1 신경망은 입력 모션 패턴을 좌측 어금니들, 우측 어금니들, 및 전방 치아들에 대한 모션 클래스들로 분류할 수 있고, 제2 신경망은 입력 모션 패턴을 상부 턱 및 하부 턱에 대한 모션 클래스들로 분류할 수 있다. 이것을 직교 모션 클래스들로의 세그먼트화로 칭할 수 있다. 이어서 제1 및 제2 신경망들의 출력들은 조합되어 치열의 6개 구역 중 하나, 즉 좌상 어금니들, 우상 어금니들, 좌하 어금니들, 우하 어금니들, 상부 전방 치아, 또는 하부 우측 치아를 출력할 수 있다. 이것은 언급된 6개의 모션 클래스에 대한 확률 값들을 출력하는 단일 신경망을 직접 사용하는 것에 대한 적어도 대안을 나타낸다. 2개의 신경망의 사용은 추가의 신경망들에 의해 확장될 수 있는데, 예를 들어 제3 신경망이 입력 모션 패턴들을 치아의 볼 및 혀(및 교합) 표면들에 대한 모션 클래스들로 분류할 수 있다.
이미 언급되었던 바와 같이, 인터페이스는 관성 센서 데이터의 시퀀스를 모션 패턴 분류 디바이스에 제공하도록 배열될 수 있으며, 여기서 시퀀스는 시간 시퀀스에 관련된다. 칫솔질의 경우, 20 내지 30개 관성 센서 데이터의 범위 내의 시퀀스 길이가 감지 가능 시퀀스 길이를 나타낸다는 것, 그리고 이들 관성 센서 데이터가 샘플링되었던 기간은 0.5초 내지 5초의 범위일 수 있으며, 특히 약 1초일 수 있다는 것이 발견되었다.
RNN들은 기울기들이 더 많은 수의 층에 따라 빠르게 소실되는 소위 기울기 소실 문제를 겪을 수 있다. 기울기 소실은 다소 느린 훈련 속도들로 이어질 수 있다. 따라서, LSTM 네트워크들 및/또는 GRU 네트워크들이 기울기 소실 문제를 회피하는 데 사용될 수 있다.
LSTM 네트워크는 (예를 들어, 완전 연결된 출력 층과 같은) 정규 네트워크 유닛들에 더하여 LSTM 모듈들 또는 유닛들을 포함하는 인공 신경망이다. 여기서, 용어 LSTM 모듈 또는 LSTM 유닛 또는 LSTM 셀 또는 LSTM 블록은 모두 도 6a에 예시적으로 도시된 것과 동일한, 즉 완전한 LSTM 유닛을 의미할 것이다. LSTM 모듈은 입력이 LSTM 유닛이 기억하기에 충분히 중요할 때, 그것이 계속해서 기억되어야 할 때, 또는 그것이 그 값을 잊어야 할 때를 결정하는 게이트들을 포함한다.
도 4는 간단한 형태의 RNN 모듈(40)의 예를 도시한다. (신경 유닛으로 또한 칭해질 수 있는) 모듈(40)에는 소정 시간 순간 t에서 입력(41)이 공급될 수 있다. 입력(41)은 단일 값, 또는 2개 이상의 값을 포함하는 벡터일 수 있다. 소정 시간 순간 t에서의 입력(41)은 또한 Xt로 상징화될 수 있다. 입력(41)의 값 또는 값들은 관성 센서로부터의 원시 데이터일 수 있다. 6축 관성 센서(예를 들어, 3축 가속도계 및 3축 자이로스코프)가 사용되는 경우, 입력(41)은 6개의 값을 가질 수 있는데, 즉 벡터 Xt는 6개의 벡터 요소를 갖거나 다시 말해서 다음과 같다: Xt
Figure 112020083697447-pct00001
.R
이미 언급되었던 바와 같이, 이동가능 처리 디바이스는 추가 센서들, 예를 들어 이동가능 처리 디바이스가 처리 표면에 대해 푸시되는 압력을 측정하는 압력 센서를 포함할 수 있다. 그러한 예에서, 압력은 동일한 방식으로 샘플링될 수 있고 이어서 입력(41)은 예를 들어 제7 요소, 즉 압력 값을 획득할 수 있고, 따라서 Xt
Figure 112020083697447-pct00002
이며, 여기서 단일 압력 값이 가정된다. 압력(또는 힘) 센서는 대신에 다축 압력(또는 힘) 센서일 수 있고 이어서 입력은 훨씬 더 높은 차원을 가질 수 있다. 압력 값은 신경망의 분류 품질을 개선할 수 있다. 신경 유닛(40)은 또한 추가 입력(42)을 포함할 수 있다. 이러한 추가 입력(42)은 이전 시간 순간 t-1에서 신경 유닛(여기서 도시되지 않음)으로부터 제공될 수 있다. 순환 신경망의 계산 방향은 양의 시간 방향으로(즉, 과거로부터 미래로) 실행되는 것으로 구속되지 않는다. 관성 센서 데이터의 시퀀스가 RNN 내로 입력되는 경우, 순환 신경망은 시간적으로 마지막 관성 센서 데이터로부터 시간적으로 처음 관성 센서 데이터를 향해(즉, 미래로부터 과거로) 또는 그 반대로 계산할 수 있다. 이미 언급되었던 바와 같이, RNN은 과거로부터 미래로 계산하는 하나의 분기 및 미래로부터 과거로 계산하는 다른 분기를 갖는 양방향 RNN일 수 있다. 그것은 용어 "이전 시간 순간"이 계산 방향에 대한 이전 시간 순간만을 지칭하지만 반드시 시간적으로 더 이른 시간 순간을 의미하지는 않는다는 것을 의미한다.
신경 유닛(40)은 수학적 연산을 제공할 수 있는 적어도 하나의 신경망 층(43)을 포함할 수 있다. 이러한 예에서, 게이트(43)는 단일의 tanh 층이다. 박스들로서 도시된 신경망 층들은 학습된 네트워크 층을 나타낸다는 것이 이해되어야 한다.
신경 유닛(40)은 적어도 하나의 출력(46)을 포함할 수 있다. 출력(46)은 입력(41) 및 선택적으로 추가 입력(42)을 공급받은 tanh 신경망 층(43)의 연산의 결과를 포함할 수 있다. 출력(46)은 은닉 상태(45)로 이어질 수 있으며, 이는 나중에 설명될 것이다.
신경 유닛(40)은 선택적으로 입력(41) 및 선택적으로 추가 입력(42)을 공급받은 tanh 게이트(43)의 연산의 전술한 출력 결과로부터 분기하는 추가 출력 분기(46)를 포함할 수 있다.
도 4에서, 각각의 도시된 라인은 하나의 노드의 출력으로부터 다른 노드들의 입력들로 전체 벡터를 운반할 수 있다. 예를 들어 47에서 병합되는 라인들은 연쇄를 나타내는 반면, 예를 들어 48에서 갈라지는 라인은 그의 콘텐츠가 복사되고 사본들이 상이한 위치들로 간다는 것을 나타낸다. 이것은 또한 이하의 도면들을 참조하여 이하에서 설명될 다른 신경망 유닛들에 대해서도 적용된다.
이것은 일반적으로 신경망 분야의 기술자에 의해 알려져 있지만, 6개의 값을 포함할 수 있는 입력 벡터 Xt는 모듈(40)의 입력 층에서 훨씬 더 높은 차원을 갖는 벡터에 매핑될 수 있는데, 예를 들어 NN 모듈(40)에서 사용되는 벡터들은
Figure 112020083697447-pct00003
에서의 벡터들일 수 있으며, 여기서 이것은 단지 비제한적인 예일 뿐이라는 것이 이해되어야 한다. 신경망에서의 벡터들의 차원들에 대한 전형적인 값들은 128, 256, 512 또는 1024일 수 있지만, 다른 값들이 또한 선택될 수 있다. 따라서 이러한 매핑을 수행하기 위한 입력 가중 행렬은
Figure 112020083697447-pct00004
x
Figure 112020083697447-pct00005
행렬이다. 바이어스 벡터가 이 분야에 알려진 바와 같이 사용될 수 있으며, 그때 이 바이어스 벡터는 또 다시
Figure 112020083697447-pct00006
에서의 벡터일 수 있다. 모듈(40)의 출력 벡터 ht가 또한
Figure 112020083697447-pct00007
에서의 벡터이다. RNN이 도 4에 도시된 바와 같은 모듈들의 단일 반복 체인만을 갖는다고 가정하면, 그때 출력 층은 출력 벡터들 ht 각각을 모션 클래스들의 수에 따른 차원을 갖는 출력 벡터, 예를 들어 20개의 모션 클래스의 경우에
Figure 112020083697447-pct00008
에 매핑할 수 있다. 그때 출력 가중 행렬은
Figure 112020083697447-pct00009
x
Figure 112020083697447-pct00010
행렬이다. 이전에 언급되었던 바와 같이, 가중치들 및 바이어스들은 훈련 단계에서 결정된다.
도 5는 RNN에서 사용될 수 있는 GRU 모듈(50)의 예를 도시한다. 전술한 간단한 RNN 신경 유닛(40)에 더하여, GRU 신경 유닛(50)은 2개의 추가 신경망 층, 즉 제1 시그모이드 층(53) 및 제2 시그모이드 층(54)을 포함할 수 있다. 또한, GRU 신경 유닛(50)은 예를 들어 벡터 가산(58)과 같은 포인트별 연산들(55, 56, 57, 58, 59)을 포함할 수 있다.
도 6a는 본 발명에 따른 장치(10) 내의 신경망(18)에서 이용될 수 있는 LSTM 모듈로서 일반적으로 알려진 반복 모듈(60)의 예를 도시한다. 전술한 신경 유닛들(40, 50)에 더하여, LSTM 유닛(60)은 신경 유닛(60)의 상부를 통해 연장되는 수평 라인(61)인 셀 상태를 포함할 수 있다. 신경 유닛(60)은 셀 상태 입력(62)을 수신할 수 있고 셀 상태 출력(66)을 생성할 수 있다.
신경 유닛(60)은 3개의 게이트(또는 게이트 층), 즉 입력 게이트(54), 출력 게이트(63) 및 망각 게이트(53)를 포함할 수 있다. 이들 게이트(53, 54, 63) 각각은 피드 포워드(또는 다층) 신경망에서 "표준" 뉴런으로서 간주될 수 있는데, 즉 그들은 (활성화 함수를 사용하여) 가중 합의 활성화를 계산한다. 정보는 이러한 게이트들(53, 54, 63)에 의해 제거되거나 셀 상태(수평 라인(61))에 추가될 수 있다. 입력 게이트(54)는 입력 게이트와 함께 셀 상태의 업데이트를 결정하는 후보 상태를 생성하는 tanh 층(43)과 결합된다. 또한 LSTM 유닛 내에서의 흐름을 설명하는 하기에서 추가로 도시되고 논의되는 방정식들의 세트를 참조한다.
신경 유닛들(50, 60)은 단지 예시적인 신경 유닛들로서 도시되고 논의될 뿐이라는 것이 이해되어야 한다. 다른 신경 유닛들은 핍홀(peephole) 연결들 및/또는 연결된 망각 및 입력 게이트 층들을 이용할 수 있다. 장기 의존성들이 또한 예를 들어 클럭워크(Clockwork) RNN들 또는 다른 멀티스케일 RNN들에 의해 접근될 수 있다.
도 6b는 신경 유닛의 (시간 순간 t에 대한) 이전 및 후속 상태들이 도시되는 LSTM 모듈을 포함하는 펼쳐진 RNN의 예를 도시한다. 특히, 시간 순간 t에서의 신경 유닛(60t)이 도시되어 있다. 또한, 이전 시간 순간 t-1에서의 추가적인 신경 유닛(60t-1)이 도시되어 있다. 또한 추가로, 후속 시간 순간 t+1에서의 추가적인 신경 유닛(60t+1)이 도시되어 있다. 도시된 신경 유닛들(60t-1, 60t, 60t+1)은 동일한 신경 유닛을, 그러나 상이한 시점들에서의, 즉 시간 순간 t에서, 이전 시간 순간 t-1에서, 그리고 후속 시간 순간 t+1에서의 신경 유닛을 나타낼 수 있다. 도 6b는 입력 시퀀스 내에 입력 벡터들(Xt)이 있는 것만큼 많은 반복 신경 유닛들을 갖는 펼쳐진 LSTM 네트워크의 일부로서 이해될 수 있다. 이전에 언급되었던 바와 같이, 20 내지 30의 범위, 예를 들어 약 25의 시퀀스 길이가 사용될 수 있다.
또한 문자 X에 의해 상징화된 전술한 입력(41)은 관성 센서(13)로부터의 적어도 하나의 센서 데이터(171, 172, 173, ..., 17n)를 포함할 수 있다. 입력 X는 시간 의존적일 수 있으며, 이에 따라 X=X(t)이다. 특히, 도시된 입력 X t 는 고려된 시간 순간 t 동안 획득된 센서 데이터(172)를 포함할 수 있고, 도시된 입력 X t-1 은 이전 시간 순간 t-1 동안 획득된 센서 데이터(171)를 포함할 수 있고, 도시된 입력 X t + 1 은 후속 시간 순간 t+1 동안 획득된 센서 데이터(173)를 포함할 수 있다. 이전에 설명되었던 바와 같이, 입력 X는 RNN의 입력 층 내로 공급된다.
도 6b에서 추가로 알 수 있는 바와 같이, 신경 유닛들(60t-1, 60t, 60t+1)은, 각각의 도시된 시간 순간 t-1, t, t+1에, 각자의 출력 값 yt-1, yt, yt+1을 제공할 수 있다. 출력 값 y(t)는 단일 값(단지 하나의 단일 모션 클래스만이 있을 경우) 또는 복수의 벡터 요소를 포함하는 벡터일 수 있다.
출력 값 y(t)는 다음과 같이 RNN의 완전 연결된 출력 층에서 계산될 수 있으며:
Figure 112020083697447-pct00011
여기서 W hy 는 각자의 출력 가중 행렬이고 b는 각자의 출력 바이어스 벡터이다. 출력 벡터 y(t)는, 도 7과 관련하여 더 상세히 설명될 바와 같이, 0 내지 1의 범위의 확률 값들을 포함한다. 출력 벡터 y(t)는 하나 이상의 벡터 요소를 포함하며, 여기서 각각의 벡터 요소는 입력 벡터 Xt, 즉 관성 센서 데이터(171, 172, 173, ..., 17n)가 모션 클래스들(151, 152, 153, ..., 15k) 중 하나에 관련되는 확률 값을 제공한다. softmax 함수의 적용은 단지 선택적인 것임이 이해되어야 한다. 특히, 출력 벡터에서 최고 확률을 갖는 모션 클래스의 식별은 임의의 정규화 없이 행해질 수 있다.
또한, 도시된 신경 유닛들(60t-1, 60t, 60t+1)은 동일한 층에, 즉 제1 층에 배열될 수 있다. 본 발명의 몇몇 예들은 하나 이상의 추가적인 적층된 층을 포함할 수 있으며, 여기서 각각의 층은 그 자신의 신경 유닛(들)을 포함할 수 있다. 그러한 예들이 예를 들어 도 7을 참조하여 후술될 수 있다. 그러나, 적어도 제1 층을 갖는 예들 및 실시예들이 도 6b를 추가로 참조하여 설명될 것이다.
이러한 실시예에 따르면, 신경망(18)은 신경 유닛들(60t-1, 60t, 60t+1)의, 여기서 LSTM 유닛들의 제1 층을 포함할 수 있으며, 여기서 상기 제1 층은 신경 유닛(60t)을 포함하고, 제1 시간 순간 t에서 적어도 하나의 관성 센서 데이터 X t 는 제1 층의 신경 유닛(60t) 내로 입력된다. 후속 제2 시간 순간 t+1에서, 제2 관성 센서 데이터 Xt+1 및 이전의 제1 시간 순간 t의 신경 유닛(60t)의 적어도 하나의 출력 h t 가 제1 층의 신경 유닛(60 t + 1 ) 내로 입력된다.
도 7은 신경망(18)이 신경 유닛들의 적어도 2개의 적층된 층들, 즉 제1 층(71) 및 제2 층(72)을 포함하는 추가의 예를 도시한다. 제1 층(71)은 적어도 제1 신경 유닛(60t)을 포함하고, 제2 층(72)은 적어도 제2 신경 유닛(70t)을 포함한다. 도시된 적층된 구조는 적층된 다수의 RNN 은닉 층들을 포함하는 딥 RNN 구조인 것으로 이해될 수 있다.
알 수 있는 바와 같이, 상이한 시간 인스턴스들(t-1, t, t+1)에서 획득된 센서 데이터(171, 172, 173)는 제1 층(71)의 각자의 신경 유닛(60t-1, 60t, 60t+1) 내로 입력(X t-1 , X t , X t + 1 )으로서 공급된다.
제1 층(71)의 각각의 신경 유닛(60t-1, 60t, 60t+1)의 은닉 출력 벡터들(45t-1, 45t, 45t+1)은 제2 층(72)의 각자의 신경 유닛(70t-1, 70t, 70t+1) 내로 입력으로서 공급될 수 있다.
제1 층(71)의 신경 유닛들(60t-1, 60t, 60t+1)과 제2 층(72)의 신경 유닛들(70t-1, 70t, 70t+1)은 동일할 수 있다. 대안적으로, 제1 층(71)의 신경 유닛들(60t-1, 60t, 60t+1)과 제2 층(72)의 신경 유닛들(70t-1, 70t, 70t+1)의 내부 구조는 서로 상이할 수 있다.
도 7에 도시된 바와 같은 실시예에 따르면, 신경망(18)은 적어도 제1 층(71) 및 제2 층(72)을 포함할 수 있으며, 여기서 제1 층(71)은 제1 신경 유닛(60t)을 포함할 수 있고 제2 층(72)은 제2 신경 유닛(70t)을 포함할 수 있으며, 제1 시간 순간 t에 적어도 하나의 관성 센서 데이터 X t 는 제1 층(71)의 제1 신경 유닛(60t) 내로 입력되고, 제1 신경 유닛(60 t )의 출력 h t 는 제2 층(72)의 신경 유닛(70 t ) 내로 입력된다. 양방향 RNN의 경우에, 별개의 층들 각각의 중간 은닉 출력 벡터들(45t)은 다음 층의 신경 유닛들 내로 공급될 수 있다.
지금까지 수직 방향의, 즉 하부 제1 층(71)으로부터 상부 제2 층(72)으로의 신호 경로가 설명되었다. 그러나, 도 7의 실시예에서, 또한 수평 방향의 신호 경로가 도시되어 있다.
알 수 있는 바와 같이, 제1 시간 순간 t에서의 제1 신경 유닛(60t)의 셀 상태 출력 Ct 및/또는 제1 시간 순간 t에서의 제1 신경 유닛(60t)의 출력 ht(46)는 또 다시 제1 신경 유닛(60) 내로, 즉 후속 시간 순간 t+1에서 제1 신경 유닛(60t+1) 내로 입력으로서 공급될 수 있다. 이미 전술한 바와 같이, 신경 유닛(60) 자체는 동일한 신경 유닛일 수 있지만, 그것은 단지 상이한 시간 인스턴스들 t-1, t, t+1에서의 신경 유닛(60)의 상태들의 예시의 용이함을 위해 신경 유닛들(60t-1, 60t, 60t+1)의 체인으로서 도면들에 도시될 수 있다. 다시 말해서, 수평 신호 경로는 상이한 후속 시간 인스턴스들 t-1, t, t+1에서의 신경 유닛(60)의 신호 경로를 설명할 수 있다. 이것은 제2 층(72) 및 임의의 잠재적인 추가 층들에 대해서도 적용된다.
따라서, 도시된 후속 시간 인스턴스들 t-1, t, t+1은 신경망(18)이 획득된 센서 데이터(171, 172, 173, ..., 17n)를 샘플링하고 처리할 수 있는 길이(77)를 나타낼 수 있다. 따라서 상기 길이(77)는 실행 길이, 샘플 길이 또는 샘플 기간으로 지칭될 수 있다. 예를 들어, 샘플 길이(77)는 1초에 대응할 수 있으며, 여기서 시간 인스턴스들 t-1, t, t+1은 상기 1초의 일부들일 수 있다. 예를 들어 샘플 기간(77)은 50개의 샘플의, 즉 50개의 시간 인스턴스의 길이를 가질 수 있다. 신경망(18)은 샘플 기간 동안 한 번 실행될 수 있거나, 신경망(18)은 2개 이상의 샘플 기간에 걸쳐 영구적으로 실행될 수 있다.
따라서, 추가 실시예에 따르면, 신경망(18)은 적어도 제1 층(71) 및 적층된 제2 층(72)을 포함할 수 있으며, 여기서 제1 층(71)은 제1 신경 유닛(60t)을 포함할 수 있고 제2 층(72)은 제2 신경 유닛(70t)을 포함할 수 있으며, 제1 시간 순간 t에 적어도 하나의 관성 센서 데이터 X t 는 제1 층(71)의 제1 신경 유닛(60 t ) 내로 입력될 수 있고, 제1 신경 유닛(60 t )의 적어도 하나의 출력 h t 는 제2 층(72)의 신경 유닛(70 t ) 내로 입력될 수 있다. 지금까지 그것은 전술된 것과 동일할 수 있다. 그러나, 추가적으로, 후속 제2 시간 순간 t+1에서, 제2 관성 센서 데이터 X t + 1 및 제1 시간 순간 t에서의 제1 신경 유닛(60t)의 적어도 하나의 출력 h t (46)가 후속 제2 시간 순간 t+1에서 제1 신경 유닛(60 t + 1 ) 내로 입력된다.
위에서 언급된 바와 같이, 여러 수학적 연산이 예를 들어 게이트들(43, 53, 54, 63)에서 신경망(18)에 의해 실행될 수 있다. 도 7에 도시된 예에서, 다음의 수학적 연산들이 상이한 스테이지들에서 실행될 수 있으며:
Figure 112020083697447-pct00012
여기서 (시간 t 대신에, 여기서 선택된 표기법은 j를 실행 인덱스로서 사용함):
Figure 112020083697447-pct00013
xj는 입력 벡터이고
Figure 112020083697447-pct00014
ij는 입력 게이트의 활성화 벡터이고
Figure 112020083697447-pct00015
fjk는 망각 게이트의 활성화 벡터이고
Figure 112020083697447-pct00016
oj는 출력 게이트의 활성화 벡터이고
Figure 112020083697447-pct00017
uj는 후보 상태 벡터이고
Figure 112020083697447-pct00018
cj는 셀 상태 벡터이고
Figure 112020083697447-pct00019
hj는 LSTM 모듈 또는 신경 유닛(60, 70)의 출력 벡터이고 이 예에 대해, 입력 센서 데이터 Xt는 요소 벡터 X t ∈
Figure 112020083697447-pct00020
6일 수 있다.
예를 들어 그것은 입력 텐서 X t ∈
Figure 112020083697447-pct00021
6, [Ax, Ay, Az, Gx, Gy, Gz]T일 수 있다.
또한 가중 행렬들( W, U ) 및 바이어스 벡터들( b )이 각각의 네트워크 층에서 사용되며, 이 예에서 다음과 같다:
Figure 112020083697447-pct00022
입력 가중치들 W xy ∈
Figure 112020083697447-pct00023
6×256;
Figure 112020083697447-pct00024
은닉 층 가중치들 U xy ∈
Figure 112020083697447-pct00025
256×256;
Figure 112020083697447-pct00026
은닉 층들에서 사용된 바이어스들 b x ∈
Figure 112020083697447-pct00027
256.
은닉 상태들 h t 는 또한 256개 요소를 포함하는 요소 벡터들, h t ∈
Figure 112020083697447-pct00028
256이다.
또한, 셀 상태들 c t 는 또한 256개 요소를 포함하는 요소 벡터들, c t ∈
Figure 112020083697447-pct00029
256이다.
위에서 언급된 바와 같이, 입력 관성 센서 데이터 X t 는 6개의 벡터 요소를 포함하는 요소 벡터 X t ∈
Figure 112020083697447-pct00030
6, 예를 들어 입력 텐서 X t ∈
Figure 112020083697447-pct00031
6, [Ax, Ay, Az, Gx, Gy, Gz]T일 수 있다. 이러한 벡터 요소들 [Ax, Ay, Az, Gx, Gy, Gz]T는 또한 관성 센서 데이터 부분들로 지칭될 수 있다.
실시예에 따르면, 적어도 하나의 관성 센서 데이터(171)는 x, y 및 z 방향의 선속도, x, y 및 z 축들에 대한 각속도, x, y 및 z 방향의 선가속도, 및 x, y 및 z 축들에 대한 각가속도를 포함하는 그룹의 적어도 3개의 관성 센서 데이터 부분을 포함할 수 있다.
다시 말해서, 관성 센서(13)는 하나 이상의 시간 인스턴스 t-1, t, t+1에서 관성 센서 데이터(171, 172, 173, ..., 17n)를 제공할 수 있으며, 여기서 관성 센서 데이터(171, 172, 173, ..., 17n)는 하나의 관찰된 시간 인스턴스 t-1, t, t+1에서의 이동가능 처리 디바이스(11)의 현재 배향 및 모션에 의존할 수 있다. 관성 센서 데이터(171, 172, 173, ..., 17n) 각각은 적어도 3개, 또는 다른 예들에서 적어도 6개의 벡터 요소들을 포함하는 벡터일 수 있으며, 여기서 상기 벡터 요소들은 전술한 관성 센서 데이터 부분들을 나타내고, 상기 관성 센서 데이터 부분들 중 적어도 하나는 0일 수 있다.
따라서, 관성 센서 데이터(171, 172, 173, ..., 17n)(벡터들), 및 특히 센서 데이터 부분들(벡터 요소들)은 하나 이상의 후속 시간 인스턴스들 t-1, t, t+1을 포함하는 샘플 기간(77) 동안 샘플링된 바와 같은 이동가능 처리 디바이스(11)의 현재 모션 패턴을 나타낼 수 있다.
도 7에 도시된 바와 같은 실시예에 따르면, 적어도 하나의 관성 센서 데이터(172)(벡터)는 하나 이상의 관성 센서 데이터 부분들(벡터 요소들)을 포함할 수 있으며, 여기서 제1 시간 순간 t에서의 신경 유닛(60t)에 대한 입력은 상기 제1 시간 순간 t 동안 검색된 하나 이상의 관성 센서 데이터 부분들을 포함하는 각자의 관성 센서 데이터(172)이다. 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)는 샘플 시간(77) 동안 샘플링될 수 있다.
신경망(18)은, 도 1을 참조하여 초기에 설명되었던 바와 같이, 모션 클래스들의 세트(15)에 포함된 적어도 하나의 모션 클래스(151, 152, 153, ..., 15k)에 대해 샘플 시간(77) 동안 샘플링된 적어도 하나의 샘플링된 관성 센서 데이터(171, 172, 173, ..., 17n)를 분류할 수 있다.
설명되었던 바와 같이, 신경망의 출력 벡터 yt는 0 내지 1의 범위의 값을 각각 갖는 벡터 요소들을 포함할 수 있으며 여기서 선택적인 softmax 함수가 적용되는 경우에 벡터 요소들은 1로 합산된다. 따라서 각각의 벡터 요소는 입력 벡터 Xt가 모션 클래스들(151, 152, 153, ..., 15k) 중 하나에 관련되는 확률 값이다. 모션 패턴 분류 디바이스(14)는 입력이 관련되는 모션 클래스로서 최고 확률 값을 받은 모션 클래스를 표시할 수 있다. 몇몇 실시예들에서, 모션 패턴 분류 디바이스(14)는 최고 확률 값이 소정 임계치 미만, 예를 들어 (정규화된 출력의 경우에) 0.7 미만인 경우 어떠한 모션 클래스도 표시하지 않을 수 있다. 임계치 아래의 값은 예측 품질이 낮고 결과가 신뢰할 수 없다는 것을 나타내는 것으로 보일 수 있다. 몇몇 실시예들에서, 모션 패턴 분류 디바이스(14)는 입력 벡터들의 완전한 시퀀스에 대한 모션 클래스를 표시할 수 있으며, 여기서 표시된 모션 클래스는 출력 벡터들의 시퀀스에 대해 최대 기준 또는 다수결 기준을 적용함으로써 식별되었다.
다시 말해서, 신경망(18)은 입력 x(t) 로서 관성 센서 데이터(171, 172, 173, ..., 17n)를 수신할 수 있고 그것은 하나 이상의 확률 값들을 출력 y(t) 로서 출력할 수 있다. 위에서 언급된 바와 같이, 도 7에 도시된 예에서, 출력 값 y(t)는 또한 예를 들어 적어도 3개, 또는 적어도 6개, 또는 적어도 12개의 벡터 요소를 포함하는 요소 벡터일 수 있다. 출력 벡터 y(t)의 각각의 벡터 요소는 구역(211, 212, 213, ..., 21m)과 연관될 수 있는 모션 클래스(151, 152, 153, ..., 15k)에 대한 확률 값을 나타낼 수 있다. 그것은, 모션 패턴 분류 디바이스(14)가 출력으로서 단일 모션 클래스를 제공하는 경우에, 예를 들어 임계치보다 높은 최고 확률 값을 갖는 모션 클래스를 선택함으로써, 이동가능 처리 디바이스가 샘플링 주기 동안 사용되었던 연관된 하나 이상의 구역들이 예를 들어 디스플레이 상에서 사용자에게 표시될 수 있다는 것을 의미한다.
신경망(18)은 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 수신하고 적어도 하나의 모션 클래스(151, 152, 153, ..., 15k)에 대해 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 분류할 수 있으며, 상기 모션 클래스들(151, 152, 153, ..., 15k)은 각각 타겟 표면(12)의 하나 이상의 상이한 구역들(211, 212, 213, ..., 21m)과 연관될 수 있기 때문에, 확률 값들은 획득된 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)가 타겟 표면(12)의 상이한 구역들(211, 212, 213, ..., 21m) 중 하나에 대응하는 것이 얼마나 가능성이 있는지를 나타내는 것으로 보여질 수 있다.
다시 말해서, 장치(10)는 단지 센서 데이터(171, 172, 173, ..., 17n)를 수신하고 타겟 표면(12)의 하나 이상의 구역(211, 212, 213, ..., 21m)과 각각 연관된 모션 클래스들(151, 152, 153, ..., 15k)에 대해 상기 센서 데이터(171, 172, 173, ..., 17n)를 분류함으로써 타겟 표면(12)의 어느 구역(211, 212, 213, ..., 21m)에 이동가능 처리 디바이스(11)가 위치하는지에 대한 추정을, 모션 패턴 분류 디바이스(14)로부터, 도출할 수 있다.
도 8은 타겟 표면(12)에 대한 이동가능 처리 디바이스(11)의 측위를 수행하기 위한 본 발명의 방법의 예의 블록도를 도시하며, 여기서 이동가능 처리 디바이스(11)는 관성 센서(13)를 포함하고 이동가능 처리 디바이스(11)는 타겟 표면(12)을 처리하도록 구성된다.
블록 801에서, 방법은 이동가능 처리 디바이스(11)의 모션 클래스들의 세트(15)에 포함된 2개 이상의 모션 클래스들(151, 152, 153, ..., 15k)을 구별하는 단계를 포함한다. 여기서, 구별한다는 것은 모션 패턴 분류 디바이스(14)가 2개 이상의 모션 클래스에 대해 입력 모션 패턴들을 분류하도록 학습된다는 것을 의미할 것이다. 다시 말해서, 분류가 행해질 수 있도록 2개 이상의 모션 클래스가 제공된다.
블록 802에서, 방법은 관성 센서(13)로부터 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 수신하는 단계를 포함하며, 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)는 이동가능 처리 디바이스(11)의 움직임을 나타낸다.
블록 803에서, 방법은 신경망(18)에 의해 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 수신 및 처리하고 모션 클래스들의 세트(15)에 포함된 적어도 하나의 모션 클래스(151, 152, 153, .., 15k)에 대해 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 분류하는 단계를 포함하며, 여기서 모션 클래스들의 세트(15)에 포함된 상기 모션 클래스들(151, 152, 153, ..., 15k)은 각각 타겟 표면(12)의 하나 이상의 상이한 구역들(211, 212, 213, ..., 21m)과 연관되며, 따라서 적어도 하나의 모션 클래스(151, 152, 153, ..., 15k)에 관한 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)의 분류는 타겟 표면(12)의 적어도 하나의 구역(211, 212, 213, ..., 21m)에 대한 이동가능 처리 디바이스(11)의 위치의 추정을 나타낸다.
도 9는 본 발명의 제2 태양에 따른 장치(100)를 도시한다. 제2 태양의 장치(100)는 제1 태양의 전술한 장치(10)와 같을 수 있다. 또한, 제1 태양의 장치(10)와 관련하여 전술한 특징들 모두가 제2 태양의 아래에 설명되는 장치(100)와 조합 가능하고, 그 반대도 마찬가지이다.
제2 태양의 장치(100)는 모션 클래스들(151, 152, 153, ..., 15k)이 타겟 표면(12)의 상이한 구역들(211, 212, 213, ..., 21m) 대신에 하나 또는 여러 개의 연관된 클래스들(101, 102, 103, 104)의 한 명 이상의 클래스 멤버들(101A, 101B, ..., mA, mB)과 연관될 수 있다는 점에서 제1 태양의 장치(10)(도 1 참조)와는 다를 수 있다. 본질적으로 이것은 연관된 클래스(101)가 관련이 있는 임의의 것일 수 있기 때문에 장치(10)와 관련하여 논의된 기본 개념의 더 추상적이고 더 넓은 논의이다. 이하의 설명에서, 사용자들에 관련된 연관된 클래스들에 초점이 맞추어지며, 특히 연관된 클래스(101)는 사용자 그룹의 상이한 멤버들(예를 들어, 가정의 상이한 멤버들)에 관련될 수 있거나, 이동가능 처리 디바이스(11)를 사용하는 상이한 스타일을 갖는 사용자들에 관련될 수 있다.
따라서, 제2 태양의 장치(100)는 관성 센서(13)를 포함하는 이동가능 처리 디바이스(11)의 모션을 분류하도록 구성된다. 장치(100)는 이동가능 처리 디바이스(11)의 모션 클래스들의 세트(15)에 포함된 2개 이상의 모션 클래스들(151, 152, 153, ..., 15k)을 구별하도록 구성된 모션 패턴 분류 디바이스(14)를 포함한다.
또한, 장치(100)는 관성 센서(13)로부터 모션 패턴 분류 디바이스(14)로 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 제공하기 위한 인터페이스(16)를 포함하며, 여기서 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)는 이동가능 처리 디바이스(11)의 모션을 나타낸다.
본 발명의 제2 태양에 따르면, 모션 패턴 분류 디바이스(14)는 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 수신하도록, 그리고 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 모션 클래스들의 세트(15)에 포함된 적어도 하나의 모션 클래스(151, 152, 153, ..., 15k)에 대해 분류하도록 구성된 신경망(18)을 포함하며, 여기서 적어도 하나의 분류된 모션 클래스(151, 152, 153, ..., 15k)는 하나 이상의 연관된 클래스들(101, 102, 103, 104)의 적어도 한 명 이상의 클래스 멤버들(101A, 101B, 102A, 102B, 103A, 103B, mA, mB)과 연관되고, 따라서 적어도 한 명의 클래스 멤버(101A, 101B, ...,mA, mB)는 이동가능 처리 디바이스(11)의 모션에 기초하여 선택된다.
모션 클래스들의 세트(15)에 포함된 모션 클래스들(151, 152, 153, ..., 15k)에 대한 입력 모션 패턴들, 즉 관성 센서 데이터(171, 172, 173, ..., 17n)의 분류와 관련하여, 이전 설명을 참조한다.
도 9의 비제한적인 예는 4개의 연관된 클래스들(101, 102, 103, 104)을 도시하며, 여기서 각각의 연관된 클래스는 2명의 클래스 멤버들(101A, 101B, ..., mA, mB)을 포함한다. 그러나, 적어도 하나의 연관된 클래스가 있을 수 있고, 각각의 연관된 클래스는 적어도 2명의 클래스 멤버를 포함할 수 있다. 또한 2개 초과의 연관된 클래스 또는 예시적으로 도시된 4개의 연관된 클래스보다 훨씬 더 많은 연관된 클래스들이 있을 수 있다.
도 9의 예에서 알 수 있는 바와 같이, 제1 모션 클래스(151)는 제1 연관된 클래스(101)의 클래스 멤버(101A)와 연관될 수 있다. 제k 모션 클래스(15k)는 제m 클래스(104)의 클래스 멤버(mB)와 연관될 수 있다. 제2 모션 클래스(152)는 상이한 연관된 클래스들의 2명의 클래스 멤버들과, 예를 들어 제1 연관된 클래스(101)의 클래스 멤버(101B)와 그리고 제2 연관된 클래스(102)의 클래스 멤버(102A)와 연관될 수 있다. 제3 모션 클래스(153)는 동일한 연관된 클래스의 2명의 클래스 멤버와, 예를 들어 제3 연관된 클래스의 2명의 클래스 멤버(103A, 103B)와 연관될 수 있다.
이하에서, 연관된 클래스들 및 클래스 멤버들의 몇몇 예들이 설명될 것이다.
실시예에 따르면, 하나 이상의 연관된 클래스들(101, 102, 103, 104) 중 적어도 하나의 연관된 클래스(101)는 적어도 한 명의 클래스 멤버(101A)를 포함할 수 있으며, 여기서 상기 하나의 연관된 클래스(101)는 사용자 그룹을 나타낼 수 있고, 상기 적어도 한 명의 클래스 멤버(101A)는 상기 사용자 그룹의 적어도 한 명의 사용자를 나타낼 수 있고, 적어도 하나의 모션 클래스(151, 152, 153, ..., 15k)는 이동가능 처리 디바이스(11)의 모션에 기초하여 상기 적어도 한 명의 사용자를 식별하기 위해 적어도 한 명의 클래스 멤버(101A)와 연관될 수 있다.
다시 말해서, 연관된 클래스들(101, 102, 103, 104) 중 하나는 사용자 그룹, 즉 이동가능 처리 디바이스(11)를 사용하는 사용자들의 그룹을 나타낼 수 있다. 각자의 연관된 클래스는 상기 사용자 그룹의 한 명의 특정 사용자를 나타낼 수 있는 적어도 한 명의 클래스 멤버를 포함할 수 있다. 예를 들어, 제1 클래스(101)는 사용자 그룹을 나타낼 수 있으며, 여기서 상기 사용자 그룹은 단일 가정의 개인들에 관련될 수 있다. 이러한 예에서, 사용자 그룹(101)은 단지 한 명의 클래스 멤버(101A)만, 즉 한 사람만을 포함할 수 있다. 본 발명의 장치(100)는 단지 이동가능 처리 디바이스(11)의 모션에 기초하여 상기 적어도 한 명의 사용자(101A)를 식별하도록 구성될 수 있다. 따라서, 장치(100)는, 몇몇 예들에 관해 나중에 설명될 바와 같이, 상기 한 명의 식별된 사용자(101A)와의 임의의 액션들 또는 상호작용들을 개인화할 수 있다.
추가의 실시예에 따르면, 하나 이상의 연관된 클래스들(101, 102, 103, 104) 중 적어도 하나의 연관된 클래스(101)는 적어도 2명의 클래스 멤버들(101A, 101B)을 포함할 수 있으며, 여기서 상기 하나의 연관된 클래스(101)는 사용자 그룹을 나타낼 수 있고, 상기 적어도 2명의 클래스 멤버들(101A, 101B)은 상기 사용자 그룹의 적어도 2명의 사용자를 나타낼 수 있고, 적어도 하나의 모션 클래스(151, 152, 153, ..., 15k)는 이동가능 처리 디바이스(11)의 모션에 기초하여 사용자 그룹 내의 적어도 한 명의 사용자를 식별하기 위해 상기 적어도 2명의 클래스 멤버들(101A, 101B) 중 한 명과 연관될 수 있다.
다시 말해서, 연관된 클래스들(101, 102, 103, 104) 중 하나는 사용자 그룹, 즉 이동가능 처리 디바이스(11)를 사용하는 사용자들의 그룹을 나타낼 수 있다. 각자의 연관된 클래스는 상기 사용자 그룹의 한 명의 특정 사용자를 나타낼 수 있는 적어도 한 명의 클래스 멤버를 포함할 수 있다. 예를 들어, 제1 연관된 클래스(101)는 사용자 그룹을 나타낼 수 있으며, 상기 사용자 그룹은 가족일 수 있다. 상기 연관된 클래스(101)의 클래스 멤버들(101A, 101B)은 가족 멤버들을 나타낼 수 있다. 예를 들어, 사용자 그룹(101)은 한 명 이상의 가족 멤버를 포함할 수 있으며, 여기서 제1 클래스 멤버(101A)는 가족의 엄마를 나타낼 수 있고 제2 클래스 멤버(101B)는 가족의 아이를 나타낼 수 있다.
장치(100)는 단지 이동가능 처리 디바이스(11)의 모션에 기초하여 적어도 한 명의 사용자를 식별하도록 구성될 수 있다. 이것은 모든 사용자가 이동가능 처리 디바이스(11)를 상이한 또는 개별적인 방식으로 사용할 수 있는 경우에 달성될 수 있다.
예를 들어, 실시예에서 이동가능 처리 디바이스(11)는 칫솔, 특히 전기 칫솔과 같은 이동가능 구강 케어 디바이스이다. 이동가능 구강 케어 디바이스는 또한 치실, 플라크 제거 디바이스, 초음파 디바이스 및 워터제트 디바이스 중 적어도 하나일 수 있다.
위의 예를 계속하면, 엄마(101A)는 아이(101B)와는 상이한 방식으로 칫솔(11)을 사용할 수 있다. 칫솔(11)의 관성 센서(13)는 그의 관성 센서 데이터(171, 172, 173, ..., 17n)를 신경망(18)을 포함하는 모션 패턴 분류 디바이스(14)에 제공할 수 있다. 신경망(18)은 이미 설명되었던 바와 같이 적어도 하나의 모션 클래스(151, 152, 153, ..., 15k)에 대해 관성 센서 데이터(171, 172, 173, ..., 17n)를 분류할 수 있다.
예를 들어, 도 9에 도시된 바와 같이, 엄마는 제1 모션 클래스(151)에 대응하는 칫솔질 스타일을 가질 수 있다. 이러한 모션 클래스(151)는 엄마를 나타내는 클래스 멤버(101A)와 연관될 수 있다. 아이는 대신에 엄마와는 상이한 칫솔질 스타일, 예를 들어 제2 모션 클래스(152)에 대응하는 칫솔질 스타일을 가질 수 있다. 이러한 모션 클래스(152)는 아이를 나타내는 클래스 멤버(101B)와 연관될 수 있다.
따라서, 본 발명의 장치(100)는 단지 이동가능 처리 디바이스(11)의 상이한 모션 패턴에 기초하여 사용자 그룹의 사용자를 식별할 수 있다. 위에서 언급된 바와 같이, 본 발명의 장치(100)는 식별된 사용자와의 임의의 액션 또는 상호작용을 개인화할 수 있다.
실시예에 따르면, 모션 패턴 분류 디바이스(14)는, 상기 적어도 한 명의 사용자(101A)를 식별하는 단계에 기초하여, 상기 식별된 적어도 한 명의 사용자(101A)에 대한 특성인 이동가능 처리 디바이스(11)의 2개 이상의 사용자 고유 모션 클래스(1151, 1152, 1153, ..., 115k)를 포함하는 사용자 고유 세트(115)를 선택하도록 구성될 수 있다.
이러한 2단계 프로세스의 예가 도 10에 도시되어 있다. 제1 단계(121)에서, 사용자가 식별된다. 식별된 사용자는 개별화된 라벨링된 훈련 데이터를 사용하여 신경망(18)에 의해 개별적으로 훈련된 모션 클래스들(1151, 1152, 1153, ..., 115k)의 사용자 고유 세트(115)와 연관될 수 있다. 제2 단계(122)에서, 신경망(18)은 사용자 고유 세트(115)로부터의 사용자 고유 모션 클래스들(1151, 1152, 1153, ..., 115k)을 사용한다. 다시 말해서, 신경망(18)은 이어서 더 넓은 모집단에 대해 유효한 가중치들 및 바이어스들 대신에 특정 사용자와 연관된 가중치들 및 바이어스들을 사용할 수 있다. 따라서, 본 발명의 장치(100)는 각각의 식별된 사용자와 개별적으로 작용하고 상호작용할 수 있다.
도 10에, 신경망(18)이 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 수신하고 이를 모션 클래스들의 세트(15)에 포함된 모션 클래스들(151, 152, 153, ..., 15k) 중 적어도 하나에 대해 분류하는 제1 단계(121)가 도시되어 있다. 적어도 하나의 분류된 모션 클래스, 예를 들어 제k 모션 클래스(15k)는 제1 연관된 클래스(101)의 클래스 멤버(101B)와 연관될 수 있다. 이러한 절차는 도 9를 참조하여 전술한 바와 같은 절차에 대응할 수 있다.
연관된 클래스(101)는 사용자 그룹에 관련될 수 있고 클래스 멤버(101B)는 상기 사용자 그룹의 특정 사용자일 수 있다. 위의 예를 계속하면, 식별된 사용자(101B)는 가족의 아이일 수 있다. 장치(100)는 사용자 고유 모션 클래스들을 저장하였을 수 있다. 즉, 식별된 사용자, 즉 아이(101B)는 장치(100)에 저장된 모션 클래스들(1151, 1152, 1153, ..., 115k)의 그 자신의 개별 사용자 고유 세트(115)를 가질 수 있다. 제1 단계(121)에서의 식별 후의 임의의 추가 액션들에 대해, 모션 패턴 분류 디바이스(14), 및 특히 신경망(18)은 이전에 식별된 사용자에 속하는 이러한 사용자 고유 모션 클래스들(1151, 1152, 1153, ..., 115k)을 사용할 수 있다. 이전에 언급되었던 바와 같이, 모션 클래스들에 대한 언급은 가중치들 및 바이어스들의 사용자 고유 세트가 신경망(18)에 의해 사용될 것임을 의미하며, 이러한 가중치들 및 바이어스들은 사용자 고유 라벨링된 입력 데이터를 사용함으로써 훈련되었다.
따라서, 신경망(18)은, 상기 적어도 한 명의 사용자(101B)를 식별하는 단계(121) 후에, 상기 식별된 적어도 한 명의 사용자(101B)에 대한 특성인 이동가능 처리 디바이스(11)의 2개 이상의 사용자 고유 모션 클래스(1151, 1152, 1153, ..., 115k)를 포함하는 적어도 하나의 사용자 고유 세트(115)를 선택할 수 있다.
따라서, 사용자를 식별하는 제1 단계(121) 후의 제2 단계(122)에서, 신경망(18)은 모션 클래스들(151, 152, 153, ..., 15k)의 세트(15)의 교체 시에 사용자 고유 모션 클래스들(1151, 1152, 1153, .., 115k)의 사용자 고유 세트(115)를 사용할 수 있다. 즉, 모션 패턴들(151, 152, 153, ..., 15k)의 세트(15)를 이용함으로써 장치들(10, 100)에 의해 실행될 수 있는 본 명세서에 설명된 액션들 모두는 또한 모션 패턴들(151, 152, 153, ..., 15k)의 세트(15) 대신에 모션 클래스들(1151, 1152, 1153, ..., 115k)의 사용자 고유 세트(115)를 이용함으로써 장치들(10, 100)에 의해 각각의 식별된 사용자에 대해 개별화되거나 개인화되어 실행될 수 있다.
따라서, 실시예에 따르면, 신경망(18)은, 상기 적어도 한 명의 사용자(101B)를 식별하는 제1 단계(121) 후에, 모션 클래스들의 세트(15)를 선택된 사용자 고유 세트(115)로 대체하도록, 그리고 모션 패턴들의 세트(15)에 포함된 2개 이상의 모션 클래스(151, 152, 153, ..., 15k)를 사용자 고유 모션 패턴 프리세트(115)에 포함된 2개 이상의 사용자 고유 모션 클래스들(1151, 1152, 1153, ..., 115k)로 대체하도록 구성될 수 있다. 모션 클래스들(151, 152, 153, ..., 15k)은 이동가능 처리 디바이스를 이동시키는 사용자를 예측하도록 선택되었지만, 모션 클래스들(1151, 1152, 1153, ..., 115k)은 이동가능 처리 디바이스(11)의 측위와 같은 상이한 작업을 위해 선택되었을 수 있다는 점에 유의한다.
추가적으로 또는 대안적으로, 장치(100)는 적어도 제2 신경망을 포함할 수 있다. 도 11은 그러한 예를 도시한다.
도 11의 장치(100)의 예는 도 10에 도시된 예의 장치(100)에 실질적으로 대응할 수 있다. 도 11의 장치는 도 11의 장치가 제2 신경망(182)을 포함할 수 있다는 점에서 도 10의 장치와는 상이하다. 구조적으로 동일한 신경망(18)이 2개의 상이한 분류 작업들에 대해 사용된다는 것, 그리고 가중치들 및 바이어스들만이 변경될 수 있다는 것이 도 10을 참조하여 설명되었지만, 본 예는 그들의 구조에 있어서 상이한 2개의 상이한 신경망을 사용하며, 이는 각각의 분류 작업에 대해 최적화된 신경망 구조들을 사용하는 것을 허용한다는 것이 이해되어야 한다.
도 11에서 알 수 있는 바와 같이, 제1 단계(121)에서 제1 신경망(181)은, 예를 들어 사용자 그룹(101)의 사용자(101B)를 식별하는, 전술한 바와 같은 액션들을 실행할 수 있다. 그러나, 제2 단계(122)에서 관성 센서 데이터(171, 172, 173, ..., 17n)가 상기 제2 신경망(182) 내로 공급될 수 있다. 제2 신경망(182)은 전술한 바와 같이 모션 클래스들(1151, 1152, 1153, ..., 115n)의 사용자 고유 세트(115)를 사용할 수 있다. 명백히, 모션 클래스들(1151, 1152, 1153, ..., 115n)의 적어도 2개의 상이한 세트들(115)은 한 명의 사용자에 대해 최적화된 모션 클래스들의 하나의 세트 및 다른 사용자에 대해 최적화된 모션 클래스들의 다른 세트로 제2 신경망을 실행하는 것을 허용하기 위해 장치에 저장되어야 한다.
다시 말해서, 상기 적어도 한 명의 사용자(101B)를 식별하는 제1 단계(121) 후에, 모션 패턴 분류 디바이스(14)는 제2 신경망(182)을 사용할 수 있으며, 여기서 제2 신경망(182)은 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 수신하도록, 그리고 모션 클래스들의 사용자 고유 세트(115)에 포함된 적어도 하나의 사용자 고유 모션 클래스(1151, 1152, 1153, ..., 115k)에 대해 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 분류하도록 구성될 수 있고, 상기 사용자 고유 모션 클래스들(1151, 1152, 1153, ..., 115k)은 각각 연관된 클래스(102)의 적어도 한 명의 클래스 멤버(102A, 102B)와 연관될 수 있고, 따라서 적어도 한 명의 클래스 멤버(102A, 102B)가 이동가능 처리 디바이스(11)의 모션에 기초하여 선택된다. 연관된 클래스(102)는 타겟 표면에 관련될 수 있고 클래스 멤버들은 타겟 표면의 구역들이다.
따라서, 모션 패턴 분류 디바이스(14)는 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)에 의해 이동가능 처리 디바이스(11)의 모션을 사용자 고유적으로 분류하기 위해 사용자 고유 모션 클래스들(1151, 1152, 1153, ..., 115k)의 사용자 고유 세트(115)를 사용하도록 구성될 수 있다.
도 10 및 도 11의 예들에 도시된 바와 같이, 장치(100)는 제2 단계(122)에서 분류 목적을 위해 적어도 하나의 연관된 클래스(102)를 포함할 수 있다. 그러나, 장치(100)는 제2 단계(122)에서, 도 9의 예에 도시된 바와 같이, 하나 초과의 연관된 클래스를 포함할 수 있다.
상기 제2 단계(122)에서, 예를 들어 제1 단계(121)에서 특정 사용자를 식별한 후에, 상이한 액션들이 이동가능 처리 디바이스(11)에 의해 수행될 수 있다. 예를 들어, 이동가능 처리 디바이스(11)는 식별된 사용자에 기초하여 그의 동작 모드를 변경할 수 있다. 예를 들어, 이동가능 처리 디바이스(11)는 전기적으로 구동될 수 있고 그것은 모터를 포함할 수 있으며, 여기서 이동가능 처리 디바이스(11)는 식별된 사용자에 기초하여, 주파수, 진폭 또는 맥동과 같은, 하나 이상의 모터 고유 특성을 변경할 수 있다. 추가적으로 또는 대안적으로, 이동가능 처리 디바이스(11)는 사용자와 통신하거나 그에게 피드백을 제공하기 위한 하나 이상의 요소, 예를 들어, 발광체, 예컨대 LED와 같은 시각적 요소, 또는 진동 모터와 같은 햅틱 요소를 포함할 수 있다. 예를 들어, 이동가능 처리 디바이스(11)는 통신하기 위한 상기 요소들의 동작 모드를 변경함으로써, 예를 들어, 식별된 사용자에 기초하여, LED 발광체들을 상이한 컬러로 변경함으로써 또는 진동 모터에 의해 상이한 펄스화된 피드백을 제공함으로써, 식별된 사용자에 기초하여 사용자 경험을 변경할 수 있다.
사용자 그룹의 특정 사용자, 예를 들어, 가족의 가족 멤버를 식별하는 것에 더하여 또는 대안적으로, 장치(100)는 특정 사용자 유형을 식별하도록 구성될 수 있다. 예를 들어, 이동가능 처리 디바이스(11)가 칫솔인 경우, 몇몇 사람들은 그들의 전방 치아들 또는 앞니들로 그들의 치아들의 칫솔질을 시작하는 반면, 몇몇 다른 사람들은 그들의 후방 치아들 또는 어금니들로 그들의 치아들의 칫솔질을 시작할 수 있다. 추가 예에서, 개인용 기기가 면도기인 경우, 몇몇 사람들은 결(grain)을 따라 면도할 수 있는 반면, 몇몇 다른 사람들은 결에 반하여 면도할 수 있다. 사용자 유형을 요약하는 것은 특정한 방식으로 이동가능 처리 디바이스(11)를 사용하는 사용자의 유형일 수 있다. 사용자 유형들의 그룹들로 클러스터링될 수 있는 2명 이상의 사용자가 있을 수 있다. 이전에 설명된 사용자 식별의 예는 대신에 각각의 사용자를 개별적으로 식별한다.
사용자 유형들을 식별하기 위한 실시예에 따르면, 하나 이상의 연관된 클래스들(101, 102, 103, 104) 중 적어도 하나의 연관된 클래스(104)는 적어도 2명의 클래스 멤버(nA, nB)를 포함할 수 있으며, 여기서 상기 하나의 연관된 클래스(104)는 이동가능 처리 디바이스(11)의 사용자 유형을 나타낼 수 있고, 제1 클래스 멤버(nA)는 이동가능 처리 디바이스(11)의 제1 사용자 유형을 나타낼 수 있고 제2 클래스 멤버(nB)는 이동가능 처리 디바이스(11)의 제2 사용자 유형을 나타낼 수 있으며, 적어도 하나의 모션 클래스(151, 152, 153, ..., 15k)는 이동가능 처리 디바이스(11)의 모션에 기초하여 이동가능 처리 디바이스(11)의 사용자 유형을 식별하기 위해 제1 또는 제2 클래스 멤버(mA, mB)와 연관될 수 있다.
추가의 실시예에 따르면, 모션 패턴 분류 디바이스(14)는, 상기 사용자 유형을 식별하는 단계 후에, 상기 식별된 사용자 유형에 대한 특성인 이동가능 처리 디바이스(11)의 2개 이상의 사용자 유형 고유 모션 클래스(1151, 1152, 1153, ..., 115k)를 포함하는 사용자 유형 고유 세트(115)를 선택하도록 구성될 수 있으며, 여기서 신경망(18)은, 상기 사용자 유형을 식별하는 단계 후에, 모션 클래스들의 세트(15)를 선택된 사용자 유형 고유 세트(115)로 대체하도록, 그리고 모션 클래스들의 세트(15)에 포함된 2개 이상의 모션 클래스(151, 152, 153, ..., 15k)를 2개 이상의 사용자 유형 고유 모션 클래스(1151, 1152, 1153, ..., 115k)로 대체하도록 구성될 수 있다.
사용자 고유 모션 클래스들(1151, 1152, 1153, ..., 115k)의 사용자 고유 세트(115)에 대해 위에서 설명된 모든 것은 또한 사용자 유형 고유 모션 클래스들(1151, 1152, 1153, ..., 115k)의 사용자 유형 고유 세트(115)에 대해서도 적용된다.
위에서 언급된 바와 같이, 식별된 사용자 유형들은 사용자 유형들의 클러스터 또는 그룹으로 클러스터링될 수 있다. 따라서, 장치(100)는 사용자가 미리 결정된 횟수만큼 이동가능 처리 디바이스(11)를 사용할 수 있는 클러스터 분석을 수행할 수 있다 - 이러한 사용자가 특정 사용자 유형 그룹으로 클러스터링되기 전에 -. 예를 들어, 사용자는 후속 5일간 5번 그의 면도기를 사용할 수 있다. 5일 중 4일간 사용자는 결에 반하여 면도할 수 있다. 따라서, 5일 후에 장치(100)는 이 사용자를 결에 반하여 면도하는 모든 사용자들이 클러스터링되는 사용자 유형 그룹으로 클러스터링할 수 있다.
클러스터 분석은 또한 더 짧은 시간 간격들로 수행될 수 있는데, 즉 칫솔(11)을 스위치 온 및 오프하는 것이 바로 연속하여 행해질 수 있다. 예를 들어 사용자는 그의 전기 칫솔(11)을 제1 시간에 스위치 온하고, 그것을 스위치 오프하고, 그것을 제2 시간에 스위치 온하여 칫솔(11)을 또 다시 재시작할 수 있다. 칫솔(11)을 재시작할 때, 본 발명의 장치(100), 및 특히 신경망(18)이 또한 재시작될 수 있다. 칫솔(11)이 스위치 온될 때, 그것은 클러스터 분석에 대한 정보를 수집할 수 있다. 그러나, 적어도 신경망(18)은 클러스터 분석에 대한 새로운 정보가 수집되기 전에 매번 재시작할 것이다. 요약하면, 장치(100)는 사용자를 특정 사용자 유형 그룹으로 최종적으로 클러스터링하기 전에 클러스터 분석을 반복해서(예를 들어, 5번) 수행할 수 있다.
사용자가 특정 사용자 유형 고유 그룹으로 클러스터링된 후에, 신경망(18)은 사용자 유형 고유 모션 패턴들(1151, 1152, 1153, ..., 115k)의 연관된 사용자 유형 고유 프리세트(115)를 사용할 수 있다.
그러한 실시예에 따르면, 모션 패턴 분류 디바이스(14)는 미리 결정된 횟수만큼 클러스터 분석을 반복해서 수행하도록 구성될 수 있으며, 여기서 각각의 상기 클러스터 분석에서 신경망(18)은 재시작하도록, 그리고, 재시작 후에, 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 수신하는 단계를 수행하도록, 그리고 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 모션 패턴들의 세트(15)에 포함된 적어도 하나의 모션 패턴(151, 152, 153, ..., 15k)에 매핑하도록 구성될 수 있으며, 신경망(18)은 미리 결정된 횟수만큼 클러스터 분석을 수행한 후에 사용자 유형 고유 모션 패턴 프리세트(115)를 선택하도록 구성될 수 있다.
장치(100)는 이동가능 처리 디바이스(11)의 모션을 분류하기 위한 훨씬 더 많은 시나리오들을 허용할 수 있다. 따라서, 다시 도 9를 참조할 것이다.
실시예에 따르면, 하나 이상의 연관된 클래스(101, 102, 103, 104) 중 적어도 하나의 클래스(102)는 적어도 2명의 클래스 멤버(102A, 102B)를 포함할 수 있으며, 여기서 상기 하나의 연관된 클래스(102)는 이동가능 처리 디바이스(11)의 조작 평가(handling evaluation)를 나타낼 수 있고, 제1 클래스 멤버(102A)는 이동가능 처리 디바이스(11)의 올바른 조작을 나타낼 수 있고 제2 클래스 멤버(102B)는 이동가능 처리 디바이스(11)의 잘못된 조작을 나타낼 수 있으며, 적어도 하나의 분류된 모션 클래스(151, 152, 153, ..., 15k)는 이동가능 처리 디바이스(11)의 모션에 기초하여 이동가능 처리 디바이스(11)의 조작을 평가하기 위해 제1 또는 제2 클래스 멤버(102A, 102B)와 연관될 수 있다. 예에 따르면, 2개 이상의 모션 클래스(151, 152, 153, ..., 15k)가 디바이스의 올바른 조작에 관련될 수 있고 이에 따라 이들 모션 클래스는 제1 클래스 멤버(102A)와 연관될 수 있으며, 2개 이상의 모션 클래스(151, 152, 153, ..., 15k)가 디바이스의 옳지 않은 조작에 관련될 수 있고 이에 따라 이들 모션 클래스는 제2 클래스 멤버(102B)와 연관될 수 있다.
다시 말해서, 장치(100)는 이동가능 처리 디바이스(11)의 사용자가 이동가능 처리 디바이스(11)를 올바르게 사용하는지 또는 그렇지 않은지를 체크하도록 구성될 수 있다. 물론, 조작 평가를 나타내는 상기 하나의 클래스(102)는 또한, 예를 들어 사용자 및/또는 사용자 유형을 식별한 후에, 도 10 및 도 11의 전술한 2단계 절차들의 제2 단계(122)에서 클래스로서 사용될 수 있다.
추가의 실시예에 따르면, 하나 이상의 연관된 클래스(101, 102, 103, 104) 중 적어도 하나의 연관된 클래스(103)는 적어도 2명의 클래스 멤버(103A, 103B)를 포함할 수 있으며, 여기서 상기 하나의 연관된 클래스(103)는 이동가능 처리 디바이스(11)의 모션 실행의 품질을 나타낼 수 있고, 제1 클래스 멤버(103A)는 이동가능 처리 디바이스(11)의 양호한 모션 실행을 나타낼 수 있고 제2 클래스 멤버(103B)는 이동가능 처리 디바이스(11)의 불량한 모션 실행을 나타낼 수 있으며, 적어도 하나의 분류된 모션 클래스(151, 152, 153, ..., 15k)는 이동가능 처리 디바이스(11)의 모션에 기초하여 이동가능 처리 디바이스(11)의 모션 실행의 품질을 평가하기 위해 제1 또는 제2 클래스 멤버(103A, 103B)와 연관될 수 있다.
다시 말해서, 장치(100)는 이동가능 처리 디바이스(11)의 사용자가 이동가능 처리 디바이스(11)를 양호한 방식으로 사용할 수 있는지 또는 불량한 방식으로 사용할 수 있는지를 체크하도록 구성될 수 있다. 양호한 방식은 의도된 대로 이동가능 처리 디바이스(11)의 모션을 수행하는 방식일 수 있는 반면, 불량한 방식은 의도되지 않은 대로 이동가능 처리 디바이스(11)의 모션을 수행하는 방식일 수 있다. 예를 들어, 이동가능 처리 디바이스(11)가 칫솔인 경우, 장치는 사용자가 양호한 칫솔질 기술을 가질 수 있는지 또는 불량한 칫솔질 기술을 가질 수 있는지를 체크할 수 있다.
물론, 모션 실행의 품질을 나타내는 상기 하나의 클래스(103)는 또한, 예를 들어 사용자 및/또는 사용자 유형을 식별한 후에, 도 10 및 도 11의 전술한 2단계 절차들의 제2 단계(122)에서 연관된 클래스로서 사용될 수 있다.
장치(100)의 신경망(18)은 도 4 내지 도 7을 참조하여 설명된 장치(10)의 신경망(18)과 동일하거나 유사한 특징들을 포함할 수 있다.
도 4 내지 도 7에 도시된 바와 같은 장치(10)의 신경망(18)의 임의의 특징들에 대해 전술된 모든 것은 또한 도 9 내지 도 11을 참조하여 설명된 바와 같은 장치(100)의 신경망(18)에 대해서도 적용된다.
도 12는 관성 센서(13)를 포함하는 이동가능 처리 디바이스(11)의 모션을 분류하기 위한 본 발명의 방법의 블록도를 도시한다.
블록 1201에서, 방법은 이동가능 처리 디바이스(11)의 모션 패턴들의 세트(15)에 포함된 2개 이상의 모션 클래스들(151, 152, 153, ..., 15k)을 구별하는 단계를 포함한다.
블록 1202에서, 방법은 관성 센서(13)로부터 모션 패턴 분류 디바이스(14)로 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 제공하는 단계를 포함하며, 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)는 이동가능 처리 디바이스(11)의 모션을 나타낸다.
블록 1203에서, 방법은, 신경망(18)에 의해, 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 수신하고 처리하며, 모션 클래스들의 세트(15)에 포함된 적어도 하나의 모션 클래스(151, 152, 153, ..., 15k)에 대해 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 분류하는 단계를 포함하며, 여기서 적어도 하나의 분류된 모션 클래스(151, 152, 153, ..., 15k)는 적어도 하나의 연관된 클래스(101, 102, 103, 104)의 적어도 한 명의 클래스 멤버(101A, 101B, 102A, 102B, ..., mA, mB)와 연관되며, 따라서 적어도 한 명의 클래스 멤버(101A, 101B, 102A, 102B, ..., mA, mB)가 이동가능 처리 디바이스(11)의 모션에 기초하여 선택된다.
본 발명의 장치(10, 100)의 또 추가의 예에 따르면, 이동가능 처리 디바이스(11)는 개인용 기기일 수 있고 타겟 표면(12)은 이동가능 처리 디바이스(11)에 의해 처리될 신체 부분일 수 있다.
본 발명의 장치(10, 100)의 또 추가의 예에 따르면, 이동가능 처리 디바이스(11) 또는 이동가능 처리 디바이스(11)는 개인용 기기에 의해 타겟 구역에 인가되는 압력을 감지하기 위한 압력 센서 및/또는 개인용 기기를 구동할 수 있는 모터의 모터 부하를 감지하기 위한 부하 센서를 포함할 수 있다.
압력 센서 및/또는 부하 센서의 각자의 센서 데이터는 적어도 하나의 관성 센서 데이터(171, 172, 173, .., 17n)에 더하여 또는 대안적으로 신경 유닛(18) 내로 입력으로서 공급될 수 있다.
본 발명의 장치(10)의 또 추가의 예에 따르면, 장치(10)는 이동가능 처리 디바이스(11)가 위치하는 타겟 표면(12)의 하나 이상의 구역(211, 212, 213, ..., 21m)을 사용자에게 출력하기 위한 출력 인터페이스를 포함할 수 있다.
본 발명의 장치(100)의 또 추가의 예에 따르면, 장치(100)는 정보를 사용자에게 출력하기 위한 출력 인터페이스를 포함할 수 있으며, 상기 정보는 하나 이상의 연관된 클래스(101, 102, 103, 104)에 그리고/또는 하나 이상의 연관된 클래스(101, 102, 103, 104)의 한 명 이상의 클래스 멤버(101A, 101B, ..., mA, mB)에 관련된다.
본 명세서에 설명된 실시예들 각각에서, 센서 데이터(171, 172, 173, ..., 17n)는 이동가능 처리 디바이스 또는 처리 디바이스(11) 상에 저장될 수 있고 나중에, 전술한 바와 같은 방식으로, 장치(10, 100) 내로 공급될 수 있다. 상이한 구역들 또는 연관된 클래스들에 대한 이러한 저장된 센서 데이터(171, 172, 173, ..., 17n)의 임의의 후처리는 그들이 얼마나 잘 그리고 어떤 구역들을 커버하는지, 그들이 무엇을 망각하는지, 무엇이 타겟 안에 있었는지 대 무엇이 타겟 밖에 있었는지를 대시보드 상에서 소비자 또는 사용자에게 보여주는 데 사용될 수 있다. 이러한 데이터는 사용마다 보여질 수 있고/있거나, 시간 경과에 따라 2번 이상의 사용에 걸쳐 집계될 수 있다(즉, 소비자 또는 사용자에게 그들이 일주일간 어떻게 칫솔질했는지에 대한 간단한 대시보드를 보여줌).
몇몇 태양들이 장치와 관련하여 설명되었지만, 이들 태양은 또한 대응하는 방법의 설명을 표현하며, 여기서 블록 또는 디바이스가 방법 단계 또는 방법 단계의 특징에 대응한다는 것이 명백하다. 유사하게, 방법 단계와 관련하여 설명된 태양들은 또한 대응하는 장치의 대응하는 블록 또는 아이템 또는 특징의 설명을 표현한다. 방법 단계들 중 일부 또는 전부는 예를 들어 마이크로프로세서, 프로그래밍 가능 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이를 이용함으로써) 실행될 수 있다. 몇몇 실시예들에서, 가장 중요한 방법 단계들 중 하나 이상은 그러한 장치에 의해 실행될 수 있다.
소정의 구현 요구들에 따라, 본 발명의 실시예들은 하드웨어로 또는 소프트웨어로 또는 적어도 부분적으로 하드웨어로 또는 적어도 부분적으로 소프트웨어로 구현될 수 있다. 구현은 각자의 방법이 수행되도록 프로그래밍 가능 컴퓨터 시스템과 협력하는(또는 협력할 수 있는), 전자적으로 판독가능한 제어 신호들이 저장된, 디지털 저장 매체, 예를 들어 플로피 디스크, DVD, 블루레이, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리를 이용하여 수행될 수 있다. 따라서, 디지털 저장 매체는 컴퓨터 판독가능할 수 있다.
본 발명에 따른 몇몇 실시예들은 본 명세서에서 설명된 방법들 중 하나가 수행되도록, 프로그래밍 가능 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독가능한 제어 신호들을 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때 방법들 중 하나를 수행하도록 동작한다. 프로그램 코드는 예를 들어 기계 판독가능 캐리어 상에 저장될 수 있다.
다른 실시예들은 기계 판독가능 캐리어 상에 저장된, 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
다시 말해서, 본 발명의 방법의 실시예는 이에 따라, 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때, 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 본 발명의 방법의 추가 실시예는 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 기록된 데이터 캐리어(또는 디지털 저장 매체 또는 컴퓨터 판독가능 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록된 매체는 전형적으로 유형적이고/이거나 비일시적이다.
따라서, 본 발명의 방법의 추가 실시예는 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는 예를 들어, 데이터 통신 연결을 통해, 예를 들어, 인터넷을 통해, BLE(Bluetooth Low Energy)를 통해, WiFi를 통해, 또는 임의의 종류의 네트워크를 통해, 예를 들어 메시 네트워크를 통해 전송되도록 구성될 수 있다.
추가 실시예는 본 명세서에 설명된 방법들 중 하나를 수행하도록 구성되거나 적응된 처리 수단, 예를 들어 컴퓨터 또는 프로그래밍 가능 논리 디바이스를 포함한다.
추가 실시예는 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 추가 실시예는 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기로 (예를 들어, 전자적으로 또는 광학적으로) 전송하도록 구성된 장치 또는 시스템을 포함한다. 수신기는 예를 들어 컴퓨터, 모바일 디바이스, 메모리 디바이스 등일 수 있다. 장치 또는 시스템은 예를 들어 컴퓨터 프로그램을 수신기로 전송하기 위한 파일 서버를 포함할 수 있다.
몇몇 실시예들에서, 프로그래밍 가능 논리 디바이스(예를 들어, 필드 프로그래머블 게이트 어레이)가 본 명세서에 설명된 방법들의 기능들 중 일부 또는 전부를 수행하는 데 사용될 수 있다. 몇몇 실시예들에서, 필드 프로그래머블 게이트 어레이가 본 명세서에 설명된 방법들 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 바람직하게는 임의의 하드웨어 장치에 의해 수행된다.
본 명세서에 설명된 장치는 하드웨어 장치를 이용하여, 또는 컴퓨터를 이용하여, 또는 하드웨어 장치와 컴퓨터의 조합을 이용하여 구현될 수 있다.
본 명세서에 설명된 방법은 하드웨어 장치를 이용하여, 또는 컴퓨터를 이용하여, 또는 하드웨어 장치와 컴퓨터의 조합을 이용하여 수행될 수 있다.
전술한 실시예들은 단지 본 발명의 원리들을 예시할 뿐이다. 본 명세서에 설명된 배열들 및 상세들의 수정들 및 변경들이 이 분야의 다른 기술자들에게 명백할 것임이 이해된다. 따라서, 본 명세서에서의 실시예들의 서술 및 설명에 의해 제시되는 특정 상세들에 의해서가 아니라 계류 중인 특허 청구항들의 범위에 의해서만 제한되도록 의도된다.
또한, 본 명세서에 개시된 치수 및 값은 언급된 정확한 수치 값으로 엄격하게 제한되는 것으로 이해되어서는 안된다. 대신에, 달리 명시되지 않는 한, 각각의 그러한 치수는 언급된 값과, 그 값 부근의 기능적으로 동등한 범위 둘 모두를 의미하도록 의도된다. 예를 들어, "40 mm"로 개시된 치수는 "약 40 mm"를 의미하도록 의도된다.

Claims (13)

  1. 이동가능 처리 디바이스(movable treatment device)(11)의 모션을 분류하기 위한 장치(10; 100)로서,
    상기 이동가능 처리 디바이스(11)는 적어도 하나의 관성 센서(13)를 포함하고, 상기 장치(10)는
    상기 이동가능 처리 디바이스(11)의 모션 클래스의 세트(15)에 포함된 2개 이상의 모션 클래스(151, 152, 153, ..., 15k)를 구별하도록 구성된 모션 패턴 분류 디바이스(14)와,
    상기 관성 센서(13)로부터 상기 모션 패턴 분류 디바이스(14)로 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 제공하기 위한 인터페이스(16) - 상기 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)는 상기 이동가능 처리 디바이스(11)의 움직임을 나타냄 - 를 포함하며,
    상기 모션 패턴 분류 디바이스(14)는 상기 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 수신하도록, 그리고 상기 모션 클래스의 세트(15)에 포함된 상기 모션 클래스(151, 152, 153, ..., 15k)에 대해 상기 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 분류하도록 구성된 적어도 하나의 신경망(18)을 포함하고, 상기 모션 클래스(151, 152, 153, ..., 15k)는 각각 하나 이상의 클래스(101, 102, 103, 104)의 적어도 한 명의 클래스 멤버(101A, 101B, 102A, 102B, ..., nA, nB)와 연관되어, 상기 적어도 한 명의 클래스 멤버(101A, 101B, 102A, 102B, ..., nA, nB)가 상기 이동가능 처리 디바이스(11)의 모션에 기초하여 선택되고,
    상기 하나 이상의 클래스(101, 102, 103, 104) 중 하나의 클래스(101)는 적어도 한 명의 클래스 멤버(101A)를 포함하고, 상기 하나의 클래스(101)는 사용자 그룹 또는 사용자 유형 그룹을 나타내고, 상기 적어도 한 명의 클래스 멤버(101A)는, 각각, 상기 사용자 그룹 또는 사용자 유형 그룹의 적어도 한 명의 사용자 또는 적어도 하나의 사용자 유형을 나타내고, 상기 모션 클래스(151, 152, 153, ..., 15n) 중 적어도 하나는 상기 이동가능 처리 디바이스(11)의 모션에 기초하여 상기 적어도 한 명의 사용자 또는 적어도 하나의 사용자 유형을 식별하기 위해 상기 적어도 한 명의 클래스 멤버(101A)와 연관되는
    장치(10; 100).
  2. 제1항에 있어서,
    상기 이동가능 처리 디바이스(11)는 이동가능 구강 케어 디바이스인
    장치(10; 100).
  3. 삭제
  4. 제1항 또는 제2항에 있어서,
    상기 하나 이상의 클래스(101, 102, 103, 104) 중 하나의 클래스(101)는 적어도 2명의 클래스 멤버(101A, 101B)를 포함하고, 상기 하나의 클래스(101)는 사용자 그룹 또는 사용자 유형 그룹을 나타내고, 상기 적어도 2명의 클래스 멤버(101A, 101B)는, 각각, 상기 사용자 그룹의 적어도 2명의 사용자 또는 상기 사용자 유형 그룹의 적어도 2개의 사용자 유형을 나타내고, 상기 모션 클래스(151, 152, 153, ..., 15n) 중 적어도 하나는, 상기 이동가능 처리 디바이스(11)의 모션에 기초하여, 각각, 상기 사용자 그룹 또는 사용자 유형 그룹 내의 적어도 한 명의 사용자 또는 적어도 하나의 사용자 유형을 식별하기 위해 상기 적어도 2명의 클래스 멤버(101A, 101B) 중 하나와 연관되는
    장치(10; 100).
  5. 제1항에 있어서,
    상기 모션 패턴 분류 디바이스(14)는, 상기 적어도 한 명의 사용자 또는 적어도 하나의 사용자 유형(101A)을 식별한 후에, 상기 식별된 적어도 한 명의 사용자 또는 적어도 하나의 사용자 유형에 대한 특성인 상기 이동가능 처리 디바이스(11)의 2개 이상의 사용자 고유 또는 사용자 유형 고유 모션 클래스(1151, 1152, 1153, ..., 115n)를 포함하는 사용자 고유 또는 사용자 유형 고유 모션 클래스 프리세트(115)를 선택하도록 구성되는
    장치(100).
  6. 제1항 또는 제2항에 있어서,
    상기 신경망(18)은 순환 신경망이고, 상기 순환 신경망은 장단기 메모리 네트워크 또는 게이트 순환 유닛 네트워크이며, 상기 순환 신경망은 양방향인
    장치(10; 100).
  7. 제1항 또는 제2항에 있어서,
    상기 인터페이스(16)는 관성 센서 데이터(171, 172, 173, ..., 17n)의 시퀀스를 상기 관성 센서(13)로부터 상기 모션 패턴 분류 디바이스(14)로 입력(X1, X2, X3,... Xn)으로서 제공하도록 배열되는
    장치(10; 100).
  8. 제1항 또는 제2항에 있어서,
    상기 이동가능 처리 디바이스(11)는 적어도 하나의 추가 센서를 포함하며, 상기 적어도 하나의 추가 센서는 상기 처리 디바이스(11)가 타겟 표면에 대해 적용되는 압력을 측정하도록 배열된 압력 센서와, 상기 이동가능 처리 디바이스(11)를 구동하는 모터의 모터 부하를 감지하기 위한 부하 센서를 포함하는 센서 그룹 중 하나이고, 상기 인터페이스(16)는 상기 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)에 더하여 상기 추가 센서로부터 상기 모션 패턴 분류 디바이스(14)로 적어도 하나의 추가 센서 데이터를 제공하도록 배열되는
    장치(10).
  9. 제1항 또는 제2항에 있어서,
    상기 모션 패턴 분류 디바이스(14)는 상기 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 수신하도록 각각 구성된 적어도 제1 및 제2 신경망(18)을 포함하고, 상기 제1 신경망은 모션 클래스의 제1 세트(15)에 포함된 모션 클래스(151, 152, 153, ..., 15k)에 대해 상기 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 분류하도록 구성되고, 상기 제2 신경망은 모션 클래스의 제2 세트(15)에 포함된 모션 클래스(151, 152, 153, ..., 15k)에 대해 상기 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 분류하도록 구성되고, 상기 모션 클래스의 제1 및 제2 세트의 상기 모션 클래스(151, 152, 153, ..., 15k)는 각각 상기 하나 이상의 클래스(101, 102, 103, 104)의 상기 클래스 멤버(101A, 101B, 102A, 102B, ..., nA, nB) 중 적어도 한 명의 클래스 멤버와 연관되어, 상기 적어도 한 명의 클래스 멤버(101A, 101B, 102A, 102B, ..., nA, nB)가 상기 이동가능 처리 디바이스(11)의 모션에 기초하여 선택되는
    장치(10).
  10. 제1항 또는 제2항에 있어서,
    상기 하나 이상의 클래스(101, 102, 103, 104) 중 하나의 클래스(102)는 적어도 2명의 클래스 멤버(102A, 102B)를 포함하고, 상기 하나의 클래스(102)는 상기 이동가능 처리 디바이스(11)의 조작 평가(handling evaluation)를 나타내고, 제1 클래스 멤버(102A)는 상기 이동가능 처리 디바이스(11)의 올바른 조작을 나타내고 제2 클래스 멤버(102B)는 상기 이동가능 처리 디바이스(11)의 잘못된 조작을 나타내며, 상기 모션 클래스(151, 152, 153, ..., 15n) 중 적어도 하나는 상기 이동가능 처리 디바이스(11)의 모션에 기초하여 상기 이동가능 처리 디바이스(11)의 조작을 평가하기 위해 상기 제1 또는 상기 제2 클래스 멤버(102A, 102B)와 연관되는
    장치(100).
  11. 제1항 또는 제2항에 있어서,
    상기 하나 이상의 클래스(101, 102, 103, 104) 중 하나의 클래스(103)는 적어도 2명의 클래스 멤버(103A, 103B)를 포함하고, 상기 하나의 클래스(103)는 상기 이동가능 처리 디바이스(11)의 모션 실행의 품질을 나타내고, 제1 클래스 멤버(103A)는 상기 이동가능 처리 디바이스(11)의 양호한 모션 실행을 나타내고 제2 클래스 멤버(103B)는 상기 이동가능 처리 디바이스(11)의 불량한 모션 실행을 나타내며, 상기 모션 클래스(151, 152, 153, ..., 15n) 중 적어도 하나는 상기 이동가능 처리 디바이스(11)의 모션에 기초하여 상기 이동가능 처리 디바이스(11)의 모션 실행의 품질을 평가하기 위해 상기 제1 또는 상기 제2 클래스 멤버(103A, 103B)와 연관되는
    장치(100).
  12. 이동가능 처리 디바이스(11)의 모션의 분류를 수행하기 위한 방법으로서,
    상기 이동가능 처리 디바이스(11)는 적어도 하나의 관성 센서(13)를 포함하고 타겟 표면(12)을 처리하도록 구성되며, 상기 방법은
    상기 이동가능 처리 디바이스(11)의 모션 클래스의 세트(15)에 포함된 2개 이상의 모션 클래스(151, 152, 153, ..., 15k)를 제공하는 단계와,
    상기 관성 센서(13)로부터 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 수신하는 단계 - 상기 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)는 상기 이동가능 처리 디바이스(11)의 움직임을 나타냄 - 와,
    신경망(18)에 의해 상기 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 수신 및 처리하고, 상기 모션 클래스의 세트(15)에 포함된 적어도 하나의 모션 클래스(151, 152, 153, ..., 15k)에 대해 상기 적어도 하나의 관성 센서 데이터(171, 172, 173, ..., 17n)를 분류하는 단계 - 상기 모션 클래스(151, 152, 153, ..., 15k)는 각각 하나 이상의 클래스(101, 102, 103, 104)의 적어도 한 명의 클래스 멤버(101A, 101B, 102A, 102B, ..., nA, nB)와 연관되어, 상기 적어도 한 명의 클래스 멤버(101A, 101B, 102A, 102B, ..., nA, nB)가 상기 이동가능 처리 디바이스(11)의 모션에 기초하여 선택됨 - 를 포함하며,
    상기 하나 이상의 클래스(101, 102, 103, 104) 중 하나의 클래스(101)는 적어도 한 명의 클래스 멤버(101A)를 포함하고, 상기 하나의 클래스(101)는 사용자 그룹 또는 사용자 유형 그룹을 나타내고, 상기 적어도 한 명의 클래스 멤버(101A)는, 각각, 상기 사용자 그룹 또는 사용자 유형 그룹의 적어도 한 명의 사용자 또는 적어도 하나의 사용자 유형을 나타내고, 상기 모션 클래스(151, 152, 153, ..., 15n) 중 적어도 하나는 상기 이동가능 처리 디바이스(11)의 모션에 기초하여 상기 적어도 한 명의 사용자 또는 적어도 하나의 사용자 유형을 식별하기 위해 상기 적어도 한 명의 클래스 멤버(101A)와 연관되는
    방법.
  13. 제1항 또는 제2항에 따른 장치(10) 및 상기 적어도 하나의 관성 센서(13)를 포함하는 이동가능 처리 디바이스(11)를 포함하는
    시스템.
KR1020207023040A 2018-02-19 2019-02-15 이동가능 처리 디바이스의 모션을 분류하기 위한 장치 및 방법 KR102555432B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP18157362.7 2018-02-19
EP18157362.7A EP3528167A1 (en) 2018-02-19 2018-02-19 Apparatus and method for performing a localization of a movable treatment device
EP18157358.5 2018-02-19
EP18157358.5A EP3528166B1 (en) 2018-02-19 2018-02-19 Apparatus and method for classifying a motion of a movable personal appliance
PCT/IB2019/051247 WO2019159127A1 (en) 2018-02-19 2019-02-15 Apparatus and method for classifying the motion of a movable treatment device

Publications (2)

Publication Number Publication Date
KR20200108034A KR20200108034A (ko) 2020-09-16
KR102555432B1 true KR102555432B1 (ko) 2023-07-13

Family

ID=65324298

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207023050A KR102613604B1 (ko) 2018-02-19 2019-02-15 이동가능 처리 디바이스의 측위를 수행하기 위한 장치 및 방법
KR1020207023040A KR102555432B1 (ko) 2018-02-19 2019-02-15 이동가능 처리 디바이스의 모션을 분류하기 위한 장치 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020207023050A KR102613604B1 (ko) 2018-02-19 2019-02-15 이동가능 처리 디바이스의 측위를 수행하기 위한 장치 및 방법

Country Status (7)

Country Link
US (5) US11755686B2 (ko)
EP (3) EP3528172B1 (ko)
JP (5) JP7203856B2 (ko)
KR (2) KR102613604B1 (ko)
CN (4) CN111771208B (ko)
ES (1) ES2971724T3 (ko)
WO (4) WO2019159130A2 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11755686B2 (en) 2018-02-19 2023-09-12 Braun Gmbh System for classifying the usage of a handheld consumer device
KR20210030106A (ko) * 2019-09-09 2021-03-17 엘지전자 주식회사 서버
WO2021262955A1 (en) * 2020-06-24 2021-12-30 Edgewell Personal Care Brands, Llc Machine learning for a personal care device
GB2602086B (en) * 2020-12-17 2024-07-03 Dyson Technology Ltd Oral treatment device
US20220201256A1 (en) * 2020-12-22 2022-06-23 Here Global B.V. Method, apparatus, and system for capturing an image sequence for a visual positioning service request
CN112884132B (zh) * 2021-03-19 2024-04-30 有品国际科技(深圳)有限责任公司 基于神经网络的刷牙检测方法、装置、电动牙刷及介质
WO2023012718A1 (en) 2021-08-06 2023-02-09 Braun Gmbh Universal base for electric toothbrush
WO2024007117A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007098A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007100A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007106A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007113A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007091A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
WO2024007886A1 (en) 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
EP4399996A1 (en) 2023-01-12 2024-07-17 Braun GmbH Personal care device comprising a force sensor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009240759A (ja) * 2008-03-14 2009-10-22 Omron Healthcare Co Ltd 電動歯ブラシ
WO2017042673A1 (en) * 2015-09-08 2017-03-16 Braun Gmbh Determination of a currently treated body portion of a user

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757602B2 (en) * 1997-02-06 2004-06-29 Automotive Technologies International, Inc. System for determining the occupancy state of a seat in a vehicle and controlling a component based thereon
DE4218600C2 (de) 1992-06-05 1994-09-22 Bodenseewerk Geraetetech Einrichtung zur Bestimmung von Bewegungsgrößen eines Flugkörpers
JP2002090267A (ja) 2000-09-21 2002-03-27 Mitsui Eng & Shipbuild Co Ltd 異常診断方法
KR100580647B1 (ko) * 2004-04-01 2006-05-16 삼성전자주식회사 입력모드 분류가능한 동작기반 입력장치 및 방법
EP1851606A1 (en) 2005-02-24 2007-11-07 Nokia Corporation Motion-input device for a computing terminal and method of its operation
WO2006137648A1 (en) * 2005-06-20 2006-12-28 Jin-Sang Hwang Tooth brushing pattern analyzing/modifying device, method and system for interactively modifying tooth brushing behavior
JP4388033B2 (ja) 2006-05-15 2009-12-24 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2008108788A2 (en) 2006-05-31 2008-09-12 Trx Systems, Inc. Method and system for locating and monitoring first responders
US7636645B1 (en) * 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
US20080102953A1 (en) * 2006-10-31 2008-05-01 Motorola, Inc. Toothbrush affecting game play
DE102007001025B4 (de) 2007-01-02 2008-11-20 Siemens Ag Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems
US8462109B2 (en) 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US7835999B2 (en) 2007-06-27 2010-11-16 Microsoft Corporation Recognizing input gestures using a multi-touch input device, calculated graphs, and a neural network with link weights
KR100947046B1 (ko) 2007-11-19 2010-03-10 황진상 운동체 자세 추적 장치, 운동체 자세 추적 방법, 이를이용한 칫솔 자세 추적 장치 및 칫솔 자세 추적 방법
WO2010024697A1 (en) 2008-09-01 2010-03-04 Business Intelligence Solutions Safe B.V. Methods, apparatus and systems for determining an adjustment value of a gaming device
JP2011059815A (ja) * 2009-09-07 2011-03-24 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
JP5574789B2 (ja) * 2010-04-08 2014-08-20 株式会社東芝 車両周辺監視装置及び車両周辺監視方法
KR20130057688A (ko) * 2011-11-24 2013-06-03 (주)케이엔씨웰빙 양치 패턴 분석용 칫솔 및 분석 시스템
US10314492B2 (en) 2013-05-23 2019-06-11 Medibotics Llc Wearable spectroscopic sensor to measure food consumption based on interaction between light and the human body
US20140065588A1 (en) * 2012-08-31 2014-03-06 Ideas That Work, Llc Toothbrush Training System
US9263036B1 (en) 2012-11-29 2016-02-16 Google Inc. System and method for speech recognition using deep recurrent neural networks
CN105009027B (zh) * 2012-12-03 2018-09-04 纳维森斯有限公司 用于估计对象的运动的系统和方法
US9413797B2 (en) 2013-04-23 2016-08-09 Gurulogic Microsystems Oy Data communication system and method
US9529385B2 (en) * 2013-05-23 2016-12-27 Medibotics Llc Smart watch and human-to-computer interface for monitoring food consumption
WO2014202250A1 (en) * 2013-06-19 2014-12-24 Kolibree Toothbrush system with sensors for a dental hygiene monitoring system
US10172552B2 (en) * 2013-06-19 2019-01-08 Benjamin Ohmer Method for determining and analyzing movement patterns during dental treatment
US9389694B2 (en) 2013-10-22 2016-07-12 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
US9820233B2 (en) * 2013-11-25 2017-11-14 Qualcomm Incorporated Motion state based mobile device positioning
US20160091308A1 (en) 2014-09-30 2016-03-31 Invensense, Inc. Microelectromechanical systems (mems) acoustic sensor-based gesture recognition
US20160091965A1 (en) 2014-09-30 2016-03-31 Microsoft Corporation Natural motion-based control via wearable and mobile devices
EP3420849A1 (en) * 2014-12-22 2019-01-02 Sunstar Inc. Brushing assistance system, brushing assistance device, and brushing assistance program
CN105832315A (zh) 2015-01-16 2016-08-10 中国科学院上海高等研究院 不受个体运动状态与环境位置影响的远程监测系统
MX2017014533A (es) 2015-05-13 2018-06-27 Kolibree Sistema de cepillo de dientes con magnetómetro para monitoreo de higiene dental.
CN104848861B (zh) * 2015-05-28 2017-12-08 西安交通大学 一种基于图像消失点识别技术的移动设备姿态测量方法
US9336482B1 (en) 2015-07-27 2016-05-10 Google Inc. Predicting likelihoods of conditions being satisfied using recurrent neural networks
EP3337421B1 (en) 2015-08-19 2020-04-01 Koninklijke Philips N.V. Methods and systems for oral cleaning device localization
FI127926B (en) * 2015-12-21 2019-05-31 Suunto Oy Sensor-based context management
CN109152471A (zh) * 2016-03-14 2019-01-04 科里布里公司 具有视觉识别功能以用于监测依从性的口腔卫生系统
AU2017236782B2 (en) 2016-03-22 2021-01-28 Magic Leap, Inc. Head mounted display system configured to exchange biometric information
WO2017173213A1 (en) 2016-03-31 2017-10-05 Zoll Medical Corporation Systems and methods of tracking patient movement
JP2017187850A (ja) 2016-04-01 2017-10-12 株式会社リコー 画像処理システム、情報処理装置、プログラム
US11112784B2 (en) 2016-05-09 2021-09-07 Strong Force Iot Portfolio 2016, Llc Methods and systems for communications in an industrial internet of things data collection environment with large data sets
CN107516102B (zh) * 2016-06-16 2020-10-23 北京市商汤科技开发有限公司 图像数据分类与建立分类模型方法、装置及系统
US10003924B2 (en) * 2016-08-10 2018-06-19 Yandex Europe Ag Method of and server for processing wireless device sensor data to generate an entity vector associated with a physical location
KR20180070932A (ko) 2016-12-19 2018-06-27 삼성전자주식회사 이동체 및 이동체의 제어 방법
US20170173262A1 (en) 2017-03-01 2017-06-22 François Paul VELTZ Medical systems, devices and methods
CN107092894A (zh) * 2017-04-28 2017-08-25 孙恩泽 一种基于lstm模型的运动行为识别方法
CN107153642A (zh) * 2017-05-16 2017-09-12 华北电力大学 一种基于神经网络识别文本评论情感倾向的分析方法
CN107203753B (zh) * 2017-05-25 2020-09-08 西安工业大学 一种基于模糊神经网络和图模型推理的动作识别方法
CN109002189B (zh) 2017-06-07 2021-09-07 斑马智行网络(香港)有限公司 一种运动识别方法、装置、设备和计算机存储介质
US10726301B2 (en) * 2017-06-29 2020-07-28 The Procter & Gamble Company Method for treating a surface
CN209085657U (zh) * 2017-08-02 2019-07-09 强力物联网投资组合2016有限公司 用于与化工生产工艺有关的或工业环境的数据收集系统
GB2567850B (en) * 2017-10-26 2020-11-04 Gb Gas Holdings Ltd Determining operating state from complex sensor data
GB2569794A (en) * 2017-12-21 2019-07-03 Yoti Holding Ltd Biometric user authentication
US10646029B2 (en) 2017-12-28 2020-05-12 Colgate-Palmolive Company Oral hygiene systems and methods
US11755686B2 (en) 2018-02-19 2023-09-12 Braun Gmbh System for classifying the usage of a handheld consumer device
CN108451155B (zh) * 2018-04-13 2020-09-08 深圳市力博得科技有限公司 智能牙刷的控制电路、智能牙刷及刷牙行为的监控方法
WO2021262955A1 (en) 2020-06-24 2021-12-30 Edgewell Personal Care Brands, Llc Machine learning for a personal care device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009240759A (ja) * 2008-03-14 2009-10-22 Omron Healthcare Co Ltd 電動歯ブラシ
WO2017042673A1 (en) * 2015-09-08 2017-03-16 Braun Gmbh Determination of a currently treated body portion of a user

Also Published As

Publication number Publication date
US11755686B2 (en) 2023-09-12
US12056208B2 (en) 2024-08-06
WO2019159127A1 (en) 2019-08-22
WO2019159128A3 (en) 2019-10-17
US12033057B2 (en) 2024-07-09
KR102613604B1 (ko) 2023-12-15
CN111771209A (zh) 2020-10-13
US20230342423A1 (en) 2023-10-26
WO2019159129A3 (en) 2019-10-31
WO2019159128A2 (en) 2019-08-22
JP7402165B2 (ja) 2023-12-20
JP2021513420A (ja) 2021-05-27
KR20200108034A (ko) 2020-09-16
US20190278786A1 (en) 2019-09-12
JP7203856B2 (ja) 2023-01-13
WO2019159130A3 (en) 2019-10-17
WO2019159129A2 (en) 2019-08-22
EP3528170B1 (en) 2023-11-22
WO2019159130A2 (en) 2019-08-22
CN111742327A (zh) 2020-10-02
CN111771208B (zh) 2024-05-28
EP3528171B1 (en) 2023-11-22
US20190254795A1 (en) 2019-08-22
CN111771208A (zh) 2020-10-13
CN111771209B (zh) 2024-09-20
ES2971724T3 (es) 2024-06-06
EP3528171A2 (en) 2019-08-21
US20190254794A1 (en) 2019-08-22
EP3528172A3 (en) 2020-01-08
CN111742327B (zh) 2024-05-28
JP2021513415A (ja) 2021-05-27
JP2021514221A (ja) 2021-06-10
JP7221291B2 (ja) 2023-02-13
EP3528172A2 (en) 2019-08-21
EP3528171A3 (en) 2020-01-08
EP3528172B1 (en) 2023-12-27
CN111742328B (zh) 2024-09-17
CN111742328A (zh) 2020-10-02
KR20200108035A (ko) 2020-09-16
US12045710B2 (en) 2024-07-23
JP2023017766A (ja) 2023-02-07
JP2021514223A (ja) 2021-06-10
JP7190496B2 (ja) 2022-12-15
EP3528170A1 (en) 2019-08-21
US20190254796A1 (en) 2019-08-22

Similar Documents

Publication Publication Date Title
KR102555432B1 (ko) 이동가능 처리 디바이스의 모션을 분류하기 위한 장치 및 방법
US11752650B2 (en) Apparatus and method for operating a personal grooming appliance or household cleaning appliance
US20220398745A1 (en) Apparatus and method for operating a dental appliance
EP3528166B1 (en) Apparatus and method for classifying a motion of a movable personal appliance
EP3528167A1 (en) Apparatus and method for performing a localization of a movable treatment device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant