JP7221291B2 - 可動式処置デバイスの位置特定を実施するための装置及び方法 - Google Patents
可動式処置デバイスの位置特定を実施するための装置及び方法 Download PDFInfo
- Publication number
- JP7221291B2 JP7221291B2 JP2020543228A JP2020543228A JP7221291B2 JP 7221291 B2 JP7221291 B2 JP 7221291B2 JP 2020543228 A JP2020543228 A JP 2020543228A JP 2020543228 A JP2020543228 A JP 2020543228A JP 7221291 B2 JP7221291 B2 JP 7221291B2
- Authority
- JP
- Japan
- Prior art keywords
- sensor data
- treatment device
- motion
- mobile treatment
- inertial sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 65
- 230000004807 localization Effects 0.000 title claims description 11
- 230000033001 locomotion Effects 0.000 claims description 221
- 238000013528 artificial neural network Methods 0.000 claims description 113
- 239000013598 vector Substances 0.000 claims description 75
- 230000000306 recurrent effect Effects 0.000 claims description 20
- 210000000214 mouth Anatomy 0.000 claims description 16
- 230000001133 acceleration Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 230000007787 long-term memory Effects 0.000 claims 1
- 230000001537 neural effect Effects 0.000 description 65
- 210000004513 dentition Anatomy 0.000 description 53
- 230000036346 tooth eruption Effects 0.000 description 53
- 230000001680 brushing effect Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 13
- 210000004027 cell Anatomy 0.000 description 10
- 238000007621 cluster analysis Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 210000001847 jaw Anatomy 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 5
- 238000001994 activation Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 210000004373 mandible Anatomy 0.000 description 3
- 238000005201 scrubbing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 241000628997 Flos Species 0.000 description 2
- 244000007853 Sarothamnus scoparius Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003779 hair growth Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000004283 incisor Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000002050 maxilla Anatomy 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003370 grooming effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C17/00—Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
- A61C17/16—Power-driven cleaning or polishing devices
- A61C17/22—Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
- A61C17/221—Control arrangements therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- A—HUMAN NECESSITIES
- A46—BRUSHWARE
- A46B—BRUSHES
- A46B15/00—Other brushes; Brushes with additional arrangements
- A46B15/0055—Brushes combined with other articles normally separate from the brushing process, e.g. combs, razors, mirrors
- A46B15/0069—Brushes fitted with a interdental devices, e.g. toothpick
- A46B15/0073—Brushes with an arrangement for using the floss
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C17/00—Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
- A61C17/16—Power-driven cleaning or polishing devices
- A61C17/22—Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C17/00—Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
- A61C17/16—Power-driven cleaning or polishing devices
- A61C17/22—Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
- A61C17/24—Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like rotating continuously
- A61C17/26—Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like rotating continuously driven by electric motor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
-
- A—HUMAN NECESSITIES
- A46—BRUSHWARE
- A46B—BRUSHES
- A46B15/00—Other brushes; Brushes with additional arrangements
- A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
-
- A—HUMAN NECESSITIES
- A46—BRUSHWARE
- A46B—BRUSHES
- A46B15/00—Other brushes; Brushes with additional arrangements
- A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
- A46B15/0016—Arrangements for enhancing monitoring or controlling the brushing process with enhancing means
- A46B15/0036—Arrangements for enhancing monitoring or controlling the brushing process with enhancing means with a lighting means, e.g. laser, bulb
-
- A—HUMAN NECESSITIES
- A46—BRUSHWARE
- A46B—BRUSHES
- A46B15/00—Other brushes; Brushes with additional arrangements
- A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
- A46B15/0038—Arrangements for enhancing monitoring or controlling the brushing process with signalling means
-
- A—HUMAN NECESSITIES
- A46—BRUSHWARE
- A46B—BRUSHES
- A46B15/00—Other brushes; Brushes with additional arrangements
- A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
- A46B15/0038—Arrangements for enhancing monitoring or controlling the brushing process with signalling means
- A46B15/004—Arrangements for enhancing monitoring or controlling the brushing process with signalling means with an acoustic signalling means, e.g. noise
-
- A—HUMAN NECESSITIES
- A46—BRUSHWARE
- A46B—BRUSHES
- A46B15/00—Other brushes; Brushes with additional arrangements
- A46B15/0055—Brushes combined with other articles normally separate from the brushing process, e.g. combs, razors, mirrors
- A46B15/0069—Brushes fitted with a interdental devices, e.g. toothpick
- A46B15/0071—Toothbrushes with flossing arrangements
-
- A—HUMAN NECESSITIES
- A46—BRUSHWARE
- A46B—BRUSHES
- A46B2200/00—Brushes characterized by their functions, uses or applications
- A46B2200/10—For human or animal care
- A46B2200/1066—Toothbrush for cleaning the teeth or dentures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0247—Pressure sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0252—Load cells
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C17/00—Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
- A61C17/16—Power-driven cleaning or polishing devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C17/00—Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
- A61C17/16—Power-driven cleaning or polishing devices
- A61C17/22—Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like
- A61C17/32—Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like reciprocating or oscillating
- A61C17/34—Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like reciprocating or oscillating driven by electric motor
- A61C17/3409—Power-driven cleaning or polishing devices with brushes, cushions, cups, or the like reciprocating or oscillating driven by electric motor characterized by the movement of the brush body
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B26—HAND CUTTING TOOLS; CUTTING; SEVERING
- B26B—HAND-HELD CUTTING TOOLS NOT OTHERWISE PROVIDED FOR
- B26B21/00—Razors of the open or knife type; Safety razors or other shaving implements of the planing type; Hair-trimming devices involving a razor-blade; Equipment therefor
- B26B21/40—Details or accessories
- B26B21/405—Electric features; Charging; Computing devices
- B26B21/4056—Sensors or controlling means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B26—HAND CUTTING TOOLS; CUTTING; SEVERING
- B26B—HAND-HELD CUTTING TOOLS NOT OTHERWISE PROVIDED FOR
- B26B21/00—Razors of the open or knife type; Safety razors or other shaving implements of the planing type; Hair-trimming devices involving a razor-blade; Equipment therefor
- B26B21/40—Details or accessories
- B26B21/4081—Shaving methods; Usage or wear indication; Testing methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
- G06F2218/16—Classification; Matching by matching signal segments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Animal Behavior & Ethology (AREA)
- Dentistry (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Multimedia (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Brushes (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Description
yt=ソフトマックス(Why・ht+b)
式中、Whyは、それぞれの出力重み付け行列であり、bは、それぞれの出力バイアスベクトルである。出力ベクトルy(t)は、図7に関してより詳細に説明されるように、0~1の範囲の確率値を含む。出力ベクトルy(t)は、1つ以上のベクトル要素を含み、各ベクトル要素は、入力ベクトルXt、すなわち、慣性センサデータ171、172、173、…、17nが運動クラス151、152、153、…、15kのうちの1つに関連する、確率値を提供する。ソフトマックス関数の適用は、単に任意選択であることを理解されたい。具体的には、出力ベクトルにおける最も高い確率を有する運動クラスの識別は、任意の正規化なしに行うことができる。
xjは、入力ベクトルであり、
ijは、入力ゲートの活性化ベクトルであり、
fjkは、忘却ゲートの活性化ベクトルであり、
ojは、出力ゲートの活性化ベクトルであり、
ujは、候補状態ベクトルであり、
cjは、セル状態ベクトルであり、
hjは、LSTMモジュール又はニューラルユニット60、70の出力ベクトルであり、
この例では、入力センサデータXtは、要素ベクトルXt∈R6であり得る。例えば、入力テンソルXt∈R6、[Ax、Ay、Az、Gx、Gy、Gz]Tであり得る。
入力重み付けWxy∈R6×256、
隠れ層重み付けUxy∈R256×256、
隠れ層bx∈R256に使用されるバイアス、である。
Claims (14)
- 対象表面(12)に対する可動式処置デバイス(11)の位置特定を実施するための装置(10、100)であって、前記可動式処置デバイス(11)が、少なくとも1つの慣性センサ(13)、および、前記処置デバイス(11)が前記対象表面に対して加える圧力を測定するように配置された圧力センサを備える少なくとも1つの更なるセンサを備え、前記対象表面(12)を処置するように構成されており、前記装置(10)が、
前記可動式処置デバイス(11)の運動クラスのセット(15)に含まれる2つ以上の運動クラス(151、152、153、…、15k)間を判別するように構成された、運動パターン分類デバイス(14)と、
前記慣性センサ(13)からの少なくとも1つの慣性センサデータ(171、172、173、…、17n)を前記運動パターン分類デバイス(14)に提供するためのインターフェース(16)であって、前記少なくとも1つの慣性センサデータ(171、172、173、…、17n)が、前記可動式処置デバイス(11)の運動を表す、インターフェース(16)であって、前記少なくとも1つの慣性センサデータ(171、172、173、…、17n)に加えて、前記更なるセンサからの少なくとも1つの更なるセンサデータを前記運動パターン分類デバイス(14)に提供するように更に配置されており、前記少なくとも1つの更なるセンサデータは前記圧力センサのセンサデータを備える、前記インターフェース(16)と、を備え、
前記運動パターン分類デバイス(14)が、前記少なくとも1つの慣性センサデータ(171、172、173、…、17n)および前記圧力センサの前記センサデータを受信し、かつ前記運動クラスのセット(15)に含まれる前記運動クラス(151、152、153、…、15k)に対して前記少なくとも1つの慣性センサデータ(171、172、173、…、17n)および前記圧力センサの前記センサデータを分類するように構成された、少なくとも1つのニューラルネットワーク(18)を備え、前記運動クラス(151、152、153、…、15k)が各々、前記対象表面(12)に関する1つ以上の異なるゾーン(211、212、213、…、21m)に関連付けられ(201、202、203、…、20k)、それにより、前記運動クラス(151、152、153、…、15k)に対する前記少なくとも1つの慣性センサデータ(171、172、173、…、17n)および前記圧力センサの前記センサデータの前記分類が、前記対象表面(12)の前記1つ以上のゾーン(211、212、213、…、21m)に対する前記可動式処置デバイス(11)の位置の推定を示すものであり、
前記可動式処置デバイス(11)が、口腔ケアデバイスであり、前記対象表面(12)が、口腔空洞であり、前記口腔空洞(12)が、複数の口腔空洞ゾーン(1a~9a、1b~16b)に分離され、前記運動クラス(15 1 、15 2 、15 3 、…、15 k )に対する前記少なくとも1つの慣性センサデータ(17 1 、17 2 、17 3 、…、17 n )および前記圧力センサの前記センサデータの前記分類が、前記1つ以上の口腔空洞ゾーン(1a~9a、1b~16b)に対する前記口腔ケアデバイス(11)の位置の推定を示す、装置(10、100)。 - 前記ニューラルネットワーク(18)の出力(yt-1、yt、yt+1)が、前記対象表面(12)の前記1つ以上のゾーン(211、212、213、…、21m)に対する前記可動式処置デバイス(11)の位置の前記推定のための1つ以上の確率値又は尤度値を含む、請求項1に記載の装置(10、100)。
- 前記装置(10)が、前記可動式処置デバイス(11)が前記出力(yt-1、yt、yt+1)の最も高い確率値又は尤度値に基づいて位置する、1つのゾーン(Z3)を示すように配置されている、請求項2に記載の装置(10、100)。
- 前記運動クラスのセット(15)に含まれる少なくとも1つの運動クラス(15NB)が、前記対象表面(12)の外側のゾーン(21NB)に関連付けられ、この運動クラス(15NB)に対する前記少なくとも1つの慣性センサデータ(171、172、173、…、17n)の前記分類が、前記可動式処置デバイス(11)が前記対象表面(12)の外側の前記ゾーン(21NB)に位置することを示す、請求項1~3のいずれか一項に記載の装置(10、100)。
- 前記ニューラルネットワーク(18)が、回帰型ニューラルネットワーク、具体的には、長短期メモリネットワーク又はゲート付き回帰型ユニットネットワークであり、更に具体的には、前記回帰型ニューラルネットワークが、双方向性回帰型ニューラルネットワークであり、なお更に具体的には、前記回帰型ニューラルネットワークが、少なくとも2層の双方向性回帰型ニューラルネットワークである、請求項1~4のいずれか一項に記載の装置(10、100)。
- 前記インターフェース(16)が、前記慣性センサ(13)からの慣性センサデータ(171、172、173、…、17n)のシーケンスを、前記運動パターン分類デバイス(14)に入力(X1、X2、X3、…Xn)として提供するように配置されている、請求項1~5のいずれか一項に記載の装置(10、100)。
- 前記装置(10)が、前記可動式処置デバイスが最大基準又は大基準に基づいて、前記慣性センサデータのシーケンスに関する期間中に位置した、前記ゾーン(211、212、213、…、21m)のうちの1つ以上を示すように配置されている、請求項6に記載の装置(10)。
- 前記少なくとも1つの慣性センサデータ(171、172、173、…、17n)が、少なくとも1つの慣性センサデータ部分、特に、x、y、及びz方向の線形速度と、x、y、及びz軸に対する角速度と、x、y、及びz方向の線形加速度と、x、y、及びz軸に対する角加速度と、を含む群の少なくとも3つの慣性センサデータ部分を含む、請求項1~7のいずれか一項に記載の装置(10)。
- 前記少なくとも1つの更なるセンサが、前記可動式処置デバイス(11)を駆動するモータのモータ負荷を検知するための負荷センサを更に備える、請求項1~8のいずれか一項に記載の装置(10)。
- 前記運動パターン分類デバイス(14)が、前記少なくとも1つの慣性センサデータ(171、172、173、…、17n)および前記圧力センサの前記センサデータを受信するように各々が構成された少なくとも第1及び第2のニューラルネットワーク(18)を備え、前記第1のニューラルネットワークが、運動クラスの第1のセット(15)に含まれる運動クラス(151、152、153、…、15k)に対して前記少なくとも1つの慣性センサデータ(171、172、173、…、17n)および前記圧力センサの前記センサデータを分類するように構成され、前記第2のニューラルネットワークが、運動クラスの第2のセット(15)に含まれる運動クラス(151、152、153、…、15k)に対して前記少なくとも1つの慣性センサデータ(171、172、173、…、17n)および前記圧力センサの前記センサデータを分類するように構成され、前記運動クラスの第1及び第2のセットの前記運動クラス(151、152、153、…、15k)が各々、前記対象表面(12)に関する1つ以上の異なるゾーン(211、212、213、…、21m)に関連付けられ(201、202、203、…、20k)、それにより、前記運動クラス(151、152、153、…、15k)に対する前記少なくとも1つの慣性センサデータ(171、172、173、…、17n)および前記圧力センサの前記センサデータの前記分類が、前記対象表面(12)の前記1つ以上のゾーン(211、212、213、…、21m)に対する前記可動式処置デバイス(11)の位置の推定を示し、前記第1のニューラルネットワークの出力(yt-1、yt、yt+1)及び前記第2のニューラルネットワークの出力(yt-1、yt、yt+1)が、前記対象表面(12)の前記1つ以上のゾーン(211、212、213、…、21m)に対する前記可動式処置デバイス(11)の位置の推定を提供するために使用される、請求項1~9のいずれか一項に記載の装置(10)。
- 前記ニューラルネットワークが、訓練された重み行列及びバイアスベクトルを含む、請求項1~10のいずれか一項に記載の装置(10)。
- 前記可動式処置デバイス(11)が、個人用器具であり、前記対象表面(12)が、前記可動式処置デバイス(11)によって処置される身体部分である、請求項1~11のいずれか一項に記載の装置(10)。
- 対象表面(12)に対する可動式処置デバイス(11)の位置特定を実施するための方法であって、前記可動式処置デバイス(11)が、少なくとも1つの慣性センサ(13)、および、前記処置デバイス(11)が前記対象表面に対して加える圧力を測定するように配置された圧力センサを備える少なくとも1つの更なるセンサを備え、前記対象表面(12)を処置するように構成されており、前記方法が、
前記可動式処置デバイス(11)の運動クラスのセット(15)に含まれる2つ以上の運動クラス(151、152、153、…、15k)を提供することと、 前記慣性センサ(13)から少なくとも1つの慣性センサデータ(171、172、173、…、17n)を受信することであって、前記少なくとも1つの慣性センサデータ(171、172、173、…、17n)が、前記可動式処置デバイス(11)の運動を表しており、 前記圧力センサのセンサデータを受信することと、
ニューラルネットワーク(18)によって、前記少なくとも1つの慣性センサデータ(171、172、173、…、17n)および前記圧力センサの前記センサデータを受信して処理することと、前記運動クラスのセット(15)に含まれる少なくとも1つの運動クラス(151、152、153、…、15k)に対して前記少なくとも1つの慣性センサデータ(171、172、173、…、17n)および前記圧力センサの前記センサデータを分類することと、を含み、
前記運動クラス(151、152、153、…、15k)が各々、前記対象表面(12)の1つ以上の異なるゾーン(211、212、213、…、21n)に関連付けられ、それにより、前記少なくとも1つの運動クラス(151、152、153、…、15k)による前記少なくとも1つの慣性センサデータ(171、172、173、…、17n)および前記圧力センサの前記センサデータの前記分類が、前記対象表面(12)の前記1つ以上のゾーン(211、212、213、…、21m)に対する前記可動式処置デバイス(11)の位置の推定を示すものであり、
前記可動式処置デバイス(11)が、口腔ケアデバイスであり、前記対象表面(12)が、口腔空洞であり、前記口腔空洞(12)が、複数の口腔空洞ゾーン(1a~9a、1b~16b)に分離され、前記運動クラス(15 1 、15 2 、15 3 、…、15 k )に対する前記少なくとも1つの慣性センサデータ(17 1 、17 2 、17 3 、…、17 n )および前記圧力センサの前記センサデータの前記分類が、前記1つ以上の口腔空洞ゾーン(1a~9a、1b~16b)に対する前記口腔ケアデバイス(11)の位置の推定を示す、方法。 - 請求項1~12のいずれか一項に記載の装置(10)と、前記対象表面(12)を処置するように構成され、前記少なくとも1つの慣性センサ(13)を備える可動式処置デバイス(11)と、を備えるシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022158618A JP2023017766A (ja) | 2018-02-19 | 2022-09-30 | 可動式処置デバイスの位置特定を実施するための装置及び方法 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18157362.7 | 2018-02-19 | ||
EP18157362.7A EP3528167A1 (en) | 2018-02-19 | 2018-02-19 | Apparatus and method for performing a localization of a movable treatment device |
EP18157358.5 | 2018-02-19 | ||
EP18157358.5A EP3528166B1 (en) | 2018-02-19 | 2018-02-19 | Apparatus and method for classifying a motion of a movable personal appliance |
PCT/IB2019/051249 WO2019159129A2 (en) | 2018-02-19 | 2019-02-15 | Apparatus and method for performing a localization of a movable treatment device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022158618A Division JP2023017766A (ja) | 2018-02-19 | 2022-09-30 | 可動式処置デバイスの位置特定を実施するための装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021514223A JP2021514223A (ja) | 2021-06-10 |
JP7221291B2 true JP7221291B2 (ja) | 2023-02-13 |
Family
ID=65324298
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020543384A Active JP7203856B2 (ja) | 2018-02-19 | 2019-02-15 | 手持ち式消費者装置の使用を分類するためのシステム |
JP2020543228A Active JP7221291B2 (ja) | 2018-02-19 | 2019-02-15 | 可動式処置デバイスの位置特定を実施するための装置及び方法 |
JP2020543273A Active JP7402165B2 (ja) | 2018-02-19 | 2019-02-15 | 可動式処置デバイスの位置特定を実施するための装置及び方法 |
JP2020543144A Active JP7190496B2 (ja) | 2018-02-19 | 2019-02-15 | 可動式処置デバイスの運動を分類するための装置及び方法 |
JP2022158618A Pending JP2023017766A (ja) | 2018-02-19 | 2022-09-30 | 可動式処置デバイスの位置特定を実施するための装置及び方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020543384A Active JP7203856B2 (ja) | 2018-02-19 | 2019-02-15 | 手持ち式消費者装置の使用を分類するためのシステム |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020543273A Active JP7402165B2 (ja) | 2018-02-19 | 2019-02-15 | 可動式処置デバイスの位置特定を実施するための装置及び方法 |
JP2020543144A Active JP7190496B2 (ja) | 2018-02-19 | 2019-02-15 | 可動式処置デバイスの運動を分類するための装置及び方法 |
JP2022158618A Pending JP2023017766A (ja) | 2018-02-19 | 2022-09-30 | 可動式処置デバイスの位置特定を実施するための装置及び方法 |
Country Status (7)
Country | Link |
---|---|
US (5) | US11755686B2 (ja) |
EP (3) | EP3528172B1 (ja) |
JP (5) | JP7203856B2 (ja) |
KR (2) | KR102613604B1 (ja) |
CN (4) | CN111771208B (ja) |
ES (1) | ES2971724T3 (ja) |
WO (4) | WO2019159130A2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11755686B2 (en) | 2018-02-19 | 2023-09-12 | Braun Gmbh | System for classifying the usage of a handheld consumer device |
KR20210030106A (ko) * | 2019-09-09 | 2021-03-17 | 엘지전자 주식회사 | 서버 |
WO2021262955A1 (en) * | 2020-06-24 | 2021-12-30 | Edgewell Personal Care Brands, Llc | Machine learning for a personal care device |
GB2602086B (en) * | 2020-12-17 | 2024-07-03 | Dyson Technology Ltd | Oral treatment device |
US20220201256A1 (en) * | 2020-12-22 | 2022-06-23 | Here Global B.V. | Method, apparatus, and system for capturing an image sequence for a visual positioning service request |
CN112884132B (zh) * | 2021-03-19 | 2024-04-30 | 有品国际科技(深圳)有限责任公司 | 基于神经网络的刷牙检测方法、装置、电动牙刷及介质 |
WO2023012718A1 (en) | 2021-08-06 | 2023-02-09 | Braun Gmbh | Universal base for electric toothbrush |
WO2024007117A1 (en) | 2022-07-04 | 2024-01-11 | Braun Gmbh | Oral scanner system |
WO2024007098A1 (en) | 2022-07-04 | 2024-01-11 | Braun Gmbh | Oral scanner system |
WO2024007100A1 (en) | 2022-07-04 | 2024-01-11 | Braun Gmbh | Oral scanner system |
WO2024007106A1 (en) | 2022-07-04 | 2024-01-11 | Braun Gmbh | Oral scanner system |
WO2024007113A1 (en) | 2022-07-04 | 2024-01-11 | Braun Gmbh | Oral scanner system |
WO2024007091A1 (en) | 2022-07-04 | 2024-01-11 | Braun Gmbh | Oral scanner system |
WO2024007886A1 (en) | 2022-07-04 | 2024-01-11 | Braun Gmbh | Oral scanner system |
EP4399996A1 (en) | 2023-01-12 | 2024-07-17 | Braun GmbH | Personal care device comprising a force sensor |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002090267A (ja) | 2000-09-21 | 2002-03-27 | Mitsui Eng & Shipbuild Co Ltd | 異常診断方法 |
JP2009240759A (ja) | 2008-03-14 | 2009-10-22 | Omron Healthcare Co Ltd | 電動歯ブラシ |
WO2016180929A1 (en) | 2015-05-13 | 2016-11-17 | Kolibree | Toothbrush system with magnetometer for dental hygiene monitoring |
WO2017029570A1 (en) | 2015-08-19 | 2017-02-23 | Koninklijke Philips N.V. | Methods and systems for oral cleaning device localization |
WO2017042673A1 (en) | 2015-09-08 | 2017-03-16 | Braun Gmbh | Determination of a currently treated body portion of a user |
JP2021513415A (ja) | 2018-02-19 | 2021-05-27 | ブラウン ゲーエムベーハー | 可動式処置デバイスの位置特定を実施するための装置及び方法 |
Family Cites Families (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6757602B2 (en) * | 1997-02-06 | 2004-06-29 | Automotive Technologies International, Inc. | System for determining the occupancy state of a seat in a vehicle and controlling a component based thereon |
DE4218600C2 (de) | 1992-06-05 | 1994-09-22 | Bodenseewerk Geraetetech | Einrichtung zur Bestimmung von Bewegungsgrößen eines Flugkörpers |
KR100580647B1 (ko) * | 2004-04-01 | 2006-05-16 | 삼성전자주식회사 | 입력모드 분류가능한 동작기반 입력장치 및 방법 |
EP1851606A1 (en) | 2005-02-24 | 2007-11-07 | Nokia Corporation | Motion-input device for a computing terminal and method of its operation |
WO2006137648A1 (en) * | 2005-06-20 | 2006-12-28 | Jin-Sang Hwang | Tooth brushing pattern analyzing/modifying device, method and system for interactively modifying tooth brushing behavior |
JP4388033B2 (ja) | 2006-05-15 | 2009-12-24 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2008108788A2 (en) | 2006-05-31 | 2008-09-12 | Trx Systems, Inc. | Method and system for locating and monitoring first responders |
US7636645B1 (en) * | 2007-06-18 | 2009-12-22 | Ailive Inc. | Self-contained inertial navigation system for interactive control using movable controllers |
US20080102953A1 (en) * | 2006-10-31 | 2008-05-01 | Motorola, Inc. | Toothbrush affecting game play |
DE102007001025B4 (de) | 2007-01-02 | 2008-11-20 | Siemens Ag | Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems |
US8462109B2 (en) | 2007-01-05 | 2013-06-11 | Invensense, Inc. | Controlling and accessing content using motion processing on mobile devices |
US7835999B2 (en) | 2007-06-27 | 2010-11-16 | Microsoft Corporation | Recognizing input gestures using a multi-touch input device, calculated graphs, and a neural network with link weights |
KR100947046B1 (ko) | 2007-11-19 | 2010-03-10 | 황진상 | 운동체 자세 추적 장치, 운동체 자세 추적 방법, 이를이용한 칫솔 자세 추적 장치 및 칫솔 자세 추적 방법 |
WO2010024697A1 (en) | 2008-09-01 | 2010-03-04 | Business Intelligence Solutions Safe B.V. | Methods, apparatus and systems for determining an adjustment value of a gaming device |
JP2011059815A (ja) * | 2009-09-07 | 2011-03-24 | Sony Corp | 情報処理装置、情報処理方法、及び、プログラム |
JP5574789B2 (ja) * | 2010-04-08 | 2014-08-20 | 株式会社東芝 | 車両周辺監視装置及び車両周辺監視方法 |
KR20130057688A (ko) * | 2011-11-24 | 2013-06-03 | (주)케이엔씨웰빙 | 양치 패턴 분석용 칫솔 및 분석 시스템 |
US10314492B2 (en) | 2013-05-23 | 2019-06-11 | Medibotics Llc | Wearable spectroscopic sensor to measure food consumption based on interaction between light and the human body |
US20140065588A1 (en) * | 2012-08-31 | 2014-03-06 | Ideas That Work, Llc | Toothbrush Training System |
US9263036B1 (en) | 2012-11-29 | 2016-02-16 | Google Inc. | System and method for speech recognition using deep recurrent neural networks |
CN105009027B (zh) * | 2012-12-03 | 2018-09-04 | 纳维森斯有限公司 | 用于估计对象的运动的系统和方法 |
US9413797B2 (en) | 2013-04-23 | 2016-08-09 | Gurulogic Microsystems Oy | Data communication system and method |
US9529385B2 (en) * | 2013-05-23 | 2016-12-27 | Medibotics Llc | Smart watch and human-to-computer interface for monitoring food consumption |
WO2014202250A1 (en) * | 2013-06-19 | 2014-12-24 | Kolibree | Toothbrush system with sensors for a dental hygiene monitoring system |
US10172552B2 (en) * | 2013-06-19 | 2019-01-08 | Benjamin Ohmer | Method for determining and analyzing movement patterns during dental treatment |
US9389694B2 (en) | 2013-10-22 | 2016-07-12 | Thalmic Labs Inc. | Systems, articles, and methods for gesture identification in wearable electromyography devices |
US9820233B2 (en) * | 2013-11-25 | 2017-11-14 | Qualcomm Incorporated | Motion state based mobile device positioning |
US20160091308A1 (en) | 2014-09-30 | 2016-03-31 | Invensense, Inc. | Microelectromechanical systems (mems) acoustic sensor-based gesture recognition |
US20160091965A1 (en) | 2014-09-30 | 2016-03-31 | Microsoft Corporation | Natural motion-based control via wearable and mobile devices |
EP3420849A1 (en) * | 2014-12-22 | 2019-01-02 | Sunstar Inc. | Brushing assistance system, brushing assistance device, and brushing assistance program |
CN105832315A (zh) | 2015-01-16 | 2016-08-10 | 中国科学院上海高等研究院 | 不受个体运动状态与环境位置影响的远程监测系统 |
CN104848861B (zh) * | 2015-05-28 | 2017-12-08 | 西安交通大学 | 一种基于图像消失点识别技术的移动设备姿态测量方法 |
US9336482B1 (en) | 2015-07-27 | 2016-05-10 | Google Inc. | Predicting likelihoods of conditions being satisfied using recurrent neural networks |
FI127926B (en) * | 2015-12-21 | 2019-05-31 | Suunto Oy | Sensor-based context management |
CN109152471A (zh) * | 2016-03-14 | 2019-01-04 | 科里布里公司 | 具有视觉识别功能以用于监测依从性的口腔卫生系统 |
AU2017236782B2 (en) | 2016-03-22 | 2021-01-28 | Magic Leap, Inc. | Head mounted display system configured to exchange biometric information |
WO2017173213A1 (en) | 2016-03-31 | 2017-10-05 | Zoll Medical Corporation | Systems and methods of tracking patient movement |
JP2017187850A (ja) | 2016-04-01 | 2017-10-12 | 株式会社リコー | 画像処理システム、情報処理装置、プログラム |
US11112784B2 (en) | 2016-05-09 | 2021-09-07 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for communications in an industrial internet of things data collection environment with large data sets |
CN107516102B (zh) * | 2016-06-16 | 2020-10-23 | 北京市商汤科技开发有限公司 | 图像数据分类与建立分类模型方法、装置及系统 |
US10003924B2 (en) * | 2016-08-10 | 2018-06-19 | Yandex Europe Ag | Method of and server for processing wireless device sensor data to generate an entity vector associated with a physical location |
KR20180070932A (ko) | 2016-12-19 | 2018-06-27 | 삼성전자주식회사 | 이동체 및 이동체의 제어 방법 |
US20170173262A1 (en) | 2017-03-01 | 2017-06-22 | François Paul VELTZ | Medical systems, devices and methods |
CN107092894A (zh) * | 2017-04-28 | 2017-08-25 | 孙恩泽 | 一种基于lstm模型的运动行为识别方法 |
CN107153642A (zh) * | 2017-05-16 | 2017-09-12 | 华北电力大学 | 一种基于神经网络识别文本评论情感倾向的分析方法 |
CN107203753B (zh) * | 2017-05-25 | 2020-09-08 | 西安工业大学 | 一种基于模糊神经网络和图模型推理的动作识别方法 |
CN109002189B (zh) | 2017-06-07 | 2021-09-07 | 斑马智行网络(香港)有限公司 | 一种运动识别方法、装置、设备和计算机存储介质 |
US10726301B2 (en) * | 2017-06-29 | 2020-07-28 | The Procter & Gamble Company | Method for treating a surface |
CN209085657U (zh) * | 2017-08-02 | 2019-07-09 | 强力物联网投资组合2016有限公司 | 用于与化工生产工艺有关的或工业环境的数据收集系统 |
GB2567850B (en) * | 2017-10-26 | 2020-11-04 | Gb Gas Holdings Ltd | Determining operating state from complex sensor data |
GB2569794A (en) * | 2017-12-21 | 2019-07-03 | Yoti Holding Ltd | Biometric user authentication |
US10646029B2 (en) | 2017-12-28 | 2020-05-12 | Colgate-Palmolive Company | Oral hygiene systems and methods |
CN108451155B (zh) * | 2018-04-13 | 2020-09-08 | 深圳市力博得科技有限公司 | 智能牙刷的控制电路、智能牙刷及刷牙行为的监控方法 |
WO2021262955A1 (en) | 2020-06-24 | 2021-12-30 | Edgewell Personal Care Brands, Llc | Machine learning for a personal care device |
-
2019
- 2019-02-15 US US16/276,947 patent/US11755686B2/en active Active
- 2019-02-15 US US16/276,972 patent/US12045710B2/en active Active
- 2019-02-15 US US16/277,024 patent/US20190254796A1/en active Pending
- 2019-02-15 EP EP19157587.7A patent/EP3528172B1/en active Active
- 2019-02-15 EP EP19157582.8A patent/EP3528170B1/en active Active
- 2019-02-15 KR KR1020207023050A patent/KR102613604B1/ko active IP Right Grant
- 2019-02-15 WO PCT/IB2019/051250 patent/WO2019159130A2/en active Application Filing
- 2019-02-15 EP EP19157585.1A patent/EP3528171B1/en active Active
- 2019-02-15 WO PCT/IB2019/051249 patent/WO2019159129A2/en active Application Filing
- 2019-02-15 WO PCT/IB2019/051247 patent/WO2019159127A1/en active Application Filing
- 2019-02-15 ES ES19157587T patent/ES2971724T3/es active Active
- 2019-02-15 JP JP2020543384A patent/JP7203856B2/ja active Active
- 2019-02-15 CN CN201980014210.7A patent/CN111771208B/zh active Active
- 2019-02-15 JP JP2020543228A patent/JP7221291B2/ja active Active
- 2019-02-15 JP JP2020543273A patent/JP7402165B2/ja active Active
- 2019-02-15 KR KR1020207023040A patent/KR102555432B1/ko active IP Right Grant
- 2019-02-15 US US16/276,993 patent/US12056208B2/en active Active
- 2019-02-15 WO PCT/IB2019/051248 patent/WO2019159128A2/en active Application Filing
- 2019-02-15 CN CN201980014214.5A patent/CN111742327B/zh active Active
- 2019-02-15 CN CN201980014213.0A patent/CN111771209B/zh active Active
- 2019-02-15 CN CN201980014221.5A patent/CN111742328B/zh active Active
- 2019-02-15 JP JP2020543144A patent/JP7190496B2/ja active Active
-
2022
- 2022-09-30 JP JP2022158618A patent/JP2023017766A/ja active Pending
-
2023
- 2023-06-28 US US18/215,248 patent/US12033057B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002090267A (ja) | 2000-09-21 | 2002-03-27 | Mitsui Eng & Shipbuild Co Ltd | 異常診断方法 |
JP2009240759A (ja) | 2008-03-14 | 2009-10-22 | Omron Healthcare Co Ltd | 電動歯ブラシ |
WO2016180929A1 (en) | 2015-05-13 | 2016-11-17 | Kolibree | Toothbrush system with magnetometer for dental hygiene monitoring |
WO2017029570A1 (en) | 2015-08-19 | 2017-02-23 | Koninklijke Philips N.V. | Methods and systems for oral cleaning device localization |
WO2017042673A1 (en) | 2015-09-08 | 2017-03-16 | Braun Gmbh | Determination of a currently treated body portion of a user |
JP2021513415A (ja) | 2018-02-19 | 2021-05-27 | ブラウン ゲーエムベーハー | 可動式処置デバイスの位置特定を実施するための装置及び方法 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7221291B2 (ja) | 可動式処置デバイスの位置特定を実施するための装置及び方法 | |
US11752650B2 (en) | Apparatus and method for operating a personal grooming appliance or household cleaning appliance | |
US20220398745A1 (en) | Apparatus and method for operating a dental appliance | |
EP3528166B1 (en) | Apparatus and method for classifying a motion of a movable personal appliance | |
EP3528167A1 (en) | Apparatus and method for performing a localization of a movable treatment device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200812 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220303 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220729 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220930 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220930 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221011 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221014 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7221291 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |