JP6490375B2 - 無声無喉頭発声を用いるシステムの制御 - Google Patents
無声無喉頭発声を用いるシステムの制御 Download PDFInfo
- Publication number
- JP6490375B2 JP6490375B2 JP2014195299A JP2014195299A JP6490375B2 JP 6490375 B2 JP6490375 B2 JP 6490375B2 JP 2014195299 A JP2014195299 A JP 2014195299A JP 2014195299 A JP2014195299 A JP 2014195299A JP 6490375 B2 JP6490375 B2 JP 6490375B2
- Authority
- JP
- Japan
- Prior art keywords
- laryngeal
- unvoiced
- operator
- vibration
- utterance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 29
- 230000001755 vocal effect Effects 0.000 claims description 13
- 238000002679 ablation Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 10
- 210000000867 larynx Anatomy 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000010355 oscillation Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 229910003460 diamond Inorganic materials 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 210000001260 vocal cord Anatomy 0.000 description 2
- 210000002417 xiphoid bone Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000004237 neck muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000003800 pharynx Anatomy 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
- A61B5/749—Voice-controlled interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/16—Transforming into a non-visible representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Prostheses (AREA)
- Surgical Instruments (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Description
機器であって、装置の操作中にオペレータによって生成される無声無喉頭発声振動の感知に適する場所で、装置のオペレータの頸部に固定するように構成されたセンサと、
無声無喉頭発声振動を計測するために、及び計測された無声無喉頭発声振動に応じて装置のための制御信号を生成するために、センサによって出力された信号を受信して処理するように構成されたプロセッサと、を含む機器。
装置の操作中にオペレータによって生成される無声無喉頭発声振動の感知に適する場所で、装置のオペレータの頸部へセンサを固定することと、
無声無喉頭発声振動を計測するために、及び計測された無声無喉頭発声振動に応じて装置のための制御信号を生成するために、センサにより出力された信号を受信して処理することと、を含む方法。
本発明の一実施形態は、装置のオペレータが、オペレータによって生成される無声無喉頭発声振動を用いて、装置を制御することを可能とするシステムを備える。システムのセンサは、オペレータによって生成された無声無喉頭音振動を感知することが可能であり、無声音を生成する振動の感知に適する場所で、オペレータの頸部に固定される。センサは、振動に応じて信号を生成するように構成され、またシステムプロセッサは、無声無喉頭発声振動を計測するために、信号を受信して処理するように構成されている。
図1を参照すると、これは本発明の一実施形態における無声無喉頭発声振動検出及び制御システム20の概略説明図である。無声無喉頭発声振動及び無声無喉頭音振動は、いずれもシステム20で使われていて、これらについて以下に記述する。以下の開示において、システム20は、本明細書では患者26の心臓24のアブレーション手技を含むと想定される医療処置の最中に使われる装置22の操作を、部分的に制御するために実施されることを前提とする。いくつかの実施形態では、装置22は、3333 Diamond Canyon Road、Diamond Bar、CA 91765のBoisense Webster、Inc.製CARTO(登録商標)システムに相当するとしてもよい。しかしながら、装置22を用いるこの実施の記述は例示のためであり、したがって、システム20は、必ずしも医療処置とは関連のない機器や装置を含む他の機器や装置の制御に使われてもよいことが理解される。
(1) 機器であって、
装置の操作中にオペレータによって生成される無声無喉頭発声振動の感知に適する場所で、前記装置の前記オペレータの頸部に固定するように構成されたセンサと、
前記無声無喉頭発声振動を計測するために、及び前記計測された無声無喉頭発声振動に応じて前記装置のための制御信号を生成するために、前記センサによって出力された信号を受信して処理するように構成されたプロセッサと、を備える機器。
(2) 前記無声無喉頭発声振動が、前記オペレータによって生成される一群の多様な無声無喉頭音振動を含み、前記無声無喉頭発声振動の計測が、前記一群内での前記無声無喉頭音振動の識別を含む、実施態様1に記載の機器。
(3) 前記無声無喉頭発声振動が、前記オペレータによって生成される一群の多様な無声無喉頭音振動を含み、前記プロセッサが、前記一群の多様な無声無喉頭音振動と、前記オペレータによって選定された前記装置のための一組の多様な制御信号との間の、1対1の対応を記憶するように構成される、実施態様1に記載の機器。
(4) 前記装置が、患者の心臓のアブレーションを実行するように構成される、実施態様1に記載の機器。
(5) 前記センサが、筋電図によって制御される電気式人工喉頭(EMG−EL)を備える、実施態様1に記載の機器。
装置の操作中にオペレータによって生成される無声無喉頭発声振動の感知に適する場所で、前記装置の前記オペレータの頸部へセンサを固定することと、
前記無声無喉頭発声振動を計測するために、及び前記計測された無声無喉頭発声振動に応じて前記装置のための制御信号を生成するために、前記センサにより出力された信号を受信して処理することと、を含む方法。
(7) 前記無声無喉頭発声振動が、前記オペレータによって生成される一群の多様な無声無喉頭音振動を含み、前記無声無喉頭発声振動の計測が、前記一群内での前記無声無喉頭音振動の識別を含む、実施態様6に記載の方法。
(8) 前記無声無喉頭発声振動が、前記オペレータによって生成される一群の多様な無声無喉頭音振動を含み、前記一群の多様な無声無喉頭音振動と、前記オペレータによって選定された前記装置のための一組の多様な制御信号との間の、1対1の対応を記憶することを更に含む、実施態様6に記載の方法。
(9) 前記装置が、患者の心臓のアブレーションを実行するように構成される、実施態様6に記載の方法。
(10) 前記センサが、筋電図によって制御される電気式人工喉頭(EMG−EL)を備える、実施態様6に記載の方法。
Claims (8)
- 機器であって、
患者の心臓のアブレーションを実行するように構成される装置と、
前記装置の操作中にオペレータによって生成される無声無喉頭発声振動の感知に適する場所で、前記装置の前記オペレータの頸部に固定するように構成されたセンサと、
様々なグラフィックユーザインタフェースを前記オペレータに向けて表示するスクリーンと、
前記無声無喉頭発声振動を計測するために、及び前記計測された無声無喉頭発声振動に応じて前記装置により実行されるべき特定の機能に対応した制御信号を生成するために、前記センサによって出力された信号を受信して処理するように構成されたプロセッサと、を備え、
前記プロセッサが前記オペレータの確認のための質問を前記スクリーンに表示することにより、前記実行されるべき特定の機能を確かめるように構成されている、機器。 - 前記無声無喉頭発声振動が、前記オペレータによって生成される一群の多様な無声無喉頭音振動を含み、前記無声無喉頭発声振動の計測が、前記一群内での前記無声無喉頭音振動の識別を含む、請求項1に記載の機器。
- 前記無声無喉頭発声振動が、前記オペレータによって生成される一群の多様な無声無喉頭音振動を含み、前記プロセッサが、前記一群の多様な無声無喉頭音振動と、前記オペレータによって選定された前記装置のための一組の多様な制御信号との間の、1対1の対応を記憶するように構成される、請求項1に記載の機器。
- 前記センサが、筋電図によって制御される電気式人工喉頭(EMG−EL)を備える、請求項1に記載の機器。
- 方法であって、
患者の心臓のアブレーションを実行するように構成される装置の操作中にオペレータによって生成される無声無喉頭発声振動の感知に適する場所で、前記装置の前記オペレータの頸部へセンサを固定することと、
前記無声無喉頭発声振動を計測するために、及び前記計測された無声無喉頭発声振動に応じて前記装置により実行されるべき特定の機能に対応した制御信号を生成するために、前記センサにより出力された信号を受信して処理することと、を含み、
前記オペレータの確認のための質問がスクリーンに表示されることにより、前記特定の機能が実行されるべきか確かめられる、方法。 - 前記無声無喉頭発声振動が、前記オペレータによって生成される一群の多様な無声無喉頭音振動を含み、前記無声無喉頭発声振動の計測が、前記一群内での前記無声無喉頭音振動の識別を含む、請求項5に記載の方法。
- 前記無声無喉頭発声振動が、前記オペレータによって生成される一群の多様な無声無喉頭音振動を含み、前記一群の多様な無声無喉頭音振動と、前記オペレータによって選定された前記装置のための一組の多様な制御信号との間の、1対1の対応を記憶することを更に含む、請求項5に記載の方法。
- 前記センサが、筋電図によって制御される電気式人工喉頭(EMG−EL)を備える、請求項5に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/041,271 US9640198B2 (en) | 2013-09-30 | 2013-09-30 | Controlling a system using voiceless alaryngeal speech |
US14/041,271 | 2013-09-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015069653A JP2015069653A (ja) | 2015-04-13 |
JP6490375B2 true JP6490375B2 (ja) | 2019-03-27 |
Family
ID=51726319
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014195299A Active JP6490375B2 (ja) | 2013-09-30 | 2014-09-25 | 無声無喉頭発声を用いるシステムの制御 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9640198B2 (ja) |
EP (1) | EP2854132B1 (ja) |
JP (1) | JP6490375B2 (ja) |
CN (1) | CN104517608B (ja) |
AU (1) | AU2014233625B2 (ja) |
CA (1) | CA2865341A1 (ja) |
IL (1) | IL234667B (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106448673B (zh) * | 2016-09-18 | 2019-12-10 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种汉语电子喉语音转换方法 |
US10255906B2 (en) * | 2016-12-14 | 2019-04-09 | International Business Machines Corporation | Sensors and analytics for reading comprehension |
DE102017101782A1 (de) * | 2017-01-30 | 2018-08-02 | Aktormed Gmbh | Operations-Assistenz-System und Verfahren zur Erzeugung von Steuersignalen zur Sprachsteuerung einer motorisch gesteuert bewegbaren Roboterkinematik eines derartigen Operations-Assistenz-Systems |
CN114127842A (zh) * | 2019-08-15 | 2022-03-01 | 深圳迈瑞生物医疗电子股份有限公司 | 医疗设备及医疗设备系统 |
CN110956949B (zh) * | 2019-10-24 | 2022-10-04 | 中国人民解放军军事科学院国防科技创新研究院 | 一种口含式缄默通信方法与系统 |
CN110767208A (zh) * | 2019-11-18 | 2020-02-07 | 中国矿业大学(北京) | 一种基于面部表面肌肉信号的不发声指令识别的辅助救援通讯方法及装置 |
CN113823278B (zh) * | 2021-09-13 | 2023-12-08 | 北京声智科技有限公司 | 语音识别方法、装置、电子设备及存储介质 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5171930A (en) | 1990-09-26 | 1992-12-15 | Synchro Voice Inc. | Electroglottograph-driven controller for a MIDI-compatible electronic music synthesizer device |
US6646541B1 (en) * | 1996-06-24 | 2003-11-11 | Computer Motion, Inc. | General purpose distributed operating room control system |
JP2000267695A (ja) * | 1999-01-14 | 2000-09-29 | Nissan Motor Co Ltd | 車載機器のリモートコントロール装置 |
WO2002050652A2 (en) * | 2000-12-18 | 2002-06-27 | Human Bionics Llc, | Method and system for initiating activity based on sensed electrophysiological data |
US7259906B1 (en) | 2002-09-03 | 2007-08-21 | Cheetah Omni, Llc | System and method for voice control of medical devices |
GB2422238A (en) * | 2005-01-17 | 2006-07-19 | Univ Hull | Generation of data from speech or voiceless mouthed speech |
US8657814B2 (en) | 2005-08-22 | 2014-02-25 | Medtronic Ablation Frontiers Llc | User interface for tissue ablation system |
US20070106501A1 (en) * | 2005-11-07 | 2007-05-10 | General Electric Company | System and method for subvocal interactions in radiology dictation and UI commands |
US8251924B2 (en) * | 2006-07-07 | 2012-08-28 | Ambient Corporation | Neural translator |
WO2009062061A1 (en) | 2007-11-09 | 2009-05-14 | University Of Virginia Patent Foundation | Steerable epicardial pacing catheter system placed via the subxiphoid process |
JP5256119B2 (ja) * | 2008-05-27 | 2013-08-07 | パナソニック株式会社 | 補聴器並びに補聴器に用いられる補聴処理方法及び集積回路 |
CN101916566B (zh) * | 2010-07-09 | 2012-07-04 | 西安交通大学 | 一种电子喉语音重建方法及其系统 |
CN103717164B (zh) * | 2011-03-08 | 2016-12-07 | T·J·科亨 | 具有安全结构的消融导管系统 |
US20120299826A1 (en) | 2011-05-24 | 2012-11-29 | Alcatel-Lucent Usa Inc. | Human/Machine Interface for Using the Geometric Degrees of Freedom of the Vocal Tract as an Input Signal |
US9931154B2 (en) * | 2012-01-11 | 2018-04-03 | Biosense Webster (Israel), Ltd. | Touch free operation of ablator workstation by use of depth sensors |
-
2013
- 2013-09-30 US US14/041,271 patent/US9640198B2/en active Active
-
2014
- 2014-09-15 IL IL234667A patent/IL234667B/en active IP Right Grant
- 2014-09-25 JP JP2014195299A patent/JP6490375B2/ja active Active
- 2014-09-26 CA CA 2865341 patent/CA2865341A1/en not_active Abandoned
- 2014-09-26 AU AU2014233625A patent/AU2014233625B2/en not_active Ceased
- 2014-09-29 EP EP14186865.3A patent/EP2854132B1/en active Active
- 2014-09-29 CN CN201410513365.4A patent/CN104517608B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
EP2854132B1 (en) | 2017-05-10 |
CN104517608A (zh) | 2015-04-15 |
IL234667B (en) | 2018-01-31 |
AU2014233625B2 (en) | 2019-09-19 |
US9640198B2 (en) | 2017-05-02 |
CN104517608B (zh) | 2020-08-18 |
CA2865341A1 (en) | 2015-03-30 |
US20150095036A1 (en) | 2015-04-02 |
AU2014233625A1 (en) | 2015-04-16 |
EP2854132A1 (en) | 2015-04-01 |
JP2015069653A (ja) | 2015-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6490375B2 (ja) | 無声無喉頭発声を用いるシステムの制御 | |
EP1676540B1 (en) | Apparatus for performing a voice-assisted orthopaedic surgical procedure | |
JP7453693B2 (ja) | 外科トレーニング装置、方法及びシステム | |
JP4823687B2 (ja) | 手術システム制御装置 | |
JP6582549B2 (ja) | 振動検出モジュール、振動検出装置、振動検出方法及び手術システム | |
Wang et al. | Preliminary test of a real-time, interactive silent speech interface based on electromagnetic articulograph | |
EP2046193A2 (en) | Method of improving medical apparatus in order to replace ancillary medical assistance by employing audible verbal human sounding voices to prompt therapeutic usage and provide guidance, measurements, encouragement and response, as needed, to the patient, by using electronic technology | |
JP7083143B2 (ja) | 超音波探触子の誘導ナビゲーション | |
US20170162079A1 (en) | Audio and Visual Enhanced Patient Simulating Mannequin | |
EP4139917A1 (en) | Voice grafting using machine learning | |
CN104188736A (zh) | 基于瘘口气流气压信号调控的电子人工喉训练系统及操作方法 | |
JP2022028086A (ja) | 情報処理装置、提示方法、および手術システム | |
US20080137877A1 (en) | Subject actuated system and method for simulating normal and abnormal medical conditions | |
JP4873497B2 (ja) | 医療用実習装置 | |
US11076950B2 (en) | Electrolarynx devices and uses thereof | |
Yajima et al. | Evaluation of speech input recognition rate of ar-based drawing application on operation monitor for communication support during endoscopic surgery | |
JP2002336184A (ja) | 内視鏡システム | |
KR20200095084A (ko) | 경막외강 내시경술 훈련 장치 | |
CN110022752A (zh) | 信息提示系统 | |
Aalto et al. | Measurement of acoustic and anatomic changes in oral and maxillofacial surgery patients | |
EP3763287A1 (en) | Patient controlled medical system | |
KR20210047787A (ko) | 안면 구조에 적합한 휴대용 비강 개방도 측정장치 | |
KR20230090968A (ko) | 스마트폰을 이용한 기침음, 호흡음 및 성음 데이터 수집 방법 | |
RU2373902C1 (ru) | Способ дистанционного управления компьютером без помощи рук (варианты) и устройство для дистанционного управления компьютером без помощи рук | |
Aguiar et al. | Integrated Interfacing System for Video Laparoscopy Procedures Based on Voice Recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170825 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180808 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6490375 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |