JPWO2014002391A1 - 情報処理装置および情報処理方法 - Google Patents
情報処理装置および情報処理方法 Download PDFInfo
- Publication number
- JPWO2014002391A1 JPWO2014002391A1 JP2014522396A JP2014522396A JPWO2014002391A1 JP WO2014002391 A1 JPWO2014002391 A1 JP WO2014002391A1 JP 2014522396 A JP2014522396 A JP 2014522396A JP 2014522396 A JP2014522396 A JP 2014522396A JP WO2014002391 A1 JPWO2014002391 A1 JP WO2014002391A1
- Authority
- JP
- Japan
- Prior art keywords
- training
- text
- utterance
- sound
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 22
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000012549 training Methods 0.000 claims abstract description 189
- 238000000034 method Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 30
- 230000005236 sound signal Effects 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 208000027765 speech disease Diseases 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 235000016496 Panda oleosa Nutrition 0.000 description 2
- 240000000220 Panda oleosa Species 0.000 description 2
- 208000026106 cerebrovascular disease Diseases 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010008111 Cerebral haemorrhage Diseases 0.000 description 1
- 206010013887 Dysarthria Diseases 0.000 description 1
- 201000007201 aphasia Diseases 0.000 description 1
- 208000030137 articulation disease Diseases 0.000 description 1
- 206010008118 cerebral infarction Diseases 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000011977 language disease Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/04—Speaking
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Physical Education & Sports Medicine (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
Description
単語、単語列、または文からなるトレーニング用のテキストを格納した格納手段と、
前記格納手段に格納された複数のテキストのうちの一つのテキストを提示する提示手段と、
前記提示手段によってテキストが提示された後に入力された音声信号に基づいて、発話速度を算出する算出手段と、
前記算出手段により算出された発話速度と予め設定された目標の発話速度とを比較する比較手段と、
前記比較手段による比較結果を通知する通知手段と、を備える。
<1.リハビリ用ロボットの外観構成>
図1は、本実施形態に係る情報処理装置としてのリハビリ用ロボット100の外観構成を示す図である。図1に示すように、言語障害患者などの訓練対象者の発話訓練を補助するリハビリ用ロボット100は、頭部110と胴体部120と脚部(左脚部131、右脚部132)とを備える。
次に、リハビリ用ロボット100の機能構成について説明する。図2は、リハビリ用ロボット100の機能構成を示す図である。
次に、制御部201が発話トレーニングプログラム221を実行することにより実施される本実施形態の発話トレーニング処理について図4のフローチャートを参照して説明する。リハビリ用ロボット100のスイッチ111の押下、タッチパネルディスプレイ121へのタッチ操作、タブレット端末150からの操作など、所定操作の検出により発話トレーニングが開始される(ステップS401)。なお、タッチパネルディスプレイ121とタブレット端末150は同等のユーザインターフェースを実現するので、以下ではタブレット端末150を用いて説明する。但し、タッチパネルディスプレイ121におけるユーザインターフェースの提供は制御部201が行うことになるが、タブレット端末150のユーザインターフェースはタブレット端末150が有するCPUと制御部201の協働により実現される。また、タブレット端末150のようなインテリジェントな端末ではなく、単なるタッチパネルディスプレイを接続可能としてもよい。そのような外付けのタッチパネルディスプレイが接続される場合、タッチパネルディスプレイ121と同様に、制御部201がその制御の全てを行う。
・|N−R|≦5:『ちょうどいいスピードです』
・5<N−R≦15:『少し速いようです』
・N−R>15:『だいぶ速いようです。もっとゆっくり話しましょう。』
・N−R<−5:『もう少し速く話してみましょう』。
・[発話の再生]:録音された発話の内容をスピーカ122により再生させる。
・[もう一度]:直前に使用したトレーニングテキストでもう一度発話訓練する。
・[次のテキスト]:新たなトレーニングテキストで発話訓練する。
・[レベルの変更]:レベルを変更して、新たなトレーニングテキストで発話訓練する。
・[トレーニング終了]:発話トレーニングを終了する。
構音障害を持つ言語障害患者は、「た」や「か行(子音がkで始まる音)」など、特定の音を発音することが困難となる場合がある。第2実施形態では、トレーニングテキストの選択において、そのような訓練対象者にとって発音が困難な音(以下、苦手音)を含むか否かを考慮する。このように、発話トレーニングに苦手音を含むトレーニングテキストを意図的に選択することにより、発話速度と苦手音の克服の双方の発話トレーニングを行えるようにする。なお、第2実施形態の情報処理装置の構成は、第1実施形態と同様である。
第1実施形態では選択したトレーニングテキストを発話させ、その発話時間から発話速度を算出して評価する構成を、第2実施形態ではトレーニングテキストの選択において対象者の苦手音の存否を選択条件の一つとする構成を説明した。第3実施形態では、更に、苦手音を正しく発声するためのトレーニングを加味した構成を説明する。
・ステップS901、S902で苦手音を先頭に有するトレーニングテキストが提示された場合には先頭の1音について正しく発音できたかどうかを判定する。
・ステップS901、S902で苦手音を末尾に有するトレーニングテキストが提示された場合には末尾の1音について正しく発音できたかどうかを判定する。
・ステップS901、S902で苦手音を先頭と末尾の両方に有するトレーニングテキストが提示された場合には、先頭と末尾の1音ずつについて正しく発音できたかどうかを判定する。
レベル3:苦手音「○」は、ほぼ正しく発音ができています。
レベル2:苦手音「○」は、どうにか聞き取ることができるレベルで発音できています。
レベル1:苦手音「○」の発音をもっと練習しましょう。
第4実施形態では、登録手段の更なる一例を説明する。第2、第3実施形態では、訓練退所者の苦手音を言語聴覚士が登録したが、第4実施形態では、苦手音の登録を自動化する。図10は第4実施形態による、苦手音登録処理を説明する図である。
Claims (8)
- 単語、単語列、または文からなるトレーニング用のテキストを格納した格納手段と、
前記格納手段に格納された複数のテキストのうちの一つのテキストを提示する提示手段と、
前記提示手段によってテキストが提示された後に入力された音声信号に基づいて、発話速度を算出する算出手段と、
前記算出手段により算出された発話速度と予め設定された目標の発話速度とを比較する比較手段と、
前記比較手段による比較結果を通知する通知手段と、を備えることを特徴とする情報処理装置。 - 前記提示手段は、前記一つのテキストを音声出力する、または、文字列として表示するための出力を行なうことを特徴とする請求項1に記載の情報処理装置。
- 前記算出手段は、前記音声信号に基づいて発話の開始と終了を検出し、発話の開始から終了までの時間と、前記提示手段により提示されたテキストの長さとに基づいて発話速度を算出することを特徴とする請求項1または2に記載の情報処理装置。
- 訓練の対象者にとって発音が困難である苦手音を登録する登録手段を更に備え、
前記提示手段は、テキストが前記苦手音を含むか否かを前記複数のテキストからテキストを選択する際の条件として用いることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。 - 訓練の対象者にとって発音が困難である苦手音を登録する登録手段と、
提示された前記テキストの先頭と前記音声信号における発話の先頭の音が一致するか、または、前記テキストの末尾と前記音声信号における発話の末尾の音が一致するか否かを判定する判定手段とを更に備え、
前記提示手段は、前記複数のテキストから、前記苦手音を先頭または末尾に含むテキストを選択して提示することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。 - 前記登録手段は、
提示された前記テキストの先頭と前記音声信号における発話の最初の音が一致するか、または、前記テキストの末尾と発話の末尾の音が一致するか否かを判定し、
前記判定に基づいて対象者が発音するのを苦手としている音を特定し、特定された音を該対象者の苦手音として登録することを特徴とする請求項4または5に記載の情報処理装置。 - 発話トレーニングを補助する情報処理方法であって、
単語、単語列、または文からなるトレーニング用のテキストを格納した格納手段に格納された複数のテキストのうちの一つのテキストを提示する提示工程と、
前記提示工程でテキストが提示された後に入力された音声信号に基づいて、発話速度を算出する算出工程と、
前記算出工程で算出された発話速度と予め設定された目標の発話速度とを比較する比較工程と、
前記算出工程で算出された発話速度、または前記比較工程で得られた比較結果を通知する通知工程と、を備えることを特徴とする情報処理方法。 - 請求項7に記載の情報処理方法の各工程をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012147548 | 2012-06-29 | ||
JP2012147548 | 2012-06-29 | ||
PCT/JP2013/003496 WO2014002391A1 (ja) | 2012-06-29 | 2013-06-04 | 情報処理装置および情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014002391A1 true JPWO2014002391A1 (ja) | 2016-05-30 |
JP6158179B2 JP6158179B2 (ja) | 2017-07-05 |
Family
ID=49782593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014522396A Active JP6158179B2 (ja) | 2012-06-29 | 2013-06-04 | 情報処理装置および情報処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20150111183A1 (ja) |
JP (1) | JP6158179B2 (ja) |
WO (1) | WO2014002391A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016045420A (ja) * | 2014-08-25 | 2016-04-04 | カシオ計算機株式会社 | 発音学習支援装置およびプログラム |
CN106652602A (zh) * | 2017-03-07 | 2017-05-10 | 大连民族大学 | 讲课机器人 |
US10430449B2 (en) * | 2017-03-28 | 2019-10-01 | Rovi Guides, Inc. | Systems and methods for correcting a voice query based on a subsequent voice query with a lower pronunciation rate |
CN109147433A (zh) * | 2018-10-25 | 2019-01-04 | 重庆鲁班机器人技术研究院有限公司 | 儿童语言辅助教学方法、装置及机器人 |
CN110610627A (zh) * | 2019-09-29 | 2019-12-24 | 苏州思必驰信息科技有限公司 | 启发式诗词学习方法及装置 |
KR102444012B1 (ko) * | 2020-10-12 | 2022-09-16 | 연세대학교 산학협력단 | 말 장애 평가 장치, 방법 및 프로그램 |
CN113177126A (zh) * | 2021-03-24 | 2021-07-27 | 珠海金山办公软件有限公司 | 一种处理演示文稿的方法、装置、计算机存储介质及终端 |
WO2024049186A1 (ko) * | 2022-08-31 | 2024-03-07 | 연세대학교 산학협력단 | 과제 수행 결과 기반 원발진행실어증 유형 분류 장치 및 분류 방법 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010224563A (ja) * | 1997-11-17 | 2010-10-07 | Nuance Communications Inc | 発音矯正装置、発音矯正方法および記録媒体 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5487671A (en) * | 1993-01-21 | 1996-01-30 | Dsp Solutions (International) | Computerized system for teaching speech |
JPH08227410A (ja) * | 1994-12-22 | 1996-09-03 | Just Syst Corp | ニューラルネットワークの学習方法、ニューラルネットワークおよびニューラルネットワークを利用した音声認識装置 |
WO1998014934A1 (en) * | 1996-10-02 | 1998-04-09 | Sri International | Method and system for automatic text-independent grading of pronunciation for language instruction |
JPH11143346A (ja) * | 1997-11-05 | 1999-05-28 | Seiko Epson Corp | 語学練習用発話評価方法およびその装置並びに発話評価処理プログラムを記憶した記憶媒体 |
US6728680B1 (en) * | 2000-11-16 | 2004-04-27 | International Business Machines Corporation | Method and apparatus for providing visual feedback of speed production |
JP2002323847A (ja) * | 2001-04-26 | 2002-11-08 | Hitachi Ltd | 協調学習システム及びそのシステム |
TW200405988A (en) * | 2002-09-17 | 2004-04-16 | Ginganet Corp | System and method for sign language translation |
EP1588344A2 (en) * | 2003-01-30 | 2005-10-26 | Bigfoot Productions, Inc. | System for learning language through embedded content on a single medium |
US20060069562A1 (en) * | 2004-09-10 | 2006-03-30 | Adams Marilyn J | Word categories |
JP2006337667A (ja) * | 2005-06-01 | 2006-12-14 | Ntt Communications Kk | 発音評価方法、音素列モデル学習方法、これらの方法を用いた装置、プログラム、および記録媒体。 |
JP2007140200A (ja) * | 2005-11-18 | 2007-06-07 | Yamaha Corp | 語学学習装置およびプログラム |
US9508268B2 (en) * | 2006-05-22 | 2016-11-29 | Koninklijke Philips N.V. | System and method of training a dysarthric speaker |
US20080140412A1 (en) * | 2006-12-07 | 2008-06-12 | Jonathan Travis Millman | Interactive tutoring |
JP5456370B2 (ja) * | 2009-05-25 | 2014-03-26 | 任天堂株式会社 | 発音評価プログラム、発音評価装置、発音評価システムおよび発音評価方法 |
US9058751B2 (en) * | 2011-11-21 | 2015-06-16 | Age Of Learning, Inc. | Language phoneme practice engine |
-
2013
- 2013-06-04 WO PCT/JP2013/003496 patent/WO2014002391A1/ja active Application Filing
- 2013-06-04 JP JP2014522396A patent/JP6158179B2/ja active Active
-
2014
- 2014-12-26 US US14/583,268 patent/US20150111183A1/en not_active Abandoned
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010224563A (ja) * | 1997-11-17 | 2010-10-07 | Nuance Communications Inc | 発音矯正装置、発音矯正方法および記録媒体 |
Non-Patent Citations (1)
Title |
---|
和田守 美穂 他: "インターネットを利用した発声・発話トレーニングシステムの試作", 電子情報通信学会技術研究報告, vol. 109, no. 453, JPN6017006267, March 2010 (2010-03-01), JP, pages p137-p140 * |
Also Published As
Publication number | Publication date |
---|---|
JP6158179B2 (ja) | 2017-07-05 |
WO2014002391A1 (ja) | 2014-01-03 |
US20150111183A1 (en) | 2015-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6158179B2 (ja) | 情報処理装置および情報処理方法 | |
JP5120826B2 (ja) | 発音診断装置、発音診断方法、記録媒体、及び、発音診断プログラム | |
WO2001052237A1 (fr) | Appareil, methode et support d'apprentissage de langues etrangeres | |
JPS63157184A (ja) | 発音訓練装置 | |
JP6464703B2 (ja) | 会話評価装置およびプログラム | |
KR20160122542A (ko) | 발음 유사도 측정 방법 및 장치 | |
WO2014087571A1 (ja) | 情報処理装置および情報処理方法 | |
JP2006337667A (ja) | 発音評価方法、音素列モデル学習方法、これらの方法を用いた装置、プログラム、および記録媒体。 | |
JPWO2014002349A1 (ja) | 情報処理装置及び情報処理方法 | |
JP7376071B2 (ja) | コンピュータプログラム、発音学習支援方法及び発音学習支援装置 | |
JP2007292979A (ja) | 失語症練習支援装置 | |
JP4048226B1 (ja) | 失語症練習支援装置 | |
JP2844817B2 (ja) | 発声練習用音声合成方式 | |
Morales et al. | Speech-based human and service robot interaction: An application for Mexican dysarthric people | |
Athanasopoulos et al. | 3D immersive karaoke for the learning of foreign language pronunciation | |
JP6436770B2 (ja) | カラオケ装置 | |
US20150380012A1 (en) | Speech rehabilitation assistance apparatus and method for controlling the same | |
JP2017015823A (ja) | 発話練習装置、表示制御方法、及びプログラム | |
WO2020174356A1 (en) | Speech interpretation device and system | |
JP3621624B2 (ja) | 外国語学習装置、外国語学習方法および媒体 | |
Zourmand et al. | Intelligent malay speech therapy system | |
JP6957069B1 (ja) | 学習支援システム | |
CN116705070B (zh) | 一种唇腭裂术后说话发音及鼻音矫正方法及系统 | |
JP2004334164A (ja) | 英語の音素「l」及び「r」の発音及び識別学習装置 | |
WO2024079605A1 (en) | Assisting a speaker during training or actual performance of a speech |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160302 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170419 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170607 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6158179 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |