JP6690031B2 - システムの制御方法、システム、及びプログラム - Google Patents
システムの制御方法、システム、及びプログラム Download PDFInfo
- Publication number
- JP6690031B2 JP6690031B2 JP2019013932A JP2019013932A JP6690031B2 JP 6690031 B2 JP6690031 B2 JP 6690031B2 JP 2019013932 A JP2019013932 A JP 2019013932A JP 2019013932 A JP2019013932 A JP 2019013932A JP 6690031 B2 JP6690031 B2 JP 6690031B2
- Authority
- JP
- Japan
- Prior art keywords
- voice information
- gateway
- control instruction
- server device
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 48
- 230000005540 biological transmission Effects 0.000 claims description 55
- 238000012545 processing Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 57
- 238000012790 confirmation Methods 0.000 description 57
- 230000006870 function Effects 0.000 description 30
- 230000008569 process Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 20
- 238000004590 computer program Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 16
- 238000012986 modification Methods 0.000 description 16
- 230000010354 integration Effects 0.000 description 12
- 239000004065 semiconductor Substances 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 101100058082 Bombyx mori Samui gene Proteins 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
- Computer And Data Communications (AREA)
- Remote Monitoring And Control Of Power-Distribution Networks (AREA)
Description
前記機器は、
利用者が発した音声から音声情報を取得し、
前記音声情報が前記機器の制御に関連する定型文を示すと判定した場合、前記定型文に対応する制御指示を実行し、
前記音声情報がネットワークを介してサーバ装置への送信が必要と判定した場合、前記音声情報を前記サーバ装置へ送信し、
前記サーバ装置は、
前記機器から送信された前記音声情報を取得し、
前記音声情報に対して所定の処理を実施し、
前記音声情報が前記サーバ装置への送信が必要と判定した場合とは、
前記音声情報が前記ネットワークを介して接続される家電機器の制御に関連する音声情報であると判定した場合である。
近年、部屋に設置された集音機器が利用者の発する会話や利用者の行為によって発生する音を収集してクラウドサーバに送信し、クラウドサーバがその音を分析して、利用者の指示、意図、及び状況等を理解して、その理解に基づいて部屋に設置された家電機器を制御する技術に関する研究が進められている。
前記ゲートウェイは、利用者の音声情報を前記集音機器から受信し、前記受信した音声情報を解析し、前記解析した音声情報が前記家電機器の制御に関連する音声情報であると判定した場合、前記音声情報を前記サーバ装置へ送信し、
前記サーバ装置は、前記ゲートウェイから受信した音声情報を認識し、前記認識した音声情報が前記家電機器の制御に関連する音声情報であると判定した場合、前記ゲートウェイへ前記音声情報に対応する制御指示を送信し、
前記家電機器は、前記ゲートウェイを介して前記サーバ装置から制御指示を受信し、前記制御指示を実行する。
判定した場合、前記定型文に対応する制御指示の内容をネットワークを介して接続された入力装置に出力させ、前記内容が正しい旨の前記利用者の確認入力が前記入力装置により受け付けられた場合、前記定型文に対応する制御指示を前記家電機器へ送信してもよい。
前記ゲートウェイは、前記問い合わせ通知が示す前記認識内容をネットワークを介して接続された入力装置に出力させ、前記認識内容に対する前記利用者の回答を示す音声情報であって前記入力装置で受け付けられた音声情報を前記入力装置から受信した場合、前記受け付けられた音声情報を解析せずに、前記サーバ装置に送信してもよい。
前記サーバ装置は、前記ゲートウェイから送信された前記音声情報及び前記環境情報を用いて前記制御指示を決定してもよい。
前記家電機器の制御に関連する音声情報は、前記定型文には該当しないが、前記家電機器を制御する関連する単語を含む音声情報であってもよい。
1.1 家電機器制御システムの構成
図1は、実施の形態による家電機器制御システムの全体構成の一例を示す図である。図1に示すように、家電機器制御システムは、サーバ装置101、集音機器102、ゲートウェイ103、及び家電機器104を備える。
サーバ装置101へ送信する。なお、この「単語」は、ゲートウェイ103のデータベースが予め保持している解析キーワードであり、制御指示が対応付けられていない。よって、ゲートウェイ103は、「単語」と家電機器104を制御するための制御指示とを対応付けることができない。ゲートウェイ103は、解析結果が、予め保持している定型文でなく単語を含む場合、サーバ装置101へ音声情報を送信する。
続いて、サーバ装置101の詳細な構成を説明する。図2は、サーバ装置101の構成の一例を示すブロック図である。
送受信部201は、例えば、サーバ装置101をインターネットに接続させるための通信装置を含む。そして、送受信部201は、ゲートウェイ103から、集音機器102が収集した音声情報とゲートウェイIDとを受信する。また、送受信部201は、ゲートウェイ103へ、家電機器104の機能をコントロールするための制御指示を送信する。家電機器104への制御指示とは、例えば、テレビについては、例えば、電源ON/OFFの指示、チャンネル切り替えの指示、及び音量調節の指示等が該当し、エアコンについては、例えば、電源ON/OFFの指示及び温度調節の指示等が該当し、電動シャッターについては、例えば、電動シャッターの開閉の指示等が該当する。
認識部202は、データベース保持部203が保持する音声モデルや辞書データを用いて、送受信部201を介して受信した音声情報(入力音声)を分析する認識処理を実行し、認識結果を出力する。ここで、サーバ装置101は、一般に利用、又は公開されている任意の音声認識技術を用いて、音声情報を認識すればよい。以下、簡単に説明する。
制御情報保持部204は、家電機器104ごとの機能をコントロールするための制御情報テーブルを保持している。
機器管理情報保持部205は、同一宅内に存在するゲートウェイ103、家電機器104、及び家電機器104の種別を管理するための機器管理情報テーブルを保持する。
ゲートウェイ103と、機器ID「123456」及び機器ID「896023」とを持つ家電機器104は同一宅内に存在することが示されている。また、両家電機器104は、それぞれ「エアコン」及び「テレビ」であることが示されている。
判断部206は、ゲートウェイ103から受信した音声情報の認識部202による認識結果が家電機器104の制御に関するものである場合、機器管理情報保持部205が保持する機器管理情報テーブル(図7)と、送受信部201がゲートウェイ103から受信したゲートウェイIDとを用いて、認識結果に対応する家電機器104と同じ機器種別の家電機器104が、当該ゲートウェイ103と同一宅内に存在するか否かを判断する。例えば、ゲートウェイID「32456389」のゲートウェイ103から送信された音声情報の認識結果が「エアコン」の制御に関するものである場合、機器管理情報テーブル(図7)には、このゲートウェイ103に対して「エアコン」が対応付けて登録されているため、このゲートウェイ103と同一宅内に「エアコン」が存在すると判断される。
制御部207は、上記(1)〜(5)の各ブロックを管理・制御して、サーバ装置101の機能を実現する。
続いて、集音機器102の詳細な構成を説明する。図3は、集音機器102の構成の一例を示すブロック図である。
送受信部301は、例えば、IEEE802.3シリーズの有線LANやIEEE802.11シリーズの無線LANの通信装置を含む。そして、送受信部301は、集音部302が収集した音声情報をゲートウェイ103へ送信する。
集音部302は、利用者による家電を制御するための直接的な音声指示(例えば「テレビON」等)を収集する。また、集音部302は、利用者による家電機器104を制御するための直接的な指示ではない日常会話等も収集することができる。具体的には、集音部302は、マイク及びマイクが検知した音声信号を処理する処理部等を含む。ここで、集音部302は、例えば、マイクから出力される音声信号からノイズ等を除去し、アナログデジタル変換してデジタルの音声信号を生成する処理等を実行する。また、集音部302は、マイクから音声信号が出力されると、即座にノイズ除去及びアナログデジタル変換等の処理を開始し、処理結果を随時、送受信部301に出力する。
制御部303は、上記(1)〜(2)の各ブロックを管理・制御して、集音機器102の機能を実現する。
続いて、ゲートウェイ103の詳細な構成を説明する。図4は、ゲートウェイ103の構成の一例を示すブロック図である。
送受信部401は、ゲートウェイ103を内部ネットワークに接続させる通信装置及び外部ネットワークに接続させる通信装置を含む。そして、送受信部401は、集音機器102から、集音機器102が収集した音声情報を内部ネットワークを介して受信する。また、送受信部401は、家電機器104へ、家電機器104の機能をコントロールするための制御指示を内部ネットワークを介して送信する。また、送受信部401は、サーバ装置101へ、認識処理を依頼する音声情報を外部ネットワークを介して送信する。さらに、送受信部401は、サーバ装置101から受信した家電機器104への制御指示を外部ネットワークを介して受信し、対象の家電機器104へ送信する。
解析部402は、データベース保持部403が保持する音声モデル及び辞書データを用いて、送受信部401が集音機器102から受信した音声情報(入力音声)の解析を行い、解析結果を出力する。ここで、解析部402は、一般に利用、又は公開されている任意の音声認識技術を用いて、音声情報を解析すればよい。以下、簡単に説明する。
制御情報保持部404は、家電機器104ごとの機能をコントロールするための制御情報テーブルを保持している。
機器管理情報保持部405は、ゲートウェイ103と同一宅内に存在する家電機器104及び家電機器104の機器種別を管理するための機器管理情報テーブルを保持する。
判断部406は、解析部402から、定型文の解析結果が通知されると、機器管理情報保持部405が保持する機器管理情報テーブルを用いて、その解析結果に対応する家電機器104が、ゲートウェイ103と同一宅内に存在するか否かを判断する。そして、判断部406は、対応する家電機器104が同一宅内に存在すると判断した場合、制御情報保持部404が保持している制御情報テーブルを用いて、解析結果(定型文)に対応する制御指示を決定する。判断部406は、決定した制御指示を、送受信部401を介して、同一宅内に存在すると判断した家電機器104へ送信する。
ゲートウェイID保持部407は、当該ゲートウェイを一意に識別可能な識別子(ゲートウェイID)を保持する。
制御部408は、上記(1)〜(6)の各ブロックを管理・制御して、ゲートウェイ103の機能を実現する。
続いて、家電機器104の詳細な構成を説明する。図5は、家電機器104の構成の一例を示すブロック図である。家電機器104は、図5に示すように、送受信部501、実行部502、及び制御部503を備える。
送受信部501は、家電機器104を内部ネットワークに接続させる通信装置を含む。そして、送受信部501は、ゲートウェイ103から内部ネットワークを介して送信される制御指示受信する。
実行部502は、送受信部501が受信した制御指示に基づき処理を実行する。例えば、家電機器104がエアコンの場合、エアコン自身の電源を点けたり、消したり、温度調節したりする。
制御部503は、上記(1)〜(2)の各ブロックを管理・制御して、家電機器104の機能を実現する。
集音機器102が音声情報を収集し、ゲートウェイ103又はサーバ装置101が制御指示を家電機器104へ送信する場合の家電機器制御システムの動作の一例について、図10〜図13を用いて説明する。
本実施の形態は、以下の変形例を採用することができる。
は、前後の音声情報を用いて利用者の意図をより正確に理解できる。
に進められる。
する。また、サーバ装置101が音声情報からエアコンの電源ONの制御指示を決定している。そのため、図21には、「エアコンの電源ONでよろしいですか?」、「確認結果を音声で入力して下さい。」との文言が表示されている。
より実施するとしてもよい。
102 :集音機器
103 :ゲートウェイ
104 :家電機器
201 :送受信部
202 :認識部
203 :データベース保持部
204 :制御情報保持部
205 :機器管理情報保持部
206 :判断部
207 :制御部
301 :送受信部
302 :集音部
303 :制御部
401 :送受信部
402 :解析部
403 :データベース保持部
404 :制御情報保持部
405 :機器管理情報保持部
406 :判断部
407 :ゲートウェイID保持部
408 :制御部
501 :送受信部
502 :実行部
503 :制御部
Claims (4)
- サーバ装置と機器とを備えるシステムにより実行されるシステムの制御方法であって、
前記機器は、
利用者が発した音声から音声情報を取得し、
前記音声情報が前記機器の制御に関連する定型文を示すと判定した場合、前記定型文に対応する制御指示を実行し、
前記音声情報がネットワークを介して接続される家電機器の制御に関する音声情報であると判定した場合、前記音声情報を前記サーバ装置へ送信し、
前記サーバ装置は、
前記機器から送信された前記音声情報を取得し、
前記音声情報に対応する制御指示を、前記制御指示の対象である家電機器に送信し、
前記サーバ装置は、
前記機器から送信された前記音声情報を取得し、
前記音声情報に対応する家電機器の制御を実施する問合せを前記機器へ送信し、
前記機器は、
前記サーバ装置から送信された前記問合せを受信し、
前記サーバ装置は、
前記問合せに対して前記利用者の承認を受け付けた場合に、制御の対象である前記家電機器へ前記制御指示を送信する、
システムの制御方法。 - 前記機器は、
前記音声情報を前記サーバ装置へ送信する場合、前記送信の可否を前記利用者に問い合わせ、前記利用者から前記問合せに対する許可を受けた場合に、前記音声情報を前記サーバ装置へ送信する、
請求項1に記載のシステムの制御方法。 - 機器とサーバ装置とを備えるシステムであって、
前記機器は、
利用者が発した音声から音声情報を取得する集音部と、
ネットワークを介してサーバ装置と通信する第1の通信部と、
第1の処理回路と、
前記機器の制御に関連する定型文と制御指示とを対応付けて記憶する記憶部とを備え、
前記第1の処理回路は、
前記音声情報が前記定型文を示すと判定した場合、前記定型文に対応する制御指示を実行し、前記音声情報がネットワークを介して接続される家電機器の制御に関する音声情報であると判断した場合、前記音声情報を前記サーバ装置へ送信し、
前記サーバ装置は、
ネットワークを介して機器と通信する第2の通信部と、
第2の処理回路と、を備え、
前記第2の通信部は前記機器から送信された前記音声情報を取得し、
前記第2の処理回路は、前記音声情報に対応する制御指示を、前記制御指示の対象である家電機器に送信し、
前記サーバ装置は、
前記機器から送信された前記音声情報を取得し、
前記音声情報に対応する家電機器の制御を実施する問合せを前記機器へ送信し、
前記機器は、
前記サーバ装置から送信された前記問合せを受信し、
前記サーバ装置は、
前記問合せに対して前記利用者の承認を受け付けた場合に、制御の対象である前記家電機器へ前記制御指示を送信する、
システム。 - サーバ装置と機器とを備えるシステムに実行させるプログラムであって、
前記機器に、
利用者が発した音声から音声情報を取得させ、
前記音声情報が前記機器の制御に関連する定型文を示すと判定した場合、前記定型文に対応する制御指示を実行させ、
前記音声情報がネットワークを介して接続される家電機器の制御に関する音声情報であると判定した場合、前記音声情報を前記サーバ装置へ送信させ、
前記サーバ装置に、
前記機器から送信された前記音声情報を取得させ、
前記音声情報に対応する制御指示を、前記制御指示の対象である家電機器に送信させ、
前記サーバ装置に、
前記機器から送信された前記音声情報を取得させ、
前記音声情報に対応する家電機器の制御を実施する問合せを前記機器へ送信させ、
前記機器は、
前記サーバ装置から送信された前記問合せを受信させ、
前記サーバ装置は、
前記問合せに対して前記利用者の承認を受け付けた場合に、制御の対象である前記家電機器へ前記制御指示を送信させる、
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020069547A JP6902136B2 (ja) | 2013-04-19 | 2020-04-08 | システムの制御方法、システム、及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361813856P | 2013-04-19 | 2013-04-19 | |
US61/813,856 | 2013-04-19 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018128907A Division JP6475386B2 (ja) | 2013-04-19 | 2018-07-06 | 機器の制御方法、機器、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020069547A Division JP6902136B2 (ja) | 2013-04-19 | 2020-04-08 | システムの制御方法、システム、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019115047A JP2019115047A (ja) | 2019-07-11 |
JP6690031B2 true JP6690031B2 (ja) | 2020-04-28 |
Family
ID=51731106
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015512317A Active JP6416752B2 (ja) | 2013-04-19 | 2014-04-16 | 家電機器の制御方法、家電機器制御システム、及びゲートウェイ |
JP2018128907A Active JP6475386B2 (ja) | 2013-04-19 | 2018-07-06 | 機器の制御方法、機器、及びプログラム |
JP2019013932A Active JP6690031B2 (ja) | 2013-04-19 | 2019-01-30 | システムの制御方法、システム、及びプログラム |
JP2020069547A Active JP6902136B2 (ja) | 2013-04-19 | 2020-04-08 | システムの制御方法、システム、及びプログラム |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015512317A Active JP6416752B2 (ja) | 2013-04-19 | 2014-04-16 | 家電機器の制御方法、家電機器制御システム、及びゲートウェイ |
JP2018128907A Active JP6475386B2 (ja) | 2013-04-19 | 2018-07-06 | 機器の制御方法、機器、及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020069547A Active JP6902136B2 (ja) | 2013-04-19 | 2020-04-08 | システムの制御方法、システム、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (2) | USRE48569E1 (ja) |
JP (4) | JP6416752B2 (ja) |
WO (1) | WO2014171144A1 (ja) |
Families Citing this family (113)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USRE48569E1 (en) * | 2013-04-19 | 2021-05-25 | Panasonic Intellectual Property Corporation Of America | Control method for household electrical appliance, household electrical appliance control system, and gateway |
JP6502249B2 (ja) * | 2013-08-29 | 2019-04-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 音声認識方法及び音声認識装置 |
US9697368B2 (en) * | 2014-07-29 | 2017-07-04 | Google Technology Holdings LLC | Regulating communication of audio data from a client device based on a privacy setting stored by the client device |
US9741344B2 (en) * | 2014-10-20 | 2017-08-22 | Vocalzoom Systems Ltd. | System and method for operating devices using voice commands |
KR102412896B1 (ko) * | 2014-12-18 | 2022-06-24 | 삼성전자 주식회사 | 단말의 설비 제어를 지원하는 방법 및 장치 |
JP6573474B2 (ja) * | 2015-04-14 | 2019-09-11 | シャープ株式会社 | 音声認識システム |
EP3285629B1 (en) * | 2015-04-19 | 2023-06-28 | Chaky, Rebecca, Carol | Water temperature control system |
JP6739907B2 (ja) * | 2015-06-18 | 2020-08-12 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 機器特定方法、機器特定装置及びプログラム |
JP6516585B2 (ja) * | 2015-06-24 | 2019-05-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 制御装置、その方法及びプログラム |
JP6621613B2 (ja) * | 2015-08-10 | 2019-12-18 | クラリオン株式会社 | 音声操作システム、サーバー装置、車載機器および音声操作方法 |
CN105204743A (zh) * | 2015-09-28 | 2015-12-30 | 百度在线网络技术(北京)有限公司 | 用于语音和视频通讯的交互控制方法及装置 |
JP6689518B2 (ja) * | 2015-10-29 | 2020-04-28 | 文化シヤッター株式会社 | 開閉制御システム及び開閉制御方法 |
US9820039B2 (en) | 2016-02-22 | 2017-11-14 | Sonos, Inc. | Default playback devices |
US10509626B2 (en) | 2016-02-22 | 2019-12-17 | Sonos, Inc | Handling of loss of pairing between networked devices |
US10264030B2 (en) | 2016-02-22 | 2019-04-16 | Sonos, Inc. | Networked microphone device control |
US10095470B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Audio response playback |
US9947316B2 (en) | 2016-02-22 | 2018-04-17 | Sonos, Inc. | Voice control of a media playback system |
US9965247B2 (en) | 2016-02-22 | 2018-05-08 | Sonos, Inc. | Voice controlled media playback system based on user profile |
JP6675078B2 (ja) * | 2016-03-15 | 2020-04-01 | パナソニックIpマネジメント株式会社 | 誤認識訂正方法、誤認識訂正装置及び誤認識訂正プログラム |
US9911417B2 (en) * | 2016-04-01 | 2018-03-06 | Tai-An Lu | Internet of things system with voice-controlled functions and method for processing information of the same |
US9978390B2 (en) | 2016-06-09 | 2018-05-22 | Sonos, Inc. | Dynamic player selection for audio signal processing |
US10152969B2 (en) | 2016-07-15 | 2018-12-11 | Sonos, Inc. | Voice detection by multiple devices |
US10134399B2 (en) | 2016-07-15 | 2018-11-20 | Sonos, Inc. | Contextualization of voice inputs |
US10115400B2 (en) | 2016-08-05 | 2018-10-30 | Sonos, Inc. | Multiple voice services |
KR102481881B1 (ko) * | 2016-09-07 | 2022-12-27 | 삼성전자주식회사 | 외부 디바이스를 제어하는 서버 및 그 방법 |
US9942678B1 (en) | 2016-09-27 | 2018-04-10 | Sonos, Inc. | Audio playback settings for voice interaction |
US9743204B1 (en) | 2016-09-30 | 2017-08-22 | Sonos, Inc. | Multi-orientation playback device microphones |
US10181323B2 (en) | 2016-10-19 | 2019-01-15 | Sonos, Inc. | Arbitration-based voice recognition |
US20180247352A1 (en) * | 2017-02-27 | 2018-08-30 | Ncr Corporation | Chatbot order submission |
KR101965181B1 (ko) * | 2017-03-30 | 2019-04-03 | 엘지전자 주식회사 | 홈 어플라이언스, 및 음성 인식 모듈 |
KR101936640B1 (ko) * | 2017-03-31 | 2019-01-09 | 엘지전자 주식회사 | 홈 어플라이언스, 및 음성 인식 모듈 |
KR102068182B1 (ko) * | 2017-04-21 | 2020-01-20 | 엘지전자 주식회사 | 음성 인식 장치, 및 음성 인식 시스템 |
KR20180118461A (ko) * | 2017-04-21 | 2018-10-31 | 엘지전자 주식회사 | 음성 인식 장치 및 음성 인식 방법 |
CN107204185B (zh) * | 2017-05-03 | 2021-05-25 | 深圳车盒子科技有限公司 | 车载语音交互方法、系统及计算机可读存储介质 |
KR101995443B1 (ko) * | 2017-07-26 | 2019-07-02 | 네이버 주식회사 | 화자 검증 방법 및 음성인식 시스템 |
US10475449B2 (en) | 2017-08-07 | 2019-11-12 | Sonos, Inc. | Wake-word detection suppression |
KR102428148B1 (ko) * | 2017-08-31 | 2022-08-02 | 삼성전자주식회사 | 가전 기기의 음성 인식을 위한 시스템과 서버, 방법 |
US10048930B1 (en) | 2017-09-08 | 2018-08-14 | Sonos, Inc. | Dynamic computation of system response volume |
CN109525450A (zh) * | 2017-09-18 | 2019-03-26 | 光宝科技股份有限公司 | 监控装置、监控系统及监控方法 |
US10446165B2 (en) | 2017-09-27 | 2019-10-15 | Sonos, Inc. | Robust short-time fourier transform acoustic echo cancellation during audio playback |
US10621981B2 (en) | 2017-09-28 | 2020-04-14 | Sonos, Inc. | Tone interference cancellation |
US10051366B1 (en) | 2017-09-28 | 2018-08-14 | Sonos, Inc. | Three-dimensional beam forming with a microphone array |
US10482868B2 (en) | 2017-09-28 | 2019-11-19 | Sonos, Inc. | Multi-channel acoustic echo cancellation |
US10466962B2 (en) | 2017-09-29 | 2019-11-05 | Sonos, Inc. | Media playback system with voice assistance |
US11120796B2 (en) | 2017-10-03 | 2021-09-14 | Google Llc | Display mode dependent response generation with latency considerations |
JP7036561B2 (ja) * | 2017-10-03 | 2022-03-15 | 東芝ライフスタイル株式会社 | 家電システム |
US10826857B2 (en) * | 2017-10-20 | 2020-11-03 | Sap Se | Message processing for cloud computing applications |
JP6962158B2 (ja) | 2017-12-01 | 2021-11-05 | ヤマハ株式会社 | 機器制御システム、機器制御方法、及びプログラム |
US10880650B2 (en) | 2017-12-10 | 2020-12-29 | Sonos, Inc. | Network microphone devices with automatic do not disturb actuation capabilities |
US10818290B2 (en) | 2017-12-11 | 2020-10-27 | Sonos, Inc. | Home graph |
JP7062958B2 (ja) * | 2018-01-10 | 2022-05-09 | トヨタ自動車株式会社 | 通信システム、及び通信方法 |
CN110085219A (zh) * | 2018-01-26 | 2019-08-02 | 博西华电器(江苏)有限公司 | 家用电器及通过语音控制该家用电器的方法和系统 |
WO2019152722A1 (en) | 2018-01-31 | 2019-08-08 | Sonos, Inc. | Device designation of playback and network microphone device arrangements |
JP7245999B2 (ja) * | 2018-02-14 | 2023-03-27 | パナソニックIpマネジメント株式会社 | 制御情報取得システム、及び、制御情報取得方法 |
JP7065314B2 (ja) * | 2018-02-14 | 2022-05-12 | パナソニックIpマネジメント株式会社 | 制御システム、及び、制御方法 |
JP7281683B2 (ja) | 2018-02-22 | 2023-05-26 | パナソニックIpマネジメント株式会社 | 音声制御情報出力システム、音声制御情報出力方法およびプログラム |
KR102450804B1 (ko) * | 2018-02-28 | 2022-10-06 | 후지필름 가부시키가이샤 | 감활성광선성 또는 감방사선성 수지 조성물, 레지스트막, 패턴 형성 방법, 전자 디바이스의 제조 방법, 수지 |
CN108520746B (zh) * | 2018-03-22 | 2022-04-01 | 北京小米移动软件有限公司 | 语音控制智能设备的方法、装置及存储介质 |
KR102710808B1 (ko) | 2018-03-23 | 2024-09-27 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 음성 인식 제어 방법 |
CN108665900B (zh) | 2018-04-23 | 2020-03-03 | 百度在线网络技术(北京)有限公司 | 云端唤醒方法及系统、终端以及计算机可读存储介质 |
US10692493B2 (en) * | 2018-05-01 | 2020-06-23 | Dell Products, L.P. | Intelligent assistance using voice services |
US11175880B2 (en) | 2018-05-10 | 2021-11-16 | Sonos, Inc. | Systems and methods for voice-assisted media content selection |
US10847178B2 (en) | 2018-05-18 | 2020-11-24 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection |
US10325596B1 (en) * | 2018-05-25 | 2019-06-18 | Bao Tran | Voice control of appliances |
US10959029B2 (en) | 2018-05-25 | 2021-03-23 | Sonos, Inc. | Determining and adapting to changes in microphone performance of playback devices |
US10681460B2 (en) | 2018-06-28 | 2020-06-09 | Sonos, Inc. | Systems and methods for associating playback devices with voice assistant services |
US11076035B2 (en) | 2018-08-28 | 2021-07-27 | Sonos, Inc. | Do not disturb feature for audio notifications |
US10461710B1 (en) | 2018-08-28 | 2019-10-29 | Sonos, Inc. | Media playback system with maximum volume setting |
US10587430B1 (en) | 2018-09-14 | 2020-03-10 | Sonos, Inc. | Networked devices, systems, and methods for associating playback devices based on sound codes |
US11024331B2 (en) | 2018-09-21 | 2021-06-01 | Sonos, Inc. | Voice detection optimization using sound metadata |
US10811015B2 (en) | 2018-09-25 | 2020-10-20 | Sonos, Inc. | Voice detection optimization based on selected voice assistant service |
US11100923B2 (en) | 2018-09-28 | 2021-08-24 | Sonos, Inc. | Systems and methods for selective wake word detection using neural network models |
US10692518B2 (en) | 2018-09-29 | 2020-06-23 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection via multiple network microphone devices |
CN112823341A (zh) | 2018-10-05 | 2021-05-18 | 三菱电机株式会社 | 语音操作支援系统、语音操作系统、语音处理装置、语音操作支援装置、语音操作支援方法以及程序 |
JP2020060951A (ja) * | 2018-10-10 | 2020-04-16 | 三菱電機株式会社 | 制御装置、機器制御システム、機器制御方法及びプログラム |
US11899519B2 (en) | 2018-10-23 | 2024-02-13 | Sonos, Inc. | Multiple stage network microphone device with reduced power consumption and processing load |
EP3654249A1 (en) | 2018-11-15 | 2020-05-20 | Snips | Dilated convolutions and gating for efficient keyword spotting |
US11183183B2 (en) | 2018-12-07 | 2021-11-23 | Sonos, Inc. | Systems and methods of operating media playback systems having multiple voice assistant services |
CN109788360A (zh) | 2018-12-12 | 2019-05-21 | 百度在线网络技术(北京)有限公司 | 基于语音的电视控制方法和装置 |
US11132989B2 (en) | 2018-12-13 | 2021-09-28 | Sonos, Inc. | Networked microphone devices, systems, and methods of localized arbitration |
CN109584874A (zh) * | 2018-12-15 | 2019-04-05 | 深圳壹账通智能科技有限公司 | 电器设备控制方法、装置、电器设备及存储介质 |
US10602268B1 (en) | 2018-12-20 | 2020-03-24 | Sonos, Inc. | Optimization of network microphone devices using noise classification |
KR20200092742A (ko) | 2019-01-25 | 2020-08-04 | 삼성전자주식회사 | 보이스 어시스턴트 서비스를 제공하는 시스템 및 방법 |
US10867604B2 (en) | 2019-02-08 | 2020-12-15 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing |
US11315556B2 (en) | 2019-02-08 | 2022-04-26 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification |
JP7256443B2 (ja) * | 2019-02-27 | 2023-04-12 | ブラザー工業株式会社 | プログラムセット、システム、特定のプリンタを制御する方法、コンピュータプログラム、および、端末装置 |
US11120794B2 (en) | 2019-05-03 | 2021-09-14 | Sonos, Inc. | Voice assistant persistence across multiple network microphone devices |
US11200894B2 (en) | 2019-06-12 | 2021-12-14 | Sonos, Inc. | Network microphone device with command keyword eventing |
US10586540B1 (en) | 2019-06-12 | 2020-03-10 | Sonos, Inc. | Network microphone device with command keyword conditioning |
US11361756B2 (en) | 2019-06-12 | 2022-06-14 | Sonos, Inc. | Conditional wake word eventing based on environment |
WO2021002493A1 (ko) * | 2019-07-01 | 2021-01-07 | 엘지전자 주식회사 | 지능형 게이트웨이 장치 및 그를 포함하는 제어 시스템 |
US11138969B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US11138975B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US10871943B1 (en) | 2019-07-31 | 2020-12-22 | Sonos, Inc. | Noise classification for event detection |
CN112565849A (zh) * | 2019-09-26 | 2021-03-26 | 深圳市茁壮网络股份有限公司 | 一种数字电视的语音控制方法、电视控制系统及存储介质 |
US11189286B2 (en) | 2019-10-22 | 2021-11-30 | Sonos, Inc. | VAS toggle based on device orientation |
US11200900B2 (en) | 2019-12-20 | 2021-12-14 | Sonos, Inc. | Offline voice control |
US11562740B2 (en) | 2020-01-07 | 2023-01-24 | Sonos, Inc. | Voice verification for media playback |
US11556307B2 (en) | 2020-01-31 | 2023-01-17 | Sonos, Inc. | Local voice data processing |
US11308958B2 (en) | 2020-02-07 | 2022-04-19 | Sonos, Inc. | Localized wakeword verification |
JP2021140114A (ja) * | 2020-03-09 | 2021-09-16 | パナソニックIpマネジメント株式会社 | 情報端末、インターホンシステム、処理方法及びプログラム |
US11727919B2 (en) | 2020-05-20 | 2023-08-15 | Sonos, Inc. | Memory allocation for keyword spotting engines |
US11308962B2 (en) | 2020-05-20 | 2022-04-19 | Sonos, Inc. | Input detection windowing |
US11482224B2 (en) | 2020-05-20 | 2022-10-25 | Sonos, Inc. | Command keywords with input detection windowing |
US11698771B2 (en) | 2020-08-25 | 2023-07-11 | Sonos, Inc. | Vocal guidance engines for playback devices |
US20220108695A1 (en) * | 2020-10-01 | 2022-04-07 | Arris Enterprises Llc | System and method for controlling a media device to provide an improved sonic environment for the reception of a voice command |
JP7459760B2 (ja) | 2020-10-27 | 2024-04-02 | セイコーエプソン株式会社 | 表示システムの制御方法、表示システム |
JP7500390B2 (ja) | 2020-11-04 | 2024-06-17 | 株式会社東芝 | 制御装置、制御方法、プログラムおよび通信システム |
US11984123B2 (en) | 2020-11-12 | 2024-05-14 | Sonos, Inc. | Network device interaction by range |
JP2022092342A (ja) * | 2020-12-10 | 2022-06-22 | パナソニックIpマネジメント株式会社 | 表示制御システムおよびプログラム |
US11551700B2 (en) | 2021-01-25 | 2023-01-10 | Sonos, Inc. | Systems and methods for power-efficient keyword detection |
CN115440200B (zh) * | 2021-06-02 | 2024-03-12 | 上海擎感智能科技有限公司 | 车机系统的控制方法及控制系统 |
WO2024197814A1 (zh) * | 2023-03-31 | 2024-10-03 | 京东方科技集团股份有限公司 | 一种物联网设备控制方法、物联网设备及产品 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002182896A (ja) | 2000-12-12 | 2002-06-28 | Canon Inc | 音声認識システム及び音声認識装置ならびにそれらの方法 |
JP3275840B2 (ja) * | 1998-08-12 | 2002-04-22 | 日本電気株式会社 | 機器操作システム及び方法、並びに記録媒体 |
WO2000058946A1 (en) * | 1999-03-26 | 2000-10-05 | Koninklijke Philips Electronics N.V. | Client-server speech recognition |
JP2001319045A (ja) | 2000-05-11 | 2001-11-16 | Matsushita Electric Works Ltd | 音声マンマシンインタフェースを用いたホームエージェントシステム、及びプログラム記録媒体 |
JP3728177B2 (ja) | 2000-05-24 | 2005-12-21 | キヤノン株式会社 | 音声処理システム、装置、方法及び記憶媒体 |
JP3581648B2 (ja) * | 2000-11-27 | 2004-10-27 | キヤノン株式会社 | 音声認識システム、情報処理装置及びそれらの制御方法、プログラム |
US6738743B2 (en) * | 2001-03-28 | 2004-05-18 | Intel Corporation | Unified client-server distributed architectures for spoken dialogue systems |
JP2003015682A (ja) * | 2001-06-28 | 2003-01-17 | Toho Gas Co Ltd | 音声認識制御装置及び音声認識制御方法 |
JP3997459B2 (ja) | 2001-10-02 | 2007-10-24 | 株式会社日立製作所 | 音声入力システムおよび音声ポータルサーバおよび音声入力端末 |
US6941265B2 (en) * | 2001-12-14 | 2005-09-06 | Qualcomm Inc | Voice recognition system method and apparatus |
JP2003295893A (ja) * | 2002-04-01 | 2003-10-15 | Omron Corp | 音声認識システム、装置、音声認識方法、音声認識プログラム及び音声認識プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2004012653A (ja) | 2002-06-05 | 2004-01-15 | Matsushita Electric Ind Co Ltd | 音声認識システム、音声認識クライアント、音声認識サーバ、音声認識クライアントプログラムおよび音声認識サーバプログラム |
US7464035B2 (en) * | 2002-07-24 | 2008-12-09 | Robert Bosch Corporation | Voice control of home automation systems via telephone |
FR2853126A1 (fr) * | 2003-03-25 | 2004-10-01 | France Telecom | Procede de reconnaissance de parole distribuee |
JP2005072764A (ja) | 2003-08-21 | 2005-03-17 | Hitachi Ltd | 機器制御システムとそのための装置及び機器制御方法 |
JP2005249829A (ja) | 2004-03-01 | 2005-09-15 | Advanced Media Inc | 音声認識を行うコンピュータネットワークシステム |
US20060074658A1 (en) * | 2004-10-01 | 2006-04-06 | Siemens Information And Communication Mobile, Llc | Systems and methods for hands-free voice-activated devices |
KR100695127B1 (ko) | 2004-10-08 | 2007-03-14 | 삼성전자주식회사 | 다 단계 음성 인식 장치 및 방법 |
US20110054900A1 (en) * | 2007-03-07 | 2011-03-03 | Phillips Michael S | Hybrid command and control between resident and remote speech recognition facilities in a mobile voice-to-speech application |
JP5233989B2 (ja) * | 2007-03-14 | 2013-07-10 | 日本電気株式会社 | 音声認識システム、音声認識方法、および音声認識処理プログラム |
US8032383B1 (en) * | 2007-05-04 | 2011-10-04 | Foneweb, Inc. | Speech controlled services and devices using internet |
JP5327838B2 (ja) * | 2008-04-23 | 2013-10-30 | Necインフロンティア株式会社 | 音声入力分散処理方法及び音声入力分散処理システム |
US20090271002A1 (en) * | 2008-04-29 | 2009-10-29 | David Asofsky | System and Method for Remotely Controlling Electronic Devices |
JP4769904B1 (ja) * | 2010-12-06 | 2011-09-07 | 用 西村 | 録音通信システム、録音通信装置、録音通信方法および録音通信プログラム |
JP5771002B2 (ja) * | 2010-12-22 | 2015-08-26 | 株式会社東芝 | 音声認識装置、音声認識方法および音声認識装置を搭載したテレビ受像機 |
US20120226981A1 (en) * | 2011-03-02 | 2012-09-06 | Microsoft Corporation | Controlling electronic devices in a multimedia system through a natural user interface |
JP5658641B2 (ja) | 2011-09-15 | 2015-01-28 | 株式会社Nttドコモ | 端末装置、音声認識プログラム、音声認識方法および音声認識システム |
US8825020B2 (en) * | 2012-01-12 | 2014-09-02 | Sensory, Incorporated | Information access and device control using mobile phones and audio in the home environment |
US9117449B2 (en) * | 2012-04-26 | 2015-08-25 | Nuance Communications, Inc. | Embedded system for construction of small footprint speech recognition with user-definable constraints |
KR20130133629A (ko) * | 2012-05-29 | 2013-12-09 | 삼성전자주식회사 | 전자장치에서 음성명령을 실행시키기 위한 장치 및 방법 |
US9722811B2 (en) * | 2012-09-10 | 2017-08-01 | Samsung Electronics Co., Ltd. | System and method of controlling external apparatus connected with device |
US9230560B2 (en) * | 2012-10-08 | 2016-01-05 | Nant Holdings Ip, Llc | Smart home automation systems and methods |
US9460715B2 (en) * | 2013-03-04 | 2016-10-04 | Amazon Technologies, Inc. | Identification using audio signatures and additional characteristics |
USRE48569E1 (en) | 2013-04-19 | 2021-05-25 | Panasonic Intellectual Property Corporation Of America | Control method for household electrical appliance, household electrical appliance control system, and gateway |
-
2014
- 2014-04-16 US US15/856,772 patent/USRE48569E1/en active Active
- 2014-04-16 US US14/423,796 patent/US9390716B2/en not_active Ceased
- 2014-04-16 JP JP2015512317A patent/JP6416752B2/ja active Active
- 2014-04-16 WO PCT/JP2014/002173 patent/WO2014171144A1/ja active Application Filing
-
2018
- 2018-07-06 JP JP2018128907A patent/JP6475386B2/ja active Active
-
2019
- 2019-01-30 JP JP2019013932A patent/JP6690031B2/ja active Active
-
2020
- 2020-04-08 JP JP2020069547A patent/JP6902136B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018190436A (ja) | 2018-11-29 |
JP2019115047A (ja) | 2019-07-11 |
JP6902136B2 (ja) | 2021-07-14 |
US20150243287A1 (en) | 2015-08-27 |
WO2014171144A1 (ja) | 2014-10-23 |
JP6475386B2 (ja) | 2019-02-27 |
USRE48569E1 (en) | 2021-05-25 |
JP2020144375A (ja) | 2020-09-10 |
JP6416752B2 (ja) | 2018-10-31 |
JPWO2014171144A1 (ja) | 2017-02-16 |
US9390716B2 (en) | 2016-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6690031B2 (ja) | システムの制御方法、システム、及びプログラム | |
CN106773742B (zh) | 语音控制方法及语音控制系统 | |
TWI557599B (zh) | 語音控制方法及語音控制系統 | |
JP6053097B2 (ja) | 機器操作システム、機器操作装置、サーバ、機器操作方法およびプログラム | |
US9479911B2 (en) | Method and system for supporting a translation-based communication service and terminal supporting the service | |
CN104932455B (zh) | 智能家居系统中智能设备的分组方法和分组装置 | |
CN105118257B (zh) | 智能控制系统及方法 | |
US11119725B2 (en) | Customizable embedded vocal command sets for a lighting and/or other environmental controller | |
US7349758B2 (en) | Interactive personalized robot for home use | |
WO2016206494A1 (zh) | 语音控制方法、装置和移动终端 | |
KR102710586B1 (ko) | Iot 기반 알림을 생성 및 클라이언트 디바이스(들)의 자동화된 어시스턴트 클라이언트(들)에 의해 iot 기반 알림을 자동 렌더링하게 하는 명령(들)의 제공 | |
KR20190111624A (ko) | 전자 장치 및 전자 장치의 음성 인식 제어 방법 | |
KR101936639B1 (ko) | 홈 어플라이언스 및 홈 어플라이언스 시스템 | |
CN110910541A (zh) | 门禁控制方法、系统、网络设备及计算机可读存储介质 | |
WO2018023515A1 (zh) | 一种手势及情感识别家居控制系统 | |
US20180182393A1 (en) | Security enhanced speech recognition method and device | |
WO2018023523A1 (zh) | 一种运动及情感识别家居控制系统 | |
CN111754672A (zh) | 一种智能门铃识别系统 | |
WO2018023518A1 (zh) | 一种语音交互识别智能终端 | |
CN110491425A (zh) | 一种智能音乐播放装置 | |
WO2018023517A1 (zh) | 一种语音交互识别控制系统 | |
WO2018023516A1 (zh) | 一种语音交互识别控制方法 | |
JP6858335B2 (ja) | 電子機器及びその制御方法 | |
KR102645469B1 (ko) | 출입 인지를 위한 사운드장치 | |
CN105245913B (zh) | 信息获取方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200310 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200408 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6690031 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |