JP6365338B2 - Voice guidance system and method for home appliances - Google Patents
Voice guidance system and method for home appliances Download PDFInfo
- Publication number
- JP6365338B2 JP6365338B2 JP2015028114A JP2015028114A JP6365338B2 JP 6365338 B2 JP6365338 B2 JP 6365338B2 JP 2015028114 A JP2015028114 A JP 2015028114A JP 2015028114 A JP2015028114 A JP 2015028114A JP 6365338 B2 JP6365338 B2 JP 6365338B2
- Authority
- JP
- Japan
- Prior art keywords
- home appliance
- unit
- voice
- terminal
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 8
- 238000004891 communication Methods 0.000 claims description 281
- 238000013459 approach Methods 0.000 claims description 8
- 210000000707 wrist Anatomy 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 21
- 230000004044 response Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 12
- 241000209094 Oryza Species 0.000 description 11
- 235000007164 Oryza sativa Nutrition 0.000 description 11
- 235000009566 rice Nutrition 0.000 description 11
- 238000001514 detection method Methods 0.000 description 5
- 230000001771 impaired effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000010411 cooking Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 239000003507 refrigerant Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009835 boiling Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000007791 dehumidification Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Selective Calling Equipment (AREA)
Description
本発明は、家電機器と通信端末との間の音声によるガイダンスシステム及びその方法に関するものである。 The present invention relates to a voice guidance system and method between a home appliance and a communication terminal.
近年、ユーザーフレンドリーの観点から音声により操作の案内を行う家電機器が増えている。しかしながら、このような家電機器においては、機器ごとに処理部及び音声出力部を設ける必要があり、特に、ユーザーに聞き取りやすいような音量で音声を出力する場合には、電力量の大きなスピーカを機器ごとに備える必要があり、部品点数の増加のみならず、消費電力の増加につながっている。 In recent years, there are an increasing number of home appliances that perform operation guidance by voice from the viewpoint of user friendliness. However, in such home appliances, it is necessary to provide a processing unit and an audio output unit for each device, and in particular, when outputting sound at a volume that is easy for the user to hear, a speaker with a large amount of power is used. It is necessary to prepare for each, which leads to an increase in power consumption as well as an increase in the number of parts.
そこで、複数の家庭用電気機器にそれぞれの音声案内情報を出力する接続部を備え、一つの音声案内装置本体には、音声の出力を行う音声出力部と、それぞれの家庭用電気機器と情報をやり取りする接続部とを備え、複数の家庭用電気機器からの音声案内情報を音声出力部にて一括して行えるようにした音声ガイドシステムに関する技術が開示されている(例えば、特許文献1参照)。 Therefore, a plurality of household electrical devices are provided with a connection unit that outputs each voice guidance information, and one voice guidance device main body includes a voice output unit that outputs voice, and information on each household electrical device. A technology relating to a voice guidance system that includes a connection unit for exchanging and that can perform voice guidance information from a plurality of household electrical devices in a batch at a voice output unit is disclosed (for example, see Patent Document 1). .
しかしながら、上記従来の技術では、家電機器毎に予め設定している音声案内を設定どおりの内容で出力するにすぎず、老人、又は、目の不自由な方々それぞれ個々に対応したきめ細やかな設定変更ができないという問題がある。 However, with the above-mentioned conventional technology, the voice guidance preset for each home appliance is only output with the contents as set, and detailed settings corresponding to the elderly or blind people individually There is a problem that it cannot be changed.
本発明は、かかる問題を解決するためになされたものであり、音声出力のためのハードウェア、例えば、スピーカ装置を有しない家電であっても、ユーザー、特に、老人とか目の不自由な方々の個々の状態又は要求に対し、音声をもってきめ細やかな対応ができる家電機器の音声ガイダンス装置を得ることを目的とする。 The present invention has been made to solve such a problem, and even for hardware that outputs audio, for example, home appliances that do not have a speaker device, users, particularly elderly people and blind people. It is an object of the present invention to obtain a voice guidance device for home appliances that can make a detailed response with a voice to each state or request.
本発明に係る家電機器の音声ガイダンスシステムは、通信端末と、前記通信端末と通信可能な家電機器とを含んで構成される家電機器の音声ガイダンスシステムであって、前記家電機器は、前記家電機器の動作を制御する家電側制御部と、前記家電機器の動作に係る情報データを送信する家電側通信部と、前記家電側通信部の場所を通知するために固定音を発する固定音出力部とを備え、前記通信端末は、前記情報データを受信する端末側通信部と、前記端末側通信部を通じて得られた前記情報データに基づき、前記家電機器の動作状態を識別し、前記家電機器の動作状態に応じて、所定の音声を出力する音声出力部とを備え、前記通信端末と前記家電機器との間の距離が所定の距離以内の場合、前記固定音出力部は、前記固定音を発し、前記固定音に促されて前記家電側通信部に近づく前記端末側通信部は、前記家電側通信部から前記情報データを受信し、前記音声出力部は、前記家電機器の動作状態に応じて、前記所定の音声を出力することとしたものである。 Voice guidance system of home appliances according to the present invention, a communication terminal, a home appliance of the voice guidance system including a communication consumer electronics device and the communication terminal, wherein the home appliance, the home appliance A home appliance side control unit that controls the operation of the home appliance, a home appliance side communication unit that transmits information data relating to the operation of the home appliance, and a fixed sound output unit that emits a fixed sound to notify the location of the home appliance side communication unit; The communication terminal is configured to identify an operation state of the home appliance based on the terminal-side communication unit that receives the information data and the information data obtained through the terminal-side communication unit, and to operate the home appliance. An audio output unit that outputs a predetermined sound according to a state, and when the distance between the communication terminal and the home appliance is within a predetermined distance, the fixed sound output unit emits the fixed sound. ,Previous The terminal side communication section approaching the home appliance-side communication unit prompted the stationary sound, receive the information data from the home appliance-side communication unit, the sound output unit in accordance with the operation state of the home appliance, the A predetermined sound is output.
音声出力のためのハードウェアを有しない家電機器であっても、ユーザー、特に、老人とか目の不自由な方々の個々の状態又は要求に対し、音声をもってきめ細やかな案内ができる。 Even home appliances that do not have hardware for voice output can provide detailed guidance with voice to the individual conditions or requests of users, particularly elderly people and blind people.
実施の形態1.
次に、図面を用いて、この発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。但し、図面は模式的なものであり、各寸法の比率等は現実のものとは異なることに留意すべきである。したがって、具体的な寸法等は以下の説明を参酌して判断すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
Next, embodiments of the present invention will be described with reference to the drawings. In the following description of the drawings, the same or similar parts are denoted by the same or similar reference numerals. However, it should be noted that the drawings are schematic and ratios of dimensions and the like are different from actual ones. Therefore, specific dimensions and the like should be determined in consideration of the following description. Moreover, it is a matter of course that portions having different dimensional relationships and ratios are included between the drawings.
図1は、本発明の実施の形態1に係る家電機器の音声ガイダンスシステムの概略を示すブロック図である。例えば、エアコン又は冷蔵庫などといった家電機器1は、アダプタ3を介して、例えば、携帯電話、タブレット端末、スマートホン、及び、ウェアラブル機器等といった音声出力可能な通信端末2と接続している。
FIG. 1 is a block diagram showing an outline of a voice guidance system for home electric appliances according to Embodiment 1 of the present invention. For example, the household
家電機器1は、自らの動作を制御し、その動作状態を把握し、その動作状態に係る情報(広く一般に情報データを示す場合もある。以下、情報とのみ記載する場合がある)のやり取りを制御する中央演算処理装置(CPU:central processing unit)などからなる家電側制御部11と、実際に情報データの送受信を行うインターフェース部である家電側通信部(ネットワークIF)13と、送受信された通信情報を記憶する家電側記憶部12とを有する。
The home
アダプタ3は、家電機器1及び通信端末2との情報のやり取りを制御するアダプタ側制御部31と、情報データのやり取りを行うアダプタ側通信部33と、通信情報を記憶するアダプタ側記憶部32と、家電側操作部14とを有する。
The
通信端末2は、アダプタ3との情報のやり取りを制御する端末側制御部21と、情報データのやり取りを行うインターフェース部である端末側通信部(ネットワークIF)23と、通信情報を記憶する端末側記憶部22と、割り込み等のオペレーティングシステムを提供するOS部24と、表示部26と、音声出力部25とを有する。
The
通信端末2は、端末側通信部23を通じて得られた家電機器1の動作に係る情報データに基づき、家電機器1の動作状態を識別し、この動作状態に応じて、所定の音声を出力する。
The
次に動作について説明する。アダプタ3のアダプタ側制御部31は、家電側通信部13から一定時間ごと、例えば1秒ごとに家電機器1の動作状態をポーリングする。家電機器1の家電側制御部11は、ポーリングに対応して家電機器1自身の動作状態を家電側記憶部12から読み出し、家電側通信部13からアダプタ3に返す。アダプタ3は、取得した家電機器1の状態をアダプタ側記憶部32に記憶する。
Next, the operation will be described. The adapter
図15は、ポーリングにおけるメッセージのやりとりを示す図である。家電機器1とアダプタ3の間のポーリングでは、所定の一定時間毎に家電機器1からアダプタ3に対して要求が送信され、送信された要求に対して、アダプタ3から家電機器1に対して応答が送信される。また、アダプタ3と通信端末2との間のポーリングでは、通信端末2からアダプタ3に対して要求が送信され、送信された要求に対して、アダプタ2から応答が送信される。家電機器1、通信端末2、アダプタ3はそれぞれ使用する通信プロトコルに対応した機能を有し、規定のフォーマットに従ってメッセージのやり取りを行う機能を持つ。
FIG. 15 is a diagram illustrating message exchange in polling. In polling between the
図16は、通信プロトコルにECHONET‐Liteを使用した場合の要求と応答メッセージの例である。メッセージにはヘッダ、メッセージID、要求か応答かを示すサービス種別、要求対象となる制御対象を示すプロパティが格納される。 FIG. 16 is an example of a request and response message when ECHONET-Lite is used as a communication protocol. The message stores a header, a message ID, a service type indicating whether it is a request or a response, and a property indicating a control target to be requested.
図17は、通信プロトコルにHTTP(Hypertext Transfer Protocol)を使用した場合の要求及び応答のメッセージの例である。メッセージの先頭に要求か応答かを示す制御コードを記し、具体的な要求内容と対応する応答はメッセージボディに記す。 FIG. 17 is an example of a request and response message when HTTP (Hypertext Transfer Protocol) is used as the communication protocol. A control code indicating whether the request is a response or a response is written at the beginning of the message, and a response corresponding to a specific request content is written in the message body.
通信端末2のOS部24は、一定時間毎に、例えば1秒ごとに割り込みを発生させる。端末側制御部21は、割り込み信号を受信すると端末側通信部23からアダプタ3に対して状態取得要求を出す。アダプタ3のアダプタ側制御部31は、状態取得要求を受け、アダプタ側記憶部32からポーリングによりあらかじめ受信し格納している家電機器1の動作状態を読み出し、アダプタ側通信部33を介して通信端末2に送信する。
The
通信端末2は前回取得し、端末側記憶部22に記憶されていた家電機器1の動作状態を読み出し、受信した家電機器1の動作状態と比較する。比較の結果変更があった場合に、状態変化があった値を音声出力部25から音声でユーザーに通知すると同時に最新のデータを端末側記憶部22に記憶する。
The
例えば、温度設定が27℃から28℃に変更されていた場合には、「設定温度が28℃に変更されました」等の音声出力を行う。 For example, when the temperature setting has been changed from 27 ° C. to 28 ° C., a voice output such as “the set temperature has been changed to 28 ° C.” is performed.
このような構成とすることで、音声出力機能を持たない家電であってもその動作状態を音声で通知することが可能となる。なお、ここでは動作状態を一旦記憶部に記憶した上で、記憶されたデータを読み出して、そのデータに基づいて音声出力を行う構成としているが、受信した家電機器の動作状態に係る情報をそのまま音声出力する構成としても構わない。 With such a configuration, even an electric appliance that does not have a voice output function can notify the operation state by voice. Here, the operation state is temporarily stored in the storage unit, and then the stored data is read out, and sound output is performed based on the data. However, the received information on the operation state of the home appliance is used as it is. A configuration for outputting sound may also be used.
また、このように音声出力を行うことで、高齢者や目の不自由な者等に家電の動作状態をわかりやすく通知することが可能となる。 In addition, by performing voice output in this way, it is possible to easily notify the elderly and visually impaired persons of the operating state of the home appliance.
また、状態を取得した値が変更された後に所定時間変更されなかった場合、または、複数回状態取得を行って変更が確定した場合などには、音声出力を行うとしても良い。状態変化があった後に所定時間変更がないことをもって音声出力を行うことで、ユーザーの操作の誤りや、意図しない操作による変更が元に戻された場合に、不要な音声出力が行われることを防ぐことができる。 In addition, when the value for which the state is acquired is not changed for a predetermined time after the value is changed, or when the change is confirmed by acquiring the state a plurality of times, sound output may be performed. By performing audio output when there is no change for a specified time after a status change, unnecessary audio output can be performed when an error in the user's operation or a change due to an unintended operation is restored. Can be prevented.
また、あらかじめ音声出力すべき場合をリスト化して通信端末内に保持しておき、音声出力すべき場合に該当するときに音声出力を行うとしても良い。このようにすることで、音声出力が不要な場合に音声出力されることを防ぐことができる。 In addition, a list of cases in which voice output should be performed may be stored in the communication terminal in advance, and voice output may be performed when corresponding to a case in which voice output is to be performed. By doing so, it is possible to prevent audio output when audio output is unnecessary.
また、音声出力すべき場合のリストは、あらかじめユーザーが設定できるようにしてもよい。このようにしてユーザーが必要とする情報を音声出力させることが可能となる。 In addition, the list when audio output is to be performed may be set in advance by the user. In this way, it is possible to output information required by the user by voice.
家電機器と通信端末との間のネットワークインターフェースは、Wi‐Fi、NFC(Near Field Communication)、及び、Bluetooth(登録商標)等の無線通信またはEthernet(登録商標)等の有線通信を使用することができる。 The network interface between the home appliance and the communication terminal may use wireless communication such as Wi-Fi, NFC (Near Field Communication), and Bluetooth (registered trademark) or wired communication such as Ethernet (registered trademark). it can.
また、家電機器と通信端末との間の通信プロトコルには、Echonet‐Liteを使用することができる。標準規格であるEchonet‐Liteを使用することで、製造メーカが異なる場合であっても家電機器の設定データを取得することが可能となる。 Further, Echonet-Lite can be used as a communication protocol between the home appliance and the communication terminal. By using Echonet-Lite, which is a standard, it is possible to obtain home appliance setting data even when the manufacturer is different.
図3〜5は、この発明の実施の形態1に係る家電機器の音声ガイダンスシステムの動作を示すフローチャートである。図3は、アダプタの家電情報取得処理動作を示すフローチャートである。図において、S41は、家電情報取得処理ステップである。S41は、S42乃至S44のステップを含んで構成される。S42は、一定時間毎にタイマーを発火させるステップである。S43は、タイマーが発火するタイミングで家電機器に対して情報取得要求をだし、家電機器の情報を取得するステップである。S44は、取得した家電機器の情報を記憶領域に記録するステップである。
3-5 is a flowchart which shows operation | movement of the audio | voice guidance system of the household appliances which concern on
アダプタでは、一定時間毎にタイマーを発火させ、タイマーが発火する(S42)すると、家電に対して情報取得要求をだし、家電の情報を取得する(S43)。取得した家電情報は記憶領域(メモリ32)に記録する(S44)。 The adapter fires a timer at regular intervals, and when the timer fires (S42), issues an information acquisition request to the home appliance and acquires home appliance information (S43). The acquired home appliance information is recorded in the storage area (memory 32) (S44).
図4は、家電機器またはアダプタ内の家電情報読み出し処理を示すフローチャートである。図において、S51は、家電情報読み出し処理のステップである。S51は、S52乃至S54のステップを含んで構成される。S52は、読み出し要求を受信するステップである。S53は、家電情報を読み出すステップである。S54は、ネットワークIFを介して家電情報を送信するステップである。 FIG. 4 is a flowchart showing home appliance information reading processing in the home appliance or adapter. In the figure, S51 is a step of home appliance information read processing. S51 includes steps S52 to S54. S52 is a step of receiving a read request. S53 is a step of reading home appliance information. S54 is a step of transmitting home appliance information via the network IF.
読み出し要求を受信する(S52)と、記憶領域(メモリ12またはメモリ32)から家電情報を読み出し(S53)、ネットワークIFを介して家電情報を送信する(S54)。家電情報読み出し要求には、例えば、ECHONET−Lite通信プロトコルを使用することができる。ネットワークIFとしては、WiFi接続されており、家電機器と通信端末はそれぞれ個別に割り振られたIPアドレスによって、個体の特定が可能である。家電機器はECHONET−Liteによる家電情報取得要求を受け、指定されたプロパティに対する動作状態や設定状態を応答する。
When the read request is received (S52), the home appliance information is read from the storage area (
図5は、通信端末2の音声出力処理を示すフローチャートである。図において、S61は、音声出力処理ステップである。S61は、S62乃至S68のステップを含んで構成される。S62は、割り込み発生を検知するステップである。S63は、家電情報を受信し処理するステップである。S64は、記憶領域に情報を格納すると共に1回前の情報を記憶領域から読み出すステップである。S65は、1回前の情報と取得した情報を比較するステップである。S66は、1回前の情報と取得した情報とが同一か否かを判断するステップである。S67は、変化があった場合に抽出した音声出力すべき情報を発話用文字列に変換するステップである。S68は、出力するステップである。
FIG. 5 is a flowchart showing an audio output process of the
割り込み発生を検知する(S62)、家電情報受信処理(S63)を行い、記憶領域に情報を格納すると共に1回前の情報を記憶領域から読み出す(S64)。1回前の情報と取得した情報を比較し(S65)、変化があった場合には変化した情報から音声出力すべき情報を抽出する(S66)。抽出した音声出力すべき情報を発話用文字列に変換する(S67)。このように生成した発話用文字列を音声変換し、出力する(S68)。 When the occurrence of an interrupt is detected (S62), home appliance information reception processing (S63) is performed, information is stored in the storage area, and the previous information is read from the storage area (S64). The previous information is compared with the acquired information (S65), and if there is a change, information to be output as voice is extracted from the changed information (S66). The extracted information to be output is converted into an utterance character string (S67). The utterance character string generated in this way is converted into speech and output (S68).
異なる家電であっても共通するフォーマットによって通信端末で家電からの情報を受信し、音声出力すべき情報の抽出と、発話用文字列への変換を通信端末側で行うことで、1台の通信端末で複数の家電の音声出力に対応可能である。 Even if different home appliances are used, the communication terminal receives information from the home appliances in a common format, extracts information that should be output as voice, and converts it into a utterance character string on the side of the communication terminal. The terminal can support the audio output of multiple home appliances.
共通するフォーマットとしては、例えば、ECHONET−Liteの規定電文を用いることができる。ECHONET−Lite通信により、家電機器のデータを通信端末で取得することが可能になる。取得したデータを通信端末側で抽出し、発話用文字列に変換し、音声出力を行う。また、ECHONET−Liteの規定電文に定義されていない家電機器の情報には、ECHONET−Liteの任意電文を用いることができる。例えば、任意電文のデータ部分に、データ長を示すLengthとデータの種別を示すTypeをヘッダとして挿入し、ヘッダに続く部分に実データを格納することとする。Typeにはどのような家電の情報であるかをあらかじめ定義しておく。そのように格納されたECHONET−Liteパケットを家電側から送信することで、通信端末側ではどの家電からの情報であってもデータ部分について音声出力させるよう対応させることが可能となる。 As a common format, for example, a regulation message of ECHONET-Lite can be used. By ECHONET-Lite communication, it becomes possible to acquire data of household electrical appliances with a communication terminal. The acquired data is extracted on the communication terminal side, converted into an utterance character string, and voice output is performed. Moreover, the arbitrary message of ECHONET-Lite can be used for the information of the household appliances which are not defined in the regulation message of ECHONET-Lite. For example, the length indicating the data length and the type indicating the data type are inserted as headers in the data portion of the arbitrary message, and the actual data is stored in the portion following the header. What type of home appliance information is defined in advance in Type. By transmitting the ECHONET-Lite packet stored in such a manner from the home appliance side, it is possible to correspond to the information output from any home appliance on the communication terminal side so that the data portion is output as voice.
また、複数の通信端末に音声出力用アプリケーションを追加することによって、1台の家電の情報を複数の通信端末に出力することが可能である。ここでいう音声出力用アプリケーションとは、家電機器とのネットワーク接続を行い、家電機器から情報を読み取り、読み取った情報を発話用文字列に変換し、発話用文字列を音声出力するためのアプリケーションをいう。 In addition, by adding a voice output application to a plurality of communication terminals, it is possible to output information of one home appliance to the plurality of communication terminals. The application for voice output here refers to an application for connecting to a home appliance device over a network, reading information from the home appliance, converting the read information into an utterance character string, and outputting the utterance character string as voice. Say.
図6は、家電の一例としてエアコン、通信端末の一例としてスマートホンを使用して、エアコンの動作状況の情報をスマートホンで取得し、スマートホンのスピーカを用いて音声出力させた場合の音声ガイダンスシステムの概念図である。 FIG. 6 shows voice guidance when an air conditioner is used as an example of home appliances and a smartphone is used as an example of a communication terminal, and information on the operating status of the air conditioner is acquired by the smartphone and is output using the speaker of the smartphone. It is a conceptual diagram of a system.
スマートホン102の画面上に表示されたエアコン100に関するアイコン103をタッチすることで、スマートホン102内に保存されたアプリケーションを起動し、エアコン100からWiFi信号105経由で現在の動作情報を取得する。スマートホンの画面104上に、通信相手がエアコン100である旨の表示を行い、エアコン100の動作状況をスマートホン102のスピーカを用いて音声出力させると共に、スマートホン102の画面上に表示させるようにしたものである。このようにすることで、目又は耳の不自由な者のいずれにも対応することが可能となる。
By touching an icon 103 related to the air conditioner 100 displayed on the screen of the smart phone 102, an application stored in the smart phone 102 is activated, and current operation information is acquired from the air conditioner 100 via the
図7は、家電の一例として冷蔵庫を、通信端末の一例としてスマートホンを使用し、冷蔵庫の動作状況の情報をスマートホンで取得し、スマートホンのスピーカを用いて音声出力させた場合の音声ガイダンスシステムの概念図である。 FIG. 7 shows a voice guidance when a refrigerator is used as an example of home appliances and a smartphone is used as an example of a communication terminal, information on the operation status of the refrigerator is acquired by the smartphone, and voice is output using the speaker of the smartphone. It is a conceptual diagram of a system.
冷蔵庫の場合には、エアコンの場合とは異なり、スマートホンを冷蔵庫に近づけることが容易にできるので、スマートホンと冷蔵庫との間の通信にNFCを使用することができる。NFCを使用することにより、WiFiを使用する場合と比較し、家電機器側の通信部の実装が手軽に行える。 In the case of the refrigerator, unlike the case of the air conditioner, the smart phone can be easily brought close to the refrigerator, so that NFC can be used for communication between the smart phone and the refrigerator. By using NFC, it is possible to easily implement the communication unit on the home appliance side as compared to the case of using WiFi.
具体的には、冷蔵庫201に読み取り書き込み可能なNFCタグを取り付け、冷蔵庫内の情報をNFCタグに書き込む。スマートホン204を冷蔵庫201に近づけると、スマートホン204と冷蔵庫201間でNFC通信202を行い、スマートホン204にNFCの情報を読み取る。スマートホン204では、読み取った冷蔵庫201の情報を画面203に表示すると同時に、スピーカから音声出力させる。このように、NFCなどの近距離無線通信を行う場合には、家電機器側から通信端末を近づける場所知らせるような音を発することにより、目の不自由な人にとっても、通信端末を近づける場所を容易に特定することができるようになる。
Specifically, a readable / writable NFC tag is attached to the
図18に家電機器から取得可能な情報、文字列変換後のリスト、及び音声出力リストの例を示す。ここでは、家電としてエアコンを一例とする。図において、「家電情報」に示す表は家電機器から取得可能な情報であり、「文字列」に示す表は「家電情報」から取得した情報を音声出力させる文章に変換した後の文言を示している。それぞれの番号は対応している。すなわち、家電情報のNo.1に格納されている「動作状態」プロパティは現在「ON」の値を示しており、その状態を音声出力させるための文字列に変換したものが、「文字列」の表のNo.1の行に格納されている。以下についても同様の対応を示す。 FIG. 18 shows examples of information that can be acquired from home appliances, a list after character string conversion, and an audio output list. Here, an air conditioner is taken as an example of the home appliance. In the figure, the table shown in “Household appliance information” is information that can be acquired from home appliances, and the table shown in “Character string” shows the wording after the information acquired from “Home appliance information” is converted into text for voice output. ing. Each number corresponds. That is, the home appliance information No. The “operation state” property stored in “1” currently indicates a value of “ON”, and the state is converted into a character string for voice output. Stored in one row. The same correspondence is shown below.
動作状態を音声出力させるタイミングとしては、ユーザーから現在の状態を確認する要求があった場合、及び家電機器側の設定が変更された場合等がある。「動作状態」プロパティが「ON」であることをユーザーに知らせる文言としては、ユーザーから現在の状態を確認する要求があった場合に音声出力する文言が(A)「設定読み出し時」であり、設定が変更された場合に音声出力する文言が(B)設定変更時の文字列となる。 The timing for outputting the operation state by voice includes a case where the user requests to confirm the current state, a case where the setting on the home appliance side is changed, and the like. As a word that informs the user that the “operation state” property is “ON”, the word that is output as a voice when the user requests to confirm the current state is (A) “When reading setting” When the setting is changed, the text to be output as voice is (B) the character string when the setting is changed.
スマートホン側では、音声出力すべき項目を設定することが可能であり、「音声出力設定画面」に示すような家電情報一覧に対して、音声出力設定をONまたはOFFにすることができる。設定画面によって音声出力設定が“ON”に設定されたプロパティのナンバー(「No.」。以下「ナンバー」との未記載する場合がある)をスマートホン側で「音声出力リスト」として保持する。このリストに保持されたナンバーに一致するプロパティのみ音声出力させる。図の例では、動作状態がONであること、動作モードが冷房であること、温度設定が25℃であること、風量が弱であることは音声出力されるが、設置場所が居間であることや風向が自動であることは家電情報として取得できるが、音声出力されない。 On the smart phone side, it is possible to set items to be sound output, and the sound output setting can be turned on or off for the home appliance information list as shown in the “sound output setting screen”. The number of the property (“No.”, which may be not described as “No.” hereinafter) whose audio output setting is set to “ON” on the setting screen is held as an “audio output list” on the smart phone side. Only the properties that match the numbers stored in this list are output as audio. In the example in the figure, the sound is output that the operation state is ON, the operation mode is cooling, the temperature setting is 25 ° C., and the air volume is weak, but the installation location is the living room It can be acquired as home appliance information that the wind direction is automatic, but no sound is output.
エアコンの機能(プロパティ)及び値(設定値)は「家電情報」の表に示すようなものが取得可能である。エアコンの「動作状態」というプロパティには「ON」または「OFF」という値(設定値)を取り得る。図には「動作状態」プロパティが「ON」である場合のリストの状態を示している。通信端末では、これらの情報を家電機器から取得し、音声出力させるための文字列に変換する。文字列のリストを「文字列」の表に示す。 The function (property) and value (setting value) of the air conditioner can be obtained as shown in the table “Home Appliance Information”. A value (set value) of “ON” or “OFF” can be taken for the property of “air condition” of the air conditioner. The figure shows the state of the list when the “operation state” property is “ON”. The communication terminal acquires these pieces of information from the home appliance and converts them into a character string for voice output. A list of character strings is shown in the “character string” table.
また、スマートホンでは「音声出力設定画面」に示すようなプロパティと音声出力設定するか否かを設定する画面によって、ユーザーが、どの情報を音声出力させたいかを選択できるようにすることができる。この設定内容に応じて、「音声出力対象リスト」に示すようなリストを作成しておき、音声出力対象リストに存在するプロパティの値が読み出された場合、または値が変更された場合に音声出力を行う。 In addition, in the smart phone, the user can select which information is to be output as a sound by using a property and a screen for setting whether or not to set the sound output as shown in the “sound output setting screen”. . Create a list as shown in “Audio Output Target List” according to this setting, and read the value of the property that exists in the Audio Output Target List or change the value. Output.
この音声出力対象リストの設定は、画面による入力も可能であるが、音声入力による設定を可能にすることで、目の不自由な人でもリスト設定を可能とすることができる。例えば、音声によって「音声出力リスト設定」という命令によって音声出力リストを呼び出し、「音声出力する場合はYES,させない場合はNOを発話してください」とユーザーに音声での設定を促し、「動作状態」、「設定場所」「動作モード」といったプロパティを読み上げる毎にユーザーのYES,NOの発話を元にON,OFFの設定を行うようにすることができる。また、ユーザーから「温度設定は?」との発話による問い合わせに対して家電機器の動作状態を取得し、音声出力させた際に音声出力対象リストの「温度設定」の音声出力設定をONにすることもできる。 The audio output target list can be set on the screen, but by setting the voice input, even the visually impaired can set the list. For example, the voice output list is called by the command “sound output list setting” by voice, and the user is prompted to set the voice by saying “Yes if voice output, NO if not,” and “Operation status ”,“ Setting location ”,“ operation mode ”, etc., each time the property is read out, ON / OFF setting can be performed based on the user's YES / NO utterance. In addition, when the user obtains the operating state of the home appliance in response to an inquiry by utterance “What is the temperature setting?” And outputs the voice, the voice output setting of “temperature setting” in the voice output target list is turned ON. You can also
実施の形態2.
上記実施の形態では、家電機器と通信端末との間の通信をアダプタで仲介して行っていたが、アダプタの介在をなくして、家電機器と通信端末とが直接情報のやり取りをするように構成しても構わない。図2は、本発明の実施の形態2に係る家電機器の音声ガイダンス装置のシステムの概略を示すブロック図である。なお、図において、上記実施の形態と同一番号を付した部分については同様な構成であるため、ここでは説明を省略する場合がある。
In the above embodiment, communication between the home appliance and the communication terminal is performed by an adapter, but the configuration is such that the home appliance and the communication terminal directly exchange information without using an adapter. It doesn't matter. FIG. 2 is a block diagram showing an outline of a system of a voice guidance device for home electric appliances according to
このような構成とすることで、アダプタのようなH/Wを追加することなく、家電の動作状態を音声出力させることが可能となる。 With such a configuration, it is possible to output the operating state of the home appliance by voice without adding H / W such as an adapter.
この発明の実施の形態2に係る家電機器の音声ガイダンス装置のシステムの動作を示すフローチャートは、上記実施の形態1に係るフローチャートと同様であり、図3〜5で示されるため、ここでは説明を省略する。ただし、アダプタの動作を示すフローチャートであった図3に示されたフローは、家電内で処理されるものとする。したがって、上記実施の形態に係る家電機器の音声ガイダンス装置のシステムの動作で説明した家電機器とアダプタ間との処理が不要となる。 The flowchart showing the operation of the system of the voice guidance device for home appliances according to the second embodiment of the present invention is the same as the flowchart according to the first embodiment, and is shown in FIGS. Omitted. However, it is assumed that the flow shown in FIG. 3, which is a flowchart showing the operation of the adapter, is processed in the home appliance. Therefore, the processing between the home appliance and the adapter described in the operation of the system of the voice guidance device for home appliance according to the above embodiment is not necessary.
例えば、エアコン又は冷蔵庫などといった家電機器は、ネットワークIFを介して、例えば、携帯電話、タブレット端末、スマートホン、及び、ウェアラブル機器等といった音声出力可能な通信端末と接続している。 For example, home appliances such as an air conditioner or a refrigerator are connected to a communication terminal capable of outputting sound such as a mobile phone, a tablet terminal, a smart phone, and a wearable device via a network IF.
図2において、家電機器1は、通信端末2との情報のやり取りを制御する家電側制御部11と、情報のやり取りを行う家電側通信部(ネットワークIF)13と、通信情報を記憶する家電側記憶部12と、家電側操作部14とを有する。
In FIG. 2, the
通信端末2は、家電機器1との情報のやり取りを制御する端末側制御部21と、情報のやり取りを行う端末側通信部(ネットワークIF)23と、通信情報を記憶する端末側記憶部22と、割り込み等のオペレーティングシステムを提供するOS部24と、音声出力部25と表示部26と端末側操作部27を有する。
The
次に動作について説明する。通信端末2のOS部24は、一定時間ごと、例えば1秒ごとに割り込みを発生させる。割り込みが発生すると、端末側制御部21は端末側通信部23を経由して家電機器1の動作状態を取得する要求を発行する。家電機器1の家電側制御部11は、受信した家電状態の取得要求に対応して家電機器1自身の動作状態を家電側記憶部12から読み出し、家電側通信部13から通信端末2に返す。通信端末2は、取得した家電機器1の動作状態を端末側記憶部22に記録されている前回取得された値と比較し、変化があった場合に、今回取得した値を端末側記憶部22記憶するとともに、表示部26に表示する家電機器1の動作状態を更新し、音声出力部25から変化下情報を出力させる。
Next, the operation will be described. The
このような構成をとることにより、システムを構成する機器を減らすことが可能であり、故障のリスクまたは設置の煩雑さ等を少なくすることができる。 By adopting such a configuration, it is possible to reduce the devices constituting the system and reduce the risk of failure or the complexity of installation.
実施の形態3.
図8は、本発明の実施の形態3に係る家電機器の音声ガイダンスシステムの概略を示すブロック図である。本実施の形態では、家電機器1と通信端末2の間の通信はアダプタを介さない実施の形態2と同様の接続で示しているが、実施の形態1のようにアダプタ3を介して通信を行うことも可能である。なお、図において、上記実施の形態と同一番号を付した部分については同様な構成であるため、ここでは説明を省略する場合がある。
FIG. 8 is a block diagram showing an outline of a voice guidance system for home electric appliances according to
上記実施の形態1では、エアコンのように、本体と通信端末とを近づけることが困難な場合には、NFCを用いずに、他の通信形態を用いたが、家電機器本体に通信端末を近づけることが困難な場合であっても、本体ではなくそのリモコンに近づけることにより、NFCを用いることが可能となる。
In
例えば、エアコン又は自然冷媒ヒートポンプ給湯機などといった家電機器は、ネットワークIFを介して、例えば、携帯電話、タブレット端末、スマートホン、及び、ウェアラブル機器等といった音声出力可能な通信端末と接続している。 For example, home appliances such as an air conditioner or a natural refrigerant heat pump water heater are connected to a communication terminal capable of outputting sound such as a mobile phone, a tablet terminal, a smart phone, and a wearable device via a network IF.
家電機器1は、情報のやり取りを制御する家電側制御部11と、情報のやり取りを行う家電側通信部(ネットワークIF)13と、通信情報を記憶する家電側記憶部12と、リモコン4からの制御を受信するリモコン通信部17を有する。
The
通信端末2は、家電機器1との情報のやり取りを制御する端末側制御部21と、情報のやり取りを行う端末側通信部(ネットワークIF)23と、通信情報を記憶する端末側記憶部22と、割り込み等のオペレーティングシステムを提供するOS部24と、リモコン4のNFCタグ46と、通信を行うNFC通信部28と、ユーザーが操作を行う端末側操作部27とを有する。
The
リモコン4は、家電機器1との情報のやり取りを制御するリモコン側制御部41と、家電機器1に対してユーザーが操作を行うリモコン側操作部44と、リモコン側操作部44の情報を受け、家電1に対する通信の制御を行うリモコン側通信部47と、操作情報を記憶するリモコン側記憶部42と、通信端末2のNFC通信部と通信を行うためのNFCタグ46とを有する。
The
次に動作について説明する。リモコン4に対してユーザーの操作がリモコン側操作部44から行われた場合、操作情報はリモコン側制御部41からリモコン側通信部47を介して家電機器1のリモコン通信部17に送信されると同時に、リモコン側記憶部42に記憶される。通信端末2がリモコン4にタッチされると、リモコン側制御部41はNFCタグにリモコン側記憶部42から読み出した現在の家電機器1の動作状態を通知し、NFC通信部28はNFCタグ46から現在の家電機器1の動作状態を読み出す。通信端末2は読み出した家電状態を音声出力部25から音声出力する。
Next, the operation will be described. When a user operation is performed on the
このような構成をとることにより、本体に直接通信端末を近づけることが困難な場合であっても、そのリモコン等に通信端末を近づけることでNFCによる通信を利用することが可能となる。 By adopting such a configuration, even when it is difficult to bring the communication terminal directly close to the main body, NFC communication can be used by bringing the communication terminal close to the remote controller or the like.
実施の形態4.
図9は、本発明の実施の形態4に係る家電機器の音声ガイダンス装置のシステムの概略を示すブロック図である。本実施の形態では、家電機器1と通信端末2の間はアダプタを介さない実施の形態2と同様の接続で示しているが、実施の形態1のようにアダプタ3を介して通信を行うことも可能である。なお、図において、上記実施の形態と同一番号を付した部分については同様な構成であるため、ここでは説明を省略する場合がある。
FIG. 9 is a block diagram showing an outline of a system of a voice guidance device for home electric appliances according to
例えば、エアコン又は冷蔵庫などといった家電機器は、ネットワークIFを介して、携帯電話、タブレット端末、スマートホン、及び、ウェアラブル機器等といった音声出力可能な通信端末と接続している。 For example, home appliances such as an air conditioner or a refrigerator are connected to a communication terminal capable of outputting sound such as a mobile phone, a tablet terminal, a smart phone, and a wearable device via a network IF.
家電機器1は、情報のやり取りを制御する家電側制御部11と、情報のやり取りを行う家電側通信部(ネットワークIF)13と、通信情報を記憶する家電側記憶部12と人が近づいているかどうかを検知することができるセンサー15と、ユーザーが操作を行う家電側操作部14とを有する。ここで、センサーは人感センサーでも良いし、距離センサーでも赤外線センサーでもよい。また、通信端末2のOS部が発するビーコン等の信号を感知するセンサーでも良い。
Whether the
通信端末2は、家電機器1との情報のやり取りを制御する端末側制御部21と、情報のやり取りを行う端末側通信部(ネットワークIF)23と、通信情報を記憶する端末側記憶部22と、割り込み等のオペレーティングシステムを提供するOS部24とを有する。
The
次に動作について説明する。センサー15の入力を家電側制御部11で検出し、例えば人感センサーならば一定の範囲内に人が近づいてきたことを検知する。検知した人の近づいてきたという情報を家電側通信部13から端末側通信部23に対して送信する。通信端末は、人が近づいてきたという情報を検知して、音声出力部25から家電機器1の動作状態を音声出力する。
Next, the operation will be described. The input of the
また、ユーザーが、通信端末2を持った状態で近づいてきた場合に、通信端末2に内蔵されたGPS情報を家電機器1に送信する。家電機器1は、通信端末2から送信されたGPS情報と自身の位置情報を元に一定の範囲内に通信端末2が近づいてきたことを検知する。家電機器1から通信端末2に対して家電機器1自身の位置情報を送信することで、通信端末2は、ある一定の距離内に家電機器1が入ったことを検知して音声出力部25から家電の動作状態を音声出力する。
When the user approaches with the
家電機器1に組み込まれたセンサー15と、通信端末2から通知された通信端末2のGPS情報とを組み合わせることで、家電機器1の家電側制御部11は、人が近づいてきたことをより高い精度で検知することが可能となる。人が近づいてきたことを検出した場合、家電機器1から通信端末2に音声出力情報を送信し、通信端末2は、音声出力部25から音声を出力する。
By combining the
人が近づいてきたことを検出する動作と同様に、人が遠ざかることを検出することも可能である。人が遠ざかることを検出した場合、家電機器1は、例えばエアコンやIHクッキングヒーターの電源が入ったままであることなどを通信端末2の音声出力部25から出力させることができる。
Similar to the operation of detecting that a person is approaching, it is also possible to detect that a person is moving away. When it is detected that a person is moving away, the household
実施の形態5.
図10は、本発明の実施の形態5に係る家電機器の音声ガイダンスシステムの概略を示すブロック図である。本実施の形態では、家電機器1と通信端末2の間はアダプタを介さない実施の形態2と同様の接続で示しているが、実施の形態1のようにアダプタ3を介して通信を行うことも可能である。なお、図において、上記実施の形態と同一番号を付した部分については同様な構成であるため、ここでは説明を省略する場合がある。
FIG. 10 is a block diagram showing an outline of a voice guidance system for home electric appliances according to
例えば、エアコン又は冷蔵庫などといった家電機器1は、ネットワークを介して、携帯電話、タブレット端末、スマートホン、及び、ウェアラブル機器等といった音声出力可能な通信端末2と接続している。
For example, a household
家電機器1は、通信端末2との情報のやり取りを制御する家電側制御部11と、情報のやり取りを行う家電側通信部(ネットワークIF)13と、通信情報を記憶する家電側記憶部12と、家電側操作部14と、家電機器に備えられたセンサー15とを有する。ここで、センサーは、温度センサー、気圧センサー、または、画像センサー等の家電機器に用いられているセンサーを意味する。
The
家電機器1aは、通信端末2との情報のやり取りを制御する家電側制御部11aと、通信情報を記憶する家電側記憶部12aと、NFCタグ16と、操作部14aとを有する。
The home appliance 1a includes a home appliance control unit 11a that controls the exchange of information with the
通信端末2は、家電機器との情報のやり取りを制御する端末側制御部21と、情報のやり取りを行う端末側通信部(ネットワークIF)23と、通信情報を記憶する端末側記憶部22と、割り込み等のオペレーティングシステムを提供するOS部24と、音声出力部25と、端末側表示部26と、端末側操作部27と、NFC通信部28とを有する。
The
次に動作について説明する。 Next, the operation will be described.
例えば、図10の家電機器1がエアコン、家電機器1aが除湿器であるとする。家電機器1であるエアコンのセンサー15は、温度センサー及び/又は湿度センサーであって、温度及び/又は湿度の分布検知処理によって、室内のある一定部分のみ湿度が高く、温度が低い領域を検知する。検知された領域には乾いていない洗濯物があると推定し、家電機器1から通信端末2に対して除湿器の稼働を促す通知を家電側通信部(ネットワークIF)13から端末側通信部(ネットワークIF)23に対して送信する。ネットワークIFを介して端末側制御部21に通知された除湿器稼働通知によって、通信端末2では、音声出力部25からユーザーに対して除湿器へのNFCタッチを促す音声を出力する。通信端末2の端末側制御部21では、家電機器1によって検知された温度及び湿度の分布検知結果から、除湿器稼働時の最適設定を算出する。
For example, it is assumed that the
例えば、上記の検出したエリアへの風向や、湿度があらかじめ設定された湿度より高い場合には風量を強に、低い場合には弱にする等の設定内容を決定する。算出された設定値は、NFC通信部28によって、NFCタグ16を介して家電機器1aに自動的に設定される。稼働した家電機器1aの動作状態は、NFCタグ16から通信端末2のNFC通信部28に再度読み込まれ、端末側制御部21は読み込まれた制御内容を音声出力部25から音声出力し、ユーザーに除湿器の状態を知らせる。
For example, the setting contents are determined such that the wind direction to the detected area and the air volume is strong when the humidity is higher than a preset humidity and weak when the humidity is low. The calculated setting value is automatically set in the home appliance 1a by the
また、別の一例として、家電機器1をエアコン、家電機器1aを除湿器とする。通信端末2でNFC通信をすることで除湿器の電源をONする。これは、通信端末2内に家電機器制御アプリケーションをダウンロードし、対応する家電に通信で設定を送信することで可能となる。
As another example, the
端末側操作部27で家電機器制御アプリケーションを起動し、家電機器1aを制御する操作を行う。例えば、家電機器1aの電源を入れる場合、ユーザーが家電機器1aに通信端末2をタッチさせることで、通信端末2のNFC通信部28から家電機器1aのNFCタグ16に対して電源を入れるコマンドが発行され、家電機器1aの家電側制御部11aで家電の電源を入れる制御が実行される。
The terminal-
通信端末2は、音声出力部25から家電機器1aの電源がONになったことを音声出力する。更に端末側通信部(ネットワークIF)23を介して家電機器1に対して家電機器1aがONになったことを通知する。この通知は、例えば、ECHONET−Lite通信の任意電文を用いて実現することができる。
The
家電機器1は、家電機器1aが稼働したことを家電側通信部(ネットワークIF)13からの通知によって知ることができ、家電機器1の持つセンサー15によって温度及び湿度等の分布検知処理によって室内の一定部分のみ湿度が高く、温度が低い領域を検知することができる。家電機器1は、家電機器1aによる除湿動作が最適となるように自らの設定を変更する。
The
例えば、家電機器1がエアコンであって、家電機器1aが除湿器である場合、室温が低すぎると除湿の効率が悪くなる。そのため、エアコンの設定温度を高めに設定することで除湿動作の効率を上げることができる。エアコンは、自動的に変更された設定情報を家電側通信部13から通信端末2に通知する。
For example, when the
通信端末2は、通知された設定変更を音声出力部25から音声出力する。更に、家電機器1であるエアコンが検知した一定部分の高湿度及び/又は低温度エリアに対する家電機器1aである除湿器の最適な設定値を算出し、ユーザーに対して再度NFC通信によって家電機器1aである除湿器の設定を変更にするよう音声出力する。ユーザーが、家電機器1aである除湿器に通信端末2を近づけると、NFC通信部28とNFCタグ16の間の通信によって除湿器のNFCタグ16が通信端末2からの設定情報を読み取り、除湿器内部の設定を変更する。
The
このような構成とすることで、直接通信できない家電間の連係動作が可能になると共に、音声出力することで、目の不自由な人や高齢者に対しても家電の連係動作を可能にする操作を促すことができる。 With such a configuration, it becomes possible to link home appliances that cannot be directly communicated, and by outputting sound, it is possible to link home appliances to visually impaired people and elderly people. The operation can be prompted.
実施の形態6.
図11は本発明の実施の形態6に係る家電機器の音声ガイダンスシステムの概略を示すブロック図である。なお、図において、上記実施の形態と同一番号を付した部分については同様な構成であるため、ここでは説明を省略する場合がある。
Embodiment 6 FIG.
FIG. 11: is a block diagram which shows the outline of the audio | voice guidance system of the household appliances which concern on Embodiment 6 of this invention. In addition, in the figure, since the part which attached | subjected the same number as the said embodiment is the same structure, description may be abbreviate | omitted here.
例えば、エアコン又は冷蔵庫などといった家電機器1は、携帯電話、タブレット端末、スマートホン、及び、ウェアラブル機器等といった音声出力可能な通信端末2との情報のやり取りを制御する家電側制御部11と、情報のやり取りを行うNFCタグ16と、通信情報を記憶する家電側記憶部12と、家電側操作部14と、家電に備えられたセンサー15と、固定音出力部18とを有する。ここでセンサー15は人感センサーやイメージセンサーなど、人が近づいて来たことを検出することができるセンサーとする。
For example, the
通信端末2は、端末側制御部21と、ネットワークに接続して情報のやり取りを行う端末側通信部23と、通信情報を記憶する端末側記憶部22と、割り込み等のオペレーティングシステムを提供するOS部24と、音声出力部25と、端末側表示部26と、端末側操作部27と、NFC通信部28を有する。
The
次に動作について説明する。
家電機器1は、NFCタッチする場所をユーザーに通知するために固定音出力部18から固定音を発する。固定音を発するタイミングは、ユーザーが家電機器1に近づき、所定の範囲内に入った場合などでよい。つまり、ユーザーが家電機器1に近づいた場合である。これは、家電機器1のセンサー15が、人が家電機器1の一定距離内に入ったことを検知すると、固定音出力部18から固定音を出力し、ユーザーにNFCタッチを促すと共に、タッチする箇所を音で通知する。
Next, the operation will be described.
The household
または、通信端末2を持ったユーザーが家電に近づいたことを、通信端末2に内蔵されたGPSの位置情報と家電機器1自身の設置場所情報と通信端末2に内蔵された加速度センサーの情報から検知し、家電機器1の一定距離内に入った場合に、固定音を出力することでタッチする箇所を音で通知する。
Alternatively, the fact that the user with the
また、通信端末2を持ったユーザーが家電機器1に近づき、一定の範囲内に入った場合であって、かつ、家電機器1の動作状態に変化があった場合にのみ、固定音を出力してもよい。この場合、センサー15は、人が一定距離範囲内に入ったことを検知し、且つ家電側記憶部12に記憶されている家電情報と現在の家電情報との間に変化があったことを検知した場合に固定音出力部18に対して固定音出力の制御を行う。また、異常状態が家電機器1の家電側制御部11で検知された場合で、且つ人が一定範囲内に近づいたことが検出された場合に、固定音を出力することも可能である。
In addition, a fixed sound is output only when the user with the
家電機器1にはセンサー15が組み込まれており、ユーザーが、家電機器1に近づいてきたか否かはセンサー15によって検知する。ここで、センサー15は人感センサーでもよいし、距離センサーとイメージセンサーでも良いし、カメラでも赤外線センサーでも良い。また、通信端末2のOS部が発するビーコン等の信号を感知するセンサーでも良い。
The
例えば、人感センサーならば家電機器1の近くに人が近づいた場合に固定音出力部18から固定音を発することができる。近づいたか遠ざかったかは、人感センサーの検出結果履歴によって近くに存在していた人がいなくなった場合には遠ざかっている、ある時点では、人がいなかったが、その後の時点で、人が存在するようになったことが、検知できた場合には近づいてきた。ある時点で人が存在していた、かつ、その後の時点でも人が存在していたことが、検知できた場合には、家電機器の近くに人がとどまっていると推定することができる。人感センサーの検出結果履歴は、家電側記憶部12に保持される。また、通信端末2を持ったユーザーが近づいてきたか遠ざかってきたかは、通信端末2の加速度センサーによって検知することも可能である。
For example, in the case of a human sensor, a fixed sound can be emitted from the fixed sound output unit 18 when a person approaches the
ユーザーが、固定音の出力に促されてNFCタッチをすることで、通信端末2に家電機器1の情報を通知することが可能となる。家電機器1のNFCタグ16を通じて通信端末2のNFC通信部28は家電情報を取得し、端末側制御部21に通知する。通信端末2では、取得した情報を端末側表示部26に表示すると共に音声出力部25から音声出力する。音声出力する情報は、あらかじめ通信端末2に埋め込まれたデータ形式の情報であった場合には、あらかじめ指定された手順に従って音声に変換して出力するが、任意の情報であっても端末側表示部26の画面上に表示した画面情報をテキストに変換し、テキストから音声に変換することによって、家電の情報を音声出力することができる。
When the user is prompted to output a fixed sound and performs an NFC touch, the
図12は、本発明の実施の形態6に係る家電機器1の音声ガイダンスシステムの動作の一例を示すフローチャートである。
FIG. 12 is a flowchart showing an example of the operation of the voice guidance system of household
S71は、音声出力処理工程を示す。S71では、S72で、通信端末2が家電機器1に近づいていることと所定の距離内に入ったことを検知すると、S73で、前回のNFC通信から家電機器1の動作状態に変化があったか否かをチェックし、変化があった場合には、S74で、NFCタッチすべき場所に設置された固定音出力部18から固定音を出力し、ユーザーにNFCタッチを行うことを促す。
S71 shows an audio output processing step. In S71, when it is detected in S72 that the
ユーザーが、NFCタッチを行うと、S75で、家電機器1のNFCタグ16と通信端末2のNFC通信部28との間でNFC通信を行い、家電機器1の情報を通信端末2内に読み込む。
When the user performs an NFC touch, in S75, NFC communication is performed between the
S76で、読み込んだ情報が、機知のデータ形式、または、自社製品の情報であるか否かを判別し、機知のデータ形式、または、自社製品の情報である場合には、S77で、変化のあった情報をそのまま音声出力部25から音声出力する。このとき、通信端末2の端末側表示部26の画面上にも変化のあった情報を出力する。
In S76, it is determined whether or not the read information is a witness data format or in-house product information. If it is in a witness data format or in-house product information, in S77, the change is made. The audio information is output from the
読み込んだ情報が、機知のデータ形式、または、自社製品の情報でない場合は、S78で、そのデータ形式にあったアプリケーションによって、通信端末2上に家電機器1の情報が出力されるため、出力画像をテキストに変換し、S79で、テキストを音声に変換することによって、S77で、家電情報の音声出力を音声出力部25から出力する。
If the read information is not the witness data format or the information of the company's product, the information on the
このような構成とすることで、NFCによる情報取得と画面表示が可能である家電機器であれば、そのデータ形式をあらかじめ知ることなく、家電機器の情報を音声出力することが可能となる。 With such a configuration, home appliances capable of acquiring information and displaying a screen using NFC can output information on the home appliances in voice without knowing the data format in advance.
実施の形態7.
図13は、本発明の実施の形態7に係る家電機器の音声ガイダンスシステムの概略を示すブロック図である。なお、図において、上記実施の形態と同一番号を付した部分については同様な構成であるため、ここでは説明を省略する場合がある。
FIG. 13: is a block diagram which shows the outline of the audio | voice guidance system of the household appliances which concern on
例えば、炊飯器又は冷蔵庫などといった家電機器1は、携帯電話、タブレット端末、スマートホン、及び、ウェアラブル機器等といった音声出力可能な通信端末2との情報のやり取りを制御する家電側制御部11と、情報のやり取りを行うNFCタグ16と、通信情報を記憶する家電側記憶部12と、家電側操作部14とを有する。
For example, the
通信端末2は、端末側制御部21と、ネットワークに接続して情報のやり取りを行う端末側通信部23と、通信情報を記憶する端末側記憶部22と、割り込み等のオペレーティングシステムを提供するOS部24と、音声出力部25と、端末側表示部26と、端末側操作部27と、NFC通信部28を有する。
The
次に動作について説明する。通信端末2を家電機器1にタッチすることにより、通信端末2のNFC通信部28と家電機器1のNFCタグ16との間でNFC通信を行い、通信端末2内のアプリケーション設定に応じて、家電機器1の設定を自動的に行う。
Next, the operation will be described. By touching the
本発明の実施の形態7に係る家電機器の音声ガイダンスシステムの一例として、家電機器1が炊飯器である場合、炊飯器にタッチして予約時刻を設定する動作について説明する。通信端末2で、ユーザーが炊飯器予約設定アプリケーションを起動すると、端末側制御部21は、端末側記憶部22から目覚まし時計設定の値を読み出し、設定された時刻から起床時間を推定する。例えば、午前5時以降で最も早い設定時刻を起床時間とする。推定した起床時刻から一定時間前に炊飯が完了するよう、炊飯器の予約時刻を決定する。ユーザーが、通信端末2を炊飯器に近づけるよう音声出力部25から音声出力で操作を促し、NFC通信部28を介して家電機器1である炊飯器のNFCタグ16から決定した予約時刻を通知する。家電機器1である炊飯器の家電側制御部11は、NFCタグ16に書き込まれた予約時刻を読み出し、炊飯予約設定を実行する。設定された内容は通信端末2の音声出力部25から音声で出力される。
As an example of a voice guidance system for home appliances according to
設定前に音声と端末側表示部26に出力される画面情報によって設定の内容を確認することも可能である。この場合、予約時刻を決定した時点で、ユーザーに対して設定内容を端末側表示部26に画面表示すると共に音声出力部25から音声出力して、通知した上で炊飯器に近づけてNFC通信による予約設定を行うようユーザーに音声で知らせる。
It is also possible to confirm the contents of the setting based on the voice and the screen information output to the terminal
図14は、本発明の実施の形態7に係る家電機器の音声ガイダンスシステムの概略を示すブロック図の他の例である。本実施例では、家電機器1と通信端末2の間はアダプタを介さない実施の形態2と同様の接続で示しているが、実施の形態1のようにアダプタ3を介して通信を行うことも可能である。
FIG. 14 is another example of a block diagram showing an outline of a voice guidance system for home electric appliances according to
例えば、エアコン又は自然冷媒ヒートポンプ給湯機などといった家電機器1は、ネットワークを介して、携帯電話、タブレット端末、スマートホン、及び、ウェアラブル機器等といった音声出力可能な通信端末2と接続している。
For example, a
家電機器1は、通信端末2との情報のやり取りを制御する家電側制御部11と、情報のやり取りを行う家電側通信部13と、通信情報を記憶する家電側記憶部12と、リモコンからユーザーの操作を受信するリモコン通信部17とを有する。
The
通信端末2は、ネットワークを介して家電機器1との情報のやり取りを制御する端末側制御部21と、情報のやり取りを行う端末側通信部23と、通信情報を記憶する端末側記憶部22と、割り込み等のオペレーティングシステムを提供するOS部24と、音声出力部25と、端末側表示部26と、端末側操作部27と、NFC通信部28とを有する。
The
リモコン4は、家電機器1に対してユーザーが操作を行うリモコン側操作部44と、操作部の情報を受け、家電機器1に対する通信の制御を行うリモコン側通信部47と、操作情報を記憶するリモコン側記憶部42と、通信端末2のNFC通信部28と通信を行うためのNFCタグ46と、本体の設定状態を表示するリモコン側表示部45とを有する。
The
次に動作について説明する。通信端末2は、リモコン4とNFC通信部28を介してNFC通信を行うことで家電機器1の設定変更を行い、家電機器1は、リモコン4のリモコン側通信部47からの通知をリモコン通信部17で受信することによって設定された変更を実行する。
Next, the operation will be described. The
本実施の形態の一例として、家電機器1が、自然冷媒ヒートポンプ給湯機、通称エコキュート(登録商標)である場合を考える。家電機器1であるエコキュート(登録商標)は、本体が屋外に設置されており、リモコン4である屋内リモコンと独自の通信方式によって接続され、設定を行う。通信端末2でエコキュート(登録商標)設定アプリケーションを起動すると、端末側制御部21は、端末側記憶部22から別アプリケーションによって設定されたカレンダー情報を読み出す。カレンダー情報から、例えば、長期不在の予定を読み出した場合、通信端末2は、不在となる日程に家電機器1であるエコキュート(登録商標)の湯沸かしを停止するようユーザーに端末側表示部26の画面と音声出力部25からの音声出力によって通知する。
As an example of the present embodiment, consider a case where the
また、設定を実施するために音声出力部25から音声出力して通信端末2をリモコン4に近づけ、NFC通信を行うことを促す。ユーザーが通信端末2をリモコン4であるエコキュート(登録商標)のリモコンに近づけると、NFC通信部28とリモコン4のNFCタグ46との間のNFC通信によって、湯沸かし停止と停止期間の設定がリモコン4に通知される。リモコン4のリモコン側制御部41は通知された湯沸かし停止情報をリモコン側表示部45に表示すると共にリモコン側通信部47を介して家電機器1であるエコキュート(登録商標)本体のリモコン通信部17に通知する。家電機器1であるエコキュート(登録商標)本体の家電側制御部11は通知された設定を行うと共に、設定内容を家電側記憶部12に格納する。
Further, in order to perform the setting, the
以上のように、通信端末内の記憶部に家電機器設定とは異なるアプリケーションによって格納されたデータから自動的に家電に設定すべき内容を読み出し、設定に反映させることによって家電の設定を容易に行うことを可能にする。また、設定する内容を音声と画面に表示し、確認を行うことでユーザーの意図しない設定を行わないようにすることができる。また、設定しようとする内容や設定された内容を音声と画面表示で出力することで、視覚障害者や聴覚障害者が設定内容を容易に把握することが可能となる。 As described above, the contents to be set for the home appliance are automatically read from the data stored by the application different from the home appliance setting in the storage unit in the communication terminal, and the home appliance is easily set by reflecting the setting in the setting. Make it possible. In addition, it is possible to prevent settings that are not intended by the user by displaying the contents to be set on the screen and confirming the contents. In addition, by outputting the content to be set or the set content in the form of sound and screen display, it becomes possible for a visually impaired person or a hearing impaired person to easily grasp the set contents.
1 家電機器、11 家電側制御部、12 家電側記憶部、13 家電側通信部(ネットワークIF)、14 家電側操作部、15 センサー、16 NFCタグ、17 リモコン通信部、18 固定音出力部、2 通信端末、21 端末側制御部、22 端末側記憶部、23 端末側通信部(ネットワークIF)、24 OS部、25 音声出力部、26 端末側表示部、27 端末側操作部、28 NFC通信部、3 アダプタ、31 アダプタ側制御部、32 アダプタ側記憶部、33 アダプタ側通信部、4 リモコン、41 リモコン側制御部、42 リモコン側記憶部、44 リモコン側操作部、45 リモコン側表示部、46 NFCタグ、47 リモコン側通信部。
DESCRIPTION OF
Claims (10)
前記通信端末と通信可能な家電機器とを含んで構成される家電機器の音声ガイダンスシステムであって、
前記家電機器は、前記家電機器の動作を制御する家電側制御部と、
前記家電機器の動作に係る情報データを送信する家電側通信部と、
前記家電側通信部の場所を通知するために固定音を発する固定音出力部とを備え、
前記通信端末は、前記情報データを受信する端末側通信部と、
前記端末側通信部を通じて得られた前記情報データに基づき、前記家電機器の動作状態を識別し、前記家電機器の動作状態に応じて、所定の音声を出力する音声出力部とを備え、
前記通信端末と前記家電機器との間の距離が所定の距離以内の場合、
前記固定音出力部は、前記固定音を発し、
前記固定音に促されて前記家電側通信部に近づく前記端末側通信部は、前記家電側通信部から前記情報データを受信し、
前記音声出力部は、前記家電機器の動作状態に応じて、前記所定の音声を出力することを特徴とする家電機器の音声ガイダンスシステム。 A communication terminal;
A home appliance voice guidance system configured to include a home appliance capable of communicating with the communication terminal,
The home appliance is a home appliance control unit that controls the operation of the home appliance ,
A home appliance side communication unit that transmits information data relating to the operation of the home appliance , and
A fixed sound output unit that emits a fixed sound to notify the location of the home appliance side communication unit ,
The communication terminal includes a terminal-side communication unit that receives the information data;
Based on the information data obtained through the terminal-side communication unit, the operation state of the home appliance is identified, and according to the operation state of the home appliance, a sound output unit that outputs a predetermined sound,
If the distance between the communication terminal and the home appliance is within a predetermined distance,
The fixed sound output unit emits the fixed sound,
The terminal-side communication unit that is prompted by the fixed sound and approaches the home appliance-side communication unit receives the information data from the home appliance-side communication unit,
The voice guidance system for home appliances , wherein the voice output unit outputs the predetermined voice according to an operation state of the home appliances.
前記通信端末は、前記リモコンとの間で前記情報データのやり取りを行うことで、前記家電機器の動作状態を認識し、前記家電機器の動作状態に応じて、前記所定の音声を出力することを特徴とする請求項1または請求項2に記載の家電機器の音声ガイダンスシステム。 The home device includes the information data can communicate the remote control according to the operation of the home appliance,
It said communication terminal, by exchanging the information data with the remote control, recognizes the operation state of the home appliance, according to the operation state of the home appliance, to output the predetermined sound The voice guidance system for home appliances according to claim 1 or 2 , characterized in that
前記音声出力部は、前記音声入力部が前記家電機器の動作状態を問い合わせる命令を入力した場合、識別した前記家電機器の動作状態に応じて、前記所定の音声を出力することを特徴とする請求項1から請求項3のいずれか1項に記載の家電機器の音声ガイダンスシステム。 The communication terminal further includes a voice input unit for inputting voice,
The audio output unit, the voice input unit the home appliance entered if the command to inquire the operating status of the device, in accordance with the operation state of the home device identified, and outputs the predetermined sound The voice guidance system of the household appliances of any one of Claims 1-3 .
前記音声出力部は、識別した前記家電機器の動作状態が前記音声出力対象リストで音声出力が必要と設定されていた場合、前記所定の音声を出力することを特徴とする請求項1から請求項4のいずれか1項に記載の家電機器の音声ガイダンスシステム。 The communication terminal further includes a holding unit that holds an audio output target list that sets whether or not audio output is necessary for the operation state of the home appliance,
The said audio | voice output part outputs the said predetermined | prescribed audio | voice, when the operation state of the identified said household appliance is set to the necessity of audio | voice output by the said audio | voice output object list | wrist. 5. The voice guidance system for home appliances according to any one of 4 above.
前記家電機器の動作状態に対する音声出力の要否を設定する音声出力対象リストを保持する保持部とをさらに備え、
前記音声出力部は、前記音声入力部が前記音声出力対象リストを設定する呼出し命令を入力した場合、前記音声出力対象リストからそれぞれの設定項目を呼び出して設定を問い合わせるガイダンス音声を出力することを特徴とする請求項1から請求項3のいずれか1項に記載の家電機器の音声ガイダンスシステム。 The communication terminal includes a voice input unit that inputs voice;
A holding unit that holds an audio output target list that sets whether or not audio output is necessary for the operation state of the home appliance;
The audio output unit, said voice input portion outputs a guidance voice for inquiring the set by calling each setting item calls entered if the instruction from the sound output target list for setting the audio output target list The voice guidance system for home appliances according to any one of claims 1 to 3 , characterized in that:
前記家電機器は、前記端末側通信部から受信した前記予約設定情報に基づいて前記家電機器の予約時刻を決定することを特徴とする請求項1から請求項6のいずれか1項に記載の家電機器の音声ガイダンスシステム。 The terminal-side communication unit transmits reservation setting information for starting the operation of the home appliance to the home appliance,
The home appliance according to any one of claims 1 to 6 , wherein the home appliance determines a reservation time of the home appliance based on the reservation setting information received from the terminal-side communication unit. Equipment voice guidance system.
前記音声出力部は、前記家電側通信部から受信した前記情報データが前記予約時刻であった場合、前記予約時刻を音声出力することを特徴とする請求項7に記載の家電機器の音声ガイダンスシステム。 The home appliance communication unit transmits the information data to notify the reservation time determined by the home appliance to the terminal communication unit ,
Prior Symbol audio output unit, if the information data received from the home appliance-side communication unit were the reservation time, the voice of the consumer electronics apparatus according to the scheduled time to claim 7, characterized in that the audio output Guidance system.
前記家電機器は、前記家電機器の動作を制御し、
前記家電機器の動作に係る情報データを前記通信端末の端末側通信部に送信し、
前記通信端末と前記家電機器との間の距離が所定の距離以内の場合、
前記家電機器は、前記家電機器の家電側通信部の場所を通知するために固定音を発し、
前記固定音に促されて前記家電側通信部に近づく前記端末側通信部は、前記家電側通信部から前記情報データを受信し、
前記通信端末は、受信した前記情報データに基づき、前記家電機器の動作状態を識別し、
前記家電機器の動作状態に応じて、所定の音声を出力することを特徴とする家電機器の音声ガイダンス方法。 Communication between a communication terminal and a home appliance, and a voice guidance method for a home appliance that presents information related to the operating state of the home appliance by voice,
The home appliance controls the operation of the home appliance ,
Send information data related to the operation of the home appliance to the terminal side communication unit of the communication terminal,
If the distance between the communication terminal and the home appliance is within a predetermined distance,
The home appliance emits a fixed sound to notify the location of the home appliance communication unit of the home appliance,
The terminal-side communication unit that is prompted by the fixed sound and approaches the home appliance-side communication unit receives the information data from the home appliance-side communication unit ,
The communication terminal identifies the operating state of the home appliance based on the received information data,
A voice guidance method for home appliances , wherein a predetermined voice is output according to an operating state of the home appliances.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015028114A JP6365338B2 (en) | 2015-02-17 | 2015-02-17 | Voice guidance system and method for home appliances |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015028114A JP6365338B2 (en) | 2015-02-17 | 2015-02-17 | Voice guidance system and method for home appliances |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018080053A Division JP6477954B2 (en) | 2018-04-18 | 2018-04-18 | Voice guidance system and method for home appliances |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016151838A JP2016151838A (en) | 2016-08-22 |
JP2016151838A5 JP2016151838A5 (en) | 2017-02-02 |
JP6365338B2 true JP6365338B2 (en) | 2018-08-01 |
Family
ID=56696608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015028114A Active JP6365338B2 (en) | 2015-02-17 | 2015-02-17 | Voice guidance system and method for home appliances |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6365338B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7145654B2 (en) * | 2018-06-15 | 2022-10-03 | 三菱電機株式会社 | Hot water remote control and communication system |
US20230123290A1 (en) * | 2021-02-22 | 2023-04-20 | Panasonic Intellectual Property Management Co., Ltd. | Voice speech device, voice speech system, and voice speech method |
WO2023013093A1 (en) * | 2021-08-04 | 2023-02-09 | パナソニックIpマネジメント株式会社 | Voice notification system, voice notification method, and program |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001285961A (en) * | 2000-03-28 | 2001-10-12 | Nec Corp | Electronic device control system |
JP2004064250A (en) * | 2002-07-26 | 2004-02-26 | Ricoh Co Ltd | Electronic application apparatus |
JP2007028423A (en) * | 2005-07-20 | 2007-02-01 | Ricoh Co Ltd | Image processor, setting reporting method and program |
JP2010183534A (en) * | 2009-02-09 | 2010-08-19 | Toshiba Corp | Recording and reproducing apparatus |
JP5318172B2 (en) * | 2011-09-30 | 2013-10-16 | 株式会社東芝 | Electronic equipment and programs |
US9953267B2 (en) * | 2012-09-27 | 2018-04-24 | Panasonic Intellectual Property Management Co., Ltd. | Control method and non-transitory computer readable recording medium |
WO2014097755A1 (en) * | 2012-12-20 | 2014-06-26 | ソニー株式会社 | Communication device, communication method, communication system, and computer program |
-
2015
- 2015-02-17 JP JP2015028114A patent/JP6365338B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016151838A (en) | 2016-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020144884A1 (en) | Method, control device, and program | |
US20180087795A1 (en) | Multi-function thermostat | |
WO2014103304A1 (en) | Control method | |
KR20150005746A (en) | Home Appliances Remote Control Method And Apparatus | |
JP6365338B2 (en) | Voice guidance system and method for home appliances | |
WO2017119158A1 (en) | Control device, control method and program | |
JP6028174B1 (en) | Air conditioner control device and air conditioner control system | |
US20160004231A1 (en) | Method of managing electrical device, managing system, electrical device, operation terminal, and program | |
JP6231594B2 (en) | Control device, equipment operation system, control method and program | |
JP6681582B2 (en) | Information terminal control method and air conditioning control system in air conditioning control system | |
JP5866557B1 (en) | Monitoring system and monitoring method in monitoring system | |
JP6477954B2 (en) | Voice guidance system and method for home appliances | |
JP5787946B2 (en) | COMMUNICATION DEVICE, DEVICE OPERATION SYSTEM, COMMUNICATION METHOD, AND PROGRAM | |
JP6133934B2 (en) | Remote controller | |
JP2016151838A5 (en) | ||
CN107431734B (en) | Indoor device, communication adapter, control method, and recording medium | |
JP2015154419A (en) | Control device, control program, control method, and control system | |
JP2018195895A (en) | Control device, air conditioner, terminal device, control method, and control program | |
JP6157588B2 (en) | Remote control system, terminal device, remote control method and program | |
CN113574478B (en) | Control device, equipment control system, control method and computer readable storage medium | |
JP2020127174A (en) | Information processing system | |
JP7304706B2 (en) | Information processing system and information input/output device | |
JPWO2019186993A1 (en) | Terminal devices, device control systems, device control methods and programs | |
JP7545908B2 (en) | Network system and information processing method | |
JP7270400B2 (en) | Information processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161219 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180618 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6365338 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |