JP7373386B2 - 制御装置 - Google Patents

制御装置 Download PDF

Info

Publication number
JP7373386B2
JP7373386B2 JP2019229645A JP2019229645A JP7373386B2 JP 7373386 B2 JP7373386 B2 JP 7373386B2 JP 2019229645 A JP2019229645 A JP 2019229645A JP 2019229645 A JP2019229645 A JP 2019229645A JP 7373386 B2 JP7373386 B2 JP 7373386B2
Authority
JP
Japan
Prior art keywords
voice
instruction
target
information
air conditioner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019229645A
Other languages
English (en)
Other versions
JP2021099378A (ja
Inventor
将也 金山
裕樹 丸谷
達也 中川
正史 瀧川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Lifestyle Products and Services Corp
Original Assignee
Toshiba Lifestyle Products and Services Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Lifestyle Products and Services Corp filed Critical Toshiba Lifestyle Products and Services Corp
Priority to JP2019229645A priority Critical patent/JP7373386B2/ja
Priority to CN202011187107.3A priority patent/CN113014461A/zh
Publication of JP2021099378A publication Critical patent/JP2021099378A/ja
Application granted granted Critical
Publication of JP7373386B2 publication Critical patent/JP7373386B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Description

本明細書に開示する技術は、指示音声に基づいた動作を機器に実行させるための制御装置に関する。
特許文献1では、ウエアラブル端末は、ユーザから音声指示が与えられる場合に、音声指示を電気的な信号に変換して、変換済みの信号をネットワークに送信する。ネットワークは、ウエアラブル端末から受信した信号に応じて、家電機器を制御するための制御信号を生成し、生成済みの制御信号を家電機器に送信する。家電機器は、制御信号に応じて、所定の動作を実行する。
特開2018-120627号公報
特許文献1では、指示対象の候補として1個の機器のみが存在する。しかし、特許文献1では、指示対象の候補として複数個の機器が存在する状況が想定されていない。
本明細書では、指示対象の候補として複数個の機器が存在する状況及び指示対象の候補として1個の機器のみが存在する状況のいずれにおいても、指示音声に基づいた適切な動作の実行を可能にするための技術を提供する。
本明細書が開示する制御装置は、音声を受け付け可能な音声受付部が特定の動作を機器に実行させるための指示音声を受け付ける場合において、複数個の候補機器が設定されているときに、所定の第1条件に基づいて、前記複数個の候補機器の中から指示対象の対象機器を推定する第1の推定部と、前記音声受付部が前記指示音声を受け付ける場合において、1個の候補機器のみが設定されているときに、前記第1条件に関わらず、当該1個の候補機器を前記対象機器に決定する決定部と、前記指示音声に基づいた前記特定の動作を前記対象機器に実行させるための第1の動作関係処理を実行する第1の動作関係処理実行部と、を備えてもよい。
通信システムの構成を示す。 第1実施例においてテレビに対する指示音声が発声されるケースA1を示す。 第1実施例においてエアコンに対する指示音声が発声されるケースA2を示す。 図3の続きを示す。 第2実施例においてエアコンに対する指示音声が発声されるケースを示す。 図5の続きであるケースB、C1を示す。 図5の続きであるケースC2を示す。 第3実施例においてエアコンに対する指示音声が発声されるケースを示す。
(第1実施例)
(通信システム2の構成;図1)
図1に示されるように、通信システム2は、管理サーバ10と、制御サーバ50と、サービス提供サーバ90(以下では、「SPサーバ90」と記載)と、家4内に設置されている各機器100~500と、を備える。管理サーバ10、制御サーバ50、SPサーバ90は、インターネット8に接続されており、家4外に設置されている。
家4内には、3個のエアコン100、200、300と、1個のテレビ310と、スマートスピーカ400と、ルータ500と、が設置されている。ルータ500は、家4内の機器(例えばエアコン100)とインターネット8上のサーバ(例えば10)との間の通信を中継する。ルータ500は、インターネット8に接続されており、家4内のLAN5を形成している。LAN5は、無線LANである。なお、変形例では、LAN5は、有線LANでもよい。
エアコン100には、機器名「ac1」が付与されている。機器名は、例えば、機器の型番である。エアコン200、300にも同様に、機器名「ac2」、「ac3」が付与されている。エアコン(例えば100)は、LAN5に接続されることによって、ルータ500及びインターネット8を介して、サーバ(例えば10)と通信することができる。エアコン100、200、300は、それぞれ、家4内の第1の部屋、第2の部屋、第3の部屋に設置されている。第1の部屋、第2の部屋、第3の部屋には、それぞれ、部屋名R1、R2、R3が付与されている。
テレビ310には、機器名「tv1」が付与されている。テレビ310は、LAN5に接続されることによって、ルータ500及びインターネット8を介して、サーバ(例えば10)と通信することができる。テレビ310は、家4内の第3の部屋R3に設置されている。
スマートスピーカ400には、ID「ss1」が付与されている。ここで、IDは、例えば、スマートスピーカ400の製造元によって付与される製造番号である。スマートスピーカ400は、音声認識による操作を受け付け可能なスピーカである。スマートスピーカ400は、例えば、Google Home(登録商標)、Amazon Echo(登録商標)等である。スマートスピーカ400は、音声を受け付け可能なマイク400aと、音声を発声可能なスピーカ400bと、を備える。スマートスピーカ400は、LAN5に接続されることによって、ルータ500及びインターネット8を介して、サーバ(例えば10)と通信することができる。スマートスピーカ400は、家4内の第1の部屋R1に設置されている。なお、ルータ500も、家4内の第1の部屋R1に設置されている。
(管理サーバ10の構成)
管理サーバ10は、スマートスピーカ400と制御サーバ50との間の通信を管理するためのサーバである。管理サーバ10は、ネットワークインターフェース12と、制御部30と、を備える。各部12、30は、バス線(符号省略)に接続されている。管理サーバ10は、例えば、家4内の機器(例えばエアコン100)の製造元によって設置される。なお、以下では、インターフェースのことを「I/F」と記載する。
ネットワークI/F12は、インターネット8に接続して、インターネット8を介した通信を実行するためのI/Fである。制御部30は、CPU32と、メモリ34と、を備える。CPU32は、メモリ34に記憶されているプログラム40に従って、様々な処理を実行する。
(制御サーバ50の構成)
制御サーバ50は、家4内の機器(例えばエアコン100)を遠隔で操作するためのサーバである。制御サーバ50は、ネットワークI/F52と、制御部60と、を備える。各部52、60は、バス線(符号省略)に接続されている。制御サーバ50は、例えば、家4内の機器(例えばエアコン100)の製造元によって設置される。
ネットワークI/F52は、管理サーバ10のネットワークI/F12と同様である。制御部60は、CPU62と、メモリ64と、を備える。CPU62は、メモリ64に記憶されているプログラム70に従って、様々な処理を実行する。メモリ64は、さらに、アカウント情報AIと、機器情報と、を記憶する。
アカウント情報AIは、家4のユーザを認証するための情報である。機器情報は、家4内の機器(例えばエアコン100)に関する情報である。機器情報は、アカウント情報AIに対応付けてメモリ64に記憶される。機器情報は、例えば、機器情報を設定するための操作がユーザによって行われることによって、制御サーバ50に設定される(即ちアカウント情報AIに対応付けて記憶される)。機器情報は、機器名と、位置情報と、現況情報と、過去動作情報と、を含む。位置情報は、対応する機器が設置されている位置を示す情報(例えば第1の部屋を示す部屋名R1)である。
現況情報は、対応する機器の自身の現在の稼働状態を示す稼働情報を含む。稼働情報は、例えば、機器が停止状態(例えばスリーブ状態)である場合には、「停止」を示し、機器が動作状態(例えば冷房を実行中の状態)である場合には、「動作」を示す。また、対応する機器がエアコンである場合には、稼働情報は、さらに、当該機器の周囲の現在の状態を示す周囲情報を含む。周囲情報は、例えば、機器の周囲の温度(即ち室温)を含む。なお、周囲情報は、室温に限らず、例えば、機器の周囲の湿度、室外の温度等を含んでもよい。現況情報は、例えば、家4内の機器(例えばエアコン100)から定期的に受信され、メモリ64に記憶される。
過去動作情報は、対応する機器の過去の動作を示す。例えば、機器がエアコンである場合には、過去動作情報は、エアコンが停止する直前に実行していた動作(例えば冷房)と、当該動作の設定値(例えば冷房の設定温度)と、を示す。また、例えば、機器がテレビである場合には、過去動作情報は、テレビが停止する直前にユーザによって指定されていたチャンネル番号(例えば「1ch」)を示す。
(SPサーバ90の構成)
SPサーバ90は、スマートスピーカ400を利用したサービスを提供するためのサーバである。SPサーバ90は、例えば、スマートスピーカ400の製造元によって設置される。SPサーバ90は、アカウント情報AIと、スマートスピーカ400のID「ss1」と、を対応付けて記憶する。ID「ss1」は、例えば、スマートスピーカ400の利用を開始するための操作がユーザによって行われることによって、SPサーバ90に設定される(即ちアカウント情報AIに対応付けて記憶される)。
(テレビのケースA1;図2)
図2を参照して、テレビに対する指示音声が発声されるケースA1について説明する。なお、装置間の通信は、インターネット8、又は、インターネット8及びLAN5を介して実行される。以下では、理解の容易さの観点から、当該通信を説明する際に、「インターネット8を介して」及び「LAN5を介して」という説明を省略する場合がある。さらに、理解の容易さの観点から、装置のCPU(例えば、管理サーバ10のCPU32)がプログラム(例えば、プログラム40)に従って実行する処理を、CPUを主体として説明せず、装置を主体として説明する場合がある。
先ず、第1の部屋R1に居るユーザが指示音声「テレビをつけて」を発声する。T10では、スマートスピーカ400は、当該指示音声を受け付けたマイク400aから、当該指示音声を示す音声データを取得する。これにより、スマートスピーカ400は、指示音声「テレビをつけて」を検知する。
T12では、スマートスピーカ400は、検知済みの指示音声「テレビをつけて」に対して音声認識を実行する。例えば、スマートスピーカ400には、音声認識を実行するためのプログラムがインストールされており、スマートスピーカ400は、当該プログラムを利用して、検知済みの指示音声によって示される音声データに対する音声認識を実行する。これにより、スマートスピーカ400は、検知済みの指示音声に対する音声認識の結果を示す結果情報を取得する。本ケースでは、結果情報は、指示対象の機器の種類を示す「テレビ」と、指示の内容を示す「開始」と、を含む。なお、他の例では、スマートスピーカ400は、指示音声を示す音声データをインターネット上のサーバ(例えばSPサーバ90)に送信し、当該サーバが、音声データに対する音声認識を実行して、その結果情報をスマートスピーカ400に送信してもよい。
T14では、スマートスピーカ400は、スマートスピーカ400のID「ss1」と、スマートスピーカ400が設置されている部屋の部屋名「R1」を示す位置情報と、T12で取得された結果情報と、を含む認識情報を管理サーバ10に送信する。なお、部屋名「R1」を示す位置情報は、ユーザによってスマートスピーカ400に入力される。
管理サーバ10は、T14において、スマートスピーカ400から認識情報を受信すると、T20において、受信済みの認識情報に含まれるID「ss1」をSPサーバ90に送信する。これにより、管理サーバ10は、T22において、SPサーバ90からID「ss1」に対応付けて記憶されているアカウント情報AIを受信する。
T24では、管理サーバ10は、機器情報を要求するための機器情報要求を制御サーバ50に送信する。機器情報要求は、T22で受信したアカウント情報AIを含む。
制御サーバ50は、T24において、管理サーバ10から機器情報要求を受信すると、T30において、メモリ64から機器情報要求内のアカウント情報AIに対応付けられている機器情報を取得する。本ケースでは、4個の機器情報が、アカウント情報AIに対応付けて記憶されている。4個の機器情報は、3個のエアコン100~300に対応する3個の機器情報と、1個のテレビ310に対応する1個の機器情報と、を含む。
T32では、制御サーバ50は、T30で取得された4個の機器情報を管理サーバ10に送信する。
管理サーバ10は、T32において、制御サーバ50から4個の機器情報を受信すると、T40において、T14で受信した認識情報内の結果情報を利用した判断を実行する。具体的には、管理サーバ10は、結果情報に含まれる種類と同じ種類に対応する2個以上の機器名が4個の機器情報内に存在するのか否かを判断する。本ケースでは、管理サーバ10は、結果情報に含まれる種類と同じ種類「テレビ」に対応する1個の機器名「tv1」のみが4個の機器情報内に存在すると判断する。即ち、管理サーバ10は、結果情報に含まれる種類「テレビ」と同じ種類の1個のテレビ310のみが設定されていると判断する。この場合、管理サーバ10は、T14で受信した認識情報内の位置情報を利用した推定を実行することなく、機器名「tv1」のテレビ310を指示対象として決定して、T44に進む。なお、後述する図3のケースA2は、結果情報に含まれる種類と同じ種類に対応する2個以上の機器名が4個の機器情報内に存在すると判断されるケースである。詳しくは後述するが、この場合には、管理サーバ10は、T14で受信した認識情報内の位置情報を利用した推定を実行する。
T44では、管理サーバ10は、指示対象のテレビ310の機器名「tv1」を含む機器情報内の過去動作情報「1ch」を、指示対象に指示する動作を示す対象動作情報として決定する。これにより、管理サーバ10は、指示音声に具体的な指示内容(例えばチャンネル番号)が含まれていない場合でも、ユーザによって過去に指示された動作を利用して、今回の指示内容を推定することができる。
T60では、管理サーバ10は、動作コマンドを制御サーバ50に送信する。当該動作コマンドは、テレビ開始要求を機器名「tv1」によって示されるテレビ310に送信することを指示するコマンドである。テレビ開始要求は、対象動作情報「1ch」によって示される動作(即ちチャンネル番号「1ch」で放送中の番組を出力する動作)をテレビ310に要求するコマンドである。当該動作コマンドは、対象動作情報「1ch」を含む。
制御サーバ50は、T60において、管理サーバ10から動作コマンドを受信すると、T62において、テレビ開始要求をテレビ310に送信する。テレビ開始要求は、チャンネル番号「1ch」を含む。
テレビ310は、T62において、制御サーバ50からテレビ開始要求を受信すると、T64において、テレビ開始要求内のチャンネル番号「1ch」で放送中の番組の出力を開始する。これにより、第3の部屋R3に居るユーザは、チャンネル番号「1ch」で放送中の番組を視聴することができる。
T66では、テレビ310は、テレビ開始要求に従った動作が開始されたことを示す開始通知を制御サーバ50に送信する。これにより、開始通知は、制御サーバ50を介して、管理サーバ10に送信される。
管理サーバ10は、T68において、制御サーバ50から開始通知を受信すると、T70において、ユーザに指示音声の結果を通知する通知音声「テレビtv1で1chを出力しました」を示す音声データをスマートスピーカ400に送信する。
スマートスピーカ400は、T70において、管理サーバ10から通知音声「テレビtv1で1chを出力しました」を示す音声データを受信すると、T72において、当該音声データをスピーカ400bに供給する。これにより、スピーカ400bは、当該音声データに従って、通知音声「テレビtv1で1chを出力しました」を発声する。当該通知音声を聞いたユーザは、T10の指示音声に従って、テレビ310でチャンネル番号「1ch」の番組が出力されたことを知ることができる。
(エアコンのケースA2;図3、図4)
図3、図4を参照して、エアコンに対する指示音声が発声されるケースA2について説明する。
T110は、指示音声「エアコンをつけて」が検知される点を除いて、図2のT10と同様である。T112、T114では、結果情報が指示対象の機器の種類を示す「エアコン」を含む点を除いて、T12、T14と同様である。T120~T132は、T20~T32と同様である。
T140では、管理サーバ10は、結果情報に含まれる種類「エアコン」と同じ種類に対応する3個の機器名「ac1」~「ac3」が4個の機器情報内に存在すると判断する。即ち、管理サーバ10は、結果情報に含まれる種類「エアコン」と同じ種類の3個のエアコン100~300が設定されていると判断する。
T142では、管理サーバ10は、T140で判断された3個の機器名「ac1」~「ac3」の中から、T114の認識情報に含まれる位置情報「R1」と同じ位置情報「R1」が対応付けられている機器名「ac1」を選択する。上述したように、認識情報に含まれる位置情報「R1」は、スマートスピーカ400が設置されている部屋(即ち、指示音声の発声元のユーザが居る部屋)を示す。即ち、管理サーバ10は、家4内の3個のエアコン100~300の中から、指示音声の発声元のユーザが居る部屋と同じ部屋に設置されている機器名「ac1」のエアコン100を指示対象として推定する。T144は、機器名「ac1」を含む機器情報内の過去動作情報「冷房26℃」が利用される点を除いて、図2のT44と同様である。
続いて、T160では、管理サーバ10は、動作コマンドを制御サーバ50に送信する。当該動作コマンドは、冷房開始要求を機器名「ac1」によって示されるエアコン100に送信することを指示するコマンドである。冷房開始要求は、対象動作情報「冷房26℃」によって示される動作(即ち設定温度26℃で冷房を開始する動作)をエアコン100に要求するコマンドである。当該動作コマンドは、対象動作情報「冷房26℃」を含む。
制御サーバ50は、T160において、管理サーバ10から動作コマンドを受信すると、T62において、冷房開始要求をエアコン100に送信する。冷房開始要求は、設定温度「26℃」を含む。
エアコン100は、T162において、制御サーバ50から冷房開始要求を受信すると、T164において、冷房開始要求内の設置温度「26℃」で冷房を開始する。T166、T168は、図2のT66、T68と同様である。T170、T172は、通知音声が「エアコンac1の冷房を開始しました」である点を除いて、T70、T72と同様である。当該通知音声を聞いたユーザは、T110の指示音声に従って、エアコン100で冷房が開始されたことを知ることができる。
ユーザが、第1の部屋R1のエアコン100の冷房を開始することを意図して、指示音声「エアコンをつけて」を発声する場合には、T172の処理で、本ケースは終了する。しかし、指示音声「エアコンをつけて」は、家4内の3個のエアコン100~300のうちのいずれのエアコンであるかを指し示す言葉(例えば機器名)を含まない。そのため、ユーザが、第1の部屋R1のエアコン100とは異なるエアコンの冷房を開始することを意図して、指示音声「エアコンをつけて」を発声する可能性がある。この場合、ユーザは、T172の通知音声「エアコンc1の冷房を開始しました」に対して、ユーザの意図と異なることを示す誤解音声「ちがうよ」を発声する。
T174では、スマートスピーカ400は、誤解音声「ちがうよ」を検知する。T176では、スマートスピーカ400は、検知済みの誤解音声に対して音声認識を実行する。本ケースでは、スマートスピーカ400は、ユーザの意図と異なるエアコンが誤って推定されたことを示す「誤解」を含む結果情報を取得する。
T176では、スマートスピーカ400は、スマートスピーカ400のID「ss1」と、T174で取得された結果情報と、を含む認識情報を管理サーバ10に送信する。
T180では、管理サーバ10は、停止コマンドを制御サーバ50に送信する。当該停止コマンドは、停止要求をエアコン100に送信することを指示するコマンドである。停止要求は、冷房の停止をエアコン100に要求するコマンドである。
制御サーバ50は、T180において、管理サーバ10から停止コマンドを受信すると、T182において、停止要求をエアコン100に送信する。
エアコン100は、T182において、制御サーバ50から停止要求を受信すると、T184において、冷房を停止する。続くT186では、エアコン100は、冷房が停止したことを示す停止通知を制御サーバ50に送信する。これにより、停止通知は、制御サーバ50を介して、管理サーバ10に送信される。
管理サーバ10は、T186において、制御サーバ50から停止通知を受信すると、T190に進む。
T190では、管理サーバ10は、3個の機器名「ac1」~「ac3」から、図3のT142で選択された機器名「ac1」を除いた、2個の機器名「ac2」、「ac3」を特定する。そして、管理サーバ10は、特定済みの2個の機器名「ac2」、「ac3」の中から、最も高い室温と「停止」を示す稼働情報とを含む現況情報と対応付けられている機器名を有するエアコンを次の指示対象として推定する。本ケースでは、機器名「ac2」に対応する現況情報は、室温「27℃」と「停止」を含み、機器名「ac3」に対応する現況情報は、室温「30℃」と「停止」を含む。このため、管理サーバ10は、最も高い室温「30℃」と「停止」を含む現況情報に対応付けられている機器名「ac3」を有するエアコン300を次の指示対象として推定する。
T192は、機器名「ac3」を含む機器情報内の過去動作情報「冷房26℃」が利用される点を除いて、図3のT144と同様である。T200、T202は、指示対象がエアコン300である点を除いて、T160、T162と同様である。T204、T206は、動作主体がエアコン300である点を除いて、T164、T166と同様である。T208は、T168と同様である。T210、T212は、通知音声が「エアコンac3の冷房を開始しました」である点を除いて、T170、T172と同様である。
(本実施例の効果)
上記のように、制御サーバ50には、機器の種類「エアコン」について、3個のエアコン100~300が遠隔操作可能な候補である候補機器として設定されている。例えば、ユーザがエアコン100の遠隔操作を意図している場合に、エアコン100を特定するための言葉(例えば機器名「ac1」)を含む指示音声(例えば「エアコンac1をつけて」)を発声する比較例が想定される。この比較例では、指示対象がエアコン100であることが明確であるものの、ユーザがエアコン100を特定するための言葉を知っている必要がある。さらに、ユーザが発声する指示音声が比較的に長くなる。このため、ユーザが指示音声を発声することを煩わしく感じる可能性がある。これに対して、図3及び図4のケースA2では、管理サーバ10は、スマートスピーカ400が指示音声「エアコンをつけて」を受け付ける場合(T110)において、同一種類の3個のエアコン100~300の中からスマートスピーカ400が設置されている部屋(即ち、指示音声の発声元のユーザが居る部屋)と同じ部屋に設置されているエアコン100を指示対象として推定する。このため、ユーザは、エアコン100を特定するための言葉を指示音声に含める必要がない。ユーザが指示音声を発声することを煩わしく感じることを抑制することができる。ユーザの利便性が向上する。
また、上記のように、制御サーバ50には、機器の種類「テレビ」について、1個のテレビ310のみが候補機器として設定されている。この場合には、指示対象の機器を推定する必要がない。図2のケースA1では、管理サーバ10は、スマートスピーカ400が指示音声「テレビをつけて」を受け付ける場合(T10)において、指示音声に含まれる種類「テレビ」と同じ種類の1個のテレビ310のみが設定されていると判断する(T40)。そして、管理サーバ10は、指示対象を推定する処理(例えば図4のT142)を実行することなく、指示対象のテレビ310に対する動作コマンドを制御サーバ50に送信する。本ケースでは、指示対象を推定する処理が実行されないので、不要な処理が実行されることを抑制することができる。
図3及び図4のケースA2で示したように、制御サーバ50は、複数個の候補機器(例えば3個のエアコン)が設定されている場合には、指示対象の機器を推定して、指示音声に基づいた動作を推定済みの機器に実行させる。一方、図2のケースA1で示したように、制御サーバ50は、1個の候補機器(例えば1個のテレビ)のみが設定されている場合には、指示対象の機器を推定することなく、当該1個の候補機器を指示対象の機器に決定して、指示音声に基づいた動作を決定済みの機器に実行させる。即ち、本実施例の構成によれば、指示対象の候補として複数個の機器が存在する状況及び指示対象の候補として1個の機器のみが存在する状況のいずれにおいて、指示対象に基づいた動作を適切な機器に実行させることができる。
また、上記の構成によれば、管理サーバ10は、スマートスピーカ400がユーザの意図と異なることを示す誤解音声「ちがうよ」を受け付ける場合(図4のT174)に、誤って推定されたエアコン100に対する停止コマンドを制御サーバ50に送信する(T180)。管理サーバ10によって指示対象が誤って推定される場合であっても、ユーザは、誤解音声を発声するだけで、誤って推定された指示対象の動作を停止することができる。また、ユーザは、誤解音声を発声するだけでよく、例えば、指示音声「エアコンac1を停止して」という比較的長い音声を発声する必要がない。ユーザの利便性が向上する。
また、上記の構成によれば、管理サーバ10は、スマートスピーカ400がユーザの意図と異なることを示す誤解音声「ちがうよ」を受け付ける場合(図4のT174)に、先に推定されたエアコン100を除いた2個のエアコン200、300の中から、次の指示対象としてエアコン300を推定する(T190)。そして、管理サーバ10は、推定済みのエアコン300に対する動作コマンドを制御サーバ50に送信する(T200)。管理サーバ10によって指示対象が誤って推定される場合であっても、ユーザは、誤解音声を発声するだけで、指示音声に基づいた動作をユーザの意図する可能性の高いエアコン300に実行させることができる。ユーザは、誤解音声を発声するだけでよく、例えば、指示音声「エアコンac3をつけて」という比較的長い音声を発声する必要がない。ユーザの利便性が向上する。
また、上記の構成によれば、管理サーバ10は、位置情報を利用して推定が誤っている場合に、位置情報とは異なる現況情報を利用して、次の指示対象を推定する(図4のT190)。先の推定とは異なる条件で次の推定を実行することによって、先の推定と同様に推定が誤ることを抑制することができる。
また、例えば、指示音声の発声元のユーザが居る部屋に設置されているエアコン100の推定が誤っている場合に、残りの候補からランダムに次の指示対象を推定する比較例が想定される。この比較例では、次の指示対象の推定も誤る可能性が高い。これに対して、管理サーバ10は、指示音声の発声元のユーザが居る部屋に設置されているエアコン100の推定が誤っている場合に、最も高い室温「30℃」を含む現況情報に対応付けられている機器名「ac3」を有するエアコン300を次の指示対象として推定する(T190)。指示内容が冷房の開始と推定される場合には、ユーザは、最も高い室温の部屋に設置されているエアコンの冷房の開始を意図している可能性が高い。エアコンが設置されている部屋の室温の情報を利用することで、上記の比較例と比べて、次の指示対象の推定の精度を高めることができる。なお、指示内容が暖房の開始と推定される場合には、ユーザは、最も低い室温の部屋に設置されているエアコンの暖房の開始を意図している可能性が高い。この場合には、管理サーバ10は、最も低い室温を含む現況情報に対応付けられている機器名を有するエアコンを次の指示対象として推定してもよい。なお、変形例では、上記の比較例を採用してもよい。
(対応関係)
管理サーバ10が、「制御装置」の一例である。スマートスピーカ400のマイク400a、スピーカ400bが、それぞれ、「音声受付部」、「音声出力部」の一例である。3個のエアコン100~300、1個のテレビ310が、それぞれ、「複数個の候補機器」、「1個の候補機器」の一例である。図2のケースA1におけるテレビの出力の開始及び図3のケースA2におけるエアコンの冷房の開始が、「特定の動作」の一例である。ここで、「特定の動作」とは、ユーザが音声により指示する機器の動作の内容のことをいう。ケースA1の「テレビをつけて」及びケースA2の「エアコンをつけて」が、「指示音声」の一例である。ケースA1のT60及びケースA2のT160が、「第1の動作関係処理」の一例である。ケースA1のテレビ開始要求及びケースA2の冷房開始要求が、「実行要求」の一例である。ケースA1のT72の音声及びケースA2のT172の音声が、「完了音声」の一例である。音声「ちがうよ」が、「誤解音声」の一例である。図4のT182の停止要求が、「停止要求」の一例である。図3のT142における認識情報に含まれる位置情報を利用した条件が、「第1条件」の一例である。エアコン100、エアコン300が、それぞれ、「第1の機器(特定の機器)」、「第2の機器」の一例である。2個のエアコン200、300が、「1個以上の候補機器」の一例である。図4のT200が、「第2の動作関係処理」の一例である。認識情報内の位置情報「R1」が、「位置情報」の一例である。現況情報内の周囲情報、稼働情報が、「機器の周囲の状態に関する情報」、「機器の自身の状態に関する情報」の一例である。
(第2実施例)
第1実施例では、指示音声に基づいた動作が直ぐに実行される。これに対して、第2実施例は、指示音声に基づいた動作の実行の前に、ユーザに対する確認を実行可能に構成されている。本実施例の通信システム2の構成は、第1実施例の通信システム2の構成と同様である。
(エアコンのケース;図5、図6、図7)
図5~図7を参照して、本実施例においてエアコンに対する指示音声が発声されるケースについて説明する。なお、本ケースでは、機器名「ac1」に対応する過去動作情報が、「空清」又は「冷房26℃」を示す。ここで、過去動作情報「空清」は、エアコンが停止する直前に実行していた動作が空気清浄であることを示す。
T310~T342は、図3のT110~T142と同様である。T344では、管理サーバ10は、機器名「ac1」を含む機器情報内の過去動作情報が「空清」を示す場合には、過去動作情報「空清」を対象動作情報として決定し、機器名「ac1」を含む機器情報内の過去動作情報が「冷房26℃」を示す場合には、過去動作情報「冷房26℃」を対象動作情報として決定する。
T346では、管理サーバ10は、T344で決定された対象動作情報が所定の動作を示すのか否かを判断する。ここで、所定の動作は、例えば、空気清浄を開始する動作である。管理サーバ10は、対象動作情報が所定の動作を示す場合(T346でYES)に、図6のケースBに進み、対象動作情報が所定の動作以外の動作(例えば冷房を開始する動作)を示す場合(T346でNO)に、図6のケースC1又はケースC2に進む。
(空気清浄のケースB:図6)
ケースBについて、T360は、動作コマンドが、空清開始要求をエアコン100に送信することを指示するコマンドである点を除いて、図4のT160と同様である。空清開始要求は、対象動作情報「空清」によって示される動作(即ち空気清浄を開始する動作)をエアコン100に要求するコマンドである。当該動作コマンドは、対象動作情報「空清」を含む。
T160は、空清開始要求がエアコン100に送信される点を除いて、図4のT162と同様である。T346では、エアコン100は、空気清浄を開始する。T366、T368は、T166、T168と同様である。T370、T372は、通知音声が「エアコンac1の空清を開始しました」である点を除いて、T170、T172と同様である。
(冷房のケースC1;図6)
ケースC1について、T450では、管理サーバ10は、動作コマンドを制御サーバ50の送信することなく、確認音声「エアコンac1の冷房を開始しますか」を示す音声データをスマートスピーカ400に送信する。確認音声は、指示対象として推定されたエアコンがユーザの意図と同じであるのかをユーザに確認するための音声である。確認音声は、図5のT342で指示対象として推定されたエアコン100の機器名「ac1」を含む。
スマートスピーカ400は、T450において、管理サーバ10から確認音声を示す音声データを受信すると、T452において、確認音声「エアコンac1の冷房を開始しますか」を発声する。ユーザは、確認音声に含まれる機器名「ac1」を聞いて、エアコン100が指示対象として推定されたことを知ることができる。本ケースでは、ユーザは、自分が居る第1の部屋R1に設置されているエアコン100の冷房の開始を意図している。この場合、ユーザは、T452の確認音声に対して、ユーザの意図と同じであることを示す正解音声「いいよ」を発声する。
T454では、スマートスピーカ400は、正解音声「いいよ」を検知する。T456では、スマートスピーカ400は、検知済みの正解音声に対して音声認識を実行する。本ケースでは、スマートスピーカ400は、ユーザの意図と同じエアコンが正しく推定されたことを示す「正解」を含む結果情報を取得する。
T458では、スマートスピーカ400は、スマートスピーカ400のID「ss1」と、T454で取得された結果情報と、を含む認識情報を管理サーバ10に送信する。
管理サーバ10は、T458において、スマートスピーカ400から認識情報を受信すると、T460に進む。T460は、図4のT160と同様である。T462、T464は、T162、T164と同様である。即ち、指示対象として推定されたエアコン100において、設置温度「26℃」の冷房が開始される。
(冷房のケースC2;図7)
ケースC2について、T550、T552は、図6のT450、T452と同様である。本ケースでは、ユーザは、自分が居る第1の部屋R1に設置されているエアコン100とは異なるエアコンの冷房の開始を意図している。この場合、ユーザは、T552の確認音声に対して、ユーザの意図と異なることを示す誤解音声「ちがうよ」を発声する。
T554、T558は、図4のT176、T178と同様である。管理サーバ10は、T178において、スマートスピーカ400から結果情報「誤解」を含む認識情報を受信すると、T560及びT562において、次の指示対象を推定する。T560、T562
は、図4のT190、T192と同様である。即ち、管理サーバ10は、次の指示対象として、機器名「ac3」のエアコン300を推定する。
T570、T572は、確認音声が「エアコンac3の冷房を開始しますか」である点を除いて、T550、T552と同様である。本ケースでは、ユーザは、自分の居ない第3の部屋R3に設置されているエアコン300の冷房の開始を意図している。この場合、ユーザは、T552の確認音声に対して、ユーザの意図と同じであることを示す正解音声「いいよ」を発声する。
T576、T578は、図6のT456、T458と同様である。T590、T592は、指示対象がエアコン300である点を除いて、図6のT460と同様である。T594は、動作主体がエアコン300である点を除いて、T464と同様である。
なお、図示は省略するが、例えば、候補機器として1個のエアコン100のみが設定されている状況が想定される。この場合には、管理サーバ10は、指示対象の機器を推定することなく(即ち図5のT342の処理を実行することなく)、当該1個のエアコン100を指示対象として決定する。そして、管理サーバ10は、図6のT450と同様の確認音声を示す音声データをスマートスピーカ400に送信する。
(本実施例の効果)
図6のケースC1で示したように、制御サーバ50は、複数個の候補機器(例えば3個のエアコン)が設定されている場合には、指示対象の機器を推定して、指示対象として推定されたエアコンがユーザの意図と同じであるのかをユーザに確認する確認音声をスマートスピーカ400に発声させる。一方、制御サーバ50は、1個の候補機器(例えば1個のエアコン)のみが設定されている場合には、指示対象の機器を推定することなく、当該1個の候補機器を指示対象の機器に決定して、確認音声をスマートスピーカ400に発声させる。即ち、本実施例の構成では、指示対象の候補として複数個の機器が存在する状況及び指示対象の候補として1個の機器のみが存在する状況のいずれにおいて、適切な確認音声の発声をスマートスピーカ400に実行させることができる。さらに、本実施例でも、指示対象の機器の推定が実行されるので、ユーザは、自分が意図する機器を特定するための言葉を含めた指示音声を発声する必要がない。ユーザの利便性が向上する。また、本実施例でも、1個の候補機器のみが設定されている場合には、指示対象を推定する処理が実行されないので、不要な処理が実行されることを抑制することができる。
また、上記の構成によれば、管理サーバ10は、スマートスピーカ400が確認音声に対する正解音声「いいよ」を受け付ける場合(図6のT454)に、指示対象として推定されたエアコン100に対する動作コマンドを制御サーバ50に送信する(T460)。一方、管理サーバ10は、スマートスピーカ400が確認音声に対する誤解音声「ちがうよ」を受け付ける場合(図7のT554)に、指示対象として推定されたエアコン100に対する動作コマンドを制御サーバ50に送信しない。即ち、第2実施例では、動作コマンドを制御サーバ50に送信する前に、確認音声によってユーザの意図を確認することができる。これにより、確認音声の発声を実行することなく動作コマンドを制御サーバ50に送信する第1実施例と比較して、誤って推定された指示対象の動作を停止するための処理(例えば図4のT180)を実行することを抑制することができる。なお、第1実施例では、確認音声が発声されない。このため、第1実施例は、指示音声に基づいた動作を速やかに推定済みの機器に実行させることができるという利点を有する。
また、ケースBによれば、管理サーバ10は、対象動作情報が所定の動作である「空清」を示す場合(図5のT346でYES)に、確認音声をスマートスピーカ400に発声させることなく、動作コマンドを制御サーバ50に送信する(図6のT360)。ケースBの「空清」は、確認音声の発声が実行されるケースC1の「冷房」と比較して、エアコンの消費電力が少ない。即ち、「空清」は、「冷房」と比較して、経済的な影響が少ない。また、「冷房」は、「空清」と比較して、誤って実行される場合にユーザに不快感を与える可能性が高い。即ち、「空清」は、ユーザ(即ち人体)に与える影響が少ない。このように、経済的又は人体的な影響が少ない動作について、ユーザは確認音声による確認が行われることに煩わしさを感じ得る。T346において対象動作情報が所定の動作であるのか否かの判断を実行することによって、経済的又は人体的な影響が少ない動作が実行されるべき状況において、確認音声の発声を省略することができる。ユーザが煩わしく感じることを抑制することができる。ユーザの利便性が向上する。
(対応関係)
図5のT346の所定の動作が、「所定の動作」の一例である。図6のT450又は図7のT550が、「第1の動作関係処理」の一例である。図7のT570が、「第2の動作関係処理」の一例である。図6のT452の確認音声、T454の正解音声「いいよ」が、それぞれ、「確認音声」、「正解音声」の一例である。
(第3実施例)
第3実施例は、指示対象の機器を推定するための条件が異なる点を除いて、第1実施例と同様である。
(エアコンのケース;図8)
図5~図7を参照して、本実施例においてエアコンに対する指示音声が発声されるケースについて説明する。
T610、T612は、図3のT110、T112と同様である。T614は、認証情報が位置情報を含まない点を除いて、T114と同様である。T620~T640は、T120~T140と同様である。T642では、管理サーバ10は、T640で判断された3個の機器名「ac1」~「ac3」の中から、最も高い室温と「停止」を示す稼働情報とを含む現況情報と対応付けられている機器名を有するエアコンを指示対象として推定する。本ケースでは、機器名「ac1」対応する現況情報が、最も高い室温「31℃」と「停止」を含む。このため、管理サーバ10は、最も高い室温「31℃」と「停止」を含む現況情報に対応付けられている機器名「ac1」を有するエアコン100を指示対象として推定する。
続いて、図4のT160~T172と同様の処理が実行される。これにより、エアコン100において冷房が開始され、その後に、スマートスピーカ400において、通知音声「エアコンac1の冷房を開始しました」が発声される。
なお、図示は省略しているが、1個の候補機器(例えば1個のテレビ)のみが設定されている状況における処理は、第1実施例のケースA(図2参照)と同様である。
本ケースでも、第1実施例と同様に、複数個の候補機器(例えば3個のエアコン)が存在する状況及び指示対象の候補として1個の機器のみが存在する状況のいずれにおいて、において、指示対象に基づいた動作を適切な機器に実行させることができる。図8のT642における現況情報を利用した条件が、「第1条件」の一例である。
上記の各実施例の変形例を以下に記載する。
上記の各実施例では、通信システム2は、管理サーバ10と制御サーバ50とを備える。これに代えて、通信システム2は、1個のサーバのみを備えていてもよい。この場合、当該1個のサーバが、管理サーバ10が実行する処理と制御サーバ50が実行する処理との双方を実行してもよい。本変形例では、当該1個のサーバが、「制御装置」の一例である。
上記の各実施例では、通信システム2は、スマートスピーカ400を備える。これに代えて、通信システム2は、マイクとスピーカを備える端末装置(例えば、デスクトップPC、スマートフォン)を備えてもよい。本変形例では、端末装置のマイク、端末装置のスピーカが、それぞれ、「音声受付部」、「音声出力部」の一例である。
上記の各実施例では、通信システム2は、管理サーバ10と制御サーバ50とを備える。これに代えて、通信システム2は、管理サーバ10と制御サーバ50とを備えず、スマートスピーカ400と、家4内の複数個の機器と、を備えていてもよい。この場合、スマートスピーカ400は、複数個の機器に対応する複数個の機器情報を記憶しており、家4内のLAN5を介して、機器から機器情報内の現況情報を受信して記憶してもよい。そして、スマートスピーカ400は、指示音声を受け付ける場合に、複数個の機器情報内の複数個の機器名に対応する複数個の機器から、所定の条件に基づいて、指示対象の機器を推定してもよい。本変形例では、スマートスピーカ400が、「制御装置」の一例である。また、他の例では、指示対象の機器の推定が、スマートフォン等の端末装置によって実行されてもよい。本変形例では、端末装置が、「制御装置」の一例である。
機器情報は、過去動作情報を含まなくてもよい。この場合、指示音声は、具体的な指示内容を示す言葉(例えば26℃で冷房)を含んでいてもよい。一般的に言えば、「指示音声」は、「特定の動作」を示す言葉を含んでいてもよいし、含まなくてもよい。
第1実施例において、図2のT70、T72、及び、図4のT170、T172の処理は実行されなくてもよい。本変形例では、「完了音声」、「出力制御部」を省略可能である。
第1実施例において、図4のT180~T188の処理は実行されなくてもよい。本変形例では、「停止処理実行部」を省略可能である。
第1実施例において、図4のT190以降の処理は実行されなくてもよい。第2実施例において、図7のT560以降の処理は実行されなくてもよい。これら変形例では、「第2の推定部」、「第2の動作関係処理実行部」を省略可能である。
第1実施例において、管理サーバ10は、位置情報を利用して先の推定を実行し(図3のT142)、現況情報を利用して次の推定を実行する(図4のT190)。これに代えて、管理サーバ10は、現況情報を利用して先の推定と次の推定の双方を実行してもよい。一般的に言えば、「第2の機器」は、第1条件と同じ条件に基づいて、推定されてもよい。
「位置情報」は、部屋名に限らず、例えば、指示音声の発声元のユーザの位置を示すユーザ情報であってもよい。例えば、ユーザ情報は、ユーザが携帯する装置に含まれるGPSセンサによって計測される経緯度を示す情報、当該ユーザを検知する人感センサ(例えば、赤外線を利用したセンサ、Wi-Fiの電波を利用したセンサ)からの出力信号、ユーザから基準点までの距離を示す情報(例えば、赤外線距離センサの出力信号)、当該ユーザを撮影するカメラの画像を解析した情報等であってもよい。
第1実施例において、管理サーバ10は、指示音声の発声元のユーザが居る部屋と同じ部屋に設置されているエアコン100を指示対象として推定する(図3のT142)。これに代えて、管理サーバ10は、ユーザが居る部屋に最も近い部屋に設置されているエアコンを指示対象として推定してもよい。
「機器」は、エアコン、テレビに限らず、例えば、洗濯機、炊飯器、オーブンレンジ、給湯器、暖房器(例えばファンヒータ)、冷蔵庫、端末装置等であってもよい。
「所定の動作」は、空気清浄に限らない。例えば、指示対象が給湯器である場合には、「所定の動作」は、追い炊き動作であり、「所定の動作」以外の動作は、湯はり動作であってもよい。湯はり動作は、浴槽内に湯を溜める動作であるため、誤って開始されると浴槽内の湯が無駄となり、経済的な影響が大きい。これに対して。追い炊き動作は、浴槽内の湯量が増える動作ではないので、湯はり動作と比較して、経済的な影響が小さい。また、例えば、指示対象がエアコンである場合には、「所定の動作」は、設定温度と室温との温度差の小さい冷房又は暖房であり、「所定の動作」以外の動作は、設定温度と室温との温度差の大きい冷房又は暖房であってもよい。温度差が大きくなるほど、人体的な影響は大きくなる。一般的に言えば、「所定の動作」は、所定の動作以外の動作と比較して、経済的又は人体的な影響が少ない動作である。
また、「所定の動作」とは、動作の開始後すぐにその動作を取り消せば、その動作の開始による影響が軽微な動作であってもよい。例えば、指示対象がエアコンである場合には、設定温度の変更という動作は、設定温度を変更した後すぐに元の設定温度に戻せば実質的な室内の温度変化は生じないので、本変形例における「所定の動作」に該当する。また例えば、指示対象が空気清浄機である場合には、空気清浄を開始する動作は、空気が清浄されるに過ぎず、ユーザにとって取り返しのつかない悪影響をもたらすものではないので、本変形例における「所定の動作」に該当する。一方、指示対象が洗濯機である場合には、洗濯機内に洗濯予定の衣類が入れられている状況において、洗濯を開始する動作は、開始後すぐに洗濯を停止しても、水の投入により衣類が濡れてしまうので、本変形例の「所定の動作」には該当しない。即ち、対象動作情報が「洗濯の開始」を示す場合には、確認音声(例えば「洗濯を開始しますか」)が発声されることが望ましい。
図2のケースの変形例として、テレビ310に対応する1個の機器情報のみが、アカウント情報AIに対応付けて記憶されている状況が想定される。この状況において、T10の指示音声は、「テレビをつけて」に代えて、「つけて」であってもよい。そして、管理サーバ10は、T40において、制御サーバ50から受信した1個の機器情報に対応するテレビ310を指示対象として決定してもよい。上記の状況において指示対象を決定する処理が、「1個の候補機器のみが設定されているときに、前記第1条件に関わらず、当該1個の候補機器を前記対象機器に決定する」ことの一例である。
第3実施例において、管理サーバ10は、周囲情報(例えば室温)と稼働情報の双方を利用した条件に基づいて、指示対象の機器を推定する(図8のT642)。これに代えて、管理サーバ10は、稼働情報のみを利用した条件に基づいて、指示対象の機器を推定してもよいし、周囲情報のみを利用した条件に基づいて、指示対象の機器を推定してもよい。本変形例では、一般的に言えば、「機器の自身の状態に関する情報」と「機器の周囲の状態に関する情報」の少なくとも一方が利用されればよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
2:通信システム、4:家、5:LAN、8:インターネット、10:管理サーバ、12:ネットワークI/F、30:制御部、32:CPU、34:メモリ、40:プログラム、50:制御サーバ、52:ネットワークI/F、60:制御部、62:CPU、64:メモリ、70:プログラム、90:SPサーバ、100~300:エアコン、310:テレビ、400:スマートスピーカ、400a:マイク、400b:スピーカ、500:ルータ、AI:アカウント情報

Claims (10)

  1. 音声を受け付け可能な音声受付部が特定の動作を機器に実行させるための指示音声を受け付ける場合において、複数個の候補機器が設定されているときに、所定の第1条件に基づいて、前記複数個の候補機器の中から指示対象の対象機器を推定する第1の推定部と、
    前記音声受付部が前記指示音声を受け付ける場合において、1個の候補機器のみが設定されているときに、前記第1条件に関わらず、当該1個の候補機器を前記対象機器に決定する決定部と、
    前記指示音声に基づいた前記特定の動作を前記対象機器に実行させるための第1の動作関係処理を実行する第1の動作関係処理実行部と、
    前記第1の動作関係処理が実行された後に、前記音声受付部が、前記複数個の候補機器のうちの第1の機器が誤って前記対象機器として推定されたことを示す誤解音声を受け付ける場合に、前記複数個の候補機器から前記第1の機器を除く、1個以上の候補機器の中から、前記第1条件とは異なる所定の第2条件に基づいて、指示対象として第2の機器を推定する第2の推定部と、
    前記指示音声に基づいた前記特定の動作を前記第2の機器に実行させるための第2の動作関係処理を実行する第2の動作関係処理実行部と、
    を備える、制御装置。
  2. 前記第1の動作関係処理は、前記特定の動作の実行を要求する実行要求を前記対象機器に送信するための処理を含み、
    前記制御装置は、さらに、
    前記対象機器が前記特定の動作を実行したことを示す完了音声を音声出力部に出力させる出力制御部を備える、請求項1に記載の制御装置。
  3. 前記制御装置は、さらに、
    前記音声出力部が前記完了音声を出力した後に、前記音声受付部が、前記複数個の候補機器のうちの特定の機器が誤って前記対象機器として推定されたことを示す誤解音声を受け付ける場合に、前記特定の動作の停止を要求する停止要求を前記特定の機器に送信するための処理を実行する停止処理実行部を備える、請求項2に記載の制御装置。
  4. 前記第1の動作関係処理は、
    前記特定の動作を前記対象機器に実行させることをユーザに確認するための確認音声を音声出力部に出力させるための処理と、
    前記音声出力部が前記確認音声を出力した後に、前記音声受付部が、前記複数個の候補機器のうちの特定の機器が正しく前記対象機器として推定されたことを示す正解音声を受け付ける場合に、前記特定の動作の実行を要求する実行要求を前記特定の機器に送信するための処理と、
    を含み、
    前記音声出力部が前記確認音声を出力した後に、前記音声受付部が、前記特定の機器が誤って前記対象機器として推定されたことを示す誤解音声を受け付ける場合に、前記実行要求は前記特定の機器に送信されない、請求項1に記載の制御装置。
  5. 前記第1の動作関係処理は、前記特定の動作が所定の動作である場合に、前記確認音声を前記音声出力部に出力させることなく、前記実行要求を前記対象機器に送信するための処理を含む、請求項4に記載の制御装置。
  6. 前記第1条件は、前記指示音声の発声元の位置に関する位置情報を利用する条件を含む、請求項1からのいずれか一項に記載の制御装置。
  7. 前記第1の推定部は、前記複数個の候補機器の中から、前記位置情報によって示される場所と同じ場所に設置されている機器を前記対象機器として推定する、請求項に記載の制御装置。
  8. 前記第1条件は、前記機器の自身の状態に関する情報及び前記機器の周囲の状態に関する情報のうちの少なくとも一方の情報を利用する条件を含む、請求項1からのいずれか一項に記載の制御装置。
  9. 音声を受け付け可能な音声受付部が、機を動作させるための指示音声を受け付ける場合において、冷房動作可能な複数個の候補機器が設定されているときに、前記複数個の候補機器のうち、周囲の温度が最も高い機器を指示対象の対象機器として推定する第1の推定部と、
    前記音声受付部が前記指示音声を受け付ける場合において、1個の候補機器のみが設定されているときに、前記周囲の温度に関わらず、当該1個の候補機器を前記対象機器に決定する決定部と、
    前記指示音声に基づいた冷房動作を前記対象機器に実行させるための第1の動作関係処理を実行する第1の動作関係処理実行部と、
    を備える、制御装置。
  10. 音声を受け付け可能な音声受付部が、機を動作させるための指示音声を受け付ける場合において、暖房動作可能な複数個の候補機器が設定されているときに、前記複数個の候補機器のうち、周囲の温度が最も低い機器を指示対象の対象機器として推定する第1の推定部と、
    前記音声受付部が前記指示音声を受け付ける場合において、1個の候補機器のみが設定されているときに、前記周囲の温度に関わらず、当該1個の候補機器を前記対象機器に決定する決定部と、
    前記指示音声に基づいた暖房動作を前記対象機器に実行させるための第1の動作関係処理を実行する第1の動作関係処理実行部と、
    を備える、制御装置。
JP2019229645A 2019-12-19 2019-12-19 制御装置 Active JP7373386B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019229645A JP7373386B2 (ja) 2019-12-19 2019-12-19 制御装置
CN202011187107.3A CN113014461A (zh) 2019-12-19 2020-10-30 控制装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019229645A JP7373386B2 (ja) 2019-12-19 2019-12-19 制御装置

Publications (2)

Publication Number Publication Date
JP2021099378A JP2021099378A (ja) 2021-07-01
JP7373386B2 true JP7373386B2 (ja) 2023-11-02

Family

ID=76382973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019229645A Active JP7373386B2 (ja) 2019-12-19 2019-12-19 制御装置

Country Status (2)

Country Link
JP (1) JP7373386B2 (ja)
CN (1) CN113014461A (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002287793A (ja) 2001-03-28 2002-10-04 Just Syst Corp コマンド処理装置、コマンド処理方法、及びコマンド処理プログラム
JP2004086150A (ja) 2002-06-28 2004-03-18 Denso Corp 音声制御装置
JP2006033795A (ja) 2004-06-15 2006-02-02 Sanyo Electric Co Ltd リモートコントロールシステム、コントローラ、コンピュータにコントローラの機能を付与するプログラム、当該プログラムを格納した記憶媒体、およびサーバ。
JP2006202127A (ja) 2005-01-21 2006-08-03 Pioneer Electronic Corp 推奨情報提示装置及び推奨情報提示方法等
JP2013207660A (ja) 2012-03-29 2013-10-07 Panasonic Corp 機器制御装置、機器制御システムおよびプログラム
JP2018036397A (ja) 2016-08-30 2018-03-08 シャープ株式会社 応答システムおよび機器
JP2018194810A (ja) 2017-05-15 2018-12-06 ネイバー コーポレーションNAVER Corporation デバイス制御方法及び電子機器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6329833B2 (ja) * 2013-10-04 2018-05-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America ウェアラブル端末及びウェアラブル端末の制御方法
JP6349386B2 (ja) * 2014-05-15 2018-06-27 シャープ株式会社 ネットワークシステム、サーバ、通信機器、および情報処理方法
JP6396110B2 (ja) * 2014-05-29 2018-09-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 空調機器を遠隔制御する端末装置の制御方法及び端末装置が実行するプログラム
CN105207864A (zh) * 2015-08-31 2015-12-30 小米科技有限责任公司 家电设备控制方法和装置
CN109917663B (zh) * 2019-03-25 2022-02-15 北京小米移动软件有限公司 设备控制的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002287793A (ja) 2001-03-28 2002-10-04 Just Syst Corp コマンド処理装置、コマンド処理方法、及びコマンド処理プログラム
JP2004086150A (ja) 2002-06-28 2004-03-18 Denso Corp 音声制御装置
JP2006033795A (ja) 2004-06-15 2006-02-02 Sanyo Electric Co Ltd リモートコントロールシステム、コントローラ、コンピュータにコントローラの機能を付与するプログラム、当該プログラムを格納した記憶媒体、およびサーバ。
JP2006202127A (ja) 2005-01-21 2006-08-03 Pioneer Electronic Corp 推奨情報提示装置及び推奨情報提示方法等
JP2013207660A (ja) 2012-03-29 2013-10-07 Panasonic Corp 機器制御装置、機器制御システムおよびプログラム
JP2018036397A (ja) 2016-08-30 2018-03-08 シャープ株式会社 応答システムおよび機器
JP2018194810A (ja) 2017-05-15 2018-12-06 ネイバー コーポレーションNAVER Corporation デバイス制御方法及び電子機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
水口 正治、西森 雅人、村井 彰、齊籐 剛史、尾崎 知幸、小西 亮介,音声命令による電動車椅子の操作,電子情報通信学会技術研究報告 Vol.108 No.67,第108巻 第67号,日本,社団法人電子情報通信学会,2008年05月22日,pp.49-54

Also Published As

Publication number Publication date
CN113014461A (zh) 2021-06-22
JP2021099378A (ja) 2021-07-01

Similar Documents

Publication Publication Date Title
US9825773B2 (en) Device control by speech commands with microphone and camera to acquire line-of-sight information
CN111758128A (zh) 方法、控制装置以及程序
JP6486641B2 (ja) 遠隔操作システム
JP2016206851A (ja) 制御装置、制御装置の制御方法、制御システム、環境制御機器、および制御プログラム
JP2018036397A (ja) 応答システムおよび機器
US11303955B2 (en) Video integration with home assistant
WO2020019662A1 (zh) 上报信息的方法、装置及存储介质
US10930142B2 (en) Remote control device and remote control system
JP7373386B2 (ja) 制御装置
CN110658736A (zh) 家电的控制方法、家电控制装置和计算机存储介质
CN111051784A (zh) 空调控制装置、环境设定终端、空调控制方法以及程序
JP2019061334A (ja) 機器制御装置、機器制御方法及び機器制御システム
US20200041151A1 (en) Air conditioning control device, air conditioning control method, and program
JP6133361B2 (ja) 電気機器制御装置、電気機器制御システム、プログラム、電気機器制御方法、入出力装置、および電気機器
JP2016010047A (ja) 機器制御システム、宅内装置及び遠隔操作端末
JP6927237B2 (ja) 空気調和システム
CN111183478A (zh) 家电系统
US20060132324A1 (en) Electronic apparatus and method for controlling the same
JP2021047012A (ja) 空気調和システム
CN113167496B (zh) 空气调节系统
US20220189476A1 (en) Control device, apparatus control system, control method, and program
JP2018011270A (ja) 機器制御装置、機器制御システム、機器制御方法、及びプログラム
WO2019069597A1 (ja) 家電システム
JP7397341B2 (ja) 空気調和システム
JP2020153635A (ja) 空調システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231023

R150 Certificate of patent or registration of utility model

Ref document number: 7373386

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150