JP6482911B2 - 機器制御方法および電気機器 - Google Patents

機器制御方法および電気機器 Download PDF

Info

Publication number
JP6482911B2
JP6482911B2 JP2015050967A JP2015050967A JP6482911B2 JP 6482911 B2 JP6482911 B2 JP 6482911B2 JP 2015050967 A JP2015050967 A JP 2015050967A JP 2015050967 A JP2015050967 A JP 2015050967A JP 6482911 B2 JP6482911 B2 JP 6482911B2
Authority
JP
Japan
Prior art keywords
operation instruction
input
input device
user
recommended
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015050967A
Other languages
English (en)
Other versions
JP2016027688A (ja
Inventor
真悠 横矢
真悠 横矢
山上　勝義
勝義 山上
育規 石井
育規 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2015050967A priority Critical patent/JP6482911B2/ja
Priority to US14/743,704 priority patent/US9721572B2/en
Priority to EP17183297.5A priority patent/EP3252730A1/en
Priority to EP15173226.0A priority patent/EP2963630B1/en
Publication of JP2016027688A publication Critical patent/JP2016027688A/ja
Priority to US15/622,126 priority patent/US20170289582A1/en
Application granted granted Critical
Publication of JP6482911B2 publication Critical patent/JP6482911B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/31—Voice input
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/40—Remote control systems using repeaters, converters, gateways
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Graphics (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、複数の入力機器を用いて動作を制御可能な電気機器の制御方法およびそのような電気機器に関する。
近年、音声認識技術の発達によって音声認識精度が大きく向上している。これに伴い、各種の機器を音声によって操作する機器管理システムが検討されている。これによって、煩わしいボタン操作をすることなく、ユーザが各種の機器に所望の操作内容を発話することで、各種の機器が制御可能になることが期待されている。
特開２００３−１１４６９８号公報
しかし、上記システムは未だ検討すべき事項が多く、実用化には更なる改善が必要であった。
本開示の機器制御方法の一態様は、複数の入力機器を用いて動作を制御可能な操作対象機器の動作を制御する機器制御方法であって、操作対象機器に対する第１操作指示内容を示す第１操作指示情報を受信し、受信した第１操作指示情報が示す第１操作指示内容を認識し、複数の入力機器のうちの第１操作指示内容に関する操作をユーザから受け付けた第１入力機器を認識し、第１操作指示内容、第１入力機器、および第１操作指示情報よりも前に受信した第２操作指示情報が示す第２操作指示内容に関する履歴情報に基づいて、第１入力機器とは異なる推奨入力機器をユーザへ提示する。
上記態様により、更なる改善を実現できた。
実施形態に係る音声操作システムの全体像を示す図である。 実施形態に係る音声入力装置を示すブロック図である。 実施形態に係るサーバを示すブロック図である。 実施形態に係る操作対象機器を示すブロック図である。 実施形態に係る入力機器を示すブロック図である。 実施形態に係る音声操作システムのシーケンスを示す図である。 実施形態に係る機器操作判定処理を示すフローチャートである。 実施形態に係る機器操作判定テーブルの一例を示す図である。 （Ａ）は実施形態に係る操作コマンドテーブルの一例を示す図であり、（Ｂ）は実施形態に係る入力機器ＩＤテーブルの一例を示す図である。 実施形態に係る連続操作判定処理を示すフローチャートである。 実施形態に係る操作コマンド格納テーブルの一例を示す図である。 実施形態に係る操作コマンド格納テーブルの一例を示す図である。 実施形態に係る推奨入力機器提示判定処理を示すフローチャートである。 （Ａ）は実施形態に係る推奨入力機器判定テーブルの一例を示す図であり、（Ｂ）は実施形態に係る推奨入力機器ＩＤテーブルの一例を示す図である。 実施形態に係る推奨入力機器提示処理を示すフローチャートである。 （Ａ）は実施形態に係る提示方法判定テーブルの一例を示す図であり、（Ｂ）は実施形態に係る提示方法ＩＤテーブルの一例を示す図である。 （Ａ）および（Ｂ）は、実施形態に係る音声操作システムにおいて、ユーザに推奨入力機器を提示するＵＩの一例を示す図である。 （Ａ）および（Ｂ）は、実施形態に係る音声操作システムにおいて、ユーザに推奨入力機器の操作方法を提示する方法の一例を示す図である。 （Ａ）、（Ｂ）および（Ｃ）は、実施形態に係る音声操作システムにおいて、ユーザに推奨入力機器の位置を提示する方法の一例を示す図である。 実施形態に係る入力頻度判定処理を示すフローチャートである。 実施形態に係る学習処理を示すフローチャートである。 実施形態に係る動作内容判定処理を示すフローチャートである。 実施形態に係る動作内容判定処理を示すフローチャートである。 実施形態に係る音声認識尤度判定処理を示すフローチャートである。 実施形態に係る雑音レベル判定処理を示すフローチャートである。 （Ａ）は実施形態に係る情報管理システムが提供するサービスの全体像を示す図であり、（Ｂ）は実施形態に係る機器メーカがデータセンタ運営会社に該当する例を示す図であり、（Ｃ）は実施形態に係る機器メーカおよび管理会社の両者又はいずれか一方がデータセンタ運営会社に該当する例を示す図である。 実施形態に係るサービスの類型１（自社データセンタ型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。 実施形態に係るサービスの類型２（ＩａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。 実施形態に係るサービスの類型３（ＰａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。 実施形態に係るサービスの類型４（ＳａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。
（本開示の技術の基礎となった知見）
音声入力を用いて操作対象機器へ操作コマンドを送信することは、操作対象機器に対して直接的に指示を行えるため、リモートコントローラ（以下、リモコンと表記）のような入力機器を操作して操作対象機器に指示を行う場合と比較して操作が簡略化される場合がある。例えば、リモコンを用いて、メニュー画面を開いてから所望の操作に対応する項目を選択する場合や、検索用の語句を入力する場合は、音声入力を用いた方が簡単に所望の操作が可能である。
リモコンによるコマンド入力と、音声によるコマンド入力との双方が可能なコマンド受付装置がある（例えば、特許文献１）。
特許文献１は、音声認識機能を備えた制御装置と、使用者が各種の指令やデータなどを外部操作によって入力するためのスイッチ装置と、画像を表示するための表示装置と、音声を入力するためのマイクロフォンを開示する。この制御装置は、スイッチ装置またはマイクロフォンから、使用者による各種の指令やデータなどを受信し、受信した指令やデータに基づいて処理を実行し、処理結果を表示装置へと出力する。このとき、スイッチ装置によるコマンド入力が、マイクロフォンを介した音声によるコマンド入力によっても可能である場合、音声によるコマンド入力が可能である旨をユーザへ通知する。
しかし、特許文献１の上記技術は、音声入力が可能なコマンドをスイッチ装置によって入力するたびに、音声によるコマンド入力が可能である旨をユーザへ通知する。そのため、例えば、ユーザがリモコンを用いた方が使い易いと考えている操作を行った場合であっても、その操作が音声によるコマンド入力が可能であるときには、その旨が通知され、煩わしく感じるという課題があった。すなわち、上記技術では、音声によるコマンド入力に適した操作と、リモコンによるコマンド入力に適した操作とを区別してユーザへ通知することが出来なかった。
上述したように、音声入力を用いて操作対象機器へ操作コマンドを送信することは、操作対象機器に対して直接的に指示を行えるため、リモコンのような入力機器の操作によって操作対象機器に指示を行う場合と比較して操作が簡略化される場合がある。一方で、例えば、電源のオン／オフ、テレビのチャネル変更、テレビの音量調整など、リモコンのボタンが一対一で操作に対応している場合は、ボタンの配置さえ覚えてしまえば、音声入力を行うよりも簡単に所望の操作が可能な場合がある。そのため、音声によるコマンド入力とリモコンによるコマンド入力とを適宜使い分けることで、操作対象機器に対してより簡単に所望の操作を行うことができる。
そこで、音声機器操作システムの機能向上のため、以下の改善策を検討した。
本発明のある実施形態に係る機器制御方法は、複数の入力機器を用いて動作を制御可能な操作対象機器の動作を制御する機器制御方法であって、前記操作対象機器に対する第１操作指示内容を示す第１操作指示情報を受信し、受信した前記第１操作指示情報が示す前記第１操作指示内容を認識し、前記複数の入力機器のうちの前記第１操作指示内容に関する操作をユーザから受け付けた第１入力機器を認識し、前記第１操作指示内容、前記第１入力機器、および前記第１操作指示情報よりも前に受信した第２操作指示情報が示す第２操作指示内容に関する履歴情報に基づいて、前記第１入力機器とは異なる推奨入力機器を前記ユーザへ提示する。ユーザが第１入力機器に適さない操作を行った場合に、第１入力機器とは異なる推奨入力機器をユーザへ提示することにより、操作対象機器に対してより簡単に所望の操作が可能である旨をユーザへ通知できる。また、ユーザは、提示された推奨入力機器を用いることにより、より簡単に所望の操作が可能となる。
ある実施形態において、例えば、前記第１操作指示内容の種別を認識し、前記履歴情報は、前記第２操作指示内容の種別を示す情報を含み、前記第１操作指示内容の種別と前記第２操作指示内容の種別とが同じであると判断される場合、前記第１入力機器とは異なる推奨入力機器を前記ユーザへ提示してもよい。これにより、ユーザが同じ操作を複数回行った場合に、その操作に適した推奨入力機器をユーザへ提示することができる。
ある実施形態において、例えば、前記履歴情報は、一つ以上の操作指示情報のそれぞれが入力された時刻を示す時刻情報を含み、前記第２操作指示情報は、前記一つ以上の操作指示情報のうちの、前記第１操作指示情報が入力された時刻である第１時刻と、前記第１時刻から所定時間前である第２時刻との間の時刻において入力された操作指示情報であってもよい。これにより、所定の時間内にユーザが同じ操作を複数回行った場合に、その操作に適した推奨入力機器をユーザへ提示することができる。
ある実施形態において、例えば、前記履歴情報は、一つ以上の操作指示情報のそれぞれが入力された時刻を示す時刻情報を含み、前記第２操作指示情報は、前記第１操作指示情報の直前に入力された操作指示情報であってもよい。これにより、ユーザが連続して同じ操作を行った場合に、その操作に適した推奨入力機器をユーザへ提示することができる。
ある実施形態において、例えば、操作指示内容の種別毎に推奨される入力機器を示す推奨入力機器情報および前記第１操作指示内容の種別に基づいて、前記ユーザへ提示する推奨入力機器を決定してもよい。これにより、ユーザの操作に適した推奨入力機器をユーザへ提示することができる。
ある実施形態において、例えば、前記操作対象機器は、前記複数の入力機器のそれぞれに対するユーザの操作に応じた操作指示情報が受信可能であってもよい。これにより、複数の入力機器を用いて操作対象機器の動作を制御することができる。
ある実施形態において、例えば、前記推奨入力機器として、前記操作対象機器に対応し、前記操作対象機器の動作を制御可能なリモコン装置を前記ユーザに提示してもよい。これにより、ユーザは、操作に適した推奨入力機器がリモコン装置であることを認識することができる。
ある実施形態において、例えば、前記推奨入力機器は前記リモコン装置であることを音声出力により前記ユーザへ提示してもよい。これにより、ユーザは、操作に適した推奨入力機器がリモコン装置であることを音声により認識することができる。
ある実施形態において、例えば、前記リモコン装置の外観を示す画像を表示装置に表示し、前記リモコン装置のうちの前記第１操作指示内容に関する操作が可能な動作部を強調表示することで前記推奨入力機器を提示してもよい。これにより、ユーザは、推奨入力機器であるリモコン装置のどの部分を操作すればよいかを認識することができる。
ある実施形態において、例えば、前記履歴情報は、一つ以上の操作指示情報のそれぞれが入力された時刻を表す時刻情報を含み、前記第１操作指示内容の種別を判断し、前記履歴情報に基づいて、所定期間内の前記第１操作指示内容と同じ種別の操作指示情報の入力頻度を算出し、前記算出した入力頻度に基づいて、前記推奨入力機器を前記ユーザへ提示してもよい。これにより、所定期間内にユーザが同じ操作を複数回行った場合に、その操作に適した推奨入力機器をユーザへ提示することができる。
ある実施形態において、例えば、算出した前記入力頻度が所定値以上である場合に、前記推奨入力機器をユーザへ提示してもよい。これにより、所定期間内にユーザが同じ操作を所定の回数以上行った場合に、その操作に適した推奨入力機器をユーザへ提示することができる。
ある実施形態において、例えば、前記第１操作指示内容の種別を認識し、前記履歴情報は、前記第２操作指示内容の種別を示す種別情報と、前記第２操作指示情報に基づいて変化した前記操作対象機器の動作内容を示す動作情報をさらに含み、前記第１操作指示内容と同じ種別に関する前記操作対象機器の動作内容を示す情報を前記動作情報が含んでいないと判断された場合、前記第１入力機器とは異なる推奨入力機器をユーザへ提示してもよい。第１操作指示内容の種別に対応する動作内容の履歴情報がない場合は、第１入力機器とは異なる推奨入力機器をユーザへ提示することで、第１入力機器で煩雑な操作が発生することを避けることができる。
本発明のある実施形態に係る電気機器は、複数の入力機器を用いて動作を制御可能な電気機器であって、前記電気機器は、前記電気機器に対する第１操作指示内容を示す第１操作指示情報を入力する入力部と、前記第１操作指示情報が示す第１操作指示内容と、前記複数の入力機器のうちの前記第１操作指示内容に関する操作をユーザから受け付けた第１入力機器とを認識する認識部と、前記第１操作指示内容、前記第１入力機器、および前記第１操作指示情報よりも前に入力された第２操作指示情報が示す第２操作指示内容に関する履歴情報に基づいて、前記第１入力機器とは異なる推奨入力機器を前記ユーザへ提示する提示部とを備える。ユーザが第１入力機器に適さない操作を行った場合に、第１入力機器とは異なる推奨入力機器をユーザへ提示することにより、操作対象機器に対してより簡単に所望の操作が可能である旨をユーザへ通知できる。また、ユーザは、提示された推奨入力機器を用いることにより、より簡単に所望の操作が可能となる。
本発明のある実施形態に係るコンピュータプログラムは、複数の入力機器を用いて動作を制御可能な電気機器を制御するためのコンピュータプログラムであって、前記電気機器のコンピュータに、前記電気機器に対する第１操作指示内容を示す第１操作指示情報を入力させ、前記第１操作指示情報が示す第１操作指示内容と、前記複数の入力機器のうちの前記第１操作指示内容に関する操作をユーザから受け付けた第１入力機器とを認識させ、前記第１操作指示内容、前記第１入力機器、および前記第１操作指示情報よりも前に入力された第２操作指示情報が示す第２操作指示内容に関する履歴情報に基づいて、前記第１入力機器とは異なる推奨入力機器を前記ユーザへ提示させる。ユーザが第１入力機器に適さない操作を行った場合に、第１入力機器とは異なる推奨入力機器をユーザへ提示することにより、操作対象機器に対してより簡単に所望の操作が可能である旨をユーザへ通知できる。また、ユーザは、提示された推奨入力機器を用いることにより、より簡単に所望の操作が可能となる。
本発明のある実施形態に係る機器制御方法は、音声入力機器を含む複数の入力機器を用いて動作を制御可能な操作対象機器の動作を制御する機器制御方法であって、前記音声入力機器の周囲の環境音と、前記操作対象機器に対する操作指示内容を示す音声指示とを含む音声情報を取得し、前記音声情報に含まれる雑音レベルを算出し、前記音声情報に含まれる前記音声指示が示す前記操作指示内容を認識し、前記操作指示内容の種別を認識し、前記雑音レベルおよび前記種別に基づいて、前記音声入力機器とは異なる推奨入力機器をユーザへ提示する。雑音レベルに応じて音声入力機器とは異なる推奨入力機器をユーザに提示することにより、ユーザが意図した操作とは異なる操作が行われることを避けることができる。
ある実施形態において、例えば、前記雑音レベル、前記種別、および操作指示内容の種別毎に推奨される入力機器を示す推奨入力機器情報に基づいて、前記ユーザへ提示する推奨入力機器を決定してもよい。これにより、雑音が発生している環境に適した推奨入力機器をユーザに提示することができる。
ある実施形態において、例えば、前記雑音レベルが所定値よりも高い場合、前記推奨入力機器を前記ユーザへ提示してもよい。雑音レベルが所定値よりも高い場合に推奨入力機器をユーザに提示することにより、ユーザが意図した操作とは異なる操作が行われることを避けることができる。
本発明のある実施形態に係る機器制御方法は、音声入力機器を含む複数の入力機器を用いて動作を制御可能な操作対象機器の動作を制御する機器制御方法であって、前記操作対象機器に対する操作指示内容を含む音声情報を取得し、前記音声情報に含まれる前記操作指示内容を認識し、前記操作指示内容の種別を認識し、認識した前記操作指示内容の尤度を算出し、前記尤度および前記種別に基づいて、前記音声入力機器とは異なる推奨入力機器をユーザへ提示する。尤度に応じて音声入力機器とは異なる推奨入力機器をユーザに提示することにより、ユーザが意図した操作とは異なる操作が行われることを避けることができる。
ある実施形態において、例えば、前記尤度、前記種別、および操作指示内容の種別毎に推奨される入力機器を示す推奨入力機器情報に基づいて、前記ユーザへ提示する推奨入力機器を決定してもよい。これにより、音声入力では尤度が小さくなる条件下に適した推奨入力機器をユーザに提示することができる。
ある実施形態において、例えば、前記尤度が所定値よりも小さい場合、前記推奨入力機器を前記ユーザへ提示してもよい。尤度が所定値よりも小さい場合に推奨入力機器をユーザに提示することにより、ユーザが意図した操作とは異なる操作が行われることを避けることができる。
以下、実施形態について、図面を参照しながら説明する。
以下で説明する実施形態は、いずれも一具体例を示すものである。以下の実施形態で示される数値、形状、構成要素、ステップ、ステップの順序などは一例であり、本開示の技術を限定するものではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施形態において、各々の内容を組み合わせることも出来る。
（提供するサービスの全体像）
まず、本実施形態における情報管理システムが提供するサービスの全体像について説明する。
図２５（Ａ）は、本実施形態における情報管理システムが提供するサービスの全体像を示す図である。情報管理システムは、グループ６００、データセンタ運営会社６１０およびサービスプロバイダ６２０を備える。
グループ６００は、例えば企業、団体又は家庭等であり、その規模を問わない。グループ６００は、第１の機器および第２の機器を含む複数の機器６０１およびホームゲートウェイ６０２を備える。複数の機器６０１は、インターネットと接続可能な機器（例えば、スマートフォン、パーソナルコンピュータ（ＰＣ）又はテレビ等）、およびそれ自身ではインターネットと接続不可能な機器（例えば、照明、洗濯機又は冷蔵庫等）を含む。複数の機器６０１は、それ自身ではインターネットと接続不可能であっても、ホームゲートウェイ６０２を介してインターネットと接続可能となる機器を含んでもよい。また、ユーザ６は、グループ６００内の複数の機器６０１を使用する。
データセンタ運営会社６１０は、クラウドサーバ６１１を備える。クラウドサーバ６１１は、インターネットを介して様々な機器と連携する仮想化サーバである。クラウドサーバ６１１は、主に通常のデータベース管理ツール等で扱うことが困難な巨大なデータ（ビッグデータ）等を管理する。データセンタ運営会社６１０は、データの管理、クラウドサーバ６１１の管理、およびそれらを行うデータセンタの運営等を行っている。データセンタ運営会社６１０が行っている役務の詳細については後述する。
ここで、データセンタ運営会社６１０は、データの管理又はクラウドサーバ６１１の管理のみを行っている会社に限らない。例えば、図２５（Ｂ）に示すように、複数の機器６０１のうちの一つの機器を開発又は製造している機器メーカが、データの管理又はクラウドサーバ６１１の管理等を行っている場合は、機器メーカがデータセンタ運営会社６１０に該当する。また、データセンタ運営会社６１０は一つの会社に限らない。例えば、図２５（Ｃ）に示すように、機器メーカおよび管理会社が共同又は分担してデータの管理又はクラウドサーバ６１１の管理を行っている場合は、両者又はいずれか一方がデータセンタ運営会社６１０に該当する。
サービスプロバイダ６２０は、サーバ６２１を備える。ここで言うサーバ６２１とは、その規模は問わず、例えば、個人用ＰＣ内のメモリ等も含む。また、サービスプロバイダ６２０がサーバ６２１を備えていない場合もある。
なお、上記の情報管理システムにおいて、ホームゲートウェイ６０２は必須ではない。例えば、クラウドサーバ６１１が全てのデータ管理を行っている場合等は、ホームゲートウェイ６０２は不要となる。また、家庭内の全ての機器がインターネットに接続されている場合のように、それ自身ではインターネットと接続不可能な機器は存在しない場合もある。
次に、上記の情報管理システムにおける情報の流れを説明する。
まず、グループ６００の第１の機器又は第２の機器は、各ログ情報をデータセンタ運営会社６１０のクラウドサーバ６１１にそれぞれ送信する。クラウドサーバ６１１は、第１の機器又は第２の機器のログ情報を集積する（図２５（Ａ）の矢印６３１）。ここで、ログ情報とは、複数の機器６０１の例えば運転状況又は動作日時等を示す情報である。例えば、ログ情報は、テレビの視聴履歴、レコーダーの録画予約情報、洗濯機の運転日時、洗濯物の量、冷蔵庫の開閉日時、又は冷蔵庫の開閉回数などを含むが、これらの情報に限らず、種々の機器から取得が可能な種々の情報を含んでもよい。なお、ログ情報は、インターネットを介して複数の機器６０１自体から直接クラウドサーバ６１１に提供されてもよい。また、ログ情報は、複数の機器６０１から一旦ホームゲートウェイ６０２に集積され、ホームゲートウェイ６０２からクラウドサーバ６１１に提供されてもよい。
次に、データセンタ運営会社６１０のクラウドサーバ６１１は、集積したログ情報を一定の単位でサービスプロバイダ６２０に提供する。ここで、一定の単位とは、データセンタ運営会社６１０が集積した情報を整理してサービスプロバイダ６２０に提供することの出来る単位でもよいし、サービスプロバイダ６２０が要求する単位でもよい。また、一定の単位で提供するとしているが、一定の単位でなくてもよく、状況に応じて提供する情報量が変化してもよい。ログ情報は、必要に応じてサービスプロバイダ６２０が保有するサーバ６２１に保存される（図２５（Ａ）の矢印６３２）。
そして、サービスプロバイダ６２０は、ログ情報をユーザに提供するサービスに適合する情報に整理し、ユーザに提供する。情報が提供されるユーザは、複数の機器６０１を使用するユーザ６でもよいし、外部のユーザ７でもよい。ユーザ６，７への情報提供方法としては、例えば、サービスプロバイダ６２０から直接ユーザ６，７へ情報が提供されてもよい（図２５（Ａ）の矢印６３３，６３４）。また、ユーザ６への情報提供方法としては、例えば、データセンタ運営会社６１０のクラウドサーバ６１１を再度経由して、ユーザ６に情報が提供されてもよい（図２５（Ａ）の矢印６３５，６３６）。また、データセンタ運営会社６１０のクラウドサーバ６１１は、ログ情報をユーザに提供するサービスに適合する情報に整理し、サービスプロバイダ６２０に提供してもよい。
なお、ユーザ６は、ユーザ７と異なっていても同一であってもよい。
図１は、実施形態における音声操作システムの全体像を示す図である。
図１に示すように、本実施形態の音声操作システムは、音声入力装置１、サーバ２、操作対象機器３、入力機器４、ネットワーク５を備えている。音声入力装置１は、ユーザの発話による音声入力を取得し、取得した音声入力をサーバ２へ送信する。サーバ２は、音声入力装置１、操作対象機器３、入力機器４の各々とデータの送受信を行う。操作対象機器３は、サーバ２から受信した機器操作コマンドが示す動作を実行し、音声入力以外に機器操作に適した推奨入力機器があるか否かの判定を行う。入力機器４は、ユーザからの入力情報の受付と、入力機器の位置情報を送信する。ネットワーク５は、音声入力装置１、サーバ２、操作対象機器３、入力機器４を、例えば、有線ＬＡＮ、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの通信方法で接続している。
操作対象機器３は、音声入力装置１を含む複数の入力機器を用いて動作を制御可能な電気機器であり、例えばテレビ、レコーダー、エアコン、照明機器、オーディオ機器、電話機、ドアホン等である。
なお、本実施形態において、音声入力装置１もしくはサーバ２のどちらかを操作対象機器３に組み込んでもよいし、あるいは、音声入力装置１とサーバ２の両方を操作対象機器３に組み込んでいてもよい。
図２は、本実施形態に係る音声入力装置１の具体的な構成要素の例を示すブロック図である。図２に示されるように音声入力装置１は、音声取得部１０１、音声検出部１０２、音声区間切り出し部１０３、特徴量算出部１０４、通信部１０５を含む。音声取得部１０１は音声の検出動作をする。音声検出部１０２は、音声を検出したか否かを判定する。取得した音声信号には雑音などが含まれているため、音声区間切り出し部１０３は、ユーザが入力した音声が存在する区間を検出し、検出した音声区間を切り出す。特徴量算出部１０４は、切り出された音声区間に基づいて音声特徴量を算出する。通信部１０５は、特徴量算出部１０４によって算出された音声特徴量を、サーバ２へ送信する。
音声入力装置１は、例えば、操作対象機器３に内蔵もしくは接続されているマイク、操作対象機器３などに付属されたリモコンに内蔵されているマイク、携帯通信端末に内蔵もしくは接続されているマイク、家の中に設置されている収音マイクなどである。
音声入力装置１の構成要素の少なくとも一部は、マイクロコンピュータとメモリとによって実現され得る。例えば、音声検出部１０２、音声区間切り出し部１０３、特徴量算出部１０４は、マイクロコンピュータとメモリとによって実現され得る。この場合、音声入力装置１は、マイクロコンピュータとメモリとを備え、マイクロコンピュータはメモリから読み出したコンピュータプログラムに基づいて動作し、上記の各処理を実行する。
図３は、本実施形態によるサーバ２の具体的な構成要素の例を示すブロック図である。図３に示されるようにサーバ２は、通信部２０１、音声認識部２０２、音声認識辞書格納部２０３、機器操作判定部２０４、機器操作判定テーブル２０５を含む。通信部２０１は、音声入力装置１の通信部１０５から送信された音声特徴量を受信するとともに、操作対象機器３へ操作コマンドおよび入力機器ＩＤを送信する。音声認識部２０２は、音声認識辞書格納部２０３の情報をもとに、受信した音声特徴量を文字列・単語列に変換する。音声認識辞書格納部２０３には、例えば、図８のように操作対象機器３に入力される可能性がある発話文が格納されている。例えば、「電源ＯＮ」、「音量大きく」などの機器操作の発話文や、「おはよう」、「天気教えて」などの雑談の発話文が格納されている。図８に示すテーブルの詳細は後述する。
機器操作判定部２０４は、機器操作判定テーブル２０５をもとに音声認識結果から操作コマンドを判定する。機器操作判定テーブル２０５には、図９（Ａ）、図９（Ｂ）のように操作コマンドと入力機器ＩＤが記載されている。例えば、テレビの電源操作の操作コマンドはＣ００１、テレビの音量調節の操作コマンドはＣ００２、音声入力装置を用いた音声入力はＩ００１、リモコンを用いたボタン操作はＩ００２といった情報が記載されている。図９（Ａ）、図９（Ｂ）に示すテーブルの詳細は後述する。
サーバ２の構成要素の少なくとも一部は、マイクロコンピュータとメモリとによって実現され得る。例えば、音声認識部２０２、音声認識辞書格納部２０３、機器操作判定部２０４、機器操作判定テーブル２０５は、マイクロコンピュータとメモリとによって実現され得る。この場合、サーバ２は、マイクロコンピュータとメモリとを備え、マイクロコンピュータはメモリから読み出したコンピュータプログラムに基づいて動作し、上記の各処理を実行する。
図４は、本実施形態による操作対象機器３の具体的な構成要素の例を示すブロック図である。図４に示されるように操作対象機器３は、通信部３０１、機器制御部３０２、連続操作判定部３０３、操作コマンド格納テーブル３０４、推奨入力機器判定部３０５、推奨入力機器判定テーブル３０６、推奨入力機器位置判定部３０７、操作方法表示部３０８を含む。
通信部３０１は、サーバ２から送信された操作コマンドおよび入力機器ＩＤを受信する。機器制御部３０２は、受信した操作コマンドおよび入力機器ＩＤに基づいて、操作対象機器３に対する操作コマンド内容と、その操作コマンド内容に関する操作をユーザから受け付けた入力機器とを認識する。機器制御部３０２は、受信した操作コマンドに応じて操作対象機器３の動作を制御する。連続操作判定部３０３は、操作コマンド格納テーブル３０４を用いて連続した入力操作が行われたか否かの判定を行う。操作コマンド格納テーブル３０４は、図１１Ａのようにユーザが入力した操作コマンドを格納する。ユーザが入力した操作コマンドの履歴を操作コマンド格納テーブル３０４に格納することで、ユーザが連続した操作入力を行ったか判定する。図１１Ａに示す履歴情報の詳細は後述する。
推奨入力機器判定部３０５は、推奨入力機器判定テーブル３０６をもとに推奨入力機器の判定を行う。推奨入力機器判定テーブル３０６には、図１３（Ａ）、図１３（Ｂ）のように操作コマンド毎に推奨される入力機器が記載されている。例えば、操作コマンドＣ００１に対しては、音声入力を用いる音声入力装置を示す推奨入力機器ＩＤ“ＵＩ００１”が記載されている。図１３（Ａ）、図１３（Ｂ）に示すテーブルの詳細は後述する。
推奨入力機器位置判定部３０７は、位置情報取得部４０１の情報をもとに推奨入力機器の位置を判定し、ユーザに推奨入力機器の位置の提示を行うか判定を行う。操作方法表示部３０８は、推奨入力機器判定部３０５と推奨入力機器位置判定部３０７の判定結果をもとに、推奨入力機器と推奨入力機器の位置をユーザに提示する。
操作対象機器３の構成要素の少なくとも一部は、マイクロコンピュータとメモリとによって実現され得る。例えば、機器制御部３０２、連続操作判定部３０３、操作コマンド格納テーブル３０４、推奨入力機器判定部３０５、推奨入力機器判定テーブル３０６、推奨入力機器位置判定部３０７は、マイクロコンピュータとメモリとによって実現され得る。この場合、操作対象機器３は、マイクロコンピュータとメモリとを備え、マイクロコンピュータはメモリから読み出したコンピュータプログラムに基づいて動作し、上記の各処理を実行する。
図５は、本実施形態による入力機器４の具体的な構成要素の例を示すブロック図である。図５に示されるように入力機器４は、位置情報取得部４０１、入力部４０２、通信部４０３を含む。位置情報取得部４０１は、入力機器４がユーザに対してどこにあるのかの位置を取得する。入力部４０２は、ユーザがボタン入力やスマートフォン画面でタッチ入力を行った際の入力情報を取得する。通信部４０３は、位置情報取得部４０１と入力部４０２の情報をサーバ２、もしくは操作対象機器３に送信する。なお、入力機器４としては、ボタン入力、タッチパネルを用いた入力、ジェスチャー入力などを受け付ける入力機器が考えられるが、操作対象機器３へ動作指示を送信するものであれば、音声入力以外のどのような入力方法を用いてもよい。
入力機器４の構成要素の少なくとも一部は、マイクロコンピュータとメモリとによって実現され得る。例えば、位置情報取得部４０１、入力部４０２は、マイクロコンピュータとメモリとによって実現され得る。この場合、入力機器４は、マイクロコンピュータとメモリとを備え、マイクロコンピュータはメモリから読み出したコンピュータプログラムに基づいて動作し、上記の各処理を実行する。
図６は、本実施形態に係る音声操作システムのシーケンスを示す図である。
まず、ステップＳ００１において、音声入力装置１で算出された音声特徴量を、音声入力装置１からサーバ２に送信する。ステップＳ００２において、音声認識辞書格納部２０３の音声認識辞書の情報をもとに、入力された音声特徴量を文字列・単語列に変換する音声認識処理を行う。ステップＳ００３において、ユーザの意図する操作対象機器種別および機器操作内容を判定し、対応する操作コマンドおよび入力機器ＩＤを操作対象機器３に送信する。ステップＳ００３の処理の詳細は後述する。
ステップＳ００４において、ステップＳ００３で送信された操作コマンドが実際に操作可能か判定する。例えば、テレビの電源がＯＦＦになっている状態で音量調整が操作コマンドとして送られた場合、機器操作をすることは不可能である。
ステップＳ００５において、ステップＳ００４で実行された機器操作が、一回前の機器操作と同じ機器操作であるか判定を行う。ステップＳ００５の処理の詳細は後述する。ステップＳ００５で連続した操作が行われていると判定された場合、ステップＳ００６の処理を実行する。
ステップＳ００６において、ユーザが入力した操作コマンドに対し、音声入力よりも推奨される入力機器４が他にあるか判定を行う。ステップＳ００６の処理の詳細は後述する。音声入力よりも推奨される入力機器４があった場合、ステップＳ００７の処理を実行する。
ステップＳ００７において、ステップＳ００６で推奨された入力機器４の位置の判定を行う。判定方法としては、例えば、入力機器４内に圧力センサがあり圧力の有無によりユーザが所持しているかを判定してもよい。また例えば、入力機器４そのものにＧＰＳ、ＲＦＩＤ、赤外線ＩＤのような位置センサを搭載することで位置の判定を行ってもよい。無線ＬＡＮやＢｌｕｅｔｏｏｔｈなどの通信電波の送受情報を利用した位置の判定を行っても良い。操作対象機器３に入力機器４と同等の位置取得部が搭載されていた場合は、入力機器４と操作対象機器３との相対位置を判定してもよい。また、操作対象機器３にカメラが搭載されていた場合は、カメラ情報を利用してユーザの位置を推定し、入力機器４とユーザと操作対象機器３の相対位置を判定してもよい。
なお、ユーザ、入力機器４、操作対象機器３の相対位置は、使用される機器や操作コマンドによって適切なものを選択してもよい。ステップＳ００８において、ステップＳ００７で取得された推奨入力機器位置情報に応じて、操作コマンドに最適な推奨入力機器の提示をユーザに行う。ステップＳ００８の処理の詳細は後述する。
図７は、本実施形態に係る機器操作判定処理の手順を示すフローチャートである。機器操作判定処理では、音声認識結果に基づいて、ユーザの発話による入力音声に操作対象機器３への操作指示が含まれているか否かを判定する。
ステップＳ３０１において、サーバ２の音声認識結果である文字列・単語列を受信する。ステップＳ３０２において、音声認識結果に機器操作を意図する内容を含むか否かを判定する。判定方法としては、音声認識結果に「テレビ」、「エアコン」などの家電の名称や、「電源」、「音を大きく」などの機器の操作を意図する単語が含まれるか否かで判定する。音声認識結果に機器操作を意図する内容が含まれていた場合はステップＳ３０３に進み、機器操作を意図していない場合はステップＳ３０５の処理に進む。
ステップＳ３０３において、図８の機器操作判定テーブルをもとに、音声認識結果に応じた操作コマンドを呼び出す。ステップＳ３０４において、ステップＳ３０３で呼び出された操作コマンドと、図９（Ｂ）の入力機器ＩＤテーブルをもとに、音声入力装置を示す入力機器ＩＤを操作対象機器３に送信する。
ステップＳ３０５においては、音声認識結果に応じて操作対象機器の操作以外の機能を呼び出して実行する。例えば、ユーザの発話によって「天気教えて」という音声が入力された場合、音声操作システムは、機器操作機能ではなくＱ＆Ａ機能を呼び出し、ユーザの「天気教えて」という発話に対して、例えば、「どの地域の天気を知りたいですか？」、「本日の天気は晴れです」などと応答する。
図８は、本実施形態に係る音声認識結果から機器の操作コマンドを判定するための機器操作判定テーブルを示す図である。機器操作判定テーブルは、音声認識結果に基づいて操作コマンドの判定に用いられる。
機器操作判定テーブルには、認識された音声認識結果と、その音声認識結果に対応した操作コマンドが記録されている。機器操作判定テーブルには、表の横方向（行方向）に音声認識結果と、音声認識結果に対応した操作コマンドが記録されている。なお、機器操作判定テーブルは操作対象機器３ごとに作成してもよい。これら操作コマンドは、ユーザが入力した操作指示内容の種別を表している。
たとえば音声入力機器１に「電源をつけて」という音声が入力された場合は、図８の機器操作判定テーブルから操作コマンド「Ｃ００１」が呼び出される。このとき、１つの操作コマンドに対して複数の音声認識結果が対応付けられていてもよい。これは、ユーザが音声入力によって機器の電源を入れる指示を行う際に、例えば、「電源ＯＮ」と発話する場合もあれば、「電源を点けて」と発話する場合もあり、同じ操作を意図していても発話表現が異なることが想定されるからである。
図９（Ａ）は、操作コマンドテーブルを示す図であり、図９（Ｂ）は、入力機器ＩＤテーブルを示す図である。
図９（Ａ）に示す操作コマンドテーブルには横方向（行方向）に操作コマンドと、そのコマンドに対応した操作対象機器種別と機器操作が記録されている。図９（Ｂ）に示す入力機器ＩＤテーブルには横方向（行方向）に入力機器ＩＤと、そのコマンドに対応した入力機器と入力手段が記録されている。
たとえば音声入力機器１に「電源をつけて」という音声が入力された場合は、操作コマンドＣ００１が呼び出されるとともに、入力機器ＩＤとしてＩ００１が呼び出される。なお、操作コマンドとしては「音量＋１」「音量−１」のように細かな調整を含んでいるとしてもよい。
図１０は、本実施形態に係る連続操作判定処理の手順を示すフローチャートである。連続操作判定処理では、ユーザが連続して同じ操作コマンドを実行しているか否かを判定する。
ステップＳ５０１において、連続操作判定部３０３は、ステップＳ３０４で送信された操作コマンドを、図１１Ａに示す操作コマンド格納テーブルの操作回数Ｎ００２に格納する。ステップＳ５０２において、操作コマンド格納テーブルの操作回数Ｎ００１に操作コマンドが格納されているか否かを判定する。操作回数Ｎ００１に操作コマンドが格納されていた場合はステップＳ５０３の処理に進み、操作回数Ｎ００１に何も操作コマンドが格納されていなかった場合はステップＳ５０６の処理に進む。
ステップＳ５０３において、操作回数Ｎ００１と操作回数Ｎ００２に格納されている操作コマンドが一致した場合はステップＳ５０４の処理に進む。操作回数Ｎ００１と操作回数Ｎ００２に格納されている操作コマンドが不一致だった場合はステップＳ５０６の処理に進む。
ステップＳ５０４において、連続した操作であることが確定したため、操作回数Ｎ００１と操作回数Ｎ００２に格納されている操作コマンドの情報を破棄し、ステップＳ５０５の処理に進む。ステップＳ５０５において、推奨入力機器提示判定処理の実行を行い、連続操作判定処理を終了させる。
ステップＳ５０６の処理が実行されるときは、ステップＳ５０２とステップＳ５０３で連続した操作ではないことが判定された場合となる。そのため、操作回数Ｎ００２の操作コマンドを操作回数Ｎ００１に格納する。
連続操作判定処理を行うことで、操作コマンド毎に設定された推奨入力機器以外の入力機器を用いてユーザが連続した操作を行った場合にのみ、ユーザに対して推奨入力機器が提示される。これによって、例えば、テレビ視聴中のユーザが「音量を１段階上げて」と、音声入力機器以外の入力機器が推奨入力機器として設定されている操作を１度だけ音声入力機器を用いて実行した場合に、例えば、「音量調整にはリモコンの使用がおすすめですよ」などのメッセージが画面上に表示されてユーザのテレビ視聴を妨げることがない。そのため、推奨入力機器以外の入力機器を用いた操作を行う度にメッセージが表示されることがないので、ユーザの煩わしさが低減される。また、推奨入力機器を提示することにより、ユーザは操作コマンド毎の入力機器の使い分けを学習することができる。
例えば、ユーザが一回目に「電源ＯＮ」と入力した場合は、ステップＳ５０１で操作回数Ｎ００２に操作コマンドＣ００１が格納される。次に、ステップＳ５０２で操作回数Ｎ００１には操作コマンドが格納されていないと判定される。そのため、ステップＳ５０６に進み、操作回数Ｎ００２に格納されていた操作コマンドＣ００１を操作回数Ｎ００１に格納する。
続けて、ユーザが「音量大きく」と入力した場合、ステップＳ５０１で操作回数Ｎ００２に操作コマンドＣ００２が格納される。次に、ステップＳ５０２では、操作回数Ｎ００１にＣ００１が格納されているためステップＳ５０３の処理に進む。ステップＳ５０３では操作回数Ｎ００１にＣ００１、操作回数Ｎ００２にＣ００２が格納されているため、操作回数Ｎ００１と操作回数Ｎ００２は不一致となる。したがって、ステップＳ５０６に進み、操作回数Ｎ００２に格納されているＣ００２を操作回数Ｎ００１に格納する。
続けて、ユーザが「音量大きくして」と連続して入力した場合は、ステップＳ５０３までは二回目の音声入力時と同じ動作を行う。ステップＳ５０３では、操作回数Ｎ００１にＣ００２、操作回数Ｎ００２にＣ００２が格納されているため、操作回数Ｎ００１と操作回数Ｎ００２が一致しステップＳ５０４の処理に進む。ステップＳ５０４で操作回数Ｎ００１と操作回数Ｎ００２の両方に格納されているＣ００２を破棄する。ステップＳ５０５の処理に進むことで、推奨入力機器提示判定処理を実行し、連続操作判定処理を終了させる。
図１１Ａは、本実施形態に係る操作コマンド格納テーブルの一例を示す図である。操作コマンド格納テーブルには、現在の操作コマンドよりも前に受信した操作コマンドを示す履歴情報が記録されており、操作コマンドからユーザが入力した操作指示内容の種別を認識することができる。操作コマンド格納テーブルは、連続操作判定処理に用いられる。
図１１Ａに示す操作コマンド格納テーブルには、横方向（行方向）に操作回数と操作コマンドが記録されている。ステップＳ５０３において、格納されている操作回数Ｎ００１と操作回数Ｎ００２の操作コマンドが一致していた場合は、操作回数Ｎ００１と操作回数Ｎ００２に格納している操作コマンドを破棄する。ステップＳ５０３において、格納されている操作回数Ｎ００１と操作回数Ｎ００２が不一致だった場合は、操作回数Ｎ００２に格納されている操作コマンドを操作回数Ｎ００１に格納する。
なお、操作コマンド格納テーブルは、操作コマンドそれぞれが入力された時刻を示す時刻情報を含んでいてもよい。図１１Ｂは、そのような時刻情報を含む操作コマンド格納テーブルを示す図である。このように、操作コマンド格納テーブルが時刻情報を含む場合、比較する操作コマンドは、最新の操作コマンドと、その最新の操作コマンドが入力された時刻から所定時間前までにおいて入力された操作コマンドとであってもよい。また、比較する操作コマンドは、最新の操作コマンドと、その最新の操作コマンドの直前に入力された操作コマンドであってもよい。図１１Ａ、図１１Ｂでは、格納しておく操作回数が２回の例を示していたが、格納しておく操作回数は３回以上であってもよい。
図１２は、本実施形態に係る推奨入力機器提示判定処理の手順を示すフローチャートである。ユーザが音声入力装置を用いて音声による機器操作を行った場合、当該機器操作を行うにあたって、音声入力装置以外の入力機器が推奨入力機器として設定されているか否かを判断する。
ステップＳ６０１において、ステップＳ３０４で送信された入力機器ＩＤを受信する。ステップＳ６０２において、ユーザが音声入力で機器操作を行ったか判定するため、入力機器ＩＤが音声入力を示すＩ００１と一致するか否かを判定する。入力機器ＩＤがＩ００１と一致した場合はステップＳ６０３の処理に進み、入力機器ＩＤがＩ００１と一致しなかった場合は処理を終了する。ステップＳ６０３では、図１３（Ａ）に示す推奨入力機器判定テーブル、図１３（Ｂ）に示す推奨入力機器ＩＤの情報を参照し、ユーザが行った機器操作の操作コマンドに対する推奨入力機器ＩＤが音声入力装置を示すか、またはそれ以外の入力機器を示すかを判定する。
推奨入力機器ＩＤが音声入力装置を示すＵＩ００１と一致した場合は、ユーザが行った機器操作に対して音声入力装置を用いた音声による入力が適切であり、ユーザに他の入力機器を推薦する必要がないと判断できる。他の入力機器の推薦が必要ないと判断された後は、推奨入力機器位置判定処理を実行せず、推奨入力機器提示判定処理を終了する。
一方で、推奨入力機器ＩＤが音声入力装置を示すＵＩ００１と不一致であった場合は、ステップＳ６０４の処理に進む。ステップＳ６０４において、ユーザが行った機器操作には音声入力装置以外に推奨される入力機器があると判定されたため、推奨入力機器位置判定処理を実行する。
例えば、ユーザが音声で「音量を大きく」という操作コマンドＣ００２を２回連続で入力した場合、ステップＳ３０４では音声入力であることを示す入力機器ＩＤＩ００１を受信する。ステップＳ６０２では、受信した入力機器ＩＤがＩ００１と一致するためステップＳ６０３の処理に進む。ステップＳ６０３では、図１３（Ａ）に示す推奨入力機器判定テーブルをもとに、Ｃ００２が音声よりもリモコンやタッチパネルでの操作の方が推奨されているため、ステップＳ６０４の処理に進み推奨入力機器位置判定処理を実行する。
例えば、音声入力装置、リモコン、スマートフォンなどの複数の入力機器でのテレビの機器操作を行う場合、番組検索時のキーワード入力は音声で入力した方が簡易であるが、ユーザの求める音量の調整には、リモコンのようにフィードバックの早い機器で操作した方が簡易である。しかしながら、複数の入力機器の使い分けができないユーザは、音声で音量の調整を行おうとすることで、何度も「音量を上げて」「音量を下げて」と入力することとなり、音声入力に対して煩わしさを感じる。そこで、推奨入力機器提示判定処理を行うことで、音声入力装置以外の入力機器が推奨入力機器として設定されていた場合、ユーザに推奨入力機器の提示を行う。推奨入力機器の提示を行うことで、ユーザは入力した操作コマンドが音声入力に適しているか否かを知ることができる。そのため、音声入力に適した操作コマンドと、それ以外の入力機器の使い分けをユーザが学習することができ、ユーザは推奨される複数の入力機器の使い分け、複数入力機器に対する煩わしさを低減することが可能となる。
図１３（Ａ）は、推奨入力機器判定テーブルの一例を示す図であり、図１３（Ｂ）は、推奨入力機器ＩＤテーブルの一例を示す図である。
推奨入力機器判定テーブルには横方向（行方向）に操作コマンドと、そのコマンドに対応した推奨入力機器ＩＤが記録されている。推奨入力機器ＩＤテーブルには横方向（行方向）に推奨入力機器ＩＤと、そのコマンドに対応した入力機器と入力手段が記録されている。
図１４は、本実施形態に係る推奨入力機器提示処理の手順を示すフローチャートである。ユーザが音声入力装置を用いて音声による機器操作を行った場合、推奨入力機器および推奨入力機器の位置情報を用いて、ユーザの近くにある推奨入力機器をユーザに提示する。
ステップＳ８０１において、ステップＳ００６とステップＳ００７から送信される推奨入力機器ＩＤと推奨入力機器位置情報を受信する。推奨入力機器ＩＤと推奨入力機器位置情報を受信できなかった場合は受信できるまでステップＳ８０１を繰り返す。ステップＳ８０２において、ステップＳ８０１で受信した推奨入力機器ＩＤが１つだった場合は、ステップＳ８０４の処理に進む。一方、ステップＳ８０１で受信した推奨入力機器ＩＤが複数あった場合は、ステップＳ８０３の処理に進んだのち、ステップＳ８０４の処理に進む。ステップＳ８０３において、複数の推奨入力機器ＩＤのうち、よりユーザに近い推奨入力機器を判定し、ユーザに提示する推奨入力機器を決定する。なお、ステップＳ８０２、ステップＳ８０３の処理を実行せずに複数の推奨入力機器をすべてユーザに提示してもよい。
ステップＳ８０４では、音声入力以外の推奨される入力機器について、例えば、図１６または図１７に示す方法を用いてユーザに提示する。図１６および図１７の詳細は後述する。
ステップＳ８０５では、図１５（Ａ）に示すテーブルに記載されているユーザと推奨入力機器の位置に応じた推奨入力機器の位置の提示の有無、提示方法の情報をもとに、ユーザへの推奨入力機器の位置情報の提示方法の判定を行う。ユーザとの距離が最も近い場合は、ユーザが手に推奨入力機器を所持している、もしくはユーザの手の届く範囲に推奨入力機器があると考えられるので、推奨入力機器の位置情報の提示を行わない。一方で、ユーザとの距離が離れている場合は、ステップＳ８０６の処理に進み、図１５（Ａ）のユーザと推奨入力機器の距離に応じた提示方法ＩＤと、図１５（Ｂ）の提示方法ＩＤに対応した提示機器、提示手段をもとにして、図１８（Ａ）、（Ｂ）、（Ｃ）のようにユーザに推奨入力機器の位置情報を提示する。なお、提示機器や提示手段はリモコン、テレビ、音声、画面表示に限定されることなく種々の形態をとり得る。
例えば、ユーザの入力した操作コマンドに対して、リモコンとスマートフォンでの操作が推奨された場合は、ステップＳ８０１でそれぞれの推奨入力機器ＩＤと機器位置情報を受信する。ステップＳ８０２では推奨入力機器ＩＤがリモコンとスマートフォンの２種類あるため、ステップＳ８０３の処理に進む。リモコンとユーザとの距離が５０ｃｍ、スマートフォンとユーザとの距離が８０ｃｍの場合、ステップＳ８０３ではリモコンの方がスマートフォンよりもユーザに近いと判定される。ステップＳ８０４では、ステップＳ８０３の判定を元に、ユーザに「リモコン操作のほうがおすすめですよ」などの、推奨入力機器についての情報提示を行う。ステップＳ８０５では、ユーザとリモコンの距離が５０ｃｍ離れているためステップＳ８０６に進み、リモコンからの音でユーザに対して推奨入力機器の位置情報の提示を行う。
ユーザに対して推奨入力機器の提示を行う際に、ユーザの位置から遠く離れた推奨入力機器を提示した場合、ユーザに推奨入力機器を探すまたは取得するために移動するという手間が生じ、ユーザは推奨入力機器を使用することを煩雑に感じる。そこで、推奨入力機器提示処理において、例えば、推奨入力機器が複数設定されている場合、ユーザおよび複数の推奨入力機器の位置情報に基づいて、複数の推奨入力機器の中でユーザの位置から最も近い推奨入力機器をユーザへ提示する。これによって、ユーザは複数の推奨入力機器がどれも自分の位置から離れた場所にあったとしても、推奨入力機器の場所を知ることができる。ユーザは複数の推奨入力機器の中から自分に最も近い位置にある推奨入力機器が提示されることになり、ユーザが提示された推奨入力機器を使用する場合に、自分の位置から遠く離れた推奨入力機器を探すまたは取得するために移動するといった手間を省くことができる。また、推奨入力機器をユーザへ提示することによって、ユーザに対して音声入力装置とリモコン等の複数の入力機器の使い分けを促進させることが可能となる。
図１５（Ａ）は、提示方法判定テーブルの一例を示す図であり、図１５（Ｂ）は、提示方法ＩＤテーブルの一例を示す図である。
提示方法判定テーブルには横方向（行方向）にユーザと推奨入力機器の距離Ｄ、推奨入力機器の位置情報の提示を行うか否かの情報、位置情報を提示する場合の提示方法ＩＤが記録されている。なお、図１５（Ａ）では０．３ｍと１．０ｍで位置情報の提示の有無と提示方法を変更しているが、この距離に限定されるわけではない。また、図１５（Ａ）ではユーザと推奨入力機器の距離を３段階に分けて位置情報の提示の有無と提示方法を変更しているが、ユーザと推奨入力機器の距離を２段階に分けて位置情報の提示の有無を判定してもよいし、４段階以上に細かく分けて位置情報の提示の有無と提示方法の変更を行っても良い。提示方法判定テーブルには横方向（行方向）に提示方法ＩＤ、提示機器、提示手段が記録されている。記録されている情報としては、例えば、図１６（Ａ）、図１６（Ｂ）、図１７（Ａ）、図１７（Ｂ）、図１８（Ａ）、図１８（Ｂ）、図１８（Ｃ）に示した方法などが記録されている。
図１６（Ａ）、図１６（Ｂ）はそれぞれ、本実施形態に係る音声操作システムにおいて、ユーザに推奨入力機器を提示するＵＩの一例を示す図である。音声入力よりも機器操作の入力に適した推奨入力機器があった場合、ユーザに推奨入力機器を提示するＵＩの一例を示している。この例では、操作対象機器３であるテレビの音量の変更について、音声入力で連続操作しているユーザに対して、リモコンでの操作を推薦する場合を示している。図１６（Ａ）に示すように、テレビ上で「リモコン操作がおすすめです」という表示画面を表示するとしてもよい。また、図１６（Ｂ）に示すように、例えば、テレビまたはリモコンに内蔵のスピーカから「リモコン操作がおすすめです」との音声を発するとしてもよい。また、「リモコン操作がおすすめです」といった具体的な内容を示すのではなく、他に推奨入力機器があることを新着情報としてユーザに提示し、ユーザが必要とした場合にのみ詳細情報を提示してもよい。
図１７（Ａ）、図１７（Ｂ）はそれぞれ、本実施形態に係る音声操作システムにおいて、ユーザに推奨入力機器の操作方法を具体的に提示する方法の一例を示す図である。音声入力よりも機器操作の入力に適した推奨入力機器があった場合に、ユーザに推奨入力機器の操作方法を具体的に提示する方法の一例を示している。例えば、テレビの音量変更機能を音声入力で連続操作しているユーザに対して、リモコンを用いたボタン操作を推薦する。図１７（Ａ）に示すようにリモコンの音量調整ボタンを光らせるとしてもよい。また、図１７（Ｂ）に示すように、テレビ画面上にリモコン画像を表示させて、表示したリモコン画像中の音量調整ボタンに対応する部分を強調表示してもよい。これによって、ユーザは、音声入力を用いて操作していた機能を、リモコンを用いて操作する場合にどのボタンを押せば音声入力を用いた操作と同様に操作可能であるかを把握できる。
図１８（Ａ）、図１８（Ｂ）、図１８（Ｃ）はそれぞれ、本実施形態に係る音声操作システムにおいて、ユーザに推奨入力機器の位置を提示する方法の一例を示す図である。音声入力よりも機器操作の入力に適した推奨入力機器があった場合に、ユーザに推奨入力機器の位置を提示する方法の一例を示している。例えば、図１８（Ａ）のようにリモコンそのものが光ることでリモコンの位置を強調させてもよい。また、図１８（Ｂ）のようにリモコンから音を出すことでユーザに位置を知らせるとしてもよい。図１８（Ｃ）のようにテレビ上に部屋の見取り図を提示することでリモコンの位置を提示してもよい。なお、リモコンの正確な位置を提示するわけではなく、リモコンを置いている可能性が高い範囲の提示、テレビやユーザに対してリモコンのある方向の提示などの提示方法を用いてもよい。
以上の処理を具体的な例を用いて説明していく。例えば、ユーザがテレビに対して「音量を上げて」と発話を行った場合を考える。ユーザが発話した音声信号に対し、特徴量抽出処理Ｓ００１を実行する。抽出した音声特徴量をもとに、音声認識処理Ｓ００２で音声認識辞書格納部２０３の情報から受信した音声特徴量を文字列・単語列に変換する。変換した文字列・単語列をもとに、機器操作判定処理Ｓ００３を実行することで、ユーザの発話は「音量調整」の操作を意図していると判定される。判定結果に基づき、機器操作処理Ｓ００４を実行することで、テレビの音量を大きくする。その後、連続操作判定処理Ｓ００５を実行する。音量調整の操作コマンドが連続して操作されたか否か判定した結果、１回目の音量調整の操作コマンドであると判定され、操作コマンド格納テーブル３０４に操作コマンドを格納し処理を終了する。
次に、例えば、１回の音量調整では不十分だと感じたユーザは、テレビに対して再度「音量を上げて」と発話を行う。連続操作判定処理Ｓ００５までは１回目の発話と同様の処理を実行する。操作コマンド格納テーブル３０４の操作回数Ｎ００１に音量調整の操作コマンドが格納されているため、ユーザは２回連続で音量調整の操作コマンドを入力したと判定される。ユーザが連続して同じ操作コマンドを入力したと判定されたため、推奨入力機器提示判定処理Ｓ００６を実行し、音量調整を行う際に推奨される入力機器が音声入力装置以外にあるか否かの判定を行う。音量調整の操作コマンドに対しては音声入力よりもリモコンかスマートフォンでの操作が適していると判定されるため、推奨入力機器位置判定処理Ｓ００７を実行する。推奨入力機器位置判定処理Ｓ００７を実行した結果、例えば、ユーザとリモコンの距離が２５ｃｍ、ユーザとスマートフォンの距離が５０ｃｍ離れていると算出され、ユーザに提示すべき推奨入力機器はリモコンであると判定される。判定結果をもとに推奨入力機器提示処理Ｓ００８を実行した結果、テレビからユーザに対して「リモコン操作がおすすめです」と音声で提示が行われ、推奨入力機器の提示を終了する。
このような推奨入力機器の提示を通して、音量調整のように何度も「音量を上げて」「音量を下げて」と音声入力装置で入力が必要となる煩雑な操作に対して、リモコンのようにフィードバックの早い別の入力機器をユーザに提示することが可能となる。その結果、ユーザは音量調整を行う際はリモコンやスマートフォンが推奨されていると学習し、最終的にユーザ自身で操作毎に推奨される入力機器を選択することが可能となる。
上記の例では、ユーザが音声により同じ操作コマンドを連続して入力した場合に、推奨入力機器提示判定処理を行った。次に、同じ操作コマンドが入力される頻度に応じて、推奨入力機器提示判定処理を行う処理を説明する。
図１９は、入力頻度判定処理の手順を示すフローチャートである。この例では、所定期間内に現在の操作コマンドと同じ種別の操作コマンドが入力された頻度を算出し、算出した入力頻度が所定値以上である場合に、推奨入力機器をユーザへ提示する。
ステップＳ９０１において、ステップＳ３０４で送信された操作コマンドを、図１１Ｂに示すような時刻情報を含む操作コマンド格納テーブル（履歴情報）に格納する。
ステップＳ９０２において、連続操作判定部３０３は、所定期間内に現在の操作コマンドと同じ種別の操作コマンドが入力された回数（入力頻度）を算出する。所定期間は任意であり、操作対象機器の種類に応じて、例えば、１０秒、１分、３０分、１時間または１日等に設定する。図１１Ｂの例では、１分の間に同じ種別の操作コマンドが２回入力されている。
ステップＳ９０３において、連続操作判定部３０３は、入力頻度が所定値以上であるか判定する。所定値は任意の値であり、例えば入力回数２回を所定値とする。入力頻度が所定値以上である場合は、ステップＳ９０４において推奨入力機器提示判定処理を実行し、判定結果に応じて推奨入力機器をユーザへ提示する。例えば、音声入力装置以外の入力機器であるリモコンやスマートフォンを、推奨入力機器としてユーザへ提示する。入力頻度が所定値以上でない場合は、推奨入力機器提示判定処理を実行せずに処理を終了する。
音声入力によるテレビの音量調整が短期間の間に複数回行われていた場合、推奨入力機器の提示を通して、音声入力による煩雑な操作に対して、リモコンのようにフィードバックの早い別の入力機器をユーザに提示することが可能となる。その結果、ユーザは音量調整を行う際はリモコンやスマートフォンが推奨されていると学習し、最終的にユーザ自身で操作毎に推奨される入力機器を選択することが可能となる。
次に、操作コマンドに応じて変化した操作対象機器の動作内容を学習し、その学習した内容に応じて操作対象機器を制御する処理を説明する。
図２０は、学習処理の手順を示すフローチャートである。この例では、操作コマンドに応じて変化した操作対象機器の動作内容を履歴情報として管理する。
ステップＳ１００１において、操作対象機器３の通信部３０１は操作コマンドを入力し、ステップＳ１００２において、機器制御部３０２は、操作対象機器３の動作を制御する。例えば、テレビの音量が１５のときに、ユーザから「音量を１０上げて」という音声入力があったとき、機器制御部３０２はテレビの音量を１０上げて、音量を２５に設定する。そして、ステップＳ１００３において、テレビの音量が１５のときに音量を２５に変更したという動作内容を履歴情報として記録する。動作内容は、履歴情報である操作コマンド格納テーブル３０４に記録してもよいし、操作コマンド格納テーブル３０４とは別に設けた履歴情報に記録してもよい。また、例えば、ユーザから「音量を２５にして」という音声入力があったとき、機器制御部３０２はテレビの音量を２５に設定する。そして、テレビの音量を２５に変更したという動作内容を履歴情報として記録する。このように動作内容を蓄積することで、「音量を上げるときは、音量２５に変更することが多い」という学習結果が得られる。そのような学習結果に応じて機器を制御することで、ユーザの好みに応じた機器の設定を行うことができる。また、音量の変化量のような具体的な数値の情報を履歴情報が含むことで、精度よくユーザの好みに応じた機器の設定を行うことができる。
図２１は、操作コマンドに対応した動作内容を判定する処理の手順を示すフローチャートである。
ステップＳ１１０１において、通信部３０１は操作コマンドを入力する。ステップＳ１１０２において、機器制御部３０２は、音声入力に基づく操作コマンドに応じた機器操作が可能か判定する。例えば、「音量を１０上げて」という音声入力があったときは、音量を上げる量が明確であるため機器操作が可能であり、ステップＳ１１０５において、テレビの音量を１０上げる処理を行う。
一方、「音量を上げて」という音声入力があったときは、音量を上げる量が不明であるため機器操作はできないと判断して、ステップＳ１１０３の処理に進む。
ステップＳ１１０３において、「音量を上げて」というコマンドに対応した動作内容の履歴情報が蓄積されているか判定する。例えば、対応する動作内容が複数個蓄積されているか判定する。動作内容が蓄積されている場合、ステップＳ１１０５において、その動作内容に応じた機器操作を行う。例えば、音量を２５に変更するという動作内容が蓄積されている場合、テレビの音量を２５に設定する。
一方、対応する動作内容の履歴情報が蓄積されていないと判定した場合、ステップＳ１１０４において推奨入力機器提示判定処理を実行し、判定結果に応じて推奨入力機器をユーザへ提示する。この場合は、ユーザは音声入力による音量調整を複数回行う可能性があるため、推奨入力機器の提示をすることで、音声入力による煩雑な操作を避けることができる。推奨入力機器としては、例えば、音声入力装置以外の入力機器であるリモコンやスマートフォンを提示する。
図２２は、操作コマンドに対応した動作内容を判定する処理の別の例を示すフローチャートである。
ステップＳ１２０１において、通信部３０１は操作コマンドを入力する。ステップＳ１２０２において、機器制御部３０２は、音声入力に基づく操作コマンドが数値情報を含むか判定する。数値情報は、操作対象機器の動作を変化させる量を示す具体的な数値を示している。例えば、「音量を１０上げて」という音声入力があったときは、音量を上げる量は１０であるという数値があるため、ステップＳ１２０５において、テレビの音量を１０上げる処理を行う。
一方、「音量を上げて」という音声入力のように操作コマンドが数値情報を含まないときは、ステップＳ１２０３の処理に進む。ステップＳ１２０３において、条件に合う数値の履歴情報が蓄積されているか判定する。例えば、現在のテレビの音量は１５であるという条件であって、テレビの音量が１５のときは音量を１０上げて２５に変更する履歴情報が蓄積されている場合は、ステップＳ１２０５において、テレビの音量を１０上げて２５に設定する処理を行う。
一方、条件に合う履歴情報が蓄積されていないと判定した場合、ステップＳ１２０４において推奨入力機器提示判定処理を実行し、判定結果に応じて推奨入力機器をユーザへ提示する。この場合は、ユーザは音声入力による音量調整を複数回行う可能性があるため、推奨入力機器の提示をすることで、音声入力による煩雑な操作を避けることができる。推奨入力機器としては、例えば、音声入力装置以外の入力機器であるリモコンやスマートフォンを提示する。
次に、音声認識の尤度に応じて、推奨入力機器提示判定処理を行う処理を説明する。図２３は、音声認識尤度判定処理の手順を示すフローチャートである。この例では、音声情報から操作指示内容を認識し、認識した操作指示内容の尤度を算出する。そして、尤度が所定値よりも低い場合、操作コマンドに応じた推奨入力機器をユーザへ提示する。
ステップＳ１３０１において、音声認識部２０２は、受信した音声特徴量を文字列・単語列に変換する。ステップＳ１３０２において、機器操作判定部２０４は、音声認識結果に基づいて操作コマンドを認識する。なお、音声認識部２０２および機器操作判定部２０４の機能が操作対象機器３に搭載されている場合は、これらの処理は操作対象機器３が行う。
ステップＳ１３０３において、機器制御部３０２は、音声認識の尤度を算出する。尤度の算出方法としては、例えば、認識した音声内容と基準となる言語モデルとの距離を算出して尤度を求めることができる。この場合は、算出した距離が短いほど尤度は高くなる。
次に、ステップＳ１３０４において、算出した尤度は所定値よりも低いか判定する。所定値は任意の値である。尤度が所定値以上の場合、ステップＳ１３０６において、認識した操作コマンドに応じた機器の制御を行う。
一方、尤度が所定値よりも低い場合、ステップＳ１３０５において推奨入力機器提示判定処理を実行し、判定結果に応じて推奨入力機器をユーザへ提示する。推奨入力機器としては、例えば、音声入力装置以外の入力機器であるリモコンやスマートフォンを提示する。尤度が低い場合に音声入力に応じた機器の制御を行うと、ユーザが意図した操作とは異なる操作が行われる可能性が高くなる。推奨入力機器の提示をすることで、ユーザが意図した操作とは異なる操作が行われることを避けることができる。
次に、取得した音声の雑音レベルに応じて、推奨入力機器提示判定処理を行う処理を説明する。図２４は、雑音レベル判定処理の手順を示すフローチャートである。この例では、音声情報の雑音レベルを算出し、雑音レベルが所定値以上の場合、操作コマンドに応じた推奨入力機器をユーザへ提示する。
ステップＳ１４０１において、音声認識部２０２は、音声特徴量を含む音声情報を取得する。この音声情報には、音声入力機器の周囲の環境音と、操作対象機器に対する操作指示内容とが含まれている。ステップＳ１４０２において、音声認識部２０２は、音声情報の雑音レベルを算出する。雑音レベルの算出方法としては、例えば、雑音と音声との音圧を比較してＳ／Ｎを求めることで雑音レベルを算出することができる。この場合は、Ｓ／Ｎが小さいほど、雑音レベルは大きくなる。
次に、ステップＳ１４０３において、算出した雑音レベルは所定値以上か判定する。所定値は任意の値である。雑音レベルが所定値未満の場合、ステップＳ１４０５において、音声情報から認識した操作コマンドに応じた機器の制御を行う。
一方、雑音レベルが所定値以上の場合、ステップＳ１４０４において推奨入力機器提示判定処理を実行し、判定結果に応じて推奨入力機器をユーザへ提示する。推奨入力機器としては、例えば、音声入力装置以外の入力機器であるリモコンやスマートフォンを提示する。雑音レベルが高い場合に音声入力に応じた機器の制御を行うと、ユーザが意図した操作とは異なる操作が行われる可能性が高くなる。推奨入力機器の提示をすることで、ユーザが意図した操作とは異なる操作が行われることを避けることができる。
なお、雑音レベルおよび尤度の両方に応じて、推奨入力機器提示判定処理を行ってもよい。
なお、上記実施形態の説明で示した各処理は、ハードウエアによって実現されてもよいしソフトウェアによって実現されてもよいし、それらの組み合わせによって実現されてもよい。そのような動作を実行させるコンピュータプログラムは、例えばメモリに記憶され、マイクロコンピュータによって動作が実行される。また、そのようなコンピュータプログラムは、それが記録された記録媒体（半導体メモリ、光ディスク等）から各機器へインストールしてもよいし、インターネット等の電気通信回線を介してダウンロードしてもよい。また、無線通信を介してそのようなコンピュータプログラムを各機器へインストールしてもよい。
なお、上記態様において説明された技術は、例えば、以下のクラウドサービスの類型において実現されうる。しかし、上記態様において説明された技術が実現されるクラウドサービスの類型はこれらに限られるものでない。
（サービスの類型１：自社データセンタ型クラウドサービス）
図２６は、サービスの類型１（自社データセンタ型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。本類型では、サービスプロバイダ６２０がグループ６００から情報を取得し、ユーザに対してサービスを提供する。本類型では、サービスプロバイダ６２０が、データセンタ運営会社の機能を有している。すなわち、サービスプロバイダ６２０が、ビッグデータを管理するクラウドサーバ６１１を保有している。したがって、データセンタ運営会社は存在しない。
本類型では、サービスプロバイダ６２０は、データセンタ（クラウドサーバ）７０３を運営および管理している。また、サービスプロバイダ６２０は、オペレーティングシステム（ＯＳ）７０２およびアプリケーション７０１を管理する。サービスプロバイダ６２０は、サービスプロバイダ６２０が管理するＯＳ７０２およびアプリケーション７０１を用いてサービスを提供する（矢印７０４）。
（サービスの類型２：ＩａａＳ利用型クラウドサービス）
図２７は、サービスの類型２（ＩａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＩａａＳとは、インフラストラクチャー・アズ・ア・サービスの略であり、コンピュータシステムを構築および稼動させるための基盤そのものを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
本類型では、データセンタ運営会社６１０が、データセンタ（クラウドサーバ）７０３を運営および管理している。また、サービスプロバイダ６２０は、ＯＳ７０２およびアプリケーション７０１を管理する。サービスプロバイダ６２０は、サービスプロバイダ６２０が管理するＯＳ７０２およびアプリケーション７０１を用いてサービスを提供する（矢印７０４）。
（サービスの類型３：ＰａａＳ利用型クラウドサービス）
図２８は、サービスの類型３（ＰａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＰａａＳとは、プラットフォーム・アズ・ア・サービスの略であり、ソフトウェアを構築および稼動させるための土台となるプラットフォームを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
本類型では、データセンタ運営会社６１０は、ＯＳ７０２を管理し、データセンタ（クラウドサーバ）７０３を運営および管理している。また、サービスプロバイダ６２０は、アプリケーション７０１を管理する。サービスプロバイダ６２０は、データセンタ運営会社６１０が管理するＯＳ７０２およびサービスプロバイダ６２０が管理するアプリケーション７０１を用いてサービスを提供する（矢印７０４）。
（サービスの類型４：ＳａａＳ利用型クラウドサービス）
図２９は、サービスの類型４（ＳａａＳ利用型クラウドサービス）における情報管理システムが提供するサービスの全体像を示す図である。ここで、ＳａａＳとは、ソフトウェア・アズ・ア・サービスの略である。ＳａａＳ利用型クラウドサービスは、例えば、データセンタ（クラウドサーバ）を保有しているプラットフォーム提供者が提供するアプリケーションを、データセンタ（クラウドサーバ）を保有していない会社又は個人などの利用者がインターネットなどのネットワーク経由で使用できる機能を有するクラウドサービス提供モデルである。
本類型では、データセンタ運営会社６１０は、アプリケーション７０１を管理し、ＯＳ７０２を管理し、データセンタ（クラウドサーバ）７０３を運営および管理している。また、サービスプロバイダ６２０は、データセンタ運営会社６１０が管理するＯＳ７０２およびアプリケーション７０１を用いてサービスを提供する（矢印７０４）。
以上、いずれのクラウドサービスの類型においても、サービスプロバイダ６２０がサービスを提供する。また、例えば、サービスプロバイダ又はデータセンタ運営会社は、ＯＳ、アプリケーション又はビッグデータのデータベース等を自ら開発してもよいし、また、第三者に外注させてもよい。
本開示の技術は、音声を用いて機器の動作を制御する技術分野において特に有用である。
１ 音声入力装置
２ サーバ
３ 操作対象機器
４ 入力機器
５ ネットワーク
１０１ 音声取得部
１０２ 音声検出部
１０３ 音声区間切り出し部
１０４ 特徴量算出部
１０５ 通信部
２０１ 通信部
２０２ 音声認識部
２０３ 音声認識辞書格納部
２０４ 機器操作判定部
２０５ 機器操作判定テーブル
３０１ 通信部
３０２ 機器制御部
３０３ 連続操作判定部
３０４ 操作コマンド格納テーブル
３０５ 推奨入力機器判定部
３０６ 推奨入力機器判定テーブル
３０７ 推奨入力機器位置判定部
３０８ 操作方法表示部
４０１ 位置情報取得部
４０２ 入力部
４０３ 通信部

Claims (14)

  1. 複数の入力機器を用いて動作を制御可能な操作対象機器の動作を制御する機器制御方法であって、
    前記操作対象機器に対する第１操作指示内容を示す第１操作指示情報を受信し、
    受信した前記第１操作指示情報が示す前記第１操作指示内容を認識し、
    前記複数の入力機器のうちの前記第１操作指示内容に関する操作をユーザから受け付けた第１入力機器を認識し、
    前記第１操作指示内容、前記第１入力機器、および前記第１操作指示情報よりも前に受信した第２操作指示情報が示す第２操作指示内容に関する履歴情報に基づいて、前記第１入力機器とは異なる推奨入力機器を前記ユーザへ提示する、
    機器制御方法。
  2. 前記第１操作指示内容の種別を認識し、
    前記履歴情報は、前記第２操作指示内容の種別を示す情報を含み、
    前記第１操作指示内容の種別と前記第２操作指示内容の種別とが同じであると判断される場合、前記第１入力機器とは異なる推奨入力機器を前記ユーザへ提示する、
    請求項１に記載の機器制御方法。
  3. 前記履歴情報は、一つ以上の操作指示情報のそれぞれが入力された時刻を示す時刻情報を含み、
    前記第２操作指示情報は、前記一つ以上の操作指示情報のうちの、前記第１操作指示情報が入力された時刻である第１時刻と、前記第１時刻から所定時間前である第２時刻との間の時刻において入力された操作指示情報である、
    請求項２に記載の機器制御方法。
  4. 前記履歴情報は、一つ以上の操作指示情報のそれぞれが入力された時刻を示す時刻情報を含み、
    前記第２操作指示情報は、前記第１操作指示情報の直前に入力された操作指示情報である、
    請求項２に記載の機器制御方法。
  5. 操作指示内容の種別毎に推奨される入力機器を示す推奨入力機器情報および前記第１操作指示内容の種別に基づいて、前記ユーザへ提示する推奨入力機器を決定する、
    請求項２に記載の機器制御方法。
  6. 前記操作対象機器は、前記複数の入力機器のそれぞれに対するユーザの操作に応じた操作指示情報が受信可能である、
    請求項１に記載の機器制御方法。
  7. 前記推奨入力機器として、前記操作対象機器に対応し、前記操作対象機器の動作を制御可能なリモコン装置を前記ユーザに提示する、
    請求項１に記載の機器制御方法。
  8. 前記推奨入力機器は前記リモコン装置であることを音声出力により前記ユーザへ提示する、
    請求項７に記載の機器制御方法。
  9. 前記リモコン装置の外観を示す画像を表示装置に表示し、前記リモコン装置のうちの前記第１操作指示内容に関する操作が可能な動作部を強調表示することで前記推奨入力機器を提示する、
    請求項８に記載の機器制御方法。
  10. 前記履歴情報は、一つ以上の操作指示情報のそれぞれが入力された時刻を表す時刻情報を含み、
    前記第１操作指示内容の種別を判断し、
    前記履歴情報に基づいて、所定期間内の前記第１操作指示内容と同じ種別の操作指示情報の入力頻度を算出し、
    前記算出した入力頻度に基づいて、前記推奨入力機器を前記ユーザへ提示する、
    請求項１に記載の機器制御方法。
  11. 算出した前記入力頻度が所定値以上である場合に、前記推奨入力機器をユーザへ提示する、
    請求項１０に記載の機器制御方法。
  12. 前記第１操作指示内容の種別を認識し、
    前記履歴情報は、前記第２操作指示内容の種別を示す種別情報と、前記第２操作指示情報に基づいて変化した前記操作対象機器の動作内容を示す動作情報をさらに含み、
    前記第１操作指示内容と同じ種別に関する前記操作対象機器の動作内容を示す情報を前記動作情報が含んでいないと判断された場合、前記第１入力機器とは異なる推奨入力機器をユーザへ提示する、
    請求項１に記載の機器制御方法。
  13. 複数の入力機器を用いて動作を制御可能な電気機器であって、
    前記電気機器は、
    前記電気機器に対する第１操作指示内容を示す第１操作指示情報を入力する入力部と、
    前記第１操作指示情報が示す第１操作指示内容と、前記複数の入力機器のうちの前記第１操作指示内容に関する操作をユーザから受け付けた第１入力機器とを認識する認識部と、
    前記第１操作指示内容、前記第１入力機器、および前記第１操作指示情報よりも前に入力された第２操作指示情報が示す第２操作指示内容に関する履歴情報に基づいて、前記第１入力機器とは異なる推奨入力機器を前記ユーザへ提示する提示部と、を備える、
    電気機器。
  14. 複数の入力機器を用いて動作を制御可能な電気機器を制御するためのコンピュータプログラムであって、
    前記電気機器のコンピュータに、
    前記電気機器に対する第１操作指示内容を示す第１操作指示情報を入力させ、
    前記第１操作指示情報が示す第１操作指示内容と、前記複数の入力機器のうちの前記第１操作指示内容に関する操作をユーザから受け付けた第１入力機器とを認識させ、
    前記第１操作指示内容、前記第１入力機器、および前記第１操作指示情報よりも前に入力された第２操作指示情報が示す第２操作指示内容に関する履歴情報に基づいて、前記第１入力機器とは異なる推奨入力機器を前記ユーザへ提示させる、
    コンピュータプログラム。
JP2015050967A 2014-07-01 2015-03-13 機器制御方法および電気機器 Expired - Fee Related JP6482911B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015050967A JP6482911B2 (ja) 2014-07-01 2015-03-13 機器制御方法および電気機器
US14/743,704 US9721572B2 (en) 2014-07-01 2015-06-18 Device control method and electric device
EP17183297.5A EP3252730A1 (en) 2014-07-01 2015-06-23 Device control method and electric device
EP15173226.0A EP2963630B1 (en) 2014-07-01 2015-06-23 Device control method and electric device
US15/622,126 US20170289582A1 (en) 2014-07-01 2017-06-14 Device control method and electric device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014135899 2014-07-01
JP2014135899 2014-07-01
JP2015050967A JP6482911B2 (ja) 2014-07-01 2015-03-13 機器制御方法および電気機器

Publications (2)

Publication Number Publication Date
JP2016027688A JP2016027688A (ja) 2016-02-18
JP6482911B2 true JP6482911B2 (ja) 2019-03-13

Family

ID=53496450

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015050967A Expired - Fee Related JP6482911B2 (ja) 2014-07-01 2015-03-13 機器制御方法および電気機器

Country Status (3)

Country Link
US (2) US9721572B2 (ja)
EP (2) EP3252730A1 (ja)
JP (1) JP6482911B2 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6482911B2 (ja) * 2014-07-01 2019-03-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器制御方法および電気機器
EP3300074B1 (en) * 2015-05-19 2019-08-21 Sony Corporation Information processing apparatus
US9653075B1 (en) * 2015-11-06 2017-05-16 Google Inc. Voice commands across devices
US10796693B2 (en) * 2015-12-09 2020-10-06 Lenovo (Singapore) Pte. Ltd. Modifying input based on determined characteristics
US9911417B2 (en) * 2016-04-01 2018-03-06 Tai-An Lu Internet of things system with voice-controlled functions and method for processing information of the same
KR20170132622A (ko) * 2016-05-24 2017-12-04 삼성전자주식회사 음성 인식 기능을 갖는 전자 장치 및 전자 장치의 동작 방법
KR102505719B1 (ko) * 2016-08-12 2023-03-03 삼성전자주식회사 음성 인식이 가능한 디스플레이 장치 및 방법
CN107765838A (zh) * 2016-08-18 2018-03-06 北京北信源软件股份有限公司 人机交互辅助方法及装置
JP6659514B2 (ja) 2016-10-12 2020-03-04 東芝映像ソリューション株式会社 電子機器及びその制御方法
US10332523B2 (en) 2016-11-18 2019-06-25 Google Llc Virtual assistant identification of nearby computing devices
US10643609B1 (en) * 2017-03-29 2020-05-05 Amazon Technologies, Inc. Selecting speech inputs
KR102025391B1 (ko) * 2017-05-15 2019-09-25 네이버 주식회사 사용자의 발화 위치에 따른 디바이스 제어
CN107146616B (zh) * 2017-06-13 2020-05-08 Oppo广东移动通信有限公司 设备控制方法及相关产品
US11205421B2 (en) * 2017-07-28 2021-12-21 Cerence Operating Company Selection system and method
JP6997554B2 (ja) * 2017-08-03 2022-01-17 シャープ株式会社 家電装置システム
JP6843723B2 (ja) * 2017-09-29 2021-03-17 シャープ株式会社 サーバ装置、サーバクライアントシステム及びプログラム
JP2019068319A (ja) * 2017-10-03 2019-04-25 東芝ライフスタイル株式会社 家電システム
CN108130683A (zh) * 2017-12-21 2018-06-08 迪尔阿扣基金两合公司 一种家用电器以及用于运行家用电器的方法
JP6928842B2 (ja) * 2018-02-14 2021-09-01 パナソニックＩｐマネジメント株式会社 制御情報取得システム、及び、制御情報取得方法
US10848392B2 (en) * 2018-02-15 2020-11-24 Lenovo (Singapore) Pte. Ltd. Systems and methods to use digital assistant to join network
US10685652B1 (en) * 2018-03-22 2020-06-16 Amazon Technologies, Inc. Determining device groups
JP2019198027A (ja) * 2018-05-10 2019-11-14 パナソニックＩｐマネジメント株式会社 制御システム、プログラム
JP6700338B2 (ja) * 2018-06-19 2020-05-27 ソフトバンク株式会社 情報処理装置、情報処理方法、情報処理プログラム
JP7224863B2 (ja) * 2018-11-09 2023-02-20 キヤノン株式会社 中継サーバおよび制御方法
JP2020099459A (ja) * 2018-12-21 2020-07-02 パナソニックＩｐマネジメント株式会社 洗濯機
JP7145502B2 (ja) * 2018-12-28 2022-10-03 パナソニックＩｐマネジメント株式会社 コントローラ、照明システム、照明制御方法及びプログラム
JP2020112692A (ja) * 2019-01-11 2020-07-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 方法、制御装置、及びプログラム
KR102253524B1 (ko) * 2019-09-02 2021-05-20 네이버 주식회사 라우드니스 정규화 방법 및 시스템
TWI734340B (zh) * 2020-01-10 2021-07-21 諾利嘉股份有限公司 智慧電器設備控制裝置
CN112489413B (zh) * 2020-11-27 2022-01-11 京东方科技集团股份有限公司 遥控器的控制方法及系统、存储介质、电子设备
CN116671112A (zh) * 2020-12-04 2023-08-29 三星电子株式会社 控制装置及其操作方法
WO2024049210A1 (ko) * 2022-08-30 2024-03-07 엘지전자 주식회사 전력 관리장치 및 이를 이용한 전력 관리방법
CN116304320A (zh) * 2023-03-06 2023-06-23 深圳绿米联创科技有限公司 空间模板推荐方法、装置、电子设备及存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0451799A (ja) * 1990-06-20 1992-02-20 Hitachi Ltd 遠隔制御方式
JPH07104962A (ja) * 1993-10-06 1995-04-21 Toshiba Corp 対話システム
US7831930B2 (en) * 2001-11-20 2010-11-09 Universal Electronics Inc. System and method for displaying a user interface for a remote control application
US6219645B1 (en) * 1999-12-02 2001-04-17 Lucent Technologies, Inc. Enhanced automatic speech recognition using multiple directional microphones
JP2001307540A (ja) 2000-04-26 2001-11-02 Toshiba Lighting & Technology Corp 照明装置
JP2002027576A (ja) * 2000-07-05 2002-01-25 Toshiba Corp リモートコントローラ及び携帯電話及び電子機器及びその制御方法
JP2003114698A (ja) 2001-10-03 2003-04-18 Denso Corp コマンド受付装置及びプログラム
US7987491B2 (en) * 2002-05-10 2011-07-26 Richard Reisman Method and apparatus for browsing using alternative linkbases
US7574356B2 (en) 2004-07-19 2009-08-11 At&T Intellectual Property Ii, L.P. System and method for spelling recognition using speech and non-speech input
US20060235701A1 (en) 2005-04-13 2006-10-19 Cane David A Activity-based control of a set of electronic devices
JP2009271835A (ja) * 2008-05-09 2009-11-19 Toyota Central R&D Labs Inc 機器操作制御装置及びプログラム
US9070282B2 (en) * 2009-01-30 2015-06-30 Altorr Corp. Smartphone control of electrical devices
JP2012132052A (ja) 2010-12-20 2012-07-12 Panasonic Corp 希土類磁石類の回収方法
WO2012169679A1 (ko) * 2011-06-10 2012-12-13 엘지전자 주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 디스플레이 장치의 음성인식 시스템
CN103842773B (zh) * 2011-09-13 2017-05-17 三菱电机株式会社 导航装置
KR20130116107A (ko) * 2012-04-13 2013-10-23 삼성전자주식회사 단말의 원격 제어 방법 및 장치
US20130325451A1 (en) * 2012-05-31 2013-12-05 Elwha LLC, a limited liability company of the State of Delaware Methods and systems for speech adaptation data
JP5949413B2 (ja) 2012-10-04 2016-07-06 日本電気株式会社 ユーザ指示認識システム、ユーザ指示認識方法、情報処理装置、携帯端末およびその制御方法と制御プログラム
JP6030008B2 (ja) * 2013-03-13 2016-11-24 パナソニック株式会社 情報機器、被制御機器、無線通信システムおよび被制御機器の選定方法
JP6482911B2 (ja) * 2014-07-01 2019-03-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器制御方法および電気機器
KR101947700B1 (ko) * 2014-12-01 2019-02-13 광주과학기술원 통합 망 관리 시스템, 네트워크 관리장치, 네트워크 관리방법, 및 그 방법이 수록되는 기록매체
US10567477B2 (en) * 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US20170061784A1 (en) * 2015-08-27 2017-03-02 Altorr Corporation Sip-and-puff Controller of Electrical Devices for Paraplegic or Quadriplegic Humans

Also Published As

Publication number Publication date
EP2963630B1 (en) 2017-09-13
US20160005404A1 (en) 2016-01-07
JP2016027688A (ja) 2016-02-18
US9721572B2 (en) 2017-08-01
EP2963630A2 (en) 2016-01-06
EP2963630A3 (en) 2016-03-16
US20170289582A1 (en) 2017-10-05
EP3252730A1 (en) 2017-12-06

Similar Documents

Publication Publication Date Title
JP6482911B2 (ja) 機器制御方法および電気機器
JP6534926B2 (ja) 話者識別方法、話者識別装置及び話者識別システム
CN104620593B (zh) 显示装置及用于控制该显示装置的方法
CN109508167B (zh) 显示装置和在语音识别系统中控制显示装置的方法
KR102339657B1 (ko) 전자 장치 및 이의 제어 방법
EP2960882B1 (en) Display device and operating method thereof
US9443527B1 (en) Speech recognition capability generation and control
KR102246900B1 (ko) 전자 장치 및 이의 음성 인식 방법
KR102147329B1 (ko) 영상 표시 기기 및 그의 동작 방법
JP6227459B2 (ja) 遠隔操作方法ならびにシステムならびにそのユーザ端末および視聴端末
KR102392087B1 (ko) 원격 조정 장치 및 원격 조정 장치의 사용자 음성 수신방법
KR102158315B1 (ko) 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
KR20170032114A (ko) 음성 인식 장치 및 그의 제어방법
KR102662558B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
EP2728890A2 (en) Broadcast receiving apparatus, server and control methods thereof
KR20180024927A (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
US20180102127A1 (en) Electronic device and control method thereof
US9544645B2 (en) Video display device and operating method thereof
JP2016014967A (ja) 情報管理方法
EP3528245A1 (en) User identification method and apparatus based on acoustic features
KR20190100630A (ko) 디스플레이 장치 및 그의 동작 방법
KR20200016774A (ko) 사용자 음성 발화를 처리하기 위한 시스템 및 그의 동작 방법
CN111316226B (zh) 电子装置及其控制方法
CN113314115B (zh) 终端设备的语音处理方法、终端设备及可读存储介质
KR20210098250A (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190213

R150 Certificate of patent or registration of utility model

Ref document number: 6482911

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees