JPWO2015133022A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JPWO2015133022A1
JPWO2015133022A1 JP2016506085A JP2016506085A JPWO2015133022A1 JP WO2015133022 A1 JPWO2015133022 A1 JP WO2015133022A1 JP 2016506085 A JP2016506085 A JP 2016506085A JP 2016506085 A JP2016506085 A JP 2016506085A JP WO2015133022 A1 JPWO2015133022 A1 JP WO2015133022A1
Authority
JP
Japan
Prior art keywords
response
request
information processing
function
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016506085A
Other languages
English (en)
Other versions
JP6503557B2 (ja
Inventor
亮裕 渡辺
亮裕 渡辺
角川 元輝
元輝 角川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015133022A1 publication Critical patent/JPWO2015133022A1/ja
Application granted granted Critical
Publication of JP6503557B2 publication Critical patent/JP6503557B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/382Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2805Home Audio Video Interoperability [HAVI] networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4131Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4396Processing of audio elementary streams by muting the audio signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L2012/2847Home automation networks characterised by the type of home appliance used
    • H04L2012/2849Audio/video appliances
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L2012/2847Home automation networks characterised by the type of home appliance used
    • H04L2012/285Generic home appliances, e.g. refrigerators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q2209/00Arrangements in telecontrol or telemetry systems
    • H04Q2209/10Arrangements in telecontrol or telemetry systems using a centralized architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】リクエストに対するレスポンスを提供する機器を自動的に選択することによって、ユーザが自然かつ簡単な操作で機器ネットワークを利用することを可能にする。【解決手段】システムに対するリクエストを取得するリクエスト取得部と、上記リクエストに対するレスポンスを決定するレスポンス決定部と、少なくとも上記レスポンスの属性に基づいて、上記システムに含まれる機器の中から上記レスポンスを提供する機器を選択する機器選択部と、上記選択された機器に上記レスポンスを提供させるための制御を実行する機器制御部とを備える情報処理装置が提供される。【選択図】図4

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。
近年、情報処理機能やネットワーク通信機能を有するスマート家電が普及している。スマート家電や、スマートフォン、タブレット端末、またはパーソナルコンピュータのような情報処理端末、NAS(Network Attached Storage)などを家庭内のネットワークを介して制御することによって、ユーザの生活をサポートするシステムが構築されつつある。このようなシステムに利用される技術は、例えば特許文献1に記載されている。
特開平11−311996号公報
しかしながら、上記のようなシステムにおいて、ネットワーク内のどの機器を利用するかは、ユーザの選択によって決定されている。つまり、例えば、家庭内のネットワークに複数のスピーカが接続されている場合、ユーザは、音楽の再生をリクエストするだけでは不十分であり、どのスピーカを利用して音楽を再生するかを指定する必要がある。このような場合、選択のための操作が増えるだけではなく、機器を指定するための名称がユーザには馴染みのないものである場合もあり、システムを利用するためのユーザの操作をより自然で簡単なものにする上では必ずしも好ましくなかった。
そこで、本開示では、リクエストに対するレスポンスを提供する機器を自動的に選択することによって、ユーザが自然かつ簡単な操作で機器ネットワークを利用することを可能にする、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、システムに対するリクエストを取得するリクエスト取得部と、上記リクエストに対するレスポンスを決定するレスポンス決定部と、少なくとも上記レスポンスの属性に基づいて、上記システムに含まれる機器の中から上記レスポンスを提供する機器を選択する機器選択部と、上記選択された機器に上記レスポンスを提供させるための制御を実行する機器制御部とを備える情報処理装置が提供される。
また、本開示によれば、システムに対するリクエストを取得することと、上記リクエストに対するレスポンスを決定することと、少なくとも上記レスポンスの属性に基づいて、上記システムに含まれる機器の中から上記レスポンスを提供する機器を選択することと、上記選択された機器に上記レスポンスを提供させるための制御を実行することとを含む情報処理方法が提供される。
また、本開示によれば、システムに対するリクエストを取得する機能と、上記リクエストに対するレスポンスを決定する機能と、少なくとも上記レスポンスの属性に基づいて、上記システムに含まれる機器の中から上記レスポンスを提供する機器を選択する機能と、上記選択された機器に上記レスポンスを提供させるための制御を実行する機能とをコンピュータに実現させるためのプログラムが提供される。
以上説明したように本開示によれば、リクエストに対するレスポンスを提供する機器を自動的に選択することによって、ユーザが自然かつ簡単な操作で機器ネットワークを利用することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るシステムの構成例を示す図である。 本開示の一実施形態に係る電子機器の構成例を示すブロック図である。 本開示の一実施形態に係るサーバの構成例を示すブロック図である。 本開示の一実施形態におけるエージェント機能の構成例を示すブロック図である。 本開示の一実施形態における機器情報DBの例を示す図である。 本開示の一実施形態の具体的な利用形態の第1の例を示すシーケンス図である。 本開示の一実施形態の具体的な利用形態の第2の例を示すシーケンス図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.一実施形態の構成例
1−1.システム構成例
1−2.各装置の構成例
1−3.エージェント機能の構成例
1−4.機器情報の例
2.具体的な利用形態の例
2−1.第1の例
2−2.第2の例
2−3.その他の例
3.ハードウェア構成
4.補足
(1.一実施形態の構成例)
(1−1.システム構成例)
図1は、本開示の一実施形態に係るシステムの構成例を示す図である。図1を参照すると、システム10は、電子機器100と、電子機器100が接続されるネットワーク200とを含む。システム10は、さらに、ネットワーク200に接続されるサーバ300を含んでもよい。
電子機器100は、ユーザによって使用される装置である。システム10には、複数の電子機器100が含まれうる。図1では、電子機器100の例として、テレビ100a、スピーカ100b、スピーカ100c、照明器具100d、タブレット100e、スピーカ100f、テレビ100g、スピーカ100h、NAS100i、パーソナルコンピュータ100j、照明器具100k、およびスマートフォン100mが示されている。電子機器100の例はこれらの装置には限られず、他にも例えばメディアプレーヤ、プリンタ、ゲーム機、空調機器、または冷蔵庫など、ネットワーク200に接続可能なあらゆる機器を含みうる。電子機器100は、例えばテレビ100a〜パーソナルコンピュータ100jのように家庭内(リビングルーム、ベッドルーム、書斎など)に配置されてもよいし、スマートフォン100mのようにユーザによって携帯されて外に持ち出されてもよい。
ネットワーク200は、電子機器100を相互に接続する無線および/または有線のネットワークである。ネットワーク200は、例えば家庭内に配置された各機器が接続されるLAN(Local Area Network)を含む。また、ネットワーク200は、外に持ち出されたスマートフォン100mのような機器、およびサーバ300が接続されるインターネットや携帯電話網などを含みうる。
サーバ300は、ネットワーク200を介して電子機器100にサービスを提供する。サーバ300は、例えばネットワーク200に接続された情報処理装置によって実現される。後述するサーバ300の機能は、単一の情報処理装置によって実現されてもよいし、有線または無線のネットワークを介して接続された複数の情報処理装置の協働によって実現されてもよい。
本実施形態では、システム10において、いずれかの電子機器100によって取得されたユーザのリクエストに対するレスポンスを提供する機器を自動的に選択する機能が実現される。図示された例において、ネットワーク200上の電子機器100は、例えばサーバ300または電子機器100のいずれかによって実現されるエージェント機能によって制御される。エージェント機能は、例えば、テレビ100aが取得したユーザの指示入力(例えば音声入力)からユーザのリクエストを抽出し、リクエストに対するレスポンスを決定する。
ここで、レスポンスがリクエストを与えたユーザ本人に提供されるとしても、レスポンスを提供する機器の選択肢は1つではない。例えば、リビングルームにあるテレビ100aに対して音楽の再生が指示された場合、テレビ100a自体のスピーカを用いて音楽を再生してもよいし、同じくリビングルームにあるスピーカ100b、またはスピーカ100cを用いて音楽を再生してもよい。従って、エージェント機能は、どの電子機器100によってレスポンスを提供するかを選択する必要がある。
また、レスポンスがリクエストを与えたユーザとは異なるユーザに提供される場合、レスポンスを提供する機器の選択肢はさらに多くなりうる。例えば、外出しているユーザが、スマートフォン100mに対して、家庭内の家族に洗濯物を取り込むよう伝えることを依頼した場合、家族の居場所によって、テレビ100a〜パーソナルコンピュータ100jのうちのどの装置によって情報を提供することが適切かは異なる。
このように、システム10において、エージェント機能がユーザのリクエストに対するレスポンスを提供する機器を選択することは、必ずしも容易ではない。しかしながら、例えば音楽を再生するにあたって、どのスピーカを用いるかをユーザが指定するのは煩雑である。また、外出しているユーザには家庭内の家族の居場所がわからないため、情報を提供する機器を指定することが困難である。
そこで、本実施形態では、エージェント機能が、リクエストに対して決定されたレスポンスの属性に基づいて、レスポンスを提供するために適した機器を自動的に選択する。これによって、ユーザは、エージェント機能に対してリクエストを入力するにあたって、必ずしも機器を指定する必要がなくなる。また、ユーザは、レスポンスを提供するのに適した機器がわからない場合でも、エージェント機能に機器の選択を任せることができる。
(1−2.各装置の構成例)
図2は、本開示の一実施形態に係る電子機器の構成例を示すブロック図である。図2を参照すると、電子機器100は、画像/音声出力部110と、画像/音声入力部120と、操作部130と、制御部140と、通信部150と、記憶部160とを含みうる。なお、図示された構成は本実施形態の説明のために簡略化されており、電子機器100は図示されていない構成要素をさらに含んでもよい。ただし、図示されていない構成要素は、各機器の一般的な構成要素として既に知られたものでありうるため、ここでは詳細な説明を省略する。
画像/音声出力部110は、例えば画像を出力するディスプレイと、音声を出力するスピーカとによって実現されうる。ディスプレイは、例えばLCD(Liquid Crystal Display)または有機EL(Electro-Luminescence)ディスプレイなどであり、制御部140の制御に従って各種の画像を電子的に表示する。なお、本明細書において、画像は静止画像および動画像を含む。スピーカは、制御部140の制御に従って各種の音声を出力する。なお、電子機器100の種類によっては、画像/音声出力部110が画像または音声のいずれか一方だけを出力してもよく、また画像/音声出力部110が設けられなくてもよい。
画像/音声入力部120は、例えば画像を取得するカメラと、音声を取得するマイクロフォンとによって実現されうる。カメラは、例えばCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて実空間を電子的に撮像して画像データを生成する。マイクロフォンは、例えばユーザの発話などの音声を録音して音声データを生成する。生成された画像データおよび/または音声データは、制御部140に提供される。なお、電子機器100の種類によっては、画像/音声入力部120が画像または音声のいずれか一方だけを取得してもよい。あるいは、画像/音声入力部120が設けられなくてもよい。
操作部130は、例えばユーザの操作を取得するタッチパネル、キーボード、マウス、キーパッド、またはボタンなどによって実現されうる。操作部130によって取得されたユーザの操作を示す情報は、制御部140に提供される。電子機器100において、ユーザの指示入力は、操作部130を介して取得されるか、画像/音声入力部120を介して音声やジェスチャなどとして取得されうる。従って、電子機器100が主に操作部130によってユーザの指示入力を取得する場合には画像/音声入力部120を設けないことが可能であり、逆に電子機器100が主に画像/音声入力部120によって指示入力を取得する場合には操作部130を設けないことも可能である。
制御部140は、例えばCPU(Central Processing Unit)および/またはDSP(Digital Signal Processor)などのプロセッサが記憶部160に格納されたプログラムに従って動作することによって実現されうる。制御部140は、電子機器100の各部の動作を制御する。例えば、制御部140は、通信部150を介して受信されたか、または記憶部160から読み出された画像および/または音声を出力するように画像/音声出力部110を制御する。また、制御部140は、画像データおよび/または音声データを取得するように画像/音声入力部120を制御し、取得されたデータを必要に応じて処理した上で、通信部150を介して送信するか、または記憶部160に格納する。制御部140は、これらの制御を、例えば操作部130または画像/音声入力部120を介して取得されるユーザの指示入力に応じて実行しうる。
通信部150は、ネットワーク200を構成する無線または有線の通信方式に対応した通信インターフェースである。通信部150は、例えば、通信回路、およびアンテナまたはポートなどを含みうる。通信部150を介して、制御部140はネットワーク200上の他の電子機器100、またはサーバ300との間で各種の情報をやりとりする。
記憶部160は、例えば半導体メモリやハードディスクなどによって実現されうる。記憶部160は、電子機器100で用いられる、または電子機器100で生成された各種のデータを格納する。記憶部160は、一時的な記憶領域を有し、制御部140が実行中のプログラムや、画像/音声入力部120によって取得されたデータ、通信部150によって受信されたデータなどを一時的に格納しうる。また、記憶部160は、永続的な記憶領域を有し、制御部140が実行するためのプログラムや、各種設定データ、画像/音声出力部110から出力されるローカルコンテンツのデータ、画像/音声入力部120によって取得されて操作部130によって保存することが指示されたデータなどを格納しうる。
図3は、本開示の一実施形態に係るサーバの構成例を示すブロック図である。図3を参照すると、サーバ300は、制御部310と、通信部320と、記憶部330とを含みうる。なお、図示された構成は本実施形態の説明のために簡略化されており、サーバ300は図示されていない構成要素をさらに含んでもよい。ただし、図示されていない構成要素は、サーバの一般的な構成要素として既に知られたものでありうるため、ここでは詳細な説明を省略する。また、上述のように、サーバ300は、単一の情報処理装置によって実現されてもよく、複数の情報処理装置の協働によって実現されてもよい。従って、図示された構成要素も、複数の情報処理装置に分散して実現されうる。
制御部310は、例えばCPUおよび/またはDSPなどのプロセッサが記憶部330に格納されたプログラムに従って動作することによって実現されうる。制御部310は、サーバ300の各部の動作を制御する。例えば、制御部310は、必要に応じて記憶部330に格納された設定情報などを参照しながら、通信部320を介してネットワーク200上の電子機器100に情報を送信する。この情報は、電子機器100に所定の動作を実行させるためのコマンドを含みうる。また、制御部310は、電子機器100から通信部320を介して受信された情報を処理した結果に基づいて、別の電子機器100にコマンドを含みうる情報を送信する。あるいは、制御部310は、電子機器100から通信部320を介して受信された情報を処理した結果に基づいて、記憶部330に格納された設定情報などを更新してもよい。
通信部320は、ネットワーク200を構成する有線または無線の通信方式に対応した通信インターフェースである。通信部320は、例えば、通信回路、およびポートまたはアンテナなどを含みうる。通信部320を介して、制御部310はネットワーク200上の電子機器100との間で各種の情報をやりとりする。
記憶部330は、例えば半導体メモリやハードディスクなどによって実現されうる。記憶部330は、サーバ300で用いられる、またはサーバ300で生成された各種のデータを格納する。記憶部330は、一時的な記憶領域を有し、制御部310が実行中のプログラムや、通信部320によって電子機器100から受信されたデータ、制御部310が生成したデータなどを一時的に格納しうる。また、記憶部330は、永続的な記憶領域を有し、制御部310が実行するためのプログラムや、各種設定データなどを格納しうる。
(1−3.エージェント機能の構成例)
図4は、本開示の一実施形態におけるエージェント機能の構成例を示すブロック図である。図4を参照すると、エージェント機能は、リクエスト取得部510と、レスポンス決定部520と、機器選択部550と、機器制御部580とを含む。エージェント機能は、さらに、ユーザ位置情報取得部540と、機器状態監視部590とを含んでもよい。また、エージェント機能は、コマンドDB530と、ユーザ嗜好DB560と、機器情報DB570とを参照してもよい。これらの構成要素は、例えば、上記のサーバ300の制御部310および記憶部330によって実現される。あるいは、上記の構成要素は、いずれかの電子機器100(例えばテレビ100aやスマートフォン100m)の制御部140および記憶部160によって実現されてもよい。また、上記の構成要素は、電子機器100とサーバ300に分散して実現されてもよい。
なお、電子機器100によってエージェント機能が実現可能である場合、システム10はサーバ300を含まなくてもよい。あるいは、エージェント機能はサーバ300でも電子機器100でも実現可能であり、サーバ300がネットワーク200と通信可能である場合にはサーバで、そうでない場合には代替的に電子機器100で、エージェント機能が実現されてもよい。以下、それぞれの構成要素についてさらに説明する。
(リクエスト取得部)
リクエスト取得部510は、システム10に対するユーザからのリクエストを取得する。ユーザからのリクエストは、電子機器100のいずれかにおいて入力される。例えば、ユーザからのリクエストは、電子機器100の画像/音声入力部120に含まれるマイクロフォンを用いて音声データとして入力される。この場合、ユーザのリクエストは、発話音声を含みうる。あるいは、ユーザからのリクエストは、電子機器100の画像/音声入力部120に含まれるカメラを用いて画像データとして入力されてもよい。この場合、ユーザのリクエストは、ジェスチャ画像を含みうる。また、ユーザからのリクエストは、電子機器100の操作部130を介して入力されてもよい。エージェント機能がサーバ300、またはリクエストが入力された電子機器100とは異なる電子機器100で実現される場合、リクエスト取得部510は、ネットワーク200を介してリクエストを受信する。
(レスポンス決定部)
レスポンス決定部520は、リクエスト取得部510によって取得されたリクエストに対するレスポンスを決定する。例えば、リクエストが発話音声を含む音声データとして取得された場合、レスポンス決定部520は、音声認識の処理を実行して、発話音声の内容を例えばテキストとして抽出する。さらに、レスポンス決定部520は、抽出されたテキストに基づいてコマンドDB530を参照し、ユーザの発話音声によって示されるコマンドと、コマンドに対するレスポンスとを決定する。また、例えば、リクエストがジェスチャ画像を含む画像データとして取得された場合、レスポンス決定部520は、画像認識の処理を実行して、ジェスチャの内容を抽出する。さらに、レスポンス決定部520は、抽出されたジェスチャの内容に基づいてコマンドDB530を参照し、ユーザのジェスチャによって示されるコマンドと、コマンドに対するレスポンスとを決定する。
ここで、レスポンス決定部520によって決定されるレスポンスは、電子機器100を単体または組み合わせで利用することによって実現可能なあらゆる機能を含みうる。例えば、レスポンスは、画像/音声出力部110にスピーカを含む電子機器100を用いた音声の出力であってもよい。この場合、出力される音声は、例えば音楽コンテンツであってもよいし、何らかの情報を提供する音声メッセージであってもよい。また、レスポンスは、画像/音声出力部110にディスプレイを含む電子機器100を用いた画像の出力であってもよい。この場合、出力される画像は、例えば画像コンテンツであってもよいし、何らかの情報を提供する通知画像であってもよい。さらに、レスポンスは、固有の機能を有する電子機器100、例えば照明器具やプリンタ、空調機器、冷蔵庫などが、それぞれの機能のオン/オフまたは調節を実行することであってもよい。なお、エージェント機能がユーザからのリクエストに対してレスポンスを提供すること自体は既に知られた技術であるため、本実施形態においてそのようなリクエストおよびレスポンスの例を適用することも可能である。
また、レスポンス決定部520によって決定されるレスポンスは、システム10を利用するユーザのいずれかを対象として提供されるものであってもよい。例えば、レスポンスが音声の出力や画像の提供である場合、どのユーザに対して音声または画像を提供するかが、レスポンス決定部520によって決定される。レスポンス決定部520は、例えばリクエストから抽出されたテキストやジェスチャなどの内容から、対象のユーザを示す情報を抽出してもよい。あるいは、レスポンス決定部520は、リクエストが入力された電子機器100に最も近いユーザ(ユーザ位置情報取得部540によって特定される)を、レスポンスを提供する対象として特定してもよい。
(ユーザ位置情報取得部)
ユーザ位置情報取得部540は、レスポンス決定部520によって決定されたレスポンスに関係するユーザの位置情報を取得する。例えば、ユーザ位置情報取得部540は、レスポンスが提供される対象のユーザの位置情報を取得してもよい。あるいは、ユーザ位置情報取得部540は、リクエストを入力したユーザ(レスポンスが提供される対象のユーザと同一であってもよい)の位置情報を取得してもよい。ユーザの位置情報は、例えばスマートフォン100mのGPS(Global Positioning System)受信機などを利用して取得される。また、ユーザが家庭内にいる場合、家庭内のセンサネットワークなどによって、ユーザの詳細な位置情報を取得することも可能でありうる。あるいは、ユーザの位置情報は、電子機器100の画像/音声出力部110が取得する画像または音声の解析や、電子機器100を用いたサービスへのログイン状態などに基づいて取得されてもよい。この場合、位置情報は、それぞれの電子機器100に対応付けて提供されうる。
(機器選択部)
機器選択部550は、レスポンス決定部520によって決定されたレスポンスについて、少なくともレスポンスの属性に基づいて、ユーザが利用可能な機器群の中からレスポンスを提供する機器を選択する。本実施形態において、ユーザが利用可能な機器群は、システム10に含まれる電子機器100である。例えば、電子機器100の少なくとも一部に所有者が設定されており、所有者によって電子機器100へのアクセスが制限されている場合、ユーザが利用可能な機器群は、電子機器100のうち当該ユーザにアクセス権限が与えられた機器である。機器選択部550は、電子機器100のアクセス権限に関する情報を、機器情報DB570から取得してもよい。
ここで、例えば、レスポンスの属性は、レスポンスを提供する対象を含み、機器選択部550は、レスポンスを提供する対象の位置と、システム10に含まれる機器の位置とに基づいて、レスポンスを提供する機器を選択してもよい。レスポンスを提供する対象のユーザは、上記の通りレスポンス決定部520によって特定されうる。また、ユーザの位置情報は、ユーザ位置情報取得部540によって取得されうる。システム10に含まれる機器の位置情報は、例えば機器情報DB570から取得されうる。より具体的には、機器選択部550はレスポンス決定部520によって決定されたレスポンスを提供することが可能な電子機器100の中で、位置が対象に近いものを、レスポンスを提供する機器として選択してもよい。
上記の例において、機器選択部550は、レスポンスを提供する対象、対象の位置、または電子機器100の位置のうちの少なくとも1つが変化した場合、レスポンスを提供する機器を再選択してもよい。つまり、機器選択部550は、例えばリクエスト取得部510によって新たに取得されたリクエストによってレスポンスを提供する対象が変更されたり、レスポンスの提供中に対象のユーザまたはレスポンスを提供する電子機器100が移動したりした場合に、レスポンスを提供する電子機器100を動的に変更してもよい。
また、例えば、レスポンスの属性は、レスポンスにおいて実現される機能を含み、機器選択部550は、レスポンスにおいて実現される機能に関する電子機器100の性能に基づいて、レスポンスを提供する機器を選択してもよい。機能に関する電子機器100の性能は、例えば機器情報DB570から取得されうる。より具体的には、機器選択部550は、レスポンスにおいて実現される機能に関する性能が最も高い電子機器100を、レスポンスを提供する機器として選択してもよい。例えば、実現される機能が画像または音声の提供である場合、機器選択部550は位置情報を用いた選択を組み合わせて実施し、対象のユーザの位置を基準にした所定の範囲内(例えば、同じ部屋の中)にある電子機器100の中から、画像または音声の提供に関する性能が最も高い電子機器100を選択する。あるいは、実現される機能が、情報の検索や画像処理のような、必ずしもユーザの近くで実行する必要がない機能である場合、機器選択部550は単純に性能が最も高い電子機器100を選択してもよい。
上記の例において、機器選択部550は、レスポンスを提供する機器として複数の機器を選択してもよい。例えば、機器選択部550は、レスポンスにおいて実現される機能を、複数の電子機器100で同時並行的に提供させてもよい。あるいは、機器選択部550は、レスポンスにおいて実現される機能を、複数の電子機器100に分割して提供させてもよい。より具体的には、レスポンスにおいて画像および音声の再生機能が実現される場合に、機器選択部550は、画像の再生機能と音声の再生機能とを異なる電子機器100で提供させてもよい。例えば、図1に示したシステム10の例の場合、テレビ100aが画像を再生し、スピーカ100cが音声を再生してもよい。この場合、テレビ100aは、画像および音声を再生しつつ音声をミュートするように制御されてもよい。
また、例えば、機器選択部550は、レスポンスを提供する対象のユーザの嗜好に基づいてレスポンスを提供する機器を選択してもよい。上記の通り、レスポンスを提供する対象のユーザは、上記の通りレスポンス決定部520によって特定されうる。また、ユーザの嗜好は、ユーザ嗜好DB560から取得されうる。ユーザ嗜好DB560は、例えば、システム10を利用する各ユーザによる電子機器100の使用履歴や、各ユーザが明示的に入力した情報などに基づいて生成される。より具体的には、機器選択部550は、レスポンスを提供する対象のユーザの嗜好に最も合致する電子機器100を、レスポンスを提供する機器として選択してもよい。
なお、機器選択部550は、常にレスポンスを提供する機器を選択可能であるとは限らない。例えば、位置、機能、および/または嗜好などの条件を適用した結果、選択可能な機器が発見されない場合もありうる。また、リクエスト取得部510によって取得されたリクエストに含まれる情報が不完全であるために、機器を選択することが困難である場合もありうる。このような場合、機器選択部550は、機器が選択されないことの通知や、機器を選択するための追加の情報の要求などを、機器制御部580を介して電子機器100を制御することによって出力させてもよい。
(機器制御部)
機器制御部580は、機器選択部550によって選択された機器に、レスポンス決定部520によって決定されたレスポンスを提供させるための制御を実行する。より具体的には、機器制御部580は、ネットワーク200を介して電子機器100に制御コマンドを送信する。また、機器制御部580は、例えば機器選択部550がレスポンスを提供する機器を選択できなかった場合に、機器が選択されなかったことを通知したり、機器を選択するための追加的な情報を要求したりするメッセージを出力するように、電子機器100を制御してもよい。この場合、メッセージは、リクエストが入力された電子機器100から出力されてもよい。あるいは、機器制御部580は、リクエストに対応してレスポンスが提供されたことを通知するメッセージを出力するように、電子機器100を制御してもよい。この場合、レスポンスを提供する電子機器100はリクエストが入力された電子機器100とは異なる機器であり、メッセージはリクエストが入力された電子機器100から出力されてもよい。
(機器状態監視部)
機器状態監視部590は、システム10に含まれる電子機器100を監視し、必要に応じて機器情報DB570を更新する。例えば、機器状態監視部590は、電子機器100が移動した場合や、電子機器100による機能の提供が開始/終了された場合、電子機器100の設定が変更された場合などに、機器情報DB570を更新する。
(1−4.機器情報の例)
図5は、本開示の一実施形態における機器情報DBの例を示す図である。図5を参照すると、機器情報DB570には、ID570a、機器種類570b、場所570c、場所詳細570d、所有者570e、機能570f、機能詳細570gの項目が含まれる。なお、図示された例の機器情報DB570の内容は、例えば図1に示したシステム10の例とは必ずしも一致しない。以下、それぞれの項目についてさらに説明する。
ID570aは、それぞれの機器情報を識別するために用いられる。機器種類570bは、電子機器100の種類を示す。例えば、機器選択部550がユーザの嗜好に基づいて機器を選択する場合、機器種類570bが選択に利用されうる。より具体的には、ユーザ嗜好DB560において「ウェブブラウジングをする場合、テレビよりもタブレットを好む」というようなユーザの嗜好が示されている場合に、機器種類570bに基づいて、テレビではなくタブレットが選択されてもよい。
場所570cは、電子機器100の概略的な場所を示す。図示された例では、場所570cとして、家庭内の部屋(リビングルーム、書斎、寝室など)が記録されている。場所570cは、例えば電子機器100を設置したときにユーザによって入力される設定情報に基づいて記録される。場所詳細570dは、電子機器100の詳細な場所を示す。図示された例では、場所詳細570dとして、X,Y,Zの3軸の座標が記録されている。場所詳細570dは、例えばGPSや家庭内のセンサネットワークなどを利用して取得される。
なお、場所570cと場所詳細570dとは、場合によって乖離していてもよい。例えば、リビングルームのタブレットが一時的に寝室に移動されたような場合、設定情報が変更されなければ場所570cは「リビングルーム」のままだが、場所詳細570dは装置の移動に合わせて寝室の座標に変更されてもよい。あるいは、場所570cが設定情報ではなく場所詳細570dに基づいて設定されるような場合には、電子機器100の移動に伴って場所570cも変更されうる。
例えば、機器選択部550が電子機器100の位置情報に基づいて機器を選択する場合、場所570cおよび/または場所詳細570dが選択に利用されうる。より具体的には、機器選択部550は、場所570cまたは場所詳細570dによってレスポンスを提供する対象のユーザの近くに位置することが示される電子機器100を選択する。電子機器100が移動されたことによって場所570cおよび/または場所詳細570dが変化した場合、機器選択部550が選択する機器を動的に変更することによって、電子機器100が新たにレスポンスを提供する機器として選択されたり、レスポンスを提供する機器から外れたりしてもよい。
所有者570eは、電子機器100の所有者、またはアクセス可能なユーザを示す。図示された例では、所有者570eに「共有」または「父親」が設定されている。「共有」は、電子機器100にアクセスの制限がなく、システム10を利用するユーザのすべて(例えば家族全員)が電子機器100を利用可能であることを意味する。「父親」は、電子機器100へのアクセス権限が父親のみに与えられていることを意味する。もちろん、アクセス権限が与えられるのは父親だけには限らず、母親、子供、またはそれらの組み合わせに対してアクセス権限が与えられてもよい。
例えば、機器選択部550は、レスポンスを提供する機器の選択にあたり、まず所有者570eに基づいて機器をフィルタリングしてもよい。より具体的には、リクエストを入力したユーザ、およびレスポンスの対象になるユーザのいずれもが電子機器100を利用可能ではなければ、当該電子機器100は選択の対象から除外されうる。また、いずれか一方のユーザだけが電子機器100を利用可能である場合に当該電子機器100を選択の対象にするか否かは、ユーザによる設定や、レスポンスにおいて提供される機能の種類などに応じて決定されうる。
機能570fは、電子機器100によって提供可能な機能の種類を示す。機能詳細570gは、機能に関する電子機器100の仕様を示す。これらの項目は、例えば、電子機器100がシステム10に追加されたときにエージェント機能に提供される型番などの情報に基づいて、ネットワーク上のデータベースから取得されてもよい。例えば、機器選択部550は、レスポンスを提供する機器の選択にあたり、機能570fに基づいてフィルタリングを実施してもよい。より具体的には、レスポンスにおいて提供される機能を実現できない電子機器100は、選択の対象から除外されてもよい。
さらに、例えば、機器選択部550が電子機器100の性能に基づいて機器を選択する場合、機能詳細570gが選択に利用されうる。より具体的には、機器選択部550は、機能詳細570gによって、レスポンスにおいて実現する機能に関する性能が最も高いことが示される電子機器100を、レスポンスを提供する機器として選択してもよい。図示された例では、機能詳細570gが映像、音声、マイクロフォン、およびネットワークの項目を含むが、さらに多くの項目が含まれてもよい。
また、機器選択部550は、レスポンスにおいて複数の機能が実現される場合に、機能ごとに個別に、機能詳細570gに基づいて電子機器100を選択してもよい。例えば、レスポンスにおいて映像および音声の再生機能が実現される場合、機能詳細570gによって、映像の再生機能に関してはテレビの性能が最も高く、音声の再生機能に関してはスピーカの性能が最も高いことが示されていれば、機器選択部550は、映像の再生機能に関してはテレビを、音声の再生機能に関してはスピーカを、それぞれ選択してもよい。
なお、上記の例以外にも、機器情報DB570はさまざまな項目を含みうる。例えば、機器情報DB570は、電子機器100が提供中の機能を示す項目を含んでもよい。また、機器情報DB570は、電子機器100を利用中のユーザを示す項目を含んでもよい。
以上で説明した例のような機器情報DB570が構築されることによって、本実施形態におけるエージェント機能では、機器選択部550がレスポンスを提供する機器を自動的に選択することが可能になる。
(2.具体的な利用形態の例)
(2−1.第1の例)
図6は、本開示の一実施形態の具体的な利用形態の第1の例を示すシーケンス図である。図6を参照すると、図1に示したシステム10において、リビングルームに設置されたスピーカ100cが音楽を再生している。このとき、スピーカ100cは、エージェント機能を実現するテレビ100aに対して、音楽コンテンツを再生中であることを通知している(S101)。テレビ100aでは、この通知を受けて、制御部140によって実現されるエージェント機能において、機器状態監視部590が、機器情報DB570に、スピーカ100cが音楽コンテンツを再生中であることと、再生されている音楽コンテンツ(例えば、NAS100iに格納されている)を特定するための情報とを記録する。
ここで、テレビ100aに対して、ユーザが、「続きをバスルームで聞かせて」と発話したとする(S103)。テレビ100aでは、画像/音声入力部120に含まれるマイクロフォンが発話音声を取得し、マイクロフォンから出力された音声データが、ユーザからのリクエストとしてエージェント機能を実現する制御部140に提供される。エージェント機能では、リクエスト取得部510が取得した上記の音声データに基づいて、レスポンス決定部520がレスポンスを決定する。レスポンス決定部520は、例えば音声認識や自然言語処理などを実行することによってリクエストを解析し、それに対するレスポンスを決定する。図示された例において、レスポンスは、「ユーザに現在提供されている音楽コンテンツの再生を、バスルームにある機器で継続する」ことである。なお、テレビ100aの制御部140は、音声認識や自然言語処理を、ネットワーク200を介してサーバ300に依頼してもよい。
さらに、エージェント機能では、機器選択部550が、レスポンスを提供する機器を選択する。図示された例では、レスポンスを提供する場所がバスルームであり、レスポンスにおいて実現される機能が音楽コンテンツの再生であることから、スピーカ100fが選択される(S105)。機器制御部580は、機器選択部550によって選択された機器、つまりスピーカ100fにレスポンスを提供させるための制御を実行する。より具体的には、機器制御部580は、バスルームのスピーカ100fに、それまでリビングルームのスピーカ100cで再生されていた音楽コンテンツを続きから再生するように制御コマンドを送信する(S107)。このときの制御コマンドは、音楽コンテンツの所在(例えばNAS100i)、および再生を開始する位置を示す情報を含んでもよい。
さらに、付加的な処理として、機器制御部580は、スピーカ100fへの制御コマンドが送信された後、または制御コマンドに対する肯定応答が返された後に、テレビ100aにリクエストを入力したユーザに対して、レスポンス(バスルームのスピーカへの音楽コンテンツ再生の移行)が実行されたことを通知してもよい(S109)。通知は、音声で出力されてもよいし、GUIなどを用いて画像として出力されてもよい。その後、例えばユーザがリビングルームから移動したことが、センサやカメラなどを用いて検出された場合に、機器制御部580は、スピーカ100cに音楽コンテンツの再生を停止させるための制御コマンドを送信してもよい(S111)。
(2−2.第2の例)
図7は、本開示の一実施形態の具体的な利用形態の第2の例を示すシーケンス図である。図7を参照すると、図1に示したシステム10において、ユーザ(父親)によって携帯されて外(職場)に持ち出されたスマートフォン100mが、定期的に、エージェント機能を実現するサーバ300に位置情報を送信している(S201)。ここで、家にあるタブレット100eに対して、ユーザ(母親)が、「帰りに牛乳を買ってくるようお父さんに伝えて」と発話したとする(S203)。タブレット100eでは、画像/音声入力部120に含まれるマイクロフォンが発話音声を取得する。マイクロフォンから出力された音声データは、タブレット100eからネットワーク200を介してサーバ300に送信される(S205)。
サーバ300では、エージェント機能のリクエスト取得部510が音声データを取得し、レスポンス決定部520が当該音声データに基づいてレスポンスを決定する。上記の第1の例と同様に、レスポンス決定部520は、例えば音声認識や自然言語処理などを実行し、ユーザのリクエストに対するレスポンスを決定する。図示された例において、レスポンスは、「父親に対して牛乳を買ってくるよう通知する」ことである。さらに、エージェント機能では、機器選択部550が、レスポンスを提供する機器を選択する。図示された例では、レスポンスを提供する対象となるユーザが父親であることから、機器選択部550は、父親に最も近い電子機器100、つまり外出中の父親によって携帯されているスマートフォン100mを、レスポンスを提供する機器として選択する(S207)。
これを受けて、機器制御部580が、機器選択部550によって選択されたスマートフォン100mにレスポンスを提供させるための制御を実行する。より具体的には、機器制御部580は、スマートフォン100mが通知を出力するように制御コマンドを送信する(S209)。このときの制御コマンドは、通知の内容(帰りに牛乳を買ってきてほしいという依頼)、および依頼主(タブレット100eにリクエストを入力したユーザ、つまり母親)を示す情報を含んでもよい。
さらに、付加的な処理として、機器制御部580は、スマートフォン100mへの制御コマンドが送信された後、または制御コマンドに対する肯定応答が返された後に、タブレット100eにリクエストを入力したユーザに対して、レスポンス(スマートフォン100mを介した父親への通知)が実行されたことを通知してもよい(S211,S213)。通知は、音声で出力されてもよいし、GUIを用いて画像として出力されてもよい。
(2−3.その他の例)
(その他の例−1)
上記で図6および図7に示した例に限らず、他にもさまざまな例が可能である。例えば、ユーザが、リビングルームのテレビ100aで映画を視聴しようとしているときに、テレビ100aに向かって「テレビで映画を再生して」と発話したとする。このとき、エージェント機能(例えば、テレビ100a、他の電子機器100、またはサーバ300で実現される)では、リクエスト取得部510が取得したリクエスト(ユーザの発話音声を含む音声データ)に基づいて、レスポンス決定部520がレスポンスを決定する。この場合のレスポンスでは、「映画(映像コンテンツ)の画像を表示する」機能と、「映画(映像コンテンツ)の音声を出力する」機能とが実現される。
そこで、機器選択部550は、リビングルームにある電子機器100の中で、画像の表示機能に関する性能が最も高い機器と、音声の出力機能に関する性能が最も高い機器とを選択する。具体的には、画像の表示に関してはテレビ100aが、音声の出力に関してはスピーカ100cが、それぞれ最も高い性能を有する機器として選択される。ここで、さらに、機器選択部550は、リビングルームにおいてユーザが座っている位置を特定し、当該位置に最適な音声を提供可能な機器として、スピーカ100cを選択してもよい。このような機器選択部550の処理を受けて、機器制御部580は、テレビ100aおよびスピーカ100cに制御コマンドを送信する。制御コマンドは、映像コンテンツの取得方法(例えばテレビ100aのチューナを用いて放送波を受信、またはNAS100iから読み出し、など)を示す情報を含んでもよい。さらに、テレビ100aに送信される制御コマンドには、映像コンテンツの音声出力をミュートする指示が含まれてもよい。
(その他の例−2)
また、エージェント機能は、リクエストに対して、より複雑な、または時間をおいて起動するレスポンスを提供可能であってもよい。例えば、母親が出かけるときに、玄関の照明器具100kが備えるマイクロフォンに「息子が帰ってきたら、戸棚におやつがあることを知らせて」と発話音声による入力を与えたとする。このとき、エージェント機能では、リクエスト取得部510が上記の音声入力を取得し、レスポンス決定部520がリクエストに対するレスポンス(息子への通知)を決定するが、その時点でまだ息子は帰宅していないため、ユーザ位置情報取得部540はレスポンスの対象である息子の位置情報を取得できない。
このような場合、機器選択部550は、例えば「帰ってきたら」というリクエストの内容に基づいて、レスポンスが時間をおいて提供されるべきものであることを判断し、レスポンスの提供を待機する。その後、息子が帰宅したときに、例えば照明器具100kが備えるカメラが取得する画像の解析から、ユーザ位置情報取得部540が、息子の位置情報を取得する。これによって、レスポンスが提供可能になったことを判断した機器選択部550は、その時点での息子の位置に最も近い電子機器100、例えばリビングルームにあるスピーカ100bをレスポンスを提供する機器として選択し、機器制御部580が「戸棚におやつがあります」という通知を、音声によってスピーカ100bから出力させるための制御コマンドを送信する。
(その他の例−3)
また、エージェント機能は、必ずしもユーザの明示的な発話、ジェスチャ、または操作などをリクエストとして取得しなくてもよい。エージェント機能は、(特に機器の操作を意図していない)ユーザの動作や、自然現象などからシステム10へのリクエストを抽出してもよい。例えば、窓の外が映るカメラを備える電子機器100(図1には示されていない)が取得した画像に、降り出した雨と干された洗濯物が映っている場合、リクエスト取得部510およびレスポンス決定部520は、画像解析によって上記の事象を認識し、「洗濯物を取り込むように家の中の誰かに通知する」という仮想的なリクエストおよびそれに対するレスポンスを自動的に特定してもよい。
この場合、機器選択部550は、ユーザ位置情報取得部540が取得した位置情報に基づいて、家の中にいるユーザ(誰かは特定されていなくてよい)に近い電子機器100を、レスポンスを提供する機器として選択する。例えば、ユーザ位置情報取得部540が、書斎にあるパーソナルコンピュータ100jが備えるカメラが取得する画像の解析から、父親が書斎にいることを検出した場合、機器選択部550は、レスポンス(通知)を提供する機器として、パーソナルコンピュータ100jを選択する。この場合、機器制御部580が、「洗濯物を取り込んでください」という通知をパーソナルコンピュータ100jが備えるスピーカから音声によって出力させるための制御コマンドを送信する。
このように、本開示の一実施形態において提供されるエージェント機能は、例えばシステム10内でのさまざまな状況において、リクエストに対するレスポンスを提供する機器を自動的に選択することによって、ユーザが自然かつ簡単な操作で機器ネットワークを利用することを可能にする。
なお、上記の実施形態では、家庭内に設置される電子機器100を含むシステム10が例示されたが、本技術はこのような例に限らず適用可能である。例えば、オフィス内や車内でも、家庭内と同様のシステムを構築することが可能である。また、ユーザが利用可能な電子機器は、特定の場所に集中しているのではなく、家庭やオフィス、車内など、さまざまな場所に遍在していてもよい。
(3.ハードウェア構成)
次に、図8を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図8は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置900は、例えば、上記の実施形態における電子機器またはサーバを実現しうる。
情報処理装置900は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、情報処理装置900は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。情報処理装置900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置900内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりする。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro-Luminescence)ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置917は、情報処理装置900の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。
ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を情報処理装置900に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、情報処理装置900と外部接続機器929との間で各種のデータが交換されうる。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ935は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えば情報処理装置900の筐体の姿勢など、情報処理装置900自体の状態に関する情報や、情報処理装置900の周辺の明るさや騒音など、情報処理装置900の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。
以上、情報処理装置900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
(4.補足)
本開示の実施形態は、例えば、上記で説明したような情報処理装置(電子機器またはサーバ)、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)システムに対するリクエストを取得するリクエスト取得部と、
前記リクエストに対するレスポンスを決定するレスポンス決定部と、
少なくとも前記レスポンスの属性に基づいて、前記システムに含まれる機器の中から前記レスポンスを提供する機器を選択する機器選択部と、
前記選択された機器に前記レスポンスを提供させるための制御を実行する機器制御部と
を備える情報処理装置。
(2)前記レスポンスの属性は、前記レスポンスを提供する対象を含み、
前記機器選択部は、前記対象の位置と、前記システムに含まれる機器の位置とに基づいて、前記レスポンスを提供する機器を選択する、前記(1)に記載の情報処理装置。
(3)前記機器選択部は、前記対象の近くに位置する機器を選択する、前記(2)に記載の情報処理装置。
(4)前記機器選択部は、前記対象、前記対象の位置、または前記システムに含まれる機器の位置のうちの少なくともいずれかが変化した場合、前記レスポンスを提供する機器を再選択する、前記(2)または(3)に記載の情報処理装置。
(5)前記レスポンスの属性は、前記レスポンスによって実現される機能を含み、
前記機器選択部は、前記システムに含まれる機器の前記機能に関する性能に基づいて、前記レスポンスを提供する機器を選択する、前記(1)〜(4)のいずれか1項に記載の情報処理装置。
(6)前記レスポンスによって実現される機能は、第1の機能と第2の機能とを含み、
前記機器選択部は、前記第1の機能を実現する第1の機器と、前記第2の機能を実現する第2の機器とを選択する、前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(7)前記レスポンスによって実現される機能は、映像コンテンツの再生を含み、
前記機器選択部は、前記映像コンテンツの画像を表示する前記第1の機器と、前記映像コンテンツの音声を出力する前記第2の機器とを選択し、
前記機器制御部は、前記第1の機器に前記映像コンテンツの画像を表示するとともに前記映像コンテンツの音声をミュートさせるための制御を実行する、前記(6)に記載の情報処理装置。
(8)前記レスポンスの属性は、前記レスポンスを提供する対象を含み、
前記機器選択部は、前記対象であるユーザの嗜好に基づいて前記レスポンスを提供する機器を選択する、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)前記機器制御部は、前記リクエストが入力された機器に、前記レスポンスを提供する機器を選択するための追加的な情報を要求させるための制御を実行する、前記(1)〜(8)のいずれか1項に記載の情報処理装置。
(10)前記機器制御部は、前記リクエストが入力された機器に、前記選択された機器によってレスポンスが提供されたことを通知させるための制御を実行する、前記(1)〜(9)のいずれか1項に記載の情報処理装置。
(11)システムに対するリクエストを取得することと、
前記リクエストに対するレスポンスを決定することと、
少なくとも前記レスポンスの属性に基づいて、前記システムに含まれる機器の中から前記レスポンスを提供する機器を選択することと、
前記選択された機器に前記レスポンスを提供させるための制御を実行することと
を含む情報処理方法。
(12)システムに対するリクエストを取得する機能と、
前記リクエストに対するレスポンスを決定する機能と、
少なくとも前記レスポンスの属性に基づいて、前記システムに含まれる機器の中から前記レスポンスを提供する機器を選択する機能と、
前記選択された機器に前記レスポンスを提供させるための制御を実行する機能と
をコンピュータに実現させるためのプログラム。
10 システム
100 電子機器
110 画像/音声出力部
120 画像/音声取得部
130 操作部
140 制御部
150 通信部
160 記憶部
200 ネットワーク
300 サーバ
310 制御部
320 通信部
330 記憶部
510 リクエスト取得部
520 レスポンス決定部
550 機器選択部
580 機器制御部

Claims (12)

  1. システムに対するリクエストを取得するリクエスト取得部と、
    前記リクエストに対するレスポンスを決定するレスポンス決定部と、
    少なくとも前記レスポンスの属性に基づいて、前記システムに含まれる機器の中から前記レスポンスを提供する機器を選択する機器選択部と、
    前記選択された機器に前記レスポンスを提供させるための制御を実行する機器制御部と
    を備える情報処理装置。
  2. 前記レスポンスの属性は、前記レスポンスを提供する対象を含み、
    前記機器選択部は、前記対象の位置と、前記システムに含まれる機器の位置とに基づいて、前記レスポンスを提供する機器を選択する、請求項1に記載の情報処理装置。
  3. 前記機器選択部は、前記対象の近くに位置する機器を選択する、請求項2に記載の情報処理装置。
  4. 前記機器選択部は、前記対象、前記対象の位置、または前記システムに含まれる機器の位置のうちの少なくともいずれかが変化した場合、前記レスポンスを提供する機器を再選択する、請求項2に記載の情報処理装置。
  5. 前記レスポンスの属性は、前記レスポンスによって実現される機能を含み、
    前記機器選択部は、前記システムに含まれる機器の前記機能に関する性能に基づいて、前記レスポンスを提供する機器を選択する、請求項1に記載の情報処理装置。
  6. 前記レスポンスによって実現される機能は、第1の機能と第2の機能とを含み、
    前記機器選択部は、前記第1の機能を実現する第1の機器と、前記第2の機能を実現する第2の機器とを選択する、請求項1に記載の情報処理装置。
  7. 前記レスポンスによって実現される機能は、映像コンテンツの再生を含み、
    前記機器選択部は、前記映像コンテンツの画像を表示する前記第1の機器と、前記映像コンテンツの音声を出力する前記第2の機器とを選択し、
    前記機器制御部は、前記第1の機器に前記映像コンテンツの画像を表示するとともに前記映像コンテンツの音声をミュートさせるための制御を実行する、請求項6に記載の情報処理装置。
  8. 前記レスポンスの属性は、前記レスポンスを提供する対象を含み、
    前記機器選択部は、前記対象であるユーザの嗜好に基づいて前記レスポンスを提供する機器を選択する、請求項1に記載の情報処理装置。
  9. 前記機器制御部は、前記リクエストが入力された機器に、前記レスポンスを提供する機器を選択するための追加的な情報を要求させるための制御を実行する、請求項1に記載の情報処理装置。
  10. 前記機器制御部は、前記リクエストが入力された機器に、前記選択された機器によってレスポンスが提供されたことを通知させるための制御を実行する、請求項1に記載の情報処理装置。
  11. システムに対するリクエストを取得することと、
    前記リクエストに対するレスポンスを決定することと、
    少なくとも前記レスポンスの属性に基づいて、前記システムに含まれる機器の中から前記レスポンスを提供する機器を選択することと、
    前記選択された機器に前記レスポンスを提供させるための制御を実行することと
    を含む情報処理方法。
  12. システムに対するリクエストを取得する機能と、
    前記リクエストに対するレスポンスを決定する機能と、
    少なくとも前記レスポンスの属性に基づいて、前記システムに含まれる機器の中から前記レスポンスを提供する機器を選択する機能と、
    前記選択された機器に前記レスポンスを提供させるための制御を実行する機能と
    をコンピュータに実現させるためのプログラム。
JP2016506085A 2014-03-03 2014-11-27 情報処理装置、情報処理方法およびプログラム Active JP6503557B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014040840 2014-03-03
JP2014040840 2014-03-03
PCT/JP2014/081430 WO2015133022A1 (ja) 2014-03-03 2014-11-27 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2015133022A1 true JPWO2015133022A1 (ja) 2017-04-06
JP6503557B2 JP6503557B2 (ja) 2019-04-24

Family

ID=54054845

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016506085A Active JP6503557B2 (ja) 2014-03-03 2014-11-27 情報処理装置、情報処理方法およびプログラム

Country Status (5)

Country Link
US (3) US9848253B2 (ja)
EP (2) EP3115905A4 (ja)
JP (1) JP6503557B2 (ja)
KR (1) KR102325697B1 (ja)
WO (1) WO2015133022A1 (ja)

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10032452B1 (en) 2016-12-30 2018-07-24 Google Llc Multimodal transmission of packetized data
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10776830B2 (en) 2012-05-23 2020-09-15 Google Llc Methods and systems for identifying new computers and providing matching services
US10735552B2 (en) 2013-01-31 2020-08-04 Google Llc Secondary transmissions of packetized data
US10650066B2 (en) 2013-01-31 2020-05-12 Google Llc Enhancing sitelinks with creative content
KR102516577B1 (ko) 2013-02-07 2023-04-03 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
US9916839B1 (en) * 2014-03-27 2018-03-13 Amazon Technologies, Inc. Shared audio functionality based on device grouping
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
CN108604176A (zh) * 2016-02-18 2018-09-28 索尼公司 信息处理装置、信息处理方法及程序
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9820039B2 (en) 2016-02-22 2017-11-14 Sonos, Inc. Default playback devices
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10271093B1 (en) * 2016-06-27 2019-04-23 Amazon Technologies, Inc. Systems and methods for routing content to an associated output device
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10708313B2 (en) 2016-12-30 2020-07-07 Google Llc Multimodal transmission of packetized data
US10593329B2 (en) 2016-12-30 2020-03-17 Google Llc Multimodal transmission of packetized data
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
KR101968725B1 (ko) * 2017-05-19 2019-04-12 네이버 주식회사 음성요청에 대응하는 정보 제공을 위한 미디어 선택
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
CN110741339B (zh) * 2017-10-03 2023-09-05 谷歌有限责任公司 具有延迟考虑的显示模式相关响应生成
US10665522B2 (en) 2017-12-22 2020-05-26 Intel IP Corporation Package including an integrated routing layer and a molded routing layer
US10425780B1 (en) * 2018-02-22 2019-09-24 Amazon Technologies, Inc. Outputting notifications using device groups
JP7088703B2 (ja) * 2018-03-20 2022-06-21 シャープ株式会社 情報処理システム
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
WO2020142681A1 (en) * 2019-01-04 2020-07-09 Apple Inc. Content playback on multiple devices
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
JP7181116B2 (ja) * 2019-02-12 2022-11-30 株式会社Nttドコモ 制御システム
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
WO2020195388A1 (ja) * 2019-03-26 2020-10-01 パナソニックIpマネジメント株式会社 情報通知システム及び情報通知方法
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
JP2021081875A (ja) * 2019-11-15 2021-05-27 株式会社リコー 情報処理システム、情報処理方法、情報処理装置及び出力装置
US20210185365A1 (en) * 2019-12-11 2021-06-17 Google Llc Methods, systems, and media for providing dynamic media sessions with video stream transfer features
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
KR20220014752A (ko) * 2020-07-29 2022-02-07 삼성전자주식회사 전자 장치 및 그 제어 방법
US11699444B1 (en) * 2020-10-23 2023-07-11 Amazon Technologies, Inc. Speech recognition using multiple voice-enabled devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132292A (ja) * 2000-10-26 2002-05-09 Daisuke Murakami 音声によるホームオートメーションシステム
JP2002525942A (ja) * 1998-09-17 2002-08-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 位置依存インタフェースを具えるリモートコントロール装置
JP2005110205A (ja) * 2003-09-10 2005-04-21 Matsushita Electric Ind Co Ltd 端末装置及び端末プログラム
JP2005531206A (ja) * 2002-06-24 2005-10-13 松下電器産業株式会社 個人向けプログラマブル汎用遠隔制御装置
JP2007235613A (ja) * 2006-03-01 2007-09-13 Murata Mach Ltd 遠隔制御装置
JP2007318319A (ja) * 2006-05-24 2007-12-06 Seiko Epson Corp リモートコントローラ及びその制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3658896B2 (ja) * 1996-11-26 2005-06-08 ソニー株式会社 情報信号伝送システム、再生装置及び表示装置
EP0911808B1 (en) 1997-10-23 2002-05-08 Sony International (Europe) GmbH Speech interface in a home network environment
JP2000215598A (ja) * 1999-01-27 2000-08-04 Sony Corp デジタル信号伝送方法、デジタル信号伝送システム、デジタル信号伝送装置及び記録媒体
GB2378779B (en) * 2001-08-14 2005-02-02 Advanced Risc Mach Ltd Accessing memory units in a data processing apparatus
JP4263010B2 (ja) 2003-03-28 2009-05-13 シャープ株式会社 機器制御システム、制御機器、および、記録媒体
JP4596236B2 (ja) 2004-04-07 2010-12-08 ソニー株式会社 制御システム、制御装置および方法、プログラム、並びに記録媒体
JP2006324876A (ja) 2005-04-18 2006-11-30 Sony Corp 制御装置および方法、プログラム、並びに記録媒体
US7945251B2 (en) 2006-03-27 2011-05-17 Sony Ericsson Mobile Communications Ab Locating a service device for a portable communication device
US20090027222A1 (en) * 2007-07-23 2009-01-29 Sony Ericsson Mobile Communications Ab Providing services to a mobile device in a personal network
US9509753B2 (en) * 2014-01-08 2016-11-29 Samsung Electronics Co., Ltd. Mobile apparatus and method for controlling thereof, and touch device
US10032008B2 (en) * 2014-02-23 2018-07-24 Qualcomm Incorporated Trust broker authentication method for mobile devices

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002525942A (ja) * 1998-09-17 2002-08-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 位置依存インタフェースを具えるリモートコントロール装置
JP2002132292A (ja) * 2000-10-26 2002-05-09 Daisuke Murakami 音声によるホームオートメーションシステム
JP2005531206A (ja) * 2002-06-24 2005-10-13 松下電器産業株式会社 個人向けプログラマブル汎用遠隔制御装置
JP2005110205A (ja) * 2003-09-10 2005-04-21 Matsushita Electric Ind Co Ltd 端末装置及び端末プログラム
JP2007235613A (ja) * 2006-03-01 2007-09-13 Murata Mach Ltd 遠隔制御装置
JP2007318319A (ja) * 2006-05-24 2007-12-06 Seiko Epson Corp リモートコントローラ及びその制御方法

Also Published As

Publication number Publication date
US9848253B2 (en) 2017-12-19
EP3115905A1 (en) 2017-01-11
US10244293B2 (en) 2019-03-26
US10623835B2 (en) 2020-04-14
KR20160127737A (ko) 2016-11-04
US20180109853A1 (en) 2018-04-19
EP3739460A1 (en) 2020-11-18
US20190182566A1 (en) 2019-06-13
US20170013331A1 (en) 2017-01-12
WO2015133022A1 (ja) 2015-09-11
JP6503557B2 (ja) 2019-04-24
KR102325697B1 (ko) 2021-11-15
EP3115905A4 (en) 2017-10-25

Similar Documents

Publication Publication Date Title
US10623835B2 (en) Information processing apparatus, information processing method, and program
US11741979B1 (en) Playback of audio content on multiple devices
US20190304448A1 (en) Audio playback device and voice control method thereof
KR102264600B1 (ko) 적응적 통지 네트워크용 시스템 및 방법
US9431021B1 (en) Device grouping for audio based interactivity
JP2024056690A (ja) Tvユーザ対話のためのインテリジェント自動アシスタント
US9084003B1 (en) Methods, systems, and media for media playback
US8497796B2 (en) Methods and apparatus for controlling one or more electronic devices based on the location of a user
JP2019057297A (ja) 情報処理装置、情報処理方法およびプログラム
CN106209800B (zh) 设备权限共享方法和装置
CN107533422A (zh) 服务器和服务器的控制群组行为的方法
JP2016523017A (ja) メディア再生システムの再生待ち列の転送
US20200280763A1 (en) Video integration with home assistant
EP3613045B1 (en) Methods, systems, and media for providing information relating to detected events
US12001754B2 (en) Context based media selection based on preferences setting for active consumer(s)
CN113613046A (zh) 管理回放组
JPWO2016067765A1 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
US20210159867A1 (en) Context based volume adaptation by voice assistant devices
JP2017144521A (ja) 情報処理装置、情報処理方法、及びプログラム
US11445269B2 (en) Context sensitive ads
JP6746775B2 (ja) 情報提供装置、端末装置、表示システム、プログラム及び情報提供方法
US20130117385A1 (en) Personal area network of devices and applications
CN105307007B (zh) 节目分享方法、装置及系统
US20210224066A1 (en) Information processing device and information processing method
US20180165099A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180824

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190116

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190122

TRDD Decision of grant or rejection written
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190212

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190225

R151 Written notification of patent or utility model registration

Ref document number: 6503557

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515