JP6927331B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP6927331B2
JP6927331B2 JP2019560819A JP2019560819A JP6927331B2 JP 6927331 B2 JP6927331 B2 JP 6927331B2 JP 2019560819 A JP2019560819 A JP 2019560819A JP 2019560819 A JP2019560819 A JP 2019560819A JP 6927331 B2 JP6927331 B2 JP 6927331B2
Authority
JP
Japan
Prior art keywords
information processing
user
content
content list
context
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019560819A
Other languages
English (en)
Other versions
JPWO2019123785A1 (ja
Inventor
長坂 英夫
英夫 長坂
亜世 後藤
亜世 後藤
裕介 土山
裕介 土山
龍 青山
龍 青山
洋二 廣瀬
洋二 廣瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019123785A1 publication Critical patent/JPWO2019123785A1/ja
Application granted granted Critical
Publication of JP6927331B2 publication Critical patent/JP6927331B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016Earpieces of the intra-aural type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、ユーザに対しコンテンツや機能を提供する種々の装置が普及している。また、上記のような装置を利用するユーザの利便性を高めるための技術が開発されている。例えば、特許文献1には、同一のユーザ操作に対し装置の状態に応じた異なる処理を実行する情報処理装置が開示されている。
特開2017−147652号公報
しかし、特許文献1に開示される情報処理装置の場合、ユーザが意図に沿った処理を装置に実行させるためには、装置の状態に応じた操作パターンを正しく入力することが求められる。
そこで、本開示では、ユーザがより直観的にコンテンツを操作することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、認識されたコンテキストに基づいて、ユーザに対し前記コンテキストに対応する複数のコンテンツリストの提供を制御する出力制御部前記ユーザの動作を検出する検出部と、情報処理サーバと通信を行い、前記検出部により検出された前記ユーザの動作を示す情報を前記情報処理サーバに送信する通信部と、を備え、前記出力制御部は、前記情報処理サーバにより前記ユーザの動作を示す情報に基づき認識されたジェスチャに基づいて、前記コンテンツリストの切り替えを制御する、情報処理装置が提供される。
また、本開示によれば、プロセッサが、認識されたコンテキストに基づいて、ユーザに対し前記コンテキストに対応する複数のコンテンツリストの提供を制御すること前記ユーザの動作を検出することと、情報処理サーバと通信を行い、前記検出することにより検出された前記ユーザの動作を示す情報を前記情報処理サーバに送信することと、を含み、前記制御することは、前記情報処理サーバにより前記ユーザの動作を示す情報に基づき認識されたジェスチャに基づいて、前記コンテンツリストの切り替えを制御すること、をさらに含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、認識されたコンテキストに基づいて、ユーザに対し前記コンテキストに対応する複数のコンテンツリストの提供を制御する出力制御部と、前記ユーザの動作を検出する検出部と、情報処理サーバと通信を行い、前記検出部により検出された前記ユーザの動作を示す情報を前記情報処理サーバに送信する通信部と、を備え、前記出力制御部は、前記情報処理サーバにより前記ユーザの動作を示す情報に基づき認識されたジェスチャに基づいて、前記コンテンツリストの切り替えを制御する、情報処理装置、として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、ユーザがより直観的にコンテンツを操作することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理端末の基本構造を示す図である。 同実施形態に係る耳穴開放型の情報処理端末がユーザの耳に音波を出力する様子を示す図である。 同実施形態に係る情報処理システムの構成例を示すブロック図である。 同実施形態に係る情報処理端末の機能構成例を示すブロック図である。 同実施形態に係る情報処理サーバの機能構成例を示すブロック図である。 同実施形態に係るコンテキストに応じたコンテンツの再生について説明するための図である。 同実施形態に係るコンテキストに対応するコンテンツリストの一例を示す図である。 同実施形態に係る複数のコンテンツリストの一例を示す図である。 同実施形態に係るコンテンツリストの構造と提示制御に係る一例を示す図である。 同実施形態に係る機能コマンドに係るコンテンツリストの一例を示す図である。 同実施形態に係る情報処理サーバによる制御の流れを示すフローチャートである。 本開示の一実施形態に係るハードウェア構成例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.実施形態
1.1.概要
1.2.情報処理端末10の一例
1.3.システム構成例
1.4.情報処理端末10の機能構成例
1.5.情報処理サーバ20の機能構成例
1.6.コンテンツリストの提示制御
1.7.制御の流れ
2.ハードウェア構成例
3.まとめ
<1.実施形態>
<<1.1.概要>>
まず、本開示の一実施形態の概要について説明する。上述したように、近年では、ユーザに対しコンテンツや機能を提供する種々の装置が普及している。上記のような装置には、例えば、ユーザに対し音声プログラムなどのコンテンツを提供する端末などが含まれる。
また、ユーザの体に装着して利用されるウェアラブル装置も多く開発されている。ウェアラブル装置には、例えば、ユーザの頭部に装着され、視覚情報や音声情報を提供するヘッドマウントディスプレイや、眼鏡型の装置が挙げられる。ヘッドマウントディスプレイなどの場合、ユーザは、ユーザインタフェースに表示される情報を視覚的に確認しながら、装置の操作を詳細に実行することが可能である。
一方、近年では、ユーザの耳に装着されるヒアラブル装置などの、表示装置を有しない端末も普及している。ヒアラブル装置の場合、ユーザは、例えば、機器操作(ボタン押下、タッチ操作など)、発話、頷きや首振りなどのジェスチャにより、装置の操作を行うことができる。
しかし、ヒアラブル装置に配置されるボタンの数や検出し得る操作パターンには制限があり、また、ジェスチャに割り当てられる操作の数にも限界がある。また、発話による操作制御は比較的柔軟に行えると想定されるが、例えば、公共の場所などにおいては、発話による操作が困難な場合も多い。この場合、ユーザは、例えば、ヒアラブル装置と連携するスマートフォンなどの端末を用いて、音声プログラムに対する操作などを行うのが一般的であり、利便性の改善が求められていた。
本開示の一実施形態に係る技術思想は、上記の点に着目して発想されたものであり、ユーザによるより直観的なコンテンツ操作を実現することを可能とする。このために、本開示の一実施形態に係る情報処理装置は、認識されたコンテキストに基づいて、ユーザに対し当該コンテキストに対する複数のコンテンツリストの提供を制御する機能を有する。また、本実施形態に係る情報処理装置は、ユーザの発話、ジェスチャ、機器操作などに基づいて、上記コンテンツリストの切り替えや選択を制御すること、を特徴の一つとする。
本実施形態に係る情報処理装置が有する上記の機能によれば、より直観的かつ簡易な操作によりコンテンツの再生や実行を制御することが可能となり、装置の利便性を一層に高めることが可能となる。
以下、本実施形態に係る情報処理装置が有する特徴と当該特徴が奏する効果について詳細に説明する。なお、以下においては、コンテンツの提供を行う情報処理端末10がヒアラブル装置である場合を主な例として説明するが、本実施形態に係る情報処理端末10は係る例に限定されない。本実施形態に係る情報処理端末10は、ユーザに対しコンテンツを提供する種々の装置であり得る。
<<1.2.情報処理端末10の一例>>
まず、本実施形態に係る情報処理端末10の一例について説明する。本実施形態に係る情報処理端末10は、情報処理サーバ20による制御に基づいて、ユーザに対しコンテンツを提供する情報処理装置である。図1は、本実施形態に係る情報処理端末10の基本構造を示す図である。なお、図1には、本実施形態に係る情報処理端末10がヒアラブル装置である場合の基本構造の一例が示されている。
図1を参照すると、本実施形態に係る情報処理端末10は、音響を発生する音響発生部610、音響発生部610により発せられる音響を一端621から取り込む音導部620、音導部620を他端622付近で保持する保持部630を備える。音導部620は、例えば、内径が1〜5ミリメートルの中空の管材からなり、その両端はともに開放端であってよい。また、音導部620の一端621は、音響発生部610からの発生音の音響入力孔であり、他端622は音響出力孔として機能する。したがって、一端621が音響発生部610に取り付けられることで、音導部620は片側開放状態となっている。
また、保持部630は、外耳道の入り口付近(例えば、珠間切痕)と係合して、音導部620の他端622の音響出力孔が外耳道の奥側を向くように、音導部620を他端622付近で支持する。音導部620の少なくとも他端622付近の外径は、耳穴の内径よりもはるかに小さくなるように形成されている。したがって、音導部620の他端622が保持部630によって外耳道の入り口付近で保持されている状態でも、ユーザの耳穴を塞ぐことはない。すなわち、耳穴は開放されている。情報処理端末10は、一般的なイヤホンとは異なり、「耳穴開放型」ということができる。
また、保持部630は、音導部620を保持した状態でも、外耳道入口(耳穴)を外界に開放する開口部631を備えている。図1に示す一例では、保持部630はリング状の構造体であり、内側の一部において音導部620の他端622付近と連結しているので、リング状構造体のそれ以外の部分はすべて開口部631となる。なお、保持部630は、リング状構造に限定されるものではなく、中空構造を備えていれば、音導部620の他端622を支持できる任意の形状でよい。
管状の音導部620は、音響発生部610により発せられる音響をその一端621から管内に取り込むと、空気振動を伝搬して、保持部630によって外耳道入口付近に保持された他端622から外耳道にむけて放出して、鼓膜に伝える。
上述したように、音導部620の他端622付近を保持する保持部630は、外耳道の入口(耳穴)を外界に開放する開口部631を備えている。したがって、情報処理端末10を装着している状態でも、ユーザの耳穴を塞ぐことはない。ユーザは、情報処理端末10を装着して音響発生部610から出力される音響を聴取している間も、開口部631を介して周囲音を十分に聴取することができる。
また、本実施形態に係る情報処理端末10は、耳穴を開放しているが、音響発生部610からの発生音(再生音)の外部への漏れを防止することができる。なぜならば、音導部620の他端622が外耳道の入口付近で奥を向くように取り付けられ、発生音の空気振動を鼓膜の近くで放射することから、出力を小さくしても十分な音質を得ることができるからである。
また、音導部620の他端622から放射される空気振動の指向性も音漏れの防止に寄与する。図2には、耳穴開放型の情報処理端末10がユーザの耳に音波を出力する様子が示されている。図2に示すように、音導部620の他端622から外耳道の内部に向けて空気振動が放射される。外耳道700は、外耳道入口701から始まり鼓膜702の内側で終了する穴であり、一般的におよそ25〜30ミリメートルの長さがある。外耳道700は、筒状をした閉空間である。このため、音導部620の他端622から外耳道700の奥に向かって放射された空気振動は、参照番号711で示すように、指向性を以って鼓膜702まで伝搬する。また、空気振動は、外耳道700内では音圧が上がることから、とりわけ低域の感度(ゲイン)が向上する。他方、外耳道700の外側すなわち外界は開空間である。このため、音導部620の他端622から外耳道700の外に放射された空気振動は、参照番号712で示すように、外界では指向性がなく、急峻に減衰する。
再び図1を参照しながら説明する。管状の音導部620は、中間部分に耳介の背面側から正面側に折り返す屈曲形状を有している。この屈曲部分は、開閉構造を有するピンチ部623となっており、ピンチ力を発生して耳垂を挟持することができる。
また、音導部620は、外耳道の入口付近に配設される他端622と、屈曲するピンチ部623の間に、変形部624をさらに有している。変形部624は、過度な外力が作用すると変形して、音導部620の他端622が必要以上に外耳道の奥に入り込まないようにする機能を有する。
<<1.3.システム構成例>>
次に、本開示の一実施形態に係る情報処理システムの構成例について説明する。図3は、本実施形態に係る情報処理システムの構成例を示すブロック図である。図3を参照すると、本実施形態に係る情報処理システムは、情報処理端末10、情報処理サーバ20、センサ装置30、被制御装置40を備える。また、上記の各構成は、互いに情報通信が行えるように、ネットワーク50を介して接続される。
(情報処理端末10)
本実施形態に係る情報処理端末10は、情報処理サーバ20による制御に基づいて、ユーザに対しコンテンツリストを提供する情報処理装置である。本実施形態に係る情報処理端末10は、図1および図2を用いて説明したように、ヒアラブル装置であってもよい。一方、本実施形態に係る情報処理端末10は係る例に限定されない。本実施形態に係る情報処理端末10は、例えば、ウェアラブル装置、据え置き型または自律移動型の専用装置であってもよい。本実施形態に係る情報処理端末10は、ユーザに対しコンテンツを提供する種々の装置であり得る。
また、本実施形態に係る情報処理端末10は、ユーザや周囲に係るセンサ情報を収集する機能を有する。情報処理端末10が収集するセンサ情報は、情報処理サーバ20によるコンテキストの認識に用いられる。
(情報処理サーバ20)
本実施形態に係る情報処理サーバ20は、認識したコンテキストに基づいて、情報処理端末10による、当該コンテキストに対応する複数のコンテンツリストの提供を制御する情報処理装置である。この際、本実施形態に係る情報処理サーバ20は、ユーザの発話、ジェスチャ、機器操作などに基づいて、上記のコンテンツリストの切り替えや選択を制御すること、を特徴の一つとする。本実施形態に係る情報処理サーバ20が有する機能の詳細については別途後述する。
(センサ装置30)
本実施形態に係るセンサ装置30は、ユーザや周囲に係るセンサ情報を収集する情報処理装置である。センサ装置30により収集されたセンサ情報は、情報処理サーバ20によるコンテキストの認識に用いられる。本実施形態に係るセンサ装置30は、例えば、携帯電話、スマートフォン、タブレット、ウェアラブル装置、家電機器などであり得る。
(被制御装置40)
本実施形態に係る被制御装置40は、情報処理サーバ20による制御に基づいて種々の機能を実行する装置である。本実施形態に係る被制御装置40は、例えば、照明、空調機器、テレビジョン装置などの家電機器であってもよい。情報処理サーバ20は、コンテンツリストに対するユーザの発話、ジェスチャ、機器操作などに基づいて、被制御装置40に各種の機能を実行させることができる。このように、本実施形態に係るコンテンツリストには、音声プログラムなどのほか、被制御装置40に実行させる機能を定義する機能コマンドが含まれる。本実施形態に係るコンテンツリストの詳細については別途後述する。
(ネットワーク50)
ネットワーク50は、情報処理システムが備える各構成を接続する機能を有する。ネットワーク50は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク50は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。また、ネットワーク50は、Wi−Fi(登録商標)、Bluetooth(登録商標)など無線通信網を含んでもよい。
以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図3を用いて説明したシステム構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、本実施形態に係る情報処理システムは、センサ装置30や被制御装置40を必ずしも備えなくてもよい。また、本実施形態に係る情報処理端末10および情報処理サーバ20が有する機能は、単一の装置により実現されてもよい。本実施形態に係る情報処理システムの構成は、仕様や運用に応じて柔軟に変形可能である。
<<1.4.情報処理端末10の機能構成例>>
次に、本実施形態に係る情報処理端末10の機能構成例について説明する。図4は、本実施形態に係る情報処理端末10の機能構成例を示すブロック図である。図4を参照すると、本実施形態に係る情報処理端末10は、音声出力部110、入力部120、センサ部130、制御部140、およびサーバ通信部150を備える。
(音声出力部110)
本実施形態に係る音声出力部110は、音声発話を含む種々の音を出力する機能を有する。本実施形態に係る音声出力部110は、情報処理サーバ20による制御に基づいて、ユーザに対しコンテンツリストを提供する提供部ともいえる。このために、本実施形態に係る音声出力部110は、スピーカやアンプなどの音声出力装置を備える。
(入力部120)
本実施形態に係る入力部120は、ユーザによる種々の機器操作を検出する機能を有する。上記の機器操作には、例えば、ボタン押下や種々のタッチ動作などが含まれてよい。また、入力部120は、ユーザによる発話や、情報処理端末10の周囲で発生する周囲音などの音情報を収集する機能を有する。入力部120が収集する音情報は、情報処理サーバ20による音声認識や周囲環境の認識などに用いられる。本実施形態に係る入力部120は、音情報を収集するためのマイクロフォンを備える。
(センサ部130)
本実施形態に係るセンサ部130は、周囲環境やユーザの行動、状態に関する種々のセンサ情報を収集する機能を有する。センサ部130が収集したセンサ情報は、情報処理サーバ20によるコンテキストの認識に用いられる。センサ部130は、加速度センサ、ジャイロセンサ、地磁気センサ、振動センサ、GNSS(Global Navigation Satellite System)信号受信装置、撮像素子などを備える。
(制御部140)
本実施形態に係る制御部140は、情報処理端末10が備える各構成を制御する機能を有する。制御部140は、例えば、各構成の起動や停止を制御する。また、制御部140は、情報処理サーバ20により生成される制御信号を音声出力部110に入力する。また、本実施形態に係る制御部140は、後述する情報処理サーバ20の出力制御部220と同等の機能を有してもよい。
(サーバ通信部150)
本実施形態に係るサーバ通信部150は、ネットワーク50を介して情報処理サーバ20との情報通信を行う機能を有する。具体的には、サーバ通信部150は、入力部120が収集した音情報や、センサ部130が収集したセンサ情報を情報処理サーバ20に送信する。また、サーバ通信部150は、情報処理サーバ20からコンテンツリストおよび当該コンテンツリストが含むコンテンツの出力に係る制御信号などを受信する。
以上、本実施形態に係る情報処理端末10の機能構成例について説明した。なお、図4を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理端末10の機能構成は係る例に限定されない。例えば、上述したように、本実施形態に係る制御部140は、情報処理サーバ20の出力制御部220と同等の機能を有してもよい。本実施形態に係る情報処理端末10の機能構成は、仕様や運用に応じて柔軟に変形可能である。
<<1.5.情報処理サーバ20の機能構成例>>
次に、本実施形態に係る情報処理サーバ20の機能構成例について説明する。図5は、本実施形態に係る情報処理サーバ20の機能構成例を示すブロック図である。図5を参照すると、本実施形態に係る情報処理サーバ20は、認識部210、出力制御部220、リスト生成部230、履歴保持部240、通信部250を備える。
(認識部210)
本実施形態に係る認識部210は、情報処理端末10やセンサ装置30が収集したセンサ情報に基づいてコンテキストを認識する機能を有する。本実施形態に係るコンテキストとは、ユーザや環境の状態を定義したものともいえる。本実施形態に係るコンテキストは、例えば、「早朝」、「自宅」、「出社前」、「晴れ」、「ユーザの感情:穏やか」、などの状態に係る要素が組み合わされたものであってもよい。本実施形態に係る出力制御部220は、上記のようなコンテキストに応じたコンテンツリストの提供を制御することで、ユーザや環境の状態により合致したコンテンツを提供することが可能である。なお、認識部210は、収集された画像、音声、加速度情報や角速度情報、位置情報、家電機器の利用情報などに基づいて、種々のコンテキストを認識することが可能である。
また、本実施形態に係る認識部210は、情報処理端末10やセンサ装置30が収集したユーザの発話に基づいて、音声認識処理を行う機能を有する。さらには、本実施形態に係る認識部210は、情報処理端末10やセンサ装置30が収集したセンサ情報に基づいて、ユーザのジェスチャを認識する機能を有する。認識部210により認識されたユーザの発話やジェスチャは、出力制御部220によるコンテンツリストの制御に用いられる。
(出力制御部220)
本実施形態に係る出力制御部220は、認識部210が認識したコンテキストに基づいて、ユーザに対し当該コンテキストに対応する複数のコンテンツリストの提供を制御する機能を有する。この際、本実施形態に係る出力制御部220は、認識部210が認識したユーザの発話やジェスチャ、また機器操作などに基づいて、上記コンテンツリストの提供を制御すること、を特徴の一つとする。本実施形態に係る出力制御部220が有する機能の詳細については別途後述する。
(リスト生成部230)
本実施形態に係るリスト生成部230は、コンテキストに対応するコンテンツリストの生成や、優先度の制御を行う機能を有する。本実施形態に係るリスト生成部230は、例えば、ユーザの嗜好や行動履歴などに基づいて、コンテンツリストの生成や優先度の変更を行ってもよい。本実施形態に係るリスト生成部230によるコンテンツリストの生成については、別途詳細に説明する。
(履歴保持部240)
本実施形態に係る履歴保持部240は、コンテンツリストに対するユーザの操作履歴やフィードバックに係る履歴情報を保持する。また、本実施形態に係る履歴保持部240は、被制御装置40に対するユーザの操作履歴(特に、機能の実行履歴)を保持する。
(通信部250)
本実施形態に係る通信部250は、ネットワーク50を介して、情報処理端末10、センサ装置30、被制御装置40との情報通信を行う。例えば、通信部250は、情報処理端末10から音情報やセンサ情報を受信し、コンテンツリストに係る制御信号を情報処理端末10に送信する。
以上、本実施形態に係る情報処理サーバ20の機能構成例について説明した。なお、図5を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る情報処理サーバ20の機能構成は係る例に限定されない。例えば、情報処理サーバ20は、必ずしも図5に示す構成のすべてを備えなくてもよい。認識部210、リスト生成部230、および履歴保持部240は、情報処理サーバ20とは異なる別の装置に備えることも可能である。本実施形態に係る情報処理サーバ20の機能構成は、仕様や運用に応じて柔軟に変形可能である。
<<1.6.コンテンツリストの提示制御>>
次に、本実施形態に係る出力制御部220によるコンテンツリストの提示制御について詳細に説明する。上述したように、近年においては、ユーザに対しコンテンツを提供する種々の装置が普及しているが、例えば、ヒアラブル装置のように、表示装置を有しない、あるいは表示装置の大きさに制限がある装置では、視覚情報を通じたコンテンツ操作が困難な場合も想定される。
一方、ヒアラブル装置でも、機器操作、発話またはジェスチャによる操作などが可能であるが、ボタンやジェスチャによる操作では、割り当てられる機能(例えば、再生、停止、次コンテンツへの遷移など)に制限があり、また発話による操作は、場所や時間帯などの状況によっては困難な場合もある。
そこで、上記のような制限に対し、コンテンツ操作に係るユーザの利便性を高める手法として、例えば、認識したコンテキストに基づいて、当該コンテキストに対応したコンテンツを情報処理端末10に自動的に再生させることも想定される。当該手法によれば、ユーザがあるコンテキストにおいて頻繁に再生する傾向があるコンテンツを自動再生することで、ユーザによる操作なしでも当該ユーザの嗜好に合致したコンテンツを提供することが可能となる。
図6は、コンテキストに応じたコンテンツの再生について説明するための図である。図6には、一日におけるユーザの所在、コンテンツ再生に係るトリガー、コンテキスト、および当該コンテキストに応じて自動再生されるコンテンツの一例が示されている。
例えば、情報処理サーバ20は、早朝自宅において、情報処理端末10を装着したことをトリガーとして、認識したコンテキスト「朝支度」に対応するコンテンツ種別「リラックス(リラックスできる楽曲など)」を情報処理端末10に自動再生させてもよい。
また、例えば、情報処理サーバ20は、ユーザが自宅を出発したことをトリガーとして、認識したコンテキスト「通勤」に対応するコンテンツ種別「元気(元気が出る楽曲など)」を情報処理端末10に自動再生させてもよい。
また、例えば、情報処理サーバ20は、ユーザが職場に到着したことをトリガーとして、認識したコンテキスト「始業」に対応するコンテンツ種別「予定(登録済み予定の読み上げなど)」を情報処理端末10に自動再生させてもよい。このように、本実施形態に係るコンテンツには、楽曲、予定、ニュース、朗読、学習などに係る種々の音声プログラムが含まれる。
同様に、情報処理サーバ20は、各種のトリガーや、仕事(作業)、退勤、帰宅後、就寝前などの様々なコンテキストに基づいて、当該コンテキストに対応するコンテンツを情報処理端末10に自動で再生させることが可能である。なお、情報処理サーバ20の認識部210は、例えば、情報処理端末10が収集した加速度情報や角速度情報、またGNSS信号の受信強度や接続するWi−Fiアクセスポイントの情報などに基づいて、上記のトリガーやコンテキストを認識することができる。
一方、上記のように、コンテキストに対応する単一のコンテンツあるいはコンテンツ種別の自動再生を行う場合、状況によっては、ユーザの意図に沿わないコンテンツが再生されてしまう場合も想定される。例えば、トリガーやコンテキストの認識が正確に行えた場合であっても、情報処理サーバ20が把握できていない新たなコンテキストは日々発生し、またユーザの嗜好も変化し得る。
この場合、結局、ユーザは、コンテンツを自ら選びなおす操作を行わなくてはならず、二度手間となってしまう可能性も高い。また、上述したように、ヒアラブル装置などが提供可能なユーザインタフェースには制限があるため、機器操作やジェスチャによるコンテンツの選び直しは煩雑となることが予想される。このため、より簡易かつ迅速な操作を行いたい場合、発話による操作のみが選択肢として残ることとなるが、上述したように、発話による操作は、場所や時間帯などの環境によっては困難な場合も多い。
そこで、本実施形態に係る情報処理サーバ20は、認識したコンテキストに対応する複数のコンテンツリストをユーザに提示し、ユーザの機器操作やジェスチャなどに基づいて、当該コンテンツリストの切り替えや選択を制御することを特徴の一つとする。図7は、本実施形態に係るコンテキストに対応するコンテンツリストの一例を示す図である。図7には、コンテキスト「在宅(朝)」、「外出」、「在宅(夜)」に対応する複数のコンテンツリスト(以下、チャンネル、とも称する)の一例が示されている。例えば、コンテキスト「在宅(朝)」には「在宅用チャンネル1〜3」が、コンテキスト「外出」には「外出用チャンネル1〜3」が、コンテキスト「在宅(夜)」には「帰宅用チャンネル1〜3」がそれぞれ対応付けられている。
この際、本実施形態に係る出力制御部220は、認識部210が認識したコンテキストに応じた複数のコンテンツリストをユーザに提示することで、嗜好に応じたコンテンツを直観的かつ簡易に選択できるようにサポートすることが可能である。
図8は、本実施形態に係る複数のコンテンツリストの一例を示す図である。図8には、出力制御部220が認識されたトリガーおよびコンテキストに基づいて、音声プログラムに係る複数のコンテンツリストを情報処理端末10に提示させる場合の一例が示されている。
なお、本実施形態に係る複数のコンテンツリストは、ユーザの嗜好等に応じた優先順位を以って提示されてよい。例えば、出力制御部220は、トリガー「装着」、コンテキスト「朝支度」において、「元気チャンネル(元気が出る楽曲を複数含むコンテンツリスト)」を第1優先、「リラックスチャンネル(リラックスできる楽曲を複数含むコンテンツリスト)」を第2優先として、当該順で情報処理端末10に提示させてもよい。
一方、出力制御部220は、トリガー「家を出た」、コンテキスト「通勤・通学」において、「行動支援チャンネル(例えば、予定の読み上げや、自己啓発、学習などに係る音声プログラムを複数含むコンテンツリスト)」を第1優先、「元気チャンネル」を第2優先として、当該順で情報処理端末10に提示させてもよい。なお、図8に示す一例においては、第1優先が密度の高いドット、第2優先が密度の低いドットでそれぞれ示されている。
このように、本実施形態に係る出力制御部220によれば、コンテキストに応じた複数のコンテンツリストをユーザに提示することで、ユーザが嗜好に沿ったコンテンツを容易に選択することが可能となる。
なお、本実施形態に係るコンテンツリストは、例えば、複数のコンテンツグループから成る階層構造を有してもよい。例えば、コンテンツリストは、大グループや小グループなどの複数のコンテンツグループを有する。この場合、大グループには、「ロック」などのジャンルが該当し、小グループには、「アーティストJ」、「アーティストK」などの区分が該当してもよい。
また、上記のコンテンツグループは、それぞれ複数のコンテンツから構成されてよい。上記の例に従うと、例えば、小グループの下位には、各アーティストの楽曲が配置される。
この際、ユーザは、例えば、音声による読み上げられるコンテンツリスト名、コンテンツグループ名、コンテンツ名に対し、簡易な機器操作やジェスチャを行うことで、コンテンツリストやコンテンツなどの切り替えや選択を直観的かつ容易に行うことが可能である。
図9は、本実施形態に係るコンテンツリストの構造と提示制御に係る一例を示す図である。出力制御部220は、例えば、認識部210が認識したコンテキストに基づいて、当該コンテキストに対応する複数のコンテンツリストを取得しリスト名の読み上げを情報処理端末10に実行させる。この際、出力制御部220は、例えば、ユーザの第1ジェスチャが認識されたことに基づいて、コンテンツリストの選択を制御し、当該コンテンツが含むコンテンツグループ名を情報処理端末10に順次読み上げさせる。ここで、上記の第1ジェスチャは、例えば、頷くなどの動作であってもよい。なお、本実施形態に係るジェスチャは、身体の一部または全体を用いたユーザの特定の動作を広く含む。本実施形態に係る認識部210は、画像を含む種々のセンサ情報に基づいて特定の動作をセンシングし、当該特定の動作をジェスチャとして認識することが可能である。
一方、出力制御部220は、ユーザによる第2ジェスチャが認識された場合、同一の階層に属する次のコンテンツグループやコンテンツへの切り替えを制御する。例えば、「小グループ1」の名称読み上げ中にユーザの第2ジェスチャが認識された場合、出力制御部220は、「小グループ2」の名称読み上げ制御に遷移する。また、例えば、「コンテンツ1」の名称読み上げ中または再生中にユーザの第2ジェスチャが認識された場合、出力制御部220は、「コンテンツ2」の名称読み上げまたは再生制御に遷移する。なお、上記の第2ジェスチャは、例えば、首を振るなどの動作であってもよい。
このように、本実施形態に係る出力制御部220が有する機能によれば、コンテンツリストの階層構造に従い、コンテンツグループおよびコンテンツを順にユーザに提示し、切り替えや提示などの指示を仰ぐことができる。係る機能によれば、ユーザは、例えば上述したような簡易なジェスチャにより嗜好に合致したコンテンツに係る選択操作を直観的かつ簡易に行うことができ、より柔軟で利便性の高いコンテンツ提供を享受することが可能となる。
なお、図9を用いた上記の説明では、ジェスチャを用いて切り替えや選択を行う場合を例に述べたが、本実施形態に係るコンテンツリスト、コンテンツグループ、およびコンテンツの切り替えや選択は、係る例に限定されない。ユーザは、例えば、ボタン押下やタッチ操作などにより切り替えや選択を行うことが可能である。
また、出力制御部220は、例えば、ユーザによる機器操作やジェスチャが所定時間以上検出されない場合には、読み上げ中のコンテンツグループやコンテンツを自動で選択してもよい。
また、本実施形態に係るコンテンツは、上述したように楽曲に限定されない。本実施形態に係るコンテンツは、例えば、ニュース、予定、朗読、学習などに係る種々の音声プログラムを含む。
また、本実施形態に係るコンテンツは、被制御装置40に所定の機能を実行させるための機能コマンドを含んでよい。すなわち、ユーザは、順次提示される機能コマンドを切り替え、選択することで、任意の機能を容易に被制御装置40に実行させることができる。
図10は、本実施形態に係る機能コマンドに係るコンテンツリストの一例を示す図である。図8に示した一例と比較すると、図10に示す一例では、コンテンツリスト「行動支援チャンネル」が「機能チャンネル」に変わっていることがわかる。
例えば、トリガー「装着」、コンテキスト「休日の朝」の場合、出力制御部220は、機能コマンド「テレビをつける」、「エアコンをつける」、「コーヒーを入れる」などを優先度順に提示させ、ユーザが選択した機能コマンドに応じた機能を被制御装置40に実行させることができる。
また、例えば、トリガー「装着」、コンテキスト「仕事中」の場合、出力制御部220は、機能コマンド「エアコンをつける」や「ノイズキャンセル」などを優先度順に提示させ、ユーザが選択した機能コマンドに対応する機能を被制御装置40に実行させてよい。
なお、本実施形態に係るリスト生成部230は、例えば、ユーザの行動履歴に基づいて、上記のような音声プログラムや機能コマンドを含むコンテンツリストの生成や、優先度の設定を行うことができる。ここで、上記の行動履歴には、例えば、コンテンツリストなどに対するユーザの操作履歴や、被制御装置40の機能の実行履歴が含まれる。
例えば、リスト生成部230は、情報処理端末10に対してユーザが行った発話や機器操作などをコンテキストと対応付けて履歴保持部240に記録させ、同一の音声プログラムを選んだ回数などが閾値を超えた場合、コンテンツリストやコンテンツの登録を行ってもよい。リスト生成部230は、例えば、ユーザがコンテキスト「朝支度」において「リラックスできる音声プログラム」を再生した回数が閾値を超えた場合、「リラックスできる音声プログラム」に係るコンテンツリストを生成し、割り当てを行うことができる。
また、例えば、リスト生成部230は、ユーザによる被制御装置40の所定機能の実行をコンテキストと対応付けて履歴保持部240に記録させ、同一の機能を実行させた回数が閾値を超えた場合、当該機能に対応する機能コマンドを含むコンテンツリストの割り当てを行ってもよい。リスト生成部230は、例えば、ユーザがコンテキスト「休日の朝」において「テレビをつける」回数が閾値を超えた場合、「テレビをつける」ための機能コマンドを含むコンテンツリストを生成し、割り当てを行うことができる。
本実施形態に係るリスト生成部230が有する上記の機能によれば、所定のコンテキストにおいてユーザが選択する可能性が高いコンテンツリストを優先度順に提示することができ、日々変化するユーザの状態や嗜好に対応した質の高いコンテンツ提供を実現することが可能となる。
なお、コンテンツリストの割り当てについては、ユーザへの問い合わせ、およびユーザの回答を以って実行されてもよい。例えば、リスト生成部230は、情報処理端末10に、「XXXをチャンネルに割り当てますか?」などの音声を出力させ、ユーザが肯定的な応答を示した場合にコンテンツリストの割り当てを実行することができる。
また、ユーザが所定のコンテキストにおいて常に実行する機能などについては、コンテンツリストへの割り当てを行わず、対応するコンテキストが認識された際に、自動実行されるよう制御が行われてもよい。
また、リスト生成部230は、コンテキストの詳細化に伴い、既存のコンテンツリストから新たなコンテンツリストを分離して生成してもよい。例えば、コンテキスト「休日の午後」に対応する機能コマンド「コーヒーを入れる」、「テレビをつける」、「音楽を停止する」が既存で存在する場合を想定する。この際、ユーザの行動履歴の蓄積から、「音楽を停止する」のは、上記コンテキストからさらに詳細化した「休日の午後にエリアCに居る」場合であることが認識された場合、リスト生成部230は、コンテキスト「休日の午後」から機能コマンドを「音楽を停止する」を分離し、新たなコンテキスト「休日の午後にエリアCに居る」に対応づけたコンテンツリストとして生成することができる。なお、認識部210は、例えば、情報処理端末10が受信するGNSS信号や、接続するWi−Fiアクセスポイントなどの情報に基づいて、上記のような場所に係るコンテキストを認識することが可能である。
本実施形態に係るリスト生成部230が有する上記の機能によれば、ユーザが選択する音声プログラムや機能コマンドなどを対応付けるコンテキストをより詳細化させることで、細やかな条件に応じた精度の高いコンテンツ提供を実現することが可能である。
また、本実施形態に係るリスト生成部230は、ユーザのフィードバックに基づいて、コンテンツリストの生成や優先度の変更を行ってもよい。例えば、ユーザが優先度1に設定したコンテンツよりも優先度2に設定したコンテンツを選択する頻度が高い場合、リスト生成部230は、両者の順番を入れ替えるなどの変更を行ってもよい。このように、本実施形態に係るユーザのフィードバックには、提示されたコンテンツに対するユーザの選択行為が含まれる。
また、一方で、リスト生成部230は、ユーザがまったく選択しないコンテンツや選択頻度の低いコンテンツについては、優先度を下げる処理や削除処理を実行してもよい。このように、本実施形態に係るユーザのフィードバックには、コンテンツに対して反応がない、などの暗示的なフィードバックも含まれ得る。リスト生成部230が有する上記の機能によれば、コンテンツリストの数が増大し、ユーザの選択が煩雑になることを効果的に防止し、常にユーザの嗜好に合致した質の高いコンテンツ提供を実現することができる。なお、コンテンツやコンテンツリストの削除については、ユーザによる問い合わせ、およびユーザの応答を以って実行されてもよい。
以上説明したように本実施形態に係る情報処理サーバ20は、種々のコンテキストに対応する複数のコンテンツリストの提供を制御し、ユーザの機器操作やジェスチャなどに基づいて、コンテンツリストの切り替えや選択を制御することができる。本実施形態に係る情報処理サーバ20が有する上記の機能によれば、ユーザの状況や嗜好などに応じた質の高いコンテンツ提供を実現すると共に、より直観的かつ簡易な操作でユーザがコンテンツを選択することが可能となる。
なお、本実施形態に係るコンテンツは音声プログラムや機能コマンドを含むと述べたが、音声プログラムと機能コマンドとは、それぞれ異なるディメンションにおける階層構造として制御されてもよい。例えば、ユーザの顔の傾きが水平に近い場合に、首振りや頷きが認識された場合、出力制御部220は、音声プログラムに係るコンテンツリストの切り替えや選択を制御してよい。一方、ユーザの顔の傾きが閾値以上水平方向から離れている場合、例えば、ユーザが下方を向きながら首振りや頷きを行った場合、出力制御部220は、機能コマンドに係るコンテンツリストの切り替えや選択を制御してよい。このように、本実施形態に係る情報処理サーバ20は、ユーザのジェスチャや機器操作を複数のディメンションごとに認識し、当該ディメンションに対応したコンテンツリストの提示を制御することも可能である。本実施形態に係る情報処理サーバ20が有する上記の機能によれば、視覚情報を用いなくても、より少ない操作指示でより多くのコンテンツの選択を実現することができる。
<<1.7.制御の流れ>>
次に、本実施形態に係る情報処理サーバ20による制御の流れについて説明する。図11は、本実施形態に係る情報処理サーバ20による制御の流れを示すフローチャートである。
図11を参照すると、まず、通信部250が情報処理端末10やセンサ装置30からセンサ情報を受信する(S1101)。
次に、認識部210が、ステップS1101において受信したセンサ情報に基づいて、コンテキストの認識を行う(S1102)。
次に、出力制御部220が、ステップS1102において認識されたコンテキストに基づいて、当該コンテキストに対応する複数のコンテンツリストを取得し、提示する(S1103)。
次に、認識部210が、提示されるコンテンツリストに対するユーザの機器操作やジェスチャを認識する(S1104)。
次に、出力制御部220が、ステップS1104において認識された機器操作やジェスチャに基づいて、コンテンツリストに係る切り替えや選択を制御する(S1105)。
続いて、出力制御部220は、ステップS1105において選択されたコンテキストに基づく出力制御を実行する(S1106)。
<2.ハードウェア構成例>
次に、本開示の一実施形態に係る情報処理端末10および情報処理サーバ20に共通するハードウェア構成例について説明する。図15は、本開示の一実施形態に係る情報処理端末10および情報処理サーバ20のハードウェア構成例を示すブロック図である。図15を参照すると、情報処理端末10および情報処理サーバ20は、例えば、プロセッサ871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インターフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
(プロセッサ871)
プロセッサ871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
(ROM872、RAM873)
ROM872は、プロセッサ871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、プロセッサ871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
(ホストバス874、ブリッジ875、外部バス876、インターフェース877)
プロセッサ871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
(入力装置878)
入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。
(出力装置879)
出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置879は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
(ストレージ880)
ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
(ドライブ881)
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
(リムーバブル記録媒体901)
リムーバブル記録媒体901は、例えば、DVDメディア、Blu−ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
(接続ポート882)
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS−232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
(外部接続機器902)
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
(通信装置883)
通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
<3.まとめ>
以上説明したように、本開示の一実施形態に係る情報処理サーバ20は、認識されたコンテキストに基づいて、ユーザに対し当該コンテキストに対応する複数のコンテンツリストの提供を制御する出力制御部220を備える。また、本開示の一実施形態に係る出力制御部220は、ユーザによる機器操作やジェスチャに基づいて、コンテンツリストの切り替えや選択を制御する機能を有する。係る構成によれば、ユーザがより直観的にコンテンツを操作することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、本明細書の情報処理サーバ20の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理サーバ20の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
また、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアに、情報処理サーバ20が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な非一過性の記録媒体も提供され得る。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
認識されたコンテキストに基づいて、ユーザに対し前記コンテキストに対応する複数のコンテンツリストの提供を制御する出力制御部、
を備え、
前記出力制御部は、前記ユーザによる機器操作またはジェスチャに基づいて、前記コンテンツリストの切り替えを制御する、
情報処理装置。
(2)
前記コンテンツリストは、複数のコンテンツグループから成る階層構造を有し、
前記出力制御部は、前記ユーザによる機器操作またはジェスチャに基づいて、前記コンテンツリストおよび前記コンテンツグループの切り替え、または選択を制御する、
前記(1)に記載の情報処理装置。
(3)
前記コンテンツグループは、複数のコンテンツから成り、
前記出力制御部は、前記ユーザによる機器操作またはジェスチャに基づいて、前記コンテンツの切り替え、または選択を制御する、
前記(2)に記載の情報処理装置。
(4)
前記出力制御部は、認識された第1ジェスチャに基づいて前記コンテンツリストの決定を制御し、第2ジェスチャに基づいて前記コンテンツリストの切り替えを制御する、
前記(1)〜(3)のいずれかに記載の情報処理装置。
(5)
前記コンテンツリストは、音声により提供される、
前記(1)〜(4)のいずれかに記載の情報処理装置。
(6)
前記コンテンツリストは、音声プログラムに係るリストを含み、
前記出力制御部は、前記ユーザによる機器操作またはジェスチャに基づいて、前記音声プログラムの選択または再生を制御する、
前記(1)〜(5)のいずれかに記載の情報処理装置。
(7)
前記コンテンツリストは、機能コマンドに係るリストを含み、
前記出力制御部は、前記ユーザの音声またはジェスチャに基づいて、前記機能コマンドの選択または実行を制御する、
前記(1)〜(6)のいずれかに記載の情報処理装置。
(8)
前記出力制御部は、ウェアラブル装置による前記コンテンツリストの提供を制御する、
前記(1)〜(7)のいずれかに記載の情報処理装置。
(9)
前記出力制御部は、ヒアラブル装置による前記コンテンツリストの提供を制御する、
前記(1)〜(8)のいずれかに記載の情報処理装置。
(10)
前記コンテキストに対応する前記コンテンツリストを生成するリスト生成部、
をさらに備える、
前記(1)〜(9)のいずれかに記載の情報処理装置。
(11)
前記リスト生成部は、前記ユーザの行動履歴に基づいて、前記コンテンツリストの生成、または優先度の変更を行う、
前記(10)に記載の情報処理装置。
(12)
前記ユーザの行動履歴は、前記コンテンツリストに対する操作履歴、または装置の機能実行履歴のうち少なくともいずれかを含む、
前記(11)に記載の情報処理装置。
(13)
前記リスト生成部は、前記コンテキストの詳細化に伴い、既存の前記コンテンツリストから新たな前記コンテンツリストを生成する、
前記(10)〜(12)のいずれかに記載の情報処理装置。
(14)
前記リスト生成部は、前記ユーザのフィードバックに基づいて、前記コンテンツリストの生成、または優先度の変更を行う、
前記(10)〜(13)のいずれかに記載の情報処理装置。
(15)
前記コンテキストを認識する認識部、
をさらに備える、
前記(1)〜(14)のいずれかに記載の情報処理装置。
(16)
前記出力制御部による制御に基づいて前記ユーザに対し前記コンテンツリストを提供する提供部、
をさらに備える、
前記(1)〜(15)のいずれかに記載の情報処理装置。
(17)
プロセッサが、認識されたコンテキストに基づいて、ユーザに対し前記コンテキストに対応する複数のコンテンツリストの提供を制御すること、
を含み、
前記制御することは、前記ユーザによる機器操作またはジェスチャに基づいて、前記コンテンツリストの切り替えを制御すること、
をさらに含む、
情報処理方法。
(18)
コンピュータを、
認識されたコンテキストに基づいて、ユーザに対し前記コンテキストに対応する複数のコンテンツリストの提供を制御する出力制御部、
を備え、
前記出力制御部は、前記ユーザによる機器操作またはジェスチャに基づいて、前記コンテンツリストの切り替えを制御する、
情報処理装置、
として機能させるためのプログラム。
10 情報処理端末
110 音声出力部
120 入力部
130 センサ部
140 制御部
150 サーバ通信部
20 情報処理サーバ
210 認識部
220 出力制御部
230 リスト生成部
240 履歴保持部
250 通信部
30 センサ装置
40 被制御装置

Claims (18)

  1. 認識されたコンテキストに基づいて、ユーザに対し前記コンテキストに対応する複数のコンテンツリストの提供を制御する出力制御部
    前記ユーザの動作を検出する検出部と、
    情報処理サーバと通信を行い、前記検出部により検出された前記ユーザの動作を示す情報を前記情報処理サーバに送信する通信部と、
    を備え、
    前記出力制御部は、前記情報処理サーバにより前記ユーザの動作を示す情報に基づき認識されたジェスチャに基づいて、前記コンテンツリストの切り替えを制御する、
    情報処理装置。
  2. 前記コンテンツリストは、複数のコンテンツグループから成る階層構造を有し、
    前記出力制御部は、前記ユーザによる機器操作またはジェスチャに基づいて、前記コンテンツリストおよび前記コンテンツグループの切り替え、または選択を制御する、
    請求項1に記載の情報処理装置。
  3. 前記コンテンツグループは、複数のコンテンツから成り、
    前記出力制御部は、前記ユーザによるジェスチャに基づいて、前記コンテンツの切り替え、または選択を制御する、
    請求項2に記載の情報処理装置。
  4. 前記出力制御部は、それぞれ前記情報処理サーバにより認識された、第1ジェスチャに基づいて前記コンテンツリストの決定を制御し、第2ジェスチャに基づいて前記コンテンツリストの切り替えを制御する、
    請求項1に記載の情報処理装置。
  5. 前記コンテンツリストは、音声により提供される、
    請求項1に記載の情報処理装置。
  6. 前記コンテンツリストは、音声プログラムに係るリストを含み、
    前記出力制御部は、前記ユーザによるジェスチャに基づいて、前記音声プログラムの選択または再生を制御する、
    請求項1に記載の情報処理装置。
  7. 前記コンテンツリストは、機能コマンドに係るリストを含み、
    前記出力制御部は、前記ユーザの音声またはジェスチャに基づいて、前記機能コマンドの選択または実行を制御する、
    請求項1に記載の情報処理装置。
  8. 前記出力制御部は、ウェアラブル装置による前記コンテンツリストの提供を制御する、
    請求項1に記載の情報処理装置。
  9. 前記出力制御部は、ヒアラブル装置による前記コンテンツリストの提供を制御する、
    請求項1に記載の情報処理装置。
  10. 前記コンテキストに対応する前記コンテンツリストを生成するリスト生成部、
    をさらに備える、
    請求項1に記載の情報処理装置。
  11. 前記リスト生成部は、前記ユーザの行動履歴に基づいて、前記コンテンツリストの生成、または優先度の変更を行う、
    請求項10に記載の情報処理装置。
  12. 前記ユーザの行動履歴は、前記コンテンツリストに対する操作履歴、または装置の機能実行履歴のうち少なくともいずれかを含む、
    請求項11に記載の情報処理装置。
  13. 前記リスト生成部は、前記コンテキストの詳細化に伴い、既存の前記コンテンツリストから新たな前記コンテンツリストを生成する、
    請求項10に記載の情報処理装置。
  14. 前記リスト生成部は、前記ユーザのフィードバックに基づいて、前記コンテンツリストの生成、または優先度の変更を行う、
    請求項10に記載の情報処理装置。
  15. 前記コンテキストを認識する認識部、
    をさらに備える、
    請求項1に記載の情報処理装置。
  16. 前記出力制御部による制御に基づいて前記ユーザに対し前記コンテンツリストを提供する提供部、
    をさらに備える、
    請求項1に記載の情報処理装置。
  17. プロセッサが、認識されたコンテキストに基づいて、ユーザに対し前記コンテキストに対応する複数のコンテンツリストの提供を制御すること
    前記ユーザの動作を検出することと、
    情報処理サーバと通信を行い、前記検出することにより検出された前記ユーザの動作を示す情報を前記情報処理サーバに送信することと、
    を含み、
    前記制御することは、前記情報処理サーバにより前記ユーザの動作を示す情報に基づき認識されたジェスチャに基づいて、前記コンテンツリストの切り替えを制御すること、
    をさらに含む、
    情報処理方法。
  18. コンピュータを、
    認識されたコンテキストに基づいて、ユーザに対し前記コンテキストに対応する複数のコンテンツリストの提供を制御する出力制御部と、
    前記ユーザの動作を検出する検出部と、
    情報処理サーバと通信を行い、前記検出部により検出された前記ユーザの動作を示す情報を前記情報処理サーバに送信する通信部と、
    を備え、
    前記出力制御部は、前記情報処理サーバにより前記ユーザの動作を示す情報に基づき認識されたジェスチャに基づいて、前記コンテンツリストの切り替えを制御する、
    情報処理装置、
    として機能させるためのプログラム。
JP2019560819A 2017-12-18 2018-10-10 情報処理装置、情報処理方法、およびプログラム Active JP6927331B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017242169 2017-12-18
JP2017242169 2017-12-18
PCT/JP2018/037634 WO2019123785A1 (ja) 2017-12-18 2018-10-10 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019123785A1 JPWO2019123785A1 (ja) 2020-12-03
JP6927331B2 true JP6927331B2 (ja) 2021-08-25

Family

ID=66992553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019560819A Active JP6927331B2 (ja) 2017-12-18 2018-10-10 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US20210076122A1 (ja)
EP (1) EP3731067A4 (ja)
JP (1) JP6927331B2 (ja)
WO (1) WO2019123785A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250581A (ja) * 2004-03-01 2005-09-15 Denso Corp インタフェース装置
JP2010191802A (ja) * 2009-02-19 2010-09-02 Olympus Corp 情報処理システム、画像表示装置、プログラム及び情報記憶媒体
US8417703B2 (en) * 2009-11-03 2013-04-09 Qualcomm Incorporated Data searching using spatial auditory cues
US9665344B2 (en) * 2010-02-24 2017-05-30 GM Global Technology Operations LLC Multi-modal input system for a voice-based menu and content navigation service
CN108028965A (zh) * 2015-10-02 2018-05-11 夏普株式会社 终端装置以及控制服务器
JP2017147652A (ja) 2016-02-18 2017-08-24 ソニーモバイルコミュニケーションズ株式会社 情報処理装置

Also Published As

Publication number Publication date
US20210076122A1 (en) 2021-03-11
EP3731067A1 (en) 2020-10-28
EP3731067A4 (en) 2021-03-03
JPWO2019123785A1 (ja) 2020-12-03
WO2019123785A1 (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
US11089402B2 (en) Conversation assistance audio device control
US10817251B2 (en) Dynamic capability demonstration in wearable audio device
KR102005071B1 (ko) 웨어러블 디바이스의 상태에 기초하는 컴패니언 통신 디바이스 거동의 변경
KR102325697B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP6819672B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102102647B1 (ko) 무선 리시버 및 그 제어 방법
CN109429132A (zh) 耳机系统
WO2019033987A1 (zh) 提示方法、装置、存储介质及终端
US20140079239A1 (en) System and apparatus for controlling a user interface with a bone conduction transducer
US20200174735A1 (en) Wearable audio device capability demonstration
JP2006524003A (ja) イヤピース遠隔コントローラを有するパーソナルオーディオシステム
US11036464B2 (en) Spatialized augmented reality (AR) audio menu
CN109104662A (zh) 指令执行方法、操作响应方法、终端及耳机设备
JP6904357B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7243639B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2016157993A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2016206646A (ja) 音声再生方法、音声対話装置及び音声対話プログラム
JP6927331B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JPWO2020031367A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20200258493A1 (en) Binaural recording-based demonstration of wearable audio device functions
WO2019017033A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2018116678A1 (ja) 情報処理装置及びその制御方法
JP7151707B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230041400A1 (en) Methods for improving wireless connections for previously paired devices
KR20220025345A (ko) 동영상 내 자막의 음성화 제공 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210719

R151 Written notification of patent or utility model registration

Ref document number: 6927331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151