JPWO2020121776A1 - 受信装置および制御方法 - Google Patents

受信装置および制御方法 Download PDF

Info

Publication number
JPWO2020121776A1
JPWO2020121776A1 JP2020559912A JP2020559912A JPWO2020121776A1 JP WO2020121776 A1 JPWO2020121776 A1 JP WO2020121776A1 JP 2020559912 A JP2020559912 A JP 2020559912A JP 2020559912 A JP2020559912 A JP 2020559912A JP WO2020121776 A1 JPWO2020121776 A1 JP WO2020121776A1
Authority
JP
Japan
Prior art keywords
content
display
control unit
user
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020559912A
Other languages
English (en)
Inventor
俊一 杉浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020121776A1 publication Critical patent/JPWO2020121776A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4828End-user interface for program selection for searching program descriptors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/65Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on users' side
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H04H60/372Programme
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/38Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space
    • H04H60/41Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast space, i.e. broadcast channels, broadcast stations or broadcast areas
    • H04H60/43Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast space, i.e. broadcast channels, broadcast stations or broadcast areas for identifying broadcast channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/38Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space
    • H04H60/41Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast space, i.e. broadcast channels, broadcast stations or broadcast areas
    • H04H60/44Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast space, i.e. broadcast channels, broadcast stations or broadcast areas for identifying broadcast stations

Abstract

ユーザの発話音声から認識された語句に基づいてチャンネルまたはコンテンツを検索する検索処理と、前記検索処理により得られた複数のチャンネルまたはコンテンツのうち、1のチャンネルまたはコンテンツを選択する処理と、前記選択したコンテンツまたは前記選択したチャンネルで放送されているコンテンツを表示部に表示する処理と、さらに、前記表示部に、前記検索処理により得られた複数のチャンネルまたはコンテンツを示す各項目画像を選択肢として表示する処理と、を行う制御部を備える、受信装置。

Description

本開示は受信装置および制御方法に関する。
従来、音声認識は、ユーザによる情報機器への入力を支援する技術として利用されている。例えば下記特許部文献1では、ユーザが発した音声の内容を音声認識してボイスコマンドを特定し、処理を実行する表示制御装置の技術が開示されている。
特開2015−95002号公報
ここで、音声認識したユーザ発話内容に対して複数の選択肢がある場合、どの選択肢がユーザの希望に確実に対応しているかを判断することは困難であった。
上記特許文献1では、音声入力に応じた複数の選択肢から、予め決められた基準に従って注目選択肢を特定し、他方を代替選択肢として特定し、注目選択肢を他の選択肢より大きく表示することで、選択されていることを表すことができる。
しかしながら、上記特許文献1では、当該選択肢を実行する場合には、再度、「はじめる」といった語句を表す音声入力が必要となり、選択から実行までのステップが煩わしい場合もあった。
本開示によれば、ユーザの発話音声から認識された語句に基づいてチャンネルまたはコンテンツを検索する検索処理と、前記検索処理により得られた複数のチャンネルまたはコンテンツのうち、1のチャンネルまたはコンテンツを選択する処理と、前記選択したコンテンツまたは前記選択したチャンネルで放送されているコンテンツを表示部に表示する処理と、さらに、前記表示部に、前記検索処理により得られた複数のチャンネルまたはコンテンツを示す各項目画像を選択肢として表示する処理と、を行う制御部を備える、受信装置を提案する。
本開示によれば、プロセッサが、ユーザの発話音声から認識された語句に基づいてチャンネルまたはコンテンツを検索することと、前記検索により得られた複数のチャンネルまたはコンテンツのうち、1のチャンネルまたはコンテンツを選択することと、前記選択したコンテンツまたは前記選択したチャンネルで放送されているコンテンツを表示部に表示することと、さらに、前記表示部に、前記検索により得られた複数のチャンネルまたはコンテンツを示す各項目画像を選択肢として表示することと、を含む、制御方法を提案する。
本開示の一実施形態による情報処理装置の概要について説明するための説明図である。 本実施形態による情報処理装置のハードウェア構成の一例を示すブロック図である。 図2に示した情報処理装置のメモリおよびプロセッサにより実現される論理的機能の構成の一例を示すブロック図である。 本実施形態の第1の実施例によるチャンネル名の音声入力が行われた場合の情報処理装置の動作処理の流れの一例を示すフローチャートである。 本実施形態の第1の実施例による音声入力時のUI画像の表示例を示す図である。 本実施形態の第2の実施例による現在放送中の番組と録画番組とを同時に検索結果として表示する場合について説明する図である。 本実施形態の第3の実施例による現在の番組に関する音声入力がなされた場合の表示例について説明する図である。 本実施形態の第6の実施例によるドラマ等の順番を有するコンテンツのタイトルが音声入力された場合の表示例について説明する図である。 本実施形態の第7の実施例による外部入力を指定する音声入力がされた場合の動作処理の流れの一例を示すフローチャートである。 本実施形態の第7の実施例による外部入力を指定する音声入力された場合の検索結果を表示する画面例を示す図である。 本実施形態の第8の実施例によるアプリケーションの起動等に関して音声入力された場合の検索結果を表示する画面例を示す図である。 本実施形態の第9の実施例による電源OFF時の録画予約または視聴予約の動作処理の流れの一例を示すフローチャートである。 本実施形態の第9の実施例による電源OFF時のコンテンツ削除の動作処理の流れの一例を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.概要
2.構成例
2−1.ハードウェア構成例
2−2.機能構成例
3.各実施例
3−1.第1の実施例:音声入力「チャンネル名」
3−2.第2の実施例:現在放送番組と録画番組の同時表示
3−3.第3の実施例:音声入力「現在の番組」
3−4.第4の実施例:音声入力「ジャンル」
3−5.第5の実施例:おすすめコンテンツ等を問う音声入力
3−6.第6の実施例:順番を有するコンテンツの表示
3−7.第7の実施例:外部入力を指定する音声入力
(音声入力「HDMI」の例)
3−8.第8の実施例:アプリケーションの起動等に関する音声入力
3−9.第9の実施例:電源OFFからの「録画/視聴予約、コンテンツ削除」
3−10.補足
4.まとめ
<<1.概要>>
本節では、図1を用いて、本開示に係る技術が適用され得る情報処理装置の概要について説明する。図1は、本開示の一実施形態による情報処理装置100の概要について説明するための説明図である。図1を参照すると、情報処理装置100は、各放送局により電波塔200から放送される放送信号や、インターネット220(具体的には、インターネットを介して通信接続されるコンテンツ配信サーバ)から配信されるコンテンツデータを受信する受信装置であって、ディスプレイ108を備える所謂テレビジョン装置である。なお情報処理装置100(受信装置)は、テレビジョン装置に限定されず、スマートフォンやプロジェクタ、カーナビゲーションシステム、テレビジョン装置に接続された、録画再生機能を有するレコーダーや、再生機能を有するプレイヤー等の外部装置であってもよい。
以下では、情報処理装置100がテレビジョン装置の場合を例として説明する。
情報処理装置100は、マイクロフォン102およびディスプレイ108を備える。マイクロフォン102は、ユーザが発する音声を集音する。ディスプレイ108は、情報処理装置100により生成される画像を表示する。ディスプレイ108により表示される画像は、コンテンツ画像に加えて、ユーザインタフェース(UI)画像を含み得る。
図1の例では、ユーザUが、チャンネルの名称である「NNN」の語句を発話している。情報処理装置100は、ユーザの発話音声を認識し、「NNN」の語句に基づいてチャンネルを検索し、検索結果から選択した1のチャンネル、例えば「NNN 総合」に切り替える制御を行う。ディスプレイ108には、「NNN 総合」で現在放送されている番組の映像が表示される。検索結果が複数ある場合の候補の選択は、所定の優先度に応じて決定され得る。例えば、「『NNN』(チャンネル名)を見せて」とユーザUが音声入力した場合に、「NNN」のチャンネルが、「NNN 総合」、「NNN 第1」、「NNN AA」、および「NNN プレミア」等複数ある場合、情報処理装置100は、所定の優先度に基づいてユーザUが一番視聴しそうなチャンネルを選択して表示画面を自動的に切り替え、選択候補が複数ある場合にも、できるだけユーザUの要求に答えることを可能とする。チャンネルの名称は、「NNN」の例に限定されず、各放送局の正式名称や略称を含む、チャンネルを識別可能な全ての名称を含み得る。
情報処理装置100は、例えば視聴しているユーザを音声認識や顔認識(画像認識)、アカウント情報等のユーザ情報により識別できた場合、当該ユーザの嗜好情報や視聴履歴に基づいて検索結果の各優先度を算出し、最も優先度の高いチャンネルを選択するようにしてもよい。
また、情報処理装置100は、検索結果から自動選択してチャンネルを切り替えた後、画面上に、当該検索結果による各チャンネル(選択項目)の名称等を示す項目画像30(30a〜30d)を表示する。情報処理装置100により自動選択されたチャンネルがユーザの期待通りであれば問題ないが、ユーザが要求するチャンネルと異なっていた場合にはすぐに選び直すことが想定される。したがって本実施形態による情報処理装置100は、検索結果(例えば検索された各チャンネルの名称)を示す項目画像30a〜30dを優先度順等で表示し、ユーザがチャンネル変更を行う際の音声入力を支援することを可能とする。例えば、項目画像30a〜30dは一定時間(例えば、数秒間)表示され、一定時間後にタイムアウトした場合には無操作で表示が消えるようにしてもよい。ユーザは、項目画像30に表示された読み上げ項目を参照し、より正確な名称で再度音声入力を行い、所望するチャンネル(例えば、自動選択された「NNN 総合」ではなく、他の選択候補である「NNN 第1」や「NNN AA」など)に切り替えることができる。
また、情報処理装置100は、項目画像30(30a〜30d)と共に、他のチャンネルを選択する際の入力を促す画像(図1では不図示)を、ディスプレイ108に表示してもよい。入力を促す画像では、例えば、ユーザにリモートコントローラやスマートフォンを用いたカーソル入力を促してもよいし、マイクアイコンのようなもので音声入力を促してもよい。また、「別のチャンネルを観たい場合は、再度、その項目を話してください。」等の説明文が表示されてもよい。また、説明文のうち「その項目」の部分を、項目画像30に表示された読み上げ項目の表示態様と一致させることで、どの項目を読み上げればよいかを直感的にユーザに把握させることが可能となる。
情報処理装置100は、ユーザが選局したチャンネルについて、ユーザ情報や時間情報と共に視聴履歴や嗜好情報として記録し、自動選局の精度をより高めることを可能とする。
図1の例では、チャンネル名の音声入力が行われた場合に、チャンネルの検索(すなわち番組検索)を行う旨について説明したが、本開示はこれに限定されず、番組名やジャンルを指定する音声入力、アプリケーション名や外部入力機器名に加え、「おすすめを見せて」等の抽象的な音声入力が行われた場合にも、放送番組や録画番組、インターネット配信番組、アプリケーション等のコンテンツ検索を行い得る。
以上説明したように、本開示による情報処理装置100は、ユーザの音声入力に応じてコンテンツの検索を行い、複数のコンテンツが検索された場合には、ユーザが要求している可能性が高いコンテンツを、所定の基準に従って自動的に選択してディスプレイ108に表示すると共に、検索結果を示す項目画像を表示する。なお、ここで検索結果を示す項目画像とは、例えばテキストのみから構成される情報をコンテンツ画像上にオーバレイ表示するようなものであってもよい。
これにより、音声入力が行われた際に、複数の選択候補があった場合にも自動でコンテンツを選択、表示(すなわち実行)することでユーザの手間を省くと共に、検索結果を選択候補の項目として表示することで、ユーザが他の候補を選択する際の音声入力の支援を行い、ユーザの要求に出来るだけ答えることを可能とする。また、音声入力を支援するUI画像として、読み上げ項目の音声入力を促す画像も併せて表示してもよく、認識し難い読み上げや曖昧な読み上げを回避することを可能とする。
また、情報処理装置100は、少なくともマイクロフォン102による音声検出が可能で(すなわち、プロセッサ112およびマイクロフォン102への電源供給が行われている状態)、ディスプレイ108がOFF(すなわち、ディスプレイ108への電源供給が行われていない状態)となっているスタンバイ状態において、ユーザによる要求(コンテンツ検索)の音声入力を認識した場合、自動的に情報処理装置100の電源をONにする(少なくともディスプレイ108をONにする)操作を行ってもよい。ユーザによる要求の音声入力の認識は、エージェント名等の所定の呼び掛けがあった場合に、その後に続く語句(検索ワード、例えばチャンネル名、番組名、ジャンルの指定等)を認識するようにしてもよい。そして情報処理装置100は、音声認識した語句に基づいてコンテンツ検索を行い、複数の候補が検索された場合、所定の基準に従って選択したコンテンツをディスプレイ108に表示し、また、検索結果を示す項目画像もディスプレイ108に表示する。このように、コンテンツ検索の音声入力により、自動的に情報処理装置100の電源をONにすることが可能となる。
本実施形態では、一例として、情報処理装置100で音声認識処理を行うが、本開示はこれに限定されず、音声認識処理は、情報処理装置100と接続する外部装置(スマートスピーカやスマートフォン、タブレット端末、PC等のローカル端末、または、インターネット上のサーバ等)で行うようにしてもよい。
また、本実施形態では、一例として、マイクロフォン102が情報処理装置100に設けられているが、本開示はこれに限定されず、マイクロフォン102が、情報処理装置100と接続する外部装置(スマートスピーカ等の音声端末やスマートフォン等のモバイル端末)やリモートコントローラに設けられていてもよい。音声端末等の外部装置は、ユーザ音声を検知、さらに音声認識処理を実行し、情報処理装置100の電源を自動的にONにする制御を行ってもよいし、検知したユーザ音声をネットワーク上のサーバに送信してサーバ側で音声認識処理を実行させ、認識結果に基づいて、情報処理装置100の電源を自動的にONにする制御を行ってもよい。また、リモートコントローラ等の入力デバイスが音声入力を受け付け、受け付けたユーザ発話情報を情報処理装置100に送信し、情報処理装置100が音声認識処理またはサーバへの情報送信を行うような処理が行われてもよい。情報処理装置100は、音声認識結果に基づいて、コンテンツ検索を行い、複数の候補が検索された場合、所定の基準に従って選択したコンテンツをディスプレイ108に表示し、また、検索結果を示す項目画像もディスプレイ108に表示する。音声受付や音声認識の開始処理は、リモートコントローラやスマートフォンのような機器に配置されたボタンやアイコンを用いて開始されるようにしてもよい。
<<2.構成例>>
<2−1.ハードウェア構成例>
図2は、情報処理装置100のハードウェア構成の一例を示すブロック図である。図2を参照すると、情報処理装置100は、カメラ101、マイクロフォン102、入力デバイス103、通信インタフェース(I/F)104、メモリ105、チューナ106、デコーダ107、ディスプレイ108、スピーカ109、遠隔制御I/F110、バス111およびプロセッサ112を備える。
(1)カメラ
カメラ101は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を有し、画像を撮像する。カメラ101により撮像される画像(動画を構成する各フレーム)は、情報処理装置100による処理のための入力画像として扱われる。
(2)マイクロフォン
マイクロフォン102は、ユーザにより発せられる音声を集音し、音声信号を生成する。マイクロフォン102により生成される音声信号は、情報処理装置100による音声認識のための入力音声として扱われる。
(3)入力デバイス
入力デバイス103は、ユーザが情報処理装置100を直接的に操作するために使用されるデバイスである。入力デバイス103は、例えば、情報処理装置100の筐体に配設されるボタン、スイッチおよびダイヤルなどを含み得る。入力デバイス103は、ユーザ入力を検出すると、検出されたユーザ入力に対応する入力信号を生成する。
(4)通信インタフェース
通信I/F104は、情報処理装置100による他の装置(外部装置)との間の通信を仲介する。通信I/F104は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
通信I/F104は、例えば、USB(Universal Serial Bus)端子、光オーディオ端子、HDMI(登録商標)(High−Definition Multimedia Interface)端子等の接続ポートであってもよい。
また、通信I/F104は、ネットワークに接続するための通信デバイスなどで構成されてもよい。例えば、通信I/F104は、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、Wi−Fi(登録商標)、またはWUSB(Wireless USB)用の通信カードなどであり得る。また、通信I/F104は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信I/F104は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信I/F104に接続されるネットワークは、有線または無線によって接続されたネットワークであり、例えば、インターネット、または家庭内LANなどである。
また、通信I/F104は、外部装置(例えばインターネット配信サーバ)からコンテンツ信号を受信し、コンテンツ信号からコンテンツデータを抽出し、また、コンテンツデータに基づいて、コンテンツ画像を生成し得る。
(5)メモリ
メモリ105は、半導体メモリまたはハードディスクなどの記憶媒体により構成され、情報処理装置100による処理のためのプログラムおよびデータ、並びにコンテンツデータを記憶する。メモリ105により記憶されるデータは、例えば、後に説明する画像認識および音声認識のための特徴データを含み得る。なお、本明細書で説明するプログラムおよびデータの一部または全部は、メモリ105により記憶されることなく、外部のデータソース(例えば、データサーバ、ネットワークストレージまたは外付けメモリなど)から取得されてもよい。
(6)チューナ
チューナ106は、アンテナ(図示せず)を介して受信される放送信号から、所望のチャンネルのコンテンツ信号を抽出しおよび復調する。そして、チューナ106は、復調したコンテンツ信号をデコーダ107へ出力する。
(7)デコーダ
デコーダ107は、チューナ106から入力されるコンテンツ信号からコンテンツデータを復号する。デコーダ107は、通信I/F104を介して受信されるコンテンツ信号からコンテンツデータを復号してもよい。デコーダ107により復号されるコンテンツデータに基づいて、コンテンツ画像が生成され得る。
(8)ディスプレイ
ディスプレイ108は、LCD(Liquid Crystal Display)、OLED(Organic light-Emitting Diode)またはCRT(Cathode Ray Tube)などにより構成される画面を有し、情報処理装置100により生成される画像を表示する。例えば、図1を用いて説明したコンテンツ画像およびUI画像(項目画像30等)が、ディスプレイ108の画面に表示され得る。
(9)スピーカ
スピーカ109は、振動板およびアンプなどの回路素子を有し、情報処理装置100により生成される出力音声信号に基づいて、音声を出力する。スピーカ109の音量は、変更可能である。
(10)遠隔制御インタフェース
遠隔制御I/F110は、ユーザにより使用されるリモートコントローラから送信される遠隔制御信号(赤外線信号またはその他の無線信号)を受信するインタフェースである。遠隔制御I/F110は、遠隔制御信号を検出すると、検出された遠隔制御信号に対応する入力信号を生成する。
(11)バス
バス111は、カメラ101、マイクロフォン102、入力デバイス103、通信I/F104、メモリ105、チューナ106、デコーダ107、ディスプレイ108、スピーカ109、遠隔制御I/F110およびプロセッサ112を相互に接続する。
(12)プロセッサ
プロセッサ112は、例えば、CPU(Central Processing Unit)またはDSP(Digital Signal Processor)などであってよい。プロセッサ112は、メモリ105または他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する情報処理装置100の様々な機能を動作させる。
以上、本実施形態による情報処理装置100のハードウェア構成について説明した。なお、図2に示すハードウェア構成は、一例であって、本開示はこれに限定されない。例えば情報処理装置100は、カメラ101を有していなくともよいし、スマートフォン等の外部機器がリモートコントローラの代わりに用いられてもよい。
<2−2.機能構成例>
図3は、図2に示した情報処理装置100のメモリ105およびプロセッサ112により実現される論理的機能の構成の一例を示すブロック図である。論理的機能の構成の一例を示すブロック図である。図3を参照すると、情報処理装置100は、音声取得部120、音声認識部130、アプリケーション部150、特徴データベース(DB)140および制御部160を備える。制御部160は、検索制御部162、選択制御部164、および表示制御部166を含む。なお、図3に示した機能ブロックの一部は、情報処理装置100の外部の(例えば、クラウドコンピューティング環境内の)装置において実現されてもよい。例えば、制御部160は、以下に説明する制御処理を自ら実行する代わりに、当該処理を外部の制御機能に実行させてもよい。同様に、音声認識部130は、以下に説明する音声認識処理を自ら実行する代わりに、当該処理を外部の音声認識機能に実行させてもよい。
(1)音声取得部
音声取得部120は、マイクロフォン102により生成される音声信号を入力音声として取得する。そして、音声取得部120は、取得した入力音声を音声認識部130へ出力する。
(2)音声認識部
音声認識部130は、音声取得部120から入力される入力音声に基づいて、ユーザの音声を認識する。音声認識部130は、入力音声をその内容を示すテキストに変換し、そのテキストを制御部160またはアプリケーション部150に出力する。
また、音声認識部130は、音声取得部120から入力される入力音声の認識において、特徴DB140に格納されている音声特徴データを用いて、発話者(ユーザ)を識別してもよい。音声認識部130は、発話者の識別結果を、制御部160およびアプリケーション部150に出力する。
(3)特徴データベース
特徴DB140は、音声認識部130により音声認識のために使用される音声特徴データを予め記憶する。音声特徴データは、例えば、ユーザごとの発話の特徴を示す音声特徴量を含み得る。
また、特徴DB140は、アプリケーション部150により画像認識のために使用される画像特徴データを記憶していてもよい。画像特徴データは、例えば、ユーザの手または顔などの所定の部分の既知の画像特徴量を含み得る。また、画像特徴データは、ユーザごとの顔画像データを含んでもよい。また、特徴DBは、例えば、外部サーバ等の外部装置上のものが参照または取得されてもよいし、他人の特長データを含んでもよい。
(4)アプリケーション部
アプリケーション部150は、情報処理装置100が有する様々なアプリケーション機能を実行する。例えば、番組再生機能、電子番組表(EPG;Electronic Program Guide)表示機能、録画設定機能、外部入力切り替え機能、写真再生機能、動画再生機能、音楽再生機能およびインターネットブラウジング機能などが、アプリケーション部150により実行されてよい。アプリケーション部150は、アプリケーション機能を通じて生成される(コンテンツ画像を含み得る)アプリケーション画像および音声を、制御部160へ出力する。
アプリケーション部150により実行されるアプリケーション機能の少なくとも一部は、音声認識部130と連携し、ユーザからの音声入力を受け付ける。例えば、番組再生機能は、音声認識部130により認識される音声内容に従って、テレビジョン番組またはインターネット配信番組のチャンネルおよび音量などの設定変更や、録画番組の再生を実行し得る。電子番組表表示機能は、音声認識部130により認識される音声内容に従って、表示すべき電子番組表のチャンネルおよび時間帯を変更し得る。録画設定機能は、音声認識部130により認識される音声内容に従って、録画日時およびチャンネルを設定し得る。録画番組のデータは、情報処理装置100のメモリ105に記憶され得る。
外部入力切り替え機能は、音声認識部130により認識される音声内容に従って、外部入力の切り替えを行い得る。写真再生機能は、音声認識部130により認識される指定日に撮像された写真を再生し得る。インターネットブラウジング機能は、音声認識部130により認識されるキーワードを用いたインターネット検索を実行し得る。
また、アプリケーション部150には、カメラ101により撮像される画像が入力されてもよい。アプリケーション部150は、入力画像の認識を行い得る。画像認識では、例えば、入力画像から抽出される画像特徴量をユーザの身体の所定の部分について特徴DB140により予め記憶される画像特徴量と照合することにより、当該所定の部分を認識する。所定の部分とは、例えば、ユーザの手および顔のうちの少なくとも1つを含み得る。これにより、例えばアプリケーション部150は、顔認識によりユーザを識別する。また、アプリケーション部150は、手の動きから所定のジェスチャを認識し得る。すなわち、アプリケーション部150により実行されるアプリケーション機能の少なくとも一部は、ユーザのジェスチャ入力を受け付ける。
(5)検索制御部
検索制御部162は、アプリケーション部150により実行されるアプリケーション機能の少なくとも一部が、音声認識部130と連携してユーザからの音声入力を受け付け、ユーザが所望するコンテンツを検索する処理を制御する。例えば、番組再生機能において、ユーザからの音声入力を受け付けて番組の表示を行う場合、検索制御部162は、音声認識部130により認識された語句(検索ワード)を少なくとも含む(部分一致する)名称に対応するチャンネル(チャンネル番号またはチャンネル名)、現在放送中またはインターネット配信中の番組名、録画番組、アプリケーション等を検索する。録画番組は、メモリ105に記憶されていてもよいし、通信I/F104を介して接続するレコーダー等の外部装置に記憶されていてもよい。
また、外部入力切り替え機能において、ユーザからの音声入力を受け付けて外部の切り替えを行う場合、検索制御部162は、音声認識部130により認識された語句(検索ワード)を少なくとも含む(部分一致する)名称に対応する外部入力装置を検索する。
(6)選択制御部
選択制御部164は、検索制御部162の検索結果から、実行する1のコンテンツを選択する制御を行う。選択制御部164は、検索結果が1つであった場合はこれを選択すればよいが、検索結果が複数であった場合、ユーザが要求している可能性の高いコンテンツを選択するため、所定の基準に従って1のコンテンツを選択する。
所定の基準とは、例えば、人(具体的には、視聴ユーザ)や時間(具体的には、視聴時刻)等に基づいて算出された優先度である。選択制御部164は、例えば視聴履歴DB172から取得した視聴履歴情報、または、嗜好DB174から取得したユーザの嗜好情報の少なくともいずれかを参照し、視聴ユーザまたは現在時刻の少なくともいずれかに応じて、検索されたコンテンツの各優先度を算出することができる。視聴ユーザの識別は、音声認識、画像認識(顔認識)またはユーザ情報の参照により行われ得る。
より具体的には、例えば選択制御部164は、音声認識等により識別した視聴ユーザの視聴履歴または嗜好情報に基づいて、視聴ユーザがよく視聴するチャンネル/番組/ジャンル(例えば直近の所定期間における視聴頻度の高いチャンネル/番組/ジャンル)の優先度を高くしたり、視聴ユーザがよく録画する番組やジャンル等の優先度を高くしたりする。ジャンルとは、コンテンツ内容に応じた分類であって、例えば、ニュース、音楽、ドラマ、映画、バラエティ等が挙げられる。
また、例えば選択制御部164は、現在の時刻に視聴ユーザがよく視聴するチャンネル/番組/ジャンル、よく録画する番組/ジャンル等の優先度を高くする。
また、例えば選択制御部164は、嗜好情報から視聴ユーザの好きな芸能人や歌手、キャラクター等の情報を取得し、検索結果のうち、これらが出演しているコンテンツの優先度を高くするようにしてもよい。
また、選択制御部164は、視聴ユーザの組み合わせや人数に応じて優先度を算出してもよい。例えば、視聴履歴に基づいて、親だけの場合によく視聴するチャンネル/番組/ジャンル、子供だけの場合によく視聴するチャンネル/番組/ジャンル、家族一緒の場合によく視聴するチャンネル/番組/ジャンル等を特定し、優先度を適宜算出し得る。
また、選択制御部164は、視聴ユーザの識別情報が取得できない場合であっても、例えば、現在の時間帯によく視聴されるチャンネル/番組/ジャンル、よく録画される番組/ジャンル等の優先度を高くするようにしてもよい。また、視聴ユーザ自身の視聴履歴情報または嗜好情報と、他人の視聴履歴情報や嗜好情報を組み合わせて優先度を決定してもよいし、他人の視聴履歴情報や嗜好情報のみから優先度を決定してもよい。具体的には、例えば、検索結果の中で、日本中のユーザの視聴履歴情報に基づいて、所定の基準を満たしたと判断されるものに対して、さらに視聴ユーザ自身の視聴履歴情報や嗜好情報を基に優先度付けが行われてもよい。
また、選択制御部164は、人や時間に関わらず、視聴履歴のみに基づいて、例えば直近に選局されたチャンネルや番組、ジャンルの優先度を高くするようにしてもよい。
また、選択制御部164は、検索結果に録画番組が含まれている場合、未視聴の番組の優先度を視聴済みの番組の優先度より高くするようにしてもよい。
(7)視聴履歴データベース
視聴履歴DB172は、コンテンツ(放送番組、録画番組、インターネット配信番組、アプリケーション等)の視聴履歴を記憶する。視聴履歴には、コンテンツの視聴時刻、アプリケーションの使用回数、視聴ユーザの情報、ユーザの検索履歴や検索結果に対する選択履歴等が含まれ得る。また、視聴履歴DB172は、録画予約情報を記憶してもよい。また、視聴履歴DB172は、情報処理装置100内に構築されていてもよいし、外部サーバ等の外部装置上にあるものが参照または取得されてもよい。また、視聴履歴DB172は情報処理装置100のユーザ以外の情報を含んでもよい。
(8)嗜好データベース
嗜好DB174は、ユーザの嗜好情報を記憶する。嗜好情報は、ユーザに予めアンケート等を行って得た回答から取得してもよいし、ユーザの視聴履歴や番組検索履歴、録画予約情報等から取得してもよい。例えば、音声認識やカメラを用いた画像認識によって、情報処理装置100や外部装置がユーザの嗜好情報を判断してもよい。また、嗜好情報DB174は、情報処理装置100内に構築されていてもよいし、外部サーバ等の外部装置上にあるものが参照または取得されてもよい。また、嗜好情報DB174は情報処理装置100のユーザ以外の情報を含んでもよい。
(9)表示制御部
表示制御部166は、ディスプレイ108を介する画像の表示を制御する。例えば、表示制御部166は、アプリケーション部150から入力されるアプリケーション画像をディスプレイ108に表示させる。また、表示制御部166は、検索制御部162による検索制御および選択制御部164による選択制御が行われた場合、検索結果および選択結果に応じた出力画像を生成し、ディスプレイ108に表示させる。
具体的には、例えばアプリケーション部150において番組再生アプリケーションが起動され、ユーザによる音声入力に応じて、検索制御部162によりコンテンツの検索制御、および選択制御部164により検索結果から再生する(実行する)コンテンツの選択制御が行われた場合、表示制御部166は、選択されたコンテンツをディスプレイ108に表示する制御(すなわち、選択したコンテンツの実行)を行う。また、表示制御部166は、検索結果を示す項目画像(コンテンツの名称を読み上げ項目として表示させてもよい)を生成し、ディスプレイ108に表示させる。項目画像は表示後、一定時間ユーザからの入力がない場合には自動的に消えるようになっていてもよいし、表示されている時間がユーザ設定や嗜好情報DBの情報等に基づいて決定されるようになっていてもよい。検索結果のうち自動選択されたコンテンツの名称を示す項目画像は強調表示するようにしてもよいし、選択制御部164によって選択されたコンテンツが項目画像に表示されていなくてもよい。また、表示制御部166は、コンテンツを切り替える際の入力を促す画像を併せて表示してもよい。
(10)制御部
制御部160は、上述した検索制御部162、選択制御部164、および表示制御部166の各制御の他、情報処理装置100全体の制御を行い得る。例えば、本実施形態による制御部160は、少なくともマイクロフォン102による音声検出と音声認識部130による音声認識がONとなっているスタンバイ状態において、ユーザによる音声入力の受け付けを継続するよう制御する。ユーザによる音声入力の内容が、番組再生機能に関連する場合(例えば、音声入力の内容が、「○○〔システム名等の所定の呼び掛け〕、『NNN(チャンネル名)』を付けて」など)、制御部160は、ディスプレイ108を含む情報処理装置100全体の電源をONにする。そして制御部160は、アプリケーション部150により番組再生アプリケーションを起動し、検索制御部162において音声入力に基づいて検索した1以上のコンテンツから、選択制御部164で選択したコンテンツの画像を、ディスプレイ108に表示させるよう制御する。この際、制御部160は、上述したように、検索された各コンテンツの名称を示す項目画像や、他のコンテンツに切り替える際の入力を促す画像を、コンテンツの画像に重畳表示させる制御も行い得る。
このように、情報処理装置100の電源がOFFになっている状態においても、情報処理装置100は、ユーザによる音声入力を受け付け、コンテンツ再生を要求する音声入力が検知された際には、電源をONにし、ユーザが要求するコンテンツを表示させることができる。
なお、音声入力の受け付けは、上述したように、情報処理装置100と接続する音声装置(例えばスマートスピーカなど)で行うことも可能である。音声装置は、検出したユーザ音声をクラウド上の音声認識サーバに送信してもよい。したがって、この場合、情報処理装置100は、音声装置またはクラウド上のサーバから送信される制御信号により、自動的に電源がONとなり、音声認識結果に基づいて、ユーザが要求するコンテンツを表示する。
以上、本実施形態による情報処理装置100の機能構成について具体的に説明した。なお図3に示す情報処理装置100の機能構成は一例であって、本実施形態はこれに限定されない。例えば、図3に示す情報処理装置100の少なくとも一部の機能構成が、情報処理装置100と通信接続する外部装置(ローカル端末またはクラウド上のサーバ)にあってもよい。また、スタンバイ状態にある情報処理装置100はリモートコントローラ等に配置されたいずれかのボタンの操作によって自動的に電源がONとなってもよいし、音声認識に基づいて自動的に電源がONになる機能を有さない構成をとってもよい。
<<3.各実施例>>
続いて、本実施形態による情報処理装置100において行われ得るいくつかの音声入力例について、図4〜図13を用いて具体的に説明する。
<3−1.第1の実施例:音声入力「チャンネル名」>
まず、第1の実施例として、ユーザによるコンテンツ再生を要求する音声入力の一例として、チャンネル名の音声入力が行われた場合について説明する。
図4は、第1の実施例によるチャンネル名の音声入力が行われた場合の情報処理装置100の動作処理の流れの一例を示すフローチャートである。
図4に示すように、まず、情報処理装置100は、マイクロフォン102によりユーザの発話音声(例えば、「○○〔システム名等の所定の呼び掛け〕、『NNN(チャンネル名)』を付けて」など)を検知すると、音声認識部130により音声認識を行う(ステップS103)。ここでは、情報処理装置100の電源状態が、ディスプレイ108はOFFになっているが音声入力の受け付けは可能なスタンバイ状態である場合を想定する。
次に、情報処理装置100の制御部160は、情報処理装置100の電源をONにする(ステップS106)。これによりディスプレイ108が点灯する。なお、既に情報処理装置100の電源がONとなっておりディスプレイ108が点灯している場合は、ステップS106の処理はスキップする。
次いで、検索制御部162は、音声認識結果に基づいて、音声入力されたチャンネル名に対応するチャンネルを検索する(ステップS109)。
次に、選択制御部164は、検索制御部162により検索されたチャンネルが複数の場合、優先度に基づいて、1つのチャンネルを選択する(ステップS112)。例えば選択制御部164は、現在時刻と視聴履歴に基づいて、現在の時間帯によく視聴されているチャンネルの優先度を高くし、選択してもよい。また、選択制御部164は、音声認識により発話者(すなわち視聴ユーザ)を識別し、視聴ユーザの視聴履歴や嗜好情報に基づいて、検索された各チャンネルの優先度を算出してもよい。また、過去のユーザの選択履歴や同様の機能を使用する他のユーザによる選択データを基に優先度を算出してもよい。このようにして、人や時間に基づく優先度に応じてコンテンツを選択することで、ユーザが要求している可能性の高いコンテンツを自動選択することができる。また、優先度はチャンネルやコンテンツに対してユーザが行った設定を考慮して決定されてもよい。具体的には、例えば、チャンネルやコンテンツの優先度自体をユーザが指定できたり、視聴予定のリストに含めた番組やお気に入りに入れたコンテンツ、録画予約をした番組の優先度を高くしたりするような処理が行われてもよい。
次いで、表示制御部166は、選択制御部164により選択されたチャンネルで現在放送されている番組の映像をディスプレイ108に表示する制御(チャンネルの選局)を行う(ステップS115)。
続いて、表示制御部166は、検索結果を示す項目画像を生成し、ディスプレイ108に表示する制御を行う(ステップS118)。ステップS118において、チャンネルを切り替えるための音声入力やリモートコントローラ操作を促すような画像を生成し、ディスプレイ108に表示する制御を行ってもよい。ここで、図5に、本実施例による音声入力時のUI画像の表示例を示す。
図5の上段に示すように、例えば何らかのコンテンツを視聴している際に(ここでは、情報処理装置100の電源がONになっている場合を想定)、ユーザが、「○○(エージェント名等の所定の呼び掛け)、『NNN(チャンネル名)』を見せて」と発話した場合、検索制御部162は、「NNN」に対応するチャンネルを検索する。「NNN」の語句を名称に含むチャンネルが、「NNN 総合」、「NNN 第1」、「NNN AA」、および「NNN プレミア」のように複数ある場合(地上波放送、衛星放送、ケーブルテレビ(有線放送)、およびインターネット配信コンテンツ等を含んでもよい)も想定される。この場合、選択制御部164は、複数のチャンネル(選択候補)から、ユーザの視聴履歴等に基づく優先度に応じて、ユーザが最も要求している可能性の高いチャンネルを選択する。また、ユーザの発話は、リモートコントローラに配置されているボタン操作することで、所定の呼び掛け無しに受け付けが開始されてもよいし、スマートフォン等のモバイル端末の操作によって受け付けが開始されてもよい。また、音声受付は、リモートコントローラやスマートフォン側で行われてもよいし、情報処理装置100側で行われてもよい。
そして、表示制御部166は、図5の下段に示すように、ディスプレイ108の表示画面を、選択されたチャンネルに切り替える制御を行う。また、表示制御部166は、切り替えた画面上に、検索結果を示す項目画像30(30a〜30e)を、例えば、一定時間表示する。これにより、自動選択されたチャンネルがユーザの要求に合致していなかった場合に、ユーザが再度チャンネル変更を行う際の音声入力を支援することができる。ここで、項目画像30はユーザによる何らかの指示があるまで表示され続けてもよいし、表示時間は一定ではなくユーザの状態に基づいて動的に変化してもよい。
具体的には、表示制御部166は、図5の下段に示すように、検索結果の各チャンネルを示す項目画像30(30a〜30e)と、チャンネル変更を行う場合の音声入力を促す画像33を、ディスプレイ108に表示する。表示制御部166は、項目画像30a〜30eを、優先度順に左または上から並べて表示してもよいし、ディスプレイ108の画面全体にランダムに表示してもよい。また、音声入力を促す画像33の代わりに、リモートコントローラやスマートフォンのボタン、タッチパネルまたはユーザのジェスチャによる入力を促す画像が代わりに表示されてもよいし、何も表示されなくてもよい。項目画像30には、読み上げ項目としてチャンネルの名称が所定の表示態様で表示されてもよく、他には、そのチャンネルで現在放送している番組のタイトル情報やチャンネルの番号、チャンネルのマーク、および電子番組表(EPG)等のチャンネルや放送番組に関連した情報が表示されてもよい。また、項目画像30には現在放送中の番組がその全放送時間に対して、現在どこまで放送されているかを示す放送状況が表示されてもよい。また、表示制御部166は、項目画像のうち、現在選択しているチャンネルを示す項目画像30aについては、他の項目画像と異なるよう強調表示したり、「選択」等のアイコンを表示したりすることで、現在選択していることを明確に示してもよい。
「読み上げ項目」とは、読み上げに推奨する語句であって、これにより、認識し難い読み上げや曖昧な読み上げを回避することが可能となる。本実施例では、項目画像30のチャンネルの名称が読み上げ項目となっているが、読み上げ項目は項目画像30に表示されているどの文字情報(画像データとして表示されている文字情報を含む)であってもよい。項目画像30において、読み上げ項目の表示態様を他のテキストと異ならせたり、また、スピーカや口、人が話すイラストを付したりすることで、読み上げ項目であることをユーザに認識し易くするようにしてもよい。また、図5に示すように、読み上げ項目301の表示態様と、音声入力を促す画像33で読み上げ項目について説明するテキストにおける指示語部分331の表示態様を対応させる(例えば、文字色、背景色、または書体等を同じにする)ことで、さらに読み上げ項目をユーザに認識し易くすることができる。
または、音声入力を促す画像33では、「○○色(読み上げ項目の表示色)の項目を読み上げてください」等の説明文を表示するようにしてもよい。また、音声入力を促す画像33においても、より直感的に音声入力を促すため、マイクのイラストや口のイラスト、人が話す様子を示すイラスト等の画像332を表示するようにしてもよい。
次いで、他のチャンネルの名称が発話された場合(ステップS121/Yes)、情報処理装置100は、選択制御部164により、発話された名称のチャンネルを選択し、表示制御部166により、選択されたチャンネルの映像をディスプレイ108で表示するよう制御する(ステップS115)。この場合も、再度、検索結果を示す項目画像の表示を行ってもよい(ステップS118)。
以上説明した項目画像や音声入力を促す画像といった音声入力を支援するUI画像の表示は、一定時間(例えば数秒)行われてもよい。その場合、例えば、チャンネル切り替えから一定時間経過し、タイムアウトした場合(ステップS127/Yes)、表示制御部166は、項目画像の表示を終了する(ステップS130)。なお、表示制御部166は、チャンネルを切り替えるための音声入力やリモートコントローラ操作を促すような画像も表示していた場合、ステップS130において、かかる音声入力やコントローラ操作を促すような画像の表示も終了する。また、これらの画像の表示時間はユーザ設定やユーザ情報等に基づいて決定されてもよいし、ユーザの過去の選択情報や現在の行動等を基に動的に決定されてもよい。
なお、最終的な選局結果は、時間情報やユーザの識別情報と共に、視聴履歴として視聴履歴DB172に記憶され、次回の選局時における選択制御部164による優先度算出の際に利用される。かかる処理を繰り返すことで、ユーザが要求している可能性が高いコンテンツをより確実に選択することを可能とする。また、視聴履歴DB172に記憶された情報は、例えば、項目画像の表示時間や入力を促す画像の表示内容を決定するために用いられてもよく、更にそれらを決定する処理に関する情報も視聴履歴DB172に保存され得る。
<3−2.第2の実施例:現在放送番組と録画番組の同時表示>
以上説明した第1の実施例では、チャンネル名の音声入力に応じて、チャンネルを選局し、そのチャンネルで現在放送中の番組をディスプレイ108に表示する制御を行っているが、本開示はこれに限定されず、情報処理装置100は、選局したチャンネルの録画番組を選択してもよい。すなわち、選択対象には、検索されたチャンネルの現在放送番組の他、録画番組も含まれ、検索結果を示す項目画像において、現在放送番組と録画番組が同時に表示されるようにしてもよい。また、チャンネル名の音声入力以外にも、番組名の音声入力に応じて、現在放送番組と録画番組が検索され、選択対象および検索結果を示す項目画像としての表示対象となってもよい。以下、現在放送中の番組と録画番組とを同時に表示する場合について、具体的に説明する。
本実施例の動作処理は、主に図4を参照して説明した第1の実施例の動作処理と同様である。本実施例では、上記ステップS109において、検索対象に、現在放送中の番組の他、録画番組も含める点が異なる。例えば、あるチャンネルの名称をユーザが音声入力した場合、検索制御部162は、検索したチャンネルの録画番組も含めて検索結果として出力する。ここで、検索対象、検索結果および項目画像は、録画番組のみを含み、現在放送中の番組が含まれないようにすることも可能である。
図6は、本実施例による現在放送中の番組と録画番組とを同時に検索結果として表示する場合について説明する図である。図6に示すように、例えば「『NNN(チャンネル名)』を見せて」とユーザにより音声入力された場合、検索制御部162は、「NNN」と少なくとも名所の一部に含むチャンネルを1以上検索し、さらに、検索した各チャンネルの録画番組を検索する。録画番組は、メモリ105に記憶されていてもよいし、情報処理装置100と接続する外部装置(例えばレコーダー)に記憶されていてもよい。また、検索する録画番組は未視聴のものに限ってもよいし、録画番組のうち未視聴の番組は下記の優先度を高くする、または、視聴済み番組の優先度を低くするようにしてもよい。
選択制御部164は、検索結果のうち、所定の優先度(例えばユーザの視聴履歴、嗜好情報、時刻等に基づく優先度)が最も高いコンテンツを選択する。例えば、ユーザが現在放送されている番組を見ている際に音声入力を行った場合、選択制御部164は、ユーザがよく視聴するチャンネルの現在放送中の番組を選択し、ディスプレイ108の表示を切り替える。
また、表示制御部166は、図6に示すように、検索結果を示す項目画像30(30a、30f、30g、30b、30c)を、例えば優先度順に表示する。検索結果には録画番組も含まれるため、同じチャンネルであっても現在放送中の番組ではなく録画番組であることを明示するため、表示制御部166は、対象の項目画像30に「録画マーク」を表示したり(図6の項目画像30f、30g参照)、録画番組を示す項目画像の表示態様を他と異ならせたりするようにしてもよい。
また、読み上げ項目の表示については第1の実施例と同様に、表示態様を変化させたり、スピーカ等のイラスト画像を付したりすることで、明示するようにしてもよい。ここで、項目画像30のうち、チャンネル名が重複している場合、チャンネル名の読み上げでは区別ができないため、番組タイトルや、項目画像30に付した識別番号(不図示)の読み上げを読み上げ項目として音声入力を行うよう促すようにしてもよい。例えば図6に示す例では、重複するチャンネル名の項目画像30f、30gにおいて、番組タイトル302の表示態様を変化させ、読み上げ項目であることを明示する。
<3−3.第3の実施例:音声入力「現在の番組」>
また、情報処理装置100は、チャンネルの名称ではなく、現在受信可能なコンテンツ全体またはその一部を指定した音声入力がなされた場合にも、人や時間に応じた優先度に基づいてチャンネルを自動的に選択して表示することが可能である。
本実施例の動作処理は、主に図4を参照して説明した第1の実施例の動作処理と同様である。チャンネルの名称ではなく、例えば、「現在の番組」のように現在受信可能なコンテンツ全体またはその一部を指定した音声入力がなされた場合、上記ステップS109において、検索制御部162は、現在受信可能なコンテンツ(地上波放送、衛星放送、ケーブルテレビ(有線放送)、およびインターネット配信コンテンツなど)を検索し、上記ステップS112において、選択制御部164は、例えば、認識した視聴ユーザの視聴履歴や嗜好情報、ユーザ情報、ユーザ設定および他のユーザの情報等に基づいて算出されたチャンネル(または番組)の優先度に応じて、チャンネル(番組)を選局する。
図7は、本実施例による現在の番組に関する音声入力がなされた場合の表示例について説明する図である。図7に示すように、例えば、視聴ユーザによる「現在の番組を見せて」といった音声入力に応じて、情報処理装置100は、ディスプレイ108の表示画面を、優先度に応じて自動的に選局したチャンネルに切り替えると共に(電源がOFFになっている場合は自動的に電源をONにした上で表示してもよい)、その他の候補となるチャンネルを示す項目画像30を、優先度順に並べて表示する。また、情報処理装置100は、他のチャンネルを選択する際の入力を促す画像35を併せて表示してもよい。
なお、例えば、「現在の番組」のような現在受信可能なコンテンツ全体またはその一部を指定した音声入力は、放送番組に限定されず、インターネット配信コンテンツであってもよい。また、本明細書に記載の他の実施例においても、検索制御部162による検索対象に、インターネット配信コンテンツを含めるようにしてもよい。また、音声入力は「地上波」や「衛星放送」のように(より具体的には、例えば、「地上波で現在放送されている番組」や「衛星放送の番組を入れて」のような音声入力)、伝送手段を指定したものでもよく、その場合は該当する伝送手段を通じて現在受信可能な番組が検索される。
<3−4.第4の実施例:音声入力「ジャンル」>
また、情報処理装置100は、番組(コンテンツの一例)のジャンルが音声入力された場合にも、人や時間に応じた優先度に従って、ユーザが要求している可能性の高い番組を自動的に選択して表示することが可能である。
番組のジャンルとは、例えば、映画、ドラマ、バラエティ、音楽、ニュース、ドキュメンタリー等が挙げられる。情報処理装置100は、ユーザにより音声入力されたジャンルに対応する番組を検索し、上記各実施例と同様に、ユーザの視聴履歴や嗜好情報等に応じた優先度に基づいて選択した番組を再生すると共に(電源がOFFになっている場合は自動的に電源をONにした上で表示してもよい)、検索結果を示す項目画像を、優先度順に並べて表示するようにしてもよい。ユーザは、事前に好みのジャンルを設定しておくことで、より詳細なジャンルの検索や、例えば、音楽に関するドキュメンタリーのように複数のジャンル属性を持つコンテンツを検索できるようにされてもよい。また、情報処理装置100は、上記各実施例と同様に、他の番組を選択する際の入力を促す画像も併せて表示するようにしてもよい。また、ここでは特に番組のジャンルを例として挙げたが、コンテンツのジャンルとはこの例に限らず、例えば、動画、音楽、画像、アプリケーション等でもよいし、ジャズ、ロック、バラードのような動画コンテンツ以外のコンテンツジャンルであってもよい。
検索対象は、現在の放送番組に限られず、録画番組(未視聴のものに限ってもよいし、視聴済みの録画番組は優先度を下げるようにしてもよい)、インターネット配信番組、VOD(Video On Demand)アイテムやライブストリーミング動画等、広く現在視聴可能なコンテンツを対象とする。
選択候補として表示される、検索結果を示す各項目画像には、そのコンテンツが録画番組であるか、インターネット配信番組であるか等を示す表示や、チャンネル番号、チャンネル名称、番組タイトル等の表示が行われる。
<3−5.第5の実施例:おすすめコンテンツ等を問う音声入力>
また、情報処理装置100は、おすすめのコンテンツを問うような抽象的な音声入力が行われた場合にも、人や時間等に応じた優先度に従って、番組を自動選択して表示することが可能である。検索対象には、現在放送中の番組、録画番組、およびインターネット配信コンテンツ等、広く現在視聴可能なコンテンツが含まれる。
具体的には、情報処理装置100は、例えば、ユーザにより「おすすめを見せて」と音声入力された場合、上記各実施例と同様に、現在視聴可能なコンテンツから、ユーザの視聴履歴や嗜好情報等に基づいて、おすすめのコンテンツを検索し(例えばユーザが好きな俳優が出演している番組、ユーザが好きなジャンルの番組等)、優先度(例えば、人または時間に基づく優先度。また、例えば視聴済みの録画番組は優先度を下げてもよい)に応じて選択したコンテンツを再生する(電源がOFFになっていた場合は自動的に電源をONにした上で再生してもよい)。そして、情報処理装置100は、上述した各実施例と同様に、検索結果を示す項目画像を優先度順に並べて表示し(読み上げ項目の明示)、更に他のコンテンツに切り替える際の入力を促す画像も併せて表示する操作を行ってもよい。
<3−6.第6の実施例:順番を有するコンテンツの表示>
また、情報処理装置100は、ユーザによる音声入力に基づいて、連続ドラマや映画のシリーズなど、順番を有するコンテンツを検索した場合、コンテンツの視聴状態に応じて自動選択することが可能である。
例えば、ユーザにより順番を有するコンテンツの名前が音声入力された場合、情報処理装置100は、現在視聴可能なコンテンツ(放送番組、録画番組、およびインターネット配信コンテンツ等)から、対象のコンテンツを検索する。次いで、検索したコンテンツが順番を有する複数のコンテンツ(同じタイトル名のコンテンツが複数検索される)の場合、情報処理装置100は、例えば、番号の若い順にリストアップし、視聴済みまたはスタッフロールの前まで等ほぼ見終えたと判断できるコンテンツを除いて最も若い番号のコンテンツを選択し(優先度の一例)、ディスプレイ108で再生する制御を行う。実行選択対象に、未視聴のコンテンツのみならず、途中で視聴を中断したコンテンツも含めることで、途中まで見ていたコンテンツを除外せずに、その続きまたは初めから再生することが可能となる。また、情報処理装置100は、途中まで見ていたコンテンツを優先的に選択するようにしてもよい。また、情報処理装置100は、音声認識等により視聴ユーザが識別できた場合、当該視聴ユーザの視聴履歴を参照し、検索したコンテンツに関して当該視聴ユーザの視聴状態を参照することで、パーソナライズした再生制御を実現することも可能である。
図8は、本実施例によるドラマ等の順番を有するコンテンツのタイトルが音声入力された場合の表示例について説明する図である。図8に示すように、例えば、ユーザにより「○○(ドラマタイトル)を見せて」といった音声入力が行われた場合、情報処理装置100の検索制御部162は、現在視聴可能な番組からタイトル「○○」のコンテンツを検索する。
次いで、選択制御部164は、検索したコンテンツを、例えば、番号(話数や、シリーズ番号など)の若い順にリストアップし、視聴済みまたはスタッフロールの前まで等ほぼ見終えたと判断できる番組を除いて、最も若い番号のコンテンツ(図8に示す例では、例えば「ドラマ 第10話」)を選択する。そして、表示制御部166は、選択された番組を、ディスプレイ108で自動再生(すなわち実行)する制御を行う(ディスプレイ108の表示がOFFになっている場合は自動的にONにした上で表示してもよい)。また、例えば、「○○」というキーワードをタイトルに含む連続ドラマシリーズが複数ある場合には、最も優先度が高いコンテンツを選択したうえで、項目画像には各ドラマのシリーズを表示してもよい。その場合、ユーザが他の連続ドラマシリーズを指定した場合は、その連続ドラマシリーズの中で最も優先度の高いコンテンツを選択して、再生したうえで、シリーズ内の他のエピソードを項目画像として表示するような処理が行われてもよい。
また、表示制御部166は、図8に示すように、ユーザの音声入力に応じて検索したコンテンツの名称を示す項目画像40(40a〜40e)と、視聴ユーザが検索された他のコンテンツを選択する際の音声入力を促す画像42を、選択したコンテンツの再生画面上において、表示する処理を行ってもよい。これにより、ユーザの要求に出来るだけ応じる音声入力UIを提供することができる。
情報処理装置100は、図8に示す項目画像40a〜40eのうち、実行しているコンテンツを示す項目画像は色を変える等の強調表示により明示するようにしてもよい。また、情報処理装置100は、項目画像40a〜40eには、各コンテンツの視聴状態を示す情報、例えば前回再生位置(視聴済み位置)を示すバーを併せて表示してもよい。これにより、視聴ユーザは、各コンテンツの視聴状態を直感的に把握することができる。また、バー表示と共に、「続きから再生/初めから再生」といった、再生制御に関して受付可能なコマンドを示すアイコン等を表示してもよい。また、情報処理装置100は、未視聴のコンテンツについては、図8に示すように、「NEW」マーク等を表示するようにしてもよい。
また、項目画像40には、チャンネル情報や、コンテンツの名称(番組タイトル等)、コンテンツの概要、コンテンツが現在放送番組か、録画番組か、VODアイテムか、インターネット配信コンテンツか等を示す情報等が表示されてもよいし、静止画または動画サムネイルが表示されてもよい。チャンネルやコンテンツに関する情報及び静止画、動画サムネイルは、各コンテンツの配信ソースから取得されてもよいし、番組情報送信サーバのような異なるソースから取得されてもよい。また、項目画像40に表示されるコンテンツの動画サムネイルは、ユーザがコンテンツを選択する前に、動画配信サーバやメモリ105等から取得して再生するようなものであってもよい。すなわち、例えば、放送番組の動画サムネイルはVODサーバから取得され得るし、放送番組の動画サムネイルとして、当該放送番組を録画した動画が項目画像40内で再生され得る。静止画、動画サムネイルは、コンテンツの序盤部分が用いられてもよいし、コンテンツ内の任意の位置が利用されたり、サムネイル専用の動画像等が用いられたりしてもよい。
また、VODアイテムやインターネット配信コンテンツなどにより全話を視聴できる状況にある場合や、録画済みのコンテンツに応じて、「最新話を再生」「1話から再生」等の、音声受付可能コマンドを示すアイコンを表示するようにしてもよい。
なお、このように、項目画像に、再生位置を示すバー等の視聴状態を示す情報の表示や、静止画または動画サムネイルを表示すること、また、音声受付可能コマンドを示すアイコンを表示すること等は、本実施例に限らず、上述した第1〜第5の実施例においても同様に適用可能である。また、第1の実施例において説明した、項目画像にコンテンツの放送時間の経過を示す情報(放送状況)の表示を行うこと等も各実施例に適用することができる。
<3−7.第7の実施例:外部入力を指定する音声入力>
以上説明した各実施例では、ユーザによる音声入力に応じてコンテンツを検索、選択する場合について説明したが、本開示はこれに限定されず、情報処理装置100は、ユーザによる音声入力に応じて、外部入力の検索を行うことも可能である。
情報処理装置100は、通信I/F104を介して接続するレコーダー、ゲーム機、PC、デジタルカメラ、スマートフォン等の外部装置から、映像や音声のデータを受信して、ディスプレイ108やスピーカ109から出力再生することが可能である。情報処理装置100には、複数の外部装置を接続し得る(若しくは、情報処理装置100が分配器を介して複数の外部装置と接続し得る)。ユーザは、1以上の外部装置が情報処理装置100に接続されている状況において、音声入力により、外部装置の選択や切り替えを行うことが可能である。この場合における情報処理装置100による検索処理および音声入力UI画像の表示について、以下、図9および図10を参照して説明する。
(動作処理)
図9は、本実例による外部入力を指定する音声入力がされた場合の動作処理の流れの一例を示すフローチャートである。ここでは、情報処理装置100が、少なくともマイクロフォン102による音声検出が可能で、ディスプレイ108がOFFとなっているスタンバイ状態において、ユーザによる所定の呼び掛け(エージェントの呼び出し)と、所定の検索用の語句(ここでは、例えば「外部入力」)を認識した場合の動作処理について説明する。
図9に示すように、まず、情報処理装置100は、ユーザの発話音声(音声入力)を検知すると(ステップS303)、情報処理装置100の電源がOFFになっていた場合はこれをONにする操作を行ってもよい(ステップS306)。この際、ディスプレイ108はOFFのまま(未選択のため、非表示の状態)としてもよい。なお、ユーザの音声入力を音声端末等の外部装置で行う場合、当該音声端末等の外部装置が、ユーザの所定の音声入力(例えば、エージェントの呼び出しと、検索語句の発話等)を検知した場合に、接続する情報処理装置100の電源をONにする制御を行うようにしてもよい。また、情報処理装置100の電源が既にONになっている場合や、ディスプレイ108に既に何らかのコンテンツが表示されている場合は、電源状態等はそのままとされる。
次に、検知した発話音声から音声認識した語句が「外部入力」の場合、情報処理装置100の検索制御部162は、情報処理装置100に接続する外部装置を検索する(ステップS309)。
次いで、情報処理装置100の表示制御部166は、図10に示すように、検索制御部162により検索した外部装置の名称(または外部入力の名称)を示す項目画像45(45a〜45e)を、ユーザの視聴履歴等に基づく優先度に応じてリストアップし、ディスプレイ108に表示する(ステップS312)。図10は、本実施例による外部入力を指定する音声入力された場合の検索結果を表示する画面例を示す図である。
図10に示すように、例えばユーザによる「外部入力」という音声入力に応じて、ディスプレイ108に検索結果が表示される。検索結果は、優先度の高い順に並べられてもよいし、画面全体にランダムに表示されてもよい。優先度は、表示制御部166により、例えば人または時間の少なくともいずれかに基づいて算出され得る。より具体的には、例えば表示制御部166は、視聴履歴を参照し、現在の時刻によく利用されている外部装置の優先度を高く算出したり、視聴ユーザが認識できた場合は当該視聴ユーザがよく利用している外部装置の優先度を高く算出したりする。
ここで、外部入力機器検索の場合、上述したコンテンツ検索の各実施例と異なり、制御部160は、検索結果から外部入力の自動選択および実行(外部装置の起動等)までを一連に行わず、まずは検索結果をディスプレイ108に表示し、選択および実行する外部入力をユーザに選択させてもよい。したがって、例えば外部装置が起動していなかった場合には、図10に示すように、項目画像45を表示する際、背景画面には何ら表示されていない状態となる。また、ディスプレイ108に既に何らかのコンテンツが再生されていた場合は、そのコンテンツの表示を継続したまま、項目画像45を表示するようにしてもよい。
また、項目画像45に表示する名称は、音声認識に推奨する読み上げ項目であって、認識し易く、極力曖昧さを排除したものが望ましい。例えば、外部入力の規格名称(「HDMI1/2/3」)や、外部装置のデバイスタイプに応じた名称(レコーダー1/2/3、プレイヤー1/2/3、チューナ1/2/3、デバイス1/2/3など)が想定される。これらの名称は、通信I/F104により決定してもよいし、制御部160により決定してもよい。また、表示制御部166は、項目画像45に、外部装置の詳細情報として、読み上げ項目と併せて、CEC(Consumer Electronics Control)機器の名称(製品名等)を表示するようにしてもよい。また、表示制御部166は、項目画像45において、読み上げ項目を強調表示する等の表示態様の変化により、明示するようにしてもよいし、外部装置の属性(例えば、レコーダーを示すアイコン)を示すようなアイコン画像を表示してもよい。また、表示制御部166は、スピーカや、口、または人が話す様子を示すアイコン等を、読み上げ項目の付近に表示し、どの記載が読み上げ項目であるかをユーザに直感的に把握させることも可能である。
また、表示制御部166は、表示した検索結果(項目画像)から外部装置の選択を促す画像を、ディスプレイ108に表示してもよい(ステップS315)。具体的には、例えば図10に示すように、「選択したい項目を話してください。」といった案内文を示す画像47が表示される。ここで、図10に示すように、例えば案内文のうち「項目」や「選択したい項目」の文字部分を、項目画像45に表示する読み上げ項目の表示態様と同じにすることで(例えば書体、文字色、文字の背景色等を同じにする)、読み上げ項目をさらに明確化し、認識し難い名称での読み上げや、曖昧な音声入力を回避することを可能とする。
そして、外部装置の名称が発話された場合(ステップS318/Yes)、情報処理装置100の表示制御部166は、発話された外部装置から入力されるコンテンツをディスプレイ108に表示する(ステップS321)。すなわち、制御部160は、外部入力を、ユーザにより選択された外部装置(外部入力)に切り替える制御を行う。また、この際、対象の外部装置の電源がOFFになっていた場合、制御部160は、当該外部装置の電源をONにする制御(起動制御)を行う。
なお、ユーザにより外部装置が選択され、当該外部装置から入力されるコンテンツをディスプレイ108に表示した後にも、上記検索結果を示す項目画像45と、音声入力を促す画像47をディスプレイ108に表示するようにしてもよい。これにより、再度音声入力により外部装置を切り替える際の支援を行い得る。
(音声入力「HDMI」の例)
以上、ユーザの音声入力による外部入力の選択について説明した。なお、ユーザによる音声入力が、「HDMI」や「レコーダー」等、外部機器や外部入力経路に対するより具体的な指定であるが複数の選択肢がある場合(複数のHDMI入力やレコーダーが存在している場合)にも、情報処理装置100は、図10を参照して説明した外部入力機器の場合と同様に、検索結果(複数のHDMI入力やレコーダー)を示す項目画像をディスプレイ108に表示する。また、外部装置の選択を促す画像がディスプレイ108に表示されてもよい。
具体的には、例えばユーザによりHDMI入力を指定するような音声入力がなされ、検索制御部162が検索した結果、複数のHDMI入力(例えば、「HDMI1」、「HDMI2」、「HDMI3」、および「HDMI4」)があった場合、表示制御部166は、これらを例えば人(視聴ユーザ)や時間(現在時刻)等に応じた優先度順でリストアップし、これらを示す項目画像(例えば、「HDMI1」、「HDMI2」、「HDMI3」、および「HDMI4」といった読み上げ項目を示す項目画像)をディスプレイ108に表示する。読み上げ項目を明示するため、表示態様を変化させたり、スピーカ等のアイコンを併せて表示したりしてもよい。なお、この時点で、HDMIの選択および実行(HDMI接続された外部装置の起動)が行われずに、ディスプレイ108に、音声入力時に既に表示されていたコンテンツが背景画像として継続して表示されてもよいし、優先度に基づいてHDMIの選択および実行が行われて、ディスプレイ108に、外部装置で再生されているコンテンツや外部装置のメニュー画面(ホーム画面)が表示されてもよい。音声入力時に外部装置が起動していなかった場合は、選択された外部装置を起動してもよいし、起動せずに、検索結果の項目画像をディスプレイ108に表示している際、背景画像は何ら表示されない状態となってもよい。
また、表示制御部166は、図10に示す例と同様に、「選択したい項目を話してください」といった、選択を促す画像を併せて表示してもよい。ここで、図10に示す例と同様に、音声入力を促す文字と、読み上げ項目との表示態様を合わせたり、音声入力を促す文字の付近にマイクのアイコン等を表示したりすることで、より確実に、読み上げ項目による音声入力を促すことが可能となる。
そして、表示制御部166は、ユーザにより項目画像45に基づいて「HDMI1」、「HDMI2」、「HDMI3」、または「HDMI4」といった音声入力(外部入力の選択)が行われた場合、選択された外部入力に切り替える。具体的には、表示制御部166は、選択された外部入力先から伝送されるコンテンツを、ディスプレイ108に表示する制御を行う。この際、外部入力先の外部装置の電源がOFFになっていた場合、情報処理装置100は、対象の外部装置の電源をONにした上で(起動制御)、当該外部装置からコンテンツを取得する。ここで外部装置から取得されるコンテンツは、外部機器のメニュー画面等であってもよい。
<3−8.第8の実施例:アプリケーションの起動等に関する音声入力>
次いで、情報処理装置100においてインストール済みのアプリケーションを起動する場合の音声入力について説明する。例えば、インターネット配信コンテンツを享受するために利用される各種アプリケーション(コンテンツ配信会社により用意されたアプリケーションを含む)が情報処理装置100にインストールされている場合を想定する。本明細書では、以下一部の箇所で、「アプリケーション」を「アプリ」と省略して称する。
例えば、ユーザにより、アプリケーションの起動やアプリケーションによる処理を求めるような音声入力あるいはアプリケーションの名称による音声入力が行われると、情報処理装置100は、検索制御部162により起動可能なアプリケーションを検索し、表示制御部166により検索結果をディスプレイ108に表示する。音声入力は具体的なアプリケーションの名称だけでなく、「写真アプリ」のように機能名を基にしたものでもよく、単に「アプリ」だけでもよい。図11は、本実施例によるアプリケーションの起動等に関して音声入力された場合の検索結果を表示する画面例を示す図である。
図11に示すように、例えばユーザによる「アプリを表示」というような音声入力に応じて、検索制御部162により検索された検索結果(項目画像50a〜50e)が、表示制御部166の制御によりディスプレイ108に表示される。検索結果は、優先度の高い順に並べられてもよいし、画面全体にランダムに表示されてもよい。優先度は、例えば人または時間の少なくともいずれかに基づいて、表示制御部166により算出され得る。より具体的には、例えば表示制御部166は、視聴履歴を参照し、現在の時刻によく利用されているアプリケーションの優先度を高く算出したり、視聴ユーザが認識できた場合は当該視聴ユーザがよく利用しているアプリケーションの優先度を高く算出したりする。また、項目画像50a〜50eでは、アプリケーションの名称の他、そのアプリケーションで受付可能なコマンド(オプション)を示すアイコン、アプリケーション自体のアイコン(例えば、情報処理装置100のメニュー画面で当該アプリケーションを示すアイコン)またはアプリケーションの属性を示すアイコン(例えば、音楽再生アプリケーションの場合にヘッドフォンのマーク)等を表示するようにしてもよい。
ここで、本実施例によるアプリケーションの検索の場合、上述したコンテンツ検索の各実施例と異なり、制御部160は、検索結果からアプリケーションの自動選択および実行(アプリの起動等)までを一連に行わず、まずは検索結果をディスプレイ108に表示し、選択および実行するアプリをユーザに選択させてもよいし、各実施例同様、1のアプリケーションを優先度に基づき自動選択して実行する一連の処理が行われてもよい。したがって、例えばディスプレイ108の表示がOFF(電源供給されていない状態)になっていた場合には、図11に示すように、項目画像50を表示する際、背景画面には何ら表示されていない状態となり得る。一方、ディスプレイ108に既に何らかのコンテンツが再生されていた場合は、そのコンテンツの表示を継続したまま、項目画像50を表示するようにしてもよい。
また、表示制御部166は、図11に示すように、「選択したい項目を話してください」といった、アプリケーションの選択を促す画像52を併せてディスプレイ108に表示してもよい。ここで、図11に示すように、画像52に示す音声入力を促す文字と、項目画像50に示す読み上げ項目(例えばアプリケーション名)との表示態様を合わせたり、画像52に示す音声入力を促す文字の付近にマイクのアイコン等を表示したりすることで、より確実に、読み上げ項目による音声入力を促すことが可能となる。
そして、制御部160は、ユーザにより、アプリケーション名の音声入力(アプリの選択)が行われた場合(選択)、選択されたアプリケーションを起動し(実行)、アプリケーション画面をディスプレイ108に表示する制御を行う。ここで、先にアプリケーションが自動選択および実行されていた場合には、項目画像50には実行されていないアプリケーションが表示され、これに基づいて異なるアプリケーションがユーザにより選択されてもよい。
なお、ユーザによりアプリケーションが選択され、当該アプリケーションが起動され、アプリケーション画面(コンテンツ)がディスプレイ108に表示された後にも、上記検索結果を示す項目画像50と、音声入力を促す画像52をディスプレイ108に表示するようにしてもよい。これにより、再度音声入力によりアプリケーションを切り替える際の支援を行い得る。
<3−9.第9の実施例:電源OFFからの「録画/視聴予約、コンテンツ削除」>
本実施例による情報処理装置100は、ディスプレイ108がOFFの状態でも、ユーザの音声入力に従って、録画予約、視聴予約、また、コンテンツ削除を行うことが可能である。以下、図12および図13を用いて具体的に説明する。
(録画/視聴予約)
図12は、本実施例による電源OFF時の録画予約または視聴予約の動作処理の流れの一例を示すフローチャートである。ここで、「電源OFF時」とは、少なくともマイクロフォン102による音声検出と音声認識部130による音声認識が可能な状態(プロセッサ112、マイクロフォン102への電源供給が行われている状態)であって、かつ、ディスプレイ108がOFF(ディスプレイ108への電源供給が行われていない状態)となっているスタンバイ状態を想定する。
図12に示すように、まず、情報処理装置100は、「○○(番組のタイトル名)の録画予約をして」、「○○(番組のタイトル名)の視聴予約をして」等の、録画/視聴予約に関する発話音声を検知する(ステップS503)。情報処理装置100の音声認識部130は、エージェントの呼び出し等、ユーザによる所定の呼び掛けがあった場合に、その後に続く発話音声を認識し、録画予約、視聴予約等のコマンドを特定するようにしてもよい。
次に、制御部160は、情報処理装置100の電源を、ディスプレイ108を除きON状態に制御する(ステップS506)。
次いで、アプリケーション部150は、音声認識部130による音声認識結果に基づいて、録画予約または視聴予約を実行する(ステップS509)。録画/視聴予約情報は、例えばメモリ105に記憶される。また、アプリケーション部150は、音声認識等により発話者(ユーザ)が判断できた場合に、当該ユーザ用に(当該ユーザの情報を予約者として関連付けて)録画/視聴予約を行うようにしてもよい。
このように、本実施例では、ディスプレイ108の電源を入れず、表示画面を利用した操作を行うことなく、音声入力によって録画/視聴予約を実行することが可能となり、ユーザは、ディスプレイ108の点灯を待たずに速やかに録画/視聴予約を行うことができる。なお、情報処理装置100は、録画/視聴予約を受け付けた場合に、スピーカ109を用いて音声によりユーザにフィードバックしてもよい(例えば、「録画/視聴予約を行いました」等の応答音声を再生)。また、実際の録画や視聴の処理は情報処理装置100と接続する外部装置によって行われるように録画/視聴予約がされてもよい。
そして、制御部160は、情報処理装置100の電源をOFFする(ステップS512)。ここで電源OFFとは、少なくとも録画/視聴予約を実行する機能や、音声認識機能が可能な(すなわち、これらの機能を実行できる程度の電源供給は行っている)電源状態とする。
(コンテンツ削除)
図13は、本実施例による電源OFF時のコンテンツ削除の動作処理の流れの一例を示すフローチャートである。
図13に示すように、まず、情報処理装置100は、「○○(録画番組のタイトル名)を削除して」等の、録画番組削除に関する発話音声を検知する(ステップS603)。情報処理装置100の音声認識部130は、エージェントの呼び出し等、ユーザによる所定の呼び掛けがあった場合に、その後に続く発話音声を認識し、コンテンツ削除等のコマンドを特定するようにしてもよい。
次に、制御部160は、情報処理装置100の電源を、ディスプレイ108を除きON状態に制御する(ステップS606)。
次いで、アプリケーション部150は、音声認識部130による音声認識結果に基づいて、指定された録画番組の削除を実行する(ステップS609)。録画番組データは、例えばメモリ105に記憶されている。なお、アプリケーション部150は、録画番組データが、情報処理装置100と接続する外部装置に記憶されている場合も、当該外部装置に記憶されている録画番組を削除する制御を行い得る。
このように、本実施例では、ディスプレイ108を付けず、表示画面を利用した操作を行うことなく、音声入力によって録画番組の削除を実行することが可能となり、ユーザは、ディスプレイ108の点灯を待たずに速やかに録画番組(コンテンツ)の削除を行うことができる。なお、情報処理装置100は、録画番組削除を受け付けた場合に、スピーカ109を用いて音声によりユーザにフィードバックしてもよい(例えば、「○○(録画番組のタイトル名)を削除しました」等の応答音声を再生)。
そして、制御部160は、情報処理装置100の電源をOFFする(ステップS612)。ここで電源OFFとは、少なくとも音声認識機能が可能な(すなわち、かかる機能を実行できる程度の電源供給は行っている)電源状態とする。
<3−10.補足>
以上説明した各実施例は、それぞれ組み合わせて実施してもよい。
例えば、第1の実施例で説明したチャンネル名の音声入力によりチャンネルが自動選択され、図5に示すように検索結果として項目画像30が表示された際に、項目画像30に表示されている番組名の音声入力を受け付けてもよい。この場合、情報処理装置100は、現在視聴可能なコンテンツから、音声入力された番組名と一致するコンテンツの検索を行う。検索したコンテンツが順番を有する複数のコンテンツであれば、情報処理装置100は、第6の実施例で説明したように、例えば番号の若い順にリストアップし、視聴済みまたはスタッフロールの前まで等ほぼ見終えたと判断できる番組を除いて、最も若い番号のコンテンツを選択して自動再生する。また、第2の実施例で説明した、番組名の音声入力に応じた現在放送番組と録画番組の検索および選択処理と、第3の実施例で説明した、現在受信可能なコンテンツ全体またはその一部を指定した音声入力に応じた、インターネット配信コンテンツを含む現在受信可能なコンテンツの検索および選択処理を組み合わせることで、番組名の入力に対して現在放送番組、録画番組およびインターネット配信コンテンツを含む現在受信可能なコンテンツに対する検索および選択処理が行われてもよい。
またここでは検索・実行されるコンテンツとして、主に放送番組等の動画コンテンツを基に説明を行ったが、本発明により実現される機器・装置で実行され得るものであれば、コンテンツの種類は問わない。例えば、再生されるコンテンツは音声コンテンツ(例えば楽曲)でもよく、情報処理装置100で実行可能なアプリケーションによって楽曲の再生が行われる。また、優先度に基づいて検索がなされる対象は、音声コンテンツでもよいし、音声コンテンツを再生するアプリケーションでもよい。それらの場合、上記の実施例のいずれかと同様の手順またはそれらの組み合わせに基づいて、1の楽曲またはアプリケーションが選択され、選択されなかった楽曲またはアプリケーションを選択肢として含む項目画像が、ディスプレイ108に表示される。ディスプレイ108には、選択されたコンテンツとして楽曲のアルバムアート画像(ジャケット画像)やアプリケーションのUI画像等が表示され得る。上記実施例で説明したチャンネルは、楽曲のような音声コンテンツを放送するラジオや音楽配信ステーションのようなチャンネルであってもよい。実施例静止画コンテンツやWEBページ等の他の種類のコンテンツの場合も、同様の手順で処理することができる。
<<4.まとめ>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した情報処理装置100に内蔵されるCPU、ROM、およびRAM等のハードウェアに、情報処理装置100の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
ユーザの発話音声から認識された語句に基づいてチャンネルまたはコンテンツを検索する検索処理と、
前記検索処理により得られた複数のチャンネルまたはコンテンツのうち、1のチャンネルまたはコンテンツを選択する処理と、
前記選択したコンテンツまたは前記選択したチャンネルで放送されているコンテンツを表示部に表示する処理と、
さらに、前記表示部に、前記検索処理により得られた複数のチャンネルまたはコンテンツを示す各項目画像を選択肢として表示する処理と、を行う制御部を備える、受信装置。
(2)
前記制御部は、前記表示部に、前記複数のチャンネルまたはコンテンツを選択する際の音声入力を促す画像を表示する、前記(1)に記載の受信装置。
(3)
前記音声入力を促す画像は、前記項目画像に表示された読み上げ項目の音声入力を促す説明文を含む、前記(2)に記載の受信装置。
(4)
前記音声入力を促す画像の前記説明文には、前記項目画像に表示された読み上げ項目の表示態様に合わせた表示態様の文字が含まれる、前記(3)に記載の受信装置。
(5)
前記制御部は、
前記ユーザの視聴履歴または嗜好情報の少なくともいずれか、若しくは、時間情報に基づく優先度に応じて、前記チャンネルまたはコンテンツを選択する、前記(1)〜(4)のいずれか1項に記載の受信装置。
(6)
前記制御部は、
前記優先度の高い順に、前記検索処理により得られた複数のチャンネルまたはコンテンツを示す各項目画像を表示する処理を行う、前記(5)に記載の受信装置。
(7)
前記コンテンツは、放送番組、録画番組、または、インターネットを介して配信される配信コンテンツである、前記(1)〜(6)のいずれか1項に記載の受信装置。
(8)
前記受信装置は、
放送局から送信される放送番組を受信する受信部と、
インターネットを介して配信される配信コンテンツを受信する通信部と、
をさらに備える、前記(7)に記載の受信装置。
(9)
前記読み上げ項目は、チャンネル名またはコンテンツ名である、前記(3)または(4)に記載の受信装置。
(10)
前記制御部は、
前記語句が、外部入力またはアプリケーションに関連する語句の場合、検索した外部入力の規格名称、外部入力先の外部装置の名称、またはアプリケーションの名称を示す各項目画像を、選択肢として前記表示部に表示し、その後、ユーザの音声入力により選択された外部入力またはアプリケーションの画像を、前記表示部に表示する処理を行う、前記(1)〜(9)のいずれか1項に記載の受信装置。
(11)
前記制御部は、
前記表示部の電源がOFFになっていた場合、前記表示部の電源をONにした上で、前記選択したコンテンツまたは前記選択したチャンネルで放送されているコンテンツを表示する処理を行う、前記(1)〜(10)のいずれか1項に記載の受信装置。
(12)
前記制御部は、
前記語句がチャンネルまたは番組の名称に関連する語句の場合、チャンネルまたは番組を検索し、検索されたチャンネルまたは番組に対応する放送番組と録画番組とから、人または時間に基づく優先度が最も高い1の番組を選択し、選択した番組を前記表示部に表示する処理を行う、前記(1)〜(11)のいずれか1項に記載の受信装置。
(13)
前記制御部は、
前記ユーザが視聴済みの番組については優先度が未視聴のコンテンツの優先度よりも低くなるようにする、前記(12)に記載の受信装置。
(14)
前記制御部は、
音声受付処理を外部操作端末からの信号によって開始し、
前記音声受付処理は外部操作端末が有するマイクロフォンによって行われる、前記(1)〜(13)のいずれか1項に記載の受信装置。
(15)
前記外部操作端末は、前記音声受付処理の開始操作を行うための物理キーあるいは仮想キーを有するリモートコントローラまたはモバイル端末である、前記(14)に記載の受信装置。
(16)
前記制御部は、
前記語句が起動していない外部機器の指定である場合、前記外部機器を起動し、前記外部機器のホーム画面を前記表示部に表示する処理を行う、前記(1)〜(15)のいずれか1項に記載の受信装置。
(17)
前記コンテンツは音声コンテンツであり、前記選択したコンテンツを表示部に表示する処理は、前記音声コンテンツを示す画像を前記表示部に表示する処理である、前記(1)〜(16)のいずれか1項に記載の受信装置。
(18)
前記制御部は、
前記項目画像を一定時間前記表示部に表示する処理を行う、前記(1)〜(17)のいずれか1項に記載の受信装置。
(19)
前記制御部は、
前記項目画像において、各コンテンツの放送状況または視聴状態を示す情報を表示する、前記(1)〜(18)のいずれか1項に記載の受信装置。
(20)
プロセッサが、
ユーザの発話音声から認識された語句に基づいてチャンネルまたはコンテンツを検索することと、
前記検索により得られた複数のチャンネルまたはコンテンツのうち、1のチャンネルまたはコンテンツを選択することと、
前記選択したコンテンツまたは前記選択したチャンネルで放送されているコンテンツを表示部に表示することと、
さらに、前記表示部に、前記検索により得られた複数のチャンネルまたはコンテンツを示す各項目画像を選択肢として表示することと、
を含む、制御方法。
100 情報処理装置
101 カメラ
102 マイクロフォン
103 入力デバイス
104 通信インタフェース(I/F)
105 メモリ
106 チューナ
107 デコーダ
108 ディスプレイ
109 スピーカ
111 バス
112 プロセッサ
120 音声取得部
130 音声認識部
140 特徴データベース
150 アプリケーション部
160 制御部
162 検索制御部
164 選択制御部
166 表示制御部
172 視聴履歴データベース
174 嗜好データベース

Claims (20)

  1. ユーザの発話音声から認識された語句に基づいてチャンネルまたはコンテンツを検索する検索処理と、
    前記検索処理により得られた複数のチャンネルまたはコンテンツのうち、1のチャンネルまたはコンテンツを選択する処理と、
    前記選択したコンテンツまたは前記選択したチャンネルで放送されているコンテンツを表示部に表示する処理と、
    さらに、前記表示部に、前記検索処理により得られた複数のチャンネルまたはコンテンツを示す各項目画像を選択肢として表示する処理と、を行う制御部を備える、受信装置。
  2. 前記制御部は、前記表示部に、前記複数のチャンネルまたはコンテンツを選択する際の音声入力を促す画像を表示する、請求項1に記載の受信装置。
  3. 前記音声入力を促す画像は、前記項目画像に表示された読み上げ項目の音声入力を促す説明文を含む、請求項2に記載の受信装置。
  4. 前記音声入力を促す画像の前記説明文には、前記項目画像に表示された読み上げ項目の表示態様に合わせた表示態様の文字が含まれる、請求項3に記載の受信装置。
  5. 前記制御部は、
    前記ユーザの視聴履歴または嗜好情報の少なくともいずれか、若しくは、時間情報に基づく優先度に応じて、前記チャンネルまたはコンテンツを選択する、請求項1に記載の受信装置。
  6. 前記制御部は、
    前記優先度の高い順に、前記検索処理により得られた複数のチャンネルまたはコンテンツを示す各項目画像を表示する処理を行う、請求項5に記載の受信装置。
  7. 前記コンテンツは、放送番組、録画番組、または、インターネットを介して配信される配信コンテンツである、請求項1に記載の受信装置。
  8. 前記受信装置は、
    放送局から送信される放送番組を受信する受信部と、
    インターネットを介して配信される配信コンテンツを受信する通信部と、
    をさらに備える、請求項7に記載の受信装置。
  9. 前記読み上げ項目は、チャンネル名またはコンテンツ名である、請求項3に記載の受信装置。
  10. 前記制御部は、
    前記語句が、外部入力またはアプリケーションに関連する語句の場合、検索した外部入力の規格名称、外部入力先の外部装置の名称、またはアプリケーションの名称を示す各項目画像を、選択肢として前記表示部に表示し、その後、ユーザの音声入力により選択された外部入力またはアプリケーションの画像を、前記表示部に表示する処理を行う、請求項1に記載の受信装置。
  11. 前記制御部は、
    前記表示部の電源がOFFになっていた場合、前記表示部の電源をONにした上で、前記選択したコンテンツまたは前記選択したチャンネルで放送されているコンテンツを表示する処理を行う、請求項1に記載の受信装置。
  12. 前記制御部は、
    前記語句がチャンネルまたは番組の名称に関連する語句の場合、チャンネルまたは番組を検索し、検索されたチャンネルまたは番組に対応する放送番組と録画番組とから、人または時間に基づく優先度が最も高い1の番組を選択し、選択した番組を前記表示部に表示する処理を行う、請求項1に記載の受信装置。
  13. 前記制御部は、
    前記ユーザが視聴済みの番組については優先度が未視聴のコンテンツの優先度よりも低くなるようにする、請求項12に記載の受信装置。
  14. 前記制御部は、
    音声受付処理を外部操作端末からの信号によって開始し、
    前記音声受付処理は外部操作端末が有するマイクロフォンによって行われる、請求項1に記載の受信装置。
  15. 前記外部操作端末は、前記音声受付処理の開始操作を行うための物理キーあるいは仮想キーを有するリモートコントローラまたはモバイル端末である、請求項14に記載の受信装置。
  16. 前記制御部は、
    前記語句が起動していない外部機器の指定である場合、前記外部機器を起動し、前記外部機器のホーム画面を前記表示部に表示する処理を行う、請求項1に記載の受信装置。
  17. 前記コンテンツは音声コンテンツであり、前記選択したコンテンツを表示部に表示する処理は、前記音声コンテンツを表す画像を前記表示部に表示する処理である、請求項1に記載の受信装置。
  18. 前記制御部は、
    前記項目画像を一定時間前記表示部に表示する処理を行う、請求項1に記載の受信装置。
  19. 前記制御部は、
    前記項目画像において、各コンテンツの放送状況または視聴状態を示す情報を表示する、請求項1に記載の受信装置。
  20. プロセッサが、
    ユーザの発話音声から認識された語句に基づいてチャンネルまたはコンテンツを検索することと、
    前記検索により得られた複数のチャンネルまたはコンテンツのうち、1のチャンネルまたはコンテンツを選択することと、
    前記選択したコンテンツまたは前記選択したチャンネルで放送されているコンテンツを表示部に表示することと、
    さらに、前記表示部に、前記検索により得られた複数のチャンネルまたはコンテンツを示す各項目画像を選択肢として表示することと、
    を含む、制御方法。
JP2020559912A 2018-12-11 2019-11-21 受信装置および制御方法 Pending JPWO2020121776A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018231615 2018-12-11
JP2018231615 2018-12-11
PCT/JP2019/045714 WO2020121776A1 (ja) 2018-12-11 2019-11-21 受信装置および制御方法

Publications (1)

Publication Number Publication Date
JPWO2020121776A1 true JPWO2020121776A1 (ja) 2021-10-28

Family

ID=71077262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020559912A Pending JPWO2020121776A1 (ja) 2018-12-11 2019-11-21 受信装置および制御方法

Country Status (4)

Country Link
US (2) US11748059B2 (ja)
EP (1) EP3896985A4 (ja)
JP (1) JPWO2020121776A1 (ja)
WO (1) WO2020121776A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022044904A1 (ja) * 2020-08-28 2022-03-03 ソニーグループ株式会社 情報処理装置及び情報処理方法
US11166063B1 (en) * 2020-12-08 2021-11-02 Rovi Guides, Inc. Enhanced set-top box control

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3979556B2 (ja) * 1998-12-22 2007-09-19 パイオニア株式会社 番組選択装置及び番組選択方法
US7096185B2 (en) * 2000-03-31 2006-08-22 United Video Properties, Inc. User speech interfaces for interactive media guidance applications
JP2004096530A (ja) * 2002-09-02 2004-03-25 Matsushita Electric Ind Co Ltd 選局装置およびテレビ受信システム
US7792828B2 (en) * 2003-06-25 2010-09-07 Jericho Systems Corporation Method and system for selecting content items to be presented to a viewer
JP2007142840A (ja) * 2005-11-18 2007-06-07 Canon Inc 情報処理装置及び情報処理方法
US20080098433A1 (en) * 2006-10-23 2008-04-24 Hardacker Robert L User managed internet links from TV
US8819555B2 (en) * 2011-04-07 2014-08-26 Sony Corporation User interface for audio video display device such as TV
WO2013012107A1 (ko) * 2011-07-19 2013-01-24 엘지전자 주식회사 전자 기기 및 그 제어 방법
JP2014126600A (ja) * 2012-12-25 2014-07-07 Panasonic Corp 音声認識装置、音声認識方法、およびテレビ
KR20140089862A (ko) * 2013-01-07 2014-07-16 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
KR102030114B1 (ko) * 2013-01-07 2019-10-08 삼성전자주식회사 서버 및 그의 제어 방법
JP5955299B2 (ja) 2013-11-08 2016-07-20 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置、表示制御方法、プログラム及び情報記憶媒体
US9338493B2 (en) * 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
JP2016029495A (ja) * 2015-10-08 2016-03-03 パナソニックIpマネジメント株式会社 映像表示装置および映像表示方法
KR102499124B1 (ko) * 2016-01-21 2023-02-15 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
CN107943894A (zh) * 2017-11-16 2018-04-20 百度在线网络技术(北京)有限公司 用于推送多媒体内容的方法和装置
US10560737B2 (en) * 2018-03-12 2020-02-11 Amazon Technologies, Inc. Voice-controlled multimedia device
KR102472010B1 (ko) * 2018-05-04 2022-11-30 삼성전자주식회사 전자 장치 및 전자 장치의 기능 실행 방법

Also Published As

Publication number Publication date
EP3896985A1 (en) 2021-10-20
US20230401030A1 (en) 2023-12-14
US20220043627A1 (en) 2022-02-10
EP3896985A4 (en) 2022-01-05
WO2020121776A1 (ja) 2020-06-18
US11748059B2 (en) 2023-09-05

Similar Documents

Publication Publication Date Title
JP7422176B2 (ja) Tvユーザ対話のためのインテリジェント自動アシスタント
US11822606B2 (en) Systems and methods for updating search results based on a conversation
US20230401030A1 (en) Selecting options by uttered speech
KR20160039830A (ko) 멀티미디어 장치 및 그의 음성 가이드 제공방법
TWI587253B (zh) 提供口述影像可用性通知的方法與設備
TW201709748A (zh) 電視節目智慧播放方法與其控制裝置
WO2021197068A1 (zh) 显示设备及内容推荐方法
JP2011170735A (ja) サーバ装置、電子機器、検索システム、検索方法及びプログラム
EP3965430A1 (en) Display device for providing speech recognition service
WO2022044904A1 (ja) 情報処理装置及び情報処理方法
EP3905707A1 (en) Display device and operating method thereof
KR20230111758A (ko) 디스플레이 장치
KR20150137146A (ko) 영상제공장치의 동작 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221018

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20230831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

AA91 Notification that invitation to amend document was cancelled

Free format text: JAPANESE INTERMEDIATE CODE: A971091

Effective date: 20231024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240409