JP7463242B2 - 受信装置、サーバ及び音声情報処理システム - Google Patents

Description

本実施形態は、受信装置、サーバ及び音声情報処理システムに関する。

テレビ受信装置に対し、音声認識技術を用いたスマートスピーカなどから音声によるコマンド（音声コマンド）による操作制御ができる。通常、スマートスピーカは、音声コマンドを与える前に、トリガワードを与えてスマートスピーカを起動する必要がある。

特開２０１９－２０７２８６号公報 特開２０２０－１２２８１９号公報

ところが、例えばテレビ受信装置が表示する放送番組の映像を視聴しているユーザ（視聴者）が、興味を持った一映像シーン（画像）に対して音声コマンドによって操作しようとした場合、音声コマンドの前に発したトリガワードをスマートスピーカが処理している間に、その映像シーンは過ぎ去ってしまう。そのため、ユーザの発した音声コマンドは、視聴者が興味を持った時点の映像シーンに対する音声コマンドとならない可能性がある。

そこで、本実施形態では、ユーザが指定する映像シーンに対して音声コマンドを実行処理する受信装置、サーバ及び音声情報処理システムを提供することを目的とする。

一実施形態に係る受信装置は、表示手段から映像コンテンツを出力中に、前記映像コンテンツの一画像であるシーンを指定するための制御信号であるシーン指定信号を受信する制御信号受信手段と、音声を受波し、前記音声に対して音声認識を実行して、前記シーンに係るコマンドを取得する音声コマンド取得手段を起動するための起動命令を前記シーン指定信号を受信した後に生成する制御手段とを具備する。

図１は、実施例に係るシステムの構成例を示す図である。 図２は、受信装置の構成を概略的に示す図である。 図３は、スマート装置の構成例を示すブロック図である。 図４は、サーバの構成例を示すブロック図である。 図５は、第１の実施形態に係るシステムの動作例を示すタイミングチャートである。 図６は、同実施形態に係るシステムの動作例を示すフローチャートである。 図７は、同実施形態に係るシステムの動作例を示す図である。 図８は、第２の実施形態に係るシステムのシーケンスチャートである。 図９は、同実施形態に係るシステムにおけるデータフローの一例示す図である。 図１０は、変形例に係るシステムの第１のデータフロー例を示す図である。 図１１は、変形例に係るシステムの第２のデータフロー例を示す図である。 図１２は、変形例に係るシステムの第３のデータフロー例を示す図である。

以下、図面を参照しながら実施形態を説明する。

図１は、実施例に係るシステムの構成例を示す図である。

受信装置１００は、例えば、デジタルテレビ放送の受信装置（テレビジョン受信装置、テレビ受信装置とも称する）であり、図示せぬアンテナやケーブル放送などから、高度広帯域衛星デジタル放送などの４Ｋ／８Ｋ放送の放送信号や、既存の地上デジタル放送、ＢＳデジタル放送、ＣＳデジタル放送などの２Ｋ放送の放送信号を受信する。４Ｋ／８Ｋ放送、２Ｋ放送など各種デジタル放送の放送信号を指して各種放送信号と称することもある。受信装置１００は、放送信号から、映像信号、音声信号、文字信号などコンテンツに関するデータ（コンテンツデータと称する）を取得し、ユーザにコンテンツを提供する。また受信装置１００は、放送信号ではなく、例えばＤＶＤ、ハードディスクなど記憶媒体やインターネット上の図示せぬコンテンツサーバなどからデジタルテレビ放送用の映像データなどを取得することでもよい。

リモコン２００は、受信装置１００に付属のリモートコントローラであり、電源オンオフ、チャンネル切り替えなど、受信装置１００を遠隔で制御する。ユーザ５がリモコン２００を操作すると、赤外線などによる制御信号（リモコン制御信号と称する）が受信装置１００に対してリモコン２００から出力される。本実施形態におけるリモコン２００には、シーン指定ボタン２０１が設けられている。

ユーザ５がシーン指定ボタン２０１を押下すると、シーン指定ボタン２０１に対応するリモコン制御信号（シーン指定信号と称する）が出力される。受信装置１００は、シーン指定信号を受信すると、受信したタイミングに表示器１７０、スピーカ１７１などから出力中のコンテンツ（映像、音声、文字など）のシーン（映像フレーム）を特定し、そのシーンに係る視聴コンテンツ情報、シーン指定時間データを取得する。

シーンとは、基本的には瞬間の画像であり、映像の１フレームを示す。ただし、ユーザは通常、映像の１フレームを見分ける分解能はないと考えられるため、ユーザにとってのシーンは、映像の１フレームでなく、数秒程度の時間幅を持つ映像を示すことでもよい。

視聴コンテンツ情報とは、出力中のコンテンツが放送されているチャンネルなど、コンテンツが何であるかを特定するための情報である。シーン指定時間データとは、指定したシーンの放送時刻などの時刻情報である。視聴コンテンツ情報、シーン指定時間データを含めてシーン特定情報と称する。受信装置１００は、取得したシーン特定情報を、メモリなどに記憶させることでもよい。また、リモコン２００において、シーン指定ボタン２０１は、例えば「いいね」ボタンなどのような既存のボタンを代用することでもよい。また、リモコン２００のファームウェアなどを更新することで、既存のボタンに割り当てることでもよい。また、特に受信装置１００に付属のリモコン２００である必要はなく、シーン指定ボタン２０１に専用のボタン装置などでもよく、さらに専用のボタン装置をリモコン２００に接続できるようにしてもよい。また、受信装置１００は、特定したシーンの瞬間画像（映像フレーム）のデータをメモリなどに記憶させることでもよい。また、リモコン２００が出力するシーン指定信号をスマート装置３００が受信できるようにしてもよい。

スマート装置３００は、スマートスピーカであり、スピーカ、マイク、カメラ、音声認識手段などを内蔵し、マイクから音声を受波し、受波した音声から音声認識手段により、音声に重畳されたコマンドなどを取り出すことができる。スマート装置３００は、外部装置とのインターフェースを備え、外部装置とデータのやり取りができる。例えば、スマート装置３００は、受信装置１００、リモコン２００、ネットワーク５００に接続するインターフェースを備える。また、スマート装置３００は、音声により「質問」を受信した場合、ネットワーク５００の上の人工知能エンジン（ＡＩエンジン）等から「質問」に対する「答え」を取得できる。スマート装置３００がＡＩエンジンを持っていてもよい。

サーバ４００は、視聴コンテンツの関連情報（視聴コンテンツ関連情報とも称する）を提供するサーバであり、例えばクラウドサーバであってもよい。サーバ４００は、ネットワーク５００を介して、受信装置１００、スマート装置３００とデータのやり取りをする。本実施形態のおけるサーバ４００は、受信装置１００やスマート装置３００からシーン特定情報及びコマンドを受信すると、シーン特定情報によって特定されるシーンに対してコマンドに基づいた処理を実施する。サーバ４００は、処理結果を、受信装置１００やスマート装置３００に出力する。例えば、サーバ４００は、スマート装置３００から受信した「質問」に対する「答え」を作成し、スマート装置３００に出力する。

ネットワーク５００は、電気通信回線であり、例えば、インターネットである。

図２は、受信装置１００の構成を概略的に示すブロック図である。

受信装置１００は、放送波を受信する機能である基本機能１６０、システム制御部１６１、通信制御部１６２、アプリケーション制御部１６３を含む。また受信装置１００は、表示器１７０、スピーカ１７１と接続している。

基本機能１６０は、放送チューナ１０１、デマルチプレクサ１０２、デスクランブラ１０３、映像デコーダ１０４、音声デコーダ１０５、字幕デコーダ１０６、キャッシュデータ部１０７、伝送制御信号解析部１１１を含む。

放送チューナ１０１は、放送波で送られてきたストリーム（放送信号）を復調する。復調されたストリーム（放送信号）は、デマルチプレクサ１０２に入力される。デマルチプレクサ１０２は、入力された多重化されているストリームを映像ストリーム、音声ストリーム、字幕ストリーム、アプリケーションデータ、伝送制御信号に分離し、映像ストリーム、音声ストリーム、字幕ストリーム、アプリケーションデータはデスクランブラ１０３に入力され、伝送制御信号は伝送制御信号解析部１１１に入力される。

デスクランブラ１０３は、必要に応じてそれぞれのストリームをデスクランブルして、映像ストリームを映像デコーダ１０４に、音声ストリームを音声デコーダ１０５に、字幕ストリームを字幕デコーダ１０６に、アプリケーションデータをキャッシュデータ部１０７にそれぞれ入力する。

映像ストリームは映像デコーダ１０４でデコードされ、音声ストリームは音声デコーダ１０５でデコードされ、字幕ストリームは字幕デコーダ１０６でデコードされる。

伝送制御信号解析部１１１は、伝送制御信号やＳＩ信号（Ｓｉｇｎａｌｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ）などに含まれる各種制御情報の解析を行う。伝送制御信号解析部１１１は、また解析した伝送制御信号のうち、アプリケーションデータに関する制御情報であるＭＨ－ＡＩＴ、データ伝送メッセージ等を、アプリケーション制御部１６３に送り、さらに解析させる。伝送制御信号解析部１１１は、伝送制御信号、ＳＩ信号などの各種制御情報ら、放送中のコンテンツに係る視聴コンテンツ情報などを抽出し、図示せぬメモリなどに格納する。

アプリケーション制御部１６３は、伝送制御信号解析部１１１より送られてきた、アプリケーションデータに関する制御情報であるＭＨ－ＡＩＴ、データ伝送メッセージ等の制御情報の管理、制御を行う。

またアプリケーション制御部１６３は、キャッシュデータ部１０７に保存されたキャッシュされたデータを用いて、ブラウザ１６４を制御することでデータ放送の画面表示制御を行う。また、ブラウザ１６４は、字幕デコーダ１０６の出力データにより字幕の画面重畳データを生成する。

デコードされた映像信号及び字幕、データ放送などの表示内容（コンテンツ）は、合成器１６５で合成され表示器１７０に出力される。

また音声デコーダ１０５でデコードされた音声データは、スピーカ１７１に出力される。

なお、映像デコーダ１０４のコーデック種別は、Ｈ．２６５とするが、これに限定されるものではなく、ＭＰＥＧ－２、Ｈ．２６４のいずれでもよい。またコーデック種別は、これに限るものではない。

システム制御部１６１は、通信制御部１６２にて受信される外部装置などからの制御信号に基づいて、受信装置１００の各種機能に対する制御を実施する。例えば、システム制御部１６１は、通信制御部１６２のリモコンＩ／Ｆ１６２－２からシーン指定信号を受信した場合、スマート装置３００の音声検出機能もしくは音声認識によるコマンド取得機能（音声コマンド取得機能と称することもある）を起動（オン）にするための制御信号を作成し、制御信号をスマート装置３００に送信する。またシステム制御部１６１は、シーン指定信号を受信すると、シーン指定信号を受信すると、受信したタイミングに表示器１７０、スピーカ１７１などから出力中のコンテンツのシーンを特定し、そのシーンに係る視聴コンテンツ情報、シーン指定時間データを取得する。システム制御部１６１は、シーン指定時間データを、例えば受信装置１００内部の図示せぬ時計によって決定してもよいし、放送信号に含まれる時刻情報から決定してもよい。

通信制御部１６２は、各種インターフェースを含む。

ネットワークＩ／Ｆ１６２－１は、ネットワーク５００に対するインターフェースである。通信制御部１６２は、ネットワークＩ／Ｆ１６２－１、ネットワーク５００を経由してサーバ４００と接続することがきる。通信制御部１６２は、サービス事業者装置（図示せず）が管理しているアプリーションやコンテンツを、ネットワークを経由して取得することができる。この取得したアプリケーションやコンテンツは、通信制御部１６２からブラウザ１６４に送られ、表示等に使用される。

リモコンＩ／Ｆ１６２－２は、リモコン２００とのインターフェースであり、例えば赤外線通信の機能を備えていてもよい。リモコンＩ／Ｆ１６２－２は、リモコン２００が出力するリモコン制御信号を受信する。

スマート装置Ｉ／Ｆ１６２－３は、スマート装置３００とのインターフェースであり、例えば、有線のケーブルを接続することでもよいし、Ｗｉｆｉ（登録商標）、Ｂｌｏｏｔｏｏｔｈ（登録商標）など無線通信のインターフェースであってもよい。スマート装置Ｉ／Ｆ１６２－３により、受信装置１００は、スマート装置３００と直接データ通信が可能となる。なお、受信装置１００は、ネットワークＩ／Ｆ１６２－１を介してスマート装置３００とデータ通信をすることもできる。

図３は、スマート装置３００の構成例を示すブロック図である。

スマート装置３００は、音声認識部３１０、システムコントローラ３０１、プログラムなどを格納したＲＯＭ３０２、一時的なメモリとして用いられるＲＡＭ３０３、モータ制御部３０４、モータ制御部３０４により制御されるモータ３２１、モータ３２１により駆動され、スマート装置３００の向きなどを変更する駆動機構３２２を搭載している。さらに、スマート装置３００は、時計３０５、カメラ３１１、マイク３１２、スピーカ３１３、インターフェース３１４、バッテリ３３３を搭載している。

スマート装置３００は、マイク３１２から受波した音声を、音声認識部３１０に入力して、音声に重畳されたコマンドなどを取り出すことができる。取り出されたコマンドは、例えば、インターフェース３１４から外部装置へ出力することができる。また、本実施形態におけるスマート装置３００は、音声コマンドの受波機能または音声認識によるコマンド取得機能を起動するための制御信号を受信すると、自身の音声コマンド取得機能を起動する。通常のスマート装置３００は、音声コマンド取得機能を起動する前に、トリガワードと呼ばれる音声コマンドを受信する必要があるが、本実施形態におけるスマート装置３００では、リモコン２００が出力するシーン指定信号によりシーンが指定されてから音声コマンドの受波を開始する。

例えば、インターフェース３１４が、リモコン２００からのシーン指定信号（Ｓ２ｂ）を受信すると、システムコントローラ３０１は、音声検出機能を構成するマイク３１２をオンする。また、システムコントローラ３０１は、音声検出機能をオンしてピックアップした「音声信号」と、ピックアップ時の「音声検知時間データ」と「スマートスピーカ識別情報」とを「音声コマンド情報（単にコマンドと称する場合もある）」としてＲＡＭ３０３に一時的に記憶させる。またシステムコントローラ３０１は、インターフェース３１４を介してサーバ４００へ「音声コマンド情報」を送信するように制御する。

図４は、サーバの構成例を示すブロック図である。サーバ４００は、インターフェース４１１、システムコントローラ４２２、記憶部４２３、解析部４２４を含む。例えば、テレビジョン受信装置、スマートスピーカから送信されたシーン指定データとコマンドは、システムコントローラ４２２の制御の下で、一旦、記憶部４２３に取り込まれる（バッファリングされる）。解析部４２４は、記憶部４２３に取り込まれた受信データを解析する。解析部４２４は、受信したシーン指定データから、放送番組のシーンを特定し、特定したシーンに対してコマンドを実行する。例えば、シーン指定データによって、ある旅番組において草原を車が走るシーンが指定され、コマンドが「場所はどこか教えて」という内容だったとする。サーバ４００は、これらのシーン指定データとコマンドとを受信すると、解析部４２４が、シーン指定データに指定されるシーン（画像）に表示される場所をデータベースなどから取得し、コンテンツ関連情報として、例えば、「ここは長野県の八ヶ岳です」といった内容を、受信装置１００やスマート装置３００に出力する。コンテンツ関連情報は、受信装置１００やスマート装置３００からユーザに提供される。
（第１の実施形態）
本実施形態においては、リモコン２００からのシーン指定信号をスマート装置３００が受信する場合の動作例について示す。
この場合、シーン指定ボタン２０１が操作されて、スマート装置３００がシーン指定信号を受信すると、スマート装置３００は、音声検出機能を即座にオンし、このことによりピックアップした音声信号と、前記ピックアップ時の音声検知時間データとを「音声コマンド」としてメモリに記憶する手段を有することでもよい。そして、前記「音声コマンド」を前記サーバ４００へ送信する手段を有する。例えば、リモコン２００のシーン指定ボタン２０１が操作されると、受信装置１００は、少なくとも、前記シーン指定信号を受信したときの映像のシーンの時間位置を示すシーン指定時間データと前記シーンを含むコンテンツのコンテンツ情報（番組情報等）とを、「シーン指定データ」として情報記録部に記録する手段や、前記「シーン指定データ」をサーバ４００へ送信する手段を備えてもよい。

つまり、図１に示すように、系路Ｓ０で、番組を視聴しているユーザ５が映像シーンに関して何か問合わせをしたいような場合、ユーザ５は、リモコン２００のシーン指定ボタン２０１にタッチする（Ｓ１）。すると、リモコン２００は、受信装置１００とスマート装置３００に対して、それぞれ、シーン指定信号（Ｓ２ａ），（Ｓ２ｂ）を送信する。

すると、受信装置１００は、リモコンからのシーン指定信号（Ｓ２ａ）を受信し、少なくとも、前記シーン指定信号（Ｓ２ａ）を受信したときの前記映像のシーンの時間位置を示す「シーン指定時間データ」と、前記シーンを含むコンテンツの「コンテンツ情報（例えば番組情報）」と「ＴＶ識別情報」とを「シーン指定データ」として、情報記録部に記録する。そして、前記「シーン指定データ」をサーバ４００へ送信する。

またスマート装置３００は、リモコン２００からの前記シーン指定信号（Ｓ２ｂ）を受信し、音声検出機能をオンしてピックアップした「音声信号」と、前記ピックアップ時の「音声検知時間データ」と「スマートスピーカ識別情報」とを「音声コマンド情報」としてメモリに記憶する。そして、前記「音声コマンド情報」を前記サーバ４００へ送信する。

なお、上記データの記憶時間が微少な時間であれば、「シーン指定時間データ」と「音声検知時間データ」とは、「シーン指定データ」と「音声コマンド情報」とが前記サーバ４００へ送信されるときの「リアルタイム時間データ」であってもよい。これらの時間データは、ここでは、「シーン指定データ」と「音声コマンド情報」とをペアとするための「組み合わせ照合用データ」と称される。

サーバ４００では、シーン指定データと音声コマンド情報とをリンクさせて、データベースとしてメモリに保持する。このデータベースは、種々の用途で解析処理される。リンクのための参照情報としては、「シーン指定時間データ」と「音声検知時間データ」との近似した時間データが利用される。

図５は、第１の実施形態に係るシステムの動作例を示すタイミングチャートであり、上記した音声情報処理システムが動作するときの一例を時間経過に沿って示している。図５の（２ａ）は、リアルタイム時間経過を示す。（２ｂ）は、受信装置１００の画面での番組シーンの経過を示している。（２ｃ）は、リモコン２００での時間経過であり、時刻ｔ１にて、シーン指定ボタン２０１が操作されたことを示している。（２ｄ）は、スマート装置３００での時間経過であり、時刻ｔ１にて、音声検出機能がオンし、マイクから音声がピックアップされる様子を示している。音声検出機能がオンしてから、いつオフするかは、一定レベル以上の周囲音声が途絶えた場合、或は、所定時間経過後（３０秒、或は２分間など、・・・）があり、ユーザが任意に設定してもよい。

（２ｅ）は、受信装置１００での時間経過であり、受信装置１００が、シーン指定データを生成しサーバへ送信処理する時間帯を示している。
（２ｆ）は、サーバ４００での時間経過である。サーバ４００では、受信装置１００及びスマート装置３００からの「シーン指定データ」と「音声コマンド情報」とを受信し、シーン指定データと音声コマンド情報とをリンクさせて、データベースとしてメモリに保持する。また、サーバ４００は、前記データベースを、種々の用途で解析処理したり、各受信装置１００及び又はスマート装置３００へ解析結果を返信したりする。

上記の例は、リアルタイムで放送されている番組についての情報の収集例を示したが、放送番組が、一度、記録再生装置に記録され、その番組が再生される場合でも上記の考え方は、適用できる。

その場合、時間情報は、番組のスタート時点からの経過時間が、先の時刻ｔ１として採用される。また「シーン指定データ」が、クラウドサーバに送信される場合、このシーン指定データに含まれる番組情報（番組名等）には、再生番組であることの識別情報（或は属性情報と称してもよい）が付加されている。さらにまた、「シーン指定データ」と「音声コマンド情報」がクラウドサーバへ送信される場合、両者をリンクさせるための参照時間情報として、「リアルタイムの時間情報」が付加されて送信される。

図６は、同実施形態に係るシステムの動作例を示すフローチャートであり、図１、図２で示したリモコン２００において、シーン指定モードの起動操作があった場合の動作例を示している。リモコン２００では、シーン指定ボタン２０１がシーン指定モードを起動するボタンとして兼用されていてもよいし、別途、予め動作モードを決めるためのシーン指定モード起動ボタンが存在してもよい。

今、リモコン２００は、シーン指定モードが起動されているものとする（ＳＡ１）。そしてユーザ５は、画面を見ながら番組を視聴しているものとする。ここで、例えば気になるシーンがあったとする。ユーザは、このときシーン指定ボタン２０１を操作する（ＳＡ２）。すると、受信装置１００では、通信制御部１６２、システム制御部１６１が共同しで動作する。少なくとも現在のシーンの時間データと、番組情報（チャンネルや番組名等）とを「シーン指定データ」を一時的にシステム制御部１６１内のメモリのシーン情報記憶部に記憶する（ＳＡ３）。次に、シーン情報記憶部に記憶している「シーン指定データ」と受信装置１００を識別する「ＴＶ識別情報」とを一体化して、ネットワークＩ／Ｆ１６２－１を介してクラウドサーバへ送信する（ＳＡ５）。なおＴＶ識別情報がシーン指定データに含まれている場合は一体化する必要はない。

一方、スマート装置３００においては、ユーザが、シーン指定ボタン２０１を操作する（ＳＡ２）と、シーン指定信号をインターフェース３１４が受信する。するとシステムコントローラ３０１は、スピーカ３１３をオンし、音声入力を可能とする（ＳＡ７）。

システムコントローラ３０１の制御の下で、音声を集音し、音声データとこの集音時の時間データとが「音声コマンド情報」としてメモリ（ＲＡＭ３０３）に格納される（ＳＡ８）。

次に「音声コマンド情報」と対応する受信装置１００の「ＴＶ識別情報」及び又は「リモコン識別情報」をサーバ４００へ送信する。なお、「音声コマンド情報」を送信する場合、スマート装置３００の「スピーカ識別情報」及び又は「リモコン識別情報」をサーバ４００へ送信してもよい。なお、「音声コマンド情報」にすでに「スピーカ識別情報」が含まれている場合は、上記送信時に「スピーカ識別情報」を改めて追加する必要はない。

なお音声コマンドに相当する用語としては、例えば、以下のような用語がある。
「今のシーンは、何処の撮影場所？」、「場所はどこ？」「今の人は誰？」、「今の車のメーカは？」、「今の車種は？」、「このホテルはどこ」、「このレストランはどこ
？」、「メーカは？」、「止めて」、「記録して」、「戻って」、「ストップ」などがある。また、記録再生装置からの再生映像に対するコマンドの場合、例えば、「一時停止」、「巻き戻し」、「早送り」、「スキップ」、画面を真っ黒にする「マスク」、「電源オフ」、などがある。

上記したステップＳＡ３，ＳＡ３－ＳＡ５、ＳＡ６は、受信装置１００内のシステム制御部１６１内の機能ブロックとして記述することができる。また上記したステップＳＡ３，ＳＡ７－ＳＡ９、ＳＡ６は、スマート装置３００内のシステムコントローラ３０１内の機能ブロックとして記述することができる。多数のテレビジョン受信装置、スマートスピーカから送信されたシーン指定データと音声コマンドは、システムコントローラ４２２の制御の下で、一旦、記憶部４２３に取り込まれる（バッファリングされる）。解析部４２４は、記憶部４２３に取り込まれた受信データを解析し、まず、番組毎にデータ整理を行う。本実施形態における解析部４２４は、受信装置１００やスマート装置３００から受信したシーン特定情報及びコマンドに基づいて、データベースを検索して、シーン特定情報に関連する関連提供情報を取得し、受信装置１００やスマート装置３００に出力する。

図７は、同実施形態に係るシステムの動作例を示す図であり、受信装置１００からサーバ４００へ「シーン指定データ」が送信され、スマート装置３００から「音声コマンド情報」が送信された場合のサーバ４００の動作例を示している。

サーバ４００は、先の「シーン指定データ」をバッファ４２３ａに一旦格納し、「音声コマンド情報」をバッファ４２３ｂに一旦格納する。「シーン指定データ」と「音声コマンド情報」とは、異なるテレビジョン装置とスマートスピーカからも次々と送信されてくる。

組み合わせエンジン４２４ａは、互いに対応する「シーン指定データ」と「音声コマンド情報」を、組み合わせ照合用データに基づいて組み合わせ、組となった「シーン指定データ」と「音声コマンド情報」をペア格納部４２３ｃに格納する。

ペア格納部４２３ｃに格納されている「音声コマンド情報」は、コマンド解析部４２４ｂにおいて解析され、音声コマンドの内容が把握される。

コマンド解析の結果、音声コマンドがＴＶ制御用コマンド（例えば、「一時停止」、「巻き戻し」、「早送り」、「スキップ」、画面を真っ黒にする「マスク」、「電源オフ」、など）であるのか、或は映像シーンに関する情報取得用のコマンド（例えば、今のシーンは、何処の撮影場所？」、「場所はどこ？」「今の人は誰？」、「今の車のメーカは？」、「今の車種は？」、「このホテルはどこ」、「このレストランはどこ？」、「メーカは？」・・など）であるのかの判定が行われる。

音声コマンドがＴＶ制御用コマンド４２３ｄであった場合、その制御用コマンドがバッファ４２３ｅに準備され、ＴＶ制御用として、対応する受信装置１００に送信される。

音声コマンドがシーン関連情報取得用コマンド４２３ｆであった場合、このコマンドを用いて、番組メタ情報記憶部４２３ｈから、コマンドに対応する情報が読み出され、バッファ４２３ｇに準備される。コマンドに対応する情報としては、例えば、監督名、プロデューサ名、俳優のプロローグ、観光地名所、等がある。これらの情報は、例えば音声情報として、スマート装置３００に音声応答情報として送信される。また、応答情報としてピクチャーインピクチャー（ＰＩＰ）用の映像データが送られてもよい。尚、番組メタ情報記憶部４２３ｈは、サーバ４００自身が番組情報や各種のメディア情報から関連情報を収集して蓄積した蓄積情報を記憶している。また、蓄積情報内には、各テレビジョン受信装置から視聴履歴なども収集されて蓄積されている。

上記したように、本実施形態では、映像シーンに対する情報を取得する音声コマンドをスマートスピーカに与える場合、前記音声コマンドの入力タイミングの即時性を実現し得る受信装置、サーバ、音声情報処理システム及び方法を提供することができる。

上記のシステムは以下のように記述することが可能である。
（１） 映像を出力するテレビジョン装置が、リモコンからのシーン指定信号を受信し、少なくとも、前記シーン指定信号を受信したときの前記映像のシーンの時間位置を示すシーン指定時間データと、前記シーンを含むコンテンツのコンテンツ情報とを「シーン指定データ」として、情報記録部に記録する手段と、
前記「シーン指定データ」をクラウドサーバへ送信する手段と、を有し、
少なくとも音声をピックアップする機能を有するスマート装置が、
前記リモコンからの前記シーン指定信号を受信し、音声検出機能をオンしてピックアップした音声信号と、前記ピックアップ時の音声検知時間データとを「音声コマンド情報」としてメモリに記憶する手段と、前記「音声コマンド情報」を前記クラウドサーバへ送信する手段と、を備えた音声情報処理システム。
（２）前記テレビジョン装置は、上記（１）において、前記映像のシーンの画像を、記憶する手段を備える。これにより、ユーザは、記憶したシーンを後で確認したり、この記憶したシーンに対して音声コマンドを実行したりすることができる。
（３）前記テレビジョン装置は、上記（１）又は（２）において、前記映像のシーンの画像を、小画面に一定時間表示する手段を備える。これにより、ユーザは、興味を持ったシーンを目視して音声コマンドを発話することができる。
（４）前記テレビジョン装置は、上記（１）乃至（３）のいずれかにおいて、前記クラウドサーバから送られてくる前記「音声コマンド情報」に含まれるコマンドを受け取り、前記コマンドに応じた動作の制御を行う制御手段（システム制御部１６１）を有する。これにより、ユーザは興味あるシーンの保存、繰り返し再生（スチール再生）などを行うことが可能となる。また当該シーンに対するチャプター設定などの編集処理を行うことも容易となる。
（５）前記スマート装置は、上記（１）乃至（４）のいずれかにおいて、前記クラウドサーバに送られた前記「音声コマンド情報」に含まれるコマンドに基づいて、前記クラウドサーバで取得された「音声データ」を受け取り、前記「音声データ」に対応した音声をスピーカより出力する。
通常のスマート装置３００は、音声コマンドを受け付ける前にトリガワードを受信する必要がある。このような通常のスマート装置３００の場合、ユーザが興味を持った瞬間のシーンを迅速に指定できないことがある。すなわち、興味を持った瞬間に音声コマンドを発したとしても、通常のスマート装置３００がコマンドを実行するのは、トリガワードと音声コマンドを受信し、音声認識によりコマンドを取り出した後になり、コマンドが実行されるシーンは、興味を持ったシーンよりも遅れたシーンになってしまう。本実施形態におけるスマート装置３００は、ユーザはシーンを指定してから音声コマンドを発するために、指定したシーンに対して音声コマンドを実行することができる。

例えば、テレビジョン放送の番組映像を視聴しているユーザ（視聴者）が、時々刻々表示される映像シーンについてさらなる関連情報を知りたい場合がある。関連情報とは、例えば映像シーンに出てきた出演者の名前、風景の場所（例えば地域名や住所など）の情報である。このような場合に、本実施形態によれば、ユーザの興味がある映像シーンに対して音声コマンドにより、関連情報を取得することが可能となる。
（第２の実施形態）
本実施形態においては、リモコン２００が出力するシーン指定信号を、受信装置１００が受信し、受信装置１００からスマート装置３００を起動させる起動命令を、サーバ４００を介してスマート装置３００に送信する場合の動作例について示す。本実施形態によって、スマート装置３００の状態をサーバ４００が認識することができ、スマート装置３００からのコマンドを適切に処理することが可能となる。

図８は、第２の実施形態に係るシステムのシーケンスチャートであり、ユーザ５と受信装置１００、サーバ４００、スマート装置３００間のデータなどのやり取り、各機能の処理のフローを表している。

ユーザ５は、受信装置１００で旅番組を視聴中に、すごく綺麗な草原をかっこよい車が走るシーンを見て、「この場所はどこか知りたい」、「この車のメーカを知りたい」と思ったとする。ユーザ５は、そのシーンを見た瞬間にリモコン２００のシーン指定ボタン２０１を押下する。（ステップＳ５１）。

受信装置１００において、システム制御部１６１は、リモコン２００から出力されるシーン指定信号をリモコンＩ／Ｆ１６２－２経由で受信すると（ステップＳ１０１）、シーン指定信号を受信したタイミングで表示器１７０、スピーカ１７１に出力されているコンテンツシーンに対するシーン指定時間データを取得する。シーン指定時間データは、例えば、シーンが表示された時の絶対時刻であってもよいし、コンテンツ開始からシーンが表示されるまでのカウント時刻（相対時間）であってもよい。また、シーン指定時間データは、受信装置１００が内部で備えている時計やカウンターで取得してもよいし、放送信号の番組情報等から取得してもよい。
また同時に、システム制御部１６１は、出力コンテンツに係る視聴コンテンツ情報を取得する。システム制御部１６１は、視聴コンテンツ情報とシーン指定時間データとを含めてシーン特定情報を作成する（ステップＳ１０２）。システム制御部１６１は、作成したシーン特定情報を、ネットワークＩ／Ｆ１６２－２からネットワーク５００経由でサーバ４００に送信する（ステップＳ１０３）。サーバ４００は、システム制御部１６１から送信されたシーン特定情報を受信し、記憶部４２３に格納する（ステップＳ１３１）。

さらに、受信装置１００において、システム制御部１６１は、スマート装置３００に対して音声コマンド取得機能を起動させるための起動信号をネットワークＩ／Ｆ１６２－２からネットワーク５００へ出力する（ステップＳ１０４）。起動信号は、一旦サーバ４００で受信された後、ネットワーク５００経由でスマート装置３００に転送される（ステップＳ１３２、Ｓ１４１）。このステップにより、スマート装置３００の状態をサーバ４００が管理することができる。なお、本実施形態においては、受信装置１００がスマート装置３００に対して明示的に起動信号を送信する例を示しているが、ステップＳ１０３で出力したシーン特定情報を起動信号として利用してもよい。

サーバ４００において、システムコントローラ４２２は、受信装置１００から起動信号を受信すると、データ処理のモードを変更する（ステップＳ１３２、Ｓ１３３）。このモード変更により、後段で受信するコマンドは、ステップＳ１３１で受信したシーン特定情報に対して実行するモードとなる（ステップＳ１３３）。なお、説明のためにステップＳ１３３として明示的にモード変更を示したが、例えば、システムコントローラ４２２は、ステップＳ１３１やＳ１３２によってシーン特定情報や起動信号を受信したら、後段で受信されるコマンドがシーン特定情報に対して実行するコマンドであると判断すれば、特にステップＳ１３３はなくてもよい。

スマート装置３００において、システムコントローラ４２２は、起動信号を受信すると、音声認識部３１０の音声コマンド取得機能を有効にする（ステップＳ１４２）。また、ステップＳ１４２において同時にモード変更を行っているが、スマート装置３００の動作が、通常の処理動作から変わること示している。スマート装置３００の通常の動作（通常モード）においては、トリガワードを受信したら音声コマンド取得機能を起動するが、本実施形態においては、スマート装置３００は起動信号をトリガにして、音声コマンド取得機能を起動する。なお、ステップＳ１４１において、システムコントローラ４２２は、起動信号を受信したら、音声コマンド取得機能を起動すればよいため、特にステップＳ１４２におけるモード変更の動作はなくてもよい。

スマート装置３００は、音声コマンド取得機能を起動した旨を、スピーカ３１３から音声でユーザに通知してもよい（ステップＳ１４３）。ユーザは、スピーカ３１３から音声コマンド取得機能が有効になった旨を聞くことで、音声コマンドの発話が可能になったと認識できる（ステップＳ５２）。

以上の手順により、ユーザ５は、リモコン２００から指定したシーンに対して音声コマンドを発することが可能になる。

図９は、同実施形態に係るシステムにおけるデータフローの一例示す図であり、ユーザ５が視聴中コンテンツのシーンを指定した後、指定したシーンに対して音声コマンドを発話できるようになるまでのシステムにおけるデータの流れを示している。

ユーザ５は、リモコン２００のシーン指定ボタン２０１を押下する（データラインＬ２０１、図８のステップＳ５１に相当）。リモコン２００がシーン指定信号を出力し、受信装置１００が受信する（データラインＬ２０２、図８のステップＳ１０３、Ｓ１３１に相当）。受信装置１００はシーン特定情報、起動信号を出力し、ネットワーク５００を介してサーバ４００がそれぞれ受信する（データラインＬ２０３、Ｌ２０４、図８のステップＳ１０３、Ｓ１３１、Ｓ１０４、Ｓ１３２に相当）。サーバ４００は、起動信号を出力し、ネットワーク５００を介してスマート装置３００が起動信号を受信する（データラインＬ２０５、Ｌ２０６、図８のステップＳ１３２、Ｓ１４１に相当）。スマート装置３００は、音声コマンド取得機能を起動した旨の音声通知を出力する（データラインＬ２０７、図８のステップＳ１４２、Ｓ５２に相当）。ユーザ５は、音声コマンド取得機能を起動した旨の音声通知を聞くと、スマート装置３００に対して音声コマンドを発話する（データラインＬ２０８、図８のステップＳ５３に相当）。

図８に戻り、ユーザ５は、音声コマンドを発話する（ステップＳ５３）。例えば、「この場所はどこか知りたい」というフレーズ（音声コマンド）を発話する。スマート装置３００において、マイク３１２が音声を受波すると、受波した音声に対して音声認識部３１０が音声認識を実施する（ステップＳ１４４、Ｓ１４５）。本実施形態においては、音声認識部３１０がスマート装置３００に設置されている場合を示しているが、ネットワーク５００上の外部の音声認識装置などを使用してもよい。音声認識部３１０は、音声認識により得たテキストデータに基づいて、音声コマンドに重畳された指令（コマンド）を取得する（ステップＳ１４６）。ここでコマンドの取得は、例えば、スマート装置２００が、テキストデータを外部の図示せぬテキスト変換装置に送信して、テキスト変換装置がコマンドに変換して、スマート装置２００に送り返すことでもよい。スマート装置２００は取得したコマンドをサーバ４００に送信し、サーバ４００はコマンドを受信する（ステップＳ１３４）。なお、ステップＳ１４６におけるテキスト変換装置は受信装置１００にあってもよく、この場合は、ステップＳ１４７におけるサーバ４００へのコマンドの送信は、受信装置１００が行う。また、ステップＳ１４６におけるテキスト変換装置はサーバ４００にあってもよく、この場合は、サーバ４００自身がコマンドの管理をすればよい。

サーバ４００は、ステップＳ１３１で記憶部４２３に格納したシーン特定情報とステップＳ１３４で受信したコマンドとに基づいて、コンテンツ関連情報を生成する（ステップＳ１３５）。具体的には、サーバ４００は、シーン特定情報からシーンを特定し、特定したシーンに対して受信したコマンドに係る処理を実施し、コンテンツ関連情報を得る。コンテンツ関連情報とは、特定したシーンに対するコマンドの結果であり、ユーザが発した音声コマンドに対する応答となる。例えば、「この場所はどこか知りたい」という音声コマンドに対する応答として、「長野県の八ヶ岳です」といったコンテンツ関連情報を生成する。コンテンツ関連情報は、必要に応じて、受信装置１００、スマート装置３００に送信される。受信装置１００がコンテンツ関連情報を受信した場合は、例えば、コンテンツ関連情報が文字情報として画面に表示されることでもよい。スマート装置３００がコンテンツ関連情報を受信した場合は、例えば、コンテンツ関連情報が音声で発せられることでもよい。

スマート装置３００が続けて次の音声コマンドを受波した場合、再度ステップＳ１４５に戻り、音声認識を実施し、コンテンツ関連情報を作成し、コンテンツ関連情報を受信装置１００やスマート装置３００に送信する（ステップＳ１４９のＹＥＳ）。例えば、１つ目の音声コマンドの後に、「さらに」、「続けて」などのキーワードが音声認識で取得された場合には、次の音声コマンドが来るものと判断し、再度ステップＳ１４５からの処理を繰り返してもよい。
一方、スマート装置３００は、例えば、ある一定時間以上、次の音声コマンドが来なかった場合、ステップＳ１３１で記憶部４２３に格納したシーン特定情報に対する音声コマンドの取得を終了し、通常のモードに戻る（ステップＳ１４９のＹＥＳ、Ｓ１５０）。スマート装置３００は、通常のモードに戻ると、その旨をサーバ４００に通知する。サーバ４００は、スマート装置３００が通常のモードに戻ったことを認識すると、自身のモードを、ステップＳ１３１、Ｓ１３２でシーン特定情報や起動信号を受信する前のモードに戻す（ステップＳ１３８）。

以上の手順により、ユーザ５は、リモコン２００から指定したシーンに対して音声コマンドを実行することができる。例えば、ユーザ５は、受信装置１００で番組を視聴中に、現れた物や風景に対して「この場所はどこか知りたい」、「この車のメーカを知りたい」と思ったら、リモコン２００からシーン指定ボタン２０１を押下してから、スマート装置３００に対して、「この場所はどこか知りたい」、「この車のメーカを知りたい」などの音声コマンドを発する。この手順により、ユーザが興味を持ったシーンに対して知りたい情報、例えば、「ここは奥多摩です」といった回答や、車のメーカのＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）などが、受信装置１００に表示されたり、スマート装置３００から音声で出力されたりする。
（変形例）
本変形例においては、リモコン２００からのシーン指定信号が出力された後、受信装置スマート装置３００を起動させる（モード変更）するための起動命令を送信する形態の例について示す。スマート装置３００を起動させた後の動作は、第１及び第２の実施形態に示したフローと同様である。

図１０は、変形例に係るシステムの第１のデータフロー例を示す図であり、ユーザ５が視聴中コンテンツのシーンを指定した後、指定したシーンに対して音声コマンドを発話できるようになるまでのシステムにおけるデータの流れを示している。

ユーザ５は、リモコン２００のシーン指定ボタン２０１を押下する（データラインＬ３０１）。リモコン２００がシーン指定信号を出力し、受信装置１００が受信する（データラインＬ３０２）。受信装置１００はスマート装置Ｉ／Ｆ１６２－３から起動信号を出力し、スマート装置３００はインターフェース部３１４で受信する（データラインＬ３０３）。受信装置１００は、リモコン２００からのシーン指定信号をトリガにシーン特定情報を取得し、ネットワーク５００を介してサーバ４００にシーン特定情報を出力する（データラインＬ３０４、Ｌ３０５）。スマート装置３００は、起動信号の受信をトリガに音声コマンド取得機能を起動し、「音声コマンド受付できます」など音声を出力する。（データラインＬ３０６）。ユーザ５は、音声コマンド取得機能を起動した旨の音声通知を聞くと、スマート装置３００に対して音声コマンドを発話する（データラインＬ３０７）。

図１１は、変形例に係るシステムの第２のデータフロー例を示す図であり、ユーザ５が視聴中コンテンツのシーンを指定した後、指定したシーンに対して音声コマンドを発話できるようになるまでのシステムにおけるデータの流れを示している。

ユーザ５は、リモコン２００のシーン指定ボタン２０１を押下する（データラインＬ４０１）。リモコン２００がシーン指定信号を出力し、受信装置１００のリモコンＩ／Ｆ１６２－２が受信する（データラインＬ４０２）。リモコンＩ／Ｆ１６２－２は、システム制御部１６１にシーン指定信号を出力する（データラインＬ４０３）。システム制御部１６１は、シーン指定信号に基づいて、スマート装置３００に起動信号を出力する（データラインＬ４０４）。受信装置１００は、リモコン２００からのシーン指定信号をトリガにシーン特定情報を取得し、ネットワーク５００を介してサーバ４００にシーン特定情報を出力する（データラインＬ４０５、Ｌ４０６）。スマート装置３００は、起動信号の受信をトリガに音声コマンド取得機能を起動し、「音声コマンド受付できます」など音声を出力する。（データラインＬ４０７）。ユーザ５は、音声コマンド取得機能を起動した旨の音声通知を聞くと、スマート装置３００に対して音声コマンドを発話する（データラインＬ４０８）。

図１２は、変形例に係るシステムの第３のデータフロー例を示す図であり、ユーザ５が視聴中コンテンツのシーンを指定した後、指定したシーンに対して音声コマンドを発話できるようになるまでのシステムにおけるデータの流れを示している。本変形例のデータフローは、第１の実施形態におけるデータフローに相当する。

ユーザ５は、リモコン２００のシーン指定ボタン２０１を押下する（データラインＬ１０１）。リモコン２００がシーン指定信号を出力し、受信装置１００が受信する（データラインＬ１０２）。また同時にスマート装置３００も、リモコン２００が出力するシーン指定信号を受信する（データラインＬ１０３）。受信装置１００は、リモコン２００からのシーン指定信号をトリガにシーン特定情報を取得し、ネットワーク５００を介してサーバ４００にシーン特定情報を出力する（データラインＬ１０４、Ｌ１０５）。スマート装置３００は、データラインＬ１０３におけるシーン指定信号の受信をトリガに音声コマンド取得機能を起動し、「音声コマンド受付できます」など音声を出力する。（データラインＬ１０６）。ユーザ５は、音声コマンド取得機能を起動した旨の音声通知を聞くと、スマート装置３００に対して音声コマンドを発話する（データラインＬ１０７）。

以上の変形例の手順により、ユーザ５は、リモコン２００から指定したシーンに対して音声コマンドを発することが可能になる。

以上述べた少なくとも１つの実施形態によれば、ユーザが指定する映像シーンに対して音声コマンドを実行処理する受信装置、サーバ及び音声情報処理システムを提供することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。さらにまた、請求項の各構成要素において、構成要素を分割して表現した場合、或いは複数を合わせて表現した場合、或いはこれらを組み合わせて表現した場合であっても本発明の範疇である。また、複数の実施形態を組み合わせてもよく、この組み合わせで構成される実施例も発明の範疇である。

また、図面は、説明をより明確にするため、実際の態様に比べて、各部の幅、厚さ、形状等について模式的に表される場合がある。ブロック図においては、結線されていないブロック間もしくは、結線されていても矢印が示されていない方向に対してもデータや信号のやり取りを行う場合もある。ブロック図に示される各機能や、フローチャート、シーケンスチャートに示す処理は、ハードウェア（ＩＣチップなど）、ソフトウェア（プログラムなど）、デジタル信号処理用演算チップ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、またはこれらのハードウェアとソフトウェアの組み合わせによって実現してもよい。また請求項を制御ロジックとして表現した場合、コンピュータを実行させるインストラクションを含むプログラムとして表現した場合、及び前記インストラクションを記載したコンピュータ読み取り可能な記録媒体として表現した場合でも本発明の装置を適用したものである。また、使用している名称や用語についても限定されるものではなく、他の表現であっても実質的に同一内容、同趣旨であれば、本発明に含まれるものである。

１００・・・テレビジョン受信装置、２００・・・リモコン、３００・・・スマート装置、４００・・・サーバ、５００・・・ネットワーク。

Claims (9)

1. 表示手段から映像コンテンツを出力中に、前記映像コンテンツの一画像であるシーンを指定するための制御信号であるシーン指定信号を受信する制御信号受信手段と、
   音声を受波し、前記音声に対して音声認識を実行して、前記シーンに係るコマンドを取得する音声コマンド取得手段を起動するための起動命令を前記シーン指定信号を受信した後に生成する制御手段とを具備した受信装置。
2. 前記制御手段は、前記シーン指定信号を受信したタイミングで前記表示手段から出力中であるシーンを特定し、特定した前記シーンの時間位置を示すシーン指定時間データと前記シーンを含む映像コンテンツに係る視聴コンテンツ情報とを取得する請求項１に記載の受信装置。
3. 前記制御手段は、前記シーン指定信号を受信したタイミングで前記表示手段から出力中であるシーンを特定し、特定した前記シーンの画像データを記憶手段に記憶する請求項１または請求項２のいずれか１項に記載の受信装置。
4. 前記シーン指定時間データ、前記視聴コンテンツ情報及び前記コマンドを外部サーバへ出力する送信手段と、
   前記外部サーバによる前記コマンドの実行結果を受信する受信手段とを具備した請求項２に記載の受信装置。
5. 前記音声コマンド取得手段を含むスマートスピーカを備える請求項１乃至請求項４のいずれか１項に記載の受信装置。
6. 前記音声コマンド取得手段は、外付けのスマートスピーカに含まれ、
   前記制御手段は、前記音声コマンド取得手段に対して電気通信回線経由で前記起動命令を送信し、前記コマンドの取得を起動させる請求項１乃至請求項４のいずれか１項に記載の受信装置。
7. 前記音声コマンド取得手段は、外付けのスマートスピーカに含まれ、
   前記制御手段は、前記音声コマンド取得手段に対してケーブルまたは近距離無線などの伝送手段により前記起動命令を送信し、前記コマンドの取得を起動させる請求項１乃至請求項４のいずれか１項に記載の受信装置。
8. 起動命令に基づいて、音声を受波し、前記音声に対して音声認識を実行して、コマンドを取得するスマートスピーカとデータ送受信が可能なサーバであって、
   映像コンテンツの一画像であるシーンの時間位置を示すシーン指定時間データと前記シーンに係る視聴コンテンツ情報とを受信した後に前記スマートスピーカの機能を起動するための起動命令を受信し、前記シーンに係る第１コマンドを受信する受信手段と、
   前記起動命令を前記スマートスピーカに出力する起動命令出力手段と、
   前記シーン指定時間データと前記視聴コンテンツ情報とに基づいて前記シーンを特定する解析手段と、
   前記特定したシーンに対して前記第１コマンドを実行し、実行結果を得るコマンド実行手段と、
   前記実行結果を出力する出力手段とを具備したサーバ。
9. 表示手段から映像コンテンツを出力中に、前記映像コンテンツの一画像であるシーンを指定するための制御信号であるシーン指定信号を受信する制御信号受信手段と、
   前記シーン指定信号を受信した後に、起動命令を生成し、前記シーン指定信号を受信したタイミングに前記表示手段から出力中であるシーンを特定し、特定した前記シーンの時間位置を示すシーン指定時間データと視聴コンテンツ情報とを取得する制御手段と、
   前記起動命令と前記シーン指定時間データと前記視聴コンテンツ情報を出力する出力手段とを備えた受信装置と、
   前記起動命令を受信する手段と、
   音声を受波し、前記音声に対して音声認識を実行し、前記音声認識の結果から前記シーンに係るコマンドを取得し、前記コマンドを出力する音声コマンド取得手段とを備えた音声コマンド取得装置と、
   前記起動命令と前記シーン指定時間データと前記視聴コンテンツ情報と前記コマンドとを受信する受信手段と、
   前記シーン指定時間データと前記視聴コンテンツ情報とに基づいて前記シーンを特定する解析手段と、
   前記シーンに対して前記コマンドを実行し、実行結果を得るコマンド実行手段と、
   前記実行結果を出力する出力手段とを備えたサーバとを具備した音声情報処理システム。

Images