JP7158564B2 - 情報処理装置、サーバ装置、ユーザ装置及び情報処理システム - Google Patents

Description

本発明は、情報処理装置、サーバ装置、ユーザ装置及び情報処理システムに関する。

特許文献１には、表示部に表示されるコンテンツをキーワードに変換し、ユーザの行動履歴に基づいてキーワードを絞り込み、絞り込んだキーワードに関する情報を表示させるためのアイコンを生成する技術が開示されている。また、特許文献２には、ユーザの行動履歴に基づいて、ユーザの関心のある物体の特徴量を特定し、特定した特徴量を用いて、表示される物体の画像を絞り込み、絞り込んだ物体の画像に対してコメントを行う技術が開示されている。

特開２０１５―１５４１９５号公報 特開２０１４－１６８８２号公報

従来の技術では、キーワードの絞り込み処理と物体の画像の絞り込み処理の各々にかかる処理負荷をどのように分散するかについて開示されていなかった。

以上の課題を解決するために、本発明の好適な態様に係る情報処理装置は、ユーザの行動履歴を示す行動情報と第１の絞り込みの程度とに基づいて、複数の物体の画像を動画から特定し、特定された複数の物体の画像の各々についてコメントの対象の候補となる候補キーワードを生成するキーワード生成部と、前記行動情報と第２の絞り込みの程度に基づいて、コメントの対象となる一又は複数の対象キーワードを前記キーワード生成部によって生成された複数の候補キーワードから特定する特定部と、前記一又は複数の対象キーワードの各々について、当該対象キーワードに関連するコメントを生成するコメント生成部と、前記第１の絞り込みの程度と前記第２の絞り込みの程度とを、前記キーワード生成部及び前記特定部の処理に関する処理情報に応じて調整する調整部とを備える。

また、以上の課題を解決するために、本発明の好適な態様に係る情報処理システムは、ユーザが管理するユーザ装置と、サーバ装置とを備える情報処理システムであって、前記ユーザ装置は、前記ユーザの行動履歴を示す行動情報と第１の絞り込みの程度とに基づいて、複数の物体の画像を動画から特定し、特定された複数の画像の各々についてコメントの対象の候補となる候補キーワードを生成するキーワード生成部と、前記行動情報、前記キーワード生成部によって生成された複数の候補キーワード、及び前記キーワード生成部の処理に関する処理情報を前記サーバ装置へ送信し、前記サーバ装置から送信されるコメントを受信する第１通信装置と、前記コメントを表示装置に表示させる表示制御部と、を備え、前記サーバ装置は、前記ユーザ装置から送信される前記行動情報、前記複数の候補キーワード及び前記キーワード生成部の処理に関する処理情報を受信し、前記コメントを前記ユーザ装置へ送信する第２通信装置と、前記行動情報と第２の絞り込みの程度とに基づいて、コメントの対象となる一又は複数の対象キーワードを前記複数の候補キーワードから特定する特定部と、前記一又は複数の対象キーワードの各々について、当該対象キーワードに関連するコメントを前記コメントとして生成するコメント生成部と、前記第１の絞り込みの程度と前記第２の絞り込みの程度とを、前記キーワード生成部の処理に関する処理情報及び前記特定部の処理に関する処理情報に応じて調整する調整部とを備える。

本発明に係る情報処理装置又は情報処理システムによれば、複数の物体の画像を特定する絞り込みの処理負荷と複数の候補キーワードから対象キーワードを特定する絞り込みの処理負荷とを処理能力に応じて調整することができる。

本発明の第１実施形態に係るサービスシステムの全体構成を示すブロック図である。 同実施形態に用いるサーバ装置のハードウェア構成を例示するブロック図である。 同実施形態に用いるサーバ装置の機能を示す機能ブロック図である。 同実施形態における物体の画像の一例を示す説明図である。 同実施形態に用いるサーバ装置の動作を示すフローチャートである。 第２実施形態に用いるユーザ装置のハードウェア構成を例示するブロック図である。 第２実施形態に用いるユーザ装置の機能を示す機能ブロック図である。 同実施形態に用いるユーザ装置の動作を示すフローチャートである。 第３実施形態に用いるサーバ装置のハードウェア構成を例示するブロック図である。 同実施形態に用いるサーバ装置の機能を示す機能ブロック図である。 同実施形態に用いるユーザ装置のハードウェア構成を例示するブロック図である。 同実施形態に用いるユーザ装置の機能を示す機能ブロック図である。 同実施形態に用いるサーバ装置及びユーザ装置の各々の動作を示すフローチャートである。

[１．第１実施形態]
［１．１．サービスシステムの構成］
図１は、本発明の第１実施形態に係るサービスシステムの全体構成を示すブロック図である。図１に示されるサービスシステム１は、動画の配信サービスを提供する。例えば、動画の配信サービスは、映画又は地上波デジタル放送のコンテンツ等を提供する。

図１に例示するように、サービスシステム１は、ユーザＵ_1～ユーザＵ_mが管理するユーザ装置２０_1～２０_m（ｍは１以上の整数）と、ネットワークＮＷと、サーバ装置１０とを備える。ネットワークＮＷは移動体通信網又はインターネット等を含む電気通信回線である。以下の説明では、同種の要素を区別しない場合には、ユーザ装置２０、ユーザＵのように、参照符号のうちの共通番号だけを使用する。

ユーザ装置２０は、各種の情報を処理する情報処理装置である。ユーザ装置２０は、例えば、スマートフォン又はタブレット端末等の可搬型の情報処理装置である。但し、ユーザ装置２０としては、任意の情報処理装置を採用することができる。ユーザ装置２０は、例えば、パーソナルコンピュータ等の端末型の情報処理装置であってもよい。

ユーザ装置２０は、ネットワークＮＷを介して、サーバ装置１０と通信可能である。ユーザ装置２０は、サーバ装置１０から送信される画像信号Ｓａを受信して当該画像信号Ｓａに応じた画像を表示したり、或いは画像信号Ｓａをテレビジョン受像機３０に送信してテレビジョン受像機３０に画像を表示させることができる。また、ユーザ装置２０は、ネットワークＮＷを介して、行動情報をサーバ装置１０に送信する。行動情報は、ユーザの行動履歴を示す。行動情報は、ユーザの位置を示す位置情報、ユーザの物品又はサービスの購買に関する購買情報、ｗｅｂの閲覧に関する閲覧情報、及び動画又は音楽の再生に関する再生情報の各々に、時間情報を対応付けた情報である。

サーバ装置１０は、動画を示す画像信号Ｓａをユーザ装置２０へ送信する動画配信機能と、コメント生成機能とを有する情報処理装置である。コメント生成機能とは、画像信号Ｓａの示す動画の一画面の画像に含まれる複数の物体の画像からユーザＵの関心のある物体の画像を当該ユーザの行動履歴に基づいて絞り込み、絞り込んだ物体の画像についてのコメントを生成する機能である。

［１．２．サーバ装置１０の構成］
図２は、サーバ装置１０のハードウェア構成を例示するブロック図である。サーバ装置１０は、処理装置１１Ａ、記憶装置１２Ａ、通信装置１４Ａ、及びバス１９を具備するコンピュータシステムにより実現される。処理装置１１Ａ、記憶装置１２Ａ、及び通信装置１４Ａは、情報を通信するためのバス１９で接続される。バス１９は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。なお、サーバ装置１０の各要素は、単数又は複数の機器で構成され、サーバ装置１０の一部の要素は省略されてもよい。

処理装置１１Ａは、サーバ装置１０の全体を制御するプロセッサであり、例えば単数又は複数のチップで構成される。処理装置１１Ａは、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成される。なお、処理装置１１Ａの機能の一部又は全部は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで実現されてもよい。処理装置１１Ａは、各種の処理を並列的又は逐次的に実行する。

記憶装置１２Ａは、処理装置１１Ａが読取可能な記録媒体である。記憶装置１２Ａは、処理装置１１Ａが実行する制御プログラムＰＲａを含む複数のプログラム、特徴量テーブルＴＢＬａ、コメントテーブルＴＢＬｂ、サービスデータＤＳ、及び処理装置１１Ａが使用する各種のデータを記憶する。記憶装置１２Ａは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、ＲＡＭ（Random Access Memory）等の記憶回路の１種類以上で構成される。

特徴量テーブルＴＢＬａは、物体の種類を示す単語と特徴量とを対応付けて記憶する。物体の種類を示す単語は、例えば、マルチーズ(Maltese dogs)、ワイン等の名詞である。特徴量は物体の形状に関する第１の特徴量及び物体の色に関する第２の特徴量を含む。例えば、マルチーズという単語に対応付けて特徴量テーブルＴＢＬａに記憶されている特徴量は、マルチーズの形状に関する第１の特徴量とマルチーズの色に関する第２の特徴量を含む。また、液体のように特定の形状を有さない物体については、特徴量テーブルＴＢＬａには当該物体の種類を示す単語に対応付けて、当該物体を収納する容器の形状に関する第１の特徴量と当該物体の色に関する第２の特徴量が記憶されている。例えば、ワインという単語に対応付けて特徴量テーブルＴＢＬａに記憶されている特徴量は、ワインボトルの形状に関する第１の特徴量とワインの色に関する第２の特徴量を含む。

サービスデータＤＳは、ネットワークＮＷを介してサーバ装置１０からユーザ装置２０にストリーミングにより配信される動画を表す動画データである。サービスデータＤＳは、圧縮されており、Ｉフレーム(I-frame: Intra-coded frame)、Ｐフレーム(P-frame: Predicted Frame)、及びＢフレーム(B-frame: Bi-directional Predicted Frame)を有する。Ｉフレームは非圧縮のフレームである。Ｐフレーム及びＢフレームの各々は差分のフレームである。処理装置１１Ａは、サービスデータＤＳを伸長して画像信号Ｓａを生成する。

通信装置１４Ａの一例としては、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード又は通信モジュールが挙げられる。通信装置１４Ａは、処理装置１１Ａによる制御の下、ネットワークＮＷを介してユーザ装置２０と通信する。通信装置１４Ａは、画像信号Ｓａをユーザ装置２０へ送信する。また、通信装置１４Ａは、ユーザ装置２０から送信される行動情報を受信し、コメント生成機能により生成したコメントをユーザ装置２０へ送信する。

［１．３．サーバ装置１０の機能］
図３は、サーバ装置１０の機能を示す機能ブロック図である。処理装置１１Ａは記憶装置１２Ａから制御プログラムＰＲａを読み取り実行することによって、キーワード生成部１１０Ａ、特定部１２０、コメント生成部１３０、及び調整部１４０として機能する。

キーワード生成部１１０Ａは、ネットワークＮＷを介してユーザ装置２０から受信した行動情報と第１の絞り込みの程度とに基づいて、ユーザの関心のある複数の物体の画像を動画から特定する。

キーワード生成部１１０Ａには、調整部１４０から第１制御情報ＳＤａが与えられる。第１制御情報ＳＤａは、第１の絞り込みの程度を示す情報の一例である。第１制御情報ＳＤａは、キーワード生成部１１０Ａにおける絞り込みの程度を指定する。第１制御情報ＳＤａは、例えばレベル１～３を指定する。レベル１は絞り込みの程度「低」を意味する。レベル２は絞り込みの程度「中」を意味する。レベル３は絞り込みの程度「高」を意味する。絞り込みの程度が「低」とは、行動情報の示す行動履歴を広く浅く解析して絞り込みを行うことを意味する。絞り込みの程度が「高」とは、行動情報の示す行動履歴を深く解析して絞り込みを行うことを意味する。第１制御情報ＳＤａによりレベル１が指定された場合、絞り込みの程度が低いので、キーワード生成部１１０Ａにより生成される候補キーワードＫＷの数は多くなる。一方、第１制御情報ＳＤａによりレベル３が指定された場合、絞り込みの程度が高いので、キーワード生成部１１０Ａにより絞り込まれる候補キーワードＫＷの数は少なくなる。絞り込みの程度が高いほど行動履歴を深く解析するので、キーワード生成部１１０Ａの処理負荷は高くなる。

図３に示すように、キーワード生成部１１０Ａは、決定部１１１、特徴量生成部１１２、抽出部１１３Ａ、及び変換部１１４を備える。

決定部１１１は、物体に対するユーザの関心の程度を評価した結果と第１制御情報ＳＤａとに基づいて、動画から抽出する物体の種類を決定する。物体に対するユーザの関心の程度の評価には評価関数が用いられる。評価関数は、所定期間（例えば、過去１ヶ月）の行動情報の示す時間情報、位置情報、購買情報、閲覧情報、及び再生情報を変数とし、ユーザの関心がある物体についての関心の程度を評価値として出力する。第１制御情報ＳＤａの示す絞り込みの程度が低いほど多くの物体の種類が決定される。
具体的には、決定部１１１は、絞り込みの程度に応じた閾値と評価値とを比較することによって、動画から抽出する物体の種類を決定する。例えば、再生情報がサッカーの試合の動画が再生されたことを示すものとする。また、再生されたサッカーの試合は、サッカーチームＡとサッカーチームＢとの対戦であったものとする。また、購買情報がサッカーチームＡに属する特定のサッカー選手のユニフォームの購入を示すものとする。さらに、「サッカー」に関する物体についての評価値をＸ１、「サッカーチームＡ」に関する物体についての評価値をＸ２、特定のサッカー選手に関する物体についての評価値をＸ３とする。この場合、「サッカー」の概念が最も広く、「特定のサッカー選手」の概念が最も狭い。そして、「サッカーチームＡ」の概念は、「サッカー」の概念と「特定のサッカー選手」の概念の中間にある。すなわち、ユーザの関心は、「特定のサッカー選手」、「サッカーチームＡ」、「サッカー」の順に高いと言える。評価値は、Ｘ３＞Ｘ２＞Ｘ１となる。
ここで、絞り込みの程度がレベル１に対応する閾値がＲ１であるとする。絞り込みの程度がレベル２に対応する閾値がＲ２であるとする。絞り込みの程度がレベル３に対応する閾値がＲ３であるとする。さらに、Ｘ３＞Ｒ３＞Ｘ２＞Ｒ２＞Ｘ１＞Ｒ１であるとする。
絞り込みの程度がレベル１の場合、決定部１１１は動画から抽出する物体の種類として「サッカーに関する物体」を決定する。絞り込みの程度がレベル２の場合、決定部１１１は動画から抽出する物体の種類として「サッカーチームＡに関する物体」を決定する。絞り込みの程度がレベル３の場合、決定部１１１は動画から抽出する物体の種類として「特定のサッカー選手に関する物体」を決定する。決定部１１１は、絞り込みの程度に応じた閾値と評価値とを比較することによって、動画から抽出する物体の種類を決定する。

特徴量生成部１１２は、決定部１１１により決定された物体の種類について、当該種類の物体の特徴量を生成する。特徴量生成部１１２は、決定部１１１により決定された物体の種類に対応する特徴量を特徴量テーブルＴＢＬａから読み出すことで、物体の特徴量を生成する。

抽出部１１３Ａは、特徴量生成部１１２により生成された特徴量を有する物体の画像をサービスデータＤＳから抽出する。抽出部１１３Ａは、サービスデータＤＳに含まれるＩフレーム、Ｐフレーム及びＢフレームのうち、Ｉフレームの画像から物体の画像を抽出する。１つのＩフレームの画像には、多数の物体の画像が存在する。Ｉフレームの画像が、図４に示されるものである場合、抽出部１１３Ａは、例えば画像ＯＢ１～ＯＢ５を抽出する。

変換部１１４は、抽出部１１３Ａによって抽出された複数の物体の画像ＯＢの各々についてコメントの対象の候補となる候補キーワードＫＷを生成する。具体的には、変換部１１４は、複数の物体の画像ＯＢの各々を候補キーワードＫＷに変換する。変換部１１４は、例えば、機械学習により学習された画像認識モデルを用いて、物体の画像ＯＢを候補キーワードＫＷに変換する。例えば、図４に示される画像ＯＢ１は「ワイン」に、画像ＯＢ２は「ワイングラス」に、画像ＯＢ３は「時計」に、画像ＯＢ４は「キャンドル」に、画像ＯＢ５は「洋食」に夫々変換される。

特定部１２０は、行動情報を用いた絞り込みにより、キーワード生成部１１０Ａよって生成された複数の候補キーワードＫＷからコメントの対象となる一又は複数の対象キーワードＫＸを特定する。前述したように、行動情報には、時間情報、位置情報、購買情報、閲覧情報、及び再生情報が含まれる。特定部１２０は、複数の候補キーワードＫＷの各々について、時間情報、位置情報、購買情報、閲覧情報、及び再生情報を変数として評価関数により評価値を算出する。特定部１２０は、複数の候補キーワードＫＷを評価値の高い順にランク付けする。次いで、特定部１２０は、コメントの対象となる一又は複数の対象キーワードＫＸを、複数の候補キーワードＫＷの各々のランクと第２制御情報ＳＤｂとに基づいて特定する。第２制御情報ＳＤｂは、第２の絞り込みの程度を示す情報の一例である。

第２制御情報ＳＤｂは調整部１４０により生成され、調整部１４０から特定部１２０に与えられる。第２制御情報ＳＤｂは、第１制御情報ＳＤａと同様に、例えばレベル１～３を指定する。レベル１、レベル２及びレベル３の意味は、前述した第１制御情報ＳＤａにおけるレベル１、レベル２及びレベル３の各々の意味と同じである。

特定部１２０は、第２制御情報ＳＤｂの示す絞り込みの程度が低いほど、多くの対象キーワードＫＸを特定する。第２制御情報ＳＤｂによりレベル１が指定された場合、絞り込みの程度が低いので、特定部１２０における絞り込みにより得られる対象キーワードＫＸの数は多くなる。一方、第２制御情報ＳＤｂによりレベル３が指定された場合、絞り込みの程度が高いので、特定部１２０における絞り込みにより得られる対象キーワードＫＸの数は少なくなる。絞り込みの程度が高いほど、特定部１２０の処理負荷は高くなる。

コメント生成部１３０は、一又は複数の対象キーワードＫＸの各々について、関連するコメントを生成する。コメントとは、対象キーワードＫＸについての説明又は解説の意味である。また、コメントはレコメンドを含む概念である。このため、対象キーワードＫＸに関連してユーザＵに購入を勧める商品及び商品を取り扱う店舗に関する情報がコメントに含まれる。コメント生成部１３０は、キーワードに対応付けてコメントを記憶したコメントテーブルＴＢＬｂから対象キーワードＫＸに対応するコメントを読み出すことによって、コメントを生成する。あるいは、コメント生成部１３０は、ネットワークＮＷに接続される検索サイトにアクセスして対象キーワードＫＸに関連する情報を取得し、取得した情報をコメントとして用いてもよい。コメント生成部１３０により生成されたコメントは、例えば電子メール等で通信装置１４Ａによってユーザ装置２０へ送信される。

調整部１４０は、キーワード生成部１１０Ａにおいて物体の種類を絞り込む程度（第１の絞り込みの程度）と、特定部１２０において複数の候補キーワードＫＷから一又は複数の対象キーワードＫＸを絞り込む程度（第２の絞り込みの程度）とを、キーワード生成部１１０Ａの処理及び特定部１２０の処理に関する処理情報に応じて調整する。処理情報は、キーワード生成部１１０Ａの処理能力及び特定部１２０の処理能力を示す情報である。キーワード生成部１１０Ａの処理能力及び特定部１２０の処理能力は、ＣＰＵの処理能力、或いはキーワード生成部１１０Ａの機能と特定部１２０の機能とに夫々割り当てられるＣＰＵのリソースに応じて変化する。

調整部１４０は、ＣＰＵの処理能力が予め定められた閾値を上回っている場合、又は特定部１２０の機能に割り当てられるリソースがキーワード生成部１１０Ａの機能に割り当てられるリソースよりも多い場合には、特定部１２０の処理能力が高いと判定する。リソースの大小は、例えば、コア数及びスレッド数の少なくとも一方の大小によって定まる。例えば、キーワード生成部１１０Ａに割り当てられるコア数が「１」且つスレッド数が「１」であり、特定部１２０に割り当てられるコア数が「１」且つスレッド数が「２」であることを想定する。この場合、特定部１２０の処理能力は、キーワード生成部１１０Ａの処理能力よりも高いと判定する。
特定部１２０の処理能力が高いと判定した場合、調整部１４０は、キーワード生成部１１０Ａにおける絞り込みの程度を低くし、特定部１２０における絞り込みの程度を高くする。具体的には、調整部１４０は、レベル１を示す第１制御情報ＳＤａと、レベル３を示す第２制御情報ＳＤｂとを生成する。レベル１を示す第１制御情報ＳＤａが与えられることで、キーワード生成部１１０Ａの処理負荷は低くなる。一方、レベル３を示す第２制御情報ＳＤｂが与えられることで、特定部１２０の処理負荷は高くなる。

特定部１２０の処理能力が低いと判定した場合には、調整部１４０は、キーワード生成部１１０Ａにおける絞り込みの程度を高くし、特定部１２０における絞り込みの程度を低くする。具体的には、調整部１４０は、レベル３を示す第１制御情報ＳＤａと、レベル１を示す第２制御情報ＳＤｂとを生成する。レベル３を示す第１制御情報ＳＤａを与えられることで、キーワード生成部１１０Ａの処理負荷は高くなる。一方、レベル３を示す第２制御情報ＳＤｂを与えられることで、特定部１２０の処理負荷は低くなる。

特定部１２０の処理能力が高い場合にキーワード生成部１１０Ａにおける絞り込みの程度を低くし、特定部１２０における絞り込みの程度を高くする理由は次の通りである。キーワード生成部１１０Ａは、ユーザＵの関心のある物体を、抽出部１１３Ａにおいて画像を解析することによって抽出する。しかし、画像処理を用いた物体の抽出の精度は低い。従って、特定部１２０の処理能力が高い場合には、キーワード生成部１１０Ａにおける絞り込みの程度を低くする。絞り込みの程度を低くすることによって、絞り込みの程度が高い場合と比較して、キーワード生成部１１０Ａで生成される候補キーワードＫＷの数は増加する。しかし、特定部１２０の処理能力が高いので、特定部１２０は、増加した候補キーワードＫＷの中から、対象キーワードＫＸを絞り込むことができる。
一方、特定部１２０の処理能力が低い場合、処理能力を上回る数の候補キーワードＫＷが生成されると、特定部１２０の処理に遅延が発生する。この結果、適切なタイミングでコメントを生成することが困難になる。このような場合には、候補キーワードＫＷの精度を犠牲にしてキーワード生成部１１０Ａが生成する候補キーワードＫＷの数を減少させることが望ましい。
調整部１４０は、キーワード生成部１１０Ａの処理能力及び特定部１２０の処理能力に応じて、キーワード生成部１１０Ａにおいて物体の種類を絞り込む程度と、特定部１２０において複数の候補キーワードＫＷから一又は複数の対象キーワードＫＸを絞り込む程度とを、調整する。この結果、特定部１２０コメントの的確性が向上する。また、処理の遅延が抑制されることによって、適切なタイミングでコメントが生成される。
さらに、キーワード生成部１１０Ａの処理能力と、特定部１２０の処理能力とは、動的に変更されることがある。処理能力が動的に変更される例としては、処理装置１１Ａの処理負荷の増加に伴い、キーワード生成部１１０Ａに割り当てられるリソースと特定部１２０に割り当てられるリソースが減少する場合である。このような場合、調整部１４０は、キーワード生成部１１０Ａの処理能力及び特定部１２０の処理能力に応じて、キーワード生成部１１０Ａの絞り込みの程度と、特定部１２０の絞り込みの程度とを、調整する。そのため、コメントの的確性が向上する。コメントが適切なタイミングで生成される。

［１．４．サーバ装置１０の動作］
次に、サーバ装置１０の動作について説明する。図５は、サーバ装置１０の動作を示すフローチャートである。

まず、処理装置１１Ａは、処理情報に応じて、第１制御情報ＳＤａと第２制御情報ＳＤｂとを生成する（ステップＳ１）。サーバ装置１０は、ユーザ装置２０に比較して処理能力の高いＣＰＵを有し、当該ＣＰＵの処理能力は所定の閾値を上回っている。ステップＳ１において処理装置１１Ａは、特定部１２０の能力が高いと判定し、レベル１を示す第１制御情報ＳＤａと、レベル３を示す第２制御情報ＳＤｂと、を生成する。

次に、処理装置１１Ａは、行動情報とステップＳ１にて生成した第１制御情報ＳＤａに応じた絞り込みの程度とに基づいて、物体の種類を決定する。本動作例のステップＳ１において生成された第１制御情報ＳＤａはレベル１を示すので、ステップＳ２における物体の絞り込みの程度は低くなる。

次に、処理装置１１Ａは、ステップＳ２にて決定した物体の種類に対応する特徴量を特徴量テーブルＴＢＬａから読み出す（ステップＳ３）。

次に、処理装置１１Ａは、ステップＳ３にて読み出した特徴量に基づいて、サービスデータＤＳの示す動画のＩフレームから物体の画像を抽出する（ステップＳ４Ａ）。１フレームの画像には、複数のオブジェクト画像が存在するのが通常である。このため、処理装置１１Ａは、ステップＳ４Ａの処理において複数の物体の画像を抽出する。

次に、処理装置１１Ａは、ステップＳ４Ａにて抽出した複数の物体の画像の各々を候補キーワードＫＷに変換する（ステップＳ５）。

次に、処理装置１１Ａは、行動情報と第２制御情報ＳＤｂとに基づいて、ステップＳ５の処理により得られた複数の候補キーワードＫＷのうちから、対象キーワードＫＸを特定する（ステップＳ６）。本動作例のステップＳ１において生成された第２制御情報ＳＤｂはレベル３を示すので、ステップＳ６では行動情報を深く解析する絞り込みが行われる。

次に、処理装置１１Ａは、対象キーワードＫＸに関連するコメントを生成する（ステップＳ７）。ステップＳ７の処理において、処理装置１１Ａは対象キーワードＫＸに対応するコメントをコメントテーブルＴＢＬｂから読み出すことによってコメントを生成する。処理装置１１Ａは、生成したコメントを電子メール等でユーザ装置２０へ送信する。

また、処理装置１１Ａは、ステップＳ１の処理において調整部１４０として機能し、ステップＳ２からステップＳ５の処理においてキーワード生成部１１０Ａとして機能する。より詳細には、処理装置１１Ａは、ステップＳ２の処理において決定部１１１として機能し、ステップＳ３の処理において特徴量生成部１１２として機能し、ステップＳ４Ａの処理において抽出部１１３Ａとして機能し、ステップＳ５の処理において変換部１１４として機能する。さらに、処理装置１１Ａは、ステップＳ６の処理において特定部１２０として機能し、ステップＳ７の処理においてコメント生成部１３０として機能する。

本実施形態のサーバ装置１０は、コメント生成機能を有する情報処理装置、すなわち本発明の情報処理装置、の一例である。サーバ装置１０は、ユーザの行動履歴を示す行動情報に基づいて、複数の物体に各々対応する複数の画像を動画から絞り込み、絞りこまれた複数の画像の各々についてコメントの対象の候補となる候補キーワードを生成するキーワード生成部１１０Ａを備える。また、サーバ装置１０は、行動情報に基づいて、キーワード生成部１１０Ａによって生成された複数の候補キーワードを絞り込むことにより、コメントの対象となる一又は複数の対象キーワードを特定する特定部１２０を備える。さらに、サーバ装置１０は、一又は複数の対象キーワードの各々について、当該対象キーワードに関連するコメントを生成するコメント生成部１３０と、キーワード生成部１１０Ａにおいて複数の画像を絞り込む程度と、特定部１２０において複数の候補キーワードを絞り込む程度とを、キーワード生成部１１０Ａ及び特定部１２０の処理に関する処理情報に応じて調整する調整部１４０と、を備える。

この態様によれば、特定部１２０の処理能力に応じてキーワード生成部１１０Ａにおける絞り込みの程度と特定部１２０における絞り込みの程度とを調整することができる。上記実施形態のサーバ装置１０では、特定部１２０の処理能力が高いため、キーワード生成部１１０Ａにおける絞り込みの程度を低く、特定部１２０における絞り込みの程度を高く調整することで、コメントの的確性を向上させることができる。

［２．第２実施形態］
第２実施形態のサービスシステム１では、サーバ装置１０は動画配信機能のみを有し、ユーザ装置２０がコメント生成機能を有する。

図６は、第２実施形態のユーザ装置２０のハードウェア構成例を示す図である。ユーザ装置２０は、処理装置１１Ｂ、記憶装置１２Ｂ、通信装置１４Ｂ、表示制御部１５、及びバス１９を具備する。ユーザ装置２０は、処理装置１１Ｂ、記憶装置１２Ｂ、通信装置１４Ｂ、表示制御部１５、及びバス１９の他に、表示装置とスピーカとを含む出力装置、タッチパネル等の入力装置、近距離無線通信装置及びＧＰＳ装置を含んでもよい。近距離無線通信装置とは、近距離無線通信によって他の装置と通信する機器である。近距離無線通信には、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、又は、ＷｉＦｉ（登録商標）等が挙げられる。ＧＰＳ装置とは、複数の衛星からの電波を受信し、受信した電波から位置情報を生成する機器である。

処理装置１１Ｂ、記憶装置１２Ｂ、及び通信装置１４Ｂの各々は、第１実施形態における処理装置１１Ａ、記憶装置１２Ａ、及び通信装置１４Ａの各々に対応する。記憶装置１２Ｂは、制御プログラムＰＲａに代えて制御プログラムＰＲｂを記憶している点と、行動情報を記憶している点と、サービスデータＤＳを記憶していない点と、で記憶装置１２Ａと相違する。通信装置１４Ｂは、処理装置１１Ｂによる制御の下、サーバ装置１０と通信する点で通信装置１４Ａと相違する。通信装置１４Ｂは、サーバ装置１０からネットワークＮＷを介して送信されてくる画像信号Ｓａを受信する。

表示制御部１５は、表示装置又はテレビジョン受像機３０の作動制御を行う。表示制御部１５は、画像信号Ｓａの示す動画を表示装置又はテレビジョン受像機３０に表示させる。また、表示制御部１５は、コメント生成機能により生成したコメントの画像を動画に対するオーバレイ用の画像として生成し、動画のフレームに当該オーバレイ用の画像を重ねて表示装置又はテレビジョン受像機３０に表示させる。なお、コメントの表示は、動画の視聴中にリアルタイムで行われる態様には限定されず、動画の視聴終了後に行われてもよい。

図７は第２実施形態の処理装置１１Ｂの機能を示す機能ブロック図である。処理装置１１Ｂは記憶装置１２Ｂから制御プログラムＰＲｂを読み取り実行することによって、キーワード生成部１１０Ｂ、特定部１２０、コメント生成部１３０、及び調整部１４０として機能する。また、第２実施形態の処理装置１１Ｂにおいては、記憶装置１２Ｂに記憶されている行動情報がキーワード生成部１１０Ｂ及び特定部１２０に与えられる。

図７に示されるようにキーワード生成部１１０Ｂは、決定部１１１、特徴量生成部１１２、抽出部１１３Ｂ、及び変換部１１４を備える。抽出部１１３Ｂには、ネットワークＮＷを介して受信した画像信号Ｓａが供給される。画像信号Ｓａは複数のフレームから構成される。画像信号ＳａはサービスデータＤＳを伸長して得られた信号であるから、画像信号Ｓａの表す各フレームには、Ｉフレーム、Ｐフレーム及びＢフレームの区別はない。抽出部１１３Ｂは、画像信号Ｓａの表す各フレームの画像から決定部１１１により決定された種類の物体の画像を抽出する点で第１実施形態の抽出部１１３Ａと相違する。

次に、第２実施形態のユーザ装置２０の動作について説明する。図８は、第２実施形態のユーザ装置２０の動作を示すフローチャートである。第２実施形態のユーザ装置２０において処理装置１１Ｂは、図７に示すステップＳ１、Ｓ２、Ｓ３、Ｓ４Ｂ、Ｓ５、Ｓ６及びＳ７の各処理をこの順に実行する。処理装置１１Ｂは、ステップＳ１の処理において調整部１４０として機能する。ただし、ユーザ装置２０は、サーバ装置１０に比較して処理能力の低いＣＰＵを有するため、ステップＳ１において処理装置１１Ｂは、特定部１２０の処理能力は低いと判定し、レベル３を示す第１制御情報ＳＤａと、レベル１を示す第２制御情報ＳＤｂと、を生成する。

ステップＳ２からステップＳ５の処理においてキーワード生成部１１０Ｂとして機能する。より詳細には、処理装置１１Ｂは、ステップＳ２の処理において決定部１１１として機能し、ステップＳ３の処理において特徴量生成部１１２として機能し、ステップＳ４Ｂの処理において抽出部１１３Ｂとして機能し、ステップＳ５の処理において変換部１１４として機能する。本動作例では、ステップＳ１にて生成される第１制御情報ＳＤａはレベル３を示すため、ステップＳ２における絞り込みの程度は高くなる。また、ステップＳ４Ｂの処理では、処理装置１１Ｂは、ステップＳ３にて読み出した特徴量に基づいて、画像信号Ｓａの示す動画の複数のフレームの各々から物体の画像を抽出する。１フレームの画像には複数の物体の画像が存在するのが通常であるため、処理装置１１Ｂは、ステップＳ４Ｂの処理において複数の物体の画像を抽出する。

さらに、処理装置１１Ｂは、ステップＳ６の処理において特定部１２０として機能し、ステップＳ７の処理おいてコメント生成部１３０として機能する。処理装置１１Ｂは、ステップＳ７の処理により生成したコメントを、表示制御部１５を用いて、表示装置又はテレビジョン受像機３０に表示させる。本動作例では、ステップＳ１にて生成される第２制御情報ＳＤｂはレベル１を示すため、ステップＳ６における絞り込みの程度は低くなり、特定部１２０の処理負荷は低くなる。

本実施形態のユーザ装置２０は、コメント生成機能を有する情報処理装置、すなわち本発明の情報処理装置、の一例である。ユーザ装置２０は、ユーザの行動履歴を示す行動情報と第１の絞り込みの程度とに基づいて、複数の物体の画像を動画から特定し、特定された複数の画像の各々についてコメントの対象の候補となる候補キーワードを生成するキーワード生成部１１０Ｂを備える。また、ユーザ装置２０は、行動情報と第２の絞り込みの程度とに基づいて、コメントの対象となる一又は複数の対象キーワードをキーワード生成部１１０Ｂによって生成された複数の候補キーワードから特定する特定部１２０を備える。さらに、ユーザ装置２０は、一又は複数の対象キーワードの各々について、当該対象キーワードに関連するコメントを生成するコメント生成部１３０と、キーワード生成部１１０Ｂにおいて複数の画像を絞り込む程度(第１の絞り込みの程度)と、特定部１２０において複数の候補キーワードを絞り込む程度(第２の絞り込みの程度)とを、キーワード生成部１１０Ｂ及び特定部１２０の処理に関する処理情報に応じて調整する調整部１４０と、を備える。

この態様によれば、特定部１２０の処理能力に応じてキーワード生成部１１０Ｂにおける絞り込みの程度と特定部１２０における絞り込みの程度とを調整することができる。第２実施形態のユーザ装置２０では、特定部１２０の処理能力が低いため、キーワード生成部１１０Ｂにおける絞り込みの程度は高く、特定部１２０における絞り込みの程度は低く調整される。

［３．第３実施形態］
図９は、第３実施形態のサービスシステム１に含まれるサーバ装置１０のハードウェア構成例を示す図である。サーバ装置１０は、処理装置１１Ｃ、記憶装置１２Ｃ、通信装置１４Ｃ（第２通信装置）、及びバス１９を具備する。処理装置１１Ｃ、記憶装置１２Ｃ、及び通信装置１４Ｃの各々は、第１実施形態における処理装置１１Ａ、記憶装置１２Ａ、及び通信装置１４Ａの各々に対応する。記憶装置１２Ｃは、制御プログラムＰＲａに代えて制御プログラムＰＲｃを記憶している点と、特徴量テーブルＴＢＬａを記憶していない点と、で記憶装置１２Ａと相違する。通信装置１４Ｃは、処理装置１１Ｃによる制御の下、画像信号Ｓａとコメントとをユーザ装置２０に送信する点では通信装置１４Ａと共通である。しかし、通信装置１４Ｃは、キーワード生成部１１０Ｂにおける処理に関する処理情報及び行動情報をユーザ装置２０から受信する点と、第１制御情報ＳＤａをユーザ装置２０へ送信する点と、で通信装置１４Ａと相違する。

図１０は、第３実施形態のサーバ装置１０の機能を示す機能ブロック図である。処理装置１１Ｃは記憶装置１２Ｃから制御プログラムＰＲｃを読み取り実行することによって、特定部１２０、コメント生成部１３０、及び調整部１４０として機能する。また、第３実施形態のサーバ装置１０は、ネットワークＮＷを介してユーザ装置２０から送信されてくる処理情報が調整部１４０に与えられる点と、調整部１４０により生成された第１制御情報ＳＤａがネットワークＮＷを介してユーザ装置２０へ送信される点と、で第１実施形態のサーバ装置１０と相違する。

図１１は、第３実施形態のサービスシステム１に含まれるユーザ装置２０のハードウェア構成例を示す図である。ユーザ装置２０は、処理装置１１Ｄ、記憶装置１２Ｄ、通信装置（第１通信装置）１４Ｄ、表示制御部１５、及びバス１９を具備する。処理装置１１Ｄ、記憶装置１２Ｄ、及び通信装置１４Ｄの各々は、第２実施形態における処理装置１１Ｂ、記憶装置１２Ｂ、及び通信装置１４Ｂの各々に対応する。記憶装置１２Ｄは、制御プログラムＰＲｂに代えて制御プログラムＰＲｄを記憶している点と、コメントテーブルＴＢＬｂを記憶していない点と、で記憶装置１２Ｂと相違する。通信装置１４Ｄは、処理装置１１Ｄによる制御の下、画像信号Ｓａをサーバ装置１０から受信する点では通信装置１４Ｂと共通である。しかし、通信装置１４Ｄは、キーワード生成部１１０Ｂにおける処理に関する処理情報、行動情報及び複数の候補キーワードＫＷをサーバ装置１０へ送信する点と、第１制御情報ＳＤａとコメントとをサーバ装置１０から受信する点と、で通信装置１４Ｂと相違する。

図１２は、第３実施形態のユーザ装置２０の機能を示す機能ブロック図である。処理装置１１Ｄは記憶装置１２Ｄから制御プログラムＰＲｄを読み取り実行することによって、キーワード生成部１１０Ｂとして機能する。また、第３実施形態のユーザ装置２０は、ネットワークＮＷを介してサーバ装置１０に処理情報を送信する点と、ネットワークを介してサーバ装置１０から送信されてくる第１制御情報ＳＤａがキーワード生成部１１０Ｂに与えられる点と、で第２実施形態のユーザ装置２０と相違する。

次に、第３実施形態のサーバ装置１０及びユーザ装置２０の動作について説明する。図１３は、第３実施形態のサーバ装置１０及びユーザ装置２０の各々の動作を示すフローチャートである。第３実施形態のユーザ装置２０において処理装置１１Ｄは、図７に示すステップＳ１＿１、Ｓ２、Ｓ３、Ｓ４Ｂ、及びＳ５の各処理をこの順に実行する。一方、第３実施形態のサーバ装置１０において処理装置１１Ｃは、図１２に示すステップＳ１、Ｓ６、及びＳ７の各処理をこの順に実行する。

ステップＳ１＿１の処理では、処理装置１１Ｄは、キーワード生成部１１０Ｂの処理に関する処理情報と記憶装置１２Ｄに記憶されている行動情報とを、ネットワークＮＷを介してサーバ装置１０へ送信する。

サーバ装置１０では、行動情報及び処理情報の受信を契機としてステップＳ１の処理が実行される。ステップＳ１の処理において、処理装置１１Ｃは、調整部１４０として機能する。ユーザ装置２０から受信した処理情報はキーワード生成部１１０Ｂの処理能力を示す。前述したように、ユーザ装置２０の処理能力はサーバ装置１０の処理能力に比較して低く、ユーザ装置２０においてキーワード生成部１１０Ｂに割り当て可能なリソースもサーバ装置１０において特定部１２０の機能に割り当て可能なリソースよりも少ない。ステップＳ１において処理装置１１Ｄは、特定部１２０の処理能力が高いと判定し、レベル１を示す第１制御情報ＳＤａと、レベル３を示す第２制御情報ＳＤｂと、を生成する。ステップＳ１の処理により生成された第１制御情報ＳＤａはネットワークＮＷを介してユーザ装置２０へ送信される。

ユーザ装置２０では、サーバ装置１０から送信されてくる第１制御情報ＳＤａの受信を契機としてステップＳ２以降の処理が実行される。ステップＳ２からステップＳ５の処理において、処理装置１１Ｄは、キーワード生成部１１０Ｂとして機能する。より詳細には、処理装置１１Ｄは、ステップＳ２の処理において決定部１１１として機能し、ステップＳ３の処理において特徴量生成部１１２として機能し、ステップＳ４Ｂの処理において抽出部１１３Ｂとして機能し、ステップＳ５の処理において変換部１１４として機能する。ステップＳ５の処理により生成された候補キーワードＫＷは、ネットワークＮＷを介してサーバ装置１０へ送信される。本動作例においてサーバ装置１０からユーザ装置２０へ送信される第１制御情報ＳＤａはレベル１を示すため、ステップＳ２における絞り込みの程度は低く、キーワード生成部１１０Ｂの処理負荷は低くなる。

サーバ装置１０では、ユーザ装置２０から送信されてくる候補キーワードＫＷの受信を契機としてステップＳ６以降の処理が実行される。処理装置１１Ｃは、ステップＳ６の処理において特定部１２０として機能し、ステップＳ７の処理おいてコメント生成部１３０として機能する。ステップＳ７の処理により生成されたコメントは電子メール等でサーバ装置１０からユーザ装置２０へ送信される。ユーザ装置２０は、電子メール等によりコメントを受信すると、当該コメントの画像を表示装置又はテレビジョン受像機に表示させる。本動作例では、ステップＳ１においてレベル３を示す第２制御情報ＳＤｂが生成されるため、ステップＳ６における絞り込みの程度は高く、特定部１２０の処理負荷は高くなる。

本実施形態のサービスシステム１は、コメント生成機能を有する情報処理システム、すなわち本発明の情報処理システム、の一例であり、ユーザが管理するユーザ装置２０と、サーバ装置１０とを備える。ユーザ装置２０は、ユーザの行動履歴を示す行動情報と第１の絞り込みの程度とに基づいて、複数の物体の画像を動画から特定し、特定された複数の画像の各々についてコメントの対象の候補となる候補キーワードを生成するキーワード生成部１１０Ｂと、行動情報、キーワード生成部１１０Ｂによって生成された複数の候補キーワード、及びキーワード生成部１１０Ｂの処理に関する処理情報をサーバ装置１０へ送信し、サーバ装置１０から送信されるコメントを受信する通信装置１４Ｄ（第１通信装置）と、コメントを表示装置に表示させる表示制御部１５と、を備える。サーバ装置１０は、ユーザ装置２０から送信される行動情報、キーワード生成部１１０Ｂによって生成された複数の候補キーワード及びキーワード生成部１１０Ｂの処理に関する処理情報を受信し、コメントをユーザ装置２０へ送信する通信装置１４Ｃ（第２通信装置）と、行動情報と第２の絞り込みの程度とに基づいて、コメントの対象となる一又は複数の対象キーワードを複数の候補キーワードから特定する特定部１２０と、一又は複数の対象キーワードの各々について、関連するコメントを生成するコメント生成部１３０と、キーワード生成部１１０Ｂにおいて複数の画像を絞り込む程度(第１の絞り込みの程度)と、特定部１２０において複数の候補キーワードを絞り込む程度(第２の絞り込みの程度)と、をキーワード生成部１１０Ｂの処理に関する処理情報及び特定部１２０の処理に関する処理情報に応じて調整する調整部１４０とを備える。

この態様によれば、ユーザ装置２０が有するキーワード生成部１１０Ｂの処理能力とサーバ装置１０が有する特定部１２０の処理能力とに応じてキーワード生成部１１０Ｂにおける絞り込みの程度と特定部１２０における絞り込みの程度とを調整することができる。第３実施形態のサービスシステム１では、キーワード生成部１１０Ｂの処理能力は特定部１２０の処理能力よりも低いため、キーワード生成部１１０Ｂにおける絞り込みの程度は低く、特定部１２０における絞り込みの程度は高く調整され、コメントの的確性を向上させることができる。

[４．変形例]
本発明は、以上に例示した各実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。

（１）上述した第１実施形態において抽出部１１３ＡがサービスデータＤＳから物体の画像を抽出するフレームは以下のフレームであってもよい。
第１に、抽出部１１３Ａは、画像内の複数のフレームのうち、視聴率の高いフレームで物体の画像を抽出してもよい。この場合、抽出部１１３Ａは、視聴率を外部装置からリアルタイムで取得すればよい。具体的には、抽出部１１３Ａは、取得した視聴率が所定の視聴率を超えたフレームで物体の画像の抽出を実行する。視聴率が高いフレームは、他のフレームと比較してユーザＵの関心が他の高いと推定される。従って、ユーザＵの関心が高いフレームの画像から物体の画像が抽出されるので、ユーザＵに有益なコメントを生成できる。
第２に、抽出部１１３Ａは、ユーザＵの音声信号をユーザ装置２０から受信し、音声信号に基づいて、ユーザＵの反応が良いフレームからオブジェクト画像を抽出してもよい。例えば、ユーザＵが歓声をあげたフレームからオブジェクト画像を抽出してもよい。
第３に、抽出部１１３Ａは、番組情報に基づいて番組の主題となるフレームでオブジェクト画像を抽出してもよい。例えば、抽出部１１３Ａは、サービスデータＤＳを解析し、番組の主題となるフレームを特定してもよい。この場合、抽出部１１３Ａは、ネットワークＮＷを介して外部装置から番組情報を取得すればよい。
同様に第２実施形態及び第３実施形態において抽出部１１３Ｂが画像信号Ｓａから物体の画像を抽出する対象とするフレームも、視聴率の高いフレーム、ユーザＵの反応が良いフレーム、又は番組の主題となるフレームであってもよい。

（２）調整部１４０は、処理能力の替わりに又は処理能力に加えて動画の品質に応じて、決定部１１１における絞り込みの程度（第１の絞り込みの程度）と、特定部１２０における絞り込みの程度（第２の絞り込みの程度）とを調整してもよい。動画の品質は処理情報に含まれる。動画の品質の具体例としては、動画のフレームレート、又は動画の各フレームにおける解像度が挙げられる。処理情報が動画の品質を含む場合、調整部１４０は、動画の品質が高い場合、動画の品質が低い場合と比較して、キーワード生成部において複数の画像を絞り込む程度を小さくさせ、特定部において複数の候補キーワードを絞り込む程度を大きくさせる。動画の品質が高い場合には、キーワード生成部の処理負荷が、動画の品質が低い場合と比較して、高くなるからである。

（３）上記１実施形態では、行動情報に基づいて特定された物体の画像から変換されるキーワードをそのまま候補キーワードとした。しかし、キーワード生成部１１０Ａにおける絞り込みでは、行動情報に基づいて特定された物体の画像から変換されるキーワードの上位概念を当該キーワードに替えて又は当該キーワードに加えて候補キーワードとし、特定部１２０における絞り込みで下位概念に絞り込んでもよい。例えば、行動情報に基づいて特定された物体の画像から変換されるキーワードが「ＳＵＶ」（Sport Utility Vehicle）であった場合、キーワード生成部１１０Ａにおける絞り込みでは「ＳＵＶ」の上位概念である「車」を、「ＳＵＶ」と共に又は「ＳＵＶ」に代えて候補キーワードとし、特定部１２０における絞り込みで対象キーワードを「ＳＵＶ」に絞り込めばよい。また、行動情報に基づいて特定された物体の画像から変換されるキーワードが「薔薇」であった場合、キーワード生成部１１０Ａにおける絞り込みでは「薔薇」の上位概念である「花」を、「薔薇」と共に又は「薔薇」に代えて候補キーワードとし、特定部１２０における絞り込みで対象キーワードを「薔薇」に絞り込めばよい。なお、上位概念化の程度については、キーワード生成部１１０Ａの処理能力に応じて調整すればよい。また、キーワード生成部１１０Ｂにおける絞り込みについても同様に上位概念化が採用されてもよい。

（４）上記第１実施形態及び第３実施形態では、コメントは電子メール等によりサーバ装置１０からユーザ装置２０へ送信された。しかし、コメントがオーバレイされた画像信号Ｓａがサーバ装置１０からユーザ装置２０へ送信されてもよい。また、コメントの表示はリアルタイムでの表示には限定されず、動画の視聴が終了した後に行われてもよい。

（５）本発明の情報処理装置の一例として、上記第１実施形態ではサーバ装置１０が挙げられ、上記第２実施形態ではユーザ装置２０が挙げられていた。しかし、本発明の情報処理装置は、ユーザの行動履歴を示す行動情報と第１の絞り込みの程度とに基づいて、複数の物体の画像を動画から特定し、特定された複数の画像の各々についてコメントの対象の候補となる候補キーワードを生成するキーワード生成部と、行動情報と第２の絞り込みの程度とに基づいて、コメントの対象となる一又は複数の対象キーワードをキーワード生成部によって生成された複数の候補キーワードから特定する特定部と、一又は複数の対象キーワードの各々について、当該対象キーワードに関連するコメントを生成するコメント生成部と、キーワード生成部において複数の画像を絞り込む程度(第１の絞り込みの程度)と、特定部において複数の候補キーワードを絞り込む程度(第２の絞り込みの程度)とを、前記キーワード生成部及び前記特定部の処理に関する処理情報に応じて調整する調整部とを備えていればよく、サーバ装置又はユーザ装置には限定されない。

例えば、動画配信サーバから送信される画像信号Ｓａをユーザ装置へ中継する中継装置（スイッチングハブ、ルータ又はゲートウェイ等）が、キーワード生成部、特定部、コメント生成部及び調整部を備えていてもよい。この中継装置によれば、動画配信サーバから送信された画像信号Ｓａに、コメント生成部により生成したコメントの画像をオーバレイしてユーザ装置へ転送することができる。また、この中継装置によれば、特定部の処理能力に応じてキーワード生成部における絞り込みの程度と特定部における絞り込みの程度とを調整することができる。

また、コメント生成機能を有するサーバ装置、すなわち本発明のサーバ装置は、上記キーワード生成部、特定部、コメント生成部及び調整部を有する情報処理装置と、ユーザが管理するユーザ装置から送信される行動情報を受信し、コメントをユーザ装置へ送信する通信装置と、を備えていればよい。同様に、コメント生成機能を有するユーザ装置、すなわち本発明のユーザ装置は、上記キーワード生成部、特定部、コメント生成部及び調整部を有する情報処理装置と、コメントを表示装置に表示させる表示制御部と、を備えていればよい。

（６）上述した各実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。例えば、決定部１１１の機能はネットワークＮＷを介して接続される他のサーバ装置から提供されてもよい。同様に、特徴量生成部１１２の機能もネットワークＮＷを介して接続される他のサーバ装置から提供されてもよく、特徴量テーブルＴＢＬａも他のサーバ装置に設けられてもよい。
また、上述した各実施形態の説明に用いた「装置」という文言は、回路、デバイス又はユニット等の他の用語に読替えてもよい。

（７）上述した各実施形態における処理手順、シーケンス、フローチャート等は、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

（８）上述した各実施形態において、入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

（９）上述した各実施形態において、判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

（１０）上述した第１実施形態における記憶装置１２Ａは、処理装置１１Ａが読取可能な記録媒体であり、ＲＯＭ及びＲＡＭ等を例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。第２実施形態における記憶装置１２Ｂ，第３実施形態における記憶装置１２Ｃ及び記憶装置１２Ｄも、記憶装置１２Ａと同様である。また、プログラムは、ネットワークＮＷから送信されても良い。また、プログラムは、電気通信回線を介して通信網から送信されても良い。

（１１）上述した各実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

（１２）上述した各実施形態において、説明した情報及び信号等は、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上述の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップ等は、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

（１３）図３、図７、図１０、及び図１２に例示された各機能は、ハードウェア及びソフトウェアの任意の組合せによって実現される。また、各機能は、単体の装置によって実現されてもよいし、相互に別体で構成された２個以上の装置によって実現されてもよい。

（１４）上述した各実施形態で例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はハードウェア記述言語と呼ばれるか、他の名称によって呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順又は機能等を意味するよう広く解釈されるべきである。
また、ソフトウェア、命令等は、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）等の有線技術及び／又は赤外線、無線及びマイクロ波等の無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

（１５）上述した各実施形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。

（１６）上述した各実施形態において、情報、パラメータ等は、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。

（１７）上述した各実施形態において、ユーザ装置２０は、移動局である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。

（１８）上述した各実施形態において、「接続された(connected)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。本明細書で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及び／又はプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギー等の電磁エネルギーを使用することにより、互いに「接続」されると考えることができる。

（１９）上述した各実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

（２０）本明細書で使用する「第１」、「第２」等の呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。従って、第１及び第２の要素への参照は、２つの要素のみがそこで採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

（２１）上述した各実施形態において「含む(ｉｎｃｌｕｄｉｎｇ)」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

（２２）本願の全体において、例えば、英語におけるa、an及びtheのように、翻訳によって冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数を含む。

（２３）本発明が本明細書中に説明した実施形態に限定されないことは当業者にとって明白である。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。従って、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら制限的な意味を有さない。また、本明細書に例示した態様から選択された複数の態様を組み合わせてもよい。

１…サービスシステム、１０…サーバ装置、１１Ａ、１１Ｂ、１１Ｃ，１１Ｄ…処理装置、２０…ユーザ装置、１２Ａ、１２Ｂ…記憶装置、１４Ａ、１４Ｂ、１４Ｃ，１４Ｄ…通信装置、１５…表示部、１９…バス、１１０Ａ、１１０Ｂ…キーワード生成部、１１１…決定部、１１２…特徴量生成部、１１３Ａ、１１３Ｂ…抽出部、１１４…変換部、１２０…特定部、１３０…コメント生成部、１４０…調整部、ＰＲａ、ＰＲｂ、ＰＲｃ、ＰＲｄ…制御プログラム、ＴＢＬａ…特徴量テーブル、ＴＢＬｂ…コメントテーブル、ＤＳ…サービスデータ、ＫＷ…候補キーワード、ＫＸ…対象キーワード。

Claims (9)

1. ユーザの行動履歴を示す行動情報と第１の絞り込みの程度とに基づいて、複数の物体の画像を動画から特定し、特定された複数の物体の画像の各々についてコメントの対象の候補となる候補キーワードを生成するキーワード生成部と、
   前記行動情報と第２の絞り込みの程度に基づいて、コメントの対象となる一又は複数の対象キーワードを前記キーワード生成部によって生成された複数の候補キーワードから特定する特定部と、
   前記一又は複数の対象キーワードの各々について、当該対象キーワードに関連するコメントを生成するコメント生成部と、
   前記第１の絞り込みの程度と、前記第２の絞り込みの程度とを、前記キーワード生成部及び前記特定部の処理に関する処理情報に応じて調整する調整部と、
   を備える情報処理装置。
2. 前記処理情報は、前記特定部の処理能力を含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記調整部は、
   前記特定部の処理能力が高い場合、前記処理能力が低い場合と比較して、前記第１の絞り込みの程度を低くさせ、前記第２の絞り込みの程度を高くさせる、
   請求項２に記載の情報処理装置。
4. 前記処理情報は、前記動画の品質に関する情報を含むことを特徴とする請求項１に記載の情報処理装置。
5. 前記調整部は、
   前記動画の品質が高い場合、前記動画の品質が低い場合と比較して、前記第１の絞り込みの程度を低くさせ、前記第２の絞り込みの程度を高くさせる、
   請求項４に記載の情報処理装置。
6. 前記調整部は、前記第１の絞り込みの程度を示す制御情報を前記キーワード生成部に出力し、
   前記キーワード生成部は、
   前記行動情報に基づいて物体に対する前記ユーザの関心の程度を評価した結果と前記制御情報とに基づいて、前記動画から抽出する物体の種類を決定する決定部と、
   前記決定部で決定された種類の物体について、当該物体の画像の特徴量を生成する特徴量生成部と、
   前記特徴量を有する物体の画像を前記動画から抽出する抽出部と、
   を備え、
   前記キーワード生成部は、
   前記抽出部で抽出された前記物体の画像を前記候補キーワードに変換する変換部と、を備える、
   請求項１から５までのうち何れか１項に記載の情報処理装置。
7. 請求項１から６までのうち何れか１項に記載の情報処理装置と、
   前記ユーザが管理するユーザ装置から送信される前記行動情報を受信し、前記コメントを前記ユーザ装置へ送信する通信装置と、
   を備えるサーバ装置。
8. 請求項１から６までのうち何れか１項に記載の情報処理装置と、
   前記コメントを表示装置に表示させる表示制御部と、
   を備えるユーザ装置。
9. ユーザが管理するユーザ装置と、サーバ装置とを備える情報処理システムであって、
   前記ユーザ装置は、
   前記ユーザの行動履歴を示す行動情報と第１の絞り込みの程度とに基づいて、複数の物体に各々対応する複数の画像を動画から特定し、特定された複数の物体の画像の各々についてコメントの対象の候補となる候補キーワードを生成するキーワード生成部と、
   前記行動情報、前記キーワード生成部によって生成された複数の候補キーワード、及び前記キーワード生成部の処理に関する処理情報を前記サーバ装置へ送信し、前記サーバ装置から送信されるコメントを受信する第１通信装置と、
   前記コメントを表示装置に表示させる表示制御部とを備え、
   前記サーバ装置は、
   前記ユーザ装置から送信される前記行動情報、前記複数の候補キーワード及び前記キーワード生成部の処理に関する処理情報を受信し、前記コメントを前記ユーザ装置へ送信する第２通信装置と、
   前記行動情報と第２の絞り込みの程度とに基づいてコメントの対象となる一又は複数の対象キーワードを前記複数の候補キーワードから特定する特定部と、
   前記一又は複数の対象キーワードの各々について、当該対象キーワードに関連するコメントを前記ユーザ装置に送信するコメントとして生成するコメント生成部と、
   前記キーワード生成部において前記複数の画像を絞り込む程度と、前記特定部において前記複数の候補キーワードを前記第１の絞り込みの程度と前記第２の絞り込みの程度とを、前記キーワード生成部の処理に関する処理情報及び前記特定部の処理に関する処理情報に応じて調整する調整部とを備える、
   情報処理システム。

Images