JP4626703B2 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。

情報処理装置を中心とするインターネットのＷｅｂ技術分野において、最新ニュースなどをシンジケーションするために用いられるＲＳＳ（ＲＤＦ（Ｒｅｓｏｕｒｃｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｆｒａｍｅｗｏｒｋ） Ｓｉｔｅ Ｓｕｍｍａｒｙ）の各バージョンやＡｔｏｍなどのＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）応用技術が多用されはじめている。例えば、ＲＳＳ−ＤＥＶワーキンググループによるＲＳＳ１．０がある。なお、シンジケーションとは更新情報／サマリー情報を配信、通知することをいう。

また、近年、モバイル機器の高性能化に伴い、モバイル機器からインターネット上のニュースサイトやブログなどのＷＥＢコンテンツにシームレスにアクセスできるようになった。その中で、複数のＷＥＢコンテンツをサムネイル画像として配置し、ＷＥＢコンテンツの一覧表示、選択表示、複写、削除、サイズ変更などの各種処理を操作可能とするアプリケーションが普及してきている。

しかしながら、モバイル機器の画面面積は限られているため、こういった複数のサムネイル画像を表示しようとすると、ひとつひとつの表示面積が小さくなってしまうため、一覧で表示するＷＥＢコンテンツの数が増えるにつれ、視認性が低下するという問題が発生する。そのため、視認性を低下することなく一覧表示を可能にするために、ＷＥＢコンテンツの重要な部分を検出して、その部分を中心にクリッピングした情報を使用するといったアプローチが必要になる。ここで「どのようにＷＥＢコンテンツの重要な部分を検出するか」が課題となる。

一般的な解決策としては、ＲＳＳなどのシンジケーション技術によって送信されるフィード情報に含まれる画像データやテキストサマリーを用いて、ＷＥＢコンテンツの差分情報のみを効率的に一覧表示する手法が考えられる。

しかしながら、この手法では、フィード情報を配信するインターネットサービスプロバイダ側によって、フィード情報にどこまでのＷＥＢコンテンツの情報を含めるかを自由に決定できてしまうという制限がある。そのため、例えば、ＷＥＢコンテンツと関係のない広告画像データを含んだフィード情報が配信される状態が発生しうるという問題がある。また、著作権上の理由や通信速度上の理由で、画像データやテキストサマリーを何も含まないフィード情報が配信される状態が発生しうるという問題がある。

また、別の解決策としては、フィード情報に必須であるＷＥＢコンテンツのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）情報にアクセスし、ＷＥＢコンテンツをキャプチャして、その中から、写真の顔情報に基づいて重要な領域を検出し、最適なレイアウトを提案するという手法がある（例えば、特許文献１参照）。

しかしながら、ブログのようなＷＥＢコンテンツにおいては、タイトル画像部分や広告画像に顔画像がある場合も多く、逆に、更新された情報には顔情報が全くはいっていないという場合もあり、ブログの重要な領域を検出するには精度が不十分である。

特開２００７−１８０６５１号公報

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、コンテンツの重要な領域を含み、かつ、小面積のサムネイル画像データを切り出すことが可能な、新規かつ改良された技術を提供することにある。

上記課題を解決するために、本発明のある観点によれば、閾値を記憶する記憶部と、コンテンツ配信装置と通信を行うことが可能な通信部と、第１コンテンツデータを、コンテンツ配信装置から通信部を介して受信し、第１コンテンツデータを第１画像データに変換して記憶部に記憶させ、第１コンテンツデータの一部または全部が更新されて生成された第２コンテンツデータを、コンテンツ配信装置から通信部を介して受信し、第２コンテンツデータを第２画像データに変換して記憶部に記憶させる入力制御部と、記憶部が記憶する第１画像データと第２画像データとについて対応する画素間における色情報の差分値を算出し、差分値が、記憶部が記憶する閾値を超える画素によって構成される領域である重心候補領域を抽出する重心候補領域抽出部と、重心候補領域抽出部が抽出した重心候補領域の一部または全部を含む領域である切り出し領域に相当するサムネイル画像データを第２画像データから切り出す切り出し制御部と、を備える、情報処理装置が提供される。

上記した切り出し制御部は、重心候補領域抽出部が抽出した重心領域を構成する画素の座標の平均値を重心座標として算出し、重心座標を基準として規定される所定の矩形領域を切り出し領域とすることとしてもよい。

動画広告領域抽出部をさらに備え、上記した入力制御部は、第２コンテンツデータを、コンテンツ配信装置から通信部を介して受信する処理と、第２コンテンツデータを第２画像データに変換して記憶部に記憶させる処理とを、複数回行うこととしてもよい。また、上記した動画広告領域抽出部は、入力制御部が記憶部に記憶させたそれぞれの第２コンテンツデータについて対応する画素間における色情報の差分値を算出し、差分値が、記憶部が記憶する閾値を超える画素によって構成される領域である動画広告領域を抽出し、動画広告領域を、重心候補領域から除外して重心領域を抽出することとしてもよい。また、上記した切り出し制御部は、動画広告領域抽出部が抽出した重心領域の一部または全部を含む領域を切り出し領域とすることとしてもよい。

上記した切り出し制御部は、動画広告領域抽出部が抽出した重心領域に含まれる矩形領域を切り出し領域とすることとしてもよい。

上記した切り出し制御部は、動画広告領域抽出部が抽出した重心領域の冒頭領域を切り出し領域とすることとしてもよい。

上記した切り出し制御部は、動画広告領域抽出部が抽出した重心領域に含まれる顔領域を切り出し領域とすることとしてもよい。

入力部をさらに備え、上記した入力制御部は、入力部を介して、ユーザから切り出し形式を示す切り出し形式情報の入力を受け付けると、切り出し形式情報を記憶部に記憶させ、上記した切り出し制御部は、記憶部が記憶する切り出し形式情報が示す切り出し形式によって規定される領域を切り出し領域とすることとしてもよい。

出力制御部と表示部とをさらに備え、上記した出力制御部は、切り出し制御部が第２画像データから切り出したサムネイル画像データを、表示部を介して表示することとしてもよい。

上記した切り出し制御部が第２画像データから切り出したサムネイル画像データを、通信部を介して送信する出力制御部をさらに備えることとしてもよい。

以上説明したように本発明によれば、コンテンツの重要な領域を含み、かつ、小面積のサムネイル画像データを切り出すことが可能な技術を提供することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。なお、説明は以下の順序で行う。

１． 本実施形態の概要
２． 情報処理システムの構成
３． 情報処理装置のハードウェア構成
４． 情報処理装置の動作概要
５． 情報処理装置の機能構成
６． 情報処理装置の動作
７． 本実施形態による効果

［１．本実施形態の概要］
本発明の実施形態では、ブログのようなシンジケーション型ＷＥＢコンテンツの更新前後において、一般的に、ＷＥＢコンテンツの基本的なレイアウトおよび背景デザインに大きな変更はなされないという状況に着目する。具体的には、ＷＥＢコンテンツを一枚の画像として扱い、更新前後における画像の差分から、ＷＥＢコンテンツの重要領域を推定し、サムネイル画像表示のレイアウトに活用する。また、不要な広告領域を推定し、サムネイル表示のレイアウトに活用する。以下でその仕組みを説明する。

［２．情報処理システムの構成］
まず、本発明の実施形態にかかる情報処理システムについて説明する。図１は、本発明の実施形態にかかる情報処理システムの構成を示す図である。以下、図１を用いて本発明の実施形態にかかる情報処理システムについて説明する。

図１に示したように、本発明の実施形態にかかる情報処理システム１０は、情報処理装置１００と、コンテンツ配信装置２００と、を含んで構成される。図１に示した情報処理システム１０は、ネットワーク３００を介して情報処理装置１００とコンテンツ配信装置２００との間でデータをやりとりするものである。ネットワーク３００の種類は特に限定されないが、例えば、インターネット等によって構成されている。情報処理装置１００がコンテンツ配信装置２００に対してフィード情報の取得リクエストを送信すると、コンテンツ配信装置２００は、フィード情報を情報処理装置１００に配信する。情報処理装置１００は、フィード情報に記述された、画像ファイルを指定する情報を含んだ取得リクエストを送信すると、コンテンツ配信装置２００は、指定された画像ファイルを情報処理装置１００に配信する。情報処理装置１００は、フィード情報に記述された、ＷＥＢページ格納先を指定するＵＲＬを含んだ取得リクエストを送信すると、コンテンツ配信装置２００は、指定されたＵＲＬのＷＥＢページを情報処理装置１００に配信する。

情報処理装置１００は、例えば、携帯電話機のような、モバイル機器等である。本実施形態では、情報処理装置１００の一例としてモバイル機器を使用する場合について説明するが、情報処理装置１００は、ユーザが持ち運ぶことが可能な機器に限定されるものではなく、据え置きタイプの機器であってもよい。図１には、情報処理装置１００が１台のみネットワーク３００に接続されているが、その台数は特に限定されるものではない。情報処理装置１００の内部構成については後に詳述する。

コンテンツ配信装置２００は、例えば、情報処理装置１００からの要求に従い、情報処理装置１００にコンテンツデータを配信するものである。コンテンツ配信装置２００が配信するコンテンツデータの種類は、表示部に表示するもとになるデータであれば特に限定されるものではない。ここでは、コンテンツ配信装置２００は、コンテンツデータとしてブログなどのＷＥＢコンテンツデータを配信するＷＥＢサーバとして機能する場合について説明する。

ネットワーク３００は、情報処理装置１００、コンテンツ配信装置２００を双方向通信又は一方向通信可能に接続する通信回線網である。ネットワーク３００は、例えば、インターネット、電話回線網、衛星通信網、同報通信路等の公衆回線網や、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、Ｅｔｈｅｒｎｅｔ（登録商標）、ワイヤレスＬＡＮ等の専用回線網などで構成されており、有線／無線を問わない。

以上、本発明の実施形態にかかる情報処理システム１０について説明した。次に、本発明の実施形態にかかる情報処理装置１００の構成について説明する。

［３．情報処理装置のハードウェア構成］
図２は、本発明の実施形態にかかる情報処理装置のハードウェア構成を示す図である。以下、図２を用いて本発明の実施形態にかかる情報処理装置のハードウェア構成について説明する。

図２に示したように、本発明の実施形態にかかる情報処理装置１００は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０４と、入力インタフェース１０６と、ネットワークインタフェース１０８と、不揮発性メモリ１１０と、表示装置１１２と、を含んで構成される。

ＲＡＭ１０２は、ＣＰＵ１０４において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶するものである。

ＣＰＵ１０４は、演算処理装置および制御装置として機能し、不揮発性メモリ１１０、ＲＡＭ１０２に記録された各種プログラムに従って、情報処理装置１００内の動作全般またはその一部を制御するものである。

入力インタフェース１０６は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作するものである。また、入力インタフェース１０６は、例えば、赤外線やその他の電波を利用したリモートコントローラ（いわゆる、リモコン）であってもよいし、情報処理装置１００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力インタフェース１０６は、例えば、上記のユーザが操作するものを用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ１０４に出力する入力制御回路などから構成されている。情報処理装置１００のユーザは、この入力インタフェース１０６を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。

ネットワークインタフェース１０８は、例えば、ネットワーク３００に接続するための通信デバイス等で構成された通信インタフェースである。ネットワークインタフェース１０８は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等である。このネットワークインタフェース１０８は、例えば、インターネットや他の通信機器との間で画像信号等を送受信することができる。また、ネットワークインタフェース１０８に接続されるネットワーク３００は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。

不揮発性メモリ１１０は、情報処理装置１００の記憶部の一例として構成されたデータ格納用の装置であり、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。この不揮発性メモリ１１０は、ＣＰＵ１０４が実行するプログラムや各種データ、および外部から取得した音響信号データや画像信号データなどを格納する。

表示装置１１２は、例えば、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなど、取得した情報をユーザに対して視覚的に通知することが可能な装置で構成される。表示装置１１２は、例えば、情報処理装置１００が行った各種処理により得られた結果を出力する。具体的には、表示装置１１２は、情報処理装置１００が行った各種処理により得られた結果を、テキストまたはイメージで表示する。

以上、本発明の各実施形態に係る情報処理装置１００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

以上、本発明の実施形態にかかる情報処理装置１００のハードウェア構成について説明した。次に、本発明の実施形態にかかる情報処理装置１００の動作概要について説明する。

［４．情報処理装置の動作概要］
図３は、本発明の実施形態にかかる情報処理装置の動作概要を示す図である。以下、図３を用いて（適宜図１および図２参照）本発明の実施形態にかかる情報処理装置の動作概要について説明する。

図３に示すように、サムネイル画像表示画面１２０を構成する各サムネイル画像は、情報処理装置１００によって１１枚のＷＥＢページのそれぞれのページから切り出された重要な領域に相当するものである。各サムネイル画像を切り出す技術については後に詳述する。また、サムネイル画像表示画面１２０は、情報処理装置１００が備える表示装置１１２に表示されることとしてもよく、情報処理装置１００以外の装置が備える表示装置に表示されることとしてもよい。サムネイル画像表示画面１２０は、ユーザがアプリケーションの起動操作を行うと表示装置に表示される。

図３に示した例では、サムネイル画像表示画面１２０には、サムネイル画像が１１枚並べられて表示されているが、表示されるサムネイル画像の枚数は特に限定されるものではない。また、図３に示した例では、それぞれのサムネイル画像の形状が矩形となっているが、サムネイル画像の形状は特に限定されるものではなく、例えば、楕円や円等であってもよい。また、図３に示した例では、それぞれのサムネイル画像について大きさが統一されていないが、それぞれのサムネイル画像について同じ大きさであるとしてもよい。

ユーザがサムネイル画像表示画面１２０を構成するサムネイル画像のうちのいずれかを選択すると、ＷＥＢブラウザが起動し、サムネイル画像表示画面１２０からＷＥＢページ１３０に遷移する。図３には、情報処理装置１００の入力インタフェース１０６がタッチパネルで構成され、サムネイル画像表示画面１２０の最下段の右から２枚目のサムネイル画像がユーザの人差し指等である接触部４１０によって接触されて選択された様子が示されている。

以上、本発明の実施形態にかかる情報処理装置１００の動作概要について説明した。次に、本発明の実施形態にかかる情報処理装置１００の機能構成について説明する。

［５．情報処理装置の機能構成］
図４は、本発明の実施形態にかかる情報処理装置の機能構成を示す図である。以下、図４を用いて（適宜図１乃至図３参照）本発明の実施形態にかかる情報処理装置の機能構成について説明する。

図４に示すように、情報処理装置１００は、通信部１５０と、表示部１６０と、記憶部１７０と、制御部１８０とを備えるものである。ただし、サムネイル画像表示画面１２０を表示する装置が情報処理装置１００以外の場合には、情報処理装置１００は表示部１６０を備えないこととしてもよい。

入力部１４０は、入力インタフェース１０６等によって構成され、ユーザから情報の入力を受け付けて制御部１８０に出力するものである。

通信部１５０は、ネットワークインタフェース１０８等によって構成され、コンテンツ配信装置２００と通信を行うことが可能にされたものである。通信部１５０は、コンテンツ配信装置２００から受信した情報を制御部１８０に出力し、制御部１８０から入力された情報をコンテンツ配信装置２００に送信する。

表示部１６０は、表示装置１１２等によって構成され、制御部１８０から入力された情報を表示するものである。

記憶部１７０は、ブックマーク情報１７１、フィード情報１７２、閾値１７３等を記憶するものである。ここでは、記憶部１７０がフィード情報１７２を記憶することとするが、フィード情報１７２が使用されない場合には、記憶部１７０がフィード情報１７２を記憶していなくてもよい。閾値１７３は、情報処理装置１００の製造段階で記憶部１７０に記憶されることとしてもよく、情報処理装置１００の製造後にユーザが入力部１４０を介して記憶部１７０に記憶させることとしてもよい。閾値１７３は、例えば、「０」であるとしてもよいが、他の値であってもよい。

制御部１８０は、入力制御部１８１と、重心候補領域抽出部１８２と、切り出し制御部１８４とを備えるものである。また、制御部１８０は、動画広告領域抽出部１８３をさらに備えることとしてもよく、出力制御部１８５をさらに備えることとしてもよい。制御部１８０については、後に詳述する。

図５は、本発明の実施形態にかかるブックマーク情報のデータ構造例を示す図である。以下、図５を用いて（適宜図１乃至図４参照）本発明の実施形態にかかるブックマーク情報のデータ構造例について説明する。

ブックマーク情報１７１は、ブログタイトル１７１ａと、ブログリンク１７１ｂと、切り出し形式１７１ｃとを含んで構成される。

ブログタイトル１７１ａは、ブログのタイトルを示すものである。ユーザは、例えば、情報処理装置１００を用いてブログの内容を取得して閲覧し、その後も閲覧する可能性が高いブログについては、情報処理装置１００を用いてそのタイトルを取得してブログタイトル１７１ａに設定しておく。ここでは、ブログタイトル１７１ａは、ブログのタイトルであるとしたが、ブログのタイトルに限らずにＷＥＢページのタイトルであるとしてもよい。

ブログリンク１７１ｂは、ブログのアドレスを示すものである。ユーザは、例えば、情報処理装置１００を用いてブログの内容を取得して閲覧し、その後も閲覧する可能性が高いブログについては、情報処理装置１００を用いてそのアドレスを取得してブログリンク１７１ｂに設定しておく。ここでは、ブログリンク１７１ｂは、ブログのアドレスであるとしたが、ブログのタイトルに限らずにＷＥＢページのアドレスであるとしてもよい。

切り出し形式１７１ｃは、ブログのページからサムネイル画像を切り出す形式を示すものである。ユーザは、例えば、情報処理装置１００を用いてブログタイトル１７１ａおよびブログリンク１７１ｂに対応させて切り出し形式１７１ｃを設定しておく。切り出し形式１７１ｃとして設定される値の種類については後に詳述する。

図６は、本発明の実施形態にかかるフィード情報のデータ構造例を示す図である。以下、図６を用いて（適宜図１乃至図４参照）本発明の実施形態にかかるフィード情報のデータ構造例について説明する。

フィード情報１７２は、タイムスタンプ１７２ａと、未読フラグ１７２ｂと、記事タイトル１７２ｃと、記事リンク１７２ｄと、サムネイル画像１７２ｅと、画像数１７２ｆと、画像ファイル１（１７２ｇ）と、画像ファイル２（１７２ｈ）と、画像ファイル３（１７２ｉ）とを含んで構成される。フィード情報１７２は、例えば、情報処理装置１００からの要求に従って、コンテンツ配信装置２００から送信されるものであり、ブックマーク情報１７１に設定されているブログのうち、更新されたブログについての情報等を含むものである。また、以下では、ブログのページを記事と呼ぶこととする。したがって、ブログが更新されるたびに、新たに記事が生成される。

タイムスタンプ１７２ａは、各記事に対して付与されるものである。ここでは、タイムスタンプ１７２ａは、ブログが更新されるたびに情報処理装置１００によって１ずつ加算されながら付与されるものとし、フィード情報１７２に設定されている全ブログに対して通しで付与されるものであるとする。

未読フラグ１７２ｂは、記事を既に読んだか否かを示すものである。ユーザが情報処理装置１００を用いて記事を取得すると、未読フラグ１７２ｂの値は、「１：未読」から「０：既読」に切り替わるものとする。

記事タイトル１７２ｃは、記事のタイトルを示すものである。記事のタイトルは、記事に埋め込まれているものであってもよいし、記事に付与されているものであってもよい。記事リンク１７２ｄは、記事のアドレスを示すものである。サムネイル画像１７２ｅは、記事から切り出されたサムネイル画像の保存先を示すものである。画像数１７２ｆは、記事に含まれる画像の数を示すものである。

画像ファイル１（１７２ｇ）、画像ファイル２（１７２ｈ）、画像ファイル３（１７２ｉ）は、記事に含まれる画像の保存先を示すものであり、画像数１７２ｆと同数の保存先が設定される。ここでは、図６において、画像数１７２ｆの最大値が「３」であるため、画像の保存先は３つとしているが、３つに限定されるものではなく、画像数１７２ｆの最大値に合わせて適宜変更することができる。

図７は、本発明の実施形態にかかる制御部が有する機能について説明するための説明図（その１）である。以下、図７を用いて（適宜図１乃至図４参照）本発明の実施形態にかかる制御部が有する機能について説明する。

入力制御部１８１は、第１コンテンツデータ（ＷＥＢページ１６１ｂのもとになるデータ）を、コンテンツ配信装置２００から通信部１５０を介して受信し、第１画像データに変換して記憶部１７０に記憶させる。また、入力制御部１８１は、第１コンテンツデータの一部または全部が更新されて生成された第２コンテンツデータ（ＷＥＢページ１６１ａのもとになるデータ）を、コンテンツ配信装置２００から通信部１５０を介して受信し、第２コンテンツデータを第２画像データに変換して記憶部１７０に記憶させる。

重心候補領域抽出部１８２は、記憶部１７０が記憶する第１画像データ（ＷＥＢページ１６１ｂから変換された画像データ）と第２画像データ（ＷＥＢページ１６１ａから変換された画像データ）とについて対応する画素間における色情報の差分値を算出する。重心候補領域抽出部１８２は、算出した差分値が、記憶部１７０が記憶する閾値１７３を超える画素によって構成される領域である重心候補領域を抽出する。図７には、重心候補領域抽出部１８２が、ＷＥＢページ１６１ｂに貼り付けられている画像１６１ｄと、ＷＥＢページ１６１ａに貼り付けられている画像１６１ｃとについて対応する画素間における色情報の差分値が閾値１７３を超えていると判断した例を示している。この場合には、重心候補領域抽出部１８２は、重心候補領域として画像１６１ｃが存在する領域を抽出する。

切り出し制御部１８４は、重心候補領域抽出部１８２が抽出した重心候補領域の一部または全部を含む領域である切り出し領域に相当するサムネイル画像データを第２画像データから切り出す。図７には、切り出し制御部１８４が、切り出し領域１６１ｅとして、重心候補領域抽出部１８２が抽出した重心候補領域（画像１６１ｃが存在する領域）の全部に相当するサムネイル画像データを第２画像データから切り出す例を示している。

このような構成によれば、ＷＥＢページ１６１ａの重要な領域を含み、かつ、小面積のサムネイル画像データを切り出すことが可能となる。

図８は、本発明の実施形態にかかる制御部が有する機能について説明するための説明図（その２）である。以下、図８を用いて（適宜図１乃至図４参照）本発明の実施形態にかかる制御部が有する機能について説明する。

図８に示すように、ＷＥＢページ１６２ａには、動画広告領域１６２ｃが含まれている場合がある。この場合には、重心候補領域抽出部１８２が重心候補領域として動画広告領域１６２ｃも抽出してしまうことが想定される。しかし、動画広告領域１６２ｃは、ＷＥＢページ１６２ａの重要な領域であることは想定しにくい。そこで、重心候補領域から動画広告領域１６２ｃを除外することが求められる。

図９は、本発明の実施形態にかかる制御部が有する機能について説明するための説明図（その３）である。以下、図９を用いて（適宜図１乃至図４参照）本発明の実施形態にかかる制御部が有する機能について説明する。

重心候補領域から動画広告領域１６２ｃを除外するために、制御部１８０は、動画広告領域抽出部１８３をさらに備えることとしてもよい。その場合には、入力制御部１８１は、第２コンテンツデータを、コンテンツ配信装置２００から通信部１５０を介して受信する処理と、受信した第２コンテンツデータを第２画像データに変換して記憶部１７０に記憶させる処理とを、複数回行う。図９には、１回目に、第２コンテンツデータ（ＷＥＢページ１６２ｇのもとになるデータ）を受信して処理を行い、２回目に、第２コンテンツデータ（ＷＥＢページ１６２ａのもとになるデータ）を受信して処理を行う場合の例を示している。２回目の処理は、１回目の処理が行われてから所定の時間経過後（例えば、１００ｍｓ経過後）に行われる。

動画広告領域抽出部１８３は、入力制御部１８１が記憶部１７０に記憶させたそれぞれの第２コンテンツデータについて対応する画素間における色情報の差分値を算出する。動画広告領域抽出部１８３は、算出した差分値が、記憶部１７０が記憶する閾値１７３を超える画素によって構成される領域である動画広告領域１６２ｃを抽出する。

図１０は、本発明の実施形態にかかる制御部が有する機能について説明するための説明図（その４）である。以下、図１０を用いて（適宜図１乃至図４参照）本発明の実施形態にかかる制御部が有する機能について説明する。

動画広告領域抽出部１８３は、抽出した動画広告領域１６２ｃを、重心候補領域（画像１６１ｃが存在する領域と動画広告領域１６２ｃ）から除外して重心領域（画像１６１ｃが存在する領域）を抽出する。

切り出し制御部１８４は、動画広告領域抽出部１８３が抽出した重心領域（画像１６１ｃが存在する領域）の一部または全部を含む領域を切り出し領域１６２ｅとする。図１０には、切り出し制御部１８４が、切り出し領域１６２ｅとして、動画広告領域抽出部１８３が抽出した重心領域（画像１６１ｃが存在する領域）の全部に相当するサムネイル画像データを第２画像データから切り出す例を示している。

このような構成によれば、ＷＥＢページ１６２ａに動画広告領域１６２ｃが含まれている場合であっても、ＷＥＢページ１６２ａの重要な領域を含み、かつ、小面積のサムネイル画像データを切り出すことが可能となる。

切り出し制御部１８４は、重心候補領域抽出部１８２が抽出した重心領域を構成する画素の座標の平均値を重心座標１６２ｈとして算出し、算出した重心座標１６２ｈを基準として規定される所定の矩形領域を切り出し領域とすることとしてもよい。重心座標１６２ｈを基準として規定される所定の矩形領域とは、例えば、重心座標１６２ｈが対角線の交点となるような矩形領域等である。

動画広告領域抽出部１８３が抽出した重心領域は、必ずしも矩形領域であるとは限らない。このような場合に、切り出し制御部１８４は、動画広告領域抽出部１８３が抽出した重心領域に含まれる矩形領域を切り出し領域とすることとしてもよい。

動画広告領域抽出部１８３が抽出した重心領域は、必ずしも画像領域のみからなるとは限らず、文字等を含んでいる可能性もある。重心領域が文字等を含んでいる場合には、重心領域の冒頭領域に存在する文字がそのＷＥＢページ１６２ａのタイトルや要約を示している場合が多い。また、重心領域の冒頭領域はＷＥＢページ１６２ａの重要な領域である場合が多い。したがって、切り出し制御部１８４は、動画広告領域抽出部１８３が抽出した重心領域の冒頭領域を切り出し領域とすることとしてもよい。

動画広告領域抽出部１８３が抽出した重心領域には、顔領域が含まれている可能性もある。重心領域が顔領域を含んでいる場合には、顔領域がＷＥＢページ１６２ａの重要な領域である場合が多い。したがって、切り出し制御部１８４は、動画広告領域抽出部１８３が抽出した重心領域に含まれる顔領域を切り出し領域とすることとしてもよい。

切り出し制御部１８４が重心領域からサムネイル画像データを切り出す形式は、ユーザによって設定されることとしてもよい。その場合には、出力制御部１８５は、入力部１４０を介して、ユーザから切り出し形式を示す切り出し形式情報１７１ｃの入力を受け付けると、入力を受け付けた切り出し形式情報１７１ｃを記憶部１７０に記憶させる。切り出し制御部１８４は、記憶部１７０が記憶する切り出し形式情報１７１ｃが示す切り出し形式によって規定される領域を切り出し領域とする。

また、デフォルトの切り出し形式情報が記憶部１７０に記憶されていることとしてもよい。その場合に、ユーザによって切り出し形式情報１７１ｃの入力がなされない場合には、切り出し制御部１８４は、デフォルトの切り出し形式情報が示す切り出し形式によって規定される領域を切り出し領域としてもよい。

切り出し制御部１８４が第２画像データ（ＷＥＢページ１６１ａから変換された画像データ）から切り出したサムネイル画像データは、出力制御部１８５によって出力されることとしてもよい。例えば、出力制御部１８５は、切り出し制御部１８４が第２画像データから切り出したサムネイル画像データを、表示部１６０を介して表示する。サムネイル画像データが表示部１６０を介して表示されると、例えば、サムネイル画像表示画面１２０に示したような画面が表示される。

また、例えば、出力制御部１８５は、切り出し制御部１８４が第２画像データから切り出したサムネイル画像データを、通信部１５０を介して他の装置に送信することとしてもよい。その場合には、切り出し制御部１８４が第２画像データから切り出したサムネイル画像データが、他の装置の表示部に表示される。

以上、本発明の実施形態にかかる情報処理装置の機能構成について説明した。次に、本発明の実施形態にかかる情報処理装置の動作について説明する。

［６．情報処理装置の動作］
図１１は、本発明の実施形態にかかる情報処理装置の動作を示すフローチャートである。以下、図１１を用いて（適宜図１乃至図１０参照）本発明の実施形態にかかる情報処理装置の動作について説明する。なお、以下では、ブログのＷＥＢページを取得する処理について説明するが、取得対象のデータは、ブログのＷＥＢページに限定されず、一般的なＷＥＢページ、表示装置に表示される内容のもとになるコンテンツデータ等であればよい。また、以下において、エントリとは、ブログの記事のことであり、ブログのＷＥＢページが更新されるたびに新たに生成されるものである。

まず、ユーザが入力部１４０を介してアプリケーションを起動すると、入力制御部１８１は、通信部１５０を介して、フィード情報をコンテンツ配信装置２００から読み込む（ステップＳ１）。フィード情報はＸＭＬなどのマークアップ言語で記述されており、フィード情報をパースして登録されているすべてのブログの各エントリ（一般的には、１０の最新エントリが使用される）のＵＲＬリスト（記事リンク１７２ｄ）を取得する。入力制御部１８１は、例えば、ブックマーク情報１７１に登録されている情報をもとにフィード情報を取得する。

次に、入力制御部１８１は、取得したフィード情報に含まれるＵＲＬリストをもとに、コンテンツ配信装置２００からＷＥＢページ（コンテンツデータ）をネットワーク３００（インターネット）経由で取得する（ステップＳ２）。入力制御部１８１は、取得したＷＥＢページ（コンテンツデータ）を画像データとして記憶部１７０に記憶させる（ステップＳ３）。入力制御部１８１は、例えば、ブラウザ画面をキャプチャする、ブラウザエンジンのＡＰＩを使用する、ＷＥＢＡＰＩでキャプチャする、などの様々な技術によってＷＥＢページを画像データに変換する。画像データは、例えば、画像ファイル１（１７２ｇ）に記憶される。

入力制御部１８１は、フィード情報に含まれるブログの各エントリの数だけステップＳ２およびステップＳ３を実行したか否かを判断する（ステップＳ４）。なお、アプリケーション起動時に毎回すべてのＷＥＢページを取得すると、情報処理装置１００に大きな負荷がかかる。そのため、アプリケーションの前回起動時に取得したＷＥＢページのＵＲＬと同じＵＲＬのＷＥＢページについては取得を省略するなどの制御を行うこととしてもよい。

入力制御部１８１は、フィード情報に含まれるブログの各エントリの数だけステップＳ２およびステップＳ３を実行していない場合には（ステップＳ４で「Ｎｏ」）、ステップＳ２に戻る。入力制御部１８１は、フィード情報に含まれるブログの各エントリの数だけステップＳ２およびステップＳ３を実行した場合には（ステップＳ４で「Ｙｅｓ」）、各ＷＥＢページの取得回数が所定の回数に達したか否かを判断する（ステップＳ５）。ここで、所定の回数とは、例えば、２回、３回等であるが、複数回であれば特に限定されるものではない。入力制御部１８１は、各ＷＥＢページの取得回数が所定の回数に達していないと判断した場合には（ステップＳ５で「Ｎｏ」）、ステップＳ２に戻り、例えば、１００ｍｓなどの所定の時間経過後に、同じＷＥＢページを再度取得する。入力制御部１８１が、各ＷＥＢページの取得回数が所定の回数に達したと判断した場合には（ステップＳ５で「Ｙｅｓ」）、重心候補領域抽出部１８２は、同一ブログの別エントリから画像データの差分値を算出し、算出した差分値をもとに重心候補領域を抽出する（ステップＳ６）。

重心候補領域抽出の処理について説明する。重心候補領域抽出部１８２は、表示対象のエントリ（ＷＥＢページ１６２ａ）を変換して得た画像データと、そのひとつ前のエントリ（ＷＥＢページ１６２ｂ）を変換して得た画像データとにおいて対応する画素の色情報を比較する。重心候補領域抽出部１８２は、表示対象のエントリ（ＷＥＢページ１６２ａ）を変換して得た画像データにおいて各画素の色情報から、そのひとつ前のエントリ（ＷＥＢページ１６２ｂ）を変換して得た画像データの対応する座標の色情報を差し引くと、画像１６１ｃおよび動画広告（動画広告領域１６２ｃに存在する動画）を取得できる（画像１６３ａ参照）。ブログのＷＥＢページにおいて、背景画像、タイトル、静的な広告コンテンツ等は、各エントリで共通のものを使用することが一般的である。そのため、更新された情報（画像１６１ｃおよび動画広告（動画広告領域１６２ｃに存在する動画））のみが取得される。この画像を２値化して得た画像を画像１６４ａとする。しかし、この画像１６４ａの中には、Ｆｌａｓｈなどで実装された動的な広告コンテンツが含まれており、完全な差分情報とはいえない。

そこで、次に、動画広告領域抽出部１８３は、別の時間に取得した同一エントリについて対応する画素の色情報の差分を算出し、動画広告領域を抽出する（ステップＳ６）。動画広告領域抽出部１８３は、表示対象のエントリ（ＷＥＢページ１６２ａ）を変換して得た画像データと、別の時刻に取得した、表示対象のエントリと同一のエントリ（ＷＥＢページ１６２ｇ）を変換して得た画像データとにおいて対応する画素の色情報を比較する。重心候補領域抽出部１８２は、表示対象のエントリ（ＷＥＢページ１６２ａ）を変換して得た画像データにおいて各画素の色情報から、同一エントリ（ＷＥＢページ１６２ｂ）を変換して得た画像データの対応する座標の色情報を差し引くと、動画広告（動画広告領域１６２ｃに存在する動画）を取得できる（画像１６３ｂ参照）。ブログのＷＥＢページにおいて、動きのあるコンテンツは別の時間で静止画として画像化すると色情報に差分が発生するので、動画広告（動画広告領域１６２ｃに存在する動画）のみが取得される。この画像を２値化して得た画像を画像１６４ｂとする。

動画広告領域抽出部１８３は、画像１６４ａの値から画像１６４ｂの値を、対応する画素について減算することによって、動画広告領域１６２ｃを除去し、重心領域（画像１６１ｃが存在する領域）を抽出する（ステップＳ８）。

切り出し制御部１８４は、重心領域に基づいてサムネイル画像データを切り出し（ステップＳ９）。出力制御部１８５は、切り出し制御部１８４が切り出したサムネイル画像データに基づいて、サムネイル画像を表示部１６０に表示する（ステップＳ１０）。切り出し制御部１８４は、重心領域（画像１６１ｃが存在する領域）を構成する各画素の座標の平均値を重心座標１６２ｈとして算出することとしてもよい。切り出し制御部１８４は、重心座標１６２ｈによって規定される任意の領域を抽出することで、ブログのＷＥＢページの差分領域を効率よく抽出することが可能になる。

［７．本実施形態による効果］
本実施形態によれば、ブログのようなシンジケーション型ＷＥＢコンテンツにおける重要な領域を抽出し、抽出した重要な領域を、小面積の表示装置に表示することができる。これによって、視認性が高く、かつ広告情報を除去したサムネイル画像レイアウトを実現できるという効果がある。

また、本実施形態においてＲＳＳフィードで配信される情報を利用することで、ＩＳＰ（Ｉｎｔｅｒｎｅｔ Ｓｅｒｖｉｃｅｓ Ｐｒｏｖｉｄｅｒ）側の制限によりＲＳＳフィードで十分な情報が取得できない場合にも、精度の高い情報領域抽出が可能になる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明の実施形態にかかる情報処理システムの構成を示す図である。 本発明の実施形態にかかる情報処理装置のハードウェア構成を示す図である。 本発明の実施形態にかかる情報処理装置の動作概要を示す図である。 本発明の実施形態にかかる情報処理装置の機能構成を示す図である。 本発明の実施形態にかかるブックマーク情報のデータ構造例を示す図である。 本発明の実施形態にかかるフィード情報のデータ構造例を示す図である。 本発明の実施形態にかかる制御部が有する機能について説明するための説明図（その１）である。 本発明の実施形態にかかる制御部が有する機能について説明するための説明図（その２）である。 本発明の実施形態にかかる制御部が有する機能について説明するための説明図（その３）である。 本発明の実施形態にかかる制御部が有する機能について説明するための説明図（その４）である。 本発明の実施形態にかかる情報処理装置の動作を示すフローチャートである。

符号の説明

１０ 情報処理システム
１００ 情報処理装置
１０２ ＲＡＭ
１０４ ＣＰＵ
１０６ 入力インタフェース
１０８ ネットワークインタフェース
１１０ 不揮発性メモリ
１１２ 表示装置
１２０ サムネイル画像表示画面
１４０ 入力部
１５０ 通信部
１６０ 表示部
１７０ 記憶部
１７１ ブックマーク情報
１７２ フィード情報
１７３ 閾値
１８０ 制御部
１８１ 入力制御部
１８２ 重心候補領域抽出部
１８３ 動画広告領域抽出部
１８４ 切り出し制御部
１８５ 出力制御部
２００ コンテンツ配信装置
３００ ネットワーク

Claims (12)

1. 閾値を記憶する記憶部と、
   コンテンツ配信装置と通信を行うことが可能な通信部と、
   第１コンテンツデータを、前記コンテンツ配信装置から前記通信部を介して受信し、当該第１コンテンツデータを第１画像データに変換して前記記憶部に記憶させ、前記第１コンテンツデータの一部または全部が更新されて生成された第２コンテンツデータを、前記コンテンツ配信装置から前記通信部を介して受信し、当該第２コンテンツデータを第２画像データに変換して前記記憶部に記憶させる入力制御部と、
   前記記憶部が記憶する前記第１画像データと前記第２画像データとについて対応する画素間における色情報の差分値を算出し、当該差分値が、前記記憶部が記憶する前記閾値を超える画素によって構成される領域である重心候補領域を抽出する重心候補領域抽出部と、
   前記重心候補領域抽出部が抽出した前記重心候補領域の一部または全部を含む領域である切り出し領域に相当するサムネイル画像データを前記第２画像データから切り出す切り出し制御部と、
   を備える、情報処理装置。
2. 前記切り出し制御部は、
   前記重心候補領域抽出部が抽出した前記重心領域を構成する画素の座標の平均値を重心座標として算出し、当該重心座標を基準として規定される所定の矩形領域を前記切り出し領域とする、
   請求項１に記載の情報処理装置。
3. 動画広告領域抽出部をさらに備え、
   前記入力制御部は、
   前記第２コンテンツデータを、前記コンテンツ配信装置から前記通信部を介して受信する処理と、当該第２コンテンツデータを第２画像データに変換して前記記憶部に記憶させる処理とを、複数回行い、
   前記動画広告領域抽出部は、
   前記入力制御部が前記記憶部に記憶させたそれぞれの前記第２コンテンツデータについて対応する画素間における色情報の差分値を算出し、当該差分値が、前記記憶部が記憶する前記閾値を超える画素によって構成される領域である動画広告領域を抽出し、当該動画広告領域を、前記重心候補領域から除外して重心領域を抽出し、
   前記切り出し制御部は、
   前記動画広告領域抽出部が抽出した前記重心領域の一部または全部を含む領域を前記切り出し領域とする、
   請求項１に記載の情報処理装置。
4. 前記切り出し制御部は、
   前記動画広告領域抽出部が抽出した前記重心領域を構成する画素の座標の平均値を重心座標として算出し、当該重心座標を基準として規定される所定の矩形領域を前記切り出し領域とする、
   請求項３に記載の情報処理装置。
5. 前記切り出し制御部は、
   前記動画広告領域抽出部が抽出した前記重心領域に含まれる矩形領域を前記切り出し領域とする、
   請求項３に記載の情報処理装置。
6. 前記切り出し制御部は、
   前記動画広告領域抽出部が抽出した前記重心領域の冒頭領域を前記切り出し領域とする、
   請求項３に記載の情報処理装置。
7. 前記切り出し制御部は、
   前記動画広告領域抽出部が抽出した前記重心領域に含まれる顔領域を前記切り出し領域とする、
   請求項３に記載の情報処理装置。
8. 入力部をさらに備え、
   前記入力制御部は、
   前記入力部を介して、ユーザから切り出し形式を示す切り出し形式情報の入力を受け付けると、当該切り出し形式情報を前記記憶部に記憶させ、
   前記切り出し制御部は、
   前記記憶部が記憶する前記切り出し形式情報が示す切り出し形式によって規定される領域を前記切り出し領域とする、
   請求項３に記載の情報処理装置。
9. 出力制御部と表示部とをさらに備え、
   前記出力制御部は、
   前記切り出し制御部が前記第２画像データから切り出した前記サムネイル画像データを、前記表示部を介して表示する、
   請求項１乃至請求項８のいずれか１項に記載の情報処理装置。
10. 前記切り出し制御部が前記第２画像データから切り出した前記サムネイル画像データを、前記通信部を介して送信する出力制御部をさらに備える、
    請求項１乃至請求項８のいずれか１項に記載の情報処理装置。
11. 閾値を記憶する記憶部と、コンテンツ配信装置と通信を行うことが可能な通信部と、入力制御部と、重心候補領域抽出部と、切り出し制御部と、を備える、情報処理装置の当該入力制御部が、
    第１コンテンツデータを、前記コンテンツ配信装置から前記通信部を介して受信し、当該第１コンテンツデータを第１画像データに変換して前記記憶部に記憶させ、前記第１コンテンツデータの一部または全部が更新されて生成された第２コンテンツデータを、前記コンテンツ配信装置から前記通信部を介して受信し、当該第２コンテンツデータを第２画像データに変換して前記記憶部に記憶させるステップと、
    前記重心候補領域抽出部が、
    前記記憶部が記憶する前記第１画像データと前記第２画像データとについて対応する画素間における色情報の差分値を算出し、当該差分値が、前記記憶部が記憶する前記閾値を超える画素によって構成される領域である重心候補領域を抽出するステップと、
    前記切り出し制御部が、
    前記重心候補領域抽出部が抽出した前記重心候補領域の一部または全部を含む領域である切り出し領域に相当するサムネイル画像データを前記第２画像データから切り出すステップと、
    を実行する、情報処理方法。
12. コンピュータを、閾値を記憶する記憶部と、
    コンテンツ配信装置と通信を行うことが可能な通信部と、
    第１コンテンツデータを、前記コンテンツ配信装置から前記通信部を介して受信し、当該第１コンテンツデータを第１画像データに変換して前記記憶部に記憶させ、前記第１コンテンツデータの一部または全部が更新されて生成された第２コンテンツデータを、前記コンテンツ配信装置から前記通信部を介して受信し、当該第２コンテンツデータを第２画像データに変換して前記記憶部に記憶させる入力制御部と、
    前記記憶部が記憶する前記第１画像データと前記第２画像データとについて対応する画素間における色情報の差分値を算出し、当該差分値が、前記記憶部が記憶する前記閾値を超える画素によって構成される領域である重心候補領域を抽出する重心候補領域抽出部と、
    前記重心候補領域抽出部が抽出した前記重心候補領域の一部または全部を含む領域である切り出し領域に相当するサムネイル画像データを前記第２画像データから切り出す切り出し制御部と、
    を備える、情報処理装置として機能させるための情報処理プログラム。

Images