JP6176991B2 - 情報処理装置およびその制御方法およびプログラム - Google Patents

Description

本発明は、コンテンツを再生するときに、当該コンテンツに対する付加情報を入力し、記憶するための技術に関する。

従来、ウェブサーバがウェブページをクライアント端末に提供し、クライアント端末がウェブページに対するコメントを入力すると、ウェブサーバが提供するウェブページ上にコメントが追加されて表示されることが行われている。（特許文献１参照）。

特開２００９−２７１８８７号公報

しかしながら、クライアント端末のユーザには、ウェブページを含む大量のコンテンツが提供されており、これらのコンテンツすべてに対してコメントを入力することは困難である。また、ユーザにとっては、このようなコンテンツそれぞれについて、コメントを入力するかどうかを判断することも煩雑であった。そして、クライアント端末のユーザがコメントを入力すべきであったコンテンツを見落としてしまい、コメントを入力し損なうという事態も発生していた。

そこで、本発明は、閲覧者がコメントを入力すべきコンテンツに対してコメントの入力を促したり、コメントの入力し損なうのを防いだりすることを目的とする。

上記課題を解決するために、本願に係る発明の１つは、コンテンツを表示装置に表示するよう制御する第１の表示手段と、前記コンテンツに対する付加情報を入力するための入力領域を前記表示装置に表示するよう制御する第２の表示手段と、前記コンテンツの閲覧者を撮影することにより得られた撮影画像データに含まれる第１の顔画像を取得する第１の取得手段と、前記コンテンツに含まれる第２の顔画像を取得する第２の取得手段を備え、前記第２の表示手段は、前記第１の顔画像と前記第２の顔画像が類似するか否かに応じて異なる表示態様で、前記入力領域を表示することを特徴とする。

本発明によれば、閲覧者がコメントを入力すべきコンテンツに対してコメントの入力を促したり、コメントの入力し損なうのを防いだりすることができ、閲覧者の操作性が向上するという効果が得られる。

本発明の一実施形態におけるコンテンツ鑑賞システムの構成の一例を示すブロック図である。 本発明の一実施形態における情報処理装置の構成の一例を示すブロック図である。 本発明の一実施形態におけるコンテンツ鑑賞画面一例を示す図である。 本発明の一実施形態における閲覧者端末の動作の一例を示すフローチャート図である。 本発明の一実施形態における閲覧者端末の動作の一例を示すフローチャート図である。 本発明の一実施形態における静止画像データの一例を示す図である。 本発明の一実施形態における閲覧者端末の動作の一例を示すフローチャート図である。 本発明の一実施形態におけるコンテンツ鑑賞画面一例を示す図である。 本発明の一実施形態における閲覧者端末の動作の一例を示すフローチャート図である。 本発明の一実施形態における動画像データの再生シーケンスの一例を示す図である。 本発明の一実施形態におけるコンテンツ鑑賞画面一例を示す図である。 本発明の一実施形態における閲覧者端末の動作の一例を示すフローチャート図である。

以下に、図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。

（第１の実施例）
図１は本実施例のコンテンツ鑑賞システムの一例を示す模式図である。コンテンツ管理装置１０１は、画像データや動画データ、音楽データなどのコンテンツを管理し、閲覧者端末１０２に提供する。コンテンツ管理装置１０１は、これらのコンテンツが閲覧者端末１０２の画面上で再生できるように、コンテンツを含むＷｅｂページを生成して閲覧者端末１０２へ送信する。ネットワーク１０３はインターネット網、イントラネット網、公衆回線網などであり、ネットワーク１０３を介してコンテンツ管理装置１０１と閲覧者端末１０２は通信可能となる。

コンテンツ管理装置１０１はサーバコンピュータにより実現される。また、閲覧者端末はパーソナルコンピュータ、スマートフォン、デジタルカメラやプリンタなどの通信機能を備えた様々な情報処理装置で実現される。

なお、本実施例のコンテンツ鑑賞システムにおいて、コンテンツ管理装置１０１は１台で、閲覧者端末１０２は複数台の場合を例示しているが、台数はこれに限らない。

図２は本実施例の閲覧者端末１０２を実現する情報処理装置のハードウェア構成の一例を示すブロック図である。表示装置２０１は、その画面に、例えば編集中の文書、図形、画像その他の編集情報、アイコン、メッセージ、メニューその他のユーザインタフェース情報が表示される。本実施例ではコンテンツ鑑賞画面が表示される。表示装置２０１は例えばＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｔ）ディスプレイ等により実現される。Ｖｉｄｅｏ ＲＡＭ（ＶＲＡＭ）２０２は、表示装置２０１の画面に表示するための画像が描画される。このＶＲＡＭ２０２に生成された画像は、所定の規定に従って表示装置２０１に転送され、これにより表示装置２０１の画面に画像が表示される。撮像装置２０３は被写体を撮像処理して画像データを生成し、デジタルカメラなどで実現される。本実施例の撮像装置２０３は閲覧者を撮像処理する。操作装置２０４はユーザの操作に応答して、文字列やコマンド、選択指示等を入力する。本実施例の操作装置２０４は、閲覧者がコンテンツに対するコメントの文字列を入力したり、コンテンツの切り替えや、コンテンツ再生の終了を指示したりするのに使用される。操作装置２０４は、キーボードやポインティングデバイス、タッチパネル等で実現される。

制御部２０６はＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）等で実現され、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）２０７、記憶装置２０９に格納された制御プログラムに基づいて、バス２１２を介して接続された各デバイスを制御する。

ＲＯＭ２０７は各種の制御プログラムやデータを保持する。Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）２０８は、制御部２０６のワーク領域、エラー処理時のデータの退避領域、制御プログラムのロード領域等を有する。記憶装置２０９はハードディスクドライブ（ＨＤＤ）、フラッシュメモリで構成されるソリッドステートドライブ（ＳＳＤ）や、ハードディスクとフラッシュメモリを併用したハイブリッドドライブで実現される。記憶装置２０９は、各制御プログラムや、画像データやテキストデータ等のコンテンツを格納することができる。また、例えば、記憶装置２０９には、オペレーティングシステム（ＯＳ）、アプリケーションプログラム、ＤＢ管理プログラム、各種情報を管理するためのテーブルなどが格納されている。

Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）インタフェース２２０は、ＵＳＢメモリやＣｏｍｐａｃｔ Ｄｉｓｃ（ＣＤ）ドライブ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）ドライブなどの外部デバイスと接続する。これにより情報処理装置の機能を拡張することを可能とする。ネットワークインタフェース２１１は、有線或いは無線により他の情報処理装置やプリンタ等と通信を行うことができる。本実施例のネットワークインタフェース２１１は、閲覧者端末１０２がネットワーク１０３を介してコンテンツ管理装置１０１と通信するために使用される。また、ネットワークインタフェース２１１を介して他の情報処理装置等から制御部２０６に供給する制御プログラムの提供を受けることもできる。

本実施例では、コンテンツ管理装置１０１がコンテンツとして静止画像データを閲覧者端末１０２に提供し、静止画像データを一枚ずつ順に切り替えて閲覧者端末１０２の表示装置２０１に表示する場合について説明する。

図３は本実施例のコンテンツ鑑賞画面の一例を示す図である。コンテンツ鑑賞画面は閲覧者端末１０２の表示装置２０１に表示され、閲覧者は撮像装置２０３により撮影される。閲覧者は、ボタン３０４や表示装置２０１上に設置されたタッチパネルを操作装置２０４として使用し、コンテンツ鑑賞画面に対して所望の操作を行う。タッチパネルはペンや閲覧者の指などの外部からの物理的な接触やその接触の位置を感知する機能を備えている。

図３（ａ）のコンテンツ鑑賞画面では、静止画像データがコンテンツ再生領域３０５に表示され、当該静止画像データに関連付けて記憶されている複数のコメントデータがコメント表示領域３０６に一覧表示される。図３（ａ）は、コメント入力モードが起動していない状態のコンテンツ鑑賞画面を示す。閲覧者は、コンテンツ再生領域３０５に表示中の静止画像データに対してコメントの入力を要求する場合、コメント入力ボタン３０７を選択操作することで、コンテンツ入力モードを起動することができる。

図３（ｂ）は、コメント入力モードが起動した状態のコンテンツ鑑賞画面を示し、コメント入力領域３１２が配置されたコメント入力パネル３１０が表示される。閲覧者の入力操作に応答して文字列がコメントデータとして入力され、コメント入力領域３１２に表示される。閲覧者はコメントの入力操作を完了すると実行ボタン３１３を選択操作し、これに応答して、閲覧者端末１０２はコメントデータをコンテンツ管理装置１０１へ送信する。コンテンツ管理装置１０１は送信されたコメントデータをコンテンツ再生領域３０５に表示中の静止画像データと関連付けて記憶する。これにより、静止画像データが表示されるとき、入力されたコメントデータも一緒に表示されることとなる。

また、図３（ｂ）のコンテンツ鑑賞画面では、閲覧者の顔が、コンテンツ再生領域３０５に表示される静止画像データの被写体として含まれている場合に、その旨を閲覧者に伝えるメッセージ３１１をコメント入力パネル３１０上に表示する。また、静止画像データ上で閲覧者の顔の領域に顔枠３０９を重畳して表示する。これにより、閲覧者は静止画像データ上で自分がどこに存在し、どのように写っているかを容易に確認できるので、静止画像データに対するコメントを入力し易くなる。

閲覧者はコメントの入力中止を要求する場合、キャンセルボタン３１４を選択操作することで、コンテンツ入力モードを終了することができる。コンテンツ入力モードを終了すると、図３（ａ）のコンテンツ鑑賞画面の表示に戻る。

本実施例における閲覧者端末１０２の動作について図４を参照して説明する。以下に説明する動作は、閲覧者端末１０２の制御部２０６が記憶装置２０９やＲＯＭ２０７、ＲＡＭ２０８から各種プログラムやデータを読み出し、各デバイスを制御することにより実現される。

まず、制御部２０６はコンテンツ管理装置１０１から再生対象の静止画像データを取得して（Ｓ４０１）、静止画像データの総数を変数Ｎに代入し、初期値“１”を変数ｉに代入する（Ｓ４０２）。ステップＳ４０１において、制御部２０６は、静止画像データとともに、静止画像データに関連付けて記憶されたコメントデータも取得する。

制御部２０６は、ｉ枚目の静止画像データに対して顔認識処理を実行し、顔画像を取得する（Ｓ４０３）。制御部２０６は、撮像装置２０３により閲覧者を撮影して撮影画像データを取得し（Ｓ４０４）、顔認識処理を実行し、閲覧者の顔画像を取得する（Ｓ４０５）。制御部２０６は、ｉ枚目の静止画像データに含まれる顔画像と閲覧者の顔画像を比較し（Ｓ４０６）、類似するかどうかを判定する（Ｓ４０７）。例えば、制御部２０６は顔画像から特徴量を算出して、ｉ枚目の静止画像データに含まれる顔画像の特徴量と閲覧者の顔画像の特徴量を比較する（Ｓ４０６）。比較の結果、特徴量の差分が閾値より小さければ類似すると判定し（Ｓ４０７でＹｅｓ）、閾値より大きければ類似しないと判定する（Ｓ４０７でＮｏ）。

制御部２０６は、ｉ枚目の静止画像データの顔画像と閲覧者の顔画像が類似すれば（Ｓ４０７でＹｅｓ）、図３（ｂ）のようにコメント入力モードを起動した状態でコンテンツ鑑賞画面のコンテンツ再生領域３０５にｉ枚目の静止画像データを表示する（Ｓ４０８）。

制御部２０６は、閲覧者の操作に応答して、コメントの入力完了が指示されたか否かを判定する（Ｓ４０９）。制御部２０６は、実行ボタン３１３が選択操作されたことを検知すると、コメントの入力完了が指示されたと判定する。

制御部２０６は、コメントの入力完了が指示されたと判定すれば（Ｓ４０９でＹｅｓ）、入力された文字列をコメントデータとして、表示中の静止画像データを一意に特定する画像ＩＤとともにコンテンツ管理装置１０１へ送信する（Ｓ４１０）。コンテンツ管理装置１０１はコメントデータを受信し、画像ＩＤと関連付けて保存する。

制御部２０６は、閲覧者の操作に応答して、コンテンツ再生領域３０５の表示を次の静止画像データに切り替えると判定されれば（Ｓ４１１でＹｅｓ）、変数ｉに１を加算する（Ｓ４１２）。そして、変数ｉが変数Ｎより小さければ（Ｓ４１３でＮｏ）、ｉ枚目の静止画像データについて同様に処理を実行する。

一方、制御部２０６は、ｉ枚目の静止画像データの顔画像と閲覧者の顔画像が類似しなければ（Ｓ４０７でＮｏ）、図３（ａ）のようにコメント入力モードを起動せずに、コンテンツ再生領域３０５にｉ枚目の静止画像データを表示する（Ｓ４１４）。その後、制御部２０６は、閲覧者によりコメント入力モードの起動指示を受付ければ（Ｓ４１５でＹｅｓ）、コメント入力モードを起動し、図３（ｂ）に示すようにコメント入力パネル３１０を表示する（Ｓ４１６）。

以上のようにして、本実施例によれば、閲覧者が画像に写っていれば、コメント入力モードを起動し、画像とともにコメント入力領域を自動的に表示するので、閲覧者は自分が写っている画像に対してコメントを入力し損なうのを防ぐことができる。また、画像の提供者は手間をかけることなく、写真に写っている人物に対して積極的にコメントの入力を促すことができる。また、閲覧者が画像に写っていなければ、コメント入力モードは自動的には起動されないので、閲覧者は特に入力すべきではない画像であることを容易に認識することができる。

なお、上記では撮影画像から閲覧者の顔画像を取得するために、ステップＳ４０４において閲覧者を撮影するようにしたが、これに限らない。例えば、閲覧者端末１０２以外の外部装置が、閲覧者の顔画像を予め保持しておくようにしてもよい。

閲覧者端末１０２が閲覧者を撮影することなく、閲覧者の顔画像を取得する場合の動作について図５を参照して説明する。

制御部２０６は閲覧者の入力操作に応答して、閲覧者のアカウント情報を取得し（Ｓ５０１）、ネットワーク１０３を介してアカウント情報をアカウント管理ＤＢのサーバ装置へ送信する（Ｓ５０２）。アカウント管理ＤＢのサーバ装置は、アカウント情報を閲覧者の顔画像と関連付けて保存しており、閲覧者端末１０２から受信したアカウント情報に関連付けられた顔画像を検索し、該当する顔画像の有無を閲覧者端末１０２へ通知する。制御部２０６はアカウント管理ＤＢのサーバ装置からの通知に基づき、アカウント情報に対応する顔画像が存在すると判定されれば（Ｓ５０３でＹｅｓ）、アカウント管理ＤＢのサーバ装置に顔画像を要求し、ネットワーク１０３を介して受信する（Ｓ５０４）。

なお、アカウント情報は閲覧者を一意に特定するユーザＩＤを含む。ユーザＩＤの他にパスワードを含むようにしてもよい。

また、閲覧者端末１０２が指紋や声紋、虹彩パターン、静脈パターンなどの生体情報を入力するための入力機器を備え、閲覧者の生体情報をアカウント情報として用いるようにしてもよい。

また、上記ではステップＳ４０３において静止画像データに含まれる顔画像が類似していれば、必ずコメント入力領域を自動的に表示する場合について説明したが、これに限らない。例えば、類似する顔画像が静止画像データの全体に占める面積の割合（面積比）が小さな顔画像は取得しないようにしてもよい。例えば、図６では顔画像６０２または６０３が閲覧者の顔画像に類似するときは、それぞれ静止画像データ６０１全体に占める割合が大きいのでステップＳ４０８においてコメント入力領域を自動的に表示する。一方、顔画像６０４が閲覧者の顔画像に類似するときは、静止画像データ全体に占める割合が小さいので、コメント入力領域を自動的に表示することなく、ステップＳ４１４においてコメント入力領域を非表示にする。

閲覧者端末１０２が静止画像データに含まれる類似顔画像が所定の条件を満たすかどうかに応じてコメント入力領域を自動的に起動する場合の動作について図７を参照して説明する。

ｉ枚目の画像の顔画像と閲覧者の顔画像が類似すると判定されれば（Ｓ４０７でＹｅｓ）、制御部２０６は閲覧者の顔画像に類似する静止画像データ内の顔画像の面積を計算し（Ｓ７０１）、静止画像データ全体の面積に占める割合（面積比）を計算する（Ｓ７０２）。顔画像の面積比が閾値より大きければ（Ｓ７０３でＹｅｓ）、ステップＳ４０８へ進む。一方、顔画像の面積比が閾値より大きければ（Ｓ７０３でＮｏ）、ステップＳ４１４へ進む。

以上のようにして、顔画像の面積比が小さければ、画像を再生しても視認しづらいので、その人物に関わるコメントを入力する必要性が低いと判断でき、閲覧者が不要なコメントの入力にかかる手間を省くことができる。また、顔画像の面積比が小さければ、顔認識処理の精度が下がり、撮影中に偶然、通りかかって写ってしまったような関係のない人物を誤認識する可能性がある。よって、閲覧者とは類似しない可能性が高いので、コメント入力領域を自動的に表示しないようにすることで、閲覧者が不要な通知に煩わされる手間を省くことが出来る。

なお、面積比を計算して面積比を閾値と比較する代わりに、面積比は計算せずに類似する静止画像データ内の顔画像の面積を閾値と比較し、閾値よりも大きければ、ステップＳ４０８へ進むようにしてもよい。

また、ｉ枚目の静止画像データの顔画像と閲覧者の顔画像が類似すると判定されれば（Ｓ４０７でＹｅｓ）、制御部２０６は静止画像データから抽出された顔画像の個数をカウントし、所定の個数より少ないときに、ステップＳ４０８に進むようにしてもよい。これにより、静止画像データに対してコメントを入力する可能性の高い人物が閲覧者以外にも少ない場合に、閲覧者に対してコメントの入力を促すことができ、静止画像データに対するコメントが未入力になってしまうのを防ぐことができる。

また、ｉ枚目の静止画像データの顔画像と閲覧者の顔画像が類似すると判定されれば（Ｓ４０７でＹｅｓ）、制御部２０６は閲覧者の顔画像と類似する顔画像の面積が静止画像データに含まれる顔画像の中で最大のときに、ステップＳ４０８に進むようにしてもよい。これにより、静止画像データにおいて目立っている人物に対して、コメントの入力を積極的に促すことができる。

また、上記では、表示されるコンテンツに閲覧者と類似する顔画像が含まれていれば、コメント入力領域を自動的に表示し、そうでなければコメント入力領域を非表示にするような表示態様の場合について説明した。しかし、これに限らず、閲覧者にコメント入力を促せるような表示態様であれば他の表示態様であってもよい。例えば、表示されているコンテンツに閲覧者と類似する顔画像が含まれているか否かに関わらずコメント入力領域は表示され、閲覧者と類似する顔画像を含むコンテンツが表示されるとき、コメント入力領域を点滅したり、枠を付与して強調表示する。あるいは、閲覧者と類似する顔画像を含まないコンテンツが表示されるときに比べて、コメント入力領域を拡大して表示したり、中央など目立つ位置に表示したりする。あるいは、表示されるコンテンツが閲覧者と類似する顔画像を含むか否かに応じてコメント入力領域の色を変更するようにしてもよい。これらにより、閲覧者は自分と類似する顔画像を含むコンテンツが表示され、コメント入力をすべきであることに気づき易くなり、コメントを入力し損なうのを防ぐことができる。

また、上記では、コンテンツに対するコメントデータを入力する場合について説明したが、コメントデータの代わりに他の付加情報を入力する場合も本実施例を同様に実現できる。例えば、コンテンツに関する評価の等級を示すレーティングデータや、コンテンツの公開を許可する相手を示す公開範囲データなどである。これにより、コメントデータ以外にも閲覧者に判断を仰ぎたい付加情報についても、入力を促すことができる。

（第２の実施例）
本実施例では、コンテンツ管理装置１０１がコンテンツとして動画像データを閲覧者端末１０２に提供し、動画像データを閲覧者端末１０２の表示装置２０１に表示する場合について説明する。なお、上述の第１の実施例と同様の構成については説明を省略する。

図８は本実施例のコンテンツ鑑賞画面の一例を示す図である。図８（ａ）のコンテンツ鑑賞画面では、動画像データがコンテンツ再生領域８０５に表示され、動画像データのフレームに関連付けて記憶されている複数のコメントデータ８０６もコンテンツ再生領域８０５に重畳して表示されている。再生コントローラ８１６は動画像データの再生に対して、早送り、巻き戻し、一時停止、停止などの指示を入力するためのものである。図８（ａ）は、コメント入力モードが起動していない状態のコンテンツ鑑賞画面を示す。閲覧者は、コンテンツ再生領域８０５で再生されている動画像データに対してコメントの入力を要求する場合、コメント入力ボタン８０７を選択操作することで、コンテンツ入力モードを起動することができる。

図８（ｂ）は、コメント入力モードが起動した状態のコンテンツ鑑賞画面を示し、コメント入力領域８１２が配置されたコメント入力パネル８１０が表示される。閲覧者の入力操作に応答して文字列がコメントデータとして入力され、コメント入力領域８１２に表示される。閲覧者はコメントの入力操作を完了すると実行ボタン８１３を選択操作し、これに応答して、閲覧者端末１０２はコメントデータをコンテンツ管理装置１０１へ送信する。コンテンツ管理装置１０１は送信されたコメントデータを動画像データのフレームと関連付けて記憶する。これにより、動画像データが再生されるとき、入力されたコメントデータも一緒に表示されることとなる。本実施例では、コメントデータの入力のために動画像データの再生が一時停止され、その一時停止位置から所定の時間、継続してコメントデータが表示される。

また、図８（ｂ）のコンテンツ鑑賞画面では、閲覧者の顔が、再生される動画像データのフレームの被写体として含まれている場合に、その旨を閲覧者に伝えるメッセージ８１１をコメント入力パネル８１０上に表示する。また、動画像データ上で閲覧者の顔の領域に顔枠８０９を重畳して表示する。これにより、閲覧者は動画像データ上で自分がどこに存在し、どのように写っているかを容易に確認できるので、動画像データに対するコメントを入力し易くなる。

閲覧者はコメントの入力の中止を要求する場合、キャンセルボタン８１４を選択操作することで、コンテンツ入力モードを終了することができる。コンテンツ入力モードを終了すると、図８（ａ）のコンテンツ鑑賞画面の表示に戻る。

本実施例における閲覧者端末１０２の動作について図９を参照して説明する。以下に説明する動作は、閲覧者端末１０２の制御部２０６が記憶装置２０９やＲＯＭ２０７、ＲＡＭ２０８から各種プログラムやデータを読み出し、各デバイスを制御することにより実現される。

まず、制御部２０６は図８（ａ）に示すようにコメント入力モードを起動しない状態で鑑賞画面を表示し、再生対象の動画像データをコンテンツ管理装置１０１から取得して再生を開始する（Ｓ９０１）。ステップＳ９０１において、制御部２０６は、動画像データとともに、動画像データの各フレームに関連付けて記憶されたコメントデータも取得する。

制御部２０６は再生されるフレームの画像に対して顔認識処理を実行し、顔画像を取得する（Ｓ９０２）。制御部２０６は、撮像装置２０３により閲覧者を撮影して撮影画像データを取得し（Ｓ９０３）、顔認識処理を実行し、閲覧者の顔画像を取得する（Ｓ９０４）。制御部２０６は再生されるフレームに含まれる顔画像と閲覧者の顔画像を比較し（Ｓ９０５）、類似するかどうかを判定する（Ｓ９０６）。制御部２０６は、再生されるフレームに含まれる顔画像と閲覧者の顔画像が類似すれば（Ｓ９０６でＹｅｓ）、動画像データの再生を一時停止し（Ｓ９０７）、コメント入力モードを起動し（Ｓ９０８）、コメント入力パネル８１０をコンテンツ鑑賞画面上に表示する。

制御部２０６は、閲覧者の操作に応答して、コメントの入力完了が指示されたか否かを判定する（Ｓ９０９）。制御部２０６は、コメントの入力完了が指示されたと判定すれば（Ｓ９０９でＹｅｓ）、入力された文字列をコメントデータとして、動画像データの画像ＩＤと、フレームの位置を特定する情報とともにコンテンツ管理装置１０１へ送信する（Ｓ９１０）。コンテンツ管理装置１０１はコメントデータを受信し、画像ＩＤおよび一時停止された位置と関連付けて保存する。

そして、一時停止中の動画像データの再生を再開する指示が入力されれば（Ｓ９１１でＹｅｓ）、動画像データの再生を再開し、動画像データの再生を終了する指示が入力されなければ（Ｓ９１３でＮｏ）、次に再生されるフレームについて同様に処理を実行する。

一方、制御部２０６は再生されるフレームに含まれる顔画像と閲覧者の顔画像が類似しなければ（Ｓ９０６でＮｏ）、閲覧者によりコメント入力モードの起動指示を受付けたかどうかを判定し（Ｓ９１４）する。そして、起動指示があれば（Ｓ９１４でＹｅｓ）、制御部２０６は動画像データの再生を一時停止し（Ｓ９０７）、コメント入力モードを起動し（Ｓ９０８）、コメント入力パネル８１０をコンテンツ鑑賞画面上に表示する。

以上のようにして、本実施例によれば、動画像データの再生であっても、静止画像データの再生の場合と同様に、閲覧者が画像に写っていれば、コメント入力モードを起動し、自動的にコメント入力領域を表示することができる。

なお、ステップＳ９０６において、制御部２０６は再生されるフレームに含まれる顔画像と閲覧者の顔画像が類似すると判定されると、その後、一定時間経過するまでフレームに対して顔認識処理とフレームに含まれる顔画像の取得処理を継続して行う。そして、一定時間の間、閲覧者の顔画像と類似する顔画像が継続してフレームに存在すれば、ステップＳ９０７以降の処理に進むようにしてもよい。

例えば、図１０（ａ）は、動画像データのうちＴ１の区間に閲覧者の顔画像が存在していても、所定時間ｔの経過前に存在しなくなる場合を表すシーケンス図である。このような場合、ステップＳ９０６において制御部２０６は再生されるフレームに含まれる顔画像と閲覧者の顔画像が類似すると判定できない。よって、制御部２０６はコメント入力モードを起動しない。一方、Ｔ２の区間に閲覧者の顔画像が存在していれば、所定の時間ｔの経過後も存在しているため、ステップＳ９０６において制御部２０６は再生されるフレームに含まれる顔画像と閲覧者の顔画像が類似すると判定する。よって、制御部２０６はコメント入力モードを起動する。

これにより、十分に長い時間に写っている人物に対して積極的にコメントの入力を促すことが可能になる。

また、閲覧者と類似する顔画像が存在すると判定されてコメント入力モードを自動的に起動し、コメントデータが入力された場合に、動画データの再生時には当該コメントデータを閲覧者と類似する顔画像が存在する間、コメントを表示するようにしてもよい。

例えば、図１０（ｂ）は、動画像データのうちＴ２の区間に閲覧者の顔画像が存在する場合を示す再生シーケンス図である。このような場合、コメントデータがＴ２の区間内のある時点に入力された場合、動画像データを再生すると、当該コメントデータをＴ２の区間で表示する。

また、上記では、動画像データのフレーム毎に、閲覧者と類似する顔画像が存在すればコメント入力領域を表示するようにしたが、これに限らない。例えば、動画像データ全体を通して、閲覧者と類似する顔画像が存在するシーンがあれば、コメント入力領域を表示するようにしてもよい。この場合、閲覧者と類似する顔画像が再生された後または、動画像データが最後まで再生された後にコメント入力領域を表示すれば、閲覧者は自分がどのシーンでどのように映っているかを確認した上で最適なコメントを入力することができる。また、閲覧者と類似する顔画像が映っている時間の長さが所定時間より長い場合に、コメント入力領域を表示するようにしてもよい。

また、上記では、動画像データの場合について説明したが、一連の複数の静止画像データを所定の時間間隔で自動的に順次切り替えて表示するスライドショー再生でも同様に本実施例を適用可能である。あるいは、閲覧者のフリック入力などの素早い入力操作に応答して、複数の静止画像データをスクロールして連続表示するスクロール再生でも同様に本実施例を適用可能である。あるいは、後述するフォトブックの複数のページを自動的に切り替えて表示するプレビュー再生でも同様に本実施例を適用可能である。具体的には、表示される静止画像データの顔画像を取得し（Ｓ９０２）、閲覧者の顔画像と比較する（Ｓ９０５）。そして、類似していれば（Ｓ９０６でＹｅｓ）、スライドショー再生やスクロール再生、プレビュー再生を一時停止し（Ｓ９０７）、一時停止中に表示される静止画像データやページに対してコメント入力を起動（Ｓ９０８）するようにすればよい。よって、類似していれば、閲覧者はコメント入力をすることができ、類似していなければ、継続して再生されるので、閲覧者はコメント入力をすることなく、速やかに他の画像を閲覧することができる。

（第３の実施例）
本実施例では、コンテンツ管理装置１０１がコンテンツとしてフォトブックを閲覧者端末１０２に提供し、閲覧者端末１０２の表示装置２０１にフォトブックのページを順に切り替えて表示する場合について説明する。フォトブックのページには複数の静止画像データが配置される。なお、上述の第１および２の実施例と同様の構成については説明を省略する。

図１１は本実施例のコンテンツ鑑賞画面の一例を示す図である。図１１（ａ）のコンテンツ鑑賞画面では、複数の静止画像データ１１１５が配置されたページがコンテンツ再生領域１１０５に表示され、表示中のページに関連付けて記憶されている複数のコメントデータがコメント表示領域１１０６に一覧表示される。図１１（ａ）は、コメント入力モードが起動していない状態のコンテンツ鑑賞画面を示す。閲覧者は、コンテンツ再生領域１１０５に表示中のページに対してコメントの入力を要求する場合、コメント入力ボタン１１０７を選択操作することで、コンテンツ入力モードを起動することができる。

図１１（ｂ）は、コメント入力モードが起動した状態のコンテンツ鑑賞画面を示し、コメント入力領域１１１２が配置されたコメント入力パネル１１１０が表示される。閲覧者の入力操作に応答して文字列がコメントデータとして入力され、コメント入力領域１１１２に表示される。閲覧者はコメントの入力操作を完了すると実行ボタン１１１３を選択操作し、これに応答して、閲覧者端末１０２はコメントデータをコンテンツ管理装置１０１へ送信する。コンテンツ管理装置１０１は送信されたコメントデータを表示中のフォトブックのページに関連付けて記憶する。これにより、フォトブックのページが表示されるとき、入力されたコメントデータも一緒に表示されることとなる。

また、図３（ｂ）のコンテンツ鑑賞画面では、閲覧者の顔が、コンテンツ再生領域１１０５に表示されるページに配置された静止画像データ１１０９の被写体として含まれていることを示すメッセージ１１１１をコメント入力パネル１１１０上に表示する。また、ページに配置されている静止画像データのうち閲覧者の顔が含まれる静止画像データを強調して表示する。図１１（ｂ）では斜線で網掛けをして表示する例を示している。これにより、閲覧者はページ上のどの静止画像データに自分が存在し、どのように写っているかを容易に確認できる。

閲覧者はコメントの入力中止を要求する場合、キャンセルボタン１１１４を選択操作することで、コンテンツ入力モードを終了することができる。コンテンツ入力モードを終了すると、図１１（ａ）のコンテンツ鑑賞画面の表示に戻る。

本実施例における閲覧者端末１０２の動作について図１２を参照して説明する。以下に説明する動作は、閲覧者端末１０２の制御部２０６が記憶装置２０９やＲＯＭ２０７、ＲＡＭ２０８から各種プログラムやデータを読み出し、各デバイスを制御することにより実現される。

まず、制御部２０６はコンテンツ管理装置１０１からフォトブックデータを取得する。フォトブックデータはページ毎に、配置対象の画像データの画像ＩＤとその配置位置を関連付けて記述されている。そして、フォトブックデータはページに配置される静止画像データやページに関連付けられたコメントデータを含む。

まず、制御部２０６は表示するページを選択する（Ｓ１２０１）。ページの選択は閲覧者の指定操作に応答して行う。あるいは、最初は先頭ページを自動的に選択するようにしてもよい。

制御部２０６は、選択されたページに配置された静止画像データに対して顔認識処理を実行し、顔画像を取得する（Ｓ１２０２）。制御部２０６は撮像装置２０３により閲覧者を撮影して撮影画像データを取得し（Ｓ１２０３）、閲覧者の顔画像を取得する（Ｓ１２０４）。制御部２０６は選択されたページの静止画像データに含まれる顔画像と閲覧者の顔画像を比較し（Ｓ１２０５）、類似するかどうかを判定する（Ｓ１２０６）。

制御部２０６は、選択ページの静止画像データの顔画像と閲覧者の顔画像が類似すれば（Ｓ１２０６でＹｅｓ）、図１１（ｂ）のようにコメント入力モードを起動してコンテンツ鑑賞画面のコンテンツ再生領域１１０５に選択ページを表示する（Ｓ１２０７）。

制御部２０６は、閲覧者の操作に応答して、コメントの入力完了が指示されたか否かを判定する（Ｓ１２０８）。

制御部２０６は、コメントの入力完了が指示されたと判定すれば（Ｓ１２０８でＹｅｓ）、入力された文字列をコメントデータとしてコンテンツ管理装置１０１へ送信する（Ｓ１２０９）。制御部２０６は、ステップＳ１２０９においてフォトブックデータを一意に特定するフォトブックＩＤと、ページを一意に特定するページＩＤもコンテンツ管理装置１０１へ送信する。コンテンツ管理装置１０１はコメントデータを受信し、フォトブックＩＤおよびそのページＩＤと関連付けて保存する。

制御部２０６は、閲覧者の操作に応答してコンテンツ再生領域１１０５の表示を次のページに切り替えると判定されれば（Ｓ１２１０でＹｅｓ）、次のページについて同様に処理を実行する。

一方、制御部２０６は選択ページの静止画像データの顔画像と閲覧者の顔画像が類似しなければ（Ｓ１２０６でＮｏ）、図１１（ａ）のようにコメント入力モードを起動せずに、コンテンツ再生領域１１０５に選択ページを表示する（Ｓ１２１１）。その後、制御部２０６は、閲覧者によりコメント入力モードの起動指示を受付ければ（Ｓ１２１２でＹｅｓ）、コメント入力モードを起動し、図１１（ｂ）に示すようにコメント入力パネル１１１０を表示する（Ｓ１２１３）。

以上のようにして、本実施例によれば、フォトブックのページの再生であっても、静止画像データの再生の場合と同様に、閲覧者がページ上に配置された画像に写っていれば、コメント入力モードを起動し、コメント入力領域を自動的に表示することができる。

なお、上記では、閲覧者の顔画像を含む静止画像データがページ上にあれば、その静止画像データの枚数に関わらず、ステップＳ１２０７においてコメント入力モードを自動的に起動した状態でコンテンツ鑑賞画面を表示する場合について説明した。しかしこれに限らず、例えば、閲覧者の顔画像を含む静止画像データの枚数がページに表示された静止画像データの総数に対して占める割合が所定値より大きければ、コメント入力モードを自動的に起動するようにしてもよい。

また、閲覧者の顔画像を含む静止画像データの枚数が所定の枚数より多ければ、コメント入力モードを自動的に起動し（Ｓ１２０７）、所定の枚数より少なければ、コメント入力モードを起動しない（Ｓ１２０８）ようにしてもよい。

また、制御部２０６が閲覧者の顔画像を含む静止画像データの面積を算出し、ページ全体の面積に占める割合を計算する。そして、所定の値より大きければ、コメント入力モードを自動的に起動し（Ｓ１２０７）、所定の値より小さければ、コメント入力モードを起動しない（Ｓ１２０８）ようにしてもよい。

また、閲覧者の顔画像を含む静止画像データの面積が、所定の値より大きければ、コメント入力モードを自動的に起動し（Ｓ１２０７）、所定の値より小さければ、コメント入力モードを起動しない（Ｓ１２０８）ようにしてもよい。

なお、上述の第１乃至３の実施例では、閲覧者端末１０２がコンテンツに対する顔認識処理を実行し、顔画像を取得する場合について説明したが、閲覧者端末１０２に代えてコンテンツ管理装置１０１が行い、顔画像を閲覧者端末１０２へ送信するようにしてもよい。

さらに、上述の第１乃至３の実施例では、閲覧者端末１０２がコンテンツの顔画像と閲覧者の顔画像を比較し、類似するかどうかを判定する場合について説明した。しかし、コンテンツ管理装置１０１が閲覧者端末１０２等から閲覧者の顔画像を取得し、閲覧者端末１０２に代えて類似判定を行うようにしてもよい。

そして、コンテンツ管理装置１０１がコンテンツ入力モードの起動を閲覧者端末１０２に対して指示し、閲覧者端末１０２はこの指示にしたがって、コンテンツ入力パネルをコンテンツ鑑賞画面上に表示するようにしてもよい。

ここで、コンテンツ管理装置１０１は閲覧者端末１０２と同様に図２に示す構成を有する情報処理装置により実現される。

（他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけではない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーションシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。さらに、以下のような処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。まず、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行う。

Claims (17)

1. コンテンツを表示装置に表示するよう制御する第１の表示手段と、
   前記コンテンツに対する付加情報を入力するための入力領域を前記表示装置に表示するよう制御する第２の表示手段と、
   前記コンテンツの閲覧者を撮影することにより得られた撮影画像データに含まれる第１の顔画像を取得する第１の取得手段と、
   前記コンテンツに含まれる第２の顔画像を取得する第２の取得手段を備え、
   前記第２の表示手段は、前記第１の顔画像と前記第２の顔画像が類似するか否かに応じて異なる表示態様で、前記入力領域を表示することを特徴とする情報処理装置。
2. 前記第２の表示手段は、前記第１の顔画像と前記第２の顔画像が類似するとき、前記入力領域を表示し、前記第１の顔画像と前記第２の顔画像が類似しないとき、前記入力領域を非表示にすることを特徴とする請求項１に記載の情報処理装置。
3. 前記第２の表示手段は、前記第１の顔画像と類似する前記第２の顔画像が所定の条件を満たすとき、前記入力領域を表示することを特徴とする請求項２に記載の情報処理装置。
4. 前記第２の表示手段は、前記第１の顔画像と類似する前記第２の顔画像の面積が、前記第２の取得手段により取得された前記第２の顔画像のうち最大であるとき、前記入力領域を表示することを特徴とする請求項３に記載の情報処理装置。
5. 前記コンテンツは静止画像データであり、
   前記第２の表示手段は、前記第１の顔画像と類似する前記第２の顔画像の面積が前記静止画像データの面積に占める割合が所定値より大きいとき、または前記第１の顔画像と類似する前記第２の顔画像の面積が所定値より大きいとき、前記入力領域を表示することを特徴とする請求項３に記載の情報処理装置。
6. 前記コンテンツは動画像データであり、
   前記第２の表示手段は、前記第１の顔画像と類似する前記第２の顔画像が所定時間より長く存在する時、前記入力領域を表示することを特徴とする請求項３に記載の情報処理装置。
7. 前記コンテンツは複数の静止画像データがページに配置されており、
   前記第２の表示手段は、前記第１の顔画像と類似する前記第２の顔画像が存在する静止画像データの枚数が前記ページの静止画像データの総数に占める割合が所定値より大きい、または前記第１の顔画像と類似する前記第２の顔画像が存在する静止画像データの枚数が所定値より大きいとき、前記入力領域を表示することを特徴とする請求項３に記載の情報処理装置。
8. 前記第２の取得手段により取得された第２の顔画像の個数をカウントするカウント手段をさらに備え、
   前記第２の表示手段は、さらに、前記第２の顔画像の個数が所定の個数より少ないとき、前記入力領域を表示する請求項２乃至７のいずれか１項に記載の情報処理装置。
9. 前記第２の表示手段は、前記第１の顔画像と前記第２の顔画像が類似するとき、前記入力領域を自動的に表示し、前記第１の顔画像と前記第２の顔画像が類似しないとき、前記閲覧者の操作に応答して、前記入力領域を表示することを特徴とする請求項１に記載の情報処理装置。
10. 前記第２の表示手段は、前記第１の顔画像と前記第２の顔画像が類似するとき、前記第１の顔画像と前記第２の顔画像が類似しないときよりも前記入力領域を拡大して表示することを特徴とする請求項１に記載の情報処理装置。
11. 前記第２の表示手段は、前記第１の顔画像と前記第２の顔画像が類似するとき、前記第１の顔画像と前記第２の顔画像が類似しないときとで異なる色で前記入力領域を表示することを特徴とする請求項１に記載の情報処理装置。
12. 前記第２の表示手段は、前記第１の顔画像と前記第２の顔画像が類似するとき、前記第１の顔画像と前記第２の顔画像が類似しないときとは異なる位置に前記入力領域を表示することを特徴とする請求項１に記載の情報処理装置。
13. 前記第２の表示手段は、前記第１の顔画像と前記第２の顔画像が類似するとき、前記入力領域を点滅して表示または前記入力領域に枠を付与して表示することを特徴とする請求項１に記載の情報処理装置。
14. 前記付加情報は、前記コンテンツに対するコメントおよび前記コンテンツのレーティング、前記コンテンツの公開範囲のうち少なくとも１つを示すデータであることを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
15. 前記コンテンツは動画像データまたは複数の静止画像データまたは静止画像データが配置された複数のページであり、
    前記第１の表示手段は、動画像データを再生または複数の静止画像データまたは複数のページを連続表示し、
    前記第１の顔画像と前記第２の顔画像が類似するとき、前記動画像データの再生または複数の静止画像データまたは複数のページの連続表示を一時停止する停止手段をさらに備えたことを特徴とする請求項１乃至１４のいずれか１項に記載の情報処理装置。
16. コンテンツを表示装置に表示するよう制御するステップと、
    前記コンテンツに対する付加情報を入力するための入力領域を前記表示装置に表示するよう制御するステップと、
    前記コンテンツの閲覧者を撮影することにより得られた撮影画像データに含まれる第１の顔画像を取得するステップと、
    前記コンテンツに含まれる第２の顔画像を取得するステップを備え、
    前記入力領域は、前記第１の顔画像と前記第２の顔画像が類似するか否かに応じて異なる表示態様で表示されることを特徴とする情報処理装置の制御方法。
17. コンピュータに、
    コンテンツを表示装置に表示するよう制御するステップと、
    前記コンテンツに対する付加情報を入力するための入力領域を前記表示装置に表示するよう制御するステップと、
    前記コンテンツの閲覧者を撮影することにより得られた撮影画像データに含まれる第１の顔画像を取得するステップと、
    前記コンテンツに含まれる第２の顔画像を取得するステップを実行させ、
    前記入力領域は、前記第１の顔画像と前記第２の顔画像が類似するか否かに応じて異なる表示態様で表示されることを特徴とするプログラム。

Images