JP4791565B2 - 評価システム、マーカー表示の制御方法およびプログラム - Google Patents

Description

本発明は、マーカーを用いて、配信される動画の任意の場面を評価することができる評価システム、そのマーカー表示の制御方法およびその制御方法を実現するためのコンピュータ可読なプログラムに関する。

ネットワーク技術の発達に伴い、教育現場においても、PC等を利用して教育を行うe-learningが採用されるようになってきている。このe-learningは、教室で学習を行う場合に比べて、遠隔地においても同じ教育を提供することができるという利点を有している。

e-learningでは、動画を利用して講義等を行うが、その内容、重要性、分かりやすさ等を、学習者が予め知りたい場合がある。これは、コンテンツを提供する側も同様で、学習者の詳細な意見を知りたい場合がある。

例えば、コンテンツに対してコメントを追記し、それを高速表示するシステムが提案されている（特許文献１参照）。このシステムは、専用のWebブラウザを使用することなく、WWWを利用して教育を支援するシステムで、WWWで公開されるWeb教材コンテンツを保存、管理するためのサーバと、そのコンテンツをWebブラウザにより閲覧できるクライアント端末とから構成される。

サーバは、初回のクライアント端末のWebブラウザからのリクエストに応じて、HTML文書のすべての文字や単語にインデックス情報を付加してインデックスデータを生成し、これをデータベースに登録しておき、２回目以降のクライアント端末のリクエストに応答して、データベースに登録されているキャッシュデータを、教材コンテンツとしてクライアント端末に表示させるために、キャッシュデータをWebブラウザに送信する。サーバは、クライアント端末でキャッシュデータ上で書き込み対象文字列が１文字単位で指定されると、それに関連するコメントを書き込むための画面をクライアント端末に表示させるように構成されている。

教育支援システムではないが、動画に対して、任意のコメント等をつける技術が提案されている（例えば、特許文献２〜６参照）。これらの技術では、動画のある場面に対して、任意のコメントを付けることができる。

例えば、特許文献２には、再生される動画の動画再生時間に基づいて、コメント情報のうち、動画の動画再生時間に対応するコメント付与時間が対応づけられたコメントをコメント情報から読み出し、読み出したコメント内容を動画上に表示を行い、コメントが重ならない位置にコメントを表示させる技術が開示されている。

特許文献３には、ユーザ間において、同じ動画を共有して、コメントを利用しコミュニケーションを図るために、再生される動画の動画再生時間に対応するコメント付与時間が対応付けられたコメントをコメント情報から読み出して動画とともに表示し、コメント情報をリストとして表示し、その中からコメントデータが選択されると、それを動画とともに表示し、コメントの入力を受け付けると、コメント内容が入力された時点の動画再生時間をコメント付与時間としてコメント内容とともにサーバに送信する技術が開示されている。

特許文献４には、多量のコメントが書き込まれても、面白味のあるコメントを表示することができるように、再生する動画の動画再生時間に対応するコメント付与時間が対応付けられたコメントデータを複数のコメント情報から読み出し、読み出したコメントデータを動画とともに表示する技術が開示されている。

特許文献５には、タイムライン上に、コメントの頻度と内容傾向を表すマーカーを表示することで、コンテンツ全体の内容傾向と時系列的関係を示し、コンテンツ内シーン周辺のコメントについて、縦に発信者を並べ、横に時間軸を設定して表示することで、コメントの発信者と時系列的関係を示す技術が開示されている。

特許文献６には、受信したコメント内容情報で示されるコメントを、出力装置が表示している動画上に表示させ、動画データの再生時間に従って、受信した設定コメント情報に示されるコメントに応じた所定の処理を実行する技術が開示されている。

しかしながら、これらの技術では、どの場面にどのようなコメントがつけられているか、全体像がわからないという問題があった。また、コメントが任意であるため、その内容がその動画に対するコメントではない場合が多く、その内容が発散しがちで、必ずしも有益な情報にならないという問題があった。

別の技術としては、コモンズ・マーカーと呼ばれ、マークをつけ、コメントやタグを記入し、その情報を共有できる技術が知られている。この技術では、Web文書のある文章に、マーカーで線を引くようにマークをつけることができ、それに対して、コメントやタグを記入することができるので、その文章に対して適切なコメント内容等を得ることができる。

しかしながら、この技術は、Webページ上のテキストに対して利用することができるのであって、時々刻々と表示される内容が変化する動画に対しては利用することができない。

さらに別の技術として、YouTube（登録商標）等の動画配信サービスで採用されている、動画コンテンツに対して閲覧者が任意のタイミングでコメントをつけることができる技術が知られている。

しかしながら、この技術では、コメントの表示時間を指定することができないため、場面変化に適切に対応することができない。このため、コメントの数が多くなっていくと、画面が煩雑になるという問題があった。

特開２００６−２０９１５９号公報 特開２００８−１４８０７１号公報 特開２００８−１７２７４５号公報 特開２００８−２１９４２４号公報 特開２００８−２７８０８８号公報 特開２００９−０６０４５８号公報

これまでに動画にコメント等をつけ、そのコメント等が場面変化に適切に対応したものは存在しない。また、複数のユーザが、その動画のどの部分が重要であるとか、どの部分が分かりやすく、また、分かりにくいかを把握することはできなかった。

本発明は、上記課題に鑑み、動画を配信する配信部と、その動画を評価するために入力された評価範囲を指定する座標値から、当該評価範囲に重畳して表示させるマーカーを生成し、その動画にそのマーカーを追加して配信させるマーカー生成部と、その座標値の入力時刻から一定時間経過する毎の評価範囲の画像を生成する画像生成部と、その入力時刻から時刻順に並ぶ２つの画像を比較して当該２つの画像の類似度を計算し、その類似度が許容範囲内であるか否かを判断する判断部と、許容範囲内でないと判断された場合に、２つの画像のうちの先の時刻の画像の当該時刻を、表示させたマーカーの消滅時刻として決定する決定部とを含むシステムとして構成する。

動画の任意の場面にマーカーを引き、特定の評価を与えることができるが、その評価の終点を指定しなくても、場面の変化によって自動的にマーカーが消滅するので、画面の煩雑化を避けることができ、その評価も簡単になる。

入力された座標値、その入力時刻およびそのマーカーの消滅時刻を特徴値として含む評価オブジェクトを、その特徴値を使用してクラスタリングするクラスタリング部と、同一クラスタ内にクラスタリングされた評価オブジェクトに含まれる特徴値の平均値を計算する計算部とをさらに備える。マーカー生成部は、複数のユーザの評価結果を表示するとの要求に応答して、その平均値を使用してマーカーを生成し、動画にそのマーカーを追加して配信させる。

各評価オブジェクトは、評価点を含み、計算部は、同一クラスタ内にクラスタリングされた評価オブジェクトに含まれる評価点を平均し、それをすべてのクラスタに含まれる評価点を合計した合計評価点で除して注目度を計算し、マーカー生成部は、その注目度に応じてマーカーを変更し、動画にその変更したマーカーを追加して配信させることができる。注目度の変化は、例えば、枠線の太さを変化させることにより実現することができる。

これらの各部を備えることにより、多数のユーザのマーカーをマージさせることができ、かつ、そのマーカーがどの程度重要であるかを表示させることができ、学習者やコンテンツ提供者が、どの画像の一部が、どのような評価を受けているかを容易に把握することが可能となる。

このように多数のユーザのマーカーをマージさせるほか、１ユーザの評価結果を表示するとの要求に応答して、その１ユーザのマーカーを生成し、動画に追加して配信することも可能である。これにより、自分が過去につけたマーカーを閲覧し、簡単に復習できるようにすることができ、学習者が評価を行うための強い動機になる。

また、マーカーは、重要な箇所に限らず、分かりにくい箇所等につけられる場合がある。これらを区別するために、マーカーの色を割り振ることができる。評価システムは、この色を評価レベルとして、座標値および入力時刻とともに受け取り、評価レベル毎に、クラスタリング部がクラスタリングを行い、計算部が評価レベル毎に平均値を計算し、マーカー生成部が評価レベル毎にマーカーを生成し、動画に追加して配信部に配信させることができる。

本発明は、上記の評価システムのほか、その評価システムにより行われるマーカー表示の制御方法を提供することもでき、また、その制御方法を実現するためのコンピュータ可読なプログラムやそのプログラムが記録された記録媒体を提供することもできる。

上記の評価システム、マーカー表示の制御方法、プログラムを提供することにより、e-learningのツールとして提供することができるほか、組織内の情報共有ツールとしても提供することができる。

本発明の評価システムを含むネットワーク・システムの構成例を示した図。 動画のある場面においてマーカーをつけたところを示した図。 評価システムの１つの実施形態を示した機能ブロック図。 類似度を計算するために使用した参考図。 マーカーを表示する寿命を決定する処理の流れを示したフローチャート図。 評価システムの別の実施形態を示した機能ブロック図。 各クラスタリング方法のパラメータを示した図。 ユーザAが動画にマーカーをつけたところを示した図。 ユーザBが動画にマーカーをつけたところを示した図。 ユーザAのマーカーを表示したところを示した図。 全てのユーザのマーカーを同時に表示したところを示した図。 表示モードを切り替えて表示したところを示した図。 注目度に応じて、マーカーの枠の太さを変化させたところを示した図。 クラスタリング、評価情報の更新、更新された評価情報に基づき行われる処理を示したフローチャート図。

以下、本発明を図面に示した具体的な実施の形態に沿って説明するが、本発明は、後述する実施の形態に限定されるものではない。

図１は、本発明の評価システムの１つの構成例を示した図である。この評価システムとしてのサーバ１０が、複数のユーザが使用する複数のクライアント装置としてのPC２０とネットワーク３０を介して接続されている。ここでは、インターネットやイントラネット等のネットワーク３０を介して相互に接続されているが、無線LAN等によりルータを介して接続されていてもよい。

サーバ１０は、ハードウェアとして、動画を配信するとともに、配信中の動画のある場面において入力された評価範囲を指定する座標値から、その評価範囲に表示させるマーカーを生成し、動画にそのマーカーを追加して配信し、また、そのマーカーの消滅時刻を計算し、そのマーカーの追加配信を停止する処理を実行させるプログラムおよびオペレーティング・システム(OS)を格納する記憶装置と、その記憶装置からOSおよびプログラムを読み出し実行するCPUと、ネットワーク３０に接続するためのネットワークI/Fとを備える。そのほか、サーバ１０は、記憶装置を制御するためのメモリ制御回路、DVDドライブやHDD等と接続するための入出力デバイス、その他の必要なデバイスを備える。また、サーバ１０は、データベース１１を備えていて、そのデータベース１１に種々の動画ファイルを格納し、PC２０からの要求を受け付け、動画ファイルをそのデータベース１１から読み出し、そのPC２０へ動画を配信することができる。

データベース１１は、動画ファイルのファイル名と、そのファイルが格納されている場所を示すアドレスとが関連付けられたインデックスを格納しており、サーバ１０は、PC２０からファイル名を含む要求を受け付けると、そのファイル名を基に、インデックスを参照してアドレスを探し、そのアドレスにアクセスして動画ファイルを読み出し、動画ファイルを転送すると同時に再生させることにより、動画を配信することができる。この動画ファイルを転送すると同時に再生させる方式は、ストリーミングと呼ばれる。

PC２０は、サーバ１０と同様、OSの他に、Webアプリケーションや動画再生ソフトウェア等のアプリケーションを格納する記憶装置と、その記憶装置からOSおよびアプリケーションを読み出し実行するCPUと、ネットワーク３０に接続するためのネットワークI/Fと、マーカーをつけるために入力を行うマウスやキーボード等の入力装置２１と、ストリーミングした動画を表示する表示装置２２とを備える。このPC２０も、メモリ制御回路や入出力デバイスを備える。

ユーザがe-learningを行うために、PC２０からサーバ１０に対し、学習用の動画ファイルを要求すると、サーバ１０が、その動画ファイルを検索し、転送することで、PC２０が、講義風景といった動画をストリーミングし、PC２０が備える表示装置２２の画面上に上記アプリケーションを通して再生する。PC２０から出される要求には、ファイル名のほか、PC２０を識別するためのIPアドレス、MACアドレス、コンピュータ名等を含み、サーバ１０は、それらを使用して動画を配信する。

表示装置２２の画面上には、図２に示すように、配信される動画４０のほか、その動画４０を再生または一時停止させるための再生／一時停止ボタン４１（図２では、再生／一時停止ボタン４１は一時停止を示しているが、ここをクリックして動画４０の一時停止を解除すると、再生を示す三角形へ変化する）、その動画４０を巻き戻すための巻き戻しボタン４２、動画４０を早送りするための早送りボタン４３、再生位置スライド・バー４４、音量スライド・バー４５、画面拡大ボタン４６、画面縮小ボタン４７等の各種ボタンが表示される。同時に、図示しないマウスのポインタも表示され、そのポインタをそれらのボタンに重畳し、マウス・ボタンを押下することにより選択可能とされている。

ユーザは、動画４０が再生されている間、講義中の講師が黒板に書いた重要な文字等にマウスを使用してマーカー５０をつけることができる。これは、ユーザが教科書等に蛍光ペンを使用してマーカーを引くのと同様のものである。このマーカー５０は、ユーザがマウスのポインタを、マーカー５０をつける際の始点となる位置へもっていき、マウス・ボタンを押下した状態で終点となる位置へもっていき、その終点位置でマウス・ボタンを離すことにより、つけることができる。

マーカー５０は、例えば、半透明な矩形領域として表すことができ、その色は、マーカー５０をつけていることがわかり、かつ、講師が書いた文字等がそのマーカー５０を通して見えるのであれば、いかなる色であってもよい。なお、このマーカー５０がつけられた矩形領域が評価範囲である。図２では、講師の後ろにある黒板に書いた２つの文字に、半透明の矩形で表されたマーカー５０がつけられている。

マーカー５０は、半透明の矩形のものに限定されるものではなく、単なる線とし、下線で表示することも可能である。

このマーカー５０の始点となる座標値、終点となる座標値、ユーザがマーカー５０をつけ終えた時刻がPC２０からサーバ１０へ送られる。サーバ１０では、それらのデータを入力データとして受け付け、それらの座標値を基にマーカー５０を生成し、それを動画に追加して転送すると同時にPC２０が備える表示装置２２に表示させる。そして、サーバ１０は、そのマーカー５０を消滅させる時刻を判断し、その時刻になったところで、そのマーカー５０を追加して転送するのを停止し、マーカー５０の表示を消滅させる。

図２では、マーカー５０として、「重要」と「分かりにくい」という２つの評価レベルを選択することができるようにされていて、いずれかを選択し、任意の箇所に、それらに対応したマーカー５０をつけることができる。これらは、例えば、色により識別することができる。

上述した処理を実現するために、サーバ１０は、図３の機能ブロック図に示す構成とされる。サーバ１０は、PC２０からの要求に応じて所望の動画ファイルを検索し、その動画ファイルを転送すると同時に再生させることにより動画をストリーミング配信する配信部１００と、その動画の配信中に、ある場面を評価するために入力された評価範囲を指定する座標値から、その評価範囲に重畳して表示させるマーカーを生成し、そのマーカーを動画に追加して配信部１００に配信させるマーカー生成部１１０とを備える。

また、サーバ１０は、その座標値の入力時刻から一定時間経過する毎の評価範囲の画像を生成する画像生成部１２０と、その入力時刻から時刻順に並ぶ２つの画像を比較して当該２つの画像の類似度を計算し、その類似度が許容範囲内であるか否かを判断する判断部１３０と、許容範囲内でないと判断された場合に、２つの画像のうちの先の時刻の画像の当該時刻を、表示させたマーカーの消滅時刻として決定する決定部１４０とを備える。

許容範囲内でないと判断した場合は、決定部１４０により消滅時刻を決定し、それをマーカー生成部１１０に通知してマーカーの追加を停止し、配信される動画中からマーカーを消滅させる。一方、許容範囲内であると判断した場合は、画像生成部１２０が、その入力時刻から一定時間経過後の時刻とさらに一定時間経過後の時刻における画像を生成し、判断部１３０が、それら２つの画像の類似度を計算し、その類似度が許容範囲内であるかを判断するという処理を、判断部１３０が、類似度が許容範囲内でないと判断するまで繰り返す。

これらの各部は、CPUがプログラムを読み出し実行することにより、このCPUを各部として機能させることができる。以下、各部をより詳細に説明する。

配信部１００は、ユーザが操作するPC２０から動画ファイルを特定し、送信された動画配信要求を受け取り、動画配信要求に含まれる動画ファイルを識別するためのファイル名を基に、データベース１１を検索する。動画ファイルは、ファイル名と格納されているアドレスとが関連付けられ、インデックスとして格納されている。このため、検索時には、ファイル名を基に、インデックスを参照することで、その動画ファイルが格納されているアドレスを検索することができ、そのアドレスからデータを読み出し、そのデータを読み出し転送すると同時に再生させることにより動画をストリーミング配信することができる。

ユーザが、配信中の動画に、マーカーをつけるために座標値を指定すると、PC２０からサーバ１０へその座標値が送信される。なお、その座標値を指定している間は、動画ファイルの転送が停止され、動画が停止される。マーカー生成部１１０は、そのときの場面を評価するために入力された評価範囲を指定する座標値から、その評価範囲に重畳して表示させるマーカーを生成する。マーカーが矩形領域からなる半透明のものである場合、座標値は、少なくとも始点の座標値、終点の座標値が送信され、マーカー生成部１１０が、それらの座標値を受け取り、それらの座標値からマーカーを生成する。座標値は、例えば、画面の左下を(0,0)とした二次元座標とし、x軸方向およびy軸方向の座標値を画素数により表すことができる。

マーカー生成部１１０は、生成したマーカーを動画に重畳することによって追加し、配信部１００がそのマーカーを追加した動画を配信する。より具体的には、マーカー生成部１１０は、動画ファイルにマーカー・データを付加し、配信部１００がそれをPC２０へ転送し、PC２０がそれを再生することにより、動画中にマーカーを重畳して表示する。マーカー・データは、入力データに含まれる座標値から生成された、その形状、大きさ、配置する位置を特定するデータを含み、また、入力データに含まれる評価レベルを示す色、その透明度の情報を含む。

画像生成部１２０は、データベース１１に格納され、現在配信中の動画ファイルを使用して、入力データに含まれる座標値およびその入力時刻から、その入力時刻におけるその座標値により指定される評価範囲の瞬間画像であるスナップ・ショットを生成する。ここでの入力時刻は、動画の開始からの時刻である。また、予め設定された一定時間経過後のその評価範囲のスナップ・ショットを生成する。これらのスナップ・ショットは、動画ファイルの開始からの時刻で一時停止させたときの画像から、その評価範囲の画像を切り出すことで容易に生成することができる。このようにして、各時刻におけるスナップ・ショットを生成する。

判断部１３０は、これらの２つのスナップ・ショットの類似度を計算する。入力時刻をtとした場合、一定時間経過後の時刻をt+1と表すことができる。画像の類似度は、これまでに知られたいかなる方法でも計算することができ、例えば、DCTクラスタリング、色ヒストグラム法、輪郭線抽出法、四分木法等を用いて計算することができる。

DCTクラスタリングには、例えば、DCT成分を用いたクラスタリングによるカット検出手法がある。この手法は、隣接するフレーム間の変化を求めてカットを検出するのではなく、同じショットに属する隣接フレームは類似しているという性質に基づき、連続するフレームのクラスタを形成することにより、形成された２つのクラスタを分割する点としてカット点を求める手法である。フレームの大まかな構造を知るために、画像を周波数領域に変換する手法が有効とされる。この周波数領域へ変換する方法の１つとして、離散コサイン変換(DCT)を使用することができる。

この方法は、かなり細かい変化まで捉えることができ、カット検出の精度が高いという利点を有する一方、画素値を使用するため、明滅シーン等の画素値のみに影響がある変化を誤認してしまうという欠点をもつ。

色ヒストグラム法は、RGB空間を4096分割したカラーヒストグラムを用いて各画素の絶対値差分の合計がある閾値以上になれば新たなカットであると認識する方法である。具体的には、２つの画像の類似度を比較する場合、２つの画像の各輝度値の画素数を求め、その差を足し合わせていったものをR（赤）、G（緑）、B（青）について求め、その和が小さいほど類似度が高いと判定する方法である。この方法は、DCTクラスタリングより計算が容易で、抽出率が高いという利点を有する一方、DCTクラスタリングと同じく、色を大きく変化させる明滅シーン等を誤認してしまうという欠点をもち、この誤認は、DCTクラスタリングより顕著である。

輪郭線抽出法は、DCTクラスタリングや色ヒストグラムとは異なり色情報によらずにカット抽出を行う手法である。この手法は、まず、輪郭線を構成している点一つ一つの原点である左上からの座標を求める。それを横軸であるx軸、縦軸であるy軸毎に合計していき、最後に輪郭を構成している点の数で除算することにより、その映像の輪郭の平均、すなわち映像の重心を求める。その求めた重心を比較し、カットを抽出する。映像に連続性を有する場合、それほど大きな変化はなく、変化する場合は大きく変わるため、所望の結果を得ることができる。

この手法は、実際に連続性の比較検証の計算が単なる重心比較であるため、長い時間幅を比較する必要があるシーンの抽出を行う場合には良好であるが、短時間に何度もカット抽出が行われるような変化に対して弱いという欠点をもつ。しかしながら、映像的に不自然で誤り訂正として前後数フレーム内で別のカットがあれば、カットであると判断しないという誤り訂正で誤認を防ぐことは可能と考えられることから、有用と考えられる。

四分木法は、解析モデルの輪郭を含む要素を４つの要素に細分割していく自動分割方法で、ツリー構造を形成し、そのツリー構造を比較することで、類似度を計算することができるものである。この方法について、http://chiyo.sfc.keio.ac.jp/cgsoft/Release/Textbook/expression08.htmlに示された画像を図４（ａ）、（ｂ）として参照し、以下、詳細に説明する。

図４（ａ）に示す画像に対して、まず、減色処理する。減色処理は、画像の色数を絞り込む処理で、最適なＮ個の代表色を選定する処理と、各画素値と選定したＮ個の代表色との対応を決定する処理とから構成される。前者の選定処理には、例えば、均等量子化法や細分化量子化法を挙げることができる。細分化量子化法には、画像のRGB空間における色分布に外接する直方体を考え、RGB３軸のうち、直方体の最も長い辺に平行な軸で、画像の総画素数を等分するように直方体を２つに分割し、これを繰り返して直方体を細分化していき、最後に同数の画素からなるＮ個の直方体を生成し、各直方体内の色データの平均値を代表色とするメディアン・カット法がある。後者の決定処理には、例えば、画像の各画素の色に最も近い色を選定する方法を挙げることができる。

このように減色処理された後、スナップ・ショットを縦横半分に４分割する。それぞれの領域が全て図形によって占められている、または図形が含まれていない、すなわち図４（ｂ）に示す領域S1のような場合、分割をそこで中止する。

４分割された領域に、全てではないが、図形が含まれている場合、さらに４分割し、同様の判断を行い、領域S2のような、全て図形によって占められている、または図形が含まれていない場合、分割をそこで中止する。このような処理を、分割が中止されるまで繰り返す。ここでは、領域S2を分割して領域S3とし、さらに分割して領域S4とすることで、全てが図形によって占められている、または図形が含まれていないものとなり、処理を終了している。

このようにして得られた結果は、ツリー構造として記述することができ、このツリー構造を比較することで、例えば、60%や70%等のどの程度類似しているかを示す類似度を計算することができる。

判断部１３０は、類似度が許容範囲内であるかを判断するための閾値を保持し、その閾値以上であるかを判断する。閾値以上であれば、両画像は類似していると判断し、閾値未満であれば、両画像は類似していないと判断する。なお、判断部１３０が類似していると判断した場合は、次の２つの画像の類似度を計算し、再び許容範囲内であるかを判断する。具体的には、まず初めに、時刻tの画像と、時刻t+1の画像との類似度を計算し、その類似度が閾値以上であれば、次に、時刻t+1の画像と、時刻t+2の画像との類似度を計算し、その類似度が閾値以上であるか否かを判断し、それでも閾値以上であれば、時刻t+2の画像と、時刻t+3の画像との類似度を計算するといったように同様の処理を繰り返す。

一方、判断部１３０が許容範囲内ではないと判断した場合は、両画像が類似していないことを示すので、決定部１４０は、それら２つの画像のうち、先の時刻の画像の当該時刻を、マーカーを消滅させる消滅時刻fとして決定する。決定部１４０は、その消滅時刻fを設定し、マーカー生成部１１０は、その設定された消滅時刻fに達すると、マーカーの動画への追加を停止し、これにより、ユーザがつけたマーカーは、この決定された消滅時刻fをもって消滅する。

サーバ１０によるマーカー表示を制御する処理を、図５に示すフローチャート図を参照して詳細に説明する。この処理は、マーカーを自動的に消滅させる評価範囲の寿命を決定するための処理である。まず、PC２０が備える表示装置２２の画面上に、Webアプリケーションを起動させ、ログイン画面を表示させる。このサービスを受けることができるユーザは、予め登録しており、ユーザIDやパスワードを取得している。このため、ログイン画面において、既に取得しているユーザIDおよびパスワードを入力し、サービスを開始させる。

ユーザは、動画ファイルの１つを選択して、その動画の配信を要求し、その要求がネットワーク３０を介してサーバ１０へ送信される。サーバ１０は、その要求に含まれるファイル名に基づき、サーバ１０が管理するデータベース１１から動画ファイルを読み出し、その要求に含まれるPC２０のIPアドレス等を使用して動画を配信する。

動画が配信されると、動画を再生するアプリケーションが起動され、画面上にその動画が再生され、ユーザは、その動画を見ることができる。ユーザは、気になったところで、マウス等を使用して、重要と思われる文字等にマーカーをつけるため、始点となる位置にポインタを移動させ、マウス・ボタンを押下し、マウス・ボタンを押下したままの状態で終点となる位置にカーソルを移動させ、マウス・ボタンを離し、それらの座標値およびその入力時刻を入力データとしてサーバ１０へ送信する。

座標値は、例えば、画面左下の隅にある画素を座標(0,0)とし、画面が、縦1024画素、横768画素からなる場合、始点(500,300)、終点(600,350)のような二次元のx軸、y軸の値からなるものとすることができる。入力時刻は、その動画の再生開始時刻を0とし、それまでに再生され、経過した時刻tとすることができる。なお、ユーザがマウス・ポインタを操作している間、動画は停止されるため、その間は時刻が停止した状態である。

このようにして入力された入力データがサーバ１０へ送信され、サーバ１０がその入力データを受信したところで、ステップ５００の処理を開始する。ステップ５１０で、サーバ１０は、入力データに含まれる座標値R(x,y)および時刻tを読み出し、動画ファイルから、その時刻tにおける瞬間画像を生成し、その瞬間画像からその座標値により指定された評価範囲のスナップ・ショットS_tを生成する。この座標値R(x,y)は、始点と終点の２つの座標値を含むものである。

次に、ステップ５２０で、その時刻tから、予め設定されている一定時間経過後の時刻t+1のスナップ・ショットS_t+1を同様にして生成する。ステップ５３０で、時刻tのスナップ・ショットS_tと、時刻t+1のスナップ・ショットS_t+1の類似度を計算する。この類似度は、上記に例示した方法により計算することができる。

ステップ５４０で、計算された類似度が許容範囲内であるかを判断する。許容範囲内であれば、両画像が似ていることを示すため、ステップ５５０へ進み、時刻をt+1とし、ステップ５１０へ戻り、再びt+1におけるスナップ・ショットS_t+1を生成し、ステップ５２０において時刻t+2におけるスナップ・ショットS_t+2を生成して、ステップ５３０で類似度を計算し、ステップ５４０でその類似度が許容範囲内であるかを判断する。

これに対し、ステップ５４０で、計算された類似度が、許容範囲内でないと判断された場合は、両画像が似ていないため、時刻tと時刻t+1ではスナップ・ショットに変化が生じていることを示す。このため、ステップ５６０へ進み、時刻tまでが許容範囲内であることから、この時刻tを、マーカーを消滅させる消滅時刻fとして決定し、消滅時刻fを設定した後、ステップ５７０で、この処理を終了する。この設定により、時刻tになったところで、マーカー生成部１１０がそのマーカーの追加を停止するため、配信部１００により配信される動画からはそのマーカーが自動的に消滅する。

このように、類似度が許容範囲内であるか否かを判断するのは、許容範囲内でなくなると、両画像が大きく変化した可能性が高いからである。場面が変わった場合のほか、マーカーをつけた部分の文字が消された場合や、文字が書き換えられたような場合が挙げられる。

これまで、マーカーを自動的に消滅させる評価範囲の寿命を決定するためのシステム構成およびその処理について詳細に説明してきたが、本発明では、これに加えて、複数のユーザがつけたマーカーをマージして表示することも可能である。これは、評価を蓄積し、どの場面の、何が、どのように、評価されているかを提示するGUIの提供を可能にするものである。具体的には、どの時刻の、画像のどの部分が、重要あるいは分かりにくいかを提示することができる。

図６は、図３に示す構成に、さらに、座標値R(x,y)、入力時刻tおよび消滅時刻fを特徴値として含む評価オブジェクトを、その特徴値を使用してクラスタリングするクラスタリング部１５０と、同一クラスタ内にクラスタリングされた評価オブジェクトに含まれる特徴値の平均値を計算する計算部１６０と、計算された平均値を評価情報として記憶する記憶部１７０とをさらに含む構成とされている。

クラスタリング部１５０は、評価オブジェクトを、これまでに知られたクラスタリング法によりクラスタリング（分類）する。このクラスタリングでは、評価オブジェクトに含まれる始点の座標値(x₁,y₁)、終点の座標値(x₂,y₂)、入力時刻t、評価範囲の消滅時刻fの６つのパラメータを特徴値として用い、特徴空間の中で距離が近いデータをまとめグループ化する。その方法として、これまでに知られた以下の方法を採用することができる。

評価対象となる評価オブジェクトがn個存在すると仮定すると、各評価オブジェクトが６つのパラメータをもつことから、６次元の特徴値を有することとなる。まず、初期状態として、各クラスタが１個の評価オブジェクトを含むものと考え、n個のクラスタがあるものとする。

次に、２つのクラスタ間のユークリッド平方距離d_ij ²を、下記式１を用いて計算する。ユークリッド平方距離は、クラスタ間の距離を測定する方法の１つである。その他に、ユークリッド距離、標準化ユークリッド距離、ミンコフスキー距離、マハラノビスの距離等があり、これらを用いることも可能であるが、上記ユークリッド平方距離が一般的である。

式（１）中、pは、次元数で、ここでは６である。また、Xは、座標値、入力時刻、消滅時刻といった特徴値である。

その次に、ユークリッド平方距離d_ij ²が最も近いクラスタを併合し、１つのクラスタとする。例えば、クラスタaとクラスタbが併合されてクラスタcが形成されたとする。d_ab、d_xa、d_xbを、クラスタaとクラスタbが併合される前の各クラスタ間の距離としたとき、併合後のクラスタcとクラスタx(xはa、bとは異なる。)との距離は、下記式（２）、式（３）で表わすことができる。

式（２）、式（３）中のα_a、α_b、β、γの値、式（２）、式（３）のいずれを使用するかは、採用する方法によって異なり、これらのパラメータを図７の表に示す。図７中、n_aは、クラスタaに含まれる個体数で、n_bは、クラスタbに含まれる個体数である。n_cは、n_a＋n_bであり、n_xは、併合されるクラスタa、b以外のクラスタに含まれる個体数である。β^*は、１未満の任意の値である。

上記のようにして、２つのクラスタが１つのクラスタに併合されると、総クラスタが１つ減少する。この計算を繰り返して、クラスタ数を減少させる。クラスタ数が１になるまでこの計算を繰り返す。

そして、予め設定したユークリッド距離d_ijを超えないクラスタを評価情報(EvalInfo)の１つの単位とする。

計算部１６０は、このようにして求められたEvalInfoに属する評価オブジェクトの平均値をとり、座標値、入力時刻、消滅時刻の平均値を求める。

評価オブジェクトは、座標値、入力時刻、消滅時刻のほか、評価点を含む。評価点は、これに限られるものではないが、例えば、60点等の点数で与えることができる。計算部１６０は、同一クラスタ内にクラスタリングされたEvalInfoに属する評価オブジェクトに含まれる評価点を平均し、それをすべてのクラスタに含まれる評価点を合計した合計評価点で除して注目度を計算する。

また、評価オブジェクトは、評価内容に応じて割り当てられた評価レベルを含む。この評価レベルは、「重要」であれば「１」、「分かりにくい」であれば「２」といった数値で表わすことができる。クラスタリング部１５０は、この評価レベル毎にクラスタリングを行い、計算部１６０は、この評価レベル毎に平均値を計算することができる。

計算部１６０は、計算した結果を、複数のユーザの評価結果として記憶部１７０に記憶し、評価情報の更新を行うことができる。この結果は、複数のユーザの評価結果を表示するとの要求を受け、それに応答して、動画に付加して配信することができる。

すなわち、マーカー生成部１１０は、その要求を受け付けると、それに応答して、記憶部１７０から記憶された平均値を読み出し、その平均値を使用してマーカーを生成し、動画にその生成したマーカーを追加して配信させる。

例えば、ユーザAが、図８に示すように、時刻t=2において、マーカーをつけたとする。同じ動画につき、ユーザBが、図９に示すように、時刻t=0と時刻t=2において、マーカーをつけたとする。マーカー生成部１１０は、ユーザAのみのマーカーを表示させるという指示を受けると、ユーザAのみのマーカーを生成して追加し、配信部１００にそれを配信させる。一方、全てのユーザのマーカーを表示させるという指示を受けると、上記平均値からマーカーを生成し、それを追加して配信部１００に配信させる。そのとき、ユーザAと全てのユーザのマーカーを同時に配信させ、ユーザは、それらを同時に見ることも可能である。

図１０は、ユーザAのみのマーカーを表示し、図１１は、ユーザAと全てのユーザのマーカーを同時に表示したところを示した図である。図１０に示すマーカーは、ユーザAが時刻t=2につけたものであるが、場面が変化する時刻t=4の直前の時刻t=3まで表示され、時刻t=4になったところで消滅している。図１１に示すマーカーは、時刻t=0において、ユーザBがつけたマーカーを含むように、全てのユーザがつけたマーカーの評価オブジェクトの平均値から生成されたものが表示され、時刻t=2において、同じくユーザBがつけたマーカーを含むように上記平均値から生成されたものと、ユーザAがつけたマーカーとが表示され、時刻t=4において、それらのいずれもが、画面の変化によって、マーカーが消滅している。なお、図１１では、平均値を使用してマーカーを生成するので、ユーザBのみの場合と比較して、そのマーカーの位置、大きさ等が異なっている。

マーカー生成部１１０は、評価レベルに応じてマーカーを生成し、動画に追加して配信させることも可能である。評価レベルは、図１２に示すユーザによるマーカーの選択によって選択され、それが入力データに含められ、サーバ１０へ送られる。このため、サーバ１０では、いずれの評価レベルが選択されたかにより、その評価レベルに応じたマーカーを生成し、動画に追加して配信することができる。評価レベルは、色によって識別することができ、例えば、赤のマーカーであれば「重要」、青のマーカーであれば「分かりにくい」を示すことができる。これらは、選択ボタン２００、２１０によって選択することができる。なお、図１２には、自分のみのマーカーを表示させるか、複数のユーザのマーカーを表示させるかを選択することが可能な選択ボタン２２０、２３０も示されている。

マーカー生成部１１０は、注目度に応じてマーカーを変更し、動画に変更したマーカーを追加して配信させることも可能である。注目度は、どの程度のユーザがその評価範囲に注目しているかを示し、マーカーの枠の太さを変化させることにより識別することができるようにすることができる。

図１３は、注目度に応じて、マーカーの枠の太さを変化させたところを示した動画の一部である。向かって左側につけられたマーカーは、少人数のユーザがつけたマーカーであるため、その枠の太さが細く、注目度がそれほど高くないことを示し、向かって右側につけられたマーカーは、多数のユーザがつけたマーカーであるため、その枠の太さが太く、注目度が高いことを示している。

ここでは、枠の太さとしているが、これに限られるものではなく、マーカーの色の濃淡等によって表示することもでき、ユーザが識別することができれば、いかなる方法であってもよい。

なお、枠の太さを変化させる方法である場合、マーカーの半透明な部分の色を変化させる必要がないため、そのマーカーがつけられた部分にある文字等が見えなくならないという利点を有する。

マーカー数が少ない場合は、積算して得られるマーカー数も少ないので、その数の信用度は低いが、注目度として枠の太さ等でUI上に表示することで、高い信用度でユーザに示すことができる。また、単純なクラスタ分析の場合、１画面を覆うようなクラスタになる可能性があることから、マーカーの大きさに制限を設け、その制限に基づきクラスタリングすることができる。

クラスタリング、評価情報の更新、更新された評価情報に基づき行われる処理を、図１４に示すフローチャートを参照して詳細に説明する。この処理は、消滅時刻fが決定された後に、ステップ１４００から開始される。ステップ１４１０において、ユーザが入力したデータに含まれる始点および終点の座標値R(x,y)、入力時刻t、決定された消滅時刻fを特徴値として用い、クラスタリングすることにより、特徴空間の中で距離が近いデータをまとめグループ化する。このグループ化は、上述したこれまでに知られたいかなるクラスタリング法でも使用して行うことができる。

クラスタリングが終了すると、ステップ１４２０において、同一クラスタ内にクラスタリングされた評価オブジェクトに含まれる特徴値の平均値を計算する。すなわち、始点の座標値の平均値、終点の座標値の平均値、入力時刻の平均値、消滅時刻の平均値を計算する。そのほか、評価点があれば、その評価点の平均値も計算し、さらに、前述のようにして注目度も計算する。

ステップ１４３０において、このようにして計算された各平均値を、評価情報として記憶部１７０に記憶し、記憶部１７０にこれまでに記憶されていた評価情報を更新する。これは、各クラスタにつき行われる。

ステップ１４４０において、ユーザが、複数のユーザの評価結果を表示するという要求をサーバ１０へ送ると、サーバ１０は、それに応答して、その時刻において表示させるべきマーカーを探し出すために記憶部１７０に記憶されている評価情報を検索し、検索された評価情報に含まれる各平均値を使用してマーカーを生成し、動画にそのマーカーを追加して配信させる。

評価情報として注目度が含まれる場合、上述したようにマーカーの枠を太くする等することにより表示する。枠の太さは、注目度に応じて増減することができ、注目度が０．１増加する毎にある太さだけ増加するようにしてもよいし、注目度が０．３未満までは約０．２ｍｍ、０．３以上０．５未満までは約０．３ｍｍ、０．５以上０．７未満までは約０．４ｍｍというように増加させることも可能である。これらの条件は、予め設定され、その設定された条件に従って表示させることができる。

ステップ１４４０において配信されたマーカーは、計算された消滅時刻fに達したところで、ステップ１４５０において、そのマーカーの追加配信を停止することにより終了する。なお、動画の配信は継続され、再び入力を受け付けると、同様にしてマーカーを表示させ、消滅時間に消滅させ、また、評価情報を更新する。

これまで、本発明の評価システムおよびマーカー表示の制御方法を、図面を参照して詳細に説明してきたが、他の実施形態や、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１０…サーバ、１１…データベース、２０…クライアント装置、２１…入力装置、２２…表示装置、３０…ネットワーク、４０…動画、４１…再生／一時停止ボタン、４２…巻き戻しボタン、４３…早送りボタン、４４…再生位置スライド・バー、４５…音量スライド・バー、４６…画面拡大ボタン、４７…画面縮小ボタン、５０…マーカー、１００…配信部、１１０…マーカー生成部、１２０…画像生成部、１３０…判断部、１４０…決定部、１５０…クラスタリング部、１６０…計算部、１７０…記憶部、２００〜２３０…選択ボタン

Claims (16)

1. 配信される動画を、マーカーを用いて評価可能な評価システムであって、
   前記動画を評価するために入力された評価範囲を指定する座標値から、前記評価範囲に重畳して表示させるマーカーを生成し、前記動画に前記マーカーを追加して配信させるマーカー生成部と、
   前記座標値の入力時刻から一定時間経過する毎の前記評価範囲の画像を生成する画像生成部と、
   前記入力時刻から時刻順に並ぶ２つの画像を比較して該２つの画像の類似度を計算し、前記類似度が許容範囲内であるか否かを判断する判断部と、
   前記許容範囲内でないと判断された場合に、前記２つの画像のうちの先の時刻の画像の該時刻を、表示させたマーカーの消滅時刻として決定する決定部とを含む、評価システム。
2. 前記座標値、前記入力時刻および前記消滅時刻を特徴値として含む評価オブジェクトを、前記特徴値を使用してクラスタリングするクラスタリング部と、
   同一クラスタ内にクラスタリングされた前記評価オブジェクトに含まれる前記特徴値の平均値を計算する計算部とをさらに含み、
   前記マーカー生成部は、複数のユーザの評価結果を表示するとの要求に応答して、前記平均値を使用して前記マーカーを生成し、前記動画に前記マーカーを追加して配信させる、請求項１に記載の評価システム。
3. 前記評価オブジェクトは、評価点を含み、前記計算部は、前記同一クラスタ内にクラスタリングされた前記評価オブジェクトに含まれる前記評価点を平均し、平均した前記評価点を全てのクラスタに含まれる評価点を合計した合計評価点で除して注目度を計算し、前記マーカー生成部は、前記注目度に応じて前記マーカーを変更し、前記動画に変更した前記マーカーを追加して配信させる、請求項２に記載の評価システム。
4. 前記評価オブジェクトは、評価内容に応じて割り当てられた評価レベルを含み、前記クラスタリング部が前記評価レベル毎にクラスタリングを行い、前記計算部が前記評価レベル毎に前記平均値を計算し、前記マーカー生成部が前記評価レベル毎に前記マーカーを生成し、前記動画に追加して配信させる、請求項２に記載の評価システム。
5. 前記マーカー生成部は、１ユーザの評価結果を表示するとの要求に応答して、前記１ユーザのマーカーを生成し、前記動画に追加して配信させる、請求項１に記載の評価システム。
6. 配信される動画を、マーカーを用いて評価可能な評価システムにより実行されるマーカー表示の制御方法であって、
   前記動画を評価するために入力された評価範囲を指定する座標値から、前記評価範囲に重畳して表示させるマーカーを生成し、前記動画に前記マーカーを追加して配信させるステップと、
   前記座標値の入力時刻から一定時間経過する毎の前記評価範囲の画像を生成するステップと、
   前記入力時刻から時刻順に並ぶ２つの画像を比較して該２つの画像の類似度を計算し、前記類似度が許容範囲内であるか否かを判断するステップと、
   前記許容範囲内でないと判断された場合に、前記２つの画像のうちの先の時刻の画像の該時刻を、表示させたマーカーの消滅時刻として決定するステップとを含む、制御方法。
7. 前記座標値、前記入力時刻および前記消滅時刻を特徴値として含む評価オブジェクトを、前記特徴値を使用してクラスタリングするステップと、
   同一クラスタ内にクラスタリングされた前記評価オブジェクトに含まれる前記特徴値の平均値を計算するステップとをさらに含み、
   前記配信させるステップでは、複数のユーザの評価結果を表示するとの要求に応答して、前記平均値を使用して前記マーカーを生成し、前記動画に前記マーカーを追加して配信させる、請求項６に記載の制御方法。
8. 前記評価オブジェクトは、評価点を含み、前記計算するステップでは、前記同一クラスタ内にクラスタリングされた前記評価オブジェクトに含まれる前記評価点を平均し、平均した前記評価点を全てのクラスタに含まれる評価点を合計した合計評価点で除して注目度を計算し、前記配信させるステップでは、前記注目度に応じて前記マーカーを変更し、前記動画に変更した前記マーカーを追加して配信させる、請求項７に記載の制御方法。
9. 前記評価オブジェクトは、評価内容に応じて割り当てられた評価レベルを含み、前記クラスタリングするステップでは、前記評価レベル毎にクラスタリングを行い、前記計算するステップでは、前記評価レベル毎に前記平均値を計算し、前記配信させるステップでは、前記評価レベル毎に前記マーカーを生成し、前記動画に追加して配信させる、請求項７に記載の制御方法。
10. 前記配信させるステップでは、１ユーザの評価結果を表示するとの要求に応答して、前記１ユーザのマーカーを生成し、前記動画に追加して配信させる、請求項６に記載の制御方法。
11. 配信される動画を、マーカーを用いて評価可能な評価システムにより可読なマーカー表示の制御方法を実行させるプログラムであって、
    前記動画を評価するために入力された評価範囲を指定する座標値から、前記評価範囲に重畳して表示させるマーカーを生成し、前記動画に前記マーカーを追加して配信させるステップと、
    前記座標値の入力時刻から一定時間経過する毎の前記評価範囲の画像を生成するステップと、
    前記入力時刻から時刻順に並ぶ２つの画像を比較して該２つの画像の類似度を計算し、前記類似度が許容範囲内であるか否かを判断するステップと、
    前記許容範囲内でないと判断された場合に、前記２つの画像のうちの先の時刻の画像の該時刻を、表示させたマーカーの消滅時刻として決定するステップとを実行させる、プログラム。
12. 前記座標値、前記入力時刻および前記消滅時刻を特徴値として含む評価オブジェクトを、前記特徴値を使用してクラスタリングするステップと、
    同一クラスタ内にクラスタリングされた前記評価オブジェクトに含まれる前記特徴値の平均値を計算するステップとをさらに実行させ、
    前記配信させるステップでは、複数のユーザの評価結果を表示するとの要求に応答して、前記平均値を使用して前記マーカーを生成し、前記動画に前記マーカーを追加して配信させる、請求項１１に記載のプログラム。
13. 前記評価オブジェクトは、評価点を含み、前記計算するステップでは、前記同一クラスタ内にクラスタリングされた前記評価オブジェクトに含まれる前記評価点を平均し、平均した前記評価点を全てのクラスタに含まれる評価点を合計した合計評価点で除して注目度を計算し、前記配信させるステップでは、前記注目度に応じて前記マーカーを変更し、前記動画に変更した前記マーカーを追加して配信させる、請求項１２に記載のプログラム。
14. 前記評価オブジェクトは、評価内容に応じて割り当てられた評価レベルを含み、前記クラスタリングするステップでは、前記評価レベル毎にクラスタリングを行い、前記計算するステップでは、前記評価レベル毎に前記平均値を計算し、前記配信させるステップでは、前記評価レベル毎に前記マーカーを生成し、前記動画に追加して配信させる、請求項１２に記載のプログラム。
15. 前記配信させるステップでは、１ユーザの評価結果を表示するとの要求に応答して、前記１ユーザのマーカーを生成し、前記動画に追加して配信させる、請求項１１に記載のプログラム。
16. 配信される動画を、マーカーを用いて評価可能な評価システムであって、
    前記動画を評価するために入力された評価範囲を指定する座標値から、前記評価範囲に重畳して表示させるマーカーを生成し、前記動画に前記マーカーを追加して配信させるマーカー生成部と、
    前記座標値の入力時刻から一定時間経過する毎の前記評価範囲の画像を生成する画像生成部と、
    前記入力時刻から時刻順に並ぶ２つの画像を比較して該２つの画像の類似度を計算し、前記類似度が許容範囲内であるか否かを判断する判断部と、
    前記許容範囲内でないと判断された場合に、前記２つの画像のうちの先の時刻の画像の該時刻を、表示させたマーカーの消滅時刻として決定する決定部と、
    前記座標値、前記入力時刻および前記消滅時刻を特徴値として含む評価オブジェクトを、前記特徴値を使用してクラスタリングするクラスタリング部と、
    同一クラスタ内にクラスタリングされた前記評価オブジェクトに含まれる前記特徴値の平均値を計算する計算部とを含み、
    前記クラスタリング部が、前記評価オブジェクトに含まれる評価内容に応じて割り当てられた評価レベル毎にクラスタリングを行い、
    前記計算部は、さらに、前記評価レベル毎に、前記同一クラスタ内にクラスタリングされた前記評価オブジェクトに含まれる評価点を平均し、平均した前記評価点を全てのクラスタに含まれる合計評価点で除して注目度を計算し、
    前記マーカー生成部は、複数のユーザの、指定した前記評価レベルの評価結果を表示するとの要求に応答して、前記評価レベルの、前記平均値を使用して前記マーカーを生成し、前記注目度に応じて前記マーカーを変更し、前記動画に変更した前記マーカーを追加して配信させる、評価システム。