JP4791565B2 - 評価システム、マーカー表示の制御方法およびプログラム - Google Patents

評価システム、マーカー表示の制御方法およびプログラム Download PDF

Info

Publication number
JP4791565B2
JP4791565B2 JP2009141751A JP2009141751A JP4791565B2 JP 4791565 B2 JP4791565 B2 JP 4791565B2 JP 2009141751 A JP2009141751 A JP 2009141751A JP 2009141751 A JP2009141751 A JP 2009141751A JP 4791565 B2 JP4791565 B2 JP 4791565B2
Authority
JP
Japan
Prior art keywords
evaluation
marker
time
moving image
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009141751A
Other languages
English (en)
Other versions
JP2010288163A (ja
Inventor
愛 石田
大佑 丸山
浩 大内山
隆之 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP2009141751A priority Critical patent/JP4791565B2/ja
Priority to US12/793,785 priority patent/US8619096B2/en
Publication of JP2010288163A publication Critical patent/JP2010288163A/ja
Application granted granted Critical
Publication of JP4791565B2 publication Critical patent/JP4791565B2/ja
Priority to US13/447,716 priority patent/US8643672B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1415Digital output to display device ; Cooperation and interconnection of the display device with other functional units with means for detecting differences between the image stored in the host and the images displayed on the displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3081Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/027Arrangements and methods specific for the display of internet documents

Description

本発明は、マーカーを用いて、配信される動画の任意の場面を評価することができる評価システム、そのマーカー表示の制御方法およびその制御方法を実現するためのコンピュータ可読なプログラムに関する。
ネットワーク技術の発達に伴い、教育現場においても、PC等を利用して教育を行うe-learningが採用されるようになってきている。このe-learningは、教室で学習を行う場合に比べて、遠隔地においても同じ教育を提供することができるという利点を有している。
e-learningでは、動画を利用して講義等を行うが、その内容、重要性、分かりやすさ等を、学習者が予め知りたい場合がある。これは、コンテンツを提供する側も同様で、学習者の詳細な意見を知りたい場合がある。
例えば、コンテンツに対してコメントを追記し、それを高速表示するシステムが提案されている(特許文献1参照)。このシステムは、専用のWebブラウザを使用することなく、WWWを利用して教育を支援するシステムで、WWWで公開されるWeb教材コンテンツを保存、管理するためのサーバと、そのコンテンツをWebブラウザにより閲覧できるクライアント端末とから構成される。
サーバは、初回のクライアント端末のWebブラウザからのリクエストに応じて、HTML文書のすべての文字や単語にインデックス情報を付加してインデックスデータを生成し、これをデータベースに登録しておき、2回目以降のクライアント端末のリクエストに応答して、データベースに登録されているキャッシュデータを、教材コンテンツとしてクライアント端末に表示させるために、キャッシュデータをWebブラウザに送信する。サーバは、クライアント端末でキャッシュデータ上で書き込み対象文字列が1文字単位で指定されると、それに関連するコメントを書き込むための画面をクライアント端末に表示させるように構成されている。
教育支援システムではないが、動画に対して、任意のコメント等をつける技術が提案されている(例えば、特許文献2〜6参照)。これらの技術では、動画のある場面に対して、任意のコメントを付けることができる。
例えば、特許文献2には、再生される動画の動画再生時間に基づいて、コメント情報のうち、動画の動画再生時間に対応するコメント付与時間が対応づけられたコメントをコメント情報から読み出し、読み出したコメント内容を動画上に表示を行い、コメントが重ならない位置にコメントを表示させる技術が開示されている。
特許文献3には、ユーザ間において、同じ動画を共有して、コメントを利用しコミュニケーションを図るために、再生される動画の動画再生時間に対応するコメント付与時間が対応付けられたコメントをコメント情報から読み出して動画とともに表示し、コメント情報をリストとして表示し、その中からコメントデータが選択されると、それを動画とともに表示し、コメントの入力を受け付けると、コメント内容が入力された時点の動画再生時間をコメント付与時間としてコメント内容とともにサーバに送信する技術が開示されている。
特許文献4には、多量のコメントが書き込まれても、面白味のあるコメントを表示することができるように、再生する動画の動画再生時間に対応するコメント付与時間が対応付けられたコメントデータを複数のコメント情報から読み出し、読み出したコメントデータを動画とともに表示する技術が開示されている。
特許文献5には、タイムライン上に、コメントの頻度と内容傾向を表すマーカーを表示することで、コンテンツ全体の内容傾向と時系列的関係を示し、コンテンツ内シーン周辺のコメントについて、縦に発信者を並べ、横に時間軸を設定して表示することで、コメントの発信者と時系列的関係を示す技術が開示されている。
特許文献6には、受信したコメント内容情報で示されるコメントを、出力装置が表示している動画上に表示させ、動画データの再生時間に従って、受信した設定コメント情報に示されるコメントに応じた所定の処理を実行する技術が開示されている。
しかしながら、これらの技術では、どの場面にどのようなコメントがつけられているか、全体像がわからないという問題があった。また、コメントが任意であるため、その内容がその動画に対するコメントではない場合が多く、その内容が発散しがちで、必ずしも有益な情報にならないという問題があった。
別の技術としては、コモンズ・マーカーと呼ばれ、マークをつけ、コメントやタグを記入し、その情報を共有できる技術が知られている。この技術では、Web文書のある文章に、マーカーで線を引くようにマークをつけることができ、それに対して、コメントやタグを記入することができるので、その文章に対して適切なコメント内容等を得ることができる。
しかしながら、この技術は、Webページ上のテキストに対して利用することができるのであって、時々刻々と表示される内容が変化する動画に対しては利用することができない。
さらに別の技術として、YouTube(登録商標)等の動画配信サービスで採用されている、動画コンテンツに対して閲覧者が任意のタイミングでコメントをつけることができる技術が知られている。
しかしながら、この技術では、コメントの表示時間を指定することができないため、場面変化に適切に対応することができない。このため、コメントの数が多くなっていくと、画面が煩雑になるという問題があった。
特開2006−209159号公報 特開2008−148071号公報 特開2008−172745号公報 特開2008−219424号公報 特開2008−278088号公報 特開2009−060458号公報
これまでに動画にコメント等をつけ、そのコメント等が場面変化に適切に対応したものは存在しない。また、複数のユーザが、その動画のどの部分が重要であるとか、どの部分が分かりやすく、また、分かりにくいかを把握することはできなかった。
本発明は、上記課題に鑑み、動画を配信する配信部と、その動画を評価するために入力された評価範囲を指定する座標値から、当該評価範囲に重畳して表示させるマーカーを生成し、その動画にそのマーカーを追加して配信させるマーカー生成部と、その座標値の入力時刻から一定時間経過する毎の評価範囲の画像を生成する画像生成部と、その入力時刻から時刻順に並ぶ2つの画像を比較して当該2つの画像の類似度を計算し、その類似度が許容範囲内であるか否かを判断する判断部と、許容範囲内でないと判断された場合に、2つの画像のうちの先の時刻の画像の当該時刻を、表示させたマーカーの消滅時刻として決定する決定部とを含むシステムとして構成する。
動画の任意の場面にマーカーを引き、特定の評価を与えることができるが、その評価の終点を指定しなくても、場面の変化によって自動的にマーカーが消滅するので、画面の煩雑化を避けることができ、その評価も簡単になる。
入力された座標値、その入力時刻およびそのマーカーの消滅時刻を特徴値として含む評価オブジェクトを、その特徴値を使用してクラスタリングするクラスタリング部と、同一クラスタ内にクラスタリングされた評価オブジェクトに含まれる特徴値の平均値を計算する計算部とをさらに備える。マーカー生成部は、複数のユーザの評価結果を表示するとの要求に応答して、その平均値を使用してマーカーを生成し、動画にそのマーカーを追加して配信させる。
各評価オブジェクトは、評価点を含み、計算部は、同一クラスタ内にクラスタリングされた評価オブジェクトに含まれる評価点を平均し、それをすべてのクラスタに含まれる評価点を合計した合計評価点で除して注目度を計算し、マーカー生成部は、その注目度に応じてマーカーを変更し、動画にその変更したマーカーを追加して配信させることができる。注目度の変化は、例えば、枠線の太さを変化させることにより実現することができる。
これらの各部を備えることにより、多数のユーザのマーカーをマージさせることができ、かつ、そのマーカーがどの程度重要であるかを表示させることができ、学習者やコンテンツ提供者が、どの画像の一部が、どのような評価を受けているかを容易に把握することが可能となる。
このように多数のユーザのマーカーをマージさせるほか、1ユーザの評価結果を表示するとの要求に応答して、その1ユーザのマーカーを生成し、動画に追加して配信することも可能である。これにより、自分が過去につけたマーカーを閲覧し、簡単に復習できるようにすることができ、学習者が評価を行うための強い動機になる。
また、マーカーは、重要な箇所に限らず、分かりにくい箇所等につけられる場合がある。これらを区別するために、マーカーの色を割り振ることができる。評価システムは、この色を評価レベルとして、座標値および入力時刻とともに受け取り、評価レベル毎に、クラスタリング部がクラスタリングを行い、計算部が評価レベル毎に平均値を計算し、マーカー生成部が評価レベル毎にマーカーを生成し、動画に追加して配信部に配信させることができる。
本発明は、上記の評価システムのほか、その評価システムにより行われるマーカー表示の制御方法を提供することもでき、また、その制御方法を実現するためのコンピュータ可読なプログラムやそのプログラムが記録された記録媒体を提供することもできる。
上記の評価システム、マーカー表示の制御方法、プログラムを提供することにより、e-learningのツールとして提供することができるほか、組織内の情報共有ツールとしても提供することができる。
本発明の評価システムを含むネットワーク・システムの構成例を示した図。 動画のある場面においてマーカーをつけたところを示した図。 評価システムの1つの実施形態を示した機能ブロック図。 類似度を計算するために使用した参考図。 マーカーを表示する寿命を決定する処理の流れを示したフローチャート図。 評価システムの別の実施形態を示した機能ブロック図。 各クラスタリング方法のパラメータを示した図。 ユーザAが動画にマーカーをつけたところを示した図。 ユーザBが動画にマーカーをつけたところを示した図。 ユーザAのマーカーを表示したところを示した図。 全てのユーザのマーカーを同時に表示したところを示した図。 表示モードを切り替えて表示したところを示した図。 注目度に応じて、マーカーの枠の太さを変化させたところを示した図。 クラスタリング、評価情報の更新、更新された評価情報に基づき行われる処理を示したフローチャート図。
以下、本発明を図面に示した具体的な実施の形態に沿って説明するが、本発明は、後述する実施の形態に限定されるものではない。
図1は、本発明の評価システムの1つの構成例を示した図である。この評価システムとしてのサーバ10が、複数のユーザが使用する複数のクライアント装置としてのPC20とネットワーク30を介して接続されている。ここでは、インターネットやイントラネット等のネットワーク30を介して相互に接続されているが、無線LAN等によりルータを介して接続されていてもよい。
サーバ10は、ハードウェアとして、動画を配信するとともに、配信中の動画のある場面において入力された評価範囲を指定する座標値から、その評価範囲に表示させるマーカーを生成し、動画にそのマーカーを追加して配信し、また、そのマーカーの消滅時刻を計算し、そのマーカーの追加配信を停止する処理を実行させるプログラムおよびオペレーティング・システム(OS)を格納する記憶装置と、その記憶装置からOSおよびプログラムを読み出し実行するCPUと、ネットワーク30に接続するためのネットワークI/Fとを備える。そのほか、サーバ10は、記憶装置を制御するためのメモリ制御回路、DVDドライブやHDD等と接続するための入出力デバイス、その他の必要なデバイスを備える。また、サーバ10は、データベース11を備えていて、そのデータベース11に種々の動画ファイルを格納し、PC20からの要求を受け付け、動画ファイルをそのデータベース11から読み出し、そのPC20へ動画を配信することができる。
データベース11は、動画ファイルのファイル名と、そのファイルが格納されている場所を示すアドレスとが関連付けられたインデックスを格納しており、サーバ10は、PC20からファイル名を含む要求を受け付けると、そのファイル名を基に、インデックスを参照してアドレスを探し、そのアドレスにアクセスして動画ファイルを読み出し、動画ファイルを転送すると同時に再生させることにより、動画を配信することができる。この動画ファイルを転送すると同時に再生させる方式は、ストリーミングと呼ばれる。
PC20は、サーバ10と同様、OSの他に、Webアプリケーションや動画再生ソフトウェア等のアプリケーションを格納する記憶装置と、その記憶装置からOSおよびアプリケーションを読み出し実行するCPUと、ネットワーク30に接続するためのネットワークI/Fと、マーカーをつけるために入力を行うマウスやキーボード等の入力装置21と、ストリーミングした動画を表示する表示装置22とを備える。このPC20も、メモリ制御回路や入出力デバイスを備える。
ユーザがe-learningを行うために、PC20からサーバ10に対し、学習用の動画ファイルを要求すると、サーバ10が、その動画ファイルを検索し、転送することで、PC20が、講義風景といった動画をストリーミングし、PC20が備える表示装置22の画面上に上記アプリケーションを通して再生する。PC20から出される要求には、ファイル名のほか、PC20を識別するためのIPアドレス、MACアドレス、コンピュータ名等を含み、サーバ10は、それらを使用して動画を配信する。
表示装置22の画面上には、図2に示すように、配信される動画40のほか、その動画40を再生または一時停止させるための再生/一時停止ボタン41(図2では、再生/一時停止ボタン41は一時停止を示しているが、ここをクリックして動画40の一時停止を解除すると、再生を示す三角形へ変化する)、その動画40を巻き戻すための巻き戻しボタン42、動画40を早送りするための早送りボタン43、再生位置スライド・バー44、音量スライド・バー45、画面拡大ボタン46、画面縮小ボタン47等の各種ボタンが表示される。同時に、図示しないマウスのポインタも表示され、そのポインタをそれらのボタンに重畳し、マウス・ボタンを押下することにより選択可能とされている。
ユーザは、動画40が再生されている間、講義中の講師が黒板に書いた重要な文字等にマウスを使用してマーカー50をつけることができる。これは、ユーザが教科書等に蛍光ペンを使用してマーカーを引くのと同様のものである。このマーカー50は、ユーザがマウスのポインタを、マーカー50をつける際の始点となる位置へもっていき、マウス・ボタンを押下した状態で終点となる位置へもっていき、その終点位置でマウス・ボタンを離すことにより、つけることができる。
マーカー50は、例えば、半透明な矩形領域として表すことができ、その色は、マーカー50をつけていることがわかり、かつ、講師が書いた文字等がそのマーカー50を通して見えるのであれば、いかなる色であってもよい。なお、このマーカー50がつけられた矩形領域が評価範囲である。図2では、講師の後ろにある黒板に書いた2つの文字に、半透明の矩形で表されたマーカー50がつけられている。
マーカー50は、半透明の矩形のものに限定されるものではなく、単なる線とし、下線で表示することも可能である。
このマーカー50の始点となる座標値、終点となる座標値、ユーザがマーカー50をつけ終えた時刻がPC20からサーバ10へ送られる。サーバ10では、それらのデータを入力データとして受け付け、それらの座標値を基にマーカー50を生成し、それを動画に追加して転送すると同時にPC20が備える表示装置22に表示させる。そして、サーバ10は、そのマーカー50を消滅させる時刻を判断し、その時刻になったところで、そのマーカー50を追加して転送するのを停止し、マーカー50の表示を消滅させる。
図2では、マーカー50として、「重要」と「分かりにくい」という2つの評価レベルを選択することができるようにされていて、いずれかを選択し、任意の箇所に、それらに対応したマーカー50をつけることができる。これらは、例えば、色により識別することができる。
上述した処理を実現するために、サーバ10は、図3の機能ブロック図に示す構成とされる。サーバ10は、PC20からの要求に応じて所望の動画ファイルを検索し、その動画ファイルを転送すると同時に再生させることにより動画をストリーミング配信する配信部100と、その動画の配信中に、ある場面を評価するために入力された評価範囲を指定する座標値から、その評価範囲に重畳して表示させるマーカーを生成し、そのマーカーを動画に追加して配信部100に配信させるマーカー生成部110とを備える。
また、サーバ10は、その座標値の入力時刻から一定時間経過する毎の評価範囲の画像を生成する画像生成部120と、その入力時刻から時刻順に並ぶ2つの画像を比較して当該2つの画像の類似度を計算し、その類似度が許容範囲内であるか否かを判断する判断部130と、許容範囲内でないと判断された場合に、2つの画像のうちの先の時刻の画像の当該時刻を、表示させたマーカーの消滅時刻として決定する決定部140とを備える。
許容範囲内でないと判断した場合は、決定部140により消滅時刻を決定し、それをマーカー生成部110に通知してマーカーの追加を停止し、配信される動画中からマーカーを消滅させる。一方、許容範囲内であると判断した場合は、画像生成部120が、その入力時刻から一定時間経過後の時刻とさらに一定時間経過後の時刻における画像を生成し、判断部130が、それら2つの画像の類似度を計算し、その類似度が許容範囲内であるかを判断するという処理を、判断部130が、類似度が許容範囲内でないと判断するまで繰り返す。
これらの各部は、CPUがプログラムを読み出し実行することにより、このCPUを各部として機能させることができる。以下、各部をより詳細に説明する。
配信部100は、ユーザが操作するPC20から動画ファイルを特定し、送信された動画配信要求を受け取り、動画配信要求に含まれる動画ファイルを識別するためのファイル名を基に、データベース11を検索する。動画ファイルは、ファイル名と格納されているアドレスとが関連付けられ、インデックスとして格納されている。このため、検索時には、ファイル名を基に、インデックスを参照することで、その動画ファイルが格納されているアドレスを検索することができ、そのアドレスからデータを読み出し、そのデータを読み出し転送すると同時に再生させることにより動画をストリーミング配信することができる。
ユーザが、配信中の動画に、マーカーをつけるために座標値を指定すると、PC20からサーバ10へその座標値が送信される。なお、その座標値を指定している間は、動画ファイルの転送が停止され、動画が停止される。マーカー生成部110は、そのときの場面を評価するために入力された評価範囲を指定する座標値から、その評価範囲に重畳して表示させるマーカーを生成する。マーカーが矩形領域からなる半透明のものである場合、座標値は、少なくとも始点の座標値、終点の座標値が送信され、マーカー生成部110が、それらの座標値を受け取り、それらの座標値からマーカーを生成する。座標値は、例えば、画面の左下を(0,0)とした二次元座標とし、x軸方向およびy軸方向の座標値を画素数により表すことができる。
マーカー生成部110は、生成したマーカーを動画に重畳することによって追加し、配信部100がそのマーカーを追加した動画を配信する。より具体的には、マーカー生成部110は、動画ファイルにマーカー・データを付加し、配信部100がそれをPC20へ転送し、PC20がそれを再生することにより、動画中にマーカーを重畳して表示する。マーカー・データは、入力データに含まれる座標値から生成された、その形状、大きさ、配置する位置を特定するデータを含み、また、入力データに含まれる評価レベルを示す色、その透明度の情報を含む。
画像生成部120は、データベース11に格納され、現在配信中の動画ファイルを使用して、入力データに含まれる座標値およびその入力時刻から、その入力時刻におけるその座標値により指定される評価範囲の瞬間画像であるスナップ・ショットを生成する。ここでの入力時刻は、動画の開始からの時刻である。また、予め設定された一定時間経過後のその評価範囲のスナップ・ショットを生成する。これらのスナップ・ショットは、動画ファイルの開始からの時刻で一時停止させたときの画像から、その評価範囲の画像を切り出すことで容易に生成することができる。このようにして、各時刻におけるスナップ・ショットを生成する。
判断部130は、これらの2つのスナップ・ショットの類似度を計算する。入力時刻をtとした場合、一定時間経過後の時刻をt+1と表すことができる。画像の類似度は、これまでに知られたいかなる方法でも計算することができ、例えば、DCTクラスタリング、色ヒストグラム法、輪郭線抽出法、四分木法等を用いて計算することができる。
DCTクラスタリングには、例えば、DCT成分を用いたクラスタリングによるカット検出手法がある。この手法は、隣接するフレーム間の変化を求めてカットを検出するのではなく、同じショットに属する隣接フレームは類似しているという性質に基づき、連続するフレームのクラスタを形成することにより、形成された2つのクラスタを分割する点としてカット点を求める手法である。フレームの大まかな構造を知るために、画像を周波数領域に変換する手法が有効とされる。この周波数領域へ変換する方法の1つとして、離散コサイン変換(DCT)を使用することができる。
この方法は、かなり細かい変化まで捉えることができ、カット検出の精度が高いという利点を有する一方、画素値を使用するため、明滅シーン等の画素値のみに影響がある変化を誤認してしまうという欠点をもつ。
色ヒストグラム法は、RGB空間を4096分割したカラーヒストグラムを用いて各画素の絶対値差分の合計がある閾値以上になれば新たなカットであると認識する方法である。具体的には、2つの画像の類似度を比較する場合、2つの画像の各輝度値の画素数を求め、その差を足し合わせていったものをR(赤)、G(緑)、B(青)について求め、その和が小さいほど類似度が高いと判定する方法である。この方法は、DCTクラスタリングより計算が容易で、抽出率が高いという利点を有する一方、DCTクラスタリングと同じく、色を大きく変化させる明滅シーン等を誤認してしまうという欠点をもち、この誤認は、DCTクラスタリングより顕著である。
輪郭線抽出法は、DCTクラスタリングや色ヒストグラムとは異なり色情報によらずにカット抽出を行う手法である。この手法は、まず、輪郭線を構成している点一つ一つの原点である左上からの座標を求める。それを横軸であるx軸、縦軸であるy軸毎に合計していき、最後に輪郭を構成している点の数で除算することにより、その映像の輪郭の平均、すなわち映像の重心を求める。その求めた重心を比較し、カットを抽出する。映像に連続性を有する場合、それほど大きな変化はなく、変化する場合は大きく変わるため、所望の結果を得ることができる。
この手法は、実際に連続性の比較検証の計算が単なる重心比較であるため、長い時間幅を比較する必要があるシーンの抽出を行う場合には良好であるが、短時間に何度もカット抽出が行われるような変化に対して弱いという欠点をもつ。しかしながら、映像的に不自然で誤り訂正として前後数フレーム内で別のカットがあれば、カットであると判断しないという誤り訂正で誤認を防ぐことは可能と考えられることから、有用と考えられる。
四分木法は、解析モデルの輪郭を含む要素を4つの要素に細分割していく自動分割方法で、ツリー構造を形成し、そのツリー構造を比較することで、類似度を計算することができるものである。この方法について、http://chiyo.sfc.keio.ac.jp/cgsoft/Release/Textbook/expression08.htmlに示された画像を図4(a)、(b)として参照し、以下、詳細に説明する。
図4(a)に示す画像に対して、まず、減色処理する。減色処理は、画像の色数を絞り込む処理で、最適なN個の代表色を選定する処理と、各画素値と選定したN個の代表色との対応を決定する処理とから構成される。前者の選定処理には、例えば、均等量子化法や細分化量子化法を挙げることができる。細分化量子化法には、画像のRGB空間における色分布に外接する直方体を考え、RGB3軸のうち、直方体の最も長い辺に平行な軸で、画像の総画素数を等分するように直方体を2つに分割し、これを繰り返して直方体を細分化していき、最後に同数の画素からなるN個の直方体を生成し、各直方体内の色データの平均値を代表色とするメディアン・カット法がある。後者の決定処理には、例えば、画像の各画素の色に最も近い色を選定する方法を挙げることができる。
このように減色処理された後、スナップ・ショットを縦横半分に4分割する。それぞれの領域が全て図形によって占められている、または図形が含まれていない、すなわち図4(b)に示す領域S1のような場合、分割をそこで中止する。
4分割された領域に、全てではないが、図形が含まれている場合、さらに4分割し、同様の判断を行い、領域S2のような、全て図形によって占められている、または図形が含まれていない場合、分割をそこで中止する。このような処理を、分割が中止されるまで繰り返す。ここでは、領域S2を分割して領域S3とし、さらに分割して領域S4とすることで、全てが図形によって占められている、または図形が含まれていないものとなり、処理を終了している。
このようにして得られた結果は、ツリー構造として記述することができ、このツリー構造を比較することで、例えば、60%や70%等のどの程度類似しているかを示す類似度を計算することができる。
判断部130は、類似度が許容範囲内であるかを判断するための閾値を保持し、その閾値以上であるかを判断する。閾値以上であれば、両画像は類似していると判断し、閾値未満であれば、両画像は類似していないと判断する。なお、判断部130が類似していると判断した場合は、次の2つの画像の類似度を計算し、再び許容範囲内であるかを判断する。具体的には、まず初めに、時刻tの画像と、時刻t+1の画像との類似度を計算し、その類似度が閾値以上であれば、次に、時刻t+1の画像と、時刻t+2の画像との類似度を計算し、その類似度が閾値以上であるか否かを判断し、それでも閾値以上であれば、時刻t+2の画像と、時刻t+3の画像との類似度を計算するといったように同様の処理を繰り返す。
一方、判断部130が許容範囲内ではないと判断した場合は、両画像が類似していないことを示すので、決定部140は、それら2つの画像のうち、先の時刻の画像の当該時刻を、マーカーを消滅させる消滅時刻fとして決定する。決定部140は、その消滅時刻fを設定し、マーカー生成部110は、その設定された消滅時刻fに達すると、マーカーの動画への追加を停止し、これにより、ユーザがつけたマーカーは、この決定された消滅時刻fをもって消滅する。
サーバ10によるマーカー表示を制御する処理を、図5に示すフローチャート図を参照して詳細に説明する。この処理は、マーカーを自動的に消滅させる評価範囲の寿命を決定するための処理である。まず、PC20が備える表示装置22の画面上に、Webアプリケーションを起動させ、ログイン画面を表示させる。このサービスを受けることができるユーザは、予め登録しており、ユーザIDやパスワードを取得している。このため、ログイン画面において、既に取得しているユーザIDおよびパスワードを入力し、サービスを開始させる。
ユーザは、動画ファイルの1つを選択して、その動画の配信を要求し、その要求がネットワーク30を介してサーバ10へ送信される。サーバ10は、その要求に含まれるファイル名に基づき、サーバ10が管理するデータベース11から動画ファイルを読み出し、その要求に含まれるPC20のIPアドレス等を使用して動画を配信する。
動画が配信されると、動画を再生するアプリケーションが起動され、画面上にその動画が再生され、ユーザは、その動画を見ることができる。ユーザは、気になったところで、マウス等を使用して、重要と思われる文字等にマーカーをつけるため、始点となる位置にポインタを移動させ、マウス・ボタンを押下し、マウス・ボタンを押下したままの状態で終点となる位置にカーソルを移動させ、マウス・ボタンを離し、それらの座標値およびその入力時刻を入力データとしてサーバ10へ送信する。
座標値は、例えば、画面左下の隅にある画素を座標(0,0)とし、画面が、縦1024画素、横768画素からなる場合、始点(500,300)、終点(600,350)のような二次元のx軸、y軸の値からなるものとすることができる。入力時刻は、その動画の再生開始時刻を0とし、それまでに再生され、経過した時刻tとすることができる。なお、ユーザがマウス・ポインタを操作している間、動画は停止されるため、その間は時刻が停止した状態である。
このようにして入力された入力データがサーバ10へ送信され、サーバ10がその入力データを受信したところで、ステップ500の処理を開始する。ステップ510で、サーバ10は、入力データに含まれる座標値R(x,y)および時刻tを読み出し、動画ファイルから、その時刻tにおける瞬間画像を生成し、その瞬間画像からその座標値により指定された評価範囲のスナップ・ショットStを生成する。この座標値R(x,y)は、始点と終点の2つの座標値を含むものである。
次に、ステップ520で、その時刻tから、予め設定されている一定時間経過後の時刻t+1のスナップ・ショットSt+1を同様にして生成する。ステップ530で、時刻tのスナップ・ショットStと、時刻t+1のスナップ・ショットSt+1の類似度を計算する。この類似度は、上記に例示した方法により計算することができる。
ステップ540で、計算された類似度が許容範囲内であるかを判断する。許容範囲内であれば、両画像が似ていることを示すため、ステップ550へ進み、時刻をt+1とし、ステップ510へ戻り、再びt+1におけるスナップ・ショットSt+1を生成し、ステップ520において時刻t+2におけるスナップ・ショットSt+2を生成して、ステップ530で類似度を計算し、ステップ540でその類似度が許容範囲内であるかを判断する。
これに対し、ステップ540で、計算された類似度が、許容範囲内でないと判断された場合は、両画像が似ていないため、時刻tと時刻t+1ではスナップ・ショットに変化が生じていることを示す。このため、ステップ560へ進み、時刻tまでが許容範囲内であることから、この時刻tを、マーカーを消滅させる消滅時刻fとして決定し、消滅時刻fを設定した後、ステップ570で、この処理を終了する。この設定により、時刻tになったところで、マーカー生成部110がそのマーカーの追加を停止するため、配信部100により配信される動画からはそのマーカーが自動的に消滅する。
このように、類似度が許容範囲内であるか否かを判断するのは、許容範囲内でなくなると、両画像が大きく変化した可能性が高いからである。場面が変わった場合のほか、マーカーをつけた部分の文字が消された場合や、文字が書き換えられたような場合が挙げられる。
これまで、マーカーを自動的に消滅させる評価範囲の寿命を決定するためのシステム構成およびその処理について詳細に説明してきたが、本発明では、これに加えて、複数のユーザがつけたマーカーをマージして表示することも可能である。これは、評価を蓄積し、どの場面の、何が、どのように、評価されているかを提示するGUIの提供を可能にするものである。具体的には、どの時刻の、画像のどの部分が、重要あるいは分かりにくいかを提示することができる。
図6は、図3に示す構成に、さらに、座標値R(x,y)、入力時刻tおよび消滅時刻fを特徴値として含む評価オブジェクトを、その特徴値を使用してクラスタリングするクラスタリング部150と、同一クラスタ内にクラスタリングされた評価オブジェクトに含まれる特徴値の平均値を計算する計算部160と、計算された平均値を評価情報として記憶する記憶部170とをさらに含む構成とされている。
クラスタリング部150は、評価オブジェクトを、これまでに知られたクラスタリング法によりクラスタリング(分類)する。このクラスタリングでは、評価オブジェクトに含まれる始点の座標値(x1,y1)、終点の座標値(x2,y2)、入力時刻t、評価範囲の消滅時刻fの6つのパラメータを特徴値として用い、特徴空間の中で距離が近いデータをまとめグループ化する。その方法として、これまでに知られた以下の方法を採用することができる。
評価対象となる評価オブジェクトがn個存在すると仮定すると、各評価オブジェクトが6つのパラメータをもつことから、6次元の特徴値を有することとなる。まず、初期状態として、各クラスタが1個の評価オブジェクトを含むものと考え、n個のクラスタがあるものとする。
次に、2つのクラスタ間のユークリッド平方距離dij 2を、下記式1を用いて計算する。ユークリッド平方距離は、クラスタ間の距離を測定する方法の1つである。その他に、ユークリッド距離、標準化ユークリッド距離、ミンコフスキー距離、マハラノビスの距離等があり、これらを用いることも可能であるが、上記ユークリッド平方距離が一般的である。
式(1)中、pは、次元数で、ここでは6である。また、Xは、座標値、入力時刻、消滅時刻といった特徴値である。
その次に、ユークリッド平方距離dij 2が最も近いクラスタを併合し、1つのクラスタとする。例えば、クラスタaとクラスタbが併合されてクラスタcが形成されたとする。dab、dxa、dxbを、クラスタaとクラスタbが併合される前の各クラスタ間の距離としたとき、併合後のクラスタcとクラスタx(xはa、bとは異なる。)との距離は、下記式(2)、式(3)で表わすことができる。
式(2)、式(3)中のαa、αb、β、γの値、式(2)、式(3)のいずれを使用するかは、採用する方法によって異なり、これらのパラメータを図7の表に示す。図7中、naは、クラスタaに含まれる個体数で、nbは、クラスタbに含まれる個体数である。ncは、na+nbであり、nxは、併合されるクラスタa、b以外のクラスタに含まれる個体数である。β*は、1未満の任意の値である。
上記のようにして、2つのクラスタが1つのクラスタに併合されると、総クラスタが1つ減少する。この計算を繰り返して、クラスタ数を減少させる。クラスタ数が1になるまでこの計算を繰り返す。
そして、予め設定したユークリッド距離dijを超えないクラスタを評価情報(EvalInfo)の1つの単位とする。
計算部160は、このようにして求められたEvalInfoに属する評価オブジェクトの平均値をとり、座標値、入力時刻、消滅時刻の平均値を求める。
評価オブジェクトは、座標値、入力時刻、消滅時刻のほか、評価点を含む。評価点は、これに限られるものではないが、例えば、60点等の点数で与えることができる。計算部160は、同一クラスタ内にクラスタリングされたEvalInfoに属する評価オブジェクトに含まれる評価点を平均し、それをすべてのクラスタに含まれる評価点を合計した合計評価点で除して注目度を計算する。
また、評価オブジェクトは、評価内容に応じて割り当てられた評価レベルを含む。この評価レベルは、「重要」であれば「1」、「分かりにくい」であれば「2」といった数値で表わすことができる。クラスタリング部150は、この評価レベル毎にクラスタリングを行い、計算部160は、この評価レベル毎に平均値を計算することができる。
計算部160は、計算した結果を、複数のユーザの評価結果として記憶部170に記憶し、評価情報の更新を行うことができる。この結果は、複数のユーザの評価結果を表示するとの要求を受け、それに応答して、動画に付加して配信することができる。
すなわち、マーカー生成部110は、その要求を受け付けると、それに応答して、記憶部170から記憶された平均値を読み出し、その平均値を使用してマーカーを生成し、動画にその生成したマーカーを追加して配信させる。
例えば、ユーザAが、図8に示すように、時刻t=2において、マーカーをつけたとする。同じ動画につき、ユーザBが、図9に示すように、時刻t=0と時刻t=2において、マーカーをつけたとする。マーカー生成部110は、ユーザAのみのマーカーを表示させるという指示を受けると、ユーザAのみのマーカーを生成して追加し、配信部100にそれを配信させる。一方、全てのユーザのマーカーを表示させるという指示を受けると、上記平均値からマーカーを生成し、それを追加して配信部100に配信させる。そのとき、ユーザAと全てのユーザのマーカーを同時に配信させ、ユーザは、それらを同時に見ることも可能である。
図10は、ユーザAのみのマーカーを表示し、図11は、ユーザAと全てのユーザのマーカーを同時に表示したところを示した図である。図10に示すマーカーは、ユーザAが時刻t=2につけたものであるが、場面が変化する時刻t=4の直前の時刻t=3まで表示され、時刻t=4になったところで消滅している。図11に示すマーカーは、時刻t=0において、ユーザBがつけたマーカーを含むように、全てのユーザがつけたマーカーの評価オブジェクトの平均値から生成されたものが表示され、時刻t=2において、同じくユーザBがつけたマーカーを含むように上記平均値から生成されたものと、ユーザAがつけたマーカーとが表示され、時刻t=4において、それらのいずれもが、画面の変化によって、マーカーが消滅している。なお、図11では、平均値を使用してマーカーを生成するので、ユーザBのみの場合と比較して、そのマーカーの位置、大きさ等が異なっている。
マーカー生成部110は、評価レベルに応じてマーカーを生成し、動画に追加して配信させることも可能である。評価レベルは、図12に示すユーザによるマーカーの選択によって選択され、それが入力データに含められ、サーバ10へ送られる。このため、サーバ10では、いずれの評価レベルが選択されたかにより、その評価レベルに応じたマーカーを生成し、動画に追加して配信することができる。評価レベルは、色によって識別することができ、例えば、赤のマーカーであれば「重要」、青のマーカーであれば「分かりにくい」を示すことができる。これらは、選択ボタン200、210によって選択することができる。なお、図12には、自分のみのマーカーを表示させるか、複数のユーザのマーカーを表示させるかを選択することが可能な選択ボタン220、230も示されている。
マーカー生成部110は、注目度に応じてマーカーを変更し、動画に変更したマーカーを追加して配信させることも可能である。注目度は、どの程度のユーザがその評価範囲に注目しているかを示し、マーカーの枠の太さを変化させることにより識別することができるようにすることができる。
図13は、注目度に応じて、マーカーの枠の太さを変化させたところを示した動画の一部である。向かって左側につけられたマーカーは、少人数のユーザがつけたマーカーであるため、その枠の太さが細く、注目度がそれほど高くないことを示し、向かって右側につけられたマーカーは、多数のユーザがつけたマーカーであるため、その枠の太さが太く、注目度が高いことを示している。
ここでは、枠の太さとしているが、これに限られるものではなく、マーカーの色の濃淡等によって表示することもでき、ユーザが識別することができれば、いかなる方法であってもよい。
なお、枠の太さを変化させる方法である場合、マーカーの半透明な部分の色を変化させる必要がないため、そのマーカーがつけられた部分にある文字等が見えなくならないという利点を有する。
マーカー数が少ない場合は、積算して得られるマーカー数も少ないので、その数の信用度は低いが、注目度として枠の太さ等でUI上に表示することで、高い信用度でユーザに示すことができる。また、単純なクラスタ分析の場合、1画面を覆うようなクラスタになる可能性があることから、マーカーの大きさに制限を設け、その制限に基づきクラスタリングすることができる。
クラスタリング、評価情報の更新、更新された評価情報に基づき行われる処理を、図14に示すフローチャートを参照して詳細に説明する。この処理は、消滅時刻fが決定された後に、ステップ1400から開始される。ステップ1410において、ユーザが入力したデータに含まれる始点および終点の座標値R(x,y)、入力時刻t、決定された消滅時刻fを特徴値として用い、クラスタリングすることにより、特徴空間の中で距離が近いデータをまとめグループ化する。このグループ化は、上述したこれまでに知られたいかなるクラスタリング法でも使用して行うことができる。
クラスタリングが終了すると、ステップ1420において、同一クラスタ内にクラスタリングされた評価オブジェクトに含まれる特徴値の平均値を計算する。すなわち、始点の座標値の平均値、終点の座標値の平均値、入力時刻の平均値、消滅時刻の平均値を計算する。そのほか、評価点があれば、その評価点の平均値も計算し、さらに、前述のようにして注目度も計算する。
ステップ1430において、このようにして計算された各平均値を、評価情報として記憶部170に記憶し、記憶部170にこれまでに記憶されていた評価情報を更新する。これは、各クラスタにつき行われる。
ステップ1440において、ユーザが、複数のユーザの評価結果を表示するという要求をサーバ10へ送ると、サーバ10は、それに応答して、その時刻において表示させるべきマーカーを探し出すために記憶部170に記憶されている評価情報を検索し、検索された評価情報に含まれる各平均値を使用してマーカーを生成し、動画にそのマーカーを追加して配信させる。
評価情報として注目度が含まれる場合、上述したようにマーカーの枠を太くする等することにより表示する。枠の太さは、注目度に応じて増減することができ、注目度が0.1増加する毎にある太さだけ増加するようにしてもよいし、注目度が0.3未満までは約0.2mm、0.3以上0.5未満までは約0.3mm、0.5以上0.7未満までは約0.4mmというように増加させることも可能である。これらの条件は、予め設定され、その設定された条件に従って表示させることができる。
ステップ1440において配信されたマーカーは、計算された消滅時刻fに達したところで、ステップ1450において、そのマーカーの追加配信を停止することにより終了する。なお、動画の配信は継続され、再び入力を受け付けると、同様にしてマーカーを表示させ、消滅時間に消滅させ、また、評価情報を更新する。
これまで、本発明の評価システムおよびマーカー表示の制御方法を、図面を参照して詳細に説明してきたが、他の実施形態や、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
10…サーバ、11…データベース、20…クライアント装置、21…入力装置、22…表示装置、30…ネットワーク、40…動画、41…再生/一時停止ボタン、42…巻き戻しボタン、43…早送りボタン、44…再生位置スライド・バー、45…音量スライド・バー、46…画面拡大ボタン、47…画面縮小ボタン、50…マーカー、100…配信部、110…マーカー生成部、120…画像生成部、130…判断部、140…決定部、150…クラスタリング部、160…計算部、170…記憶部、200〜230…選択ボタン

Claims (16)

  1. 配信される動画を、マーカーを用いて評価可能な評価システムであって、
    前記動画を評価するために入力された評価範囲を指定する座標値から、前記評価範囲に重畳して表示させるマーカーを生成し、前記動画に前記マーカーを追加して配信させるマーカー生成部と、
    前記座標値の入力時刻から一定時間経過する毎の前記評価範囲の画像を生成する画像生成部と、
    前記入力時刻から時刻順に並ぶ2つの画像を比較して該2つの画像の類似度を計算し、前記類似度が許容範囲内であるか否かを判断する判断部と、
    前記許容範囲内でないと判断された場合に、前記2つの画像のうちの先の時刻の画像の該時刻を、表示させたマーカーの消滅時刻として決定する決定部とを含む、評価システム。
  2. 前記座標値、前記入力時刻および前記消滅時刻を特徴値として含む評価オブジェクトを、前記特徴値を使用してクラスタリングするクラスタリング部と、
    同一クラスタ内にクラスタリングされた前記評価オブジェクトに含まれる前記特徴値の平均値を計算する計算部とをさらに含み、
    前記マーカー生成部は、複数のユーザの評価結果を表示するとの要求に応答して、前記平均値を使用して前記マーカーを生成し、前記動画に前記マーカーを追加して配信させる、請求項1に記載の評価システム。
  3. 前記評価オブジェクトは、評価点を含み、前記計算部は、前記同一クラスタ内にクラスタリングされた前記評価オブジェクトに含まれる前記評価点を平均し、平均した前記評価点を全てのクラスタに含まれる評価点を合計した合計評価点で除して注目度を計算し、前記マーカー生成部は、前記注目度に応じて前記マーカーを変更し、前記動画に変更した前記マーカーを追加して配信させる、請求項2に記載の評価システム。
  4. 前記評価オブジェクトは、評価内容に応じて割り当てられた評価レベルを含み、前記クラスタリング部が前記評価レベル毎にクラスタリングを行い、前記計算部が前記評価レベル毎に前記平均値を計算し、前記マーカー生成部が前記評価レベル毎に前記マーカーを生成し、前記動画に追加して配信させる、請求項2に記載の評価システム。
  5. 前記マーカー生成部は、1ユーザの評価結果を表示するとの要求に応答して、前記1ユーザのマーカーを生成し、前記動画に追加して配信させる、請求項1に記載の評価システム。
  6. 配信される動画を、マーカーを用いて評価可能な評価システムにより実行されるマーカー表示の制御方法であって、
    前記動画を評価するために入力された評価範囲を指定する座標値から、前記評価範囲に重畳して表示させるマーカーを生成し、前記動画に前記マーカーを追加して配信させるステップと、
    前記座標値の入力時刻から一定時間経過する毎の前記評価範囲の画像を生成するステップと、
    前記入力時刻から時刻順に並ぶ2つの画像を比較して該2つの画像の類似度を計算し、前記類似度が許容範囲内であるか否かを判断するステップと、
    前記許容範囲内でないと判断された場合に、前記2つの画像のうちの先の時刻の画像の該時刻を、表示させたマーカーの消滅時刻として決定するステップとを含む、制御方法。
  7. 前記座標値、前記入力時刻および前記消滅時刻を特徴値として含む評価オブジェクトを、前記特徴値を使用してクラスタリングするステップと、
    同一クラスタ内にクラスタリングされた前記評価オブジェクトに含まれる前記特徴値の平均値を計算するステップとをさらに含み、
    前記配信させるステップでは、複数のユーザの評価結果を表示するとの要求に応答して、前記平均値を使用して前記マーカーを生成し、前記動画に前記マーカーを追加して配信させる、請求項6に記載の制御方法。
  8. 前記評価オブジェクトは、評価点を含み、前記計算するステップでは、前記同一クラスタ内にクラスタリングされた前記評価オブジェクトに含まれる前記評価点を平均し、平均した前記評価点を全てのクラスタに含まれる評価点を合計した合計評価点で除して注目度を計算し、前記配信させるステップでは、前記注目度に応じて前記マーカーを変更し、前記動画に変更した前記マーカーを追加して配信させる、請求項7に記載の制御方法。
  9. 前記評価オブジェクトは、評価内容に応じて割り当てられた評価レベルを含み、前記クラスタリングするステップでは、前記評価レベル毎にクラスタリングを行い、前記計算するステップでは、前記評価レベル毎に前記平均値を計算し、前記配信させるステップでは、前記評価レベル毎に前記マーカーを生成し、前記動画に追加して配信させる、請求項7に記載の制御方法。
  10. 前記配信させるステップでは、1ユーザの評価結果を表示するとの要求に応答して、前記1ユーザのマーカーを生成し、前記動画に追加して配信させる、請求項6に記載の制御方法。
  11. 配信される動画を、マーカーを用いて評価可能な評価システムにより可読なマーカー表示の制御方法を実行させるプログラムであって、
    前記動画を評価するために入力された評価範囲を指定する座標値から、前記評価範囲に重畳して表示させるマーカーを生成し、前記動画に前記マーカーを追加して配信させるステップと、
    前記座標値の入力時刻から一定時間経過する毎の前記評価範囲の画像を生成するステップと、
    前記入力時刻から時刻順に並ぶ2つの画像を比較して該2つの画像の類似度を計算し、前記類似度が許容範囲内であるか否かを判断するステップと、
    前記許容範囲内でないと判断された場合に、前記2つの画像のうちの先の時刻の画像の該時刻を、表示させたマーカーの消滅時刻として決定するステップとを実行させる、プログラム。
  12. 前記座標値、前記入力時刻および前記消滅時刻を特徴値として含む評価オブジェクトを、前記特徴値を使用してクラスタリングするステップと、
    同一クラスタ内にクラスタリングされた前記評価オブジェクトに含まれる前記特徴値の平均値を計算するステップとをさらに実行させ、
    前記配信させるステップでは、複数のユーザの評価結果を表示するとの要求に応答して、前記平均値を使用して前記マーカーを生成し、前記動画に前記マーカーを追加して配信させる、請求項11に記載のプログラム。
  13. 前記評価オブジェクトは、評価点を含み、前記計算するステップでは、前記同一クラスタ内にクラスタリングされた前記評価オブジェクトに含まれる前記評価点を平均し、平均した前記評価点を全てのクラスタに含まれる評価点を合計した合計評価点で除して注目度を計算し、前記配信させるステップでは、前記注目度に応じて前記マーカーを変更し、前記動画に変更した前記マーカーを追加して配信させる、請求項12に記載のプログラム。
  14. 前記評価オブジェクトは、評価内容に応じて割り当てられた評価レベルを含み、前記クラスタリングするステップでは、前記評価レベル毎にクラスタリングを行い、前記計算するステップでは、前記評価レベル毎に前記平均値を計算し、前記配信させるステップでは、前記評価レベル毎に前記マーカーを生成し、前記動画に追加して配信させる、請求項12に記載のプログラム。
  15. 前記配信させるステップでは、1ユーザの評価結果を表示するとの要求に応答して、前記1ユーザのマーカーを生成し、前記動画に追加して配信させる、請求項11に記載のプログラム。
  16. 配信される動画を、マーカーを用いて評価可能な評価システムであって、
    前記動画を評価するために入力された評価範囲を指定する座標値から、前記評価範囲に重畳して表示させるマーカーを生成し、前記動画に前記マーカーを追加して配信させるマーカー生成部と、
    前記座標値の入力時刻から一定時間経過する毎の前記評価範囲の画像を生成する画像生成部と、
    前記入力時刻から時刻順に並ぶ2つの画像を比較して該2つの画像の類似度を計算し、前記類似度が許容範囲内であるか否かを判断する判断部と、
    前記許容範囲内でないと判断された場合に、前記2つの画像のうちの先の時刻の画像の該時刻を、表示させたマーカーの消滅時刻として決定する決定部と、
    前記座標値、前記入力時刻および前記消滅時刻を特徴値として含む評価オブジェクトを、前記特徴値を使用してクラスタリングするクラスタリング部と、
    同一クラスタ内にクラスタリングされた前記評価オブジェクトに含まれる前記特徴値の平均値を計算する計算部とを含み、
    前記クラスタリング部が、前記評価オブジェクトに含まれる評価内容に応じて割り当てられた評価レベル毎にクラスタリングを行い、
    前記計算部は、さらに、前記評価レベル毎に、前記同一クラスタ内にクラスタリングされた前記評価オブジェクトに含まれる評価点を平均し、平均した前記評価点を全てのクラスタに含まれる合計評価点で除して注目度を計算し、
    前記マーカー生成部は、複数のユーザの、指定した前記評価レベルの評価結果を表示するとの要求に応答して、前記評価レベルの、前記平均値を使用して前記マーカーを生成し、前記注目度に応じて前記マーカーを変更し、前記動画に変更した前記マーカーを追加して配信させる、評価システム。
JP2009141751A 2009-06-15 2009-06-15 評価システム、マーカー表示の制御方法およびプログラム Expired - Fee Related JP4791565B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009141751A JP4791565B2 (ja) 2009-06-15 2009-06-15 評価システム、マーカー表示の制御方法およびプログラム
US12/793,785 US8619096B2 (en) 2009-06-15 2010-06-04 Instant message analytics of historical conversations in relation to present communication
US13/447,716 US8643672B2 (en) 2009-06-15 2012-04-16 Instant message analytics of historical conversations in relation to present communication

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009141751A JP4791565B2 (ja) 2009-06-15 2009-06-15 評価システム、マーカー表示の制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2010288163A JP2010288163A (ja) 2010-12-24
JP4791565B2 true JP4791565B2 (ja) 2011-10-12

Family

ID=43306066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009141751A Expired - Fee Related JP4791565B2 (ja) 2009-06-15 2009-06-15 評価システム、マーカー表示の制御方法およびプログラム

Country Status (2)

Country Link
US (2) US8619096B2 (ja)
JP (1) JP4791565B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8135787B2 (en) * 2009-06-16 2012-03-13 International Business Machines Corporation Instant messaging monitoring and alerts
US8358347B2 (en) * 2010-08-17 2013-01-22 Hewlett-Packard Development Company, L.P. Frame rate measurement
US8824676B2 (en) * 2011-06-30 2014-09-02 International Business Machines Corporation Streaming video to cellular phones
KR20220025222A (ko) * 2011-11-24 2022-03-03 김시환 단계적 정보 제공 시스템
EP2832458B1 (en) 2012-03-27 2018-10-10 Satake Corporation Optical type granule sorting machine
KR101270284B1 (ko) * 2012-10-10 2013-05-31 문영기 개발 제품의 콘셉트 테스트 시스템 및 테스트 방법
JP6037125B2 (ja) * 2013-02-18 2016-11-30 株式会社サタケ 光学式粒状物選別機
JP6784168B2 (ja) * 2016-12-19 2020-11-11 株式会社リコー 情報処理装置、プログラム、閲覧システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6956593B1 (en) * 1998-09-15 2005-10-18 Microsoft Corporation User interface for creating, viewing and temporally positioning annotations for media content
JP2000099524A (ja) * 1998-09-18 2000-04-07 Fuji Xerox Co Ltd マルチメディア情報視聴装置
JP2005173061A (ja) * 2003-12-10 2005-06-30 Hitachi Ltd 演習支援システムおよび演習支援方法
US20050280651A1 (en) * 2004-06-18 2005-12-22 Geddes Berkeley L Apparatus and method for enhanced video images
JP2006074514A (ja) * 2004-09-02 2006-03-16 Hiroshima Univ 映像編集装置、映像再生装置、ファイルデータベース、ファイル配信サーバ、映像編集方法、映像編集プログラム、映像再生方法、映像再生プログラム、およびコンピュータ読み取り可能な記録媒体
JP4858375B2 (ja) * 2007-04-19 2012-01-18 富士ゼロックス株式会社 情報処理装置及びプログラム
US8022997B2 (en) * 2007-04-19 2011-09-20 Fuji Xerox Co., Ltd. Information processing device and computer readable recording medium
JP4848329B2 (ja) * 2007-08-17 2011-12-28 株式会社フォトロン フィードバック情報処理システム
US8112702B2 (en) * 2008-02-19 2012-02-07 Google Inc. Annotating video intervals
US8401771B2 (en) * 2008-07-22 2013-03-19 Microsoft Corporation Discovering points of interest from users map annotations

Also Published As

Publication number Publication date
US20120257835A1 (en) 2012-10-11
US8619096B2 (en) 2013-12-31
JP2010288163A (ja) 2010-12-24
US8643672B2 (en) 2014-02-04
US20100315435A1 (en) 2010-12-16

Similar Documents

Publication Publication Date Title
JP4791565B2 (ja) 評価システム、マーカー表示の制御方法およびプログラム
US20200286185A1 (en) Parallel echo version of media content for comment creation and delivery
JP6384474B2 (ja) 情報処理装置および情報処理方法
CN100462975C (zh) 信息演示方法和信息演示装置
US20190235740A1 (en) Rotatable Object System For Visual Communication And Analysis
US20100274674A1 (en) Media navigation system
KR20210069711A (ko) 코스웨어 녹화 및 재생 방법, 장치, 스마트 인터랙티브 태블릿 및 저장 매체
US11315607B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP6705625B2 (ja) 動画再生プログラム、装置、及び方法
JP6686578B2 (ja) 情報処理装置及び情報処理プログラム
US20180349024A1 (en) Display device, display program, and display method
JP2014153688A (ja) 講義用システム
JP4686990B2 (ja) コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム
CN114846808A (zh) 内容发布系统、内容发布方法以及内容发布程序
JP2008112425A (ja) データ処理装置、データ処理方法、データ処理プログラムおよびデータ処理プログラムを記録した記録媒体
US9343108B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
US20200294552A1 (en) Recording device, recording method, reproducing device, reproducing method, and recording/reproducing device
JP2019079116A (ja) 情報処理装置、情報処理方法、プログラムおよび記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110705

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20110705

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110721

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees