JP6686578B2 - 情報処理装置及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

特許文献１には、ユーザー間において、同じ動画を共有して、コメントを利用しコミュニケーションを図ることができるコメント配信システムを提供することを課題とし、コメント情報をコメント配信サーバーから受信し、再生される動画を表示するとともに、当該コメント情報のうち、再生する動画の動画再生時間に対応するコメント付与時間が対応付けられたコメントをコメント情報から読み出し、読み出したコメントを動画とともに表示し、そして、コメント情報をリストとして表示をし、表示されたコメント情報からコメントデータが選択されると、選択されたコメントデータのコメント付与時間に対応する動画再生時間から、動画を再生させるとともに、読み出したコメントデータを表示部によって表示させ、また、コメントの入力を受け付けて、コメント内容が入力された時点の動画再生時間をコメント付与時間としてコメント内容とともに前記コメント配信サーバーに送信することが開示されている。

特許文献２には、サーバー側では、任意のクライアントから登録依頼された、動画像等の時間構造を持つマルチメディアデータに関し、任意のメンバ間で交換可能なマルチメディア電子付箋の雛形を生成し、このマルチメディア電子付箋の雛形は、マルチメディアデータを時間的に分割したシーン毎に、コメント付加先／作成ユーザー名等の各種属性を持つコメントを入力／表示可能とすることが開示されている。

特開２００８−１７２７４５号公報 国際公開第２００２／０７３４６２号

前述の特許文献に記載の技術では、動画像にコメントを付して、そのコメントをユーザー間で共有することが行われている。
例えば、教育現場において、授業の予習として動画像を視聴することが行われている。その視聴において、視聴が行われたことを確認するため、予習の成果（授業での質問等の用意）を残す等のため、その動画像に電子付箋（電子カード等ともいわれる。以下、単に付箋という）を貼り付けることが求められている。そして、過去に貼り付けた付箋を確認したい場合が生じる。しかし、動画像の視聴とともにコメントが削除された後は、そのコメントを確認することができない。
そこで、本発明は、削除された付箋を、その付箋が動画像に貼り付けられた日時を示す時間軸上で確認できるように表示するようにした情報処理装置及び情報処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、動画像を再生し、該動画像上に付箋を貼り付ける貼付手段と、予め定められた条件に合致した場合に、前記動画像上から貼り付けられた付箋を削除する削除手段と、前記動画像の再生の経過時間を示す時間軸を表示し、前記削除手段によって削除された付箋が該動画像に貼り付けられた日時に該当する該時間軸上の位置に、該付箋の存在を確認できるように表示する表示手段を具備することを特徴とする情報処理装置である。

請求項２の発明は、前記予め定められた条件として、貼り付けが行われた後から予め定められた時間が経過していることとする、請求項１に記載の情報処理装置である。

請求項３の発明は、前記予め定められた条件として、貼り付けが行われた後であって、前記動画像内の予め定められた区切りに到達した場合とする、請求項１又は２に記載の情報処理装置である。

請求項４の発明は、前記予め定められた条件として、貼り付けられている付箋数が予め定められた数よりも多い又は以上であることとする、請求項１から３のいずれか一項に記載の情報処理装置である。

請求項５の発明は、前記貼付手段は、付箋間を関連付ける処理を行い、前記表示手段は、削除された付箋間に関連付けがなされていた場合は、該関連付けられていることを示す画像を、前記時間軸上に表示する、請求項１に記載の情報処理装置である。

請求項６の発明は、コンピュータを、動画像を再生し、該動画像上に付箋を貼り付ける貼付手段と、予め定められた条件に合致した場合に、前記動画像上から貼り付けられた付箋を削除する削除手段と、前記動画像の再生の経過時間を示す時間軸を表示し、前記削除手段によって削除された付箋が該動画像に貼り付けられた日時に該当する該時間軸上の位置に、該付箋の存在を確認できるように表示する表示手段として機能させるための情報処理プログラムである。

請求項１の情報処理装置によれば、動画像に付箋を貼り付ける場合にあって、削除された付箋を、その付箋が動画像に貼り付けられた日時を示す時間軸上で確認できるように表示することができる。

請求項２の情報処理装置によれば、付箋を削除する条件として、貼り付けが行われた後から予め定められた時間が経過していることとすることができる。

請求項３の情報処理装置によれば、付箋を削除する条件として、貼り付けが行われた後であって、動画像内の予め定められた区切りに到達した場合とすることができる。

請求項４の情報処理装置によれば、付箋を削除する条件として、貼り付けられている付箋数が予め定められた数よりも多い又は以上であることとすることができる。

請求項５の情報処理装置によれば、付箋間に関連付けがなされていた場合は、その関連付けられていることを示す画像を、時間軸上に表示することができる。

請求項６の情報処理プログラムによれば、動画像に付箋を貼り付ける場合にあって、削除された付箋を、その付箋が動画像に貼り付けられた日時を示す時間軸上で確認できるように表示することができる。

本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態を利用したシステム構成例を示す説明図である。 動画情報テーブルのデータ構造例を示す説明図である。 付箋情報テーブルのデータ構造例を示す説明図である。 操作ログテーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という意味を有する記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。

本実施の形態である情報処理システムは、動画像に付箋を貼り付けるものであって、図１の例に示すように、動画・付箋処理装置１００と個人端末１５０を有している。
動画像にテキストを貼り付けることが行われている。例えば、動画像を用いた教育が行われている。特に反転授業では、動画像が用いられている。この反転授業では、生徒たちは新たな学習内容を、通常は自宅等でビデオ授業（動画像）を視聴して予習し、教室では講義は行わず、逆に従来であれば宿題とされていた課題について、教師が個々の生徒に合わせた指導を与えたり、生徒が他の生徒と協働しながら取り組む形態の授業が行われる。つまり、先生は、この授業ではファシリテーターとしての役割を有することとなる。
具体的には、本実施の形態が用いられている場合、以下のようなことが行われる。なお、これは一例である。
（１）生徒は先生から配信された予習用教材（動画像）を自宅で視聴する。
（２）生徒は動画像を見ながら、重要なポイント／気づき／疑問／考察メモなどを、付箋として貼り付ける。動画像を見直した上で貼られた疑問は、見直し回数が表示される／付箋サイズが大きくなる。
（３）付箋の貼り付けた時間（その付箋の貼り付けの操作が行われた動画内経過時間）を起点に、予め定められた時間表示され続ける。以後の視聴時には付箋が貼られた画像となる。また、許可されたグループ内では付箋が共有される。
ここで、「動画内経過時間」は、動画像内での経過時間を示している。「経過時間」とは、動画像を最初から通常速度で再生した場合の、その操作が行われた時間を示している。したがって、実際の日時ではなく、動画像の時間的位置を示すものである。例えば、停止、早送り等の処理が行われたとしても影響を受けない値である。
（４）動画のタイムラインに沿って、疑問を整理したスイムレーンチャートを生成する（図１３、図１４の例を用いて後述）。理解できた生徒がいる場合は反転授業で教えあえる。多くの生徒が理解できないところは、先生がフォローする。章番号、サムネイル等を表示し、どの位置の付箋なのかを直感的に理解できるようにしてもよい。また、付箋が選択されると、動画像の再生に戻れるようにしてもよい。
（５）反転授業の前にも、疑問からヒント、考察から推敲のような理解向上ループが回せる生徒は、予習姿勢が向上している。先生は、付箋の構造（図１４の例を用いて後述）によって、予習の質を把握できる。
（６）動画教材に貼られた付箋を、２次元の台紙上に展開する（図１５の例を用いて後述）。ポイント、気づき、考察の付箋は、そのままグループワークの検討材料にも使える。

個人端末１５０は、表示モジュール１５５、動画・付箋操作モジュール１６０を有している。個人端末１５０は、動画・付箋処理装置１００との通信が可能なＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ、ノートＰＣ、タブレット型ＰＣ等を含む）である。個人端末１５０が有する液晶ディスプレイ等の表示装置に、動画像を再生（表示）する。もちろんのことながら、動画像には映像の他に音声等が含まれていてもよく、その音声は、個人端末１５０が有するスピーカーによって出力される。動画の内容を制限するものではないが、例えば、前述したような教育用の教材等がある。具体的には、先生が作成した予習用の音声付けスライド教材等が該当する。

表示モジュール１５５は、動画・付箋処理装置１００の表示情報構成モジュール１０５と接続されている。表示モジュール１５５は、動画・付箋処理装置１００の表示情報構成モジュール１０５による処理にしたがって、個人端末１５０の表示装置に動画、その動画に貼り付けられている付箋等を表示する。
動画・付箋操作モジュール１６０は、動画・付箋処理装置１００の動画処理モジュール１１５、付箋作成・処理モジュール１２０と接続されている。動画・付箋操作モジュール１６０は、ユーザーの操作、例えば、表示装置に表示されている動画に対しての操作（例えば、停止、早送り再生、巻き戻し再生等）、付箋に対しての操作（例えば、付箋の作成、貼り付け、削除、変更等）を受け付け、動画・付箋処理装置１００に渡す。

動画・付箋処理装置１００は、表示情報構成モジュール１０５、付箋管理モジュール１１０、動画処理モジュール１１５、付箋作成・処理モジュール１２０、動画情報記憶モジュール１２５、付箋情報記憶モジュール１３０、操作情報記憶モジュール１３５を有している。動画・付箋処理装置１００は、個人端末１５０との通信が可能であり、動画の配信、付箋の表示制御等を行う。
表示情報構成モジュール１０５は、付箋管理モジュール１１０、動画情報記憶モジュール１２５、個人端末１５０の表示モジュール１５５と接続されている。表示情報構成モジュール１０５は、個人端末１５０に対して、動画像、付箋等の表示を制御するための情報を生成する。表示情報構成モジュール１０５は、動画像を再生可能に表示する。そして、表示情報構成モジュール１０５が行う付箋に関する処理については、図２の例を用いて後述する。

付箋管理モジュール１１０は、表示情報構成モジュール１０５、付箋情報記憶モジュール１３０と接続されている。付箋管理モジュール１１０は、付箋情報記憶モジュール１３０内の付箋、台紙を管理して、付箋、台紙に関する情報を表示情報構成モジュール１０５へ提供する。
また、付箋管理モジュール１１０は、個人端末１５０のユーザーの操作にしたがって、付箋間を関連付ける処理を行う。「関連付ける処理」として、例えば、付箋と付箋を接続すること、グループ化すること等がある。また、接続の種類は、複数の付箋間において関係（関係は予め定められている）を示すものであり、例えば、疑問に対するアドバイス、疑問に対するヒント、考察に対する推敲等がある。

動画処理モジュール１１５は、動画情報記憶モジュール１２５、個人端末１５０の動画・付箋操作モジュール１６０と接続されている。動画処理モジュール１１５は、個人端末１５０から動画に対してのユーザーの操作を受け取り、その操作にしたがった処理を行う。例えば、前述したように、操作に応じて、停止、早送り再生、巻き戻し再生等の処理を行う。
付箋作成・処理モジュール１２０は、付箋情報記憶モジュール１３０、操作情報記憶モジュール１３５、個人端末１５０の動画・付箋操作モジュール１６０と接続されている。付箋作成・処理モジュール１２０は、個人端末１５０から付箋に対してのユーザーの操作を受け取り、その操作にしたがった処理を行う。例えば、前述したように、付箋の作成、動画像上に付箋の貼り付け、削除、変更等の処理を行う。また、その操作（処理）を、履歴として、操作情報記憶モジュール１３５に記憶する。

動画情報記憶モジュール１２５は、表示情報構成モジュール１０５、動画処理モジュール１１５と接続されている。動画情報記憶モジュール１２５は、動画像、その動画像の再生に関する情報を記憶している。例えば、動画情報テーブル４００を記憶している。図４は、動画情報テーブル４００のデータ構造例を示す説明図である。動画情報テーブル４００は、動画ＩＤ欄４０５、動画名称欄４１０、章の数欄４２０、第１章欄４３０、第２章欄４４０、貼付禁止区域数欄４５０、貼付禁止区域欄４６０を有している。第１章欄４３０は、開始時欄４３２、終了時欄４３４を有している。第２章欄４４０は、開始時欄４４２、終了時欄４４４を有している。貼付禁止区域欄４６０は、開始時欄４６２、終了時欄４６４、Ｘ座標欄４６６、Ｙ座標欄４６８、幅欄４７０、高さ欄４７２を有している。動画ＩＤ欄４０５は、本実施の形態において、動画を一意に識別するための情報（動画ＩＤ：ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）を記憶している。動画名称欄４１０は、その動画の名称を記憶している。章の数欄４２０は、その動画に含まれている章（チャプター）の数（第１章欄４３０等の数）を記憶している。第１章欄４３０は、第１章を記憶している。開始時欄４３２は、第１章の開始時を記憶している。終了時欄４３４は、第１章の終了時を記憶している。第２章欄４４０は、第２章を記憶している。開始時欄４４２は、第２章の開始時を記憶している。終了時欄４４４は、第２章の終了時を記憶している。ここで、「開始時」とは、動画像を最初から通常速度で再生した場合の、その章の開始時間を示している。「終了時」とは、動画像を最初から通常速度で再生した場合の、その章の終了時間を示している。したがって、実際の日時ではなく、動画像の時間的位置を示すものである。例えば、停止、早送り等の処理が行われたとしても影響を受けない値である。貼付禁止区域数欄４５０は、付箋の貼り付けを禁止している区域数（貼付禁止区域欄４６０の数）を記憶している。貼付禁止区域欄４６０は、貼付禁止区域を記憶している。開始時欄４６２は、貼付禁止区域の開始時を記憶している。終了時欄４６４は、貼付禁止区域の終了時を記憶している。Ｘ座標欄４６６は、貼付禁止区域の左上のＸ座標を記憶している。Ｙ座標欄４６８は、貼付禁止区域（この例では、矩形（長方形）である）の左上のＹ座標を記憶している。幅欄４７０は、貼付禁止区域の幅を記憶している。高さ欄４７２は、貼付禁止区域の高さを記憶している。開始時欄４６２における「開始時」と終了時欄４６４における「終了時」は、それぞれ、開始時欄４３２における「開始時」と終了時欄４３４における「終了時」と同等である。つまり、貼付禁止区域欄４６０で示された範囲（開始時から終了時までの時間的範囲、ＸＹ座標と幅と高さで規定される平面的範囲）では、付箋の貼り付けが禁止される。例えば、この間は、付箋を貼り付けることができない旨の表示を行う等する。

付箋情報記憶モジュール１３０は、付箋管理モジュール１１０、付箋作成・処理モジュール１２０、操作情報記憶モジュール１３５と接続されている。付箋情報記憶モジュール１３０には、付箋、動画に関する情報（例えば、属性情報等が含まれる）を記憶している。例えば、付箋情報テーブル５００を記憶している。図５は、付箋情報テーブル５００のデータ構造例を示す説明図である。付箋情報テーブル５００は、付箋ＩＤ欄５１０、貼付位置欄５１５、サイズ欄５２０、作成日時欄５２５、作成者欄５３０、貼付日時欄５３５、動画内経過時間欄５３６、更新中欄５４０、更新者欄５４５、色欄５５０、枠線形状欄５５５、枠線色欄５６０、枠線太さ欄５６５、所属グループ欄５７０、選択回数欄５７５、接続付箋数欄５８０、接続付箋ＩＤ欄５８５、接続方向欄５９０、内容種別欄５９５、内容欄５９７を有している。付箋ＩＤ欄５１０は、付箋を、本実施の形態において一意に識別するための情報（付箋ＩＤ）を記憶している。貼付位置欄５１５は、その付箋が貼り付けられている位置を記憶している。つまり、動画画面上の位置を記憶している。例えば、動画画面のＸＹ座標系における座標である。具体的には、付箋操作処理モジュール１１５の移動処理によって特定された位置である。サイズ欄５２０は、その付箋のサイズを記憶している。例えば、表示する付箋が矩形である場合は、幅と高さを記憶している。作成日時欄５２５は、その付箋が作成された日時（年、月、日、時、分、秒、秒以下、又はこれらの組み合わせであってもよい）を記憶している。作成者欄５３０は、その付箋の作成者（作成者ＩＤ）を記憶している。又は、その付箋が作成された情報処理装置（個人端末１５０又は動画・付箋処理装置１００の機器ＩＤ）を記憶してもよい。貼付日時欄５３５は、その付箋が動画画面に貼り付けられた日時を記憶している。動画内経過時間欄５３６は、その付箋が動画画面に貼り付けられた動画内経過時間を記憶している。更新中欄５４０は、その付箋が更新中であるか否かを示す情報（フラグ）を記憶している。更新者欄５４５は、その更新を行っている更新者（ユーザーＩＤ）を記憶している。更新者は、１人であってもよいし、複数人であってもよい。色欄５５０は、その付箋の表示色を記憶している。例えば、更新中であることを示す表示色がある。枠線形状欄５５５は、その付箋の表示における枠線の形状（実線、点線、破線、波線、二重線等）を記憶している。例えば、更新中であることを示す枠線形状がある。枠線色欄５６０は、その付箋の表示における枠線の色を記憶している。例えば、更新中であることを示す枠線色がある。枠線太さ欄５６５は、その付箋の表示における枠線の太さを記憶している。例えば、更新中であることを示す枠線太さがある。所属グループ欄５７０は、その付箋が所属しているグループに関する情報を記憶している。例えば、その付箋がグループに属しているか否かを示す情報を記憶していてもよいし、グループに属している場合は、グループＩＤやそのグループに属している他の付箋ＩＤ等を記憶していてもよい。選択回数欄５７５は、その付箋が選択された回数を記憶している。例えば、議題選択操作による選択回数としてもよい。接続付箋数欄５８０は、その付箋に対して接続された付箋の数を記憶している。その数の分だけ、次の接続付箋ＩＤ欄５８５と接続方向欄５９０が繰り返される。接続付箋ＩＤ欄５８５は、その付箋に対して接続された付箋の付箋ＩＤを記憶している。接続付箋ＩＤは、例えば、対象となっている付箋と関連している第２の付箋を抽出するのに用いられる。接続方向欄５９０は、その付箋と直前の接続付箋ＩＤ欄５８５の付箋との接続方向を記憶している。その付箋（又は、直前の接続付箋ＩＤ欄５８５の付箋）が、上流（接続元）、下流（接続先）のいずれかであることを示す情報であってもよいし、上流（又は、下流）にある付箋の付箋ＩＤであってもよい。また、無方向の接続である場合は、空白（ＮＵＬＬ）であってもよいし、接続方向欄５９０そのものがなくてもよい。接続方向は、例えば、更新対象となっている付箋と関連している第２の付箋との位置関係を示していることになり、その第２の付箋が移動した場合は、この位置関係を保持したまま移動することになる。内容種別欄５９５は、その付箋の内容種別（テキスト情報、手書き文字又は図形等を示すベクトルデータ、音声情報、写真等の静止画像情報、動画情報等、又はこれらの組み合わせを示す情報）を記憶している。内容欄５９７は、その付箋に書き込まれている内容を記憶している。なお、付箋が台紙又は動画画面に貼り付けられていない状態では、貼付位置欄５１５等は空白（ＮＵＬＬ）であってもよいし、予め定められた値（デフォルト値）としてもよい。

操作情報記憶モジュール１３５は、付箋作成・処理モジュール１２０、付箋情報記憶モジュール１３０と接続されている。操作情報記憶モジュール１３５は、動画像に貼り付けられた付箋の操作を記憶する。例えば、操作ログテーブル７００を記憶している。図６は、操作ログテーブル７００のデータ構造例を示す説明図である。操作ログテーブル７００は、ログＩＤ欄７０５、対象動画ＩＤ欄７１０、ユーザーＩＤ欄７１５、日時欄７２０、付箋ＩＤ欄７２５、操作内容欄７３０、動画内経過時間欄７３５を有している。ログＩＤ欄７０５は、本実施の形態において、ログ（履歴）を一意に識別するための情報（ログＩＤ）を記憶している。対象動画ＩＤ欄７１０は、本実施の形態において、対象動画を一意に識別するための情報（対象動画ＩＤ）を記憶している。ユーザーＩＤ欄７１５は、本実施の形態において、ユーザーを一意に識別するための情報（ユーザーＩＤ）を記憶している。日時欄７２０は、操作が行われた日時を記憶している。付箋ＩＤ欄７２５は、その操作の対象となった付箋の付箋ＩＤを記憶している。操作内容欄７３０は、その付箋に対する操作内容を記憶している。動画内経過時間欄７３５は、その付箋に対して操作が行われた動画内経過時間を記憶している。
なお、操作内容欄７３０には、操作の種類と操作の内容を記憶する。例えば、操作の種類として「移動」である場合は、操作の内容として、移動元の位置（付箋の中心のＸＹ座標）と移動先の位置（その付箋の中心のＸＹ座標）を記憶する。

図２は、本実施の形態の構成例についての概念的なモジュール構成図である。
表示情報構成モジュール１０５は、付箋貼付時抽出モジュール２１０、付箋第１表示モジュール２２０、表示切換モジュール２３０、付箋第２表示モジュール２４０、構成表示モジュール２５０を有している。
付箋貼付時抽出モジュール２１０は、付箋が貼り付けられた日時を抽出する。ここでの抽出する日時は、実際の日時、動画像の経過時間の両方である。具体的には、付箋情報テーブル５００の貼付日時欄５３５、操作ログテーブル７００の動画内経過時間欄７３５から抽出すればよい。
付箋第１表示モジュール２２０は、その動画像に貼り付けられた付箋を表示する。ここでの表示は、通常の大きさの付箋を表示することである。例えば、作成された際の付箋と同じ大きさである。なお「動画像に貼り付けられた付箋」とは、表示上では、動画像上に付箋を表示することに該当する。なお、付箋は半透明で（下の動画像が見えるように）表示してもよい。
また、付箋第１表示モジュール２２０は、ユーザーが動画像を見直した後（動画像の再生された部分の再生回数が複数回になった後）に貼られた付箋については、見直し回数を表示してもよい。また、その付箋のサイズを大きくしてもよい。

表示切換モジュール２３０は、予め定められた条件に合致した場合に、動画像上から貼り付けられた付箋を削除し、付箋第２表示モジュール２４０又は構成表示モジュール２５０による表示を行うように制御する。
ここで「予め定められた条件」（切り替え条件）として、以下の条件がある。
（１）貼り付けが行われた後から予め定められた時間が経過していること。
（２）貼り付けが行われた後であって、動画像内の予め定められた区切りに到達した場合。ここで「予め定められた区切り」とは、チャプターのことであり、例えば、章に対応する。
（３）貼り付けられている付箋数が予め定められた数よりも多い又は以上であること。
（４）上記の（１）から（３）のうち、２つ以上の条件の組み合わせ。ここでの組み合わせとして、論理的演算がある。例えば、論理積（ＡＮＤ）である場合は、複数の条件が全て合致している場合に、付箋を削除することとなる。また、論理和（ＯＲ）である場合は、複数の条件のうち、いずれかの条件に合致した場合は、付箋を削除することとなる。したがって、いずれかの条件のうち、最も早く合致したときに、その付箋が削除されることになる。

付箋第２表示モジュール２４０は、その削除された付箋を、その付箋が動画像に貼り付けられた日時を示す時間軸上で確認できるように表示する。「時間軸上で確認できるように付箋を表示」の具体例については、図１１等の例を用いて後述する。
構成表示モジュール２５０は、その削除された付箋間に関連付けがなされていた場合は、その関連付けられていることを示す画像を、時間軸上に表示するようにしてもよい。「関連付けられていることを示す画像」の具体例については、図１２（ｂ）の例を用いて後述する。

図３は、本実施の形態を利用したシステム構成例を示す説明図である。
動画・付箋処理装置１００、個人端末１５０Ａ、個人端末１５０Ｂ、個人端末１５０Ｃ、個人端末１５０Ｄ、個人端末１５０Ｅ、教師用端末３５０は、通信回線３９０を介してそれぞれ接続されている。通信回線３９０は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。また、動画・付箋処理装置１００による機能は、クラウドサービスとして実現してもよい。
各個人端末１５０は、各ユーザーの操作にしたがって、動画・付箋処理装置１００内の動画像を再生し、その動画像に対して付箋を貼り付ける。他の人が添付した付箋を表示してもよい。ここで、他の人として、同じグループ内のユーザーとしてもよい。
一般のユーザー（例えば、生徒等）とは異なるユーザー（例えば、教師等）が用いる教師用端末３５０があってもよい。教師用端末３５０は、個人端末１５０と同等の機能を有するが、例えば、さらに、後述する図１３、図１４の例に示すような画像を表示するようにしてもよい。

図７は、本実施の形態による処理例を示すフローチャートである。
ステップＳ８０２では、動画・付箋処理装置１００の表示情報構成モジュール１０５は、動画コンテンツの視聴処理を開始する。
ステップＳ８０４では、個人端末１５０の動画・付箋操作モジュール１６０は、付箋挿入操作であるか否かを判断し、付箋挿入操作である場合はステップＳ８０６へ進み、それ以外の場合はステップＳ８１２へ進む。例えば、後述するように付箋挿入ボタン１１２０が押下されたことを検知すればよい。
ステップＳ８０６では、個人端末１５０の動画・付箋操作モジュール１６０は、ユーザーの操作にしたがって、付箋を作成する。
ステップＳ８０８では、動画・付箋処理装置１００の表示情報構成モジュール１０５（付箋第１表示モジュール２２０）は、付箋を表示する。
ステップＳ８１０では、動画・付箋処理装置１００の付箋作成・処理モジュール１２０は、操作履歴を記録する。
ステップＳ８１２では、動画・付箋処理装置１００の表示情報構成モジュール１０５は、動画が終了したか否かを判断し、終了した場合は処理を終了し（ステップＳ８９９）、それ以外の場合はステップＳ８０４へ戻る。

図８は、本実施の形態による処理例を示すフローチャートである。
ステップＳ９０２では、付箋貼付時抽出モジュール２１０は、表示切換の条件を満たしたか否かを判断し、満たした場合はステップＳ９０４へ進み、それ以外の場合は満たすまで待機する。
ステップＳ９０４では、付箋第２表示モジュール２４０は、貼り付けられた付箋を縮小する。
ステップＳ９０６では、付箋第２表示モジュール２４０は、タイムライン上の各貼り付け時に相当する位置に縮小付箋を表示する。
ステップＳ９０８では、付箋貼付時抽出モジュール２１０は、貼り付けられた付箋を削除する。

図９は、本実施の形態による処理例を示すフローチャートである。図８の例に示すフローチャートにステップＳ１００６からステップＳ１０１０までの処理を付加したものである。
ステップＳ１００２では、付箋貼付時抽出モジュール２１０は、表示切換の条件を満たしたか否かを判断し、満たした場合はステップＳ１００４へ進み、それ以外の場合は満たすまで待機する。
ステップＳ１００４では、付箋第２表示モジュール２４０は、貼り付けられた付箋を縮小する。
ステップＳ１００６では、表示切換モジュール２３０は、付箋間に構造化関係があるか否かを判断し、ある場合はステップＳ１００８へ進み、それ以外の場合はステップＳ１０１２へ進む。
ステップＳ１００８では、構成表示モジュール２５０は、構造化関係を示す画像を作成する。
ステップＳ１０１０では、構成表示モジュール２５０は、タイムライン上の該当章に相当する位置にその画像を表示する。
ステップＳ１０１２では、付箋第２表示モジュール２４０は、タイムライン上の各貼り付け時に相当する位置に縮小付箋を表示する。
ステップＳ１０１４では、付箋貼付時抽出モジュール２１０は、貼り付けられた付箋を削除する。

図１０は、本実施の形態による処理例を示す説明図である。
図１０（ａ）の例は、図７の例に示したフローチャートによる処理例を示している。ここでは、個人端末１５０の画面１１１０に動画像を再生し、ユーザーの操作によって付箋挿入ボタン１１２０が押下された後に、付箋１１３２等が作成され、その付箋１１３２等を表示していることを示している。
図１０（ｂ）の例は、図９の例に示したフローチャートによる処理例を示している。ここでは、動画像の再生が１章から２章にかわったことを条件として、タイムライン領域１１３０を表示している。タイムライン領域１１３０内には、時間軸１１３５を表示し、付箋が貼り付けられた日時を示す位置に、縮小付箋１１４０、縮小付箋１１４２、構造化付箋表示画像１１４６、縮小付箋１１４８、縮小付箋１１５０を表示している。縮小付箋１１４０等は、付箋１１３２等を内容を含めて縮小したものであってもよいし、付箋であることを表す単なる矩形（元の付箋１１３２等よりも小さく、中身はない矩形）であってもよいし、付箋１１３２等の色、枠線の種類等を反映した矩形であってもよい。また、付箋内からキーワード（名詞、動詞等）を抽出して、そのキーワードを縮小した付箋内に表示するようにしてもよい。キーワードの抽出は、自然言語処理における形態素解析等を用いて、単語等に分解し、予めキーワードを記憶する辞書を用いて抽出すればよい。構造化付箋表示画像１１４６は、付箋を貼り付けた際に、付箋間が構造化された場合に表示するものである。

図１１は、本実施の形態による処理例を示す説明図である。
図１１（ａ）の例は、既に、他の人によって付箋が貼り付けられた動画像を再生している場合を示している。そして、縮小付箋１２２４が貼り付けられた経過時間になった場合は、その縮小付箋１２２４の元の付箋１１３４を表示する。この付箋１１３４の位置は、貼り付けられた位置を再現する。再現には、操作ログテーブル７００を用いればよい。このように、動画像の再生が進むにつれ、既に貼り付けられた付箋を、その貼り付けられた経過時間に表示する。なお、図１１（ａ）の例に示すように、動画像上に表示されている付箋１１３４とタイムライン領域１１３０内の縮小付箋１２２４の関係を示す矢印等を表示するようにしてもよい。

図１１（ｂ）の例は、図１１（ａ）の例に示す状態から時間が経過して（表示切替の条件を満たしたので）、付箋１１３２を縮小して、タイムライン領域１１３０内に表示したことを示している。なお、動画像上の付箋１１３２、付箋１１３４は消去している。
付箋１１３２の貼り付け時は付箋１１３４の貼り付け時と同じ頃であるので、縮小付箋１２２４（付箋１１３４の縮小付箋）と時間軸１１３５上でほぼ同じ位置に、縮小付箋１２２８（付箋１１３２の縮小付箋）を表示している。

図１２は、本実施の形態による処理例を示す説明図である。
図１２（ａ）の例は、付箋１３５０と付箋１３５２との間で関連付けの操作を行ったことを示している。具体的には、ユーザーの操作によって、付箋１３５２から付箋１３５０への接続線１３５４が指定されたことを示している。例えば、付箋１３５０を親として、付箋１３５２を子とした木構造とすることを示している。なお、構造化は、木構造に限られず、ネットワーク（網）構造等であってもよい。

図１２（ｂ）の例は、図１２（ａ）の例に示す状態から時間が経過して（表示切替の条件を満たしたので）、タイムライン領域１１３０内に、関連付けられていることを示す構造化付箋表示画像１３４６を表示したことを示している。なお、動画像上の付箋１３５０、付箋１３５２は消去している。
ここで、構造化付箋表示画像１３４６の全体の枠は台形状にしている。つまり、縮小付箋１３２４、縮小付箋１３２８が貼り付けられた構造化付箋表示画像１３４６を時間軸１１３５上に立てかけたように見せるものである。つまり、時間軸１１３５に対して、時間軸１１３５がある平面（画面）に対して斜め方向に構造化付箋表示画像１３４６があるかのように見せるものである。このような表示にすることによって、画面を覆い隠すことなく、関連付けの構造を示せるようになる。なお、縮小付箋１３２４、縮小付箋１３２８に対しても、構造化付箋表示画像１３４６と同様の図形になるように、アフィン変換によって図形を変形してもよい。また、構造化付箋表示画像１３４６内には、付箋１３５０と付箋１３５２との間の構造を示す表示を行う。具体的には、付箋間の接続線を表示する。さらに、親子関係を示す場合には、親となる付箋を上にし、子となる付箋を下になるように、構造化付箋表示画像１３４６内で付箋の位置を変更してもよい。
なお、接続線による付箋間の関連付けは、タイムライン領域１１３０内の縮小付箋に対しても行うことができるようにしてもよい。その場合、関連付けを行った付箋のうち、切り替え条件を満たした後に貼り付けられた付箋が発生することになる。しかし、関連付けされた付箋群は、１つの構造化付箋表示画像１３４６に表示した方が、理解しやすくなる。そこで、関連付けされた付箋群の中で最も早く貼り付けられた日時の位置の時間軸上に、構造化付箋表示画像１３４６を表示する。

図１３は、本実施の形態による処理例を示す説明図である。
教師用端末３５０（又は個人端末１５０）は、図１３の例に示す画面１４００を表示する。画面１４００には、表示情報構成モジュール１０５が作成したスイムレーンチャートを表示している。スイムレーンチャートとは、個人端末１５０のユーザー毎に、付箋を時間軸上の貼り付けられた日時の位置に表示したものである。なお、時間軸は、経過時間の代わりに動画像のチャプターで表示してもよい。そして、チャプター毎に枠（例えば、１章領域１４５０の枠線等）を描画してもよい。
図１３の例では、３人のＡ君用領域１４１０、Ｂ君用領域１４２０、Ｃ子用領域１４３０を並べて表示している。そして、「１章」（チャプター）の１章領域１４５０では、付箋（疑問）１４１２、付箋（疑問）１４２２、付箋（疑問）１４３２が貼り付けられたことを示している。また、「２章」（チャプター）の２章領域１４５２では、付箋（疑問）１４１４が貼り付けられ、付箋（疑問）１４２４は、「２章」と「３章」の間の時間に貼り付けられたことを示している。教師用端末３５０のユーザー（教師）は、章毎、生徒毎の付箋の貼り付けを確認することができるようになる。

図１４は、本実施の形態による処理例を示す説明図である。
教師用端末３５０（又は個人端末１５０）は、図１４の例に示す画面１５００を表示する。画面１５００には、表示情報構成モジュール１０５が作成したスイムレーンチャートを表示している。ここでのスイムレーンチャートでは、関連付けが行われた付箋を主に表示している。例えば、付箋（疑問）１５２２を親として、付箋（アドバイス）１５１２、付箋（ヒント）１５３２が貼り付けられたこと等がわかるようになり、生徒の予習の質、生徒間の関係等を判断できるようになる。

図１５は、本実施の形態による処理例を示す説明図である。
教師用端末３５０（又は個人端末１５０）は、図１５の例に示す画面１６００を表示する。画面１６００の内容は、表示情報構成モジュール１０５が作成したものであり、付箋を２次元の台紙上に貼り付け、付箋を用いた議論を行えるようにしたものである。
例えば、事象Ａの分析として、付箋（ポイント）１６１２、付箋（考察）１６１４、付箋（気づき）１６１６、付箋（ポイント）１６１８、付箋（推敲）１６２０のグループを作成し、事象Ｂの分析として、付箋（ポイント）１６３２、付箋（気づき）１６３４、付箋（考察）１６３６のグループを作成したことを示している。例えば、生徒のグループによる授業（議論）に用いることができる。

なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図１６に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。つまり、具体例として、処理部（演算部）としてＣＰＵ１７０１を用い、記憶装置としてＲＡＭ１７０２、ＲＯＭ１７０３、ＨＤ１７０４を用いている。ＨＤ１７０４として、例えばハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を用いてもよい。表示情報構成モジュール１０５、付箋管理モジュール１１０、動画処理モジュール１１５、付箋作成・処理モジュール１２０、表示モジュール１５５、動画・付箋操作モジュール１６０等のプログラムを実行するＣＰＵ１７０１と、そのプログラムやデータを記憶するＲＡＭ１７０２と、本コンピュータを起動するためのプログラム等が格納されているＲＯＭ１７０３と、動画情報記憶モジュール１２５、付箋情報記憶モジュール１３０、操作情報記憶モジュール１３５等の機能を有する補助記憶装置（フラッシュ・メモリ等であってもよい）であるＨＤ１７０４と、キーボード、マウス、タッチスクリーン、マイク等に対する利用者の操作に基づいてデータを受け付ける受付装置１７０６と、ＣＲＴ、液晶ディスプレイ、スピーカー等の出力装置１７０５と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース１７０７、そして、それらをつないでデータのやりとりをするためのバス１７０８により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。

前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図１６に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１６に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図１６に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器（携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む）、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分又は全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。

１００…動画・付箋処理装置
１０５…表示情報構成モジュール
１１０…付箋管理モジュール
１１５…動画処理モジュール
１２０…付箋作成・処理モジュール
１２５…動画情報記憶モジュール
１３０…付箋情報記憶モジュール
１３５…操作情報記憶モジュール
１５０…個人端末
１５５…表示モジュール
１６０…動画・付箋操作モジュール
２１０…付箋貼付時抽出モジュール
２２０…付箋第１表示モジュール
２３０…表示切換モジュール
２４０…付箋第２表示モジュール
２５０…構成表示モジュール
３５０…教師用端末
３９０…通信回線

Claims (6)

1. 動画像を再生し、該動画像上に付箋を貼り付ける貼付手段と、
   予め定められた条件に合致した場合に、前記動画像上から貼り付けられた付箋を削除する削除手段と、
   前記動画像の再生の経過時間を示す時間軸を表示し、前記削除手段によって削除された付箋が該動画像に貼り付けられた日時に該当する該時間軸上の位置に、該付箋の存在を確認できるように表示する表示手段
   を具備することを特徴とする情報処理装置。
2. 前記予め定められた条件として、貼り付けが行われた後から予め定められた時間が経過していることとする、
   請求項１に記載の情報処理装置。
3. 前記予め定められた条件として、貼り付けが行われた後であって、前記動画像内の予め定められた区切りに到達した場合とする、
   請求項１又は２に記載の情報処理装置。
4. 前記予め定められた条件として、貼り付けられている付箋数が予め定められた数よりも多い又は以上であることとする、
   請求項１から３のいずれか一項に記載の情報処理装置。
5. 前記貼付手段は、付箋間を関連付ける処理を行い、
   前記表示手段は、削除された付箋間に関連付けがなされていた場合は、該関連付けられていることを示す画像を、前記時間軸上に表示する、
   請求項１に記載の情報処理装置。
6. コンピュータを、
   動画像を再生し、該動画像上に付箋を貼り付ける貼付手段と、
   予め定められた条件に合致した場合に、前記動画像上から貼り付けられた付箋を削除する削除手段と、
   前記動画像の再生の経過時間を示す時間軸を表示し、前記削除手段によって削除された付箋が該動画像に貼り付けられた日時に該当する該時間軸上の位置に、該付箋の存在を確認できるように表示する表示手段
   として機能させるための情報処理プログラム。

Images