JP6524831B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、情報処理装置及びプログラムに関する。

特許文献１には、動画のシーンチェンジに基づいて静止画または動画クリップをサムネイルとして抽出し、同時に各サムネイルに対応する動画の名称とシリアル番号、サムネイルの番号等を記録し、所望のサムネイルの上でダブルクリックをする事により、原動画像の特定シーンを表示させる技術が記載されている。

特開２００４−３６３９６８号公報

工場や建設現場における点検業務では、現場の状況を撮影し、動画を現場のデータとして報告書とともに添付することが多い。上記のように、動画が文書とともに添付される場合においては、文書の一部分である部分箇所と該部分箇所に関連する動画をともに表示する必要がある。本発明は、動画が添付された文書を表示する装置において、文書に添付された動画が視聴される際の利便性を向上させることを目的とする。

請求項１に係る情報処理装置は、動画が添付された文書を表示する第１表示手段と、前記文書が表示されている際に、前記動画を再生する再生手段と、前記文書内の第１領域と、前記動画内の時間軸上の再生箇所とを関連付けて記憶する記憶手段と、前記第１領域が選択されると、前記記憶手段において当該第１領域と関連付けて記憶された再生箇所から前記動画が再生されるように前記再生手段を制御する第１制御手段と、前記動画が前記文書に添付されていることを示すオブジェクトを前記文書上に表示する第２表示手段と、前記記憶手段において一つの動画内の複数の再生箇所が前記第１領域と前記文書内の当該第１領域とは異なる第２領域と関連付けて記憶されている場合、少なくとも前記記憶手段に記憶された再生箇所の数に前記オブジェクトが区分されるように前記第２表示手段を制御する第２制御手段と、を有する。

請求項２に係る情報処理装置は、請求項１に記載の構成において、前記第２制御手段は、前記記憶手段において一つの動画内の複数の再生箇所が前記第１領域と前記第２領域と関連付けて記憶されている場合、当該複数の再生箇所から特定される位置で前記オブジェクトが区分されるように前記第２表示手段を制御することを特徴とする。

請求項３に係る情報処理装置は、請求項１又は２に記載の構成において、前記第１制御手段は、前記動画が再生される際に、前記第１領域に含まれる情報が前記動画上に表示されるように前記再生手段を制御することを特徴とする。

請求項４に係る情報処理装置は、請求項１乃至３のいずれか１項に記載の構成において、前記動画の編集を受け付ける第１受付手段を有し、前記記憶手段は、前記文書内の第３領域と、前記動画内の時間軸上の前記編集がされた編集箇所とを関連付けて記憶し、前記第１制御手段は、前記第３領域が選択されると、前記記憶手段において当該第３領域と関連付けて記憶された編集箇所から前記動画が再生されるように前記再生手段を制御することを特徴とする。

請求項５に係る情報処理装置は、請求項４に記載の構成において、前記記憶手段は、前記編集の内容を、当該編集を行った利用者と関連付けて記憶し、前記記憶手段において前記編集の内容と関連付けて記憶された利用者の中から一又は複数の利用者の指定を受付ける第２受付手段と、前記再生手段により再生される動画上に前記編集の内容を表示する第３表示手段と、前記第２受付手段が前記利用者の指定を受付けると、前記記憶手段において当該利用者と関連付けて記憶された編集の内容のみが動画上に表示されるように前記第３表示手段を制御する第３制御手段と、を有することを特徴とする。

請求項６に係るプログラムは、コンピュータに、動画が添付された文書を表示するステップと、前記文書が表示されている際に、前記動画を再生するステップと、前記文書内の第１領域と、前記動画内の時間軸上の再生箇所とを関連付けて記憶するステップと、前記第１領域が選択されると、当該第１領域と関連付けて記憶された再生箇所から前記動画を再生するステップと、前記動画が前記文書に添付されていることを示すオブジェクトを前記文書上に表示するステップと、一つの動画内の複数の再生箇所が前記第１領域と前記文書内の当該第１領域とは異なる第２領域と関連付けて記憶されている場合、少なくとも記憶された再生箇所の数に前記オブジェクトが区分されるように制御するステップと、を実行させる。

請求項１に係る発明によれば、動画が添付された文書を表示する装置において、文書内の選択された領域に関連付けられた再生箇所から動画が再生されない場合に比べて、動画が視聴される際の利便性が向上する。
また、請求項１に係る発明によれば、オブジェクトが区分されない場合に比べて、文書内のいくつの領域が動画内の再生箇所と関連付けられているのかを利用者が直感的に把握することができる。
請求項２に係る発明によれば、文書内の異なる領域と関連付けられた動画内の複数の再生箇所と無関係の位置でオブジェクトが区分される場合に比べて、文書内の領域と関連する再生箇所の位置を利用者が直感的に把握することができる。
請求項３に係る発明によれば、選択された領域に含まれる情報が動画上に表示されない場合に比べて、当該情報の視認性が向上する。
請求項４に係る発明によれば、文書内の選択された領域に関連付けられた編集箇所から動画が再生されない場合に比べて、編集された動画が視聴される際の利便性が向上する。
請求項５に係る発明によれば、指定された利用者が行った編集の内容のみを動画上に表示させることができる。
請求項６に係る発明によれば、動画が添付された文書を表示するコンピュータにおいて、文書内の選択された領域に関連付けられた再生箇所から動画が再生されない場合に比べて、動画が視聴される際の利便性が向上する。
また、請求項６に係る発明によれば、オブジェクトが区分されない場合に比べて、文書内のいくつの領域が動画内の再生箇所と関連付けられているのかを利用者が直感的に把握することができる。

タブレット端末の機能構成を示す図 タブレット端末のハードウェア構成を示すブロック図 文書に動画が添付される際の動作を示すフローチャート 文書データが読み込まれた際に表示される画面を例示する図 マーキングが行われた文書を例示する図 付箋オブジェクトが表示された文書を例示する図 動画の撮影中に表示される画面を例示する図 管理テーブルＴＢ１を例示する図 付箋オブジェクトの色分けを説明する図 動画が添付された後に表示される画面を例示する図 動画が再生される際の動作を示すフローチャート 動画が再生される際の画面の遷移を例示する図 動画が再生される際の画面の遷移を例示する別の図 動画の再生が停止された後に表示される画面を例示する図 動画が編集される際の動作を示すフローチャート 動画が再生されているときの画面を例示する図 動画が編集される様子を例示する図 マーキングが行われた文書を例示する図 管理テーブルＴＢ１を例示する図 動画が編集された後に表示される画面を例示する図 動画が再生される際の動作を示すフローチャート 動画が再生される際の画面の遷移を例示する図 編集データとユーザ名とを関連付けるための操作を例示する図 指定したユーザと関連する編集内容のみを表示させるための操作を例示する図 マーキング箇所と動画内の再生箇所との関連付けが変更される様子を例示する図

図１は、本発明の一実施形態に係るタブレット端末１（情報処理装置の一例）の機能構成を示す図である。タブレット端末１は、電子文書を表示部に表示し、ユーザに当該電子文書を閲覧及び編集させるための装置である。タブレット端末１が表示する電子文書には、電子文書の内容に関連する動画が添付される。タブレット端末１は、文書表示手段１０１（第１表示手段一例）と、再生手段１０２と、記憶手段１０３と、選択受付手段１０４と、特定手段１０５と、再生制御手段１０６（第１制御手段の一例）と、オブジェクト表示手段１０７（第２表示手段の一例）と、オブジェクト制御手段１０８（第２制御手段の一例）と、動画編集受付手段１０９（第１受付手段の一例）と、文書編集受付手段１１０（第２受付手段の一例）と、編集内容表示手段１１１（第３表示手段の一例）と、表示制御手段１１２（第３制御手段の一例）とを有する。

文書表示手段１０１は、電子文書（以下単に「文書」という）を表示する。再生手段１０２は、文書表示手段１０１により文書が表示されている際に、当該文書に添付された動画を再生する。記憶手段１０３は、文書内の第１領域と、文書に添付された動画内の時間軸上の再生箇所とを関連付けて記憶する。選択受付手段１０４は、文書表示手段１０１により表示された文書内の領域の選択を受け付ける。特定手段１０５は、選択受付手段１０４により文書内の第１領域の選択が受け付けられると、記憶手段１０３において当該第１領域と関連付けて記憶された再生箇所を特定する。再生制御手段１０６は、特定手段１０５により特定された再生箇所から動画が再生されるように再生手段１０２を制御する。

オブジェクト表示手段１０７は、文書表示手段１０１により表示された文書上に付箋オブジェクトを表示する。付箋オブジェクトは、文書内の指定されたページの指定された位置に付加されるオブジェクトである。本実施形態において付箋オブジェクトは、動画が文書に添付されていることを示す。付箋オブジェクトは、付箋を模した画像として文書上に貼り付けられる（すなわち文書上に表示される）。オブジェクト制御手段１０８は、記憶手段１０３において一つの動画内の複数の再生箇所が第１領域と文書内の第１領域とは異なる第２領域と関連付けて記憶されている場合、少なくとも記憶手段１０３により当該一つの動画について記憶された再生箇所の数に付箋オブジェクトが区分されるようにオブジェクト表示手段１０７を制御する。

動画編集受付手段１０９は、文書に添付された動画の編集を受け付ける。文書編集受付手段１１０は、文書表示手段１０１により表示された文書の編集を受け付ける。

編集内容表示手段１１１は、再生手段１０２により再生される動画上に、動画編集受付手段１０９により受け付けられた編集の内容（以下「編集内容」という）を表示する。表示制御手段１１２は、編集内容表示手段１１１を制御する。

図２は、タブレット端末１のハードウェア構成を示すブロック図である。タブレット端末１は、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、記憶部１４と、ＩＦ（インターフェース）部１５と、タッチパネル１６と、撮像部１７と、測位部１８とを有するコンピュータである。ＣＰＵ１１は、プログラムを実行することによりタブレット端末１の各部を制御する制御装置である。ＣＰＵ１１は、ＲＯＭ１２及び記憶部１４に記憶されているプログラム及びデータを読み出し、ＲＡＭ１３を作業エリアにしてプログラムを実行する。ＲＯＭ１２は、各種のプログラム及びデータを記憶した不揮発性の記憶装置である。ＲＡＭ１３は、データを記憶する揮発性の主記憶装置である。

記憶部１４は、各種のプログラム及びデータを記憶する不揮発性の補助記憶装置である。本実施形態において、記憶部１４は、管理テーブルＴＢ１を記憶する。管理テーブルＴＢ１は、文書内の領域と動画内の時間軸上の再生箇所（以下単に「動画内の再生箇所」又は「再生箇所」と表現する）とを関連付けて記憶するテーブルである。管理テーブルＴＢ１は、文書内の選択された領域に関連する再生箇所を特定するために参照される。管理テーブルＴＢ１の具体例については後述する。

ＩＦ部１５は、データを送受信する手段であり、インターネットなどの通信回線を介して外部装置と通信を行う。タッチパネル１６は、液晶ディスプレイなどの表示面上に座標を感知するパネルが重ねて設けられた入力装置である。タッチパネル１６には、例えば、光学式、抵抗膜方式、静電容量式、又は超音波式のタッチパネルが用いられる。

撮像部１７は、被写体を撮像し、画像データを生成するデジタルカメラであり、レンズ、ＣＣＤ（Charge Coupled Device）イメージセンサー、及び信号処理回路を有する。測位部１８は、タブレット端末１の位置を測定する手段である。測位部１８は、例えばＧＰＳ（Global Positioning System）によりタブレット端末１の位置を測定する。なお、測位部１８は、ＧＰＳ測位以外の方法（例えば、基地局測位等）によりタブレット端末１の位置を測定してもよい。

図２において、文書の閲覧及び編集用のプログラム（以下「文書編集プログラム」という）を実行しているＣＰＵ１１により制御されたタッチパネル１６は、文書表示手段１０１、再生手段１０２、選択受付手段１０４、オブジェクト表示手段１０７、動画編集受付手段１０９、文書編集受付手段１１０、及び編集内容表示手段１１１の一例である。文書編集プログラムを実行しているＣＰＵ１１により制御された記憶部１４は、記憶手段１０３の一例である。文書編集プログラムを実行しているＣＰＵ１１は、特定手段１０５、再生制御手段１０６、オブジェクト制御手段１０８、及び表示制御手段１１２の一例である。

以下では、本発明に係るタブレット端末１の具体的な動作を説明する。なお、以下で説明する複数の実施形態がタブレット端末１において併用されてもよい。

（第１実施形態）
図３は、文書に動画が添付される際のタブレット端末１の動作を示すフローチャートである。以下の処理は、文書編集プログラムが起動され、記憶部１４に予め記憶された文書データが読み込まれた状態で開始される。文書データが読み込まれると、タッチパネル１６には文書が表示される。ステップＳＡ１において、ＣＰＵ１１は、付箋オブジェクトを文書に貼り付けるための指示（以下「付箋貼付指示」という）の入力を受け付ける。付箋貼付指示は、ユーザがタッチパネル１６に表示されている文書に動画を添付する目的で入力される。ユーザは、タッチパネル１６を操作して付箋貼付指示を入力する。

図４は、文書データが読み込まれた際に表示される画面を例示する図である。図４は、タブレット端末１が、タッチパネル１６上の表示領域（ウインドウＷ１）に複数枚に亘る文書Ｄ１が重ねて表示される例を示している。文書Ｄ１には、テキスト領域Ｔｘが含まれている。テキスト領域Ｔｘは、文字列又は図形などの文書の内容が表示される領域である。ウインドウＷ１には、文書の閲覧及び編集に関する各種操作を行うためのアイコン又はボタンが複数並んだツールバーＢ１が表示される。上述したステップＳＡ１において、ユーザは、例えば、ツールバーＢ１内のアイコンをタップ（指で軽く叩く）して付箋貼付指示を入力する。

再び図３を参照する。ステップＳＡ２において、ＣＰＵ１１は、テキスト領域Ｔｘ内の文字列に対して目印を付ける動作（以下「マーキング」という）を受け付ける。図３に示す処理で、マーキングは、文書内のある文字列と、文書に添付される動画内の再生箇所とを関連付ける目的で行われる。マーキングは、文書の編集の一例である。ステップＳＡ１で付箋貼付指示が入力されると、タッチパネル１６には、例えば、マーキングに用いる色を選択するためのアイコン（図示省略）が表示される。ユーザは、このアイコンをタップして選択した色で、文書内の文字列に対してマーキングを行う。マーキングは、例えば、ユーザが、タッチパネル１６に触れた指をテキスト領域Ｔｘ内の文字列に沿って移動させることにより行われる。なお、ステップＳＡ２においてマーキングが行われる箇所は、一箇所に限らない。文書内の複数の箇所に対してマーキングが行われてもよい。この場合、ユーザは、一つのページ内では、互いに異なる色を選択して複数の箇所に対してマーキングを行う。以下では、ステップＳＡ２においてマーキングが行われた箇所を「マーキング箇所」と表現する。マーキング箇所は、文書内の編集が受け付けられた領域の一例である。ステップＳＡ２においてマーキングが行われると、ＣＰＵ１１は、マーキング箇所についての情報（以下「マーカ情報」という）をＲＡＭ１３に記憶する。マーカ情報は、例えば、マーキングの色、マーキング箇所の座標、及びマーキング箇所の文字列などを示す。

図５は、マーキングが行われた文書を例示する図である。図５において、ユーザは、まず文書Ｄ１内の文字列「××の点検作業について」に対して、ある色Ｙを用いてマーキングを行っている。ユーザは、次に文書Ｄ１内の文字列「点検箇所○○は、・・・。」に対して、色Ｙとは異なる色Ｒを用いてマーキングを行っている。

再び図３を参照する。ステップＳＡ３において、ＣＰＵ１１は、マーキングが終了したか否かを判断する。ＣＰＵ１１は、例えば、付箋オブジェクトを文書に貼り付ける動作が行われたことを契機にマーキングが終了したと判断する。付箋オブジェクトを文書に貼り付ける動作は、例えば、ユーザが、ツールバーＢ１内から付箋オブジェクト（又は付箋オブジェクトを模した図形）をドラッグ（付箋オブジェクトに触れた指を移動させること）し、文書内のいずれかの位置でドロップする（ドラッグしている指を離す）ことにより行われる。マーキングが終了したと判断された場合（ＳＡ３：ＹＥＳ）、ＣＰＵ１１は、付箋オブジェクトがドロップされた位置（具体的には、付箋オブジェクトがドロップされたページの番号と座標）をＲＡＭ１３に記憶し、処理をステップＳＡ４に移行する。マーキングが終了していないと判断された場合（ＳＡ３：ＮＯ）、ＣＰＵ１１は処理を待機する。

ステップＳＡ４において、ＣＰＵ１１は、付箋オブジェクトを文書上に表示する。具体的には、ＣＰＵ１１は、ステップＳＡ３において付箋オブジェクトがドロップされた位置から付箋オブジェクトの各頂点の座標を算出し、当該座標により特定される位置に付箋オブジェクトを表示する。付箋オブジェクトの各頂点の座標は記憶部１４に記憶され、ページごとに管理される。ＣＰＵ１１は、また、ＲＡＭ１３に記憶されたマーカ情報から特定される色（すなわちステップＳＡ２で行われたマーキングの色）で付箋オブジェクトを表示する。ステップＳＡ２におけるマーキングが複数の箇所に対して行われている場合（すなわち複数のマーキング箇所についてのマーカ情報がＲＡＭ１３に記憶されている場合）には、ＣＰＵ１１は、マーキング箇所の数に付箋オブジェクトを区分する。ＣＰＵ１１は、付箋オブジェクト内の区画にマーキングに用いられた色を割り当てる。マーキング箇所が一箇所である場合には、ＣＰＵ１１は、当該マーキング箇所の色で付箋オブジェクトを表示する。

図６は、付箋オブジェクトが表示された文書を例示する図である。図６（ａ）は、図５に示した文書Ｄ１に対して付箋オブジェクトＴａｇ１が貼り付けられた状態を示している。上述の通り文書Ｄ１には色Ｙを用いたマーキングと色Ｒを用いたマーキングが行われており、付箋オブジェクトＴａｇ１は区画Ｃ１１と区画Ｃ１２に均等に区分され、区画Ｃ１１に色Ｙが、区画Ｃ１２に色Ｒが割り当てられている。付箋オブジェクト内の区画への色の割り当ては、マーキングが行われた順序が早い色ほど、付箋オブジェクト内の上側にくるように行われる。付箋オブジェクトには、文書に添付された動画のサムネイル（動画の１フレーム分の画像を縮小した画像）を表示するための領域Ｓが含まれる。ステップＳＡ４において付箋オブジェクトが表示された時点では、未だ文書に添付される動画は撮影されていないため、図６（ａ）に示す付箋オブジェクトＴａｇ１の領域Ｓにはサムネイルは表示されていない。あるページに貼り付けられた付箋オブジェクトは、図６（ｂ）に示す通り、他のページが表示されているときにも、その一部がページの端部からはみ出して表示される。

再び図３を参照する。ステップＳＡ５において、ＣＰＵ１１は、文書に添付される動画の撮影を開始する。動画の撮影は、例えば、付箋オブジェクトの領域Ｓがダブルタップ（２回連続してタップする）されたことを契機に開始される。ユーザは、撮像部１７のレンズを被写体に向けた状態で、領域Ｓをダブルタップする。動画の撮影が開始されると、タッチパネル１６は、被写体を撮影するときの電子ファインダーとして機能する。ステップＳＡ５において撮影された動画は、記憶部１４に記憶される。

図７は、動画の撮影中に表示される画面を例示する図である。動画の撮影が開始されるとウインドウＷ１には領域Ｆｄが現れる。領域Ｆｄは、タッチパネル１６の表示領域のうち電子ファインダーとして機能する領域である。ユーザは、動画の撮影中に、マーキング箇所と動画内の再生箇所（撮影された動画が再生されるときの動画内の再生箇所）との関連付けをするための操作を行う。具体的には、ユーザは、ステップＳＡ２でのマーキング箇所がＮ（Ｎは２以上の自然数）箇所ある場合、動画の撮影中に領域Ｆｄを（Ｎ−１）回タップすることにより、マーキング箇所と動画内の再生箇所との関連付けを行う。例えば、図５に示した文書ではマーキング箇所が２箇所であるため、ユーザは、動画の撮影中に領域Ｆｄを１回タップする。この操作において、領域Ｆｄに対するＭ（Ｍは１以上の自然数）回目のタップは、（Ｍ＋１）箇所目のマーキング箇所と動画内の再生箇所との関連付けのための動作である。ＣＰＵ１１は、領域Ｆｄがタップされたときの時間（タイミング）をＲＡＭ１３に記憶する。なお、マーキング箇所が一箇所である場合には、領域Ｆｄのタップは行われない。また、あるマーキング箇所と動画内の再生箇所との関連付けをするためのタップがされなかった場合（具体的には、領域Ｆｄがタップされない場合、又はタップの回数が本来必要なタップの回数よりも少ない場合）には、後述する管理テーブルＴＢ１において、当該マーキング箇所と動画内の再生箇所との関連付けは行われない。

再び図３を参照する。ステップＳＡ６において、ＣＰＵ１１は、動画の撮影を終了する。動画の撮影は、例えば、領域Ｆｄがダブルタップされたことを契機に終了する。ステップＳＡ７において、ＣＰＵ１１は、新たに貼り付けられた付箋オブジェクトについての管理テーブルＴＢ１を生成する。具体的には、ＣＰＵ１１は、マーカ情報と領域Ｆｄがタップされたときの時間とをＲＡＭ１３から読み出し、これらの情報を用いて管理テーブルＴＢ１を生成する。ＣＰＵ１１は、生成された管理テーブルを記憶部１４に記憶する。ＣＰＵ１１は、生成された管理テーブルＴＢ１を付箋オブジェクトごと（より具体的には、ステップＳＡ３で付箋オブジェクトがドロップされた位置ごと）に管理する。管理テーブルＴＢ１は、例えば、文書データの一部として記憶部１４に記憶される。

図８は、ステップＳＡ７で生成される管理テーブルＴＢ１を例示する図である。図８は、付箋オブジェクトＴａｇ１についての管理テーブルＴＢ１を示す。第１実施形態における管理テーブルＴＢ１は、「マーカ情報」と「動画情報」の２列のフィールドにより構成されるレコード（行）の集合体である。「マーカ情報」は、マーキング箇所についての情報を示すフィールドであり、「マーカＩＤ」、「マーキング位置」、「文字列」の３列のフィールドにより構成される。「マーカＩＤ」のフィールドには、マーキングの色を示す数値が記憶される。この例で、マーカＩＤに記憶された数値は、マーキングの色と一対一で対応している。「マーキング位置」のフィールドには、マーキング箇所の座標を示す値が記憶される。「文字列」のフィールドには、マーキング箇所の文字列を示す値（データ）が記憶される。図８の管理テーブルＴＢ１において、「マーカ情報」のフィールドは、座標（５，３）から始まる文字列「××の点検作業について」に対して、マーカＩＤ「１」から特定される色（この例では色Ｙ）のマーキングが行われていることを示す。また、「マーカ情報」のフィールドは、座標（１０，１）から始まる文字列「点検箇所○○は、・・・。」に対して、マーカＩＤ「２」から特定される色（この例では色Ｒ）のマーキングが行われていることを示す。上述の通り、本実施形態では、ある付箋オブジェクトの貼り付けに際して一つのページ内の複数の箇所に対してマーキングが行われる場合、互いに異なる色が用いられる。そのため、マーカＩＤは、マーキングの色だけでなく、マーキング箇所を識別する値として用いられる。

「動画情報」は、動画内の再生箇所を示すフィールドであり、「動画ＩＤ」と「再生箇所」の２列のフィールドにより構成される。「動画ＩＤ」のフィールドには、動画を識別する値が記憶される。「再生箇所」のフィールドには、動画内の再生箇所を示す値が記憶される。図８は、動画の撮影が開始されてから２５秒後に領域Ｆｄがタップされた場合の動画情報を例示している。図８の例では、マーカＩＤ「１」のマーキング箇所とマーカＩＤ「２」のマーキング箇所の２箇所に動画ＩＤ「１」の動画が関連付けられている。より詳細には、マーカＩＤ「１」のマーキング箇所には動画ＩＤ「１」の動画内の再生箇所（０：００，０：２５）が関連付けられている。これは、マーカＩＤ「１」のマーキング箇所が、動画ＩＤ「１」の動画内の０秒から２５秒の箇所に関連付けられていることを表す。同様に、マーカＩＤ「２」のマーキング箇所には動画ＩＤ「１」の動画内の再生箇所（０：２５，０：４０）が関連付けられている。なお、この例で、撮影された動画全体の再生時間は４０秒である。

図８では、マーキング箇所が２箇所である場合の管理テーブルＴＢ１を示したが、マーキング箇所が一箇所である場合、マーキング箇所には撮影された動画全体が関連付けられる。例えば、図８の例で、仮にマーキング箇所がマーカＩＤ「１」の一箇所である場合、当該マーキング箇所には動画ＩＤ「１」の動画内の再生箇所（０：００，０：４０）が関連付けられる。

再び図３を参照する。ステップＳＡ８において、ＣＰＵ１１は、撮影された動画のサムネイルを生成し、付箋オブジェクトの領域Ｓに表示する。ＣＰＵ１１は、例えば、記憶部１４に記憶された動画の１フレーム目の画像を読み出し、当該画像を縮小してサムネイルを生成する。ステップＳＡ９において、ＣＰＵ１１は、付箋オブジェクトの表示態様を変更する。上述の通り、ステップＳＡ２でのマーキングが複数の箇所に対して行われている場合（ステップＳＡ９の処理が行われる時点では、管理テーブルＴＢ１において、一つの動画内の複数の再生箇所が文書内の異なるマーキング箇所と関連付けられている場合）、付箋オブジェクトはマーキング箇所の数（ステップＳＡ９の処理が行われる時点では、一つの動画について管理テーブルＴＢ１に記憶された再生箇所の数）に区分されている。この状態で、ＣＰＵ１１は、例えば、管理テーブルＴＢ１に記憶された複数の再生箇所から特定される位置で付箋オブジェクトが色分けされるように付箋オブジェクトの表示態様を変更する。なお、マーキング箇所が一箇所である場合には付箋オブジェクトの色分けはされていないため、ステップＳＡ９の処理は省略される。

図９は、付箋オブジェクトの色分けを説明する図である。図９は、図８に示した管理テーブルＴＢ１が参照されて付箋オブジェクトＴａｇ１の色分けがされる様子を示す。この例で、付箋オブジェクトＴａｇ１は、２箇所のマーキング箇所の各々に関連付けられた動画内の再生箇所の再生時間の比率に応じた位置で色分けされている。ここでいう再生時間とは、再生箇所の始点から終点までの時間を表し、図８に示した再生箇所（０：００，０：２５）の再生時間は２５秒、再生箇所（０：２５，０：４０）の再生時間は１５秒である。ＣＰＵ１１は、例えば、再生時間の比率と、付箋オブジェクト内の色分けされた区画のｙ軸方向（この例では表示される文書の縦方向）の長さの比率とが以下の式（１）を満たすように、付箋オブジェクトの表示態様を変更する。

式（１）において、Ｔ１、Ｔ２、・・・Ｔｎは、複数のマーキング箇所の各々に関連付けられた動画内の再生箇所の再生時間を表す。Ｌ１、Ｌ２、・・・Ｌｎは、マーキング箇所の色で表示される各区画のｙ軸方向における長さを表す。図９の例では、マーカＩＤ「１」のマーキング箇所に対応する区画Ｃ１１と、マーカＩＤ「２」のマーキング箇所に対応する区画Ｃ１２とは、Ｌ１：Ｌ２が、５：３（２５：１５）になるように付箋オブジェクトが色分けされている。Ｌ１からＬｎの値Ｌｉは、例えば、以下の式（２）により算出される。

式（２）において、Ｌｆは、付箋オブジェクトのｙ軸方向における全長を表す。Ｌｆは、定数であってもよいし、ユーザにより指定された値であってもよい。ＣＰＵ１１は、各区画のｙ軸方向における長さと、記憶部１４に記憶された付箋オブジェクトの各頂点の座標とを用いて複数の区画の境界となる位置を特定し、当該位置で付箋オブジェクトを色分けする。

図１０は、ステップＳＡ９の処理後に表示される画面を例示する図である。図１０は、図７に示した動画の撮影が終了した後の画面を示す。文書Ｄ１上には付箋オブジェクトＴａｇ１が図９に示した表示態様で表示されている。また、付箋オブジェクトＴａｇ１内の領域Ｓには、撮影された動画の１フレーム目の画像のサムネイルが表示されている。さらに、付箋オブジェクトＴａｇ１には、動画を撮影したユーザのユーザ名、撮影場所、撮影日時を示す情報が付加的に表示されている。この例で、ユーザ名には、タブレット端末１にログインしているユーザのユーザ名が用いられる。撮影場所は、測位部１８を介して取得される。撮影日時は、例えば、タブレット端末１に内蔵された時計を介して取得される。以下では、付箋オブジェクト又は動画上に付加的に表示される情報を「メタ情報」と表現する。なお、図１０に示したメタ情報は、必ずしも付箋オブジェクト上に表示されなくてもよい。

図１１は、文書に添付された動画が再生される際のタブレット端末１の動作を示すフローチャートである。以下の処理は、図３に示した処理が事前に行われ、文書に動画が添付された状態（例えば図１０に示した画面が表示された状態）で開始される。

ステップＳＢ１において、ＣＰＵ１１は、マーキング箇所が選択されたか否かを判断する。この例で、ＣＰＵ１１は、マーキング箇所がタップされたことを契機にマーキング箇所が選択されたと判断する。マーキング箇所が選択されたと判断された場合（ＳＢ１：ＹＥＳ）、ＣＰＵ１１は、処理をステップＳＢ２に移行する。マーキング箇所が選択されていないと判断された場合（ＳＢ１：ＮＯ）、ＣＰＵ１１は、処理を待機する。

ステップＳＢ２において、ＣＰＵ１１は、選択されたマーキング箇所が、文書に添付された動画内の再生箇所と関連付けられているか否かを判断する。具体的には、ＣＰＵ１１は、選択されたマーキング箇所のマーカ情報（この例では、マーカＩＤ、マーキング位置、及び文字列）を特定し、当該マーカ情報が記憶部１４に記憶された管理テーブルＴＢ１に含まれているか否かを判断する。なお、１つの文書に複数の動画が添付されており、複数の付箋オブジェクトについて管理テーブルＴＢ１が記憶されている場合には、ＣＰＵ１１は、各管理テーブルＴＢ１を参照してステップＳＢ２の判断を行う。選択されたマーキング箇所が動画内の再生箇所と関連付けられていると判断された場合（ＳＢ２：ＹＥＳ）、ＣＰＵ１１は、選択されたマーキング箇所に関連する動画の動画ＩＤと当該動画内の再生箇所とをＲＡＭ１３に記憶し処理をステップＳＢ３に移行する。選択されたマーキング箇所が動画内の再生箇所と関連付けられていないと判断された場合（ＳＢ２：ＮＯ）、ＣＰＵ１１は、動画を再生することなく処理を終了する。例えば、マーキングが文書に動画を添付する行為とは無関係に行われた場合（すなわち図３に示した一連の処理とは別にマーキングが独立して行われた場合）、又は動画の撮影中にマーキング箇所と動画内の再生箇所との関連付けをするためのタップがされなかった場合、マーキング箇所は動画内の再生箇所と関連付けられていないと判断される。

ステップＳＢ３において、ＣＰＵ１１は、選択されたマーキング箇所に関連する動画内の再生箇所から動画を再生する。具体的には、ＣＰＵ１１は、ＲＡＭ１３に記憶された動画ＩＤにより特定される動画を記憶部１４から読み出して、ＲＡＭ１３に記憶された再生箇所の始点から動画を再生する。

図１２は、動画が再生される際の画面の遷移を例示する図である。ここでは、図８に示した管理テーブルＴＢ１が記憶部１４に記憶されており、且つ、図１０に示した画面が表示されている場合における画面の遷移を示す。図１２（ａ）において、ユーザは、色Ｙのマーキングがされた文字列「××の点検作業について」をタップしている。この場合、図１２（ｂ）に示す通り、動画ＩＤ「１」の動画が、再生箇所の始点である「０秒」から再生される。動画の再生は、ウインドウＷ１に現れる領域Ｍｐにおいて行われる。領域Ｍｐの位置は、ユーザが領域Ｍｐをドラッグすることにより変更されてもよい。動画が再生される際には、選択されたマーキング箇所の文字列が動画上に表示される。図１２（ｂ）では、タップされた文字列「××の点検作業について」が領域Ｍｐに表示されている。このように、マーキング箇所の文字列が動画上に表示されるため、動画がテキスト領域Ｔｘ上で再生されることによりテキスト領域Ｔｘ内のマーキング箇所が視認されない状態になっても、ユーザは動画の視聴と共にマーキング箇所の内容を見ることができる。図１２（ｂ）では、また、領域Ｍｐ内の文字列「××の点検作業について」は、テキスト領域Ｔｘ内で当該文字列に対して行われたマーキングの色Ｙと同じ色で網掛けされた状態で表示されている。これにより、動画内の再生箇所とマーキング箇所との関連が、動画を視聴したユーザに直感的に把握される。

領域Ｍｐにおける文字列の表示は、マーキング箇所に関連する動画内の再生箇所で行われる。例えば、図８に示した管理テーブルＴＢ１で、文字列「××の点検作業について」に関連する動画内の再生箇所は０秒から２５秒である。そのため、文字列「××の点検作業について」は、動画ＩＤ「１」の動画の０秒から２５秒まで表示される。別の例で、図８に示した管理テーブルＴＢ１で、文字列「点検箇所○○は、・・・。」に関連する動画内の再生箇所は２５秒から４０秒である。そのため、文字列「点検箇所○○は、・・・。」は、動画ＩＤ「１」の動画の２５秒から４０秒まで表示される。なお、領域Ｍｐには、動画を撮影したユーザのユーザ名、撮影場所、撮影日時などがメタ情報として表示されてもよい。

図１３は、動画が再生される際の画面の遷移を例示する別の図である。ここでは、図８に示した管理テーブルＴＢ１が記憶部１４に記憶されており、且つ、図１０に示した画面が表示されている場合における画面の遷移を示す。図１３（ａ）において、ユーザは、色Ｒのマーキングがされた文字列「点検箇所○○は、・・・。」をタップしている。この場合、図１３（ｂ）に示す通り、動画ＩＤ「１」の動画が、再生箇所の始点である「２５秒」から再生される。図１３（ｂ）では、タップされた文字列「点検箇所○○は、・・・。」が、テキスト領域Ｔｘ内で当該文字列に対して行われたマーキングの色Ｒと同じ色で網掛けされた状態で領域Ｍｐに表示されている。文字列「点検箇所○○は、・・・。」は、上述の通り、動画の２５秒から４０秒まで領域Ｍｐに表示される。

再び図１１を参照する。ステップＳＢ４において、ＣＰＵ１１は、動画の再生を停止又は終了する。動画の再生は、例えば、領域Ｍｐがタップされたことを契機に停止する。領域Ｍｐがタップされることなく動画全体が再生されると動画の再生は終了する。ステップＳＢ５において、ＣＰＵ１１は、付箋オブジェクトの領域Ｓに表示されるサムネイルを変更する。具体的には、ＣＰＵ１１は、ステップＳＢ４において動画の再生を停止した場合、再生を停止した時点のフレームの画像を記憶部１４から読み出し、当該画像を縮小してサムネイルを生成する。ＣＰＵ１１は、また、ステップＳＢ４において動画の再生が終了した場合、当該動画の最終フレームの画像を読み出し、当該画像を縮小してサムネイルを生成する。ＣＰＵ１１は、既に表示されているサムネイルに替えて、新たに生成されたサムネイルを付箋オブジェクトの領域Ｓに表示する。このように、付箋オブジェクトに表示されるサムネイルは動画の再生が停止（又は終了）された時点のフレームに更新される。

図１４は、動画の再生が停止された後に表示される画面を例示する図である。図１４は、図１２（又は図１３）に示した操作で開始された動画の再生が停止されたときの画面を例示する図である。付箋オブジェクトＴａｇ１内の領域Ｓには、動画の再生が停止されたときのフレームのサムネイルＳｎ１が表示されている。また、付箋オブジェクトＴａｇ１には、動画を視聴したユーザのユーザ名（視聴者名）及び視聴日時がメタ情報として表示されている。この例で、視聴者名には、タブレット端末１にログインしているユーザのユーザ名が用いられる。視聴日時は、例えば、タブレット端末１に内蔵された時計を介して取得される。なお、図１４に示したメタ情報は、必ずしも付箋オブジェクト上に表示されなくてもよい。

以上の処理により、文書に動画が添付された状態でマーキング箇所がタップされると、タップされたマーキング箇所に関連付けられた動画内の再生箇所から動画が再生される。したがって、マーキング箇所と動画内の再生箇所との関連付けがされない場合に比べて、マーキング箇所に関連する箇所から動画を視聴する際のユーザの利便性が向上する。また、付箋オブジェクトは当該付箋オブジェクトに関係するマーキング箇所の色で表示されるため、マーキング箇所と異なる色で付箋オブジェクトが表示された場合に比べて、マーキング箇所と付箋オブジェクトとの対応関係がユーザに直感的に把握される。

また、付箋オブジェクトは、マーキング箇所の各々に関連付けられた動画内の再生箇所から特定される位置で色分けされるため、再生箇所とは無関係の位置で付箋オブジェクトが色分けされる場合に比べて、マーキング箇所に関連する再生箇所が動画内のどのあたりなのかがユーザに直感的に把握される。さらに、本実施形態では、図６（ｂ）に示した通り、あるページに貼り付けられた付箋オブジェクトが、他のページが表示されているときにも、その一部がページの端部からはみ出して表示される。したがって、付箋オブジェクトが貼り付けられたページ以外のページがウインドウＷ１に表示されている場合であっても、はみ出して表示された付箋オブジェクトの色の数を見ることで、付箋オブジェクトが貼り付けられたページ内に存在するマーキング箇所（ここでは動画内の再生箇所と関連付けられたマーキング箇所）の数がユーザにより把握される。

上述した第１実施形態では、文書に動画を添付する行為と関係してテキスト領域Ｔｘ内の文字列に対してマーキングが行われる例を示したが、文書に動画を添付する行為がマーキングとは無関係に行われてもよい。この場合、図３に示した処理において、ステップＳＡ２、ＳＡ７、及びＳＡ９の処理は省略され、予め定められた色又はユーザにより指定された色の付箋オブジェクトが文書上に表示される。また、この場合、文書に添付された動画の再生は、例えば付箋オブジェクトの領域Ｓに表示されたサムネイルをタップすることにより開始される。

（第２実施形態）
図１５は、文書に添付された動画が編集される際のタブレット端末１の動作を示すフローチャートである。以下の処理は、文書に添付された動画が再生されている状態で開始される。ステップＳＣ１において、ＣＰＵ１１は、動画の編集を開始するための指示（以下「動画編集指示」という）の入力を受け付ける。ユーザは、タッチパネル１６を操作して動画編集指示を入力する。

図１６は、動画が再生されているときの画面を例示する図である。図１６において、文書Ｄ１には色Ｇの付箋オブジェクトＴａｇ２が貼り付けられている。図１６は、付箋オブジェクトＴａｇ２内のサムネイルがタップされ、動画が領域Ｍｐ内で再生されているときの画面を示す。上述したステップＳＣ１において、ユーザは、例えば、ツールバーＢ１内のアイコンをタップして動画編集指示を入力する。

再び図１５を参照する。ステップＳＣ２において、ＣＰＵ１１は、領域Ｍｐ内で再生されている動画の編集を受け付ける。図１５に示す処理で、動画の編集は、例えば、添付された動画に対して説明を加えたり、動画内の再生箇所を強調したりする目的で行われる。ステップＳＣ１で動画編集指示が入力されると、タッチパネル１６には、例えば、動画の編集に用いる色を選択するためのアイコン（図示省略）が表示される。ユーザは、このアイコンをタップして選択した色で動画に対して編集を行う。動画の編集は、例えば、ユーザが、領域Ｍｐ内でタッチパネル１６に触れた指を移動させることにより行われる。以下では、ステップＳＣ２において編集が行われた動画内の再生箇所を「編集箇所」と表現する。ステップＳＣ２において動画の編集が受け付けられると、ＣＰＵ１１は、編集内容を示すデータ（以下「編集データ」という）ＲＡＭ１３に記憶する。編集データには、例えば、編集箇所、編集に用いられた色、及び編集時の指の軌跡を示すデータなどが含まれる。

図１７は、動画が編集される様子を例示する図である。図１７において、ユーザは、領域Ｍｐ内で再生される動画に色Ｒを用いて矢印ａ１を描いている。

再び図１５を参照する。ステップＳＣ３において、ＣＰＵ１１は、テキスト領域Ｔｘ内の文字列に対するマーキングを受け付ける。図１５に示す処理で、マーキングは、動画内の編集箇所と、文書内のある文字列とを関連付ける目的で行われる。ユーザは、ステップＳＣ２での動画の編集に用いた色と同じ色を用いてマーキングを行う。ステップＳＣ３においてマーキングが行われると、ＣＰＵ１１は、マーカ情報をＲＡＭ１３に記憶する。

図１８は、マーキングが行われた文書を例示する図である。図１８は、図１７に示した文書Ｄ１に対してマーキングが行われた状態を示している。図１８において、ユーザは、領域Ｍｐをドラッグして移動させた後、文書Ｄ１内の文字列「点検箇所○○は、・・・。」に対して、色Ｒを用いてマーキングを行っている。

再び図１５を参照する。ステップＳＣ４において、ＣＰＵ１１は、マーキングが終了したか否かを判断する。ＣＰＵ１１は、例えば、動画の編集を終了するための指示（以下「編集終了指示」という）が入力されたことを契機にマーキングが終了したと判断する。マーキングが終了したと判断された場合（ＳＣ４：ＹＥＳ）、ＣＰＵ１１は、処理をステップＳＣ５に移行する。マーキングが終了していないと判断された場合（ＳＣ４：ＮＯ）、ＣＰＵ１１は処理を待機する。

ステップＳＣ５において、ＣＰＵ１１は、動画の編集が行われた付箋オブジェクトについての管理テーブルＴＢ１を生成する。具体的には、ＣＰＵ１１は、編集データとマーカ情報とをＲＡＭ１３から読み出し、これらの情報を用いて管理テーブルＴＢ１を生成する。ＣＰＵ１１は、生成された管理テーブルＴＢ１を記憶部１４に記憶する。ＣＰＵ１１は、第１実施形態と同様に、生成された管理テーブルＴＢ１を付箋オブジェクトごとに管理する。

図１９は、ステップＳＣ５で生成される管理テーブルＴＢ１を例示する図である。図１９は、付箋オブジェクトＴａｇ２についての管理テーブルＴＢ１を示す。第２実施形態における管理テーブルＴＢ１は、「マーカ情報」と「動画情報」と「編集情報」の３列のフィールドにより構成されるレコード（行）の集合体である。「マーカ情報」は、第１実施形態と同様に、「マーカＩＤ」、「マーキング位置」、「文字列」の３列のフィールドにより構成される。「動画情報」は、動画内の編集箇所を示すフィールドであり、「動画ＩＤ」と「編集箇所」の２列のフィールドにより構成される。「動画ＩＤ」のフィールドには、動画を識別する値が記憶される。「編集箇所」のフィールドには、動画内の編集箇所を示す値が記憶される。図１９の例では、マーカＩＤ「２」のマーキング箇所に動画ＩＤ「１」の動画が関連付けられている。より詳細には、マーカＩＤ「２」のマーキング箇所には動画ＩＤ「１」の動画内の編集箇所（０：２５，０：４０）が関連付けられている。これは、マーカＩＤ「２」のマーキング箇所が、動画ＩＤ「１」の動画内の２５秒から４０秒の箇所に関連付けられていることを表す。

「編集情報」は、動画の編集についての情報を示すフィールドであり、「編集ＩＤ」と「軌跡データ」の２列のフィールドにより構成される。「編集ＩＤ」のフィールドには、動画の編集内容を識別する値が記憶される。「軌跡データ」のフィールドには、編集時の指の軌跡を示すデータが記憶される。なお、上述の通り、動画内のある箇所の編集と、当該編集に関連するマーキングとは同じ色を用いて行われる。そのため、図１９に示す管理テーブルＴＢ１において、軌跡データが示す軌跡の色は「マーカＩＤ」のフィールドから特定される。

再び図１５を参照する。ステップＳＣ６において、ＣＰＵ１１は、付箋オブジェクトの領域Ｓに表示されるサムネイルを変更する。具体的には、ＣＰＵ１１は、編集箇所の始点に対応するフレームの画像を記憶部１４から読み出し、当該画像を縮小してサムネイルを生成する。編集箇所の始点は、管理テーブルＴＢ１の「編集箇所」のフィールドを参照することにより特定される。ＣＰＵ１１は、既に表示されているサムネイルに替えて、新たに生成されたサムネイルを付箋オブジェクトの領域Ｓに表示する。このように付箋オブジェクトに表示されるサムネイルは動画の編集が開始された時点のフレームに更新される。ステップＳＣ７において、ＣＰＵ１１は、付箋オブジェクトの色を変更する。具体的には、ＣＰＵ１１は、付箋オブジェクトの色を、管理テーブルＴＢ１の「マーカＩＤ」から特定される色に変更する。このように、付箋オブジェクトの色は、動画の編集及びマーキングに用いられた色と同じ色に変更される。

図２０は、ステップＳＣ７の処理後に表示される画面を例示する図である。図２０は、図１８に示したマーキングがされ、図１９に示した管理テーブルＴＢ１が生成された後の画面を示す。付箋オブジェクトＴａｇ２内の領域Ｓには、編集箇所の始点である「２５秒」の時点のフレームのサムネイルが表示されている。また、付箋オブジェクトＴａｇ２は、動画の編集及びマーキングに用いられた色Ｒで表示されている。さらに、この例では、動画が編集されたことを示す文字列「編集あり」がメタ情報として付箋オブジェクトＴａｇ２に表示されている。なお、付箋オブジェクトＴａｇ２には、動画を編集したユーザのユーザ名及び編集日時がメタ情報として表示されてもよい。また、付箋オブジェクトＴａｇ２内の領域Ｓに表示されるサムネイルは、編集箇所の始点のフレームのサムネイルに限らない。例えば、領域Ｓがダブルタップされたことを契機に、既に領域Ｓに表示されているサムネイルに替えて、編集箇所の終点（図２０の例では「４０秒」の時点）のフレームのサムネイルが表示されてもよい。

図２１は、文書に添付された動画が再生される際のタブレット端末１の動作を示すフローチャートである。以下の処理は、図１５に示した処理が事前に行われた状態（例えば図２０に示した画面が表示された状態）で開始される。

ステップＳＤ１において、ＣＰＵ１１は、上述したステップＳＢ１と同様に、マーキング箇所が選択されたか否かを判断する。マーキング箇所が選択されたと判断された場合（ＳＤ１：ＹＥＳ）、ＣＰＵ１１は、処理をステップＳＤ２に移行する。マーキング箇所が選択されていないと判断された場合（ＳＤ１：ＮＯ）、ＣＰＵ１１は、処理を待機する。

ステップＳＤ２において、ＣＰＵ１１は、選択されたマーキング箇所が、文書に添付された動画内の編集箇所と関連付けられているか否かを判断する。具体的には、ＣＰＵ１１は、選択されたマーキング箇所のマーカ情報（この例では、マーカＩＤ、マーキング位置、及び文字列）を特定し、当該マーカ情報が記憶部１４に記憶された管理テーブルＴＢ１に含まれているか否かを判断する。選択されたマーキング箇所が動画内の編集箇所と関連付けられていると判断された場合（ＳＤ２：ＹＥＳ）、ＣＰＵ１１は、選択されたマーキング箇所に関連する動画の動画ＩＤ、当該動画内の編集箇所、軌跡データ、及びマーカＩＤをＲＡＭ１３に記憶し処理をステップＳＤ３に移行する。選択されたマーキング箇所が動画内の編集箇所と関連付けられていないと判断された場合（ＳＢ２：ＮＯ）、ＣＰＵ１１は、動画を再生することなく処理を終了する。例えば、マーキングが文書に動画を添付する行為とは無関係に行われた場合（すなわち図１５に示した一連の処理とは別にマーキングが独立して行われた場合）、マーキング箇所は動画内の編集箇所と関連付けられていないと判断される。

ステップＳＤ３において、ＣＰＵ１１は、選択されたマーキング箇所に関連する動画内の編集箇所から動画を再生する。具体的には、ＣＰＵ１１は、ＲＡＭ１３に記憶された動画ＩＤにより特定される動画を記憶部１４から読み出して、ＲＡＭ１３に記憶された編集箇所の始点から動画を再生する。ＣＰＵ１１は、また、ＲＡＭ１３に記憶された編集箇所を再生する際に、動画上に編集内容を表示する。具体的には、ＣＰＵ１１は、軌跡データが示す軌跡であってマーカＩＤから特定される色の軌跡を動画上に表示する。

図２２は、動画が再生される際の画面の遷移を例示する図である。ここでは、図１９に示した管理テーブルＴＢ１が記憶部１４に記憶されており、且つ、図２０に示した画面が表示されている場合における画面の遷移を示す。図２２（ａ）において、ユーザは、色Ｒのマーキングがされた文字列「点検箇所〇〇は、・・・。」をタップしている。この場合、図２２（ｂ）に示す通り、動画ＩＤ「１」の動画が、編集箇所の始点である「２５秒」から再生される。この例で、動画の２５秒から４０秒までは、ユーザにより描かれた色Ｒの矢印ａ１が動画上に表示される。図２２（ｂ）では、また、第１実施形態と同様に、タップされた文字列「点検箇所〇〇は、・・・。」が領域Ｍｐに表示されている。なお、動画の再生位置は、ユーザがシークバーＳｂを操作することにより変更されてもよい。

再び図２１を参照する。ステップＳＤ４及びステップＳＤ５において、ＣＰＵ１１は、上述したステップＳＢ４及びステップＳＢ５と同様の処理を行う。なお、ステップＳＤ５の処理後に付箋オブジェクトの領域Ｓに表示されているサムネイルは、領域Ｓがダブルタップされたことを契機に切り替えられてもよい。例えば、領域Ｓがダブルタップされると、既に領域Ｓに表示されているサムネイルに替えて、編集箇所の始点又は終点のフレームのサムネイルが表示されてもよい。

以上の処理により、文書に編集済みの動画が添付された状態でマーキング箇所がタップされると、タップされたマーキング箇所に関連付けられた動画内の編集箇所から動画が再生される。したがって、マーキング箇所と動画内の編集箇所との関連付けがされない場合に比べて、マーキング箇所に関連する箇所から動画を視聴する際のユーザの利便性が向上する。また、付箋オブジェクトは当該付箋オブジェクトに関係するマーキング箇所の色で表示されるため、マーキング箇所と異なる色で付箋オブジェクトが表示された場合に比べて、マーキング箇所と付箋オブジェクトとの対応関係がユーザに直感的に把握される。

上述した第２実施形態では、動画を編集する行為と関係してテキスト領域Ｔｘ内の文字列に対してマーキングが行われる例を示したが、動画を編集する行為がマーキングとは無関係に行われてもよい。この場合、図１５に示した処理において、ステップＳＣ３及びＳＣ５の処理は省略され、付箋オブジェクトの色が、例えば、動画の編集に用いられた色と同じ色に変更される。また、この場合、編集済みの動画の再生は、例えば付箋オブジェクトの領域Ｓに表示されたサムネイルをタップすることにより開始される。

（変形例）
本発明は、上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下で説明する変形例のうち、２つ以上のものが組み合わされて用いられてもよい。

動画の編集は動画内の一箇所に対して行われる場合に限らない。動画内の複数の箇所に対して編集が行われてもよい。また、動画の編集は複数のユーザにより別個に行われてもよい。動画内の複数の箇所が編集される場合、これらの編集は互いに異なる色を用いて行われることが望ましい。この場合、編集済みの動画が再生されるとき（ここでは、付箋オブジェクトの領域Ｓに表示されたサムネイルがタップされて動画が再生されるとき）、付箋オブジェクトの色と同じ色を用いて編集が行われた編集箇所から動画が再生されてもよい。具体例として、ある動画に対して色Ｒを用いた編集と色Ｙを用いた編集が行われており、付箋オブジェクトの色が色Ｙである場合を考える。この場合、ユーザが付箋オブジェクト内のサムネイルをタップすると、色Ｙを用いた編集が行われた編集箇所から動画が再生される。付箋オブジェクトの色は、ユーザが予め定められた操作（例えば、付箋オブジェクトをタップして付箋オブジェクトの色を選択する操作）を行うことにより変更されてもよい。

第２実施形態において、編集データは、編集を行ったユーザのユーザ名と関連付けて記憶部１４に記憶されてもよい。この場合、編集済みの動画を再生するにあたり、動画を視聴するユーザが動画の編集を行ったユーザの中から一又は複数のユーザの指定を行うと、指定されたユーザと関連付けて記憶部１４に記憶された編集データから特定される編集内容のみが再生される動画上に表示されてもよい。

図２３は、編集データとユーザ名とを関連付けるための操作を例示する図である。図２３に示す操作は、例えば、動画の編集を行うユーザが、実際に動画の編集を開始する前（上述したステップＳＣ２の処理が行われる前）に行われる。図２３（ａ）では、ユーザは、文書に添付された動画が再生されている状態で付箋オブジェクトＴａｇ２を矢印Ａ２の方向にスワイプしている（すなわち付箋オブジェクトＴａｇ２に触れた指を矢印Ａ２の方向に移動させている）。付箋オブジェクトＴａｇ２がスワイプされると、図２３（ｂ）に示す通り、これから行われる動画の編集についての編集データをユーザ名と関連付けるか否かをユーザに選択させるためのダイアログボックスＤｂ（ユーザに情報を提示し、ユーザに応答させるウインドウ）が画面に表示される。ユーザは、ダイアログボックスＤｂ内の「ＹＥＳ」ボタンを押下することにより、編集データとユーザ名との関連付けを許可する。この状態で動画の編集が受け付けられると、ＣＰＵ１１は、編集データと、編集を行ったユーザのユーザ名とを関連付けて記憶部１４に記憶する。

図２４は、指定したユーザと関連する編集内容のみを動画上に表示させるための操作を例示する図である。図２４に示す操作は、例えば図２３に示した操作を伴う動画の編集が一又は複数のユーザにより行われた状態で開始される。編集済みの文書が表示されている状態でユーザが予め定められた操作（例えばツールバーＢ１内のアイコンをタップする操作）を行うと、動画の編集を行ったユーザの中から一又は複数のユーザを選択させるための領域Ｄｓが画面に現れる。動画を視聴するユーザは、領域Ｄｓ内のユーザを選択することにより、動画の再生中に動画上に表示される編集内容の指定を行う。例えば、領域Ｄｓ内において「ユーザ〇〇〇」が選択されて動画が再生されると、「ユーザ〇〇〇」と関連付けて記憶された編集内容のみが動画上に表示され、「ユーザ×××」と関連付けて記憶された編集内容及び「ユーザ△△△」と関連付けて記憶された編集内容は動画上に表示されない。

管理テーブルＴＢ１の内容は、図３又は図１５に示した処理が行われた後に変更されてもよい。例えば、ユーザによるタッチパネル１６の操作に応じて、管理テーブルＴＢ１におけるマーキング箇所と動画内の再生箇所（又は編集箇所）との関連付けが変更されてもよい。

図２５は、マーキング箇所と動画内の再生箇所との関連付けを変更するための操作を例示する図である。図２５（ａ）及び（ｂ）は、図１０に示した画面内の付箋オブジェクトＴａｇ１に対して操作が行われる様子を示している。この例で、ユーザは、区画Ｃ１１と区画Ｃ１２の境界線ＢＬを矢印Ａ３の方向（ｙ軸正方向）にドラッグしている。ＣＰＵ１１は、境界線ＢＬがドロップされると、境界線ＢＬがドロップされた位置で付箋オブジェクトが色分けされるように付箋オブジェクトの表示態様を変更（この例では区画Ｃ１１と区画Ｃ１２のｙ軸方向における長さＬ１及びＬ２を変更）する。ＣＰＵ１１は、また、変更後の各区画のｙ軸方向における長さと、複数のマーキング箇所の各々に関連付けられた動画内の再生箇所の再生時間とが上述した式（１）を満たすように再生時間を算出する。ＣＰＵ１１は、管理テーブルＴＢ１の「再生箇所」のフィールドに記憶された値を、算出された再生時間から特定される値に変更する。図２５（ａ）及び（ｂ）で、ユーザは境界線ＢＬをｙ軸正方向にドラッグしており、Ｌ２の値を大きくする（Ｌ１の値を小さくする）操作を行っている。図２５（ｃ）は、図２５（ａ）及び（ｂ）の操作後の管理テーブルＴＢ１を示している。この例で、ＣＰＵ１１は、マーカＩＤ「１」のマーキング箇所に関連する動画内の再生箇所を（０：００，０：１８）に変更し、マーカＩＤ「１」のマーキング箇所に関連する動画内の再生箇所を（０：１８，０：４０）に変更している。

マーキング箇所が選択された際の動画の再生は、マーキング箇所に関連する動画内の再生箇所の始点から行われる場合に限らない。マーキング箇所が選択された際の動画の再生は、例えば、マーキング箇所に関連する動画内の再生箇所における他の再生位置から行われてもよい。

第１実施形態において、文書に添付される動画は、タブレット端末１により撮影された動画に限らない。例えば、通信回線を介して外部装置から取得された動画が文書に添付されてもよい。

第１実施形態において、付箋オブジェクトが区分されるときの区画の数は、実施形態に記載した数に限らない。ＣＰＵ１１は、マーキング箇所の数を上回る数に付箋オブジェクトを区分してもよい。

タッチパネル１６上での文書の表示態様は、実施形態に示した表示態様に限らない。例えば、複数枚に亘る文書が表示される際に、文書が並べて表示（あるページと他のページとが重ならずに表示）されてもよい。

マーキングは、文字列に対して行われる場合に限らない。マーキングは、単一の文字に対して行われてもよい。

マーキングは、色を用いて行われる場合に限らない。マーキングは、例えば、模様（色と図形の組み合わせ）又は図形を用いて行われてもよい。この場合、付箋オブジェクトには、マーキング箇所と同じ模様又は図形が表示されてもよい。

管理テーブルＴＢ１に記憶されたデータは、テーブル以外の他の形式で記憶部１４に記憶されてもよい。

本発明が適用される情報処理装置は、タブレット端末１に限らない。例えば、パーソナルコンピュータなどの他の情報処理装置に本発明が適用されてもよい。

実施形態において、タブレット端末１によって実行される文書編集プログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ、ＦＤ（Flexible Disk））など）、光記録媒体（光ディスク（ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk））など）、光磁気記録媒体、半導体メモリ（フラッシュＲＯＭなど）などのコンピュータが読み取り可能な記録媒体に記憶した状態で提供されてもよい。また、これらのプログラムは、インターネットなどのネットワーク経由でダウンロードされてもよい。

１…タブレット端末、１０１…文書表示手段、１０２…再生手段、１０３…記憶手段、１０４…選択受付手段、１０５…特定手段、１０６…再生制御手段、１０７…オブジェクト表示手段、１０８…オブジェクト制御手段、１０９…動画編集受付手段、１１０…文書編集受付手段、１１１…編集内容表示手段、１１２…表示制御手段、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…記憶部、１５…ＩＦ部、１６…タッチパネル、１７…撮像部、１８…測位部

Claims (6)

1. 動画が添付された文書を表示する第１表示手段と、
   前記文書が表示されている際に、前記動画を再生する再生手段と、
   前記文書内の第１領域と、前記動画内の時間軸上の再生箇所とを関連付けて記憶する記憶手段と、
   前記第１領域が選択されると、前記記憶手段において当該第１領域と関連付けて記憶された再生箇所から前記動画が再生されるように前記再生手段を制御する第１制御手段と、
   前記動画が前記文書に添付されていることを示すオブジェクトを前記文書上に表示する第２表示手段と、
   前記記憶手段において一つの動画内の複数の再生箇所が前記第１領域と前記文書内の当該第１領域とは異なる第２領域と関連付けて記憶されている場合、少なくとも前記記憶手段に記憶された再生箇所の数に前記オブジェクトが区分されるように前記第２表示手段を制御する第２制御手段と、
   を有する情報処理装置。
2. 前記第２制御手段は、前記記憶手段において一つの動画内の複数の再生箇所が前記第１領域及び前記第２領域と関連付けて記憶されている場合、当該複数の再生箇所から特定される位置で前記オブジェクトが区分されるように前記第２表示手段を制御する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第１制御手段は、前記動画が再生される際に、前記第１領域に含まれる情報が前記動画上に表示されるように前記再生手段を制御する
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記動画の編集を受け付ける第１受付手段を有し、
   前記記憶手段は、前記文書内の第３領域と、前記動画内の時間軸上の前記編集がされた編集箇所とを関連付けて記憶し、
   前記第１制御手段は、前記第３領域が選択されると、前記記憶手段において当該第３領域と関連付けて記憶された編集箇所から前記動画が再生されるように前記再生手段を制御する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記記憶手段は、前記編集の内容を、当該編集を行った利用者と関連付けて記憶し、
   前記記憶手段において前記編集の内容と関連付けて記憶された利用者の中から一又は複数の利用者の指定を受付ける第２受付手段と、
   前記再生手段により再生される動画上に前記編集の内容を表示する第３表示手段と、
   前記第２受付手段が前記利用者の指定を受付けると、前記記憶手段において当該利用者と関連付けて記憶された編集の内容のみが動画上に表示されるように前記第３表示手段を制御する第３制御手段と、
   を有する請求項４に記載の情報処理装置。
6. コンピュータに、
   動画が添付された文書を表示するステップと、
   前記文書が表示されている際に、前記動画を再生するステップと、
   前記文書内の第１領域と、前記動画内の時間軸上の再生箇所とを関連付けて記憶するステップと、
   前記第１領域が選択されると、当該第１領域と関連付けて記憶された再生箇所から前記動画を再生するステップと、
   前記動画が前記文書に添付されていることを示すオブジェクトを前記文書上に表示するステップと、
   一つの動画内の複数の再生箇所が前記第１領域と前記文書内の当該第１領域とは異なる第２領域と関連付けて記憶されている場合、少なくとも記憶された再生箇所の数に前記オブジェクトが区分されるように制御するステップと、
   を実行させるためのプログラム。

Images