JP7148839B2

JP7148839B2 - モバイル端末

Info

Publication number: JP7148839B2
Application number: JP2018150257A
Authority: JP
Inventors: 博幸原
Original assignee: Kyocera Document Solutions Inc
Current assignee: Kyocera Document Solutions Inc
Priority date: 2018-08-09
Filing date: 2018-08-09
Publication date: 2022-10-06
Anticipated expiration: 2038-08-09
Also published as: JP2020027326A

Description

本発明は、ページへの書き込みデータを再生することができるモバイル端末に関する。

近年、授業のデジタル化が進められている。例えば、講師の音声を録音したり、講師が教室のモニターに表示させたコンテンツを撮影したりしたものを収録情報として記録するとともに、コンテンツのページ番号が変化するタイミングで、コンテンツと、収録情報との同期情報を作成して記録する技術が提案されている（例えば、特許文献１参照。）。特許文献１に記載された技術では、ネットワークを介して、コンテンツと、収録情報とをコンテンツのページ番号が変化するタイミングで同期して再生することができる。

特開２０１３－２２３０８６号公報

しかしながら、従来の技術においては、授業中に生徒がノートをとっても、ノートに書き込んだ内容と、収録情報とが関連付けて記録されなかったので、生徒が、収録情報をコンテンツとともに再生しながらノートを見直しても、何に基づいてノートに書き込んだのか分からず、ノートの書き込み内容を理解することができないことがあるという問題がある。

そこで、本発明は、ページへの書き込み内容の理解を容易化することができるモバイル端末を提供することを目的とする。

本発明のモバイル端末は、ページを表示する表示デバイスと、前記表示デバイスに表示された前記ページへの書き込みを受け付ける入力受付手段と、アプリケーションプログラムを実行するアプリ実行手段と、前記アプリケーションプログラムが、Ｗｅｂサイトを前記表示デバイスに表示するブラウザーアプリケーションプログラムである場合に、前記ブラウザーアプリケーションプログラムの実行内容を取得するブラウザー拡張機能と、前記入力受付手段によって受け付けられた書き込みデータ、および、前記ブラウザー拡張機能によって取得された前記実行内容を、それぞれにタイムスタンプが付加された状態で含むプレーバックデータの記録をデータ管理システムに要求する記録要求手段と、前記データ管理システムから取得された前記プレーバックデータに含まれる前記書き込みデータおよび前記実行内容を前記タイムスタンプに基づいて同期して再生する再生処理手段とを備え、前記再生処理手段は、前記ブラウザーアプリケーションプログラムの前記実行内容を前記ブラウザー拡張機能を介して再生することを特徴とする。

この構成により、本発明のモバイル端末は、ページへの書き込みデータと、ブラウザー拡張機能によって取得されたブラウザーアプリケーションプログラムの実行内容とを、それぞれにタイムスタンプが付加された状態で含むプレーバックデータをデータ管理システムに記録させ、データ管理システムから取得されたプレーバックデータに含まれる書き込みデータおよび実行内容をタイムスタンプに基づいて同期して再生するので、ページへの書き込みを、書き込んだ状況とともに再現することができ、ページへの書き込み内容の理解を容易化することができる。また、本発明のモバイル端末は、ブラウザーアプリケーションプログラムの実行内容をブラウザー拡張機能によって取得し、ブラウザーアプリケーションプログラムの実行内容をブラウザー拡張機能を介して再生するので、モバイル端末の製造業者と、ブラウザーアプリケーションプログラムの製造業者とが異なる場合であっても、ブラウザー拡張機能を利用することによって、ブラウザーアプリケーションプログラムの実行内容の記録および再生を実行することができる。

本発明のモバイル端末は、ページへの書き込み内容の理解を容易化することができる。

本発明の一実施の形態に係る情報処理システムのブロック図である。図１に示すモバイル端末のブロック図である。開いた状態での図２に示すモバイル端末の正面図である。閉じた状態での図２に示すモバイル端末の正面図である。電話アプリと、ノートアプリとが連携する場合の図３に示すモバイル端末の正面図である。１台のコンピューターによって構成される場合の図１に示すデータ管理システムのブロック図である。図６に示すデータベースのディレクトリー構成を示す図である。図７に示すプレーバックデータの一例を示す図である。ページに対して書き込みが行われる場合の図２に示すモバイル端末の動作のフローチャートである。ノートのページへの書き込みの際にドキュメントデータやＷｅｂページが参照される場合の図３に示すモバイル端末の正面図である。ノートのページにドキュメントデータがコピーアンドペーストされる場合の図３に示すモバイル端末の正面図である。ノートのページに他のユーザーのページの書き込み内容がコピーアンドペーストされる場合の図３に示すモバイル端末の正面図である。ノートのページに図１２に示す他のユーザーの書き込み内容がコピーアンドペーストされる場合のデータベースのディレクトリー構成を示す図である。図１２に示すコピー対象領域に対応するプレーバックデータを示す図である。図１２に示すコピー対象領域が複数のページに跨って分割されてコピーされる場合のページを示す図である。図１２に示すコピー対象領域が複数のページに跨って分割されてコピーされる場合のデータベースのディレクトリー構成を示す図である。図１２に示すコピー対象領域が複数のページに跨って分割されてコピーされる場合のプレーバックデータを示す図である。プレーバックデータの再生を行う場合の図２に示すモバイル端末の動作のフローチャートである。プレーバックデータの再生を行う場合の図３に示すモバイル端末の正面図である。図２に示すモバイル端末によるプレーバックデータの再生中にタイマー割込みを発生させる場合のプレーバックデータを示す図である。

以下、本発明の実施の形態について、図面を用いて説明する。

まず、本発明の一実施の形態に係る情報処理システムの構成について説明する。

図１は、本実施の形態に係る情報処理システム１０のブロック図である。

図１に示すように、情報処理システム１０は、モバイル端末２０を備えている。情報処理システム１０は、モバイル端末２０以外にも、モバイル端末２０と同様のモバイル端末を少なくとも１つ備えることが可能である。例えば、情報処理システム１０に含まれるモバイル端末は、それぞれ、生徒によってノートとして利用される。

情報処理システム１０は、データを管理するデータ管理システム４０を備えている。データ管理システム４０は、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。データ管理システム４０は、クラウド上で動作するシステムでも良い。

情報処理システム１０に含まれるモバイル端末と、データ管理システム４０とは、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、インターネットなどのネットワーク１１を介して通信可能である。

図２は、モバイル端末２０のブロック図である。

図２に示すように、モバイル端末２０は、種々の操作が入力される例えばボタンなどの操作デバイスである操作部２１と、種々の情報を表示する例えばＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）などの表示デバイスである表示部２２と、マイク２３と、スピーカー２４と、カメラ２５と、ＬＡＮ、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部２６と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）などの不揮発性の記憶デバイスである記憶部２７と、モバイル端末２０全体を制御する制御部２８とを備えている。

図３は、開いた状態でのモバイル端末２０の正面図である。図４は、閉じた状態でのモバイル端末２０の正面図である。

図２～図４に示すように、操作部２１は、各種の操作を受け付ける複数のボタン２１ａを備えている。

表示部２２は、操作部２１の一部とともに第１のタッチパネルを構成する第１の表示部２２ａと、操作部２１の一部とともに第２のタッチパネルを構成する第２の表示部２２ｂとを備えている。第１の表示部２２ａは、例えば、液晶ディスプレー、有機ＥＬディスプレー、プラズマディスプレーによって構成されている。第２の表示部２２ｂは、例えば、電子ペーパーによって構成されている。なお、第２の表示部２２ｂだけでなく第１の表示部２２ａも、電子ペーパーによって構成されても良い。また、第１の表示部２２ａおよび第２の表示部２２ｂのサイズは、それぞれ、ノートとして利用し易いＡ４サイズでも良い。

モバイル端末２０は、第１の表示部２２ａおよび第２の表示部２２ｂを回動自在に連結するヒンジ部２０ａを備えている。モバイル端末２０は、第１の表示部２２ａおよび第２の表示部２２ｂをヒンジ部２０ａによって互いに回動させることによって、図３に示すように第１の表示部２２ａの画面および第２の表示部２２ｂの画面が同一面上で互いに隣り合う見開き状態と、図４に示すように第１の表示部２２ａ（図３参照。）の画面および第２の表示部２２ｂ（図３参照。）の画面が向かい合わせに閉じた閉状態とになることが可能である。

カメラ２５は、モバイル端末２０が見開き状態である場合にモバイル端末２０の正面側を撮影するための正面カメラ２５ａと、モバイル端末２０が見開き状態である場合にモバイル端末２０の背面側を撮影するための背面カメラ２５ｂとを備えている。

記憶部２７は、各種のアプリケーションプログラムを記憶している。例えば、記憶部２７は、複数のページを含むノートを作成し、作成したノートに操作部２１を介して書き込みを可能にするアプリケーションプログラムであるノートアプリケーションプログラム２７ａと、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｏｒｄ、ＭｉｃｒｏｓｏｆｔＥｘｃｅｌ（登録商標）、ＰＤＦなどのドキュメントを作成、表示および編集するためのアプリケーションプログラムであるドキュメントアプリケーションプログラム２７ｂと、Ｗｅｂページを表示部２２に表示するためのアプリケーションプログラムであるブラウザーアプリケーションプログラム２７ｃと、電話機能を実現するためのアプリケーションプログラムである電話アプリケーションプログラム２７ｄとを記憶している。なお、ノートアプリケーションプログラム２７ａ、ドキュメントアプリケーションプログラム２７ｂ、ブラウザーアプリケーションプログラム２７ｃおよび電話アプリケーションプログラム２７ｄは、Ｗｅｂアプリケーションでも良い。

図３に示す第１の表示部２２ａには、ドキュメントアプリケーションプログラム２７ｂに対応付けられたアイコン３１ａと、ブラウザーアプリケーションプログラム２７ｃに対応付けられたアイコン３１ｂと、電話アプリケーションプログラム２７ｄに対応付けられたアイコン３１ｃとが表示されている。図３に示す第２の表示部２２ｂには、英語用のノートを作成する場合のノートアプリケーションプログラム２７ａに対応付けられたアイコン３１ｄと、数学用のノートを作成する場合のノートアプリケーションプログラム２７ａに対応付けられたアイコン３１ｅと、メモ用のノートを作成する場合のノートアプリケーションプログラム２７ａに対応付けられたアイコン３１ｆとが表示されている。

記憶部２７は、ブラウザーアプリケーションプログラム２７ｃの実行内容を取得するブラウザー拡張機能用のプログラムであるブラウザー拡張機能用プログラム２７ｅを記憶している。

制御部２８は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）と、プログラムおよび各種のデータを記憶しているＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）と、制御部２８のＣＰＵの作業領域として用いられるメモリーとしてのＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）とを備えている。制御部２８のＣＰＵは、記憶部２７または制御部２８のＲＯＭに記憶されているプログラムを実行する。

制御部２８は、記憶部２７または制御部２８のＲＯＭに記憶されているプログラムを実行することによって、表示部２２に表示された画面に対する入力を受け付ける入力受付手段２８ａと、ユーザー認証を実行するユーザー認証手段２８ｂと、アプリケーションプログラムを実行するアプリ実行手段２８ｃと、ノートアプリケーションプログラム２７ａによって第２の表示部２２ｂに表示されたページ３２（図５参照。）のプレーバックデータの記録要求をデータ管理システム４０（図１参照。）に送信する記録要求手段２８ｄと、ノートアプリケーションプログラム２７ａによって第２の表示部２２ｂに表示されるページ３２のプレーバックデータの取得要求をデータ管理システム４０に送信する取得要求手段２８ｅと、取得要求手段２８ｅによって取得されたプレーバックデータを再生する再生処理手段２８ｆとを実現する。

入力受付手段２８ａは、例えば、ノートアプリケーションプログラム２７ａによって第２の表示部２２ｂに表示されるページ３２に対して操作部２１から入力される位置座標を示すポイントをページ３２上に表示する。すなわち、操作部２１から入力される位置座標の軌跡は、手書きデータとしてページ３２に描画される。入力受付手段２８ａは、例えば、図３に示すアイコン３１ａ～３１ｆのいずれかがタッチされることによって、タッチされたアイコンに対応付けられたアプリケーションプログラムの起動操作を受け付ける。

ユーザー認証手段２８ｂは、認証情報の入力を受け付けるための認証画面を表示部２２に表示する。そして、ユーザー認証手段２８ｂは、入力受付手段２８ａを介して認証画面に入力される認証情報をデータ管理システム４０に送信し、データ管理システム４０との間でユーザー認証を行う。例えば、データ管理システム４０は、予め登録されたアカウント情報における認証情報に、ユーザー認証手段２８ｂから送信された認証情報と一致するものが存在する場合に、認証が成功したことを示す認証成功通知をユーザー認証手段２８ｂに送信する。ユーザー認証手段２８ｂは、データ管理システム４０から認証成功通知が送信されてくることによって、ユーザーのログインを行う。例えば、認証情報は、ユーザーＩＤおよびパスワードの組み合わせである。

アプリ実行手段２８ｃは、入力受付手段２８ａによってアプリケーションプログラムの起動操作が受け付けられた場合、入力受付手段２８ａによって起動操作が受け付けられたアプリケーションプログラムを起動させる。アプリ実行手段２８ｃは、複数のアプリケーションプログラムを並行して実行することができる。

記録要求手段２８ｄは、第２の表示部２２ｂに表示されたページ３２に、入力受付手段２８ａを介して書き込まれる書き込みデータを、書き込まれたページ３２のプレーバックデータとして、タイムスタンプを付加して、通信部２６経由でリアルタイムにデータ管理システム４０に記録要求を送信する。また、記録要求手段２８ｄは、入力受付手段２８ａによってページ３２への書き込みが受け付けられている場合に、アプリ実行手段２８ｃによって実行されたドキュメントアプリケーションプログラム２７ｂ、ブラウザーアプリケーションプログラム２７ｃおよび電話アプリケーションプログラム２７ｄの実行内容等を、書き込まれたページ３２のプレーバックデータとして、タイムスタンプを付加して、通信部２６経由でリアルタイムにデータ管理システム４０に記録要求を送信する。なお、タイムスタンプは、図示していない計時部で計時される現在時刻を示す情報である。また、記録要求手段２８ｄは、マイク２３によって生成された音声データや、カメラ２５によって撮影された画像データなどをプレーバックデータに含めることができる。

取得要求手段２８ｅは、記録要求手段２８ｄによってデータ管理システム４０にプレーバックデータを送信済のページ３２が第２の表示部２２ｂに表示される場合に、このページ３２のプレーバックデータの取得要求を通信部２６経由でデータ管理システム４０に送信することによって、このプレーバックデータをデータ管理システム４０から受信する。

再生処理手段２８ｆは、取得要求手段２８ｅによって取得されたプレーバックデータに含まれる書き込みデータおよび実行内容を、それぞれに付加されたタイムスタンプに基づいて同期して再生する。

制御部２８は、ノートアプリケーションプログラム２７ａを実行することによってノートアプリ２８ｇを実現する。ノートアプリ２８ｇは、第２のタッチパネルを介して、複数のページを含む新規ノートの作成、表示および編集を受け付ける。

制御部２８は、ドキュメントアプリケーションプログラム２７ｂを実行することによってドキュメントアプリ２８ｈを実現する。ドキュメントアプリ２８ｈは、第１のタッチパネルを介して、教材コンテンツ等のドキュメントの作成、表示および編集を受け付ける。

制御部２８は、ブラウザーアプリケーションプログラム２７ｃを実行することによってブラウザーアプリ２８ｉを実現する。ブラウザーアプリ２８ｉは、通信部２６を介してインターネット等から取得するＷｅｂサイトを第１の表示部２２ａに表示する。

制御部２８は、電話アプリケーションプログラム２７ｄを実行することによって電話アプリ２８ｊを実現する。電話アプリ２８ｊは、通信部２６を介して他のユーザーとの音声通話を制御する。電話アプリ２８ｊは、１対１の通話だけでなく、複数人と通話するグループ通話が可能である。

電話アプリ２８ｊは、ノートアプリ２８ｇと連携している。アプリ実行手段２８ｃが電話アプリケーションプログラム２７ｄを起動させると、電話アプリ２８ｊは、通話先を選択するためのアドレス帳３３（図５参照。）を第１の表示部２２ａに表示する。アプリ実行手段２８ｃは、電話アプリケーションプログラム２７ｄを起動させる場合、ノートアプリケーションプログラム２７ａも起動させる。アプリ実行手段２８ｃがノートアプリケーションプログラム２７ａを起動させると、ノートアプリ２８ｇは、書き込み可能な新規のページ３２（図５参照。）を第２の表示部２２ｂに表示する。したがって、発信者は、電話の際に、第２の表示部２２ｂに表示されたページ３２に操作部２１を介してメモすることができる。

発信側のモバイル端末の第２の表示部に表示されたページ３２は、通話者間で共有されるページとしてデータ管理システム４０に登録され、通話先と共有される。着信側のモバイル端末は、発信側のモバイル端末の電話アプリからの着信があると、アプリ実行手段によって電話アプリケーションプログラムを起動することによって、発信者とのビデオ通話を可能にし、通話先の相手を示す画像３４（図５参照。）を第１の表示部に表示する。そして、着信側のモバイル端末のアプリ実行手段はノートアプリケーションプログラムを起動することによって、通話者間で共有されるページ３２をデータ管理システム４０から取得し、第２の表示部に表示する。したがって、発信者と、着信者とは、モバイル端末の第２の表示部に表示されるページ３２を介して書き込みを共有することができる。

なお、ノートアプリケーションプログラム２７ａによって第２の表示部２２ｂに表示されたページ３２への書き込みを入力受付手段２８ａが受け付けている場合、第２の表示部２２ｂには、図５に示すように、マイクボタン３５が表示される。マイクボタン３５は、操作部２１を介してタッチされる度に、ＯＮと、ＯＦＦとが切り替わる。マイクボタン３５がＯＮである間、マイク２３によって入力音声に基づく音声データが生成され、録音が行われる。通話中でない状態でマイクボタン３５がＯＮになった場合、マイク２３によって生成された音声データは、記録要求手段２８ｄによってマイク録音データとして取得される。通話中にマイクボタン３５がＯＮになった場合、マイク２３によって生成された音声データは、発信録音データとして記録要求手段２８ｄによって取得される。記録要求手段２８ｄによって発信録音データが取得される場合、ネットワーク１１を介して着信する通話先の音声データは、着信録音データとして記録要求手段２８ｄによって取得される。

制御部２８は、ブラウザー拡張機能用プログラム２７ｅを実行することによって、ブラウザー拡張機能２８ｋを実現する。ブラウザー拡張機能２８ｋは、ブラウザーアプリ２８ｉがいずれのＷｅｂサイトにアクセスしているかなど、ブラウザーアプリ２８ｉで発生した全てのイベントを取得することができるとともに、ブラウザーアプリ２８ｉに任意のＷｅｂサイトにアクセスさせるなど、ブラウザーアプリ２８ｉに任意のアクションを行わせることができる。

図６は、１台のコンピューターによって構成される場合のデータ管理システム４０のブロック図である。

図６に示すデータ管理システム４０は、種々の操作が入力される例えばキーボード、マウスなどの操作デバイスである操作部４１と、種々の情報を表示する例えばＬＣＤなどの表示デバイスである表示部４２と、ＬＡＮ、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部４３と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤなどの不揮発性の記憶デバイスである記憶部４４と、データ管理システム４０全体を制御する制御部４５とを備えている。

データ管理システム４０は、複数のモバイル端末を介した通話者間でのページの書き込みを共有するために、例えば、ＭＱＴＴ（ＭｅｓｓａｇｅＱｕｅｕｅＴｅｌｅｍｅｔｒｙＴｒａｎｓｐｏｒｔ）サーバーを備えても良い。ＭＱＴＴサーバーは、通話毎に通話者の登録を受け付け、登録された１人の通話者がモバイル端末上で行った操作を他の通話者のモバイル端末にリアルタイムに通知して反映させることによって、通話者間でページの書き込みを共有させることができる。また、ＭＱＴＴサーバーは、ページだけでなく、ドキュメントアプリケーションプログラムによるドキュメントデータや、ブラウザーアプリケーションプログラムによるＷｅｂサイトを通話者間で共有させることもできる。

記憶部４４は、例えば、データベースサーバーによって構成されても良い。記憶部４４は、データベース４４ａと、大容量記憶部４４ｂとを備えている。

図７は、データベース４４ａのディレクトリー構成を示す図である。

図７に示すように、データベース４４ａは、「データ」、「ユーザー」、「ノート」、「ページ」のディレクトリーの順に構成された階層構造を有している。「ユーザー」は、ユーザー毎に、ユーザーＩＤ等によって識別可能に設けられている。「ノート」は、ユーザーが作成したノート毎に、ノート名等によって識別可能に設けられている。「ページ」は、ノートを構成するページ毎に、ページＩＤ等によって識別可能に設けられている。

情報処理システム１０（図１参照。）に含まれるモバイル端末から送信されてくるプレーバックデータ５０は、ページのデータとして「ページ」の配下に格納される。プレーバックデータ５０は、マイク録音データ５１、着信録音データ５２、発信録音データ５３、手書きデータ５４、コピーアンドペーストデータ５５、日付ブックマークデータ５６およびアプリケーションイベント５７を含んでいる。手書きデータ５４およびコピーアンドペーストデータ５５は、ページに描画された書き込み内容であるが、マイク録音データ５１、着信録音データ５２、発信録音データ５３およびアプリケーションイベント５７等は、ユーザーがページへの書き込みの参考にした参考情報である。つまり、データベース４４ａは、各ユーザーが有する各ノートのページ毎に、ページへの書き込み内容と、ページへの書き込みの参考にした参考情報とを一緒に記憶する。

図８は、プレーバックデータ５０の一例を示す図である。

図８に示すように、マイク録音データ５１、着信録音データ５２、発信録音データ５３は、ｗａｖ等の音声ファイル形式で記録される。手書きデータ５４は、ＳＶＧ等のベクター形式で記録される。また、コピーアンドペーストデータ５５は、文字や画像、リンク先のｕｒｌ等を含めて記録される。日付ブックマークデータ５６は、日時情報が記録される。アプリケーションイベント５７は、アプリケーションの実行内容が記録される。

なお、図７では、ドキュメントデータは「ユーザー」の配下に格納されている。プレーバックデータ５０にドキュメントアプリ２８ｈ（図２参照。）のアプリケーションイベント５７が含まれる場合、このアプリケーションイベント５７は、ドキュメントアプリ２８ｈが表示したドキュメントデータのファイル名を含む。そのため、プレーバックデータ５０にドキュメントアプリ２８ｈのアプリケーションイベント５７が含まれる場合、ドキュメントアプリ２８ｈは、アプリケーションイベント５７に含まれる、ドキュメントデータのファイル名に基づいて、表示対象のドキュメントデータをデータ管理システム４０から取得して表示することができる。

大容量記憶部４４ｂは、ＨＤＤ等の大容量記憶手段であり、ＷＡＶ、ＸＭＬ、ＳＶＧ、ＪＳＯＮ、ＰＤＦ、ＭｉｃｒｏｓｏｆｔＷｏｒｄ、ＭｉｃｒｏｓｏｆｔＥｘｃｅｌ等の各種データを記憶する。マイク録音データ５１、着信録音データ５２、発信録音データ５３、手書きデータ５４およびドキュメントデータのように、データ量の大きなデータの実体は、大容量記憶部４４ｂに記憶される。

制御部４５は、例えば、ＣＰＵと、プログラムおよび各種のデータを記憶しているＲＯＭと、制御部４５のＣＰＵの作業領域として用いられるメモリーとしてのＲＡＭとを備えている。制御部４５のＣＰＵは、記憶部４４または制御部４５のＲＯＭに記憶されているプログラムを実行する。

制御部４５は、記憶部４４または制御部４５のＲＯＭに記憶されているプログラムを実行することによって、情報処理システム１０（図１参照。）に含まれるモバイル端末からネットワーク１１（図１参照。）を介して送信されてきたプレーバックデータの記録要求を受け付けて、このプレーバックデータを記憶部４４に記憶させる記録要求受付手段４５ａと、情報処理システム１０に含まれるモバイル端末からネットワーク１１を介して送信されてきたプレーバックデータの取得要求を受け付けて、このプレーバックデータを記憶部４４において検索し、検索したプレーバックデータをネットワーク１１経由でモバイル端末に返信する取得要求応答手段４５ｂと、情報処理システム１０に含まれるモバイル端末の各アプリからのリクエストに応じて各種のアプリケーション処理を行うアプリケーション処理手段４５ｃとを実現する。記録要求受付手段４５ａ、取得要求応答手段４５ｂおよびアプリケーション処理手段４５ｃは、それぞれ、複数のＷｅｂサーバーで構成されても良い。

アプリケーション処理手段４５ｃは、例えば、モバイル端末の電話アプリからのリクエストに応じて、公衆回線等のネットワークを介した呼制御を行う。データ管理システム４０は、電話の呼制御処理を行うためのＷｅｂＲＴＣゲートウェイやＩＰ－ＰＢＸ、ＳＩＰサーバーを備えても良い。また、アプリケーション処理手段４５ｃは、モバイル端末のノートアプリの機能を提供するノートアプリサーバーと、モバイル端末のドキュメントアプリの機能を提供するドキュメントアプリサーバーと、モバイル端末のブラウザーアプリの機能を提供するブラウザーサーバーと、モバイル端末の電話アプリの機能を提供する電話サーバーとのいずれかを備えても良い。

次に、情報処理システム１０の動作について説明する。

まず、モバイル端末２０によってデータ管理システム４０に送信されたプレーバックデータ５０がデータ管理システム４０に記憶される場合の情報処理システム１０の動作について説明する。

ユーザー認証手段２８ｂによってログインしたユーザーは、ノートアプリケーションプログラム２７ａによってページ３２が第２の表示部２２ｂに表示されると、ページ３２に対して、書き込みを行うか、後述のプレーバックデータ５０の再生を行うかを操作部２１を介して選択することができる。モバイル端末２０の記録要求手段２８ｄは、ページ３２に対して書き込みを行うことが選択された場合、図９に示す動作を開始する。

図９は、ページ３２に対して書き込みが行われる場合のモバイル端末２０の動作のフローチャートである。

図９に示すように、モバイル端末２０の記録要求手段２８ｄは、記録開始日時を示す日付ブックマークデータを作成し、作成した日付ブックマークデータにタイムスタンプを付加し、タイムスタンプを付加した日付ブックマークデータをページ３２のプレーバックデータの日付ブックマークデータとして、データ管理システム４０に記録要求を送信する（Ｓ１０１）。したがって、データ管理システム４０の記録要求受付手段４５ａは、Ｓ１０１においてモバイル端末２０から送信された記録要求を受け付けて、受け付けた記録要求の対象である日付ブックマークデータを、ページ３２のプレーバックデータ５０の日付ブックマークデータ５６の少なくとも一部として、記憶部４４においてページ３２の配下に記憶する。

モバイル端末２０の記録要求手段２８ｄは、Ｓ１０１の処理が終了すると、ノートアプリケーションプログラム２７ａ以外のアプリケーションプログラム、すなわち、他のアプリケーションプログラムがアプリ実行手段２８ｃによって実行されたか否かを判断する（Ｓ１０２）。

記録要求手段２８ｄは、他のアプリケーションプログラム、すなわち、ドキュメントアプリケーションプログラム２７ｂ、ブラウザーアプリケーションプログラム２７ｃ、電話アプリケーションプログラム２７ｄなどのアプリケーションプログラムがアプリ実行手段２８ｃによって実行されたとＳ１０２において判断すると、アプリ実行手段２８ｃによって実行されたアプリケーションプログラムの実行内容を示すアプリケーションイベントを取得し、取得したアプリケーションイベントにタイムスタンプを付加し、タイムスタンプを付加したアプリケーションイベントをページ３２のプレーバックデータのアプリケーションイベントとして、データ管理システム４０に記録要求を送信する（Ｓ１０３）。ここで、記録要求手段２８ｄは、ブラウザーアプリケーションプログラム２７ｃの実行内容としては、ブラウザー拡張機能２８ｋによって取得されたものを利用する。したがって、データ管理システム４０の記録要求受付手段４５ａは、Ｓ１０３においてモバイル端末２０から送信された記録要求を受け付けて、受け付けた記録要求の対象であるアプリケーションイベントを、ページ３２のプレーバックデータ５０のアプリケーションイベント５７の少なくとも一部として、記憶部４４においてページ３２の配下に記憶する。例えば、図１０に示すように、第２の表示部２２ｂに表示されたページ３２に対して書き込みが行われている場合に、ドキュメントアプリケーションプログラム２７ｂによるドキュメントデータ３６や、ブラウザーアプリケーションプログラム２７ｃによるＷｅｂサイト３７が第１の表示部２２ａに表示されたとき、モバイル端末２０の記録要求手段２８ｄは、ドキュメントアプリケーションプログラム２７ｂの実行内容を示すアプリケーションイベントと、ブラウザーアプリケーションプログラム２７ｃの実行内容を示すアプリケーションイベントとを取得し、取得したアプリケーションイベントのそれぞれにタイムスタンプを付加し、タイムスタンプを付加したアプリケーションイベントのそれぞれをページ３２のプレーバックデータのアプリケーションイベントとして、データ管理システム４０に記録要求を送信する。したがって、データ管理システム４０の記録要求受付手段４５ａは、モバイル端末２０においてユーザーがページ３２に書き込む際にユーザーが参照したドキュメントデータやＷｅｂサイトに関する情報を、ページ３２に関連付けて記録することができる。

モバイル端末２０の記録要求手段２８ｄは、他のアプリケーションプログラムがアプリ実行手段２８ｃによって実行されていないとＳ１０２において判断するか、Ｓ１０３の処理が終了すると、入力受付手段２８ａによってページ３２に手書き入力がされたか否かを判断する（Ｓ１０４）。

記録要求手段２８ｄは、入力受付手段２８ａによってページ３２に手書き入力がされたとＳ１０４において判断すると、入力受付手段２８ａによってページ３２に書き込まれた手書きデータを取得し、取得した手書きデータにタイムスタンプを付加し、タイムスタンプを付加した手書きデータをページ３２のプレーバックデータの手書きデータとして、データ管理システム４０に記録要求を送信する（Ｓ１０５）。したがって、データ管理システム４０の記録要求受付手段４５ａは、Ｓ１０５においてモバイル端末２０から送信された記録要求を受け付けて、受け付けた記録要求の対象である手書きデータを、ページ３２のプレーバックデータ５０の手書きデータ５４の少なくとも一部として、記憶部４４においてページ３２の配下に記憶する。

モバイル端末２０の記録要求手段２８ｄは、入力受付手段２８ａによってページ３２に手書き入力がされていないとＳ１０４において判断するか、Ｓ１０５の処理が終了すると、入力受付手段２８ａによってマイクボタン３５がＯＮにされたか否かを判断する（Ｓ１０６）。

記録要求手段２８ｄは、入力受付手段２８ａによってマイクボタン３５がＯＮにされたとＳ１０６において判断すると、通話状況に応じてマイク録音データ、着信録音データおよび発信録音データのいずれかの録音データを取得し、取得した録音データにタイムスタンプを付加し、タイムスタンプを付加した録音データをページ３２のプレーバックデータの録音データとして、データ管理システム４０に記録要求を送信する（Ｓ１０７）。したがって、データ管理システム４０の記録要求受付手段４５ａは、Ｓ１０７においてモバイル端末２０から送信された記録要求を受け付けて、受け付けた記録要求の対象である録音データを、ページ３２のプレーバックデータ５０の録音データの少なくとも一部として、記憶部４４においてページ３２の配下に記憶する。ここで、記録要求受付手段４５ａは、Ｓ１０７においてモバイル端末２０から送信された記録要求の対象である録音データがマイク録音データである場合、このマイク録音データをページ３２のプレーバックデータ５０のマイク録音データ５１の少なくとも一部として記憶する。また、記録要求受付手段４５ａは、Ｓ１０７においてモバイル端末２０から送信された記録要求の対象である録音データが着信録音データである場合、この着信録音データをページ３２のプレーバックデータ５０の着信録音データ５２の少なくとも一部として記憶する。また、記録要求受付手段４５ａは、Ｓ１０７においてモバイル端末２０から送信された記録要求の対象である録音データが発信録音データである場合、この発信録音データをページ３２のプレーバックデータ５０の発信録音データ５３の少なくとも一部として記憶する。したがって、例えば、モバイル端末２０においてノートアプリケーションプログラム２７ａによって第２の表示部２２ｂに表示されたページ３２への書き込みを入力受付手段２８ａが受け付けている場合にモバイル端末２０によって録音された講師等の音声や通話音声を、データ管理システム４０においてページ３２に関連付けて記録することができる。

モバイル端末２０の記録要求手段２８ｄは、入力受付手段２８ａによってマイクボタン３５がＯＮにされていないとＳ１０６において判断するか、Ｓ１０７の処理が終了すると、入力受付手段２８ａによってページ３２に対してコピーアンドペーストがされたか否かを判断する（Ｓ１０８）。例えば、ユーザーは、図１１に示すように、操作部２１を介してドキュメントデータ３６や、Ｗｅｂサイト３７からコピー対象領域３８を選択して、選択したコピー対象領域３８内の文字や画像、リンク情報をコピーし、ページ３２内の指定した位置に貼り付けて、コピーアンドペーストすることができる。また、ユーザーは、他のユーザーが作成したノートのページの書き込み内容を、自分の書き込み対象のページ３２にコピーアンドペーストすることもできる。

記録要求手段２８ｄは、入力受付手段２８ａによってページ３２に対してコピーアンドペーストがされたとＳ１０８において判断すると、入力受付手段２８ａによってページ３２に書き込まれたコピーアンドペーストデータを取得し、取得したコピーアンドペーストデータにタイムスタンプを付加し、タイムスタンプを付加したコピーアンドペーストデータをページ３２のプレーバックデータのコピーアンドペーストデータとして、データ管理システム４０に記録要求を送信する（Ｓ１０９）。したがって、データ管理システム４０の記録要求受付手段４５ａは、Ｓ１０９においてモバイル端末２０から送信された記録要求を受け付けて、受け付けた記録要求の対象であるコピーアンドペーストデータを、ページ３２のプレーバックデータ５０のコピーアンドペーストデータ５５の少なくとも一部として、記憶部４４においてページ３２の配下に記憶する。

モバイル端末２０の記録要求手段２８ｄは、入力受付手段２８ａによってページ３２に対してコピーアンドペーストがされていないとＳ１０８において判断するか、Ｓ１０９の処理が終了すると、入力受付手段２８ａによる書き込みの受付が終了したか否かを判断する（Ｓ１１０）。例えば、入力受付手段２８ａは、操作部２１を介してノートを閉じる操作がされたり、操作部２１を介して次のページの表示操作がされたりした場合に、表示しているページ３２への書き込みの受付を終了する。

モバイル端末２０の記録要求手段２８ｄは、入力受付手段２８ａによる書き込みの受付が終了していないとＳ１１０において判断すると、Ｓ１０２の処理を実行する。すなわち、記録要求手段２８ｄは、入力受付手段２８ａによってページ３２への書き込みが受け付けられている間、ページ３２のプレーバックデータの記録要求を行う。

モバイル端末２０の記録要求手段２８ｄは、入力受付手段２８ａによる書き込みの受付が終了したとＳ１１０において判断すると、記録終了日時を示す日付ブックマークデータを作成し、作成した日付ブックマークデータにタイムスタンプを付加し、タイムスタンプを付加した日付ブックマークデータをページ３２のプレーバックデータの日付ブックマークデータとして、データ管理システム４０に記録要求を送信する（Ｓ１１１）。したがって、データ管理システム４０の記録要求受付手段４５ａは、Ｓ１１１においてモバイル端末２０から送信された記録要求を受け付けて、受け付けた記録要求の対象である日付ブックマークデータを、ページ３２のプレーバックデータ５０の日付ブックマークデータ５６の少なくとも一部として、記憶部４４においてページ３２の配下に記憶する。

モバイル端末２０の記録要求手段２８ｄは、Ｓ１１１の処理が終了すると、図９に示す動作を終了する。

次に、他のユーザーが作成したノートのページの書き込み内容をユーザーが自分の書き込み対象のページ３２にコピーアンドペーストする場合の情報処理システム１０の動作について詳細に説明する。

ユーザー（以下「ユーザーＡ」という。）は、図１２に示すように、他のユーザー（以下「ユーザーＢ」という。）が作成したノートのページをユーザーＡ自身のモバイル端末２０の第２の表示部２２ｂに表示させ、ユーザーＢのページの書き込み内容をユーザーＡ自身の書き込み対象のページ３２にコピーアンドペーストすることもできる。この場合、ユーザーＡは、予め設定された認証キーを入力することによって、ユーザーＢから許可されたページをユーザーＡ自身のモバイル端末２０に表示させることができる。ユーザーＢは、予め、ユーザーＢ自身のモバイル端末のノートアプリ２８ｇを介して、データ管理システム４０と通信を行い、ユーザーＡに表示を許可するページに、パスワード等の認証キーを設定しておけば良い。

ユーザーＡのモバイル端末２０の記録要求手段２８ｄが、ユーザーＢのページの書き込み内容のコピーアンドペーストデータの記録要求をＳ１０９においてデータ管理システム４０に送信すると、データ管理システム４０の記録要求受付手段４５ａは、図１３に示すように、コピー対象領域３８に対応するユーザーＢのプレーバックデータを含めたコピーアンドペーストデータを、ページ３２のプレーバックデータ５０のコピーアンドペーストデータ５５の少なくとも一部として、記憶部４４においてページ３２の配下に記憶する。すなわち、コピー対象領域３８内の書き込みデータ（手書きデータ５４およびコピーアンドペーストデータ５５）だけでなく、コピー対象領域３８内の書き込みデータにおける最初のタイムスタンプから最後のタイムスタンプまでに対応するユーザーＢのプレーバックデータの全てがコピー対象となる。

例えば、図１４では、コピー対象領域３８に対応するユーザーＢのプレーバックデータとして、マイク録音データ、手書きデータ、コピーアンドペーストデータおよびアプリケーションイベントが含まれる。したがって、ユーザーＡがユーザーＢのページからコピーしたコピー対象領域３８の書き込みデータが、ユーザーＢが書き込みの参考にしたドキュメントデータやＷｅｂサイト等の情報をバックボーンに抱えて、ユーザーＡのページ３２に貼り付けされる。

なお、図１５に示すように、ユーザーＢのページからコピーしたコピー対象領域３８がユーザーＡのページ３２に貼り付けられる場合に、コピー対象領域３８のサイズがページ３２の残りの書き込み可能領域（貼り付け可能領域）のサイズよりも大きいとき、コピー対象領域３８は、ページ３２と、ページ３２の次のページとに跨って貼り付けられる。図１５に示す例では、コピー対象領域３８は、ページ３２に貼り付けられるコピー対象領域３８ａと、ページ３２の次のページに貼り付けられるコピー対象領域３８ｂとに分割される。したがって、まず、ユーザーＡのモバイル端末２０の記録要求手段２８ｄは、コピー対象領域３８ａに基づくコピーアンドペーストデータにタイムスタンプを付加し、タイムスタンプを付加したコピーアンドペーストデータをページ３２のプレーバックデータのコピーアンドペーストデータとして、データ管理システム４０に記録要求を送信する（Ｓ１０９）。次いで、記録要求手段２８ｄは、ページ３２に書き込み可能領域がなくなったので、書き込み終了と判断し、記録終了日時を示す日付ブックマークデーを作成し、作成した日付ブックマークデータにタイムスタンプを付加し、タイムスタンプを付加した日付ブックマークデータをページ３２のプレーバックデータの日付ブックマークデータとして、データ管理システム４０に記録要求を送信する（Ｓ１１１）。次いで、コピー対象領域３８ｂを貼り付けるため、ノートアプリケーションプログラム２７ａによってページ３２の次のページが表示され、入力受付手段２８ａによって書き込みが受け付けられる。次いで、ユーザーＡのモバイル端末２０の記録要求手段２８ｄは、記録開始日時を示す日付ブックマークデータを作成し、作成した日付ブックマークデータにタイムスタンプを付加し、タイムスタンプを付加した日付ブックマークデータをページ３２の次のページのプレーバックデータの日付ブックマークデータとして、データ管理システム４０に記録要求を送信する（Ｓ１０１）。次いで、コピー対象領域３８ｂがページ３２の次のページに貼り付けされるので、記録要求手段２８ｄは、コピー対象領域３８ｂに基づくコピーアンドペーストデータにタイムスタンプを付加し、タイムスタンプを付加したコピーアンドペーストデータをページ３２の次のページのプレーバックデータのコピーアンドペーストデータとして、データ管理システム４０に記録要求を送信する（Ｓ１０９）。したがって、データ管理システム４０の記録要求受付手段４５ａは、図１６および図１７に示すように、記憶部４４においてユーザーＡの連続する複数のページの配下に、コピーアンドペーストデータ５５として、それぞれ、ユーザーＢのコピー対象領域３８ａに対応するプレーバックデータと、ユーザーＢのコピー対象領域３８ｂに対応するプレーバックデータとをコピーする。

なお、コピー元であるユーザーＢが、コピー対象領域３８内の書き込みに、ユーザーＣのページからコピーした書き込みデータを含めて作成していた場合、コピー対象領域３８は、ユーザーＢのプレーバックデータと、ユーザーＣのプレーバックデータとを含む。この場合、データ管理システム４０の記録要求受付手段４５ａは、ユーザーＡからプレーバックデータとしてコピーアンドペーストデータの記録要求を受け付けると、コピー対象領域３８に対応する複数のユーザーのプレーバックデータを、記憶部４４においてユーザーＡのページの配下に、コピーアンドペーストデータ５５としてコピーする。

次に、データ管理システム４０に記憶されているプレーバックデータ５０がモバイル端末２０によって再生される場合の情報処理システム１０の動作について説明する。

ユーザー認証手段２８ｂによってログインしたユーザーは、モバイル端末２０の操作部２１を介してノートを開く操作を入力することができる。ノートを開く操作をモバイル端末２０の入力受付手段２８ａが受け付けると、モバイル端末２０の取得要求手段２８ｅは、図１８に示す動作を開始する。

図１８は、プレーバックデータ５０の再生を行う場合のモバイル端末２０の動作のフローチャートである。

図１８に示すように、モバイル端末２０の取得要求手段２８ｅは、最後に第２の表示部２２ｂに表示されたページ、すなわち、直近のページである最終更新ページのプレーバックデータの取得要求をデータ管理システム４０に送信する（Ｓ１３１）。なお、新規のノートのように１回も開いたことがないノートの場合には、取得要求手段２８ｅは、１ページ目を最終更新ページとする。データ管理システム４０の取得要求応答手段４５ｂは、Ｓ１３１においてモバイル端末２０から送信された取得要求を受け付けて、受け付けた取得要求の対象であるページのプレーバックデータを記憶部４４から検索する。ここで、取得要求応答手段４５ｂは、記憶部４４に記憶されている日付ブックマークデータやタイムスタンプのうち、最新日時が格納されているページを最終更新ページとして特定すれば良い。データ管理システム４０の取得要求応答手段４５ｂは、取得要求の対象であるページのプレーバックデータを特定すると、記憶部４４から最終更新ページのディレクトリーに格納されている、日付ブックマークデータ、アプリケーションイベント、手書きデータ、録音データ、コピーアンドペーストデータ等をプレーバックデータとして取得し、取得したページのプレーバックデータをモバイル端末２０に送信する。なお、一度も書き込みが受け付けられていない新規ページの場合、このページのディレクトリーには、プレーバックデータが格納されていない。そのため、データ管理システム４０の取得要求応答手段４５ｂは、新規ページの取得要求がされた場合には、プレーバックデータとして空の情報（例えばＮＵＬＬ等）をモバイル端末２０に送信する。

モバイル端末２０の取得要求手段２８ｅは、Ｓ１３１の処理が終了すると、データ管理システム４０からのプレーバックデータの受信が完了したと判断するまで、データ管理システム４０からのプレーバックデータの受信が完了したか否かを判断する（Ｓ１３２）。

モバイル端末２０の再生処理手段２８ｆは、データ管理システム４０からのプレーバックデータの受信が完了したとＳ１３２において判断されると、データ管理システム４０からの受信が完了したとＳ１３２において判断したプレーバックデータに含まれる手書きデータおよびコピーアンドペーストデータが最後まで書き込まれたページ（最終更新ページ）を、ノートアプリケーションプログラム２７ａによって第２の表示部２２ｂに表示する（Ｓ１３３）。ここで、再生処理手段２８ｆは、データ管理システム４０からの受信が完了したとＳ１３２において判断したプレーバックデータが空の情報である場合には、何も書き込まれていないページのみを第２の表示部２２ｂに表示する。

モバイル端末２０の再生処理手段２８ｆは、Ｓ１３３の処理が終了すると、データ管理システム４０からの受信が完了したとＳ１３２において判断したプレーバックデータに含まれるアプリケーションイベントに基づいて、ノートアプリケーションプログラム２７ａ以外の他のアプリケーションプログラムによって最後に表示された画面を表示部２２に表示する（Ｓ１３４）。すなわち、再生処理手段２８ｆは、前回、最終更新ページへの書き込みを終了した時点で表示部２２に表示されていた他のアプリケーションプログラムによる画面を表示部２２に表示する。例えば、前回、最終更新ページへの書き込みを終了した時点で表示部２２に表示されていたドキュメントデータやＷｅｂサイトが第１の表示部２２ａに表示される。

モバイル端末２０の再生処理手段２８ｆは、Ｓ１３４の処理が終了すると、プレーバックデータを再生するための図１９に示す再生バー３９を第２の表示部２２ｂに表示する（Ｓ１３５）。再生バー３９は、プレーバックデータの再生時間長を示す領域である再生可能領域３９ａと、再生可能領域３９ａ内の再生位置を示すカーソルであって、操作部２１を介して再生可能領域３９ａ内の任意の位置にスライド可能である再生カーソル３９ｂと、再生カーソル３９ｂの再生位置に対応する時刻からプレーバックデータを再生するための再生開始ボタン３９ｃと、プレーバックデータの再生を停止するための再生停止ボタン３９ｄとを備えている。

モバイル端末２０の再生処理手段２８ｆは、Ｓ１３５の処理が終了すると、再生開始ボタン３９ｃによって再生バー３９が再生操作を受け付けたと判断するまで、再生開始ボタン３９ｃによって再生バー３９が再生操作を受け付けたか否かを判断する（Ｓ１３６）。

モバイル端末２０の再生処理手段２８ｆは、再生開始ボタン３９ｃによって再生バー３９が再生操作を受け付けたとＳ１３６において判断すると、再生カーソル３９ｂが示す再生位置に対応する時刻のタイムスタンプ以降のプレーバックデータに基づく表示を一旦消して、再生カーソル３９ｂが示す再生位置に対応する時刻のタイムスタンプからプレーバックデータを順に再生する（Ｓ１３７）。すなわち、再生処理手段２８ｆは、データ管理システム４０からの受信が完了したとＳ１３２において判断したプレーバックデータ内の、再生カーソル３９ｂが示す時刻以降で、この時刻に最も近い時刻を示すタイムスタンプを有するデータから、最終時刻のタイムスタンプを有するデータまでを、時系列的に再生する。なお、再生処理手段２８ｆは、第２の表示部２２ｂに表示されているページ内の書き込みデータのうち、いずれかの書き込みデータがタッチされることによって、タッチされた書き込みデータのタイムスタンプを再生位置としてプレーバックデータを再生しても良い。

モバイル端末２０の再生処理手段２８ｆは、Ｓ１３７においてプレーバックデータを再生する場合に、再生対象のプレーバックデータを、取得要求手段２８ｅを介してデータ管理システム４０から逐次取得してストリーミング再生しても良い。例えば、再生処理手段２８ｆは、図２０に示すように、プレーバックデータの再生中に１秒毎などの特定の時間毎にタイマー割込みを発生させ、発生させたタイマー割込みに対応する時刻から、次に発生させるタイマー割込みまでの時間などの特定の時間内に対応するタイムスタンプを有するプレーバックデータの取得要求を取得要求手段２８ｅによってデータ管理システム４０に対して行って、このプレーバックデータをデータ管理システム４０から取得する。再生処理手段２８ｆは、プレーバックデータをデータ管理システム４０から取得すると、取得した該当期間のデータを、ノートアプリ２８ｇ、ドキュメントアプリ２８ｈ、ブラウザーアプリ２８ｉおよび電話アプリ２８ｊの少なくとも１つ以上に渡して同期して再生させる。モバイル端末２０がデータ管理システム４０からプレーバックデータを逐次取得してストリーミング再生する場合、最終更新ページを第２の表示部２２ｂに表示させるときに受信するプレーバックデータのデータ量を減らすことができるので、最終更新ページを表示するまでの時間を短縮することができる。

なお、モバイル端末２０の再生処理手段２８ｆは、ブラウザーアプリケーションプログラム２７ｃの実行内容を再生する場合、ブラウザーアプリケーションプログラム２７ｃの実行内容をブラウザー拡張機能２８ｋを介して再生する。

以上においては、最終更新ページに対するプレーバックデータの再生について説明したが、最終更新ページ以外のページに対するプレーバックデータの再生についても同様である。例えば、モバイル端末２０の再生処理手段２８ｆは、最終更新ページを第２の表示部２２ｂに表示した後に、次のページを表示させる操作や、前のページを表示させる操作が操作部２１を介して入力された場合、新たな表示対象のページに対するプレーバックデータの取得要求をデータ管理システム４０に送信し、データ管理システム４０から取得したプレーバックデータに基づいて表示対象のページを第２の表示部２２ｂに表示し、このページに対するプレーバックデータを操作部２１を介した操作に応じて再生する。

以上に説明したように、情報処理システム１０は、モバイル端末２０に表示されたページに書き込みが行われた際に参考にされたドキュメントデータやＷｅｂサイト、マイク２３による音声データなどを、タイムスタンプを付加して、書き込みデータとともにページに関連付けてプレーバックデータとして記録する。そして、情報処理システム１０は、書き込んだページを表示させる場合に、ページのプレーバックデータを取得し、取得したプレーバックデータに含まれる各データをタイムスタンプに基づいて同期して再生することができる。したがって、情報処理システム１０は、ノートのページへの書き込みを、書き込んだ状況とともに再現することができ、ノートのページへの書き込み内容をユーザーに容易に理解させることができる。

モバイル端末２０は、ブラウザーアプリケーションプログラム２７ｃの実行内容をブラウザー拡張機能２８ｋによって取得し、ブラウザーアプリケーションプログラム２７ｃの実行内容をブラウザー拡張機能２８ｋを介して再生するので、モバイル端末２０の製造業者と、ブラウザーアプリケーションプログラム２７ｃの製造業者とが異なる場合であっても、ブラウザー拡張機能２８ｋを利用することによって、ブラウザーアプリケーションプログラム２７ｃの実行内容の記録および再生を実行することができる。

モバイル端末２０は、本実施の形態において第１の表示部２２ａおよび第２の表示部２２ｂという２個のハードウェアで表示部２２を構成している。しかしながら、モバイル端末２０は、ハードウェアとしては１個の表示部をソフトウェアによって２個の表示部に分割することによって、第１の表示部２２ａおよび第２の表示部２２ｂを構成しても良い。

２０モバイル端末
２２表示部（表示デバイス）
２７ａノートアプリケーションプログラム（アプリケーションプログラム）
２７ｂドキュメントアプリケーションプログラム（アプリケーションプログラム）
２７ｃブラウザーアプリケーションプログラム（アプリケーションプログラム）
２７ｄ電話アプリケーションプログラム（アプリケーションプログラム）
２８ａ入力受付手段
２８ｃアプリ実行手段
２８ｄ記録要求手段
２８ｆ再生処理手段
２８ｋブラウザー拡張機能
３２ページ
４０データ管理システム
５０プレーバックデータ
５４手書きデータ（書き込みデータ）
５５コピーアンドペーストデータ（書き込みデータ）
５７アプリケーションイベント（アプリケーションの実行内容）

Claims

ページを表示する表示デバイスと、
前記表示デバイスに表示された前記ページへの書き込みを受け付ける入力受付手段と、
アプリケーションプログラムを実行するアプリ実行手段と、
前記アプリケーションプログラムが、Ｗｅｂサイトを前記表示デバイスに表示するブラウザーアプリケーションプログラムである場合に、前記ブラウザーアプリケーションプログラムの実行内容を取得するブラウザー拡張機能と、
前記入力受付手段によって受け付けられた書き込みデータを、この書き込みデータが前記入力受付手段によって受け付けられた時に相当する時刻を示すタイムスタンプが付加された状態で含むとともに、前記ブラウザー拡張機能によって取得された前記実行内容を、この実行内容が前記ブラウザー拡張機能によって取得された時に相当する時刻を示すタイムスタンプが付加された状態で含むプレーバックデータの記録をデータ管理システムに要求する記録要求手段と、
前記データ管理システムから取得された前記プレーバックデータに含まれる前記書き込みデータおよび前記実行内容を、それぞれに付加された前記タイムスタンプに基づいて同期して再生する再生処理手段と
を備え、
前記再生処理手段は、前記ブラウザーアプリケーションプログラムの前記実行内容を前記ブラウザー拡張機能を介して再生することを特徴とするモバイル端末。