JP7142441B2 - 出力装置、データ出力システム、及び出力方法 - Google Patents

Description

本発明の一様態は、出力装置、データ出力システム、及びデータの出力方法に関する。

近年、学校等において、各生徒が、ノートパソコン、タブレット等の端末を所持しての授業が行われている。各生徒は、例えば、教科書、参考書等を読む場合や電子的にメモを取る場合に、当該端末を用いる。

以下の特許文献１では、端末装置を用いて授業を受けた場合において、開いていた電子教科書のページと電子黒板の板書データとを関連付けて記録することにより、当該授業を復習する際に生じる手間を軽減できる情報処理システムが開示されている。

特開２０１６－１３８９３０号公報（２０１６年８月４日公開）

しかしながら、上述のような従来技術は、ユーザが授業を録音し、後から確認する場合に、メモデータと録音データとの対応箇所を探す手間がかかるという問題がある。

本発明の一態様は、上記の問題に鑑みてなされたものであり、音声データ又はメモデータを選択した場合に、もう一方のデータを容易に参照することができる出力装置（端末装置）を実現することを目的とする。

上記の課題を解決するために、本発明の一態様に係る出力装置は、音声データとメモデータとを関連付けて記憶し、上記音声データの時系列上のある区間、及びメモデータにおける対象箇所の一方が選択された場合に、当該一方に関連付けられた他方のデータを出力する。

本発明の一態様によれば、音声データ又はメモデータを選択した場合に、もう一方のデータを容易に参照することができる出力装置を実現できる。

実施形態１に係る端末装置の機能ブロック図である。 実施形態１に係る処理の流れを示すフローチャートである。 ユーザがノート表示部に対して、書き込みを行う例を示す図である。 メモデータの例を示す図である。 ユーザが電子書籍表示部に対して、書き込みを行う例を示す図である。 操作履歴データの例を示す図である。 表示制御部が、表示部に電子書籍データ、電子ノート、音声波形図を表示させた例を示す図である。 電子ノート、電子書籍データ、及び音声データを相互に参照する例を示す図である。 音声データ、メモデータ、操作履歴データ、又はそれらの対応関係を編集する画面の例を示す図である。 実施形態１の変形例に係る端末装置の機能ブロック図である。 実施形態２に係る端末装置及びサーバの機能ブロック図である。 実施形態２に係る処理の流れを示すフローチャートである。 端末装置またはサーバとして利用可能なコンピュータの構成を例示したブロック図である。

本発明の実施形態について、図１～図１２に基づいて説明すれば以下の通りである。

〔実施形態１〕
以下、本発明の一実施形態について、図１～図９に基づいて説明する。

本実施形態においては、ユーザが、端末装置を用いて授業等に関する各データを記録し、のちに参照する構成について説明する。

〔１．端末装置１の構成〕
図１に基づいて本実施形態に係る端末装置１（出力装置１）の構成について説明する。端末装置１は、ユーザによる所定の操作等に起因してデータの入出力が可能なタブレット等の装置である。

図１は、本実施形態に係る端末装置１の機能ブロック図である。図１に示す通り、端末装置１は、制御部１０、記憶部２０、表示部３０、音声取得部４１、及び音声出力部４２を備える。

制御部１０は、端末装置１全体を統括する制御装置であって、表示制御部１１及び音声出力制御部１２を備える。表示制御部１１は、表示部３０の画面表示に係る制御を行う。音声出力制御部１２は、音声出力部４２による音声出力に係る制御を行う。

記憶部２０は、各種データを保持する記憶装置であって、音声データ２１、メモデータ２２、操作履歴データ２３、及び電子書籍データ２４を格納する。音声データ２１は、例えば会議、インタビュー、又は授業等（本明細書において授業等と適宜呼称する。）を録音した音声を示すデータである。メモデータ２２は、ユーザが表示部３０を介して端末装置１に対して入力した、テキスト又はイラストを示すデータである。操作履歴データ２３は、電子書籍等に対するユーザの操作履歴を示すデータである。

電子書籍データ２４は、例えば教科書、参考書、又はプリント等（本明細書において電子書籍等と適宜呼称する。）の一部又は全部を示すデータである。電子書籍データ２４は、テキスト、画像、又はその両方を含んでいてもよい。なお、本明細書において、上述した各データを呼称する場合には、当該各データが、当該各データの一部であるか全部であるかを区別しない。

表示部３０は、電子書籍表示部３１及びノート表示部３２を備えた、画面表示が可能なタッチパネルである。ユーザは、表示部３０を介して端末装置１に対する操作を行ってもよい。電子書籍表示部３１は、電子書籍データ２４に由来する電子書籍等の内容を表示する。ノート表示部３２は、ユーザがノートとして使用するページを表示する。電子書籍表示部３１及びノート表示部３２は、表示部３０の一部又は全部の領域に相当し、各々のサイズは可変であってもよい。

〔２．処理の流れ〕
本実施形態における処理の流れについて図１～図９に基づいてステップごとに説明する。図２は、本実施形態に係る処理の流れを示すフローチャートである。以下、一例として、授業を受けているユーザ（生徒）の各々が端末装置１を所持している場合を想定して説明を行う。

なお、端末装置１が取りうる状態としては、授業等に関する各データの記録を行う記録モードと、ユーザが当該各データを参照するモードである再生モードとがある。

（Ｓ１０１）
ステップＳ１０１からステップＳ１０５までは、ユーザが端末装置１を用いて授業に関する各データを記録する処理、つまり上述した記録モードにおける処理である。ステップＳ１０１において、表示制御部１１は、ユーザの端末装置１に対する所定の操作により、電子書籍データ２４を電子書籍表示部３１に表示させ、電子的なノート（本明細書において電子ノートと適宜呼称する。）をノート表示部３２に表示させる。

なお、制御部１０がメモデータ２２を参照し、表示制御部１１が、前回の授業までにおけるユーザの書き込みであって、電子書籍データ２４及び電子ノートに対する書き込みも電子書籍表示部３１及びノート表示部３２に表示させても構わない。次いで、制御部１０は、ユーザが電子書籍データ２４及び電子ノートに対して書き込んだ内容を取得し、メモデータ２２として記憶部２０に随時保存する処理を開始する。

（Ｓ１０２）
続いて、ステップＳ１０２において、制御部１０は、音声取得部４１に授業の音声を取得させ、当該音声を示す音声データ２１を記憶部２０に随時保存する処理を開始する。この時、録音開始時刻を合わせて記憶部２０に記録する。また、音声データの記録中、音声の出力レベルが閾値以下の期間が一定時間続いた場合は、この無音期間の開始時刻・終了時刻を音声データの区切り位置として記録するようにする。

（Ｓ１０３）
続いて、ステップＳ１０３において、制御部１０は、ユーザによる電子書籍等に対する操作履歴を取得し、当該操作履歴を示す操作履歴データ２３を記憶部２０に随時保存する処理を開始する。なお、上述した操作履歴とは、例えば、電子書籍コンテンツの開閉・ページめくり・ページ拡大などの閲覧のための操作や、ユーザが電子書籍等のテキストに対してマーカーを付与したり、手書きなどの書き込みをする操作などを指す。また、ステップＳ１０１からＳ１０３までの処理の順番は入れ替わってもよい。

（Ｓ１０４）
続いて、ステップＳ１０４において、端末装置１は、ステップＳ１０１からＳ１０３において上述した、制御部１０が各データを記憶部２０に保存する処理を、ユーザが端末装置１に対して所定の終了操作を行うまで継続する。

端末装置１を所持するユーザは、授業を受けながら電子書籍表示部３１及びノート表示部３２に対して適宜書き込みを行う。

図３は、ユーザがノート表示部３２に対して、書き込みを行う例を示す図である。

ノート表示部３２にテキスト等を入力する場合、ユーザがボタン７２を選択することにより端末装置１は、テキストを追加・編集するモードに移行する。次いでユーザは、図３（ｂ）のようにテキストを入力する領域を選択し、キーボードからテキストを入力する。上記キーボードは、端末装置１の一機能としてソフトウェアにより実現され、表示部３０に表示されるキーボードであってもよい。端末装置１は、ユーザが当該領域外を選択することにより、テキストを追加・編集するモードを終了する。

また、ユーザがボタン７３を選択することにより、端末装置１は、フリーハンドの自由線を追加・編集するモードに移行する。次いでユーザは、図３（ｃ）のように自由線を入力する領域を選択し、マウス又はペンなどにより自由線を入力する。端末装置１は、ユーザが当該領域外を選択することにより、自由線を追加・編集するモードを終了する。

また、表示制御部１１は、ノート表示部３２に、例えば画面表示の拡大縮小ボタン７０、あるいはページの切り替えボタン７１等を表示させてもよい。

図４は、メモデータ２２の例を示す図である。図４に示すようにメモデータ２２は、例えば、編集開始日時、編集終了日時、書き込みのタイプ、メモが書き込まれたページ、ページ内におけるメモの位置、及びメモの内容等を含む。

なお、図４の各行、つまりメモデータ２２の処理単位は、テキスト又は自由線を入力する矩形領域毎の単位に限定されない。例えば、メモデータ２２がテキストデータである場合には、一行毎のテキストを処理単位としてもよいし、メモデータ２２が自由線である場合、所定の距離以上離れた自由線は、別々のメモデータ２２としてもよい。

図５は、ユーザが電子書籍表示部３１に対して、書き込みを行う例を示す図である。ユーザが電子書籍表示部３１に表示された電子書籍等のテキスト５０をなぞる操作をした場合、表示制御部１１は、電子書籍表示部３１の一部に、マーカー色（背景色）を選択するインターフェース５１を表示させる。次いでユーザが何れかの色を選択する操作を行った場合、当該テキストにユーザが選択した色によってマーカーが付される。

また、表示制御部１１は、電子書籍表示部３１に、例えば電子書籍等の選択ボタン８０、ページの切り替えボタン８１、画面表示の拡大縮小ボタン８２、電子書籍等の表示終了ボタン８３、あるいは電子書籍に対してしおりを挟むボタン８４等を表示させてもよい。

また、図６は、操作履歴データ２３の例を示す図である。図６に示すように操作履歴データ２３は、例えば、操作日時、操作内容、操作対象、操作対象のページ、及び所定のパラメータ等を含む。また、操作履歴には、電子書籍等を開く操作、及び閉じる動作も含まれる。

また、制御部１０は、音声データ２１を記憶部２０に格納する場合に、当該音声データ２１の任意の位置、例えば音声取得部４１が取得した音声が所定の音量以上である箇所の冒頭毎、あるいは一定時間毎に、区切り又はインデックスを挿入してもよい。

（Ｓ１０５）
続いて、ステップＳ１０５において、端末装置１は、ユーザの所定の操作により、ステップＳ１０１からステップＳ１０４において上述した処理であって、制御部１０が各データを記憶部２０に保存する処理を終了する。

（Ｓ１０６）
ステップＳ１０６からステップＳ１０９までは、端末装置１が、ユーザの所定の操作に応じて各データを出力する処理である。換言すると、ステップＳ１０６からステップＳ１０９における処理は、ユーザが端末装置１を用いて、ステップＳ１０１からステップＳ１０５までに記録した各データを参照する処理、つまり上述した再生モードにおける処理である。なお、ステップＳ１０６からステップＳ１０９までの一連の処理は、ユーザが所定の操作により端末装置１の再生モードを終了するまでの間、繰り返し複数回行われてもよい。

ステップＳ１０６において、ユーザは、電子ノート、電子書籍データ２４、又は音声データ２１の何れかの任意の箇所を選択する。

図７は、表示制御部１１が、表示部３０に電子書籍データ２４、電子ノート、及び音声データ２１を示す音声波形図６０を表示させた例を示す図である。

なお、図７に示すように、音声波形図６０には、例えば、音声出力を停止する停止ボタン６１、及び音声を再生する再生ボタン６２、メモデータ２２の編集開始時刻等を示すマーカー６３、並びに音声の再生位置を示すマーカー６４等が含まれていてもよい。また、ユーザがマーカー６４を左右にスライドすることによって、音声の再生位置を変更できる構成であってもよい。

また、各々の領域が表示部３０に占める画面比率は、例えばユーザが各領域間の境界をなぞる操作等によって変更できる構成でもよい。また、特に音声波形図は、ユーザが画面内側から音声波形図上を経由して画面下側へ指をなぞる操作等によって非表示にし、逆に、画面下側から画面内側へ指をなぞる操作等によって再度表示させることができる構成でもよい。

メモデータ２２、操作履歴データ２３、及び音声データ２１は、何れかに対する選択によって、相互に参照することが可能である。図８は、上述した各データを相互に参照する例を示す図である。

本ステップにおいて、例えば、図８（ｂ）に示すように、ユーザが電子ノートに記載されたテキスト５２を選択する操作を行う。選択するテキスト・手書きの単位は、図４の各行単位、つまりメモの処理単位とすることで、学習者が簡単にメモデータを選べるようにする。

（Ｓ１０７）
続いて、ステップＳ１０７において、表示部３０は、ステップＳ１０６においてユーザが選択した箇所から何れのデータを参照するかを選択可能に提示する。

例えば、ステップＳ１０６において、ユーザがノート表示部３２に表示されたテキスト５２を選択した場合、表示制御部１１は、テキスト５２がメモデータ２２として記録された時刻における、電子書籍等の操作履歴又は音声データ２１を参照する選択肢を選択可能にノート表示部３２に表示させる。

なお、電子書籍等の操作履歴の参照とは、当該時刻において電子書籍等の開いていたページを開き、拡大等の操作を行っていれば当該操作を再現することを意味する。

また、ステップＳ１０６において、例えば、ユーザが音声波形図６０内のマーカー６３又はマーカー６３の近傍を選択した場合、表示部３０は、マーカー６３またはマーカー６３の近傍に対応する時刻における電子ノートの記載か、電子書籍等の操作履歴かを参照する選択肢を表示する。

また、ステップＳ１０６において、例えば、ユーザが電子書籍表示部３１に表示された電子書籍等に含まれるテキストのマーカー部分を選択した場合、表示部３０は、当該電子書籍に当該マーカーが付された時刻又は当該時刻から所定の範囲内の時間だけ離れた時刻における音声データ２１か電子ノートの記載かを参照する選択肢を表示する。

（Ｓ１０８）
続いて、ステップＳ１０８において、ユーザは、ステップＳ１０６において表示部３０が表示した選択肢のうち、何れかを選択する操作を行う。

（Ｓ１０９）
続いて、ステップＳ１０９において、端末装置１は、ステップＳ１０８においてユーザが選択したデータを出力する。

例えば、ユーザが図８（ｂ）において、作成時の音声を聞くボタン５３ｂを選択した場合、音声出力制御部１２は、ユーザが電子ノートにテキスト５２を記載した時刻又は当該時刻から所定の範囲内の時間だけ離れた時刻を開始点にして音声取得部４１が取得した音声を、音声出力部４２に出力させる。

なお、例えば、ユーザが電子ノートに記載されたテキスト５２を選択する操作を行った場合に、ノート表示部３２が選択肢５３を表示せずに、端末装置１が、操作履歴と音声データ２１との双方又は一方を出力する構成でもよい。

以上が図２のフローチャートに基づく処理の流れである。

上述したように本実施形態に係る端末装置１（出力装置１）は、音声データ２１、メモデータ２２、及び操作履歴データ２３を、処理時刻を示す情報を付随させて記憶し、上記音声データ２１、上記メモデータ２２、及び上記操作履歴データ２３を含むデータ群に含まれる何れかのデータである第１のデータが選択された場合に、各処理時刻をもとに同一時刻の上記第１のデータとは異なる第２のデータ、又は第２のデータと第３のデータとを検索して出力する。

上記の構成によれば、音声データ２１、メモデータ２２、又は操作履歴データ２３の何れかを選択した場合に、他のデータを容易に参照することができる出力装置を実現できる。

また、上記各データは、少なくとも一部が同一の時刻情報に紐づけられたデータ、つまり同時刻に記録されたデータであってもよい。

上記の構成によれば、同一の時刻情報に紐づけられた第１のデータ（例えば音声データ２１）と第２のデータ（例えばメモデータ２２）との一方を選択することにより、同時刻に記録された他方のデータを容易に参照できる。

＜実施形態１に係る付記事項＞
実施形態１においては、端末装置１が、音声データ２１、メモデータ２２、及び操作履歴データ２３を記録する構成について説明したが、端末装置１は、必ずしも上述した３種のデータ全てを記録しなくともよい。例えば端末装置１（出力装置１）は、音声データ２１とメモデータ２２とを記憶し、上記音声データ２１の時系列上のある区間、及びメモデータ２２における対象箇所の一方が選択された場合に、当該一方の処理時間から同時刻の他方のデータを検索し出力してもよい。

上記の構成によれば、音声データ２１又はメモデータ２２を選択した場合に、もう一方のデータを容易に参照することができる出力装置を実現できる。

また、端末装置１が記憶する当該音声データ２１と当該メモデータ２２とは、少なくとも一部が同一の時刻情報に紐づけられたデータであってもよい。

一般的に、先生が説明を開始した時刻と、生徒がメモデータを保存した時刻、電子書籍に対する操作時刻は完全に一致しない。例えば、先生の板書をもとに生徒がメモデータを取った後、先生が口頭で解説を加える場合には、メモデータの保存時刻より後に対応する音声データが続くのに対し、先生が口頭で解説した後に先生が板書を始め、生徒がそれをメモデータとして記録していく場合には、メモデータの保存時刻は、先生の音声データの後に続くことになる。また、出席確認や雑談などメモデータとは関係ない音声データが含まれていることもある。そのため、端末装置１は、ユーザの所定の操作によって、音声データ２１、メモデータ２２、操作履歴データ２３、又はそれらの対応関係を変更したり、不要な音声を削除する機能を有していてもよい。図９は、上述した各データを編集する画面の例を示す図である。

図９に示す画面においては、ユーザが、不要な音声波形の一部を、例えば区切り間単位で選択し消去する操作を行い、制御部が、当該音声波形に対応する音声を示すデータを、音声データ２１から消去してもよい。また、音声データを出力しながら内容に応じて区切り区間を分割・結合できるような編集機能を設けてもよい。あるいは、ユーザが、教科書２３頁を開いたことを示すオブジェクト５５等を左右何れかにスライドする操作を行い、制御部が、当該ページが開かれた時刻を示すデータを変更し、操作履歴データ２３を更新してもよい。また、上記機能は、記録モードと再生モードとのどちらのモードに属する機能であってもよい。

また、電子書籍に対するユーザの書き込みは、電子書籍データ２４の一部として保存されてもよいし、メモデータ２２の一部として保存されてもよい。あるいは、特にテキストに対するマーカーの付与のような軽微な書き込みである場合、図６に示すように、操作履歴データ２３の一部として保存される構成でもよい。

また、表示部３０はタッチパネルとしての機能を有せず、単なる表示パネルである構成でもよい。上記の構成の場合、端末装置１はキーボード、ボタン、又はマウス等の入力デバイスを別途備える。従って、ステップＳ１０３において上述した操作履歴とは、ユーザが表示部３０を介して行った操作の履歴に限定されず、例えばユーザが物理的なキーボードを介して行った操作の履歴であってもよい。

また、端末装置１が有する一部の部材又は機能は、端末装置１とは別の装置により実現される構成でもよい。例えば、電子ノートを編集・表示する端末装置１とは別の装置が、電子書籍データ２４を表示する構成でもよい。

なお、上述した各付記事項は、後述の各実施形態及び各変形例に対しても適宜の適用が可能である。

〔変形例〕
実施形態１の変形例について、図２及び図１０に基づいて説明する。なお便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、説明を省略する。

本変形例においては、端末装置が音声を記録する場合に、加速度センサ等のセンサ情報を参照する構成について説明する。

図１０は、本変形例に係る端末装置１ａの機能ブロック図である。図１０に示す通り、端末装置１ａは、図１に示す端末装置１から更にセンサ部４３を備え、制御部１０ａは、制御部１０から更にセンサ情報取得部１３を備える。

センサ部４３は、図１０には図示しない、例えば６軸センサ又は加速度センサ等を備え、端末装置１ａの位置及び姿勢の変化を検知する。センサ情報取得部１３は、センサ部４３からの信号であって、端末装置１ａの位置及び姿勢の変化を示す信号を取得する。

本変形例に係る端末装置１ａは、実施形態１のステップＳ１０２において上述した、制御部が音声データ２１を記憶部２０に保存する処理において、制御部は、センサ情報取得部１３が端末装置１ａの位置及び姿勢の変化を示す信号を取得したことに起因して、記憶部２０に保存中の音声データ２１における、上記信号を取得した時刻に対応する位置に区切り又はインデックスを挿入する構成である。

上記の構成によれば、例えば授業が別の形態、所謂グループ学習等に移行してユーザが机を動かし、センサ部４３が端末装置１ａの移動を検知することにより、端末装置１ａは、周囲の音声が止まない場合においても、記憶部２０に保存する音声データ２１の好適な位置に区切り又はインデックスを挿入することができる。

〔実施形態２〕
本発明の第２の実施形態について、以下に説明する。なお便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、説明を省略する。

本実施形態においては、端末装置が、授業等の音声データ２１と、電子書籍データ２４等に対する操作履歴とをサーバ上から取得し、参照する構成について説明する。

〔１．端末装置１ｂの構成〕
図１１は、本実施形態に係る端末装置１ｂ及びサーバ９０の機能ブロック図である。

図１１に示す通り、端末装置１ｂは、図１に示す構成から、更に通信部４４を備える構成である。また、制御部１０ｂは、更に通信制御部１４を備える。なお、図１１に示すように、端末装置１ｂは、音声取得部４１を備えずともよい。

通信部４４は、外部の装置との通信処理を行う。通信制御部１４は、通信部４４によるデータ通信処理の制御に係る処理を行う。

サーバ９０は、授業を行う教員等が操作する電子黒板であって、画面の一部又は全部に電子書籍等を表示することができる。また、電子黒板（サーバ９０）は、当該電子書籍に対する操作履歴と、授業等の音声データ２１とを保存し、端末装置１ｂ等のクライアントに各データを出力することができる。また、ユーザは、電子黒板に対して、通常の黒板と同じように画面に板書を行うことができる。

〔２．処理の流れ〕
本実施形態における処理の流れについて図２～図９、図１１及び図１２に基づいてステップごとに説明する。図１２は、本実施形態に係る処理の流れを示すフローチャートである。以下、一例として、生徒の各々が端末装置１ｂを所持し、教員が電子黒板を操作し、授業を行う場合を想定して説明を行う。

（Ｓ２０１）
ステップＳ２０１においては、実施形態１のステップＳ１０１と同様の処理を行う。ただし、本ステップにおいては、必ずしも表示制御部１１が、電子書籍データ２４を電子書籍表示部３１に表示させることを要しない。

（Ｓ２０２）
続いて、ステップＳ２０２において、電子黒板は、教員の所定の操作により、電子書籍等の表示を行い、当該電子書籍等に対する操作履歴及び授業の音声の記録を開始する。なお、ステップＳ２０１とＳ２０２との処理の順番は入れ替わってもよい。

（Ｓ２０３）
続いて、ステップＳ２０３において、端末装置１ｂは、実施形態１のステップＳ１０４において上述した処理であって、制御部１０ｂがメモデータ２２を記憶部２０に保存する処理を、生徒が端末装置１ｂに対して所定の終了操作を行うまで継続する。また、電子黒板は、電子書籍等に対する操作履歴及び授業の音声を記録する処理を、教員が電子黒板に対して所定の終了操作を行うまで継続する。

（Ｓ２０４）
続いて、ステップＳ２０４において、端末装置１ｂは、生徒の所定の操作により、制御部１０ｂがメモデータ２２を記憶部２０に保存する処理を終了する。また、電子黒板は、教員の所定の操作により、電子書籍等に対する操作履歴及び授業の音声の記録を記録する処理を終了する。

（Ｓ２０５）
続いて、ステップＳ２０５において、端末装置１ｂは、サーバである電子黒板から、電子書籍等の操作履歴である操作履歴データ２３、及び授業の音声の録音データである音声データ２１を取得する。

具体的には、通信制御部１４が、通信部４４にサーバ９０から当該データを取得させる。次いで制御部１０ｂが、当該データを記憶部２０に格納する。また、制御部１０ｂが当該データを記憶部２０に格納する場合において、メモデータ２２、並びに電子書籍等の操作履歴データ２３及び音声データ２１の少なくとも一部を、同一の時刻情報によって相互に参照可能なように対応付けてもよい。

（Ｓ１０６～ステップＳ１０９）
端末装置１ｂの再生モードにおける処理は、実施形態１のステップＳ１０６からステップＳ１０９までと同様である。

上記の構成によれば、例えばメモデータ２２を選択した場合に、教員による、電子書籍等のより好適な操作履歴を参照することができる。また、端末装置１ｂが音声取得部４１を備えずとも、例えば音声データ２１を選択した場合に、メモデータ２２の対応する箇所を参照することができる。

〔変形例１〕
端末装置１ｂは、電子書籍等の操作履歴データ２３と音声データ２１とに加え、電子黒板に対して板書された内容を示す板書データを取得し、当該板書データをメモデータ２２としてノート表示部３２に表示できる構成でもよい。

上記の構成によれば、例えば欠席して授業を受けていない生徒が、後日、端末装置１ｂを用いて板書データを含む各データを参照することにより、当該授業の内容をより正確に把握することができる。

〔変形例２〕
本変形に係る端末装置１ｃ（不図示）は、図１１に示す端末装置１ｂから記憶部２０を備えない構成である。この構成では実施形態１で記憶部２０に保存していた音声データ２１、メモデータ２２、操作履歴データ２３、電子書籍データ２４はサーバ９０に保存される。端末装置１ｃは、通信部４４がサーバ９０から取得した電子書籍等の操作履歴データ２３、音声データ２１、及びメモデータ２２を、表示制御部１１がストリーミング形式で直接表示部３０に表示させる。且つ、表示制御部１１は、実施形態１のステップＳ１０６からステップＳ１０９までにおいて上述したように、当該各データを相互に参照可能に表示部３０に表示させる。

また、端末装置１ｃは、必ずしも上述した３種のデータをサーバ９０から取得しなくともよい。例えば、端末装置は、音声データ２１と、当該音声データ２１に関連付けられたメモデータ２２とをサーバから取得し、上記音声データ２１の時系列上のある区間、及びメモデータ２２における対象箇所の一方が選択された場合に、当該一方に関連付けられた他方のデータを出力してもよい。

〔変形例３〕
端末装置１ｂ、又は通信部４４と通信制御部１４とを更に備える端末装置１若しくは端末装置１ａが、操作履歴データ２３等の各データを他の装置に出力するサーバとして機能する構成でもよい。

上記の構成によれば、生徒間、あるいは端末装置１ｂ等を使用する教員と生徒間においても、当該各データを共有することができる。

〔実施形態３〕
上記各実施形態では、１つのサーバ９０を用いる例を説明したが、サーバ９０の有する各機能が、個別のサーバにて実現されていてもよい。そして、複数のサーバを適用する場合においては、各サーバは、同じ事業者によって管理されていてもよいし、異なる事業者によって管理されていてもよい。

〔実施形態４〕
端末装置（１、１ａ～１ｃ）およびサーバ９０の各ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。後者の場合、端末装置（１、１ａ～１ｃ）およびサーバ９０のそれぞれを、図１３に示すようなコンピュータ（電子計算機）を用いて構成することができる。

図１３は、端末装置（１、１ａ～１ｃ）またはサーバ９０として利用可能なコンピュータ９１０の構成を例示したブロック図である。コンピュータ９１０は、バス９１１を介して互いに接続された演算装置９１２と、主記憶装置９１３と、補助記憶装置９１４と、入出力インターフェース９１５と、通信インターフェース９１６とを備えている。演算装置９１２、主記憶装置９１３、および補助記憶装置９１４は、それぞれ、例えばプロセッサ（例えばＣＰＵ：Central Processing Unit等）、ＲＡＭ（random access memory）、ハードディスクドライブであってもよい。入出力インターフェース９１５には、ユーザがコンピュータ９１０に各種情報を入力するための入力装置９２０、および、コンピュータ９１０がユーザに各種情報を出力するための出力装置９３０が接続される。入力装置９２０および出力装置９３０は、コンピュータ９１０に内蔵されたものであってもよいし、コンピュータ９１０に接続された（外付けされた）ものであってもよい。例えば、入力装置９２０は、キーボード、マウス、タッチセンサなどであってもよく、出力装置９３０は、ディスプレイ、プリンタ、スピーカなどであってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置９２０および出力装置９３０の双方の機能を有する装置を適用してもよい。そして、通信インターフェース９１６は、コンピュータ９１０が外部の装置と通信するためのインターフェースである。

補助記憶装置９１４には、コンピュータ９１０を端末装置（１、１ａ～１ｃ）またはサーバ９０として動作させるための各種のプログラムが格納されている。そして、演算装置９１２は、補助記憶装置９１４に格納された上記プログラムを主記憶装置９１３上に展開して該プログラムに含まれる命令を実行することによって、コンピュータ９１０を、端末装置（１、１ａ～１ｃ）またはサーバ９０が備える各部として機能させる。なお、補助記憶装置９１４が備える、プログラム等の情報を記録する記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などであってもよい。また、記録媒体に記録されているプログラムを、主記憶装置９１３上に展開することなく実行可能なコンピュータであれば、主記憶装置９１３を省略してもよい。なお、上記各装置（演算装置９１２、主記憶装置９１３、補助記憶装置９１４、入出力インターフェース９１５、通信インターフェース９１６、入力装置９２０、および出力装置９３０）は、それぞれ１つであってもよいし、複数であってもよい。

また、上記プログラムは、コンピュータ９１０の外部から取得してもよく、この場合、任意の伝送媒体（通信ネットワークや放送波等）を介して取得してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る出力装置は、音声データ２１とメモデータ２２とを、処理時刻を示す情報を付随させて記憶し、上記音声データ２１の時系列上のある区間、及びメモデータ２２における対象箇所の一方が選択された場合に、各処理時刻をもとに同一時刻の他方のデータを出力する構成である。

上記の構成によれば、音声データ２１又はメモデータ２２を選択した場合に、もう一方のデータを容易に参照することができる出力装置を実現できる。

本発明の態様２に係る出力装置は、上記の態様１において、上記音声データ２１と上記メモデータ２２との少なくとも何れかに関連付いた操作履歴データ２３を記憶し、上記音声データ２１、上記メモデータ２２、及び上記操作履歴データ２３を含むデータ群に含まれる何れかのデータである第１のデータが選択された場合に、上記第１のデータとは異なる第２のデータ、又は第２のデータと第３のデータとを出力する構成としてもよい。

上記の構成によれば、音声データ２１、メモデータ２２、又は操作履歴データ２３の何れかを選択した場合に、他のデータを容易に参照することができる出力装置を実現できる。

本発明の態様３に係る出力装置は、上記の態様１又は２において、少なくとも一部が同一の時刻情報に紐づけられた上記各データを記憶する構成としてもよい。

上記の構成によれば、同一の時刻情報に紐づけられた第１のデータと第２のデータとの一方を選択することにより、同時刻に記録された他方のデータを容易に参照できる。

本発明の態様４に係る出力装置は、上記の態様１から３までの何れか１項において、当該端末装置の位置又は姿勢が変化したことを示す信号の取得に起因して、記憶する音声データ２１における、上記信号を取得した時刻に対応する位置に区切り又はインデックスを挿入する構成としてもよい。

上記の構成によれば、例えば授業が別の形態、所謂グループ学習等に移行してユーザが机を動かし、センサ部４３が端末装置の移動を検知することにより、端末装置は、周囲の音声が止まない場合においても、記憶部２０に保存する音声データ２１の好適な位置に区切り又はインデックスを挿入することができる。

本発明の態様５に係る出力装置は、音声データ２１と、当該音声データ２１に関連付けられたメモデータ２２とを取得し、上記音声データ２１の時系列上のある区間、及びメモデータ２２における対象箇所の一方が選択された場合に、当該一方に関連付けられた他方のデータを出力する構成である。

上記の構成によれば、音声データ２１又はメモデータ２２を選択した場合に、もう一方のデータを容易に参照することができる出力装置を実現できる。

本発明の態様６に係るデータ出力システムは、出力装置とサーバとを備えたデータ出力システムであって、上記出力装置は、上記サーバから取得した音声データ２１とメモデータ２２とを関連付けて記憶し、上記音声データ２１の時系列上のある区間、及びメモデータ２２における対象箇所の一方が選択された場合に、当該一方に関連付けられた他方のデータを出力する構成である。

本発明の態様７に係る出力方法は、装置によって実行される出力方法であって、音声データ２１とメモデータ２２とを関連付けて記憶する記憶ステップと、上記音声データ２１の時系列上のある区間、及びメモデータ２２における対象箇所の一方が選択された場合に、当該一方に関連付けられた他方のデータを出力する出力ステップとを含む方法である。

上記の構成によれば、音声データ２１又はメモデータ２２を選択した場合に、もう一方のデータを容易に参照することができる。

本発明の態様８に係る出力装置としてコンピュータを機能させるための制御プログラムであって、前記コンピュータを前記出力装置として機能させることを特徴とする制御プログラムは、態様１から５までの何れかに記載の画像出力装置としてコンピュータを機能させるための制御プログラムであって、前記コンピュータを前記出力装置として機能させる構成としてもよい。

本発明の態様９に係る記録媒体は、態様８に係る制御プログラムを記録したコンピュータ読み取り可能な記録媒体であってもよい。

本発明の各態様に係る端末装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記端末装置が備える各部（ソフトウェア要素）として動作させることにより上記端末装置をコンピュータにて実現させる端末装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１、１ａ、１ｂ、１ｃ 端末装置（出力装置）
１０、１０ａ、１０ｂ 制御部
１１ 表示制御部
１２ 音声出力制御部
１３ センサ情報取得部
１４ 通信制御部
２０ 記憶部
２１ 音声データ
２２ メモデータ
２３ 操作履歴データ
２４ 電子書籍データ
３０ 表示部
３１ 電子書籍表示部
３２ ノート表示部
４１ 音声取得部
４２ 音声出力部
４３ センサ部
４４ 通信部
９０ サーバ
９１０ コンピュータ
９１１ バス
９１２ 演算装置
９１３ 主記憶装置
９１４ 補助記憶装置
９１５ 入出力インターフェース
９１６ 通信インターフェース
９２０ 入力装置
９３０ 出力装置

Claims (5)

1. 音声データとメモデータとを関連付けて記憶し、
   出力装置の位置又は姿勢が変化したことを示す信号の取得に起因して、
   記憶する音声データにおける、上記信号を取得した時刻に対応する位置に区切り又はインデックスを挿入し、
   上記音声データの時系列上のある区間が選択された場合に、当該区間に関連付けられた上記メモデータにおける対象箇所のデータを出力し、
   上記メモデータにおける対象箇所が選択された場合に、当該対象箇所に関連付けられた上記音声データの時系列上のある区間のデータを出力する、
   ことを特徴とする出力装置。
2. 上記音声データと上記メモデータとに関連付いた操作履歴データを記憶し、
   上記音声データの時系列上のある区間または上記メモデータにおける対象箇所が選択された場合に、当該区間または当該対象箇所に関連付けられた、上記操作履歴データのある操作履歴のデータを出力する、または、
   上記操作履歴データのある操作履歴が選択された場合に、当該操作履歴に関連付けられた、上記音声データの時系列上のある区間と上記メモデータにおける対象箇所とのうち一方又は双方のデータを出力する、
   ことを特徴とする請求項１に記載の出力装置。
3. 少なくとも一部が同一の時刻情報に紐づけられた上記各データを記憶する
   ことを特徴とする請求項１又は２に記載の出力装置。
4. 出力装置とサーバとを備えたデータ出力システムであって、
   上記出力装置は、上記サーバから取得した音声データとメモデータとを関連付けて記憶し、
   上記出力装置の位置又は姿勢が変化したことを示す信号の取得に起因して、
   記憶する音声データにおける、上記信号を取得した時刻に対応する位置に区切り又はインデックスを挿入し、
   上記音声データの時系列上のある区間が選択された場合に、当該区間に関連付けられた上記メモデータにおける対象箇所のデータを出力し、
   上記メモデータにおける対象箇所が選択された場合に、当該対象箇所に関連付けられた上記音声データの時系列上のある区間のデータを出力する、
   ことを特徴とするデータ出力システム。
5. 装置によって実行される出力方法であって、
   音声データとメモデータとを関連付けて記憶する記憶ステップと、
   上記装置の位置又は姿勢が変化したことを示す信号の取得に起因して、
   記憶する音声データにおける、上記信号を取得した時刻に対応する位置に区切り又はインデックスを挿入する挿入ステップと、
   上記音声データの時系列上のある区間が選択された場合に、当該区間に関連付けられた上記メモデータにおける対象箇所のデータを出力する第１出力ステップと、
   上記メモデータにおける対象箇所が選択された場合に、当該対象箇所に関連付けられた上記音声データの時系列上のある区間のデータを出力する第２出力ステップと
   を含むことを特徴とする出力方法。

Images