JP4338571B2 - 動画作成システム及びプログラム - Google Patents

Description

本発明は、電子ペンで記入した情報の中から特定の情報を抽出し、処理する技術に関する。

通常、講義を受講したり、会議に出席したりする場合、利用者は、複数の罫線から構成される大学ノートやルーズリーフに内容をメモすることが多い。このような紙媒体に記載された情報は、電子データと異なり、削除やソートを容易に行うことができない。そのため、当該紙媒体に記載された情報を電子データとしてサーバやパーソナルコンピュータ（以下、「ＰＣ」と呼ぶ。）上で管理することができれば、削除やソートを容易に行うことができるため便利である。

このように紙媒体に記載した情報を電子データとしてサーバやＰＣ上で管理する場合、内容がメモされた大学ノートやルーズリーフを目視で認識した利用者がパンチ入力したり、スキャナで画像データとして取り込んだりする必要がある。しかし、手書きの大学ノートやルーズリーフに基づいて電子データの入力を行うことは、時間と手間がかかり、利用者の負担が大きいという問題がある。さらに、目視に基づくパンチ入力は、手作業のため人為的ミスが発生する可能性も高い。

また、利用者は、大学ノートの各ページの一部に連続した絵を書き、複数のページを連続してめくることで絵が動いているようにみえるパラパラ漫画を楽しむことがある。しかし、この大学ノート等に記入された、いわゆるパラパラ漫画のような遊び心を、サーバやＰＣ上で管理している電子データに反映させる試みは未だなされていない。

本発明は、以上の点に鑑みてなされたものであり、利用者が電子ペン用帳票の一部である動画エリアに記入した情報を抽出し、抽出した情報に基づいて容易に動画を作成することができる動画作成システムを提供することを課題とする。

本発明の１つの観点では、電子ペンにより認識可能なドットパターンが印刷された電子ペン用帳票を使用した動画作成システムにおいて、前記電子ペン用帳票は、前記記入者が電子ペンにより記入を行うものであって、複数のページから構成されており、各ページに動画として処理する情報が記入される動画エリアが設定されているものであって、前記動画作成システムは、前記電子ペン用帳票を構成する各ページを識別するページ識別情報に対応付けて、当該ページを示す前記ドットパターン上の位置座標であるページ座標と、当該ページの動画エリアを示す前記ドットパターン上の位置座標である動画エリア座標とが記憶された座標情報を記憶する座標情報記憶手段と、前記電子ペン用帳票に記入された記入情報を取得する記入情報取得手段と、前記記入情報に基づいて、前記座標情報のページ座標を参照することにより、前記ページ識別情報を特定する特定手段と、前記座標情報の動画エリア座標に基づいて、前記記入情報取得手段が取得した記入情報から、前記特定手段が特定した前記ページ識別情報に対応する前記ページの前記動画エリアに記入された動画エリア情報を抽出する抽出手段と、前記特定手段が特定した前記ページ識別情報に対応付けて、前記抽出手段が抽出した動画エリア情報を記憶する記憶手段と、前記ページ識別情報の昇順又は降順に、前記記憶手段に記憶された動画エリア情報を並べて処理することにより動画を作成する動画作成手段と、を備える。

上記のように構成される動画作成システムにおいて、記入者は、複数のページから構成されており、各ページには当該ページを識別するページ識別情報が設定されている電子ペン用帳票においてパラパラ漫画を実現したいと考えた場合、まず、電子ペンを使用してページに設定されている動画エリアに記入を行う。ここで、パラパラ漫画とは、複数のページにおいて各ページの所定の位置に連続した絵などを書き、複数のページを連続してめくることで絵などが動いているようにみえるものをいう。動画作成システムは、電子ペンの移動に伴ってページ上のドットパターンを読み取り、記入者が記入したチェックマーク、文字、絵などの内容に関する記入情報を取得する。ここで、記入情報には、当該ドットパターン上の位置座標が含まれている。

動画作成システムは、記入情報に含まれるドットパターン上の位置座標に基づいて、座標情報を構成するページ座標を参照することにより、記入者が記入したページの識別情報であるページ識別情報を特定する。さらに、動画作成システムは、座標情報を構成する動画エリア座標に基づいて、記入情報から、特定手段が特定したページ識別情報に対応するページに設定されている動画エリアに記入された情報を動画エリア情報として取得する。そして、動画作成システムは、特定手段が特定したページ識別情報をキーとして、対応する動画エリア情報を記憶する。さらに、動画作成システムは、ページ識別情報の昇順又は降順に、記憶手段に記憶されている動画エリア情報を並べて処理することにより動画を作成する。

これによれば、記入者が複数のページから構成される電子ペン用帳票の各ページに設定されている動画エリアに記入した情報を抽出し、抽出した情報に基づいて容易に動画を作成することができる。つまり、紙媒体である電子ペン用帳票において記入により実現されているパラパラ漫画を、動画の電子データとすることができる。即ち、記入者は、パラパラ漫画に対応する動画を、自身が操作する端末装置などにおいて見ることができる。

また、これによれば、ページ識別情報に基づいて動画を作成するため、記入者は必ずしもページの順番どおりに動画エリアへの記入を行う必要はなく、動画作成システムが動画エリア情報を受信する順番がバラバラであったり、ページの間が抜けていたりしても、ページの順番通り正しく動画は作成される。即ち、動画作成システムは、記入者の記入順は問わず、パラパラ漫画に対応する動画を作成することができる。また、記入者が電子ペン用帳票において前のページから順に、又は、後ろのページから順にパラパラ漫画を構成する絵を対応する動画エリアに記入した場合、動画作成システムは、容易に記入者が意図するパラパラ漫画に対応する動画を作成することができる。

本発明の他の一態様では、前記動画エリアは、前記ページの一部に設定されているものであって、前記ページの前記動画エリア以外の部分は文字が記入されるエリアである。これによれば、記入者は、電子ペン用帳票を構成する各ページにおける動画エリア以外の部分には、パラパラ漫画について意識することなく、所定の会議や講義の内容を文字や記号により記入することができる。

本発明の別の観点では、電子ペンにより認識可能なドットパターンが印刷された電子ペン用帳票を使用したコンピュータにより実行されるプログラムにおいて、前記電子ペン用帳票は、前記記入者が電子ペンにより記入を行うものであって、複数のページから構成されており、各ページに動画として処理する情報が記入される動画エリアが設定されているものであって、前記プログラムは、前記電子ペン用帳票を構成する各ページを識別するページ識別情報に対応付けて、当該ページを示す前記ドットパターン上の位置座標であるページ座標と、当該ページの動画エリアを示す前記ドットパターン上の位置座標である動画エリア座標とが記憶された座標情報を記憶する座標情報記憶手段、前記電子ペン用帳票に記入された記入情報を取得する記入情報取得手段、前記記入情報に基づいて、前記座標情報のページ座標を参照することにより、前記ページ識別情報を特定する特定手段、前記座標情報の動画エリア座標に基づいて、前記記入情報取得手段が取得した記入情報から、前記特定手段が特定した前記ページ識別情報に対応する前記帳票の前記動画エリアに記入された動画エリア情報を抽出する抽出手段、前記特定手段が特定した前記ページ識別情報に対応付けて、前記抽出手段が抽出した動画エリア情報を記憶する記憶手段、前記ページ識別情報の昇順又は降順に、前記記憶手段に記憶された動画エリア情報を並べて処理することにより動画を作成する動画作成手段、として前記コンピュータを機能させる。
本発明の他の一態様では、前記動画エリアは、前記ページの一部に設定されているものであって、前記ページの前記動画エリア以外の部分は文字が記入されるエリアである。これによれば、記入者は、電子ペン用帳票を構成する各ページにおける動画エリア以外の部分には、パラパラ漫画について意識することなく、所定の会議や講義の内容を文字や記号により記入することができる。

上記プログラムをコンピュータにより実行することにより、上述の動画作成システムを実現することができる。また、上述の動画作成システムの各態様も同様に実現することができる。

本発明によれば、利用者が電子ペン用帳票の一部である動画エリアに記入した情報を抽出し、当該抽出した情報に基づいて容易に動画を作成することができる。

以下、図面を参照して本発明の好適な実施の形態について説明する。まず、本実施形態のシステムにおいて入力デバイスとして使用される電子ペンの概要について説明する。

［電子ペン］
図１は電子ペンの使用形態を模式的に示す図であり、図２は電子ペンの構造を示す機能ブロック図である。図１に示すように、電子ペン１０は、ドットパターンが印刷された専用ペーパー２０と組み合わせて使用される。電子ペン１０は、通常のインクペンと同様のペン先部１７を備えており、利用者は通常のインクペンと同様に専用ペーパー２０上に文字などを書くことになる。

図２に示すように、電子ペン１０は、その内部にプロセッサ１１、メモリ１２、データ通信ユニット１３、バッテリー１４、ＬＥＤ１５、カメラ１６及び圧力センサ１８を備える。また、電子ペン１０は通常のインクペンと同様の構成要素としてインクカートリッジ（図示せず）などを有する。

電子ペン１０は、ペン先部１７により専用ペーパー２０上に描かれたインクの軌跡をデータ化するのではなく、専用ペーパー２０上で電子ペン１０が移動した軌跡座標をデータ化する。ＬＥＤ１５が専用ペーパー２０上のペン先部１７近傍を照明しつつ、カメラ１６が専用ペーパー２０に印刷されているドットパターンを読み取り、データ化する。つまり、電子ペン１０は専用ペーパー２０上で利用者が電子ペン１０を移動させることにより生じるストロークを画像データ又はベクトルデータとして取得することができる。

圧力センサ１８は、利用者が電子ペン１０により専用ペーパー上に文字などを書く際にペン先部１７に与えられる圧力、即ち筆圧を検出し、プロセッサ１１へ供給する。プロセッサ１１は、圧力センサ１８から与えられる筆圧データに基づいて、ＬＥＤ１５及びカメラ１６のスイッチオン／オフの切換を行う。即ち、利用者が電子ペン１０で専用ペーパー２０上に文字などを書くと、ペン先部１７には筆圧がかかる。よって、所定値以上の筆圧が検出されたときに、利用者が記述を開始したと判定して、ＬＥＤ１５及びカメラ１６を作動する。

カメラ１６は専用ペーパー２０上のドットパターンを読み取り、そのパターンデータをプロセッサ１１に供給する。プロセッサ１１は、供給されたドットパターンから、専用ペーパー２０上でのＸ，Ｙ座標を算出する。

プロセッサ１１は、利用者の記述が行われる間に、筆圧の配列データ及びＸ，Ｙ座標データを取得し、タイムスタンプ（時間情報）と関連付けてメモリ１２に記憶していく。よって、メモリ１２内には利用者の記述内容に対応するデータが時系列で記憶されていく。メモリ１２の容量は例えば１Ｍバイト程度とすることができる。

利用者により送信指示がなされるまでは、取得された全てのデータはメモリ１２内に保持される。そして、利用者が送信指示を行うと、データ通信ユニット１３により、電子ペン１０と所定距離内にある端末装置２５へメモリ１２内のデータが送信される。基本的には、一度送信指示がなされると、電子ペン１０はメモリ１２内に記憶していた全てのデータを端末装置２５へ送信するため、メモリ１２内はクリアされる。よって、送信後にもう一度同じ情報を端末装置２５へ送信したい場合には、利用者は専用ペーパー２０上に再度記述を行う必要がある。なお、この場合、利用者は専用ペーパー２０上にインクペンで書かれた文字などをなぞればよいことになる。

電子ペン１０自体は、送信ボタンなどの機能ボタンを備えておらず、送信指示その他の指示は、利用者が専用ペーパー２０上の所定位置に設けられた専用ボックスを電子ペン１０でチェックすることにより実行される。専用ボックスの位置座標には、予め送信指示が対応付けられており、プロセッサ１１は専用ボックスの位置座標を受信すると、データ通信ユニット１３にメモリ１２内のデータを供給し、端末装置２５への送信を行わせる。なお、電子ペン１０は、データの送信完了を電子ペンの振動により示すことができる。

バッテリー１４は電子ペン１０内の各要素に電源供給するためのものであり、例えば電子ペンのキャップ（図示せず）により電子ペン１０自体の電源のオン／オフを行うことができる。

このように、電子ペン１０は利用者が専用ペーパー２０上に記述した文字などに対応する座標データ及び筆圧データを取得して近傍の端末装置２５へ送信する機能を有するが、電子ペン１０のペン先部１７は通常のインクペンとなっているため、専用ペーパー２０上に記述した内容はオリジナルの原本として残るという特徴がある。即ち、紙の原本に対して記述するのと同時に、その内容を座標データなどの形態でリアルタイムに電子化することができる。

なお、電子ペン１０の標準機能によれば、電子ペン１０により得られるデータは、原則として座標データ又はベクトルデータの形態であり、テキストデータではない。但し、電子ペン１０は標準機能として、専用ペーパー２０上に設けられた専用エリアに記述することにより、英数字に限りテキスト化する機能は備えている。

また、電子ペン１０内には、ペン自体及びその所有者に関するプロパティ情報（ペン情報及びペン所有者情報）を保持することができ、アプリケーションから参照することができる。ペン情報としては、バッテリーレベル、ペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン、サブスクリプションプロバイダのＩＤなどを保持できる。また、ペン所有者情報としては、国籍、言語、タイムゾーン、emailアドレス、空きメモリ容量、名称、住所、ファックス／電話番号、携帯電話番号などを保持することができる。

なお、上記の例におけるデータ通信ユニット１３では、Bluetooth（登録商標）の無線伝送、ＵＳＢケーブルを使用した有線伝送、端子などの接触によるデータ伝送など、各種の方法によって電子ペン１０から端末装置２５へのデータ送信を行うことが考えられる。

次に、電子ペンにより利用者が記述した内容のＸ，Ｙ座標データを取得する方法について説明する。前述のように専用ペーパー２０には、所定のドットパターンが印刷されている。電子ペン１０のカメラ１６は、利用者が専用ペーパー２０上に記述したインクの軌跡を読み取るのではなく、専用ペーパー２０上のドットパターンを読み取る。実際、図１に示すように、ＬＥＤ１５による照明エリア及びカメラ１６の撮影エリア（照明エリア内に位置する）は、ペン先部１７が専用ペーパー２０に接触する位置とはずれている。

ドットパターンはカーボンを含む専用インキなどで印刷されており、カメラ１６はその専用インキによるパターンのみを認識することができる。専用インキ以外のインキ（カーボンを含まない）により、専用ペーパー上に罫線や枠などを印刷しても、電子ペンはそれらを認識することはない。よって、専用ペーパーを利用して各種申込書などの帳票を作成する際は、専用インキ以外のインキで入力枠や罫線、注意書きなどを印刷する。

ドットパターンは、図３に例示するように、各ドットの位置がデータに対応付けされている。図３の例では、ドットの位置を格子の基準位置（縦線及び横線の交差点）から上下左右にシフトすることにより、０〜３の２ビット情報を表示した例である。このようにして表現された情報の組合せにより、専用ペーパー上の位置座標が決定される。図４（ａ）に例示するように、縦横２mmの範囲内に３６個のドットが格子状に配置され、これらのドットにより示されるデータの配列（図４（ｂ））が、その専用ペーパー上の位置座標と対応付けされている。よって、電子ペン１０のカメラ１６が図４（ａ）に示すようなドットパターンを撮影すると、プロセッサ１１はカメラ１６から入力されるドットパターンのデータに基づいて図４（ｂ）に示すデータ配列を取得し、それに対応する専用ペーパー上の位置座標（即ち、そのドットパターンがその専用ペーパー上のどの位置にあるのか）をリアルタイムで算出する。なお、ドットパターンを認識する最小単位は２mm×２mmであり、カメラ１６は毎秒１００回程度の撮影を行う。

次に、専用ペーパーについて説明する。専用ペーパーの構造の一例を図５に示す。図示のように、専用ペーパー２０は、台紙３０上にドットパターン３２が印刷され、その上に罫線などの図案３４が印刷されている。台紙３０は通常は紙であり、ドットパターン３２は前述のようにカーボンを含んだ専用インキにより印刷される。また、通常のインキなどにより図案３４が印刷される。ドットパターンと図案とは同時に印刷してもよいし、いずれかを先に印刷してもよい。

図案３４の例を図６に示す。図６は、ある申込書３６の例であり、複数の記入欄３８や送信ボックス３９が印刷されている。図６には明確に図示されておらず、詳細は後述するが、実際にはドットパターンが申込書３６の全面に印刷されており、その上に記入欄３８や送信ボックス３９が通常のインキにより印刷されている。利用者は、ドットパターンを意識することなく、従来からある申込書と同様に、電子ペン１０を使用して必要事項を申込書３６の各記入欄３８に記入すればよい。

専用ペーパー２０上のエリアは大きく２種類のエリアに分けることができる。１つは記入エリアであり、電子ペン１０による記述内容をそのまま情報として取り扱うエリアである。図６の例では複数の記入欄３８がこれに該当する。もう１つは機能エレメントであり、対応するエリア内を電子ペン１０でチェックした際に、予めそのエリアに対して定義されているアクション、指示などを実行するようになっている。図６の例における送信ボックス３９がこれに該当する。

送信ボックス３９は前述したように電子ペン１０内に記憶されているデータを近傍の端末装置２５へ送信するための指示を行う際に使用される。利用者が送信ボックス３９内に電子ペン１０でチェックを入れると、電子ペン１０が送信ボックス内のドットパターンを読み取る。当該パターンは送信指示に対応付けられており、電子ペン１０内のプロセッサ１１はデータ通信ユニット１３にメモリ１２内の記憶データの送信命令を発する。

ドットパターンの割り当ては、通常、アプリケーション（用紙の種類）毎に行われる。即ち、ある申込書内のドットパターンは１枚の用紙の中で重複することはないが、同一の申込書には全て同じドットパターンが印刷されている。よって、利用者が電子ペン１０で必要事項を入力すると、その入力事項がその申込書のどの項目に対するものであるかを、申込書上の座標データから特定することができる。

このように、ドットパターンを印刷した専用ペーパー上に所定の図案を印刷することにより、専用ペーパーを利用した各種申込書が作成できる。利用者は電子ペン１０を使用して通常の要領で必要事項を記入すれば、その電子データが自動的に取得される。

上記の例では、ドットパターンは専用ペーパー上にカーボンを含むインキにより印刷されているが、プリンタ及びカーボンを含むインクを使用してドットパターンを通常の紙上にプリントすることも可能である。さらに、専用ペーパー上の図案も印刷ではなく、プリンタにより形成することも可能である。ドットパターンをプリンタにより紙上に形成する場合には、１枚１枚に異なるドットパターンを形成することが可能である。よって、形成されたドットパターンの違いにより、それらの用紙１枚１枚を識別し、区別することが可能となる。

なお、本明細書においては、「印刷」の語は、通常の印刷のみならず、プリンタによるプリントも含む概念とする。

次に、電子ペンにより取得したデータの送信処理について図２を参照して説明する。電子ペン１０が取得したデータは、主として利用者が入力した事項のデータであるが、通常はそのデータの送信先であるサービスサーバがどこであるかの情報は含まれていない。その代わりに、その専用ペーパーに関するアプリケーションやサービスを特定する情報が専用ペーパー上のドットパターンに含まれており、利用者の入力作業中に専用ペーパーからその情報が取得されている。よって、電子ペン１０から記入データを受け取った端末装置２５は、まず、問い合わせサーバ２６に対して、その専用ペーパーに対して入力されたデータをどのサービスサーバ２７へ送信すべきかの問い合わせを行う。問い合わせサーバ２６は、専用ペーパー毎に、対応するサービスサーバの情報を有しており、端末装置２５からの問い合わせに応じて、当該専用ペーパーに関するサービスなどを行うサービスサーバ２７の情報（ＵＲＬなど）を端末装置２５へ回答する。それから、端末装置２５は、電子ペンから取得した記入データをそのサービスサーバ２７へ送信することになる。

なお、上記の例では端末装置２５、問い合わせサーバ２６及びサービスサーバ２７が別個に構成されているが、これらの幾つか又は全てを１つの装置として構成することも可能である。本実施形態において、後述するサーバは、問い合わせサーバ２６及びサービスサーバ２７を兼ねているものとする。

［動画作成システム］
次に、本実施形態の動画作成システムについて説明する。図７に動画作成システム１００の概略構成を示す。図７に示す動画作成システム１００は、利用者が、複数のページから構成される電子ペン用帳票（以下、「ノート」と呼ぶ。）において各ページの一部に設定された動画エリアに連続した絵などを記入した場合に、当該動画エリアに記入された情報を抽出し、当該抽出した情報に基づいて容易に動画を作成することができるものである。

図７に示すように、動画作成システム１００は、端末装置２５及びサーバ５がネットワーク２を通じて接続されることにより構成される。ここで、ネットワーク２の１つの好適な例はインターネットである。また、端末装置２５とは、利用者が使用するＰＣや携帯電話といったネットワーク２を介してデータの授受が可能な端末である。なお、サーバ５は、記入情報データベース（以下、「ＤＢ」と呼ぶ。）７に接続されている。

まず、本システムにおける動画作成方法の概要を述べておく。ノート３は、上述の専用ペーパーとして作成されたものであり、図８に示すように複数のページから構成されているものとする。ノート３には、各ページに一意に割り振られた通し番号であるページ番号４１や、利用者が動画にしたい情報が記入される動画エリア４０ａ乃至４０ｄが設定されている。なお、本実施形態では、各ページに設定されている動画エリア４０ａ乃至４０ｄの位置は右下であるが、本発明はこれに限定されるものではなく、電子ペン用帳票上の動画エリアの位置は任意に設定することができる。

利用者は、電子ペン１０を使用して所定の内容を当該ノート３に記入する。ここで、所定の内容とは、例えば会議や講義の内容などである。そして、利用者は、ノート３においてパラパラ漫画を楽しみたいと考えた場合、各ページに予め設定されている動画エリア４０内に連続した任意の絵などを記入する。電子ペン１０は記入された内容に対応するストロークデータを取得し、電子ペン１０内のメモリ１２に一時的に記憶した後、当該ストロークデータを端末装置２５へ送信する。端末装置２５は、電子ペン１０からストロークデータを受信し、ネットワーク２を通じてサーバ５へ送信する。サーバ５は、ストロークデータを、利用者がノート３に対して記入した内容を示す記入情報として取得する。

次に、サーバ５は、ノート３を構成する各ページに割り当てられたドットパターンの位置座標に基づいて、利用者が記入したページの識別情報であるページ番号を特定する。さらに、サーバ５は、各ページにおいて動画エリアが設定されたドットパターン上の位置座標に基づいて、記入情報から、特定したページ番号のページに設定されている動画エリア内に記入された情報を動画エリア情報として抽出する。そして、ページ番号に対応付けて、抽出した動画エリア情報を記憶する。さらに、動画作成システム１００は、記憶しているページ番号及び動画エリア情報に基づいて、各ページの動画エリアに記入された絵などが動いているようにみえる動画を作成する。なお、本実施形態においてノート３の動画エリアに記入された内容は、具体的に、ページ番号をキーとして記入情報ＤＢ７にイメージデータとして記憶されるものとする。

このように、利用者が電子ペン１０を使用してノート３の各ページに設定された動画エリア内に連続した絵などを記入した場合、動画作成システム１００は、記入情報から各ページの動画エリアに記入された動画エリア情報を抽出し、当該動画エリア情報に基づいて容易に動画を作成することができる。即ち、動画作成システム１００は、利用者によって動画エリア内に記入された静止画を連続的に表示することにより動画（パラパラ漫画）を作成している。

なお、図８に示すノート３には便宜上送信ボックスが記載されていないが、ノート３にも図６に示す送信ボックス３９と同一の機能を有する送信ボックスを設けてあるものとする。

［ノート］
次に、ノート３について説明する。本実施形態のシステムでは、図８に示すようなノート３は、上述した専用ペーパーとして作成されている。即ち、図５に例示するように台紙３０上に所定のドットパターン３２が印刷されており、その上に所定のページ番号や罫線などが印刷されている。先に述べたように、ドットパターン３２は電子ペン１０が認識することができるように、カーボンを含んだインキにより印刷されている。一方、ページ番号や罫線などの図案３４は、通常の（カーボンを含まない）インキにより印刷されているため、電子ペン１０がそれを認識することはない。

図８は、動画エリア４０ａ乃至４０ｄに林檎の絵が記入されたページ番号「Ｐ０１」乃至「Ｐ０４」のページを示す図である。利用者はノート３において「林檎がかじられていく様子」をパラパラ漫画にしたいと考えた場合、電子ペン１０を使用して図８に示すように、ページ番号「Ｐ０１」乃至「Ｐ０４」の各ページの動画エリア４０ａ乃至４０ｄに「林檎がかじられていく様子」に対応する連続した絵を記入する。そして、電子ペン１０を使用して、送信ボックスにチェックマークを記入することにより、端末装置２５を介して記入情報をサーバ５へ送信する。

サーバ５は、後述するが動画作成プログラム５０１により、利用者の記入情報から動画エリアに記入された動画エリア情報を抽出し、当該動画エリア情報に基づいて「林檎がかじられていく様子」の動画を作成し、端末装置２５へ送信する。よって、利用者は、ノート３上でパラパラ漫画として記入した「林檎がかじられていく様子」を、端末装置２５において動画として見ることができる。

[サーバ]
次に、サーバ５について詳しく説明する。図９は、動画作成システム１００における、特にサーバ５の内部構成を示す。図示のように、サーバ５は、動画作成プログラム５０１、記入情報取得機能５０２、動画エリア情報抽出機能５０３、座標テーブル５０４、記憶機能５０５及び動画作成機能５０６から構成されている。なお、各機能は、サーバ５が有するＣＰＵが予め用意されたプログラムを実行することにより実現される。

動画作成プログラム５０１は、電子ペン１０から取得した記入情報に基づいて、座標テーブル５０４を参照することにより、ノート３の各ページのページ番号をキーとして、対応するページの動画エリアに記入された動画エリア情報を記入情報ＤＢ７に記憶するプログラムである。また、動画作成プログラム５０１は、ページ番号に基づいて、記入情報ＤＢ７に記憶した動画エリア情報を並べて処理することにより動画を作成するプログラムである。

記入情報取得機能５０２は、動画作成プログラム５０１を実行することにより、利用者が電子ペン１０を使用してノート３に記入した記入情報を取得する機能である。

動画エリア情報抽出機能５０３は、記入情報取得機能５０２が取得した記入情報に基づいて、座標テーブル５０４を参照することにより、利用者が記入したページのページ番号を特定し、各ページの動画エリアに記入された動画エリア情報をイメージデータとして抽出する機能である。ここで、座標テーブル５０４について説明する。座標テーブル５０４は、図１０に示すように、ページ番号をキーとして、ページ座標データ及び動画エリア座標データを記憶している。ページ番号は、ノート３を構成する各ページに記載された通し番号である。また、ページ座標データは、各ページに割り当てられたドットパターンの範囲を示す情報であり、図８に示すようなページの左上の座標及び右下の座標により表されている。また、動画エリア座標データは、各ページに設定されている動画エリアのドットパターン上の位置座標を示す情報であり、図８において破線で示される動画エリア４０の左上の座標及び右下の座標により表されている。動画エリア情報抽出機能５０３は、記入情報に基づいて座標テーブル５０４のページ座標データを参照することにより、利用者がノート３において記入したページのページ番号を特定する。また、動画エリア情報抽出機能５０３は、特定したページ番号に基づいて座標テーブル５０４の動画エリア座標データを参照することにより、記入情報から各ページの動画エリアに記入された動画エリア情報をイメージデータとして抽出する。

記憶機能５０５は、動画エリア情報抽出機能５０３が抽出した動画エリア情報を対応するページ番号をキーとして、記入情報ＤＢ７に記憶する機能である。つまり、記入情報ＤＢ７は、図１１に示すように、ページ番号をキーとして動画エリア情報に対応するイメージデータを記憶している。

動画作成機能５０６は、記入情報ＤＢ７に記憶された動画エリア情報であるイメージデータに基づいて、動画を作成する機能である。具体的には、ページ番号の昇順や降順にイメージデータを並べて処理することにより動画を作成する。動画作成機能５０６が作成した動画を、利用者が操作する端末装置２５に提供することにより、利用者がノート３に記入したパラパラ漫画を端末装置２５上で動画として表示することが可能となる。

[動画作成処理]
次に、動画作成システム１００により実行される動画作成処理について説明する。図１２は、動画作成処理のフローチャートである。

利用者は、まず、電子ペン１０を使用してノート３の任意のページに所定の文字を記入する。ここで、所定の文字とは、例えば会議や講義の内容などである。そして、利用者は、ノート３において所定の絵などをパラパラ漫画にしたいと考えた場合、電子ペン１０を使用して図８に示すように、複数のページの動画エリアに連続した絵などを記入する（ステップＳ１）。動画エリアへの記入が終了すると、利用者は、ノート３上の送信ボックスにチェックマークを記入することにより、端末装置２５を介して記入情報をサーバ５へ送信する（ステップＳ２）。

サーバ５は、取得した記入情報に基づいて座標テーブルのページ座標データを参照することにより、利用者が記入したノート３におけるページのページ番号を特定する。さらに、サーバ５は、座標テーブルの動画エリア座標データに基づいて、当該記入情報から特定したページ番号のページの動画エリアに記入された動画エリア情報をイメージデータとして抽出する（ステップＳ３）。そして、サーバ５は、ページ番号をキーとして、対応するページの動画エリアに記入された動画エリア情報を記入情報ＤＢ７に記憶する（ステップＳ４）。

次に、サーバ５は、記入情報ＤＢ７に記憶しているページ番号及び動画エリア情報に基づいて、動画を作成し（ステップＳ５）、端末装置２５へ提供する（ステップＳ６）。これによれば、利用者は、端末装置２５においてサーバから提供された動画を見ることができる。即ち、ノート３において記入したパラパラ漫画を、端末装置２５において動画として見ることができる。これにより、動画作成処理は完了する。

このように、本実施形態によれば、動画作成システム１００は、利用者がノート３の各ページに設定された動画エリア内に電子ペン１０を使用して任意の絵などを記入することにより、当該動画エリア内に記入された絵などの情報に基づいて動画を作成することができる。即ち、動画作成システム１００は、利用者が各ページの一部である動画エリアに記入した情報を抽出し、当該抽出した情報とページ番号とに基づいて容易に動画を作成することができる。

なお、本実施形態では、動画作成処理において、ノート３の複数のページに記入した後であっても、一括で記入情報をサーバ５へ送信することとしているが、本発明はこれに限定されるものではなく、１ページ記入する毎に記入情報をサーバ５へ送信することとしてもよい。

また、本実施形態では、利用者はノート３のページ番号通りに動画エリアへの記入を行うこととしているが、本発明はこれに限定されるものではない。サーバ５は、受信する記入情報からページ番号を取得し、当該ページ番号の順番に基づいて動画（パラパラ漫画）を作成するため、利用者による動画エリアへの記入や記入情報の送信がページ番号順でなくても、ページ番号順に正しく動画を作成することができる。例えば、ページ番号「Ｐ２、Ｐ３、Ｐ４、…、Ｐ１」という順番で記入や送信が行われた場合であっても、サーバ５は、ページ番号「Ｐ１、Ｐ２、Ｐ３、Ｐ４…」という順番で動画を作成する。

また、本実施形態では、利用者はノート３のページ番号通りにページを飛ばすことなく動画エリアへの記入を行うこととしているが、本発明はこれに限定されるものではない。サーバ５は、受信する記入情報からページ番号を取得し、当該ページ番号の順番に基づいて動画（パラパラ漫画）を作成するため、利用者が任意で飛ばした空きページがあったとしても、当該ページを無視して動画を作成することができる。例えば、ページ番号「Ｐ１、Ｐ４、Ｐ５」のページに対応する動画エリアへの記入や記入情報の送信が行われた場合、サーバ５は、受信した記入情報に含まれる動画エリア情報のみで動画を作成する。この場合、利用者は後から、ページ番号「Ｐ２、Ｐ３」のページに対応する動画エリアへの記入及び記入情報の送信を行うことで、ページ番号「Ｐ１」とページ番号「Ｐ４」の間に静止画を追加することができる。よって、利用者は、最初はページ番号「Ｐ１、Ｐ４、Ｐ７」というように、任意で空きページをとって動画エリアへの記入及び記入情報の送信を行うことで動画Ａを作成し、後から当該空きページに対応する動画エリアに、より細かい絵の記入及び送信を行うことで静止画を挿入することで新たな動画Ｂを作成するということもできる。

[変形例]
本実施形態では、サーバ５が、電子ペン１０により記入された記入情報に対応する電子データを取得し、動画作成処理を行うこととしている。これによれば、サーバ５は、動画作成処理を適用しながら、複数の利用者の記入情報を一括管理することができる。また、サーバ５が動画作成処理を行うため、端末装置２５の負荷を軽減することが可能である。

しかし、本発明はこれに限定されるものではなく、図９に示すような、サーバ５が保有する動画作成プログラム５０１と、各機能５０２乃至５０６とを端末装置２５が保有し、端末装置２５が動画作成処理を行うこととしてもよい。これによれば、記入情報に対応する電子データは、ネットワーク２を介してサーバ５へ送信されることなく、電子ペン１０から直接端末装置２５により取得される。よって、利用者は、自身が使用するＰＣ上において、動画作成処理を適用しながら、自身の記入した記入情報を管理することができる。即ち、ネットワーク２を介してサーバ５に接続しなくても、ノート３において記入したパラパラ漫画を、自身の端末装置２５上で容易に動画として見ることができる。

この動画作成システム１００によって、利用者が各ページの一部である動画エリアに記入した情報を抽出し、ページ番号と当該抽出した情報とに基づいて、容易に、ノート３において記入したパラパラ漫画に対応する動画を作成することができる。

電子ペンの使用形態を模式的に示す図である。 電子ペンの構造を示す機能ブロック図である。 専用ペーパーに印刷されたドットパターンによる情報の表現方法を説明する図である。 ドットパターン及びそれに対応する情報の例である。 専用ペーパーにより構成される帳票の構造を示す。 電子ペン用帳票の例を示す。 本実施形態における動画作成システムの概略構成を示す図である。 ノートの例を示す。 図７に示す動画作成システムに含まれるサーバの機能ブロック図である。 座標テーブルのデータ構造を模式的に示す図である。 記入情報ＤＢのデータ構造を模式的に示す図である。 本実施形態における動画作成のフローチャートである。

符号の説明

２…ネットワーク
３…ノート
５…サーバ
７…記入情報ＤＢ
１０…電子ペン
１１…プロセッサ
１２…メモリ
１３…データ通信ユニット
１４…バッテリー
２５…端末装置
２６…問い合わせサーバ
２７…サービスサーバ
１００…動画作成システム

Claims (4)

1. 電子ペンにより認識可能なドットパターンが印刷された電子ペン用帳票を使用した動画作成システムにおいて、
   前記電子ペン用帳票は、記入者が前記電子ペンにより記入を行うものであって、複数のページから構成されており、各ページに動画として処理する情報が記入される動画エリアが設定されているものであって、
   前記動画作成システムは、
   前記電子ペン用帳票を構成する各ページを識別するページ識別情報に対応付けて、当該ページを示す前記ドットパターン上の位置座標であるページ座標と、当該ページの動画エリアを示す前記ドットパターン上の位置座標である動画エリア座標とが記憶された座標情報を記憶する座標情報記憶手段と、
   前記電子ペン用帳票に記入された記入情報を取得する記入情報取得手段と、
   前記記入情報に基づいて、前記座標情報のページ座標を参照することにより、前記ページ識別情報を特定する特定手段と、
   前記座標情報の動画エリア座標に基づいて、前記記入情報取得手段が取得した記入情報から、前記特定手段が特定した前記ページ識別情報に対応する前記ページの前記動画エリアに記入された動画エリア情報を抽出する抽出手段と、
   前記特定手段が特定した前記ページ識別情報に対応付けて、前記抽出手段が抽出した動画エリア情報を記憶する記憶手段と、
   前記ページ識別情報の昇順又は降順に、前記記憶手段に記憶された動画エリア情報を並べて処理することにより動画を作成する動画作成手段と、を備えることを特徴とする動画作成システム。
2. 前記動画エリアは、前記ページの一部に設定されているものであって、前記ページの前記動画エリア以外の部分は文字が記入されるエリアであることを特徴とする請求項１に記載の動画作成システム。
3. 電子ペンにより認識可能なドットパターンが印刷された電子ペン用帳票を使用したコンピュータにより実行されるプログラムにおいて、
   前記電子ペン用帳票は、前記記入者が電子ペンにより記入を行うものであって、複数のページから構成されており、各ページに動画として処理する情報が記入される動画エリアが設定されているものであって、
   前記プログラムは、
   前記電子ペン用帳票を構成する各ページを識別するページ識別情報に対応付けて、当該ページを示す前記ドットパターン上の位置座標であるページ座標と、当該ページの動画エリアを示す前記ドットパターン上の位置座標である動画エリア座標とが記憶された座標情報を記憶する座標情報記憶手段、
   前記電子ペン用帳票に記入された記入情報を取得する記入情報取得手段、
   前記記入情報に基づいて、前記座標情報のページ座標を参照することにより、前記ページ識別情報を特定する特定手段、
   前記座標情報の前記動画エリア座標に基づいて、前記記入情報取得手段が取得した記入情報から、前記特定手段が特定した前記ページ識別情報に対応する前記ページの前記動画エリアに記入された動画エリア情報を抽出する抽出手段、
   前記特定手段が特定した前記ページ識別情報に対応付けて、前記抽出手段が抽出した動画エリア情報を記憶する記憶手段、
   前記ページ識別情報の昇順又は降順に、前記記憶手段に記憶された動画エリア情報を並べて処理することにより動画を作成する動画作成手段、として前記コンピュータを機能させることを特徴とするプログラム。
4. 前記動画エリアは、前記ページの一部に設定されているものであって、前記ページの前記動画エリア以外の部分は文字が記入されるエリアであることを特徴とする請求項３に記載のプログラム。

Images