JP5757966B2

JP5757966B2 - 入出力装置

Info

Publication number: JP5757966B2
Application number: JP2013017478A
Authority: JP
Inventors: 柴田　哲也; 哲也柴田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2013-01-31
Filing date: 2013-01-31
Publication date: 2015-08-05
Anticipated expiration: 2033-01-31
Also published as: CN107728915A; US9176607B2; CN103971390A; JP2014149634A; CN103971390B; US20140212042A1

Description

本発明は、表示部に表示した任意の画像に重ねて文字又は図形の手書き入力が可能な入出力装置に関する。

パーソナルコンピュータ（ＰＣ）等の情報処理装置は、キーボードを用いたデータ入力だけでなく、マウス又はタブレット等のポインティングデバイスを用いた手書き入力が可能である。例えば、グラフィックソフトウェアを利用して絵画を作成する際に、ポインティングデバイスを用いた文字又は図形の手書き入力が行われる。また、特許文献１には、注文書等の帳票を編集するために、手書き入力した文字又は図形からなる手書き画像と帳票の画像とを組み合わせたデータを作成する技術が記載されている。また、情報処理装置には、絵画を作成する場合に限らず、表示部に任意の画像を表示している状態で、文字又は図形の手書き入力を行う機能を備えたものもある。例えば、表示部と一体になったタッチパネルを用い、表示部に表示した画像に重ねて手書き画像の入力及び表示が行われる。

特開２００６−１６４１４８号公報

特許文献１に記載された技術のような、表示された画像と手書き画像とを組み合わせたデータを作成できる技術では、特定のソフトウェアで特定のデータを扱う必要があり、任意の画像に対して手書き画像を入力することができないという問題がある。また、表示部に表示した任意の画像に重ねて手書き入力を行う従来の技術では、画像の基になったデータと手書き画像とは無関係のデータである。このため、表示部に表示する画像を変更した場合、手書き画像が表示されたままとなり、表示された画像と手書き画像との対応が不適切になるという問題がある。

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、表示部に表示する任意の画像と手書き画像との対応を保つことができる入出力装置を提供することにある。

本発明に係る入出力装置は、記憶部と、表示部と、手書き画像が入力される手書き入力部とを備える入出力装置において、複数ページからなる画像を表すデータを前記記憶部が記憶しており、前記データに基づいた一のページの画像を前記表示部に表示している状態で、前記手書き入力部で手書き画像が入力された場合に、前記一のページの画像に追加して前記手書き画像を前記表示部に表示する手段と、ページ変更の指示を受け付ける手段と、該手段がページ変更の指示を受け付けた場合に、前記一のページの画像に前記手書き画像を関連付けた関連付け情報を作成し、記憶する手段と、前記一のページの画像及び前記手書き画像を消去し、他のページの画像を前記表示部に表示する手段と、前記他のページの画像に手書き画像を関連付けた関連付け情報が記憶されている場合に、前記他のページの画像に関連付けられた手書き画像を、前記他のページの画像に追加して前記表示部に表示する手段と、前記データを指定する情報及び一又は複数の関連付け情報を含んでおり、一又は複数の手書き画像を表す手書きデータを作成し、前記記憶部に記憶する手段とを備えることを特徴とする。

本発明に係る入出力装置は、前記データに基づいた画像及び手書き画像を合成した画像を表す合成データを作成する手段と、合成データに基づいた画像を前記表示部に表示する手段とを更に備えることを特徴とする。

本発明に係る入出力装置は、動画を表すデータを前記記憶部が記憶しており、前記データに基づいた動画を前記表示部に表示している間に、前記手書き入力部で手書き画像が入力された場合に、前記動画を停止する手段と、前記動画の停止時に前記表示部に表示されている部分に追加して前記手書き画像を前記表示部に表示する手段と、前記動画の停止時に前記表示部に表示されている部分に前記手書き画像を関連付けた動画関連付け情報を作成し、記憶する手段と、前記動画の表示を再開し、前記手書き画像を消去する手段と、前記データを指定する情報及び一又は複数の動画関連付け情報を含んでおり、一又は複数の手書き画像を表す動画用手書きデータを作成し、前記記憶部に記憶する手段と、動画を前記表示部に表示している間に、動画用手書きデータに含まれる動画関連付け情報で手書き画像が関連付けられた部分が表示された場合に、前記動画に追加して前記手書き画像を前記表示部に表示する手段とを更に備えることを特徴とする。

本発明にあっては、入出力装置は、任意の画像と入力された手書き画像との対応を保ちながら手書き画像を保存し、任意の画像に手書き画像を重ねた画像を容易に再現することが可能となる等、優れた効果を奏する。

入出力装置の内部の機能構成を示すブロック図である。入出力装置が行う手書き入力の処理の手順を示すフローチャートである。入出力装置が行う手書き入力の処理の手順を示すフローチャートである。入出力装置が行う手書き入力の処理の手順を示すフローチャートである。一般データに基づいた画像の例を示す模式図である。手書き画像の例を示す模式図である。ページ変更後の画像の例を示す模式図である。ページ変更後の画像に追加した手書き画像の例を示す模式図である。手書きデータのファイルフォーマットの例を示す概念図である。動画の例を示す模式図である。動画に関連付けられた手書きデータのファイルフォーマットの例を示す概念図である。入出力装置が行う手書き画像表示の処理の手順を示すフローチャートである。

以下本発明をその実施の形態を示す図面に基づき具体的に説明する。
図１は、入出力装置の内部の機能構成を示すブロック図である。入出力装置は、液晶ディスプレイ等の表示部１３と、ハードディスク等の記憶部４とを備える情報処理装置で構成されている。入出力装置は、タブレット等の手書き入力装置２を備え、記憶部４に記憶するデータに基づいた画像を表示部１３に表示すると共に、手書き入力装置２を用いた手書き入力を行う。入出力装置は、入出力装置の各部の動作を制御する制御部１１と、使用者からの操作を受け付けるキーボード等の操作部１２と、手書き入力装置２が接続されたインタフェース部１４とを備えている。手書き入力装置２は、使用者によってペン又は指を用いた文字又は図形等のオブジェクトからなる手書き画像が手書き入力され、手書き入力された内容を示すデータをインタフェース部１４へ入力する。

また、入出力装置は、手書き入力装置２からインタフェース部１４へ入力されたデータから手書き入力された内容を認識する処理を行う手書き入力処理部１５と、手書き入力されたオブジェクトからなる手書き画像を表示部１３に表示させる手書き表示処理部１６とを備えている。インタフェース部１４及び手書き入力処理部１５は、手書き入力部に対応する。また、入出力装置は、手書き画像の位置等の手書き画像の属性を作成する手書き属性作成部１７と、手書き画像の属性を示す情報を記憶する手書き属性記憶部１８とを備えている。また、入出力装置は、手書き画像を表す手書きデータを作成する手書きデータ作成部１９を備えている。

また、入出力装置は、記憶部４に記憶するデータに基づいた画像を表示部１３に表示させる表示処理部３１と、画像の種別を判定する種別判定部３２と、画像の基になるデータの属性を示す情報を記憶するデータ属性記憶部３３とを備えている。また、入出力装置は、動画を表示部１３に表示している状態で、再生の停止等の動画を制御する処理を行う動画制御部３４と、動画の再生中に動画中の各部分の再生時間を計測する時間計測部３５とを備えている。また、入出力装置は、手書きデータではない一般データに基づいた画像と手書き画像とを合成した合成画像を作成する合成部３６を備えている。記憶部４は、手書きデータ、合成画像を表す合成データ、及びその他の一般データを記憶する。一般データは、例えば、ワードプロセッサのファイル又はスプレッドシートのファイルである。

制御部１１は、演算を行うプロセッサと、演算に必要なプログラム、各種のデータ、及び演算に伴う一時的な情報を記憶するメモリとを含んで構成されている。手書き属性記憶部１８及びデータ属性記憶部３３はメモリで構成されている。手書き入力処理部１５、手書き表示処理部１６、手書き属性作成部１７、手書きデータ作成部１９、表示処理部３１、種別判定部３２、動画制御部３４、時間計測部３５及び合成部３６は、プロセッサ及びメモリを含む処理回路で構成されている。なお、これらの一部はソフトウェアを用いて構成されていてもよい。

図２、図３及び図４は、入出力装置が行う手書き入力の処理の手順を示すフローチャートである。制御部１１は、特定のプログラムの実行を開始する等の方法により、手書き入力の処理を開始する（Ｓ１０１）。制御部１１は、次に、記憶部４に記憶している一般データに基づいた画像を表示部１３に表示しているか否かを判定する（Ｓ１０２）。画像を表示していない場合は（Ｓ１０２：ＮＯ）、操作部１２で使用者からの操作を受け付ける等の方法により、制御部１１は一般データを特定し、表示処理部３１は、特定された一般データを記憶部４から読み出し、読み出した一般データに基づいた画像を表示部１３に表示させる（Ｓ１０３）。文書又は図面等の画像が表示部１３に表示される。図５は、一般データに基づいた画像の例を示す模式図である。図５には、スプレッドシートの画像を表示した例を示している。

ステップＳ１０２で画像を表示している場合（Ｓ１０２：ＹＥＳ）、又はステップＳ１０３で画像を表示した後は、データ属性記憶部３３は、表示されている画像の基になっているデータの属性を示す情報を記憶する（Ｓ１０４）。データの属性は、例えば、データのファイル名、ファイルのパス、及びファイルの種別である。また、データが、ワードプロセッサ又はスプレッドシート等、複数ページの画像を表示することができるデータである場合は、データの属性として総ページ数が含まれる。種別判定部３２は、次に、画像が動画であるか否かを判定する（Ｓ１０５）。例えば、種別判定部３２は、データ属性記憶部３３が記憶する情報に基づいて判定を行う。

画像が静止画である場合は（Ｓ１０５：ＮＯ）、制御部１１は、手書き入力装置２を用いた手書き入力を待ちうける（Ｓ１０６）。使用者は、表示部１３に表示された画像を見ながら手書き入力装置２を操作して、表示された画像に重ねて文字又は図形の手書き入力を行う。手書き入力装置２は、手書き入力された内容を示すデータをインタフェース部１４へ入力する。手書き入力があった場合（Ｓ１０６：ＹＥＳ）、手書き入力処理部１５は、手書き入力装置２から入力されたデータに基づき、手書き入力された文字又は図形等のオブジェクトを表すオブジェクトデータを作成し、記憶する（Ｓ１０７）。手書き表示処理部１６は、オブジェクトデータに基づいた手書き画像を、一般データに基づいた画像に追加して表示部１３に表示させる（Ｓ１０８）。

図６は、手書き画像の例を示す模式図である。図５に示す画像を見ながら使用者が手書き入力を行い、図５に示す画像に追加して手書き画像が表示された例が図６に示されている。手書き画像は一又は複数のオブジェクトを含んでいる。図６には、矢印を付けた「ＵＰ」という文字と、矢印を付けた「２６％」という文字とを含む手書き画像を示している。手書き画像は全体が一つのオブジェクトであってもよい。また、矢印付きの「ＵＰ」と、矢印付きの「２６％」とは夫々に一つのオブジェクトであってもよい。例えば、矢印付きの「ＵＰ」からなる手書き画像が表示されている状態で、矢印付きの「２６％」の手書き入力があった場合、二つのオブジェクトを含む手書き画像が表示される。また、矢印と「Ｕ」と「Ｐ」とが夫々に独立したオブジェクトであってもよい。

ステップＳ１０８が終了した後、又はステップＳ１０６で手書き入力がない場合は（Ｓ１０６：ＮＯ）、制御部１１は、一般データに基づいた画像のページ変更を行うか否かを判定する（Ｓ１０９）。例えば、使用者が操作部１２を操作してページ変更の指示を入力した場合に、制御部１１はページ変更を行うと判定する。また、一般データに基づいた画像に１ページ分の画像しかない場合は、制御部１１はページ変更を行わないと判定する。ページ変更を行う場合は（Ｓ１０９：ＹＥＳ）、手書き属性作成部１７は、表示中の手書き画像の属性を示す手書き属性情報を作成し、手書き属性記憶部１８は、手書き属性情報を記憶する（Ｓ１１０）。手書き画像の属性には、手書き画像に含まれるオブジェクトの名前、手書き画像が追加して表示された画像のページ番号、及びオブジェクトの位置等が含まれる。画像のページ番号が手書き画像の属性に含まれることによって、ページ番号が示す画像に手書き画像が関連付けられる。なお、手書き画像が表示されていない状態では、ステップＳ１１０の処理は実質的には行われない。表示処理部３１は、次に、表示部１３に表示する画像を別のページの画像に変更し（Ｓ１１１）、手書き表示処理部１６は、表示部１３に表示する手書き画像を変更する（Ｓ１１２）。ステップＳ１１２が終了した後は、制御部１１は、処理をステップＳ１０６へ戻す。

ステップＳ１１２では、変更前のページの画像に追加して表示されていた手書き画像を消去する。また、変更後のページの画像に手書き画像が関連付けられていない場合は手書き画像は表示されない。変更後のページの画像に手書き画像が関連付けられている場合は、関連付けられた画像が表示される。図７は、ページ変更後の画像の例を示す模式図である。変更前の画像とは異なる画像が表示されており、変更前の画像と共に表示されていた手書き画像は消去されている。ステップＳ１０６へ処理が戻った後、ステップＳ１０９で元のページへ戻るようにページ変更がなされた場合は、ステップＳ１１１で元のページの画像が表示され、ステップＳ１１２で、元のページの画像に関連付けられた手書き画像が追加して表示される。ステップＳ１１２では、手書き表示処理部１６は、手書き属性記憶部１８が記憶する手書き属性情報を参照して、変更後の画像に関連付けられた手書き画像があるか否かを判定し、手書き入力処理部１５に記憶されたオブジェクトデータに基づいて、関連付けられた手書き画像を表示部１３に表示させる。また、ステップＳ１０６へ処理が戻った後、ページ変更後の画像に対して手書き入力を行うことも可能である。図８は、ページ変更後の画像に追加した手書き画像の例を示す模式図である。図７に示す画像に追加して手書き画像が表示された例が示されている。このように、一般データに基づいて複数ページの画像が表示される場合に、夫々のページの画像に対して異なる手書き画像を入力することが可能である。

ステップＳ１０９でページ変更を行わない場合は（Ｓ１０９：ＮＯ）、制御部１１は、手書き画像の保存を行うか否かを判定する（Ｓ１１３）。例えば、制御部１１は、使用者が操作部１２を操作して保存の指示を入力した場合に、保存を行うと判定し、保存の指示の入力が無い場合に保存を行わないと判定する。また例えば、制御部１１は、手書き入力が行われてから一定の時間が経過した場合に保存を行うと判定してもよい。また例えば、制御部１１は、表示中の画像の基になっている一般データの更新が行われる場合に手書き画像の保存を行うと判定してもよい。手書き画像の保存を行う場合は（Ｓ１１３：ＹＥＳ）、手書き属性作成部１７は、手書き属性情報を作成し、手書き属性記憶部１８は、手書き属性情報を記憶する（Ｓ１１４）。

ステップＳ１１４が終了した後、又はステップＳ１１３で手書き画像の保存を行わない場合は（Ｓ１１３：ＮＯ）、制御部１１は、手書き入力の処理を終了するか否かを判定する（Ｓ１１５）。例えば、使用者が操作部１２を操作して終了の指示を入力した場合に、制御部１１は手書き入力の処理を終了すると判定する。また例えば、一般データに基づいた画像の表示が終了する場合に、制御部１１は手書き入力の処理を終了すると判定する。手書き入力の処理を終了しない場合は（Ｓ１１５：ＮＯ）、制御部１１は、処理をステップＳ１０６へ戻す。手書き入力の処理を終了する場合は（Ｓ１１５：ＹＥＳ）、制御部１１は、一般データに基づいた画像と手書き画像とを合成するか否かを判定する（Ｓ１１６）。例えば、使用者が操作部１２を操作して合成の指示を入力した場合に、制御部１１は合成を行うと判定する。また例えば、合成を行うか否かを予め設定しておき、設定内容を示すデータを記憶部４に記憶しておき、制御部１１は、記憶部４に記憶したデータを参照することで判定を行う。

合成を行わない場合は（Ｓ１１６：ＮＯ）、手書きデータ作成部１９は、データ属性記憶部３３が記憶しているデータの属性を示す情報、及び手書き属性記憶部１８が記憶する手書き属性情報を含み、一又は複数の手書き画像を表す手書きデータを作成し、記憶部４に記憶させる（Ｓ１１７）。ステップＳ１１７が終了した後は、制御部１１は、手書き入力の処理を終了する。

図９は、手書きデータのファイルフォーマットの例を示す概念図である。手書きデータは、オブジェクトを表すオブジェクトデータ及びヘッダを含んでいる。ヘッダには、手書き入力が行われた際に表示部１３に表示されていた画像の基になる一般データのデータ属性と、手書き属性とが含まれている。データ属性には、一般データのファイル名、一般データの保存先パス、ファイル種別及び総ページ数等が含まれている。ヘッダに含まれたデータ属性は、記憶部４に記憶されたデータの中から、手書き画像と共に表示されるべき画像の基になる一般データを指定するデータ指定情報である。

また、手書き属性には、手書きデータのファイル名、手書きデータの保存先パス、及び手書き画像の総ページ数が含まれている。また、手書き属性には、手書き画像を構成する一又は複数のオブジェクトに関するオブジェクト情報が含まれている。オブジェクト情報には、各オブジェクトについて、オブジェクトが手書き入力された画像のページ番号、及び画像中のオブジェクトの位置を示す座標が含まれている。各オブジェクトについてページ番号が記録されていることにより、一般データに基づいた複数の画像の内の一の画像に手書き画像が関連付けられている。即ち、オブジェクト情報は、本発明における関連付け情報に対応する。手書き属性に複数ページに関連付けられたオブジェクトに係るオブジェクト情報が含まれ、手書きデータに複数のオブジェクトに係るオブジェクトデータが含まれている場合は、手書きデータは、複数の手書き画像を表している。

ステップＳ１１６で制御部１１が合成を行うと判定した場合は（Ｓ１１６：ＹＥＳ）、手書きデータ作成部１９は、一般データに基づいた画像と手書き画像とを合成した合成画像を表す合成データを作成し、記憶部４に記憶させる（Ｓ１１８）。ステップＳ１１８が終了した後は、制御部１１は、手書き入力の処理を終了する。

ステップＳ１０５で画像が動画である場合は（Ｓ１０５：ＹＥＳ）、制御部１１は、手書き入力装置２を用いた手書き入力を待ちうける（Ｓ１１９）。手書き入力が無い場合（Ｓ１１９：ＮＯ）、制御部１１は、手書き入力の処理を終了するか否かを判定する（Ｓ１２０）。手書き入力の処理を終了しない場合は（Ｓ１２０：ＮＯ）、制御部１１は処理をステップＳ１１９へ戻す。

ステップＳ１１９で手書き入力があった場合（Ｓ１１９：ＹＥＳ）、動画制御部３４は、表示部１３で表示している動画を停止する（Ｓ１２１）。動画を停止した状態では、時系列上で動画の一部を構成する静止画が表示部１３に表示されている。手書き入力処理部１５は、次に、手書き入力装置２から入力されたデータに基づき、手書き入力されたオブジェクトを表すオブジェクトデータを作成し、記憶する（Ｓ１２２）。時間計測部３５は、動画の最初から停止した部分までの動画の時間長さを示す停止時間を計測し、記憶する（Ｓ１２３）。手書き表示処理部１６は、動画を停止した状態で表示部１３に表示されている画像に追加して、手書き画像を表示部１３に表示させる（Ｓ１２４）。

ステップＳ１２４が終了した後、制御部１１は、停止している動画の再生を再開するか否かを判定する（Ｓ１２５）。例えば、制御部１１は、使用者が操作部１２を操作して再開の指示を入力した場合に、動画の再生を再開すると判定し、再開の指示の入力が無い場合に動画の再生を再開しないと判定する。また例えば、制御部１１は、動画を停止してから一定時間が経過した場合に動画の再生を再開すると判定してもよい。動画の再生を再開する場合は（Ｓ１２５：ＹＥＳ）、手書き属性作成部１７は、表示中の手書き画像の属性を示す手書き属性情報を作成し、手書き属性記憶部１８は、手書き属性情報を記憶する（Ｓ１２６）。手書き画像の属性には、オブジェクトの名前、手書き画像が追加された動画部分の停止時間、及びオブジェクトの位置等が含まれる。停止時間が手書き画像の属性に含まれることによって、停止時間が示す動画の部分に手書き画像が関連付けられる。動画制御部３４は、次に、表示部１３に表示する動画の再生を再開し（Ｓ１２７）、手書き表示処理部１６は、手書き画像を表示部１３に所定時間表示した後、手書き画像を消去する（Ｓ１２８）。ステップＳ１２８が終了した後は、制御部１１は、処理をステップＳ１１９へ戻す。

図１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ及び１０Ｅは、動画の例を示す模式図である。夫々の図は動画の時系列上の一部を示し、図１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅの順で動画が再生される例を示している。各図中の数字は、動画の最初からその場面までの時間長さと、動画全体の時間長さとを示す数字である。例えば、図１０Ａ中の数字は、動画全体の時間長さが１０分間で、図１０Ａに示す画像が動画の最初から１分２秒経過した時点の場面であることを示している。図１０Ｂは、手書き入力がなされた状態を示している。動画が停止しており、画像に追加して手書き画像が表示されている。図１０Ｃ及び１０Ｄは、動画の再生が再開した後の画像を示している。手書き画像は同じ位置に表示され、動画は時間経過に応じて変化する。図に示した例では、動画中の３分２１秒の時点から３分２３秒の時点まで手書き画像が表示される。図１０Ｅは、手書き画像が消去された後の画像を示している。手書き画像は消去され、動画は継続して表示される。ステップＳ１１９へ処理が戻った後、更に手書き入力を行うことも可能である。この場合は、動画の時系列上の複数の部分に、手書き画像が関連付けられる。

ステップＳ１２５で動画の再生を再開しない場合は（Ｓ１２５：ＮＯ）、制御部１１は、手書き画像の保存を行うか否かを判定する（Ｓ１２９）。手書き画像の保存を行う場合は（Ｓ１２９：ＹＥＳ）、手書き属性作成部１７は、手書き属性情報を作成し、手書き属性記憶部１８は、手書き属性情報を記憶する（Ｓ１３０）。ステップＳ１３０が終了した後、又はステップＳ１２９で手書き画像の保存を行わない場合は（Ｓ１２９：ＮＯ）、制御部１１は、手書き入力の処理を終了するか否かを判定する（Ｓ１３１）。手書き入力の処理を終了しない場合は（Ｓ１３１：ＮＯ）、制御部１１は、処理をステップＳ１２５へ戻す。手書き入力の処理を終了する場合（Ｓ１２０：ＹＥＳ）、又はステップＳ１２０で手書き入力の処理を終了する場合は（Ｓ１３１：ＹＥＳ）、手書きデータ作成部１９は、データ属性記憶部３３が記憶しているデータの属性を示す情報、及び手書き属性記憶部１８が記憶する手書き属性情報を含み、一又は複数の手書き画像を表す手書きデータを作成し、記憶部４に記憶させる（Ｓ１３２）。ステップＳ１３２が終了した後は、制御部１１は、手書き入力の処理を終了する。

図１１は、動画に関連付けられた手書きデータのファイルフォーマットの例を示す概念図である。ヘッダには、動画の基になる一般データのデータ属性が含まれている。データ属性には、一般データのファイル名、一般データの保存先パス、ファイル種別、及び動画の総時間長さが含まれている。データ属性は、記憶部４に記憶されたデータの中から、手書き画像と共に表示されるべき動画の基になる一般データを指定するデータ指定情報である。また、手書き属性には、手書きデータのファイル名、手書きデータの保存先パス、及び手書き画像の総ページ数が含まれている。オブジェクト情報には、各オブジェクトについて、動画の最初からオブジェクトの表示が開始される部分までの動画の時間長さを示す開始時間、動画の最初からオブジェクトの表示が終了する部分までの動画の時間長さを示す終了時間、及び座標が含まれている。開始時間は、停止時間と同等の値である。終了時間は、予め定められた所定時間を開始時間に加算した値である。図１０Ａ〜１０Ｅに示した例では、開始時間は３分２１秒であり、終了時間は３分２３秒である。なお、終了時間は、使用者が指定してもよい。各オブジェクトについて開始時間及び終了時間が記録されていることにより、一般データに基づいた動画の時系列上の一部分に手書き画像が関連付けられている。従って、動画の場合、オブジェクト情報は動画関連付け情報に対応する。

図１２は、入出力装置が行う手書き画像表示の処理の手順を示すフローチャートである。制御部１１は、記憶部４に記憶する手書きデータを読み出す（Ｓ２１）。例えば、使用者が操作部１２を操作して手書きデータを指定する指示を入力し、制御部は、指定された手書きデータを記憶部４から読み出す。制御部１１は、手書きデータのヘッダに記録されたデータ属性を参照し、データ属性で指定された一般データを記憶部４から読み出す（Ｓ２２）。表示処理部３１は、読み出したデータに基づいた画像を表示部１３に表示させ、手書き表示処理部１６は、手書きデータに基づいた手書き画像を表示部１３に表示させる（Ｓ２３）。

ステップＳ２３では、入出力装置は、図６又は図８に示す如き、一般データに基づいた画像に手書き画像を追加した画像を表示する。手書き表示処理部１６は、手書きデータのヘッダを参照し、表示中の画像に関連付けられた手書き画像を表示する。より具体的には、手書き表示処理部１６は、あるオブジェクトのオブジェクト情報に記録されたページ番号の画像に追加して、オブジェクト情報に記録された座標が示す位置に、そのオブジェクトを表示する処理を行う。一般データに基づいた画像のページが変更された場合は、変更後のページに応じて表示される手書き画像も変更される。一般データに基づいた画像が動画である場合は、手書き表示処理部１６は、動画の各部分に追加して、各部分に関連付けられた手書き画像を表示部１３に表示させる。より具体的には、手書き表示処理部１６は、手書きデータのヘッダを参照し、動画の時系列上の部分の内、あるオブジェクトのオブジェクト情報に記録された開始時間及び終了時間で指定される部分に追加して、オブジェクト情報に記録された座標が示す位置に、そのオブジェクトを表示する処理を行う。動画制御部３４は、手書き画像が表示されるときに動画を停止してもよく、停止しなくてもよい。ステップＳ２３が終了した後は、制御部１１は、手書き画像表示の処理を終了する。また、入出力装置は、記憶部４に記憶している合成データを読み出し、読み出した合成データに基づいた合成画像を表示部１３に表示することもできる。

以上詳述した如く、本実施の形態においては、入出力装置は、任意のデータに基づいた画像を表示している状態で手書き画像を入力された場合に、画像に追加して手書き画像を表示し、データを指定するデータ指定情報を含む手書きデータを作成する。使用者は、手書き入力装置２を用いて、任意のデータに基づいた画像に重ねて、任意の文字又は図形からなる手書き画像を入力することができ、また手書き画像を保存することができる。入出力装置は、手書き画像を重ねられた画像の表示を終了した場合に手書き画像の表示を終了し、また、手書き画像を表示する際には、手書きデータに含まれるデータ指定情報が指定するデータに基づいた画像を表示する。このため、表示部に表示する画像を変更した場合、手書き画像は消去され、表示された画像と手書き画像との対応が不適切になることは無い。また、手書き画像を重ねた画像の基になるデータを示す情報が手書きデータに含まれているので、表示された画像と手書き画像との対応を保存し、容易に再現することが可能となる。また、手書きデータは手書き画像を重ねた画像の基になるデータとは別に作成されるので、画像の基になるデータを変更する必要が無い。このように、入出力装置は、任意の画像を表示した状態で手書き画像が入力された場合に、任意の画像と手書き画像との対応を保つことができる。

また、入出力装置は、任意の画像と手書き画像とを合成した合成画像を表す合成データを作成することもできる。合成データを用いることで、任意の画像に手書き画像を重ねた画像を容易に再現することができる。また、入出力装置は、一般データに基づいた画像がスプレッドシート等の複数ページからなる画像である場合に、個別のページの画像に手書き画像を関連付けることができる。表示する画像を一のページの画像から他のページの画像に変更した場合には、画像に追加して表示する手書き画像も変更する。このように、一つのデータに基づいて複数の画像を表示できる場合でも、個々の画像と手書き画像との対応を保つことができる。また、入出力装置は、一般データに基づいた画像が動画であり、動画の表示中に手書き画像が入力された場合に、動画の時系列上のそのときの部分に手書き画像を関連付けることができる。入出力装置は、動画の表示中に、手書き画像が関連付けられた部分が表示された場合に、画像に追加して手書き画像を表示し、他の部分が表示されている場合は手書き画像を表示しない。このように、動画に含まれる各部分と手書き画像との対応を保つことができる。また、入出力装置は、動画の表示中に手書き画像を入力された場合に、動画を停止する。これにより、使用者は、容易に手書き画像を入力することができる。

なお、本実施の形態においては、動画の時系列上の部分を示す情報として動画の最初からの時間長さを用いた形態を示したが、入出力装置は、動画の時系列上の部分を示す情報として、動画の最初から何番目のフレームであるかを表すフレーム数を用いる形態であってもよい。また、手書き入力装置２は、タッチパネル又はマウス等、タブレット以外のポインティングデバイスを用いた形態であってもよい。また、表示部１３は、プロジェクタであってもよい。また入出力装置は、手書き入力装置２と表示部１３とが一体になった形態であってもよい。例えば、表示部１３が平面状のディスプレイであり、手書き入力装置２は、画像を表示する表示部１３の画面上に置いたペン又は使用者の指の位置を検出する装置であってもよい。

１１制御部
１３表示部
１４インタフェース部
１５手書き入力処理部
１６手書き表示処理部
１７手書き属性作成部
１８手書き属性記憶部
１９手書きデータ作成部
２手書き入力装置
３１表示処理部
３２種別判定部
３３データ属性記憶部
３４動画制御部
３５時間計測部
３６合成部
４記憶部

Claims

記憶部と、表示部と、手書き画像が入力される手書き入力部とを備える入出力装置において、
複数ページからなる画像を表すデータを前記記憶部が記憶しており、前記データに基づいた一のページの画像を前記表示部に表示している状態で、前記手書き入力部で手書き画像が入力された場合に、前記一のページの画像に追加して前記手書き画像を前記表示部に表示する手段と、
ページ変更の指示を受け付ける手段と、
該手段がページ変更の指示を受け付けた場合に、前記一のページの画像に前記手書き画像を関連付けた関連付け情報を作成し、記憶する手段と、
前記一のページの画像及び前記手書き画像を消去し、他のページの画像を前記表示部に表示する手段と、
前記他のページの画像に手書き画像を関連付けた関連付け情報が記憶されている場合に、前記他のページの画像に関連付けられた手書き画像を、前記他のページの画像に追加して前記表示部に表示する手段と、
前記データを指定する情報及び一又は複数の関連付け情報を含んでおり、一又は複数の手書き画像を表す手書きデータを作成し、前記記憶部に記憶する手段と
を備えることを特徴とする入出力装置。
前記データに基づいた画像及び手書き画像を合成した画像を表す合成データを作成する手段と、
合成データに基づいた画像を前記表示部に表示する手段と
を更に備えることを特徴とする請求項１に記載の入出力装置。
動画を表すデータを前記記憶部が記憶しており、前記データに基づいた動画を前記表示部に表示している間に、前記手書き入力部で手書き画像が入力された場合に、前記動画を停止する手段と、
前記動画の停止時に前記表示部に表示されている部分に追加して前記手書き画像を前記表示部に表示する手段と、
前記動画の停止時に前記表示部に表示されている部分に前記手書き画像を関連付けた動画関連付け情報を作成し、記憶する手段と、
前記動画の表示を再開し、前記手書き画像を消去する手段と、
前記データを指定する情報及び一又は複数の動画関連付け情報を含んでおり、一又は複数の手書き画像を表す動画用手書きデータを作成し、前記記憶部に記憶する手段と、
動画を前記表示部に表示している間に、動画用手書きデータに含まれる動画関連付け情報で手書き画像が関連付けられた部分が表示された場合に、前記動画に追加して前記手書き画像を前記表示部に表示する手段とを更に備えること
を特徴とする請求項１又は２に記載の入出力装置。