JP5673144B2 - ディスプレイ装置、上書き制御方法、及びプログラム - Google Patents
ディスプレイ装置、上書き制御方法、及びプログラム Download PDFInfo
- Publication number
- JP5673144B2 JP5673144B2 JP2011016553A JP2011016553A JP5673144B2 JP 5673144 B2 JP5673144 B2 JP 5673144B2 JP 2011016553 A JP2011016553 A JP 2011016553A JP 2011016553 A JP2011016553 A JP 2011016553A JP 5673144 B2 JP5673144 B2 JP 5673144B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- overwriting
- transparent window
- background image
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、タッチパネル付きディスプレイ装置、上書き制御方法、及びその方法をコンピュータに実行させるプログラムに関するものである。
現在、ＰＤＰや液晶リアプロジェクタなどの表示装置と座標入力面と座標入力装置とを一体化して構成されたタッチパネル付きディスプレイ装置がある。一体型のタッチパネル付きディスプレイ装置は、タッチすることによって表示装置の表示画像に手書きしたのと同様に文字や図形を描画することができる。このため、タッチパネル付きディスプレイ装置は、プレゼンテーションや会議、学校の授業などに使われることが増えている。このような傾向は、表示装置の大型化に伴っていっそう強くなることが予想される。
タッチパネル付きディスプレイ装置において、表示されている画像上に文字や図形を描画可能な状態を「上書モード」という。また、タッチパネル付きディスプレイ装置におけるプログラムの起動や操作の機能は、例えばＷｉｎｄｏｗｓ（登録商標）（Ｒ）、Ｌｉｎｕｘ（Ｒ）、Ｍａｃｉｎｔｏｓｈ（Ｒ）といった汎用的なＯＳ（Operating System）によって提供される。プログラムを実行可能な状態をＡＰＬ（アプリケーション）モードという。
従来のタッチパネル付きディスプレイ装置では、ディスプレイ装置に表示されたコンテンツ（画像）を修正するには、ウィンドウ画面に表示された画像をキャプチャーしてビットマップに変換し、そのビットマップを編集するという方法が一般的である。例えば、特許文献１には、透明ウィンドウを使用した電子コンテンツ修正法が説明されている。
タッチパネル付きディスプレイ装置において、表示されている画像上に文字や図形を描画可能な状態を「上書モード」という。また、タッチパネル付きディスプレイ装置におけるプログラムの起動や操作の機能は、例えばＷｉｎｄｏｗｓ（登録商標）（Ｒ）、Ｌｉｎｕｘ（Ｒ）、Ｍａｃｉｎｔｏｓｈ（Ｒ）といった汎用的なＯＳ（Operating System）によって提供される。プログラムを実行可能な状態をＡＰＬ（アプリケーション）モードという。
従来のタッチパネル付きディスプレイ装置では、ディスプレイ装置に表示されたコンテンツ（画像）を修正するには、ウィンドウ画面に表示された画像をキャプチャーしてビットマップに変換し、そのビットマップを編集するという方法が一般的である。例えば、特許文献１には、透明ウィンドウを使用した電子コンテンツ修正法が説明されている。
従来の透明ウィンドウ方式による電子コンテンツ修正法では、上書きしたコンテンツを後から参照するために、背景画像と上書画像の位置がずれるタイミングでシステムが強制的に画面をキャプチャーしてビットマップに変換しコンテンツの修正結果を保存していた。そのため、保存すべきビットマップの数が多くなりすぎるという問題があった。
ここで、背景画像と上書画像がずれる場合について説明する。背景画像と上書画像の表示上のずれは、例えば、背景コンテンツがスクロールした場合などに発生する。背景コンテンツのスクロールと同期して上書きコンテンツがスクロールすれば表示上のずれは発生しないが、背景コンテンツがディスプレイ装置に接続されている他のコンピュータの映像である場合、ディスプレイ装置がスクロールイベントを検知できないという問題がある。検知できるようにするには、ハードウェア的結線（結線論理）が必要になる。しかし、ハードウェア的結線は複雑な制御には向かない方式であり、複数のコンピュータの接続を同時にサポートするディスプレイ装置に用いることは、現実的ではない。
ここで、背景画像と上書画像がずれる場合について説明する。背景画像と上書画像の表示上のずれは、例えば、背景コンテンツがスクロールした場合などに発生する。背景コンテンツのスクロールと同期して上書きコンテンツがスクロールすれば表示上のずれは発生しないが、背景コンテンツがディスプレイ装置に接続されている他のコンピュータの映像である場合、ディスプレイ装置がスクロールイベントを検知できないという問題がある。検知できるようにするには、ハードウェア的結線（結線論理）が必要になる。しかし、ハードウェア的結線は複雑な制御には向かない方式であり、複数のコンピュータの接続を同時にサポートするディスプレイ装置に用いることは、現実的ではない。
結果として、ディスプレイ装置に表示された背景コンテンツをスクロールさせると、背景コンテンツと上書きコンテンツとの対応のずれが必然的に生じてしまう。上書きしたコンテンツを後から参照するための画像を自動的に保存するには、スクロールによりずれが生じた画面を全て記憶メディアに保存する必要がある。このようなコンテンツの修正結果保存方法では、保存されるビットマップの数が莫大になり、後から修正したコンテンツを参照する場合、縮小画像選択一覧から所望の画像を選択しなければならず、非常に不便であった。
本発明は、上述の事情に鑑みてなされたものであり、上書きコンテンツを保存する必要のあるタイミングでシステムが上書きコンテンツを保存するか否かを操作者に尋ねることによって保存するビットマップ画像の量を減らし、後から修正したコンテンツを効率よく参照できるディスプレイ装置、上書き制御方法、及びプログラムを提供することを目的とする。
本発明は、上述の事情に鑑みてなされたものであり、上書きコンテンツを保存する必要のあるタイミングでシステムが上書きコンテンツを保存するか否かを操作者に尋ねることによって保存するビットマップ画像の量を減らし、後から修正したコンテンツを効率よく参照できるディスプレイ装置、上書き制御方法、及びプログラムを提供することを目的とする。
上記の課題を解決するために、請求項１に記載の発明は、表示画面と、座標入力装置と、前記座標入力装置で指定された点の座標を検出する座標検出手段と、前記表示画面上に表示された各領域上に前記領域と同じ色で表される透明ウィンドウを開き、前記座標検出手段が前記透明ウィンドウ上で検出した座標に基づく画像を、前記透明ウィンドウ上に上書画像として表示する上書手段と、備えたディスプレイ装置であって、前記表示画面に表示された背景画像の変化を監視する監視手段と、該監視手段により背景画像の変化が検知された場合に、背景画像と上書画像の合成画像を保存するか否かを判断するためのメッセージを表示するアラート手段と、前記座標入力装置から前記合成画像を保存する旨の入力があった場合に、該合成画像を保存する保存手段と、を備えたことを特徴とする。
請求項１の発明では、背景画像がスクロールして上書画像に対してずれる等、上書画像に対して背景画像が変化したタイミングで合成画像を保存するか否かを操作者に尋ねるようにした。
請求項１の発明では、背景画像がスクロールして上書画像に対してずれる等、上書画像に対して背景画像が変化したタイミングで合成画像を保存するか否かを操作者に尋ねるようにした。
請求項２に記載の発明は、前記監視手段は、前記透明ウィンドウ上に描画されている上書画像を囲む最小矩形を抽出する矩形抽出手段を備え、該矩形抽出手段により抽出された最小矩形内の前記背景画像の変化を監視することを特徴とする。
請求項２の発明では、透明ウィンドウ上に描画されている上書画像を囲む最小矩形内を監視するようにしたので、監視する範囲が狭くなり、装置の負担を軽減できる。
請求項３に記載の発明は、前記表示画面に表示される画像を一時的に記憶する画像ＲＡＭを備え、前記透明ウィンドウ上に描画されている上書画像を囲む最小矩形と対応する範囲の該画像ＲＡＭ内上の背景画像データに関し、ある時点におけるコピーデータと、現在の背景画像データとをビット毎に排他的論理和をとることで前記背景画像の変化を検知することを特徴とする。
請求項３の発明では、ある時点における最小矩形内の背景画像データと、現在の背景画像データとをビット毎に監視する。
請求項４に記載の発明は、前記最小矩形内に前記背景画像が存在しない場合に、前記矩形抽出手段は、背景画像データが現れるまで前記最小矩形を拡大することを特徴とする。
請求項４の発明において、最小矩形内に背景画像が存在しない、とは、背景画像が例えば単一色の背景画像であるという意味である。このような場合には、単一色以外の背景画像が見つかるまで最小矩形を拡大し、拡大された最小矩形内を監視する。
請求項２の発明では、透明ウィンドウ上に描画されている上書画像を囲む最小矩形内を監視するようにしたので、監視する範囲が狭くなり、装置の負担を軽減できる。
請求項３に記載の発明は、前記表示画面に表示される画像を一時的に記憶する画像ＲＡＭを備え、前記透明ウィンドウ上に描画されている上書画像を囲む最小矩形と対応する範囲の該画像ＲＡＭ内上の背景画像データに関し、ある時点におけるコピーデータと、現在の背景画像データとをビット毎に排他的論理和をとることで前記背景画像の変化を検知することを特徴とする。
請求項３の発明では、ある時点における最小矩形内の背景画像データと、現在の背景画像データとをビット毎に監視する。
請求項４に記載の発明は、前記最小矩形内に前記背景画像が存在しない場合に、前記矩形抽出手段は、背景画像データが現れるまで前記最小矩形を拡大することを特徴とする。
請求項４の発明において、最小矩形内に背景画像が存在しない、とは、背景画像が例えば単一色の背景画像であるという意味である。このような場合には、単一色以外の背景画像が見つかるまで最小矩形を拡大し、拡大された最小矩形内を監視する。
請求項５に記載の発明は、ディスプレイ装置で実行される上書制御方法であって、前記ディスプレイ装置は、制御部と記憶部を備え、前記制御部において実行される、座標検出手段が、座標入力装置上で指定された点の座標を検出するステップと、上書手段が、表示画面上に表示された各領域上に前記領域と同じ色で表される透明ウィンドウを開き、前記座標検出手段が前記透明ウィンドウ上で検出した座標に基づく画像を、前記透明ウィンドウ上に上書画像として表示するステップと、監視手段が、前記表示画面に表示された背景画像の変化を監視するステップと、アラート手段が、該監視手段により背景画像の変化が検知された場合に、背景画像と上書画像の合成画像を保存するか否かを判断するためのメッセージを表示するステップと、保存手段が、前記座標入力装置から前記合成画像を保存する旨の入力があった場合に、該合成画像を保存するステップと、を含むことを特徴とする。
請求項６に記載の発明は、コンピュータを、座標入力装置上で指定された点の座標を検出する座標検出手段と、表示画面上に表示された各領域上に前記領域と同じ色で表される透明ウィンドウを開き、前記座標検出手段が前記透明ウィンドウ上で検出した座標に基づく画像を、前記透明ウィンドウ上に上書画像として表示する上書手段と、前記表示画面に表示された背景画像の変化を監視する監視手段と、該監視手段により背景画像の変化が検知された場合に、背景画像と上書画像の合成画像を保存するか否かを判断するためのメッセージを表示するアラート手段と、前記座標入力装置から前記合成画像を保存する旨の入力があった場合に、該合成画像を保存する保存手段と、として機能させることを特徴とする。
請求項５、６の発明では、請求項１と同様の作用、効果を奏する。
請求項７に記載の発明は、座標入力装置で指定された点の座標を検出する座標検出手段と、表示画面上に透明ウィンドウを開き、前記座標検出手段が前記透明ウィンドウ上で検出した座標に基づく画像を、前記透明ウィンドウ上に上書画像として表示する上書手段と、を備えたディスプレイ装置であって、背景画像の変化が検知された場合に、背景画像と上書画像の合成画像を保存するか否かを判断するためのメッセージを表示するアラート手段と、前記座標入力装置から前記合成画像を保存する旨の入力があった場合に、該合成画像を保存する保存手段と、を備えたことを特徴とする。
請求項５、６の発明では、請求項１と同様の作用、効果を奏する。
請求項７に記載の発明は、座標入力装置で指定された点の座標を検出する座標検出手段と、表示画面上に透明ウィンドウを開き、前記座標検出手段が前記透明ウィンドウ上で検出した座標に基づく画像を、前記透明ウィンドウ上に上書画像として表示する上書手段と、を備えたディスプレイ装置であって、背景画像の変化が検知された場合に、背景画像と上書画像の合成画像を保存するか否かを判断するためのメッセージを表示するアラート手段と、前記座標入力装置から前記合成画像を保存する旨の入力があった場合に、該合成画像を保存する保存手段と、を備えたことを特徴とする。
本発明によれば、上書きコンテンツを保存すべきタイミングでシステムが上書きコンテンツを保存するかを操作者に尋ねるので、後から修正したコンテンツを効率よく参照できる。また、操作者は、必要な上書きコンテンツのみを選択的に保存できるので、コンテンツ保存のための記憶域も少なくて済み、また、保存したコンテンツの参照を効率的にできる。
以下に添付図面を参照して、この発明にかかるタッチパネル付きディスプレイ装置、上書制御方法、上書制御をコンピュータに実行させるプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体の好適な実施の形態を詳細に説明する。
図１は、本実施の形態のタッチパネル付きディスプレイ装置の構成を説明するための図である。図示したタッチパネル付きディスプレイ装置は、タッチパネル式の座標入力装置１と、座標入力装置１に入力された座標を検出する座標検出装置３と、座標検出装置３が検出した座標に基づいて画像データを制御するホスト装置４（本実施の形態ではＰＣ（Personal Computer）を利用している）、ホスト装置４によって制御された画像データ（Ｒ，Ｇ，Ｂ）を液晶画面やＰＤＰ（Plasma Display Panel）といったディスプレイ画面１１３に表示する表示装置２とを備えている。
図１は、本実施の形態のタッチパネル付きディスプレイ装置の構成を説明するための図である。図示したタッチパネル付きディスプレイ装置は、タッチパネル式の座標入力装置１と、座標入力装置１に入力された座標を検出する座標検出装置３と、座標検出装置３が検出した座標に基づいて画像データを制御するホスト装置４（本実施の形態ではＰＣ（Personal Computer）を利用している）、ホスト装置４によって制御された画像データ（Ｒ，Ｇ，Ｂ）を液晶画面やＰＤＰ（Plasma Display Panel）といったディスプレイ画面１１３に表示する表示装置２とを備えている。
なお、本明細書中では、座標入力装置１と座標検出装置３とを合わせた構成をタッチパネルとも記す。また、本実施の形態のタッチパネル付きディスプレイ装置には、ディスプレイ画面１１３が座標入力装置１の座標入力面１１２と重なって設けられている。座標入力面とは、座標検出装置３が座標を検出できる領域であって、本実施の形態のタッチパネル付きディスプレイ装置はディスプレイ画面１１３に直接タッチする構成であるから、座標入力面１１２は仮想的な面である。
座標入力装置１は、後述する光学検出器を備えていて、ディスプレイ画面１１３上のタッチを光学的に検出する。光学検出器が検出したデータは座標検出装置３に入力し、座標検出装置３が、タッチされた座標入力面１１２上の点（タッチ点）ｔの座標（ｘ，ｙ）を算出する。算出される座標は、ディスプレイ画面１１３の画素数（例えばｘ：１０２４，ｙ：７６８）によって表され、１０ｍｓ、あるいは２０ｍｓといった時間で周期的にホスト装置４に出力する。なお、座標検出装置３のタッチ点の座標の算出については、後に詳述する。
座標入力装置１は、後述する光学検出器を備えていて、ディスプレイ画面１１３上のタッチを光学的に検出する。光学検出器が検出したデータは座標検出装置３に入力し、座標検出装置３が、タッチされた座標入力面１１２上の点（タッチ点）ｔの座標（ｘ，ｙ）を算出する。算出される座標は、ディスプレイ画面１１３の画素数（例えばｘ：１０２４，ｙ：７６８）によって表され、１０ｍｓ、あるいは２０ｍｓといった時間で周期的にホスト装置４に出力する。なお、座標検出装置３のタッチ点の座標の算出については、後に詳述する。
また、座標検出装置３は、後述する光学検出器が検出したデータを入力するための左光学検出器Ｉ／Ｆ１０１、右光学検出器Ｉ／Ｆ１０２、座標検出装置３全般を制御する中央演算装置１０４、中央演算装置１０４で使用されるプログラムが格納されているＲＯＭ１０５、中央演算装置１０４の作業データが一時保存されるＲＡＭ１０６、周期的に時間を計測して中央演算装置１０４に入力するタイマ（ＴＩＭＥＲ）１０７とを備えている。
ホスト装置４は、ＰＣ（Personal Computer）であって、Ｗｉｎｄｏｗｓ（登録商標）（Ｒ）、Ｍａｃｉｎｔｏｓｈ（Ｒ）、Ｌｉｎｕｘ（Ｒ）といった汎用的なＯＳを搭載しており、画像データの制御は、ＯＳの制御下で実行されている。そして、汎用的なＯＳの制御下で実行されるプログラム（ドライバソフト）であるドライバ１０８と、共通の汎用的なＯＳの制御下で動作するアプリケーションＡＰＬ１１１と、画像データが一時的に保存される画像ＲＡＭ１１５とを有している。
ホスト装置４は、ＰＣ（Personal Computer）であって、Ｗｉｎｄｏｗｓ（登録商標）（Ｒ）、Ｍａｃｉｎｔｏｓｈ（Ｒ）、Ｌｉｎｕｘ（Ｒ）といった汎用的なＯＳを搭載しており、画像データの制御は、ＯＳの制御下で実行されている。そして、汎用的なＯＳの制御下で実行されるプログラム（ドライバソフト）であるドライバ１０８と、共通の汎用的なＯＳの制御下で動作するアプリケーションＡＰＬ１１１と、画像データが一時的に保存される画像ＲＡＭ１１５とを有している。
ここで、本実施の形態のタッチパネル付きディスプレイ装置におけるタッチ点の検出および座標の算出について説明する。図２は、本実施の形態の座標入力装置を示す図である。座標入力装置１は、図中の縦方向の長さがＨ、横の長さがＷの矩形の座標入力面１１２と、座標入力面の三辺に設けられた再帰性反射部材２０１と、再帰性反射部材２０１が設けられていない１辺の両端に設けられた左光学検出器２０２Ｌ、右光学検出器２０２Ｒとを備えている。
左光学検出器２０２Ｌ、右光学検出器２０２Ｒは、いずれも半導体レーザである光源（図示せず）と、例えばＣＣＤ（Charged Coupled Device)を利用した受光部（図示せず）とを一体化したユニットである。光源は、座標入力面１１２の全域に光源を要とする扇状に光を照射する。左光学検出器２０２Ｌ、右光学検出器２０２Ｒが扇状の光を照射することによって、レーザ光は座標入力面１１２の全域に照射される。
左光学検出器２０２Ｌ、右光学検出器２０２Ｒは、いずれも半導体レーザである光源（図示せず）と、例えばＣＣＤ（Charged Coupled Device)を利用した受光部（図示せず）とを一体化したユニットである。光源は、座標入力面１１２の全域に光源を要とする扇状に光を照射する。左光学検出器２０２Ｌ、右光学検出器２０２Ｒが扇状の光を照射することによって、レーザ光は座標入力面１１２の全域に照射される。
座標入力面１１２に照射された光は、再帰性反射部材２０１に反射される。再帰性反射部材２０１は、光を１８０度の角度で反射する部材であって、例えば図中に示す照射光ｐ１を反射して照射光ｐ１の光軸に平行な光軸を通る反射光ｐ２とする。座標入力面上１１２に光を遮るものが存在しない場合、左光学検出器２０２Ｌ、右光学検出器２０２Ｒ、は照射された光のすべての反射光を受光する。しかし、例えば指やペンが座標入力面１１２にタッチしたとき、タッチ点を通る光が左光学検出器２０２Ｌ、右光学検出器２０２Ｒに受光されない。
左光学検出器２０２Ｌ、右光学検出器２０２Ｒによって検出される光の情報は、アナログデータとして座標検出装置３に入力する。このとき、座標検出装置３は、扇状に照射された光のうち、受光部の光を受光しなかった位置で本来受光されるはずの光の光軸から左光学検出器２０２Ｌ、右光学検出器２０２Ｒの受光部を通る直線と各受光部とタッチ点ｔとを通る直線との角度（光遮蔽角度）θL、θRとを求める。タッチ点ｔの座標(ｘ，ｙ)は、角度θＬ、θＲを使って以下のように算出される。
ｘ＝Ｗ×ｔａｎθＲ／（ｔａｎθＬ＋ｔａｎθＲ）
ｙ＝Ｈ−Ｗ×ｔａｎθＬ×ｔａｎθＲ／（ｔａｎθＬ＋ｔａｎθＲ）
左光学検出器２０２Ｌ、右光学検出器２０２Ｒによって検出される光の情報は、アナログデータとして座標検出装置３に入力する。このとき、座標検出装置３は、扇状に照射された光のうち、受光部の光を受光しなかった位置で本来受光されるはずの光の光軸から左光学検出器２０２Ｌ、右光学検出器２０２Ｒの受光部を通る直線と各受光部とタッチ点ｔとを通る直線との角度（光遮蔽角度）θL、θRとを求める。タッチ点ｔの座標(ｘ，ｙ)は、角度θＬ、θＲを使って以下のように算出される。
ｘ＝Ｗ×ｔａｎθＲ／（ｔａｎθＬ＋ｔａｎθＲ）
ｙ＝Ｈ−Ｗ×ｔａｎθＬ×ｔａｎθＲ／（ｔａｎθＬ＋ｔａｎθＲ）
次に、座標検出装置３で検出されるデータ（検出データ）とマウスデータとについて説明する。座標検出装置３は、座標入力装置１に対してなされたタッチのタッチ点のアナログデータを入力し、タッチ点の座標を算出する。そして、座標のデータとタッチの有無や状態（タッチ、デタッチ、移動・停止タッチ）とを示すデータ（検出データ）をドライバ１０８に与える。検出データは、ホスト装置４のドライバ１０８によってマウスデータに変換される。
図３（ａ）は、検出データの形式を説明するための図、図３（ｂ）はマウスデータの形式を説明するための図である。図３（ａ）に示したように、検出データは、タッチ点のｘ座標、ｙ座標、さらにタッチ点の座標ステータスの情報を含んでいる。座標ステータスは、検出データが、タッチ、デタッチ、移動・停止タッチのいずれであるかを１または０によって示すものである。なお、座標検出装置３がタッチ、デタッチ、移動・停止タッチを検出した場合、各タッチを示すフィールドに１が設定される。
また、図３（ｂ）に示したように、マウスデータは、タッチ点のｘ座標、ｙ座標、さらにマウスステータスの情報を含んでいる。マウスステータスは、マウスの右ボタンのＯＮ、ＯＦＦ、左ボタンのＯＮ、ＯＦＦを１または０によって示すものである。タッチ、デタッチ、移動・停止タッチは、マウスの右ボタンのＯＮ、ＯＦＦ、左ボタンのＯＮ、ＯＦＦのうちいずれかと対応付けて設定されている。
図３（ａ）は、検出データの形式を説明するための図、図３（ｂ）はマウスデータの形式を説明するための図である。図３（ａ）に示したように、検出データは、タッチ点のｘ座標、ｙ座標、さらにタッチ点の座標ステータスの情報を含んでいる。座標ステータスは、検出データが、タッチ、デタッチ、移動・停止タッチのいずれであるかを１または０によって示すものである。なお、座標検出装置３がタッチ、デタッチ、移動・停止タッチを検出した場合、各タッチを示すフィールドに１が設定される。
また、図３（ｂ）に示したように、マウスデータは、タッチ点のｘ座標、ｙ座標、さらにマウスステータスの情報を含んでいる。マウスステータスは、マウスの右ボタンのＯＮ、ＯＦＦ、左ボタンのＯＮ、ＯＦＦを１または０によって示すものである。タッチ、デタッチ、移動・停止タッチは、マウスの右ボタンのＯＮ、ＯＦＦ、左ボタンのＯＮ、ＯＦＦのうちいずれかと対応付けて設定されている。
なお、本実施の形態では、座標入力面１１２に対して指やペンが非接触状態から接触したことをタッチといい、タッチがなされた位置を示す点をタッチ点という。また、タッチ点から指やペンが離れたことをデタッチといい、デタッチすることなくタッチ点が移動することを移動・停止タッチという。なお、移動・停止タッチは、マウスでいうドラッグの操作に相当する。
以上述べた構成は、以下のように動作する。すなわち、座標検出装置３は、タッチ点の座標を算出し、タッチ、デタッチなどの座標ステータスと共にホスト装置４に引き渡す。ホスト装置４のドライバ１０８は、汎用的なＯＳの制御下で座標検出装置３から検出データをＲＳ２３２ＣあるいはＵＳＢを介して受け取り、マウスデータに変換してマウスＩ／Ｆに渡す。マウスデータは、さらにＡＰＬ１１１に渡される。
ＡＰＬ１１１は、マウスＩ／Ｆから受け取ったマウスデータに含まれる座標に関する情報やボタンのＯＮ、ＯＦＦの情報にしたがって予め座標に設定されている機能を実行する。ここでいう機能とは、例えば、ドラッグの軌跡を特定の色や太さの線で描画する文字描画、図形描画、罫線描画をいう。
ＡＰＬ１１１の機能の実行によって作成された画像データは、Ｒ、Ｇ、Ｂで表される形式で画像ＲＡＭ１１５に展開されて表示装置２に送出する。表示装置２は、画像データをディスプレイ画面１１３に表示する。
以上述べた構成は、以下のように動作する。すなわち、座標検出装置３は、タッチ点の座標を算出し、タッチ、デタッチなどの座標ステータスと共にホスト装置４に引き渡す。ホスト装置４のドライバ１０８は、汎用的なＯＳの制御下で座標検出装置３から検出データをＲＳ２３２ＣあるいはＵＳＢを介して受け取り、マウスデータに変換してマウスＩ／Ｆに渡す。マウスデータは、さらにＡＰＬ１１１に渡される。
ＡＰＬ１１１は、マウスＩ／Ｆから受け取ったマウスデータに含まれる座標に関する情報やボタンのＯＮ、ＯＦＦの情報にしたがって予め座標に設定されている機能を実行する。ここでいう機能とは、例えば、ドラッグの軌跡を特定の色や太さの線で描画する文字描画、図形描画、罫線描画をいう。
ＡＰＬ１１１の機能の実行によって作成された画像データは、Ｒ、Ｇ、Ｂで表される形式で画像ＲＡＭ１１５に展開されて表示装置２に送出する。表示装置２は、画像データをディスプレイ画面１１３に表示する。
図４は、図１に示したタッチパネル付きディスプレイ装置のうち、上書制御にかかる構成を説明するための機能ブロック図である。図示した機能は、ＡＰＬ１１１の一つとして汎用的なＯＳによって提供される。
図示したＡＰＬ１１１は、ディスプレイ画面１１３上にウィンドウ（ディスプレイ画面に複数の文書や画像、表などを表示させる機能をいう。本実施の形態では、ウィンドウの機能によって複数の文書や画像、表などを表示させるために設けられた画面をウィンドウ画面という）を表示するウィンドウ表示部３０１と、座標検出装置３が透明ウィンドウ上で検出した座標に基づいて画像（上書画像）を表示する上書部３０３と、を備えている。
なお、透明ウィンドウとは、背景色が透明ウィンドウ下のウィンドウ画面と同じ色で表されるウィンドウを指す。透明ウィンドウは、ウィンドウの範囲（位置座標）は規定されているものの、透明ウィンドウ下のウィンドウ画面との境界を視認することができず、透明ウィンドウ上の上書画像が透明ウィンドウ下のウィンドウ画面上に直接表示されているように見える。
また、上書部３０３による上書画像の表示後、上書部３０３によって表示された上書画像を保存するか否か、あるいは画像の保存にかかる条件の少なくとも一方を設定するための保存画像設定手段である保存制御部３０５と、を備えている。画像保存Ｄ・Ｂ３０９は、保存制御部３０５によって設定された条件にしたがって画像を保存する画像保存手段である。
また、上書Ｄ・Ｂ３０７は、上書部３０３の後述するスタンプや図形のモードで使用される画像データなどが蓄積されたデータベースである。なお、以上の構成は、ドライバ１０８から渡されるマウスデータＭによって座標入力装置１に入力された座標を認識している。
図示したＡＰＬ１１１は、ディスプレイ画面１１３上にウィンドウ（ディスプレイ画面に複数の文書や画像、表などを表示させる機能をいう。本実施の形態では、ウィンドウの機能によって複数の文書や画像、表などを表示させるために設けられた画面をウィンドウ画面という）を表示するウィンドウ表示部３０１と、座標検出装置３が透明ウィンドウ上で検出した座標に基づいて画像（上書画像）を表示する上書部３０３と、を備えている。
なお、透明ウィンドウとは、背景色が透明ウィンドウ下のウィンドウ画面と同じ色で表されるウィンドウを指す。透明ウィンドウは、ウィンドウの範囲（位置座標）は規定されているものの、透明ウィンドウ下のウィンドウ画面との境界を視認することができず、透明ウィンドウ上の上書画像が透明ウィンドウ下のウィンドウ画面上に直接表示されているように見える。
また、上書部３０３による上書画像の表示後、上書部３０３によって表示された上書画像を保存するか否か、あるいは画像の保存にかかる条件の少なくとも一方を設定するための保存画像設定手段である保存制御部３０５と、を備えている。画像保存Ｄ・Ｂ３０９は、保存制御部３０５によって設定された条件にしたがって画像を保存する画像保存手段である。
また、上書Ｄ・Ｂ３０７は、上書部３０３の後述するスタンプや図形のモードで使用される画像データなどが蓄積されたデータベースである。なお、以上の構成は、ドライバ１０８から渡されるマウスデータＭによって座標入力装置１に入力された座標を認識している。
図５、図６は、上書部３０３によってなされる上書モードの一般的な処理を説明するための図である。図５（ａ）は、上書部３０３によってなされる上書のモードを設定するための設定画面を説明するための図である。図示した設定画面は、「ペン」、「スタンプ」といった上書モードを選択するボタンを表示する。表示されたボタンのうち、例えばペンのタブ６５１が選択されると、ペンによって描画される線の太さや色を設定するためのダイアログボックス６５４が表示される。また、描画された線を消すための消しゴムの大きさを選択する画面６５６が表示される。選択されたペンの太さや色、消しゴムの大きさは、ＯＫボタン６５８をクリックすることによって決定する。
図５（ｂ）は、上書のモードの「スタンプ」を設定する画面を示す図である。スタンプのタブ６６１が選択されると、予め登録されているスタンプを表示するスタンプメニュー６６２が開く。スタンプメニューには、使用可能な複数のスタンプ６６２ａ〜６６２ｅが表示される。表示されたスタンプ６６２ａ〜６６２ｅのいずれかを選択すると、選択されたスタンプをプレビュー画面に表示することができる。表示されたスタンプは、ＯＫボタン６５８のクリックによって上書されるスタンプに決定する。
図５（ｂ）は、上書のモードの「スタンプ」を設定する画面を示す図である。スタンプのタブ６６１が選択されると、予め登録されているスタンプを表示するスタンプメニュー６６２が開く。スタンプメニューには、使用可能な複数のスタンプ６６２ａ〜６６２ｅが表示される。表示されたスタンプ６６２ａ〜６６２ｅのいずれかを選択すると、選択されたスタンプをプレビュー画面に表示することができる。表示されたスタンプは、ＯＫボタン６５８のクリックによって上書されるスタンプに決定する。
図６（ａ）〜（ｃ）は、図５で設定した上書モードを使って上書きをする操作を説明するための図である。図示したように、ウィンドウ画面４０１に画像（ウィンドウ画像）が表示されていて、ウィンドウ画面４０１の図中右側に上書ツールバー４０３が表示される。上書ツールバー４０３は、デスクトップ画面のアイコンをダブルクリックすることにより、ＯＳが提供する起動手段によって起動される。
また、上書ツールバー４０３は、ＡＰＬボタン４０３ａ、ペンボタン４０３ｂ、図形ボタン４０３ｃ、スタンプボタン４０３ｄ、消しゴムボタン４０３ｅ、ページ保存ボタン４０３ｆ、サムネイルボタン４０３ｇ、設定ボタン４０３ｈといった複数のボタンを有している。ＡＰＬボタン４０３ｑは、上書きモードからＡＰＬモードへ戻し、プログラムをＯＳの１ＡＰＬとして動作可能にする（図６（ａ））。
また、上書ツールバー４０３は、ＡＰＬボタン４０３ａ、ペンボタン４０３ｂ、図形ボタン４０３ｃ、スタンプボタン４０３ｄ、消しゴムボタン４０３ｅ、ページ保存ボタン４０３ｆ、サムネイルボタン４０３ｇ、設定ボタン４０３ｈといった複数のボタンを有している。ＡＰＬボタン４０３ｑは、上書きモードからＡＰＬモードへ戻し、プログラムをＯＳの１ＡＰＬとして動作可能にする（図６（ａ））。
また、ペンボタン４０３ｂ、図形ボタン４０３ｃ、スタンプボタン４０３ｄ、消しゴムボタンｅの何れかが選択されると、上書きモードを示すカーソル４０５（ペンによる上書の例）が表示されて上書きモードへ移行したことを示す。上書モードをペンに設定した場合、ディスプレイ画面１１３上のウィンドウ画面内に指などでタッチしながら文字を書くことにより、手書き文字４０９を上書することができる。
また、上書モードを図形に設定した場合、ウィンドウ画面内に指などで楕円４０７のような図形を上書することができる。この際、上書される図形の種類（円、楕円、直線、矢印、四角形）は、図形ボタン押下時にメニュー表示される。オペレータは、表示されたメニューから所望の図形を選択することができる。
さらに、上書モードをスタンプに設定した場合、例えばスタンプ画像４１３をウィンドウ画面内に貼りつけることができる。スタンプ画像は、スタンプボタン押下時にメニュー表示される。オペレータは、表示されたメニューから所望のスタンプ画像を選択することができる（図６（ｂ））。
なお、本実施の形態では、上書モードを消しゴムに設定した場合、消しゴムカーソル４１１が触れる手書き文字（図形）、図形、スタンプを消去することができる（図６（ｃ））。
また、上書モードを図形に設定した場合、ウィンドウ画面内に指などで楕円４０７のような図形を上書することができる。この際、上書される図形の種類（円、楕円、直線、矢印、四角形）は、図形ボタン押下時にメニュー表示される。オペレータは、表示されたメニューから所望の図形を選択することができる。
さらに、上書モードをスタンプに設定した場合、例えばスタンプ画像４１３をウィンドウ画面内に貼りつけることができる。スタンプ画像は、スタンプボタン押下時にメニュー表示される。オペレータは、表示されたメニューから所望のスタンプ画像を選択することができる（図６（ｂ））。
なお、本実施の形態では、上書モードを消しゴムに設定した場合、消しゴムカーソル４１１が触れる手書き文字（図形）、図形、スタンプを消去することができる（図６（ｃ））。
保存制御部
図７（ａ）、（ｂ）は、保存制御部３０５によってなされる処理を説明するための図である。保存制御部３０５は、ディスプレイ画面１１３に複数のウィンドウ画面が表示されている場合、複数のウィンドウ画面の各々について画像を保存するか否か、画像の保存にかかる条件の少なくとも一方を設定するための保存設定画面を表示する。
すなわち、上書ツールバー４０３のページ保存ボタン上のタッチが検出されると、保存制御部３０５は、ウィンドウ画面７０３ａ、７０３ｂのうち、上書画像が表示されているウィンドウ画面（図７の場合は両方）の例えばタイトルバー名といったタイトルバーに関する情報をメニューとして表示する。オペレータは、表示されたタイトルバー名のうち、保存したいウィンドウ画面のタイトルバー名にタッチすることにより、所望のウィンドウ画面に表示されていた上書画像をウィンドウ画像と区別し、表示されていた画面（ページ）ごとに画像保存Ｄ・Ｂ３０９に保存する。なお、保存された上書画像は、表示されていたウィンドウ画面７０３ｂから消去される（図７（ｂ））。
また、本実施の形態のタッチパネル付きディスプレイ装置は、保存制御部３０５が、画像保存Ｄ・Ｂ３０９に保存された画像を縮小表示するサムネイル表示手段としても機能する。保存制御部３０５は、画像保存Ｄ・Ｂ３０９が複数の画像を保存している場合、縮小表示される画像を選択することができる。
図７（ａ）、（ｂ）は、保存制御部３０５によってなされる処理を説明するための図である。保存制御部３０５は、ディスプレイ画面１１３に複数のウィンドウ画面が表示されている場合、複数のウィンドウ画面の各々について画像を保存するか否か、画像の保存にかかる条件の少なくとも一方を設定するための保存設定画面を表示する。
すなわち、上書ツールバー４０３のページ保存ボタン上のタッチが検出されると、保存制御部３０５は、ウィンドウ画面７０３ａ、７０３ｂのうち、上書画像が表示されているウィンドウ画面（図７の場合は両方）の例えばタイトルバー名といったタイトルバーに関する情報をメニューとして表示する。オペレータは、表示されたタイトルバー名のうち、保存したいウィンドウ画面のタイトルバー名にタッチすることにより、所望のウィンドウ画面に表示されていた上書画像をウィンドウ画像と区別し、表示されていた画面（ページ）ごとに画像保存Ｄ・Ｂ３０９に保存する。なお、保存された上書画像は、表示されていたウィンドウ画面７０３ｂから消去される（図７（ｂ））。
また、本実施の形態のタッチパネル付きディスプレイ装置は、保存制御部３０５が、画像保存Ｄ・Ｂ３０９に保存された画像を縮小表示するサムネイル表示手段としても機能する。保存制御部３０５は、画像保存Ｄ・Ｂ３０９が複数の画像を保存している場合、縮小表示される画像を選択することができる。
図８（ａ）、（ｂ）は、サムネイル表示の処理を説明するための図である。上書きツールバー４０３において、サムネイルボタン４０３ｇがタッチされると、保存制御部３０５は、ウィンドウ画面７０３ａ、７０３ｂのうち、上書画像が表示されているウィンドウ画面（図８の場合は両方）のタイトルバー名といったタイトルバーに関する情報をメニューとして表示する（図８（ａ））。
オペレータは、表示されたタイトルバー名のうち、上書画像を表示させたいウィンドウ画面のタイトルバー名にタッチすることにより、所望のウィンドウ画面に表示されていた画像をサムネイルとして表示する。そして、表示されたサムネイル画面をダブルクリックして選択し、選択されたサムネイル画像が示す上書画像を削除ボタン１２０５ａで削除することができる。また、削除された戻すボタン１２０５ｂで戻すことができる。さらに、サムネイル画像で選択した画像を全画面表示させ、上書画像を削除、追加することができる。全画面表示された画像は、閉じるボタン１２０５ｃを使って閉じられる（図８（ｂ））。
また、本実施の形態のタッチパネル付きディスプレイ装置は、上書部３０３によって上書画像が表示されたウィンドウ画面が閉じるとき、上書画像を保存するか否かを判断するための保存メッセージをオペレータに対して自動的に表示する。保存制御部３０５は、上書部３０３によって表示された上書画像を保存する場合、上書モードからＡＰＬモードに移行したときに画像を保存する。また、上書モードにおいて最後に更新された上書画像と共に表示されていたウィンドウ画像を保存する。
オペレータは、表示されたタイトルバー名のうち、上書画像を表示させたいウィンドウ画面のタイトルバー名にタッチすることにより、所望のウィンドウ画面に表示されていた画像をサムネイルとして表示する。そして、表示されたサムネイル画面をダブルクリックして選択し、選択されたサムネイル画像が示す上書画像を削除ボタン１２０５ａで削除することができる。また、削除された戻すボタン１２０５ｂで戻すことができる。さらに、サムネイル画像で選択した画像を全画面表示させ、上書画像を削除、追加することができる。全画面表示された画像は、閉じるボタン１２０５ｃを使って閉じられる（図８（ｂ））。
また、本実施の形態のタッチパネル付きディスプレイ装置は、上書部３０３によって上書画像が表示されたウィンドウ画面が閉じるとき、上書画像を保存するか否かを判断するための保存メッセージをオペレータに対して自動的に表示する。保存制御部３０５は、上書部３０３によって表示された上書画像を保存する場合、上書モードからＡＰＬモードに移行したときに画像を保存する。また、上書モードにおいて最後に更新された上書画像と共に表示されていたウィンドウ画像を保存する。
図９（ａ）、（ｂ）は、保存メッセージの表示を説明するための図である。図９（ａ）に示すように、上書画像が保存されているウィンドウ画面をオペレータがファイルボタン１３０１にタッチして閉じたとき、保存ダイアログボックス１３０１ａが自動的に表示される。図９（ｂ）のように、保存ダイアログボックスには、閉じたウィンドウ画面のタイトルバー情報が表示される。（ｂ）に示したダイアログボックス１３０３には、ウィンドウ画面の保存形式（画像の保存にかかる条件）が複数設定されている。図中、ページ画像とはウィンドウ画像を指し、上書文字とは上書画像を指す。
設定される画像の保存にかかる条件には、上書画像にウィンドウ画像を重ねた状態で保存する条件と、上書画像とウィンドウ画像とをそれぞれ別個に保存する条件とが含まれている。オペレータは、このような条件から所望の条件を選択し、画像を保存することができる。また、図中、Ｗｏｒｄ（Ｒ）形式とはデータをＷｏｒｄ（Ｒ）形式で保存することを指す。また、画像とは編集可能なウィンドウ画像やスタンプ画像であり、手書き文字はフリーハンド、図形は図形データとして保存される。
設定される画像の保存にかかる条件には、上書画像にウィンドウ画像を重ねた状態で保存する条件と、上書画像とウィンドウ画像とをそれぞれ別個に保存する条件とが含まれている。オペレータは、このような条件から所望の条件を選択し、画像を保存することができる。また、図中、Ｗｏｒｄ（Ｒ）形式とはデータをＷｏｒｄ（Ｒ）形式で保存することを指す。また、画像とは編集可能なウィンドウ画像やスタンプ画像であり、手書き文字はフリーハンド、図形は図形データとして保存される。
図１０は、本実施の形態のタッチパネル付きディスプレイ装置でなされる座標検出装置３のマウスエミュレーションを説明するためのフローチャートである。座標入力装置１は、１０ｍｓ程度の周期で座標入力面１１２上の指やペン（座標指示物）を検知する。座標検出装置３は、座標入力装置１から座標指示物を検知したデータが入力したか否か判断する（ステップＳ９０１）。この結果、データが座標入力面１１２に対するタッチを示すデータを入力した場合（ステップＳ９０２：Ｙｅｓ）、このタッチをマウスの右クリックまたは左クリックに割り当てる。
すなわち、検知されたタッチが通常のタッチ、または移動・停止タッチであれば、タッチ座標はＯＮマウスデータとしてマウスＩ／Ｆに通知される（ステップＳ９０３）〜（ステップＳ９０９）。また、デタッチが検知された場合、ＯＦＦマウスデータがマウスＩ／Ｆに通知される（ステップＳ９１０）〜（ステップＳ９１３）。
すなわち、検知されたタッチが通常のタッチ、または移動・停止タッチであれば、タッチ座標はＯＮマウスデータとしてマウスＩ／Ｆに通知される（ステップＳ９０３）〜（ステップＳ９０９）。また、デタッチが検知された場合、ＯＦＦマウスデータがマウスＩ／Ｆに通知される（ステップＳ９１０）〜（ステップＳ９１３）。
図１１は、本発明の実施の形態の上書き制御を説明するためのフローチャートである。ＡＰＬ１１１の上書部３０３は、先ず、上書きツールバーを表示する（ステップＳ１００１）。このとき、上書きツールが起動され、操作モードはＡＰＬモードとなり他のプログラムの実行が可能になる（ステップＳ１００２）。上書部３０３は、上書き操作が実行されたウィンドウ画面が「閉じる」のを監視する（ステップＳ１００３）。
そして、上書部３０３がウィンドウ画面が閉じたと判断した場合（ステップＳ１００３：Ｙｅｓ）、「保存ダイアログボックス」を自動表示し、上書き操作中「ページ保存」されたデータをユーザー保存する。また、上書きツールの一時保存ファイルを削除する上書データ保存制御を実行する（ステップＳ１００４）。なお、ユーザー保存は上書きデータのみ、あるいはウィンドウ画像＋上書きデータを選択可能とする。また、Ｗｏｒｄ（Ｒ）形式保存可能とする。
タッチ操作によってマウスデータが入力すると（ステップＳ１００５：Ｙｅｓ）、ＡＰＬ操作モード時には上書きツールバーにタッチされた時に、また、上書きモード時にはタッチ座標が全て上書きツールへ通知される。上書モードであって、ペンの設定がなされている場合（ステップＳ１００８：Ｙｅｓ）、上書部３０３は、ペンに設定されている太さ、色を用いて手書き文字を描画する（ステップＳ１００９）。さらに、描画の軌跡を示すタッチ座標を保存する（ステップＳ１０１０）。
そして、上書部３０３がウィンドウ画面が閉じたと判断した場合（ステップＳ１００３：Ｙｅｓ）、「保存ダイアログボックス」を自動表示し、上書き操作中「ページ保存」されたデータをユーザー保存する。また、上書きツールの一時保存ファイルを削除する上書データ保存制御を実行する（ステップＳ１００４）。なお、ユーザー保存は上書きデータのみ、あるいはウィンドウ画像＋上書きデータを選択可能とする。また、Ｗｏｒｄ（Ｒ）形式保存可能とする。
タッチ操作によってマウスデータが入力すると（ステップＳ１００５：Ｙｅｓ）、ＡＰＬ操作モード時には上書きツールバーにタッチされた時に、また、上書きモード時にはタッチ座標が全て上書きツールへ通知される。上書モードであって、ペンの設定がなされている場合（ステップＳ１００８：Ｙｅｓ）、上書部３０３は、ペンに設定されている太さ、色を用いて手書き文字を描画する（ステップＳ１００９）。さらに、描画の軌跡を示すタッチ座標を保存する（ステップＳ１０１０）。
また、ステップＳ１００８で上書モードの設定がペンではないと判断され（ステップＳ１００８：Ｎｏ）、かつ、設定が図形であると判断された場合（ステップＳ１０１１：Ｙｅｓ）、上書ツールバーによって選択されている図形（直線、矢印、円、楕円、四角形）を描画する（ステップＳ１０１２）。描画された図形は、図形データとして保存される（ステップＳ１０１３）。図形データの保存は、図形が直線、矢印であった場合には始点座標、終点座標、円、楕円であれば中心座標、長軸長、短軸長。四角形であれば左上原点座標、Ｘ軸長、Ｙ軸長、図形種別を保存することによってなされる。
また、上書モードの設定が図形ではないと判断され（ステップＳ１０１１：Ｎｏ）、かつ設定がスタンプである場合（ステップＳ１０１４：Ｙｅｓ）、上書ツールの設定画面において選択されたスタンプ画像をタッチがなされた座標に描画（貼りつける）する（ステップＳ１０１５）。そして、タッチ座標、スタンプ画像にかかるデータを保存する（ステップＳ１０１６）。
次に、上書部３０３は、上書モードの設定がスタンプでもなく（ステップＳ１０１４：Ｎｏ）、消しゴムであると判断した場合（ステップＳ１０１７：Ｙｅｓ）、タッチ座標下の上書き画像を消去する（ステップＳ１０１８）。続いて、消去された上書き画像のデータを削除する（ステップＳ１０１９）。
さらに、上書部３０３は、操作モードが上書モードでない場合（ステップＳ１００６：Ｎｏ）、ツールバーへのタッチで「上書きツールバー制御」を実行する。そして、上書ツールバーの「終了」ボタンに対するタッチがなされたと判断すると（ステップＳ１０２１：Ｙｅｓ）、上書きツールを終了する。
また、上書モードの設定が図形ではないと判断され（ステップＳ１０１１：Ｎｏ）、かつ設定がスタンプである場合（ステップＳ１０１４：Ｙｅｓ）、上書ツールの設定画面において選択されたスタンプ画像をタッチがなされた座標に描画（貼りつける）する（ステップＳ１０１５）。そして、タッチ座標、スタンプ画像にかかるデータを保存する（ステップＳ１０１６）。
次に、上書部３０３は、上書モードの設定がスタンプでもなく（ステップＳ１０１４：Ｎｏ）、消しゴムであると判断した場合（ステップＳ１０１７：Ｙｅｓ）、タッチ座標下の上書き画像を消去する（ステップＳ１０１８）。続いて、消去された上書き画像のデータを削除する（ステップＳ１０１９）。
さらに、上書部３０３は、操作モードが上書モードでない場合（ステップＳ１００６：Ｎｏ）、ツールバーへのタッチで「上書きツールバー制御」を実行する。そして、上書ツールバーの「終了」ボタンに対するタッチがなされたと判断すると（ステップＳ１０２１：Ｙｅｓ）、上書きツールを終了する。
図１２、図１３は、上書ツールバー制御について説明するためのフローチャートである。上書部３０３は、上書ツールバーの「ペン」ボタンがタッチされたことを判断すると（ステップＳ１１０１）、上書のモードをペンに設定する（ステップＳ１１０２）。この結果、上書のモードは、手書き文字描画モードへ移行する。また、「消しゴム」ボタンがタッチされた場合には（ステップＳ１１０３：Ｙｅｓ）、上書き消去モードへ移行する（ステップＳ１１０４）。
また、上書ツールバーの「図形」ボタンがタッチされたことを判断すると（ステップＳ１１０５）、図形メニュー（直線、矢印、円、楕円、四角形）が表示され、表示された図形メニューから図形を選択する図形描画モードへ移行する（ステップＳ１１０７）。さらに、「スタンプ」ボタンがタッチされた場合には（ステップＳ１１０９）、スタンプ登録されたスタンプ画像をメニュー表示し、選択するスタンプ描画モードへ移行する（ステップＳ１１１０）。
また、上書部３０３は、操作モードがＡＰＬモードである場合（ステップＳ１１１１：Ｙｅｓ）、ペン、図形、スタンプ、消しゴムのいずれかのボタンへのタッチによって上書きモードへ移行する（ステップＳ１１１２）。
また、上書ツールバーの「図形」ボタンがタッチされたことを判断すると（ステップＳ１１０５）、図形メニュー（直線、矢印、円、楕円、四角形）が表示され、表示された図形メニューから図形を選択する図形描画モードへ移行する（ステップＳ１１０７）。さらに、「スタンプ」ボタンがタッチされた場合には（ステップＳ１１０９）、スタンプ登録されたスタンプ画像をメニュー表示し、選択するスタンプ描画モードへ移行する（ステップＳ１１１０）。
また、上書部３０３は、操作モードがＡＰＬモードである場合（ステップＳ１１１１：Ｙｅｓ）、ペン、図形、スタンプ、消しゴムのいずれかのボタンへのタッチによって上書きモードへ移行する（ステップＳ１１１２）。
上書きモードへの移行により、上書部３０３は、表示されているウィンドウ画面の原点座標、幅、高さを取得、保存する（ステップＳ１１１３）。そして、透明ウィンドウを開き（表示し）する（ステップＳ１１１４）。そして、透明ウィンドウ上に手書き文字、図形、スタンプなどの上書画像を描画する（ステップＳ１１１５）。
さらに、ステップＳ１１０８において、上書モードがスタンプでもないと判断された場合（ステップＳ１１０８：Ｎｏ）、「ページ保存」ボタンタッチでウィンドウ画像を保存するか否か判断し（ステップＳ１１１６）、保存する場合には、保存ダイアログで指定された形式に応じて例えばウィンドウ画像を保存し（ステップＳ１１１７）、さらに上書画像をデータページとして別個に保存する（ステップＳ１１１８）。保存された画像は、「サムネイル」ボタンタッチで縮小表示することができる（ステップＳ１１１９）。
また、本実施の形態の上書制御方法は、サムネイル表示画面で表示すべきウィンドウ画面を選択する（ステップＳ１１２０）。選択された画像には、サムネイル表示制御によってページ削除、ページ全画面表示によって上書画像の追加、削除がなされる（ステップＳ１１２１）。さらに、「設定」ボタンタッチで「上書きの設定ダイアログボックス」を表示、ペンの色、太さ、スタンプ画像の登録、消しゴムカーソルの大きさを設定することもできる（ステップＳ１１２３）。また、「ＡＰＬ」ボタンタッチで上書きモードからＡＰＬモードへ移行させることもできる（ステップＳ１１２５）。そして、ＡＰＬモード移行時上書き描画をクリアし（ステップＳ１１２６）、透明ウィンドウを閉じ（ステップＳ１１２７）、他のプログラムの実行を可能にする。
さらに、ステップＳ１１０８において、上書モードがスタンプでもないと判断された場合（ステップＳ１１０８：Ｎｏ）、「ページ保存」ボタンタッチでウィンドウ画像を保存するか否か判断し（ステップＳ１１１６）、保存する場合には、保存ダイアログで指定された形式に応じて例えばウィンドウ画像を保存し（ステップＳ１１１７）、さらに上書画像をデータページとして別個に保存する（ステップＳ１１１８）。保存された画像は、「サムネイル」ボタンタッチで縮小表示することができる（ステップＳ１１１９）。
また、本実施の形態の上書制御方法は、サムネイル表示画面で表示すべきウィンドウ画面を選択する（ステップＳ１１２０）。選択された画像には、サムネイル表示制御によってページ削除、ページ全画面表示によって上書画像の追加、削除がなされる（ステップＳ１１２１）。さらに、「設定」ボタンタッチで「上書きの設定ダイアログボックス」を表示、ペンの色、太さ、スタンプ画像の登録、消しゴムカーソルの大きさを設定することもできる（ステップＳ１１２３）。また、「ＡＰＬ」ボタンタッチで上書きモードからＡＰＬモードへ移行させることもできる（ステップＳ１１２５）。そして、ＡＰＬモード移行時上書き描画をクリアし（ステップＳ１１２６）、透明ウィンドウを閉じ（ステップＳ１１２７）、他のプログラムの実行を可能にする。
さらに、本実施の形態の上書制御方法は、上書の対象がデスクトップであった場合（ステップＳ１１２８：Ｙｅｓ）、上書データ保存制御によって保存ダイアログボックスを自動表示し、上書操作中にページ保存されたデータを保存する。そして、上書ツールの一時保存ファイルを削除する（ステップＳ１１２９）。また、上書の対象がデスクトップでない場合（ステップＳ１１２８：Ｎｏ）、上書されたウィンドウ画像を保存する（ステップＳ１１３０）。
上書ツールバー４０３の終了ボタンのタッチが検出された場合には（ステップＳ１１３１：Ｙｅｓ）、操作モードを終了し（ステップＳ１１３２）、上書ツールバー４０３を終了する（ステップＳ１１３３）。そして、上書部３０３が透明ツールバーを閉じる（ステップＳ１１３５）。次に、保存制御部３０５が、上書データ保存制御を実行する（ステップＳ１１３６）。上書データ保存制御では、上書データが存在する場合に保存ダイアログボックスを表示し、上書操作中にページ保存されたデータを保存、上書ツールの一時保存ファイルを削除する。なお、以上の処理は、複数のウィンドウ画面が表示されている場合にはウィンドウ画面の数だけ繰り返される。
上書ツールバー４０３の終了ボタンのタッチが検出された場合には（ステップＳ１１３１：Ｙｅｓ）、操作モードを終了し（ステップＳ１１３２）、上書ツールバー４０３を終了する（ステップＳ１１３３）。そして、上書部３０３が透明ツールバーを閉じる（ステップＳ１１３５）。次に、保存制御部３０５が、上書データ保存制御を実行する（ステップＳ１１３６）。上書データ保存制御では、上書データが存在する場合に保存ダイアログボックスを表示し、上書操作中にページ保存されたデータを保存、上書ツールの一時保存ファイルを削除する。なお、以上の処理は、複数のウィンドウ画面が表示されている場合にはウィンドウ画面の数だけ繰り返される。
〔画像保存方法についての説明〕
以上のように構成されたタッチパネル付きディスプレイ装置を使用した画像保存方法について説明する。
―電子黒板システムの構成例―
図１４は、本発明の方式を実装した電子黒板システムの構成例を示す図である。
電子黒板システム１４００は、ディスプレイ装置１４０１と複数のＰＣ１４０３、１４０５（Personal Computer）が、ディスプレイ装置１４０１と直接的に、或いはＬＡＮ、ＷＡＮ等のネットワーク等を介して接続された構成を有している。ディスプレイ画面１１３には、ＰＣ１４０３、１４０５から送られる背景画像１４０９（透明ウィンドウ１４１１下のウィンドウ画面１４０７に表示されている電子コンテンツとしての画像）と、透明ウィンドウ１４１１上に表示される上書画像１４１３（電子コンテンツ）とが、重ねて表示されている。
以上のように構成されたタッチパネル付きディスプレイ装置を使用した画像保存方法について説明する。
―電子黒板システムの構成例―
図１４は、本発明の方式を実装した電子黒板システムの構成例を示す図である。
電子黒板システム１４００は、ディスプレイ装置１４０１と複数のＰＣ１４０３、１４０５（Personal Computer）が、ディスプレイ装置１４０１と直接的に、或いはＬＡＮ、ＷＡＮ等のネットワーク等を介して接続された構成を有している。ディスプレイ画面１１３には、ＰＣ１４０３、１４０５から送られる背景画像１４０９（透明ウィンドウ１４１１下のウィンドウ画面１４０７に表示されている電子コンテンツとしての画像）と、透明ウィンドウ１４１１上に表示される上書画像１４１３（電子コンテンツ）とが、重ねて表示されている。
ディスプレイ画面１１３に表示される背景画像１４０９のデータは、画像ＲＡＭ１１５（図１参照）内に存在している。従って、ディスプレイ画面１１３に表示される背景画像１４０９のデータに変化があった場合、画像ＲＡＭ１１５内のデータが変化することになるため、画像ＲＡＭ１１５上のデータを監視すればよい。
本発明においては、さらに、画像ＲＡＭ１１５内において監視するべきデータ領域を限定することにより、電子黒板システム１４００全体の負荷を軽減している。具体的には、監視するデータ領域を、透明ウィンドウ１４１１上に描かれた上書画像１４１３を囲む最小の矩形（後述する）としている。
そして、画像ＲＡＭ１１５内のデータに変化があった場合、背景画像１４０９と上書画像１４１３とを合成して、ビットマップ画像１４１５としてＨＤＤ（Hard Disk Drive）やＣＤ−ＲＯＭ、ＤＶＤ等の記録メディア３１９（図２２参照）に保存する。
本発明においては、さらに、画像ＲＡＭ１１５内において監視するべきデータ領域を限定することにより、電子黒板システム１４００全体の負荷を軽減している。具体的には、監視するデータ領域を、透明ウィンドウ１４１１上に描かれた上書画像１４１３を囲む最小の矩形（後述する）としている。
そして、画像ＲＡＭ１１５内のデータに変化があった場合、背景画像１４０９と上書画像１４１３とを合成して、ビットマップ画像１４１５としてＨＤＤ（Hard Disk Drive）やＣＤ−ＲＯＭ、ＤＶＤ等の記録メディア３１９（図２２参照）に保存する。
―最小矩形の抽出―
図１５は、本発明において監視する画像ＲＡＭ内のデータ領域を説明するための模式図である。図１５は、透明ウィンドウ１４１１に表示された上書画像１４１３の一例を示している。
例えば、透明ウィンドウ１４１１上に描かれた上書画像１４１３が、図中実線にて示すもの（１４１３ａ乃至１４１３ｃ）の場合、最小矩形Ｒ1、Ｒ2、Ｒ3は点線で示す矩形であり、複数存在する。
たとえば、図１５では、最小矩形が３つ存在する。つまり透明ウィンドウ１４１１下に３つの独立した曲線１４１３ａ乃至１４１３ｃがあり、各最小矩形Ｒ1、Ｒ2、Ｒ3は夫々の曲線１４１３ａ乃至１４１３ｃを囲んでいる。透明ウィンドウ１４１１下の対応する矩形をＲ1、Ｒ2、Ｒ3とする。各最小矩形の座標を左上、右下の頂点の座標で表現し、
Ｒ1の座標＝（ｌ1，ｔ1，ｒ1，ｂ1）
Ｒ2の座標＝（ｌ2，ｔ2，ｒ2，ｂ2）
Ｒ3の座標＝（ｌ3，ｔ3，ｒ3，ｂ3）
とする。
画像ＲＡＭ１１５上のＲ1、Ｒ2、Ｒ3のメモリの内容を画像ＲＡＭ１１５上の空いている領域にコピーして、Ｒ1’、Ｒ2’、Ｒ3’とする。なお、Ｒnは実際の画面上に表示されているデータであり、Ｒn’はある時点において取得された矩形Ｒn内のデータである。以下の説明においてはＲn’を「元データ」と呼ぶ場合がある。
図１５は、本発明において監視する画像ＲＡＭ内のデータ領域を説明するための模式図である。図１５は、透明ウィンドウ１４１１に表示された上書画像１４１３の一例を示している。
例えば、透明ウィンドウ１４１１上に描かれた上書画像１４１３が、図中実線にて示すもの（１４１３ａ乃至１４１３ｃ）の場合、最小矩形Ｒ1、Ｒ2、Ｒ3は点線で示す矩形であり、複数存在する。
たとえば、図１５では、最小矩形が３つ存在する。つまり透明ウィンドウ１４１１下に３つの独立した曲線１４１３ａ乃至１４１３ｃがあり、各最小矩形Ｒ1、Ｒ2、Ｒ3は夫々の曲線１４１３ａ乃至１４１３ｃを囲んでいる。透明ウィンドウ１４１１下の対応する矩形をＲ1、Ｒ2、Ｒ3とする。各最小矩形の座標を左上、右下の頂点の座標で表現し、
Ｒ1の座標＝（ｌ1，ｔ1，ｒ1，ｂ1）
Ｒ2の座標＝（ｌ2，ｔ2，ｒ2，ｂ2）
Ｒ3の座標＝（ｌ3，ｔ3，ｒ3，ｂ3）
とする。
画像ＲＡＭ１１５上のＲ1、Ｒ2、Ｒ3のメモリの内容を画像ＲＡＭ１１５上の空いている領域にコピーして、Ｒ1’、Ｒ2’、Ｒ3’とする。なお、Ｒnは実際の画面上に表示されているデータであり、Ｒn’はある時点において取得された矩形Ｒn内のデータである。以下の説明においてはＲn’を「元データ」と呼ぶ場合がある。
Ｒ1のコンテンツが変化したどうか検査する方法について説明する。なお、Ｒ2、Ｒ3はＲ1とまったく同じ手順で検査できる。
最小矩形Ｒ1、Ｒ2、Ｒ3のいずれの中にも背景画像データがない場合、即ち、背景画像が単一色の背景である場合は、背景画像データが現れるまで、最小矩形Ｒ1、Ｒ2、Ｒ3を順次拡大していく。どれか１つの矩形において背景画像データが現れた時点で矩形の拡大処理を終了する。なお、矩形の拡大は、最小矩形の幅を拡大する量（幅の調整量：ｄｗ）と、高さを拡大する量（高さの調整量：ｄｈ）を指定して、幅、高さを夫々拡大する。
最小矩形Ｒ1、Ｒ2、Ｒ3のいずれの中にも背景画像データがない場合、即ち、背景画像が単一色の背景である場合は、背景画像データが現れるまで、最小矩形Ｒ1、Ｒ2、Ｒ3を順次拡大していく。どれか１つの矩形において背景画像データが現れた時点で矩形の拡大処理を終了する。なお、矩形の拡大は、最小矩形の幅を拡大する量（幅の調整量：ｄｗ）と、高さを拡大する量（高さの調整量：ｄｈ）を指定して、幅、高さを夫々拡大する。
―最小矩形の拡大処理―
（手順１） 画像ＲＡＭ１１５上の最小矩形をＲ1、Ｒ2、…、Ｒnとする。
（手順２） すべてのｉ（ｉ＝１〜ｎ）について、｛Ｒiの電子コンテンツ｝が空集合かどうか検査する。空集合とは、Ｒiの電子コンテンツデータが存在しないことの意味である。
（手順３） すべてのｉについて、｛Ｒiの電子コンテンツ｝が空集合の場合には、Ｒ1、Ｒ2、…、Ｒnに対して矩形の拡張処理を行う。なお、｛Ｒiの電子コンテンツ｝の中に空集合でないものがあれば、処理を終了する。
（手順４） すべてのｉについて、
ｄｗi←（ｒi−ｌi）／２
ｄｈi←（ｂi−ｔi）／２
ｌi←ｌi−ｄｗi
ｒi←ｒi＋ｄｗi
ｔi←ｔi−ｄｈi
ｂi←ｂi＋ｄｈi
と設定する。
拡大された最小矩形について｛Ｒiの電子コンテンツ｝が空集合かどうか検査し、空集合でなければ、処理を終了する。
（手順１） 画像ＲＡＭ１１５上の最小矩形をＲ1、Ｒ2、…、Ｒnとする。
（手順２） すべてのｉ（ｉ＝１〜ｎ）について、｛Ｒiの電子コンテンツ｝が空集合かどうか検査する。空集合とは、Ｒiの電子コンテンツデータが存在しないことの意味である。
（手順３） すべてのｉについて、｛Ｒiの電子コンテンツ｝が空集合の場合には、Ｒ1、Ｒ2、…、Ｒnに対して矩形の拡張処理を行う。なお、｛Ｒiの電子コンテンツ｝の中に空集合でないものがあれば、処理を終了する。
（手順４） すべてのｉについて、
ｄｗi←（ｒi−ｌi）／２
ｄｈi←（ｂi−ｔi）／２
ｌi←ｌi−ｄｗi
ｒi←ｒi＋ｄｗi
ｔi←ｔi−ｄｈi
ｂi←ｂi＋ｄｈi
と設定する。
拡大された最小矩形について｛Ｒiの電子コンテンツ｝が空集合かどうか検査し、空集合でなければ、処理を終了する。
なお、上記拡大矩形を概念的に示したのが図１６である。手順４では、幅の調整量ｄｗを最小矩形Ｒ1の幅の１／２、高さの調整量ｄｈを最小矩形Ｒ1の高さの１／２と設定した例により説明しているが、この実施形態に限定されるものではない。また、最小矩形の拡大方向を最小矩形の上下左右４方向としているが、この実施形態に限定されるものではない。
（手順５） （手順４）において処理が終了しなければ、再び（４）の処理を繰り返す。言い換えれば、拡大された最小矩形について｛Ｒiの電子コンテンツ｝が空集合であった場合には、拡大された最小矩形をさらに拡大して、｛Ｒiの電子コンテンツ｝が空集合かどうか検査する。
最小矩形の拡大処理が終了したら、終了時点における矩形内のデータを検査する処理を
行う。
（手順５） （手順４）において処理が終了しなければ、再び（４）の処理を繰り返す。言い換えれば、拡大された最小矩形について｛Ｒiの電子コンテンツ｝が空集合であった場合には、拡大された最小矩形をさらに拡大して、｛Ｒiの電子コンテンツ｝が空集合かどうか検査する。
最小矩形の拡大処理が終了したら、終了時点における矩形内のデータを検査する処理を
行う。
―最小矩形内のデータの検査―
最小矩形内のデータの検査について説明する。図１７は、最小矩形内のデータの検査について示した概念図である。なお、データの検査処理における最小矩形とは、｛Ｒiの電子コンテンツ｝が空集合でない矩形のことであり、最小矩形の拡大処理の結果によっては拡大された後の矩形となるが、以下では便宜上、まとめて「最小矩形」と称して説明する。
Ｒ1内のデータの変化を次の（手順１）〜（手順３）で検査する。
（手順１） Ｒ1、Ｒ1’の画像ＲＡＭ１１５内における先頭アドレス（Ｒ1、Ｒ1’の左上の頂点に相当するアドレス）をｓｐ1、ｄｐ1に代入する。Ｒ1の幅をｗ1に代入する。Ｒ1の右下の頂点のアドレスをｅ1に代入する。
ｗ1←ｒ1−ｌ1
ｅ1←ｄｐ1＋（ｂ1−ｔ1）×ｗ1
（手順２） Ｒ1をラスタ毎に処理する。
ｐ←ｓｐ1
ｑ←ｄｐ1
ここで、ｐ、ｑに対して、まずｓｐ1、ｄｐ1を代入する。なお（手順１）において、ｓｐ1、ｄｐ1には、夫々Ｒ1、Ｒ1’の先頭アドレスが代入されている。
バイト単位（あるいはワード単位）でｐ、ｑの指す中身（＊ｐ、＊ｑ）の排他的論理和（＾）を取る。排他的論理和が０以外であったら、Ｒ1のデータが変更されたことを意味する。
（手順３） （手順２）の処理をＲ1の高さ（ｂ1−ｔ1）分繰り返す。
最小矩形内のデータの検査について説明する。図１７は、最小矩形内のデータの検査について示した概念図である。なお、データの検査処理における最小矩形とは、｛Ｒiの電子コンテンツ｝が空集合でない矩形のことであり、最小矩形の拡大処理の結果によっては拡大された後の矩形となるが、以下では便宜上、まとめて「最小矩形」と称して説明する。
Ｒ1内のデータの変化を次の（手順１）〜（手順３）で検査する。
（手順１） Ｒ1、Ｒ1’の画像ＲＡＭ１１５内における先頭アドレス（Ｒ1、Ｒ1’の左上の頂点に相当するアドレス）をｓｐ1、ｄｐ1に代入する。Ｒ1の幅をｗ1に代入する。Ｒ1の右下の頂点のアドレスをｅ1に代入する。
ｗ1←ｒ1−ｌ1
ｅ1←ｄｐ1＋（ｂ1−ｔ1）×ｗ1
（手順２） Ｒ1をラスタ毎に処理する。
ｐ←ｓｐ1
ｑ←ｄｐ1
ここで、ｐ、ｑに対して、まずｓｐ1、ｄｐ1を代入する。なお（手順１）において、ｓｐ1、ｄｐ1には、夫々Ｒ1、Ｒ1’の先頭アドレスが代入されている。
バイト単位（あるいはワード単位）でｐ、ｑの指す中身（＊ｐ、＊ｑ）の排他的論理和（＾）を取る。排他的論理和が０以外であったら、Ｒ1のデータが変更されたことを意味する。
（手順３） （手順２）の処理をＲ1の高さ（ｂ1−ｔ1）分繰り返す。
上記（１）〜（３）の手順を汎用化してＣ言語風の擬似コードで記述したものが図１８のリストである。図１８は、指定した矩形内のデータが変化したか否かを検査する擬似コードである。図では、Ｒ1、Ｒ2、Ｒ3を区別することなく記述しているが、Ｒ2に関して検査する場合は、上記「―最小矩形内のデータの検査―」において示した１を２に置き換えればよい。具体的に示せば以下のようになる。
ｓｐ2←Ｒ2の先頭アドレス
ｄｐ2←Ｒ2‘の先頭アドレス
ｂｏｏｌ ｒｅｓｕｌｔ ＝ ｉｓＣｏｎｔｅｎｔＩｎＲｅｃｔＣｈａｎｇｅｄ（ｓｐ2，ｄｐ2，ｌ2，ｔ2，ｒ2，ｂ2）
ｒｅｓｕｌｔがｔｒｕｅならばコンテンツに変更があり、ｆａｌｓｅならば変更がなかったことになる。Ｒ3のコンテンツに関しても同様に検査できる。
ｓｐ2←Ｒ2の先頭アドレス
ｄｐ2←Ｒ2‘の先頭アドレス
ｂｏｏｌ ｒｅｓｕｌｔ ＝ ｉｓＣｏｎｔｅｎｔＩｎＲｅｃｔＣｈａｎｇｅｄ（ｓｐ2，ｄｐ2，ｌ2，ｔ2，ｒ2，ｂ2）
ｒｅｓｕｌｔがｔｒｕｅならばコンテンツに変更があり、ｆａｌｓｅならば変更がなかったことになる。Ｒ3のコンテンツに関しても同様に検査できる。
―コンテンツデータの監視―
上記方法により、背景画像データの監視を行うには、ある決められた時間内（例えば、数十ミリ秒）において以下の処理を繰り返せばよい。
（手順１） 透明レイヤ上で抽出された最小矩形をＲ1、Ｒ2、…、Ｒnとする。画像ＲＡＭ１１５上で最小矩形Ｒ1、Ｒ2、…、Ｒnに対応する矩形をＲ1’、Ｒ2’、…、Ｒn’とする。
（手順２） すべてのｉ（ｉ＝１〜ｎ）について、
Ｒi、Ｒi’の先頭アドレスをｓｐi、ｄｐiに代入し、
ｉｓＣｏｎｔｅｎｔＩｎＲｅｃｔＣｈａｎｇｅｄ（ｓｐi，ｄｐi，ｌi，ｔi，ｒi，ｂi）の値がｔｒｕｅになるまで検査する。
（手順３） （手順２）において、すべてのｉについて、ｉｓＣｏｎｔｅｎｔＩｎＲｅｃｔＣｈａｎｇｅｄ（ｓｐi，ｄｐi，ｌi，ｔi，ｒi，ｂi）の値がｆａｌｓｅなら、背景画像に変更はないと判断する。
上記方法により、背景画像データの監視を行うには、ある決められた時間内（例えば、数十ミリ秒）において以下の処理を繰り返せばよい。
（手順１） 透明レイヤ上で抽出された最小矩形をＲ1、Ｒ2、…、Ｒnとする。画像ＲＡＭ１１５上で最小矩形Ｒ1、Ｒ2、…、Ｒnに対応する矩形をＲ1’、Ｒ2’、…、Ｒn’とする。
（手順２） すべてのｉ（ｉ＝１〜ｎ）について、
Ｒi、Ｒi’の先頭アドレスをｓｐi、ｄｐiに代入し、
ｉｓＣｏｎｔｅｎｔＩｎＲｅｃｔＣｈａｎｇｅｄ（ｓｐi，ｄｐi，ｌi，ｔi，ｒi，ｂi）の値がｔｒｕｅになるまで検査する。
（手順３） （手順２）において、すべてのｉについて、ｉｓＣｏｎｔｅｎｔＩｎＲｅｃｔＣｈａｎｇｅｄ（ｓｐi，ｄｐi，ｌi，ｔi，ｒi，ｂi）の値がｆａｌｓｅなら、背景画像に変更はないと判断する。
―操作者への通知―
図１９は、背景画像が変更された場合の、画像表示装置上における操作者への通知例を示す図である。
背景画像データの監視において、背景画像の変更を検知した場合は、ディスプレイ画面１１３上に、例えばカメラアイコン１４１７を一定時間（数秒間）表示し、操作者がカメラアイコン１４１７をクリック（タッチ）したら、透明ウィンドウ１４１１上の上書画像１４１３と透明ウィンドウ１４１１下の背景画像１４０９とを合成したビットマップ画像１４１５を記録メディア３１９（図２２参照）に記録する。一定時間内に操作者がカメラアイコン１４１７をクリックしなかった場合、カメラアイコン１４１７は消え、透明ウィンドウ１４１１上の上書画像１４１３はクリアされる。
図１９は、背景画像が変更された場合の、画像表示装置上における操作者への通知例を示す図である。
背景画像データの監視において、背景画像の変更を検知した場合は、ディスプレイ画面１１３上に、例えばカメラアイコン１４１７を一定時間（数秒間）表示し、操作者がカメラアイコン１４１７をクリック（タッチ）したら、透明ウィンドウ１４１１上の上書画像１４１３と透明ウィンドウ１４１１下の背景画像１４０９とを合成したビットマップ画像１４１５を記録メディア３１９（図２２参照）に記録する。一定時間内に操作者がカメラアイコン１４１７をクリックしなかった場合、カメラアイコン１４１７は消え、透明ウィンドウ１４１１上の上書画像１４１３はクリアされる。
―フローチャートに基づいた説明―
以上説明した各処理について、フローチャートに基づいて説明する。
図２０は、画像ＲＡＭ１１５上の監視すべき矩形を抽出する手順について説明するためのフローチャートである。概ね、上記「最小矩形の抽出」及び「最小矩形の拡大処理」に相当する処理を示している。
透明ウィンドウ上の上書画像を囲む最小の矩形を抽出する（ステップＳ１５０１）。抽出された最小矩形に対応する矩形内に、背景画像データがあるか否かを確認する（ステップＳ１５０２）。これは、上記最小矩形の拡大処理における手順２に相当する。いずれの最小矩形にも背景画像データが存在しない場合（ステップＳ１５０２にてＮｏ）、背景画像データが見つかるまで、夫々の最小矩形を拡大する（ステップＳ１５０３）。いずれかの最小矩形に背景画像データが存在する場合（ステップＳ１５０２にてＹｅｓ）、及びステップＳ１５０３における最小矩形の拡大処理が終了した後、画像ＲＡＭ１１５内の最小矩形（又は拡大された後の最小矩形）を夫々Ｒ1、Ｒ2、…、Ｒnとする（ステップＳ１５０４）。画像ＲＡＭ上のＲ1、Ｒ2、…、Ｒnのメモリの内容を画像ＲＡＭ１１５上の空いている領域にコピーして、Ｒ1’、Ｒ2’、…、Ｒn’とする（ステップＳ１５０５）。
以上説明した各処理について、フローチャートに基づいて説明する。
図２０は、画像ＲＡＭ１１５上の監視すべき矩形を抽出する手順について説明するためのフローチャートである。概ね、上記「最小矩形の抽出」及び「最小矩形の拡大処理」に相当する処理を示している。
透明ウィンドウ上の上書画像を囲む最小の矩形を抽出する（ステップＳ１５０１）。抽出された最小矩形に対応する矩形内に、背景画像データがあるか否かを確認する（ステップＳ１５０２）。これは、上記最小矩形の拡大処理における手順２に相当する。いずれの最小矩形にも背景画像データが存在しない場合（ステップＳ１５０２にてＮｏ）、背景画像データが見つかるまで、夫々の最小矩形を拡大する（ステップＳ１５０３）。いずれかの最小矩形に背景画像データが存在する場合（ステップＳ１５０２にてＹｅｓ）、及びステップＳ１５０３における最小矩形の拡大処理が終了した後、画像ＲＡＭ１１５内の最小矩形（又は拡大された後の最小矩形）を夫々Ｒ1、Ｒ2、…、Ｒnとする（ステップＳ１５０４）。画像ＲＡＭ上のＲ1、Ｒ2、…、Ｒnのメモリの内容を画像ＲＡＭ１１５上の空いている領域にコピーして、Ｒ1’、Ｒ2’、…、Ｒn’とする（ステップＳ１５０５）。
図２１は、最小矩形内のデータの検査から画像を保存するまでの手順について説明するためのフローチャートである。
まず、ｉ←１と設定する（ステップＳ１５０６）。このｉは、最小矩形の番号１〜ｎに相当する。続いて、Ｒi内のデータに変化があるか否かを図１８に示したisContentInRectChanged()を使用して検査する（ステップＳ１５０７）。Ｒi内のデータに変化があった場合には（ステップＳ１５０７にてＹｅｓ）、ディスプレイ画面１１３上にカメラアイコン１４１７を表示する等して、操作者に画像を保存するか否かを確認するためのアラートを出す（ステップＳ１５０８）。アラートに対して、操作者からコンテンツを保存するよう命令があった場合には（ステップＳ１５０９にてＹｅｓ）、透明ウィンドウ１４１１上の上書画像１４１３と透明ウィンドウ１４１１下の背景画像１４０９とを合成したビットマップ画像１４１５を記録メディア３１９（図２２参照）に保存し（ステップＳ１５１０）、処理を終了する。
まず、ｉ←１と設定する（ステップＳ１５０６）。このｉは、最小矩形の番号１〜ｎに相当する。続いて、Ｒi内のデータに変化があるか否かを図１８に示したisContentInRectChanged()を使用して検査する（ステップＳ１５０７）。Ｒi内のデータに変化があった場合には（ステップＳ１５０７にてＹｅｓ）、ディスプレイ画面１１３上にカメラアイコン１４１７を表示する等して、操作者に画像を保存するか否かを確認するためのアラートを出す（ステップＳ１５０８）。アラートに対して、操作者からコンテンツを保存するよう命令があった場合には（ステップＳ１５０９にてＹｅｓ）、透明ウィンドウ１４１１上の上書画像１４１３と透明ウィンドウ１４１１下の背景画像１４０９とを合成したビットマップ画像１４１５を記録メディア３１９（図２２参照）に保存し（ステップＳ１５１０）、処理を終了する。
一方、アラートに対して、操作者からコンテンツを保存する旨の命令がなかった場合には（ステップＳ１５０９にてＮｏ）、透明ウィンドウ１４１１上の上書画像１４１３をクリアして（ステップＳ１５１１）、処理を終了する。
また、ステップＳ１５０７の検査においてＲi内のデータに変化がなかった場合には（ステップＳ１５０７にてＮｏ）、ｉ←ｉ＋１と設定し（ステップＳ１５１２）、検査されてない最小矩形があるか否かを確認する（ステップＳ１５１３）。検査されていない最小矩形がある場合には（ステップＳ１５１３にてＮｏ）、次の最小矩形内のデータを検査する（ステップＳ１５０７以降）。すでにｎ個すべての最小矩形内を検査していた場合には（ステップＳ１５１３にてＹｅｓ）処理を抜ける。
この処理を一定時間ごとに繰り返し実行することにより、背景画像データを監視する。
また、ステップＳ１５０７の検査においてＲi内のデータに変化がなかった場合には（ステップＳ１５０７にてＮｏ）、ｉ←ｉ＋１と設定し（ステップＳ１５１２）、検査されてない最小矩形があるか否かを確認する（ステップＳ１５１３）。検査されていない最小矩形がある場合には（ステップＳ１５１３にてＮｏ）、次の最小矩形内のデータを検査する（ステップＳ１５０７以降）。すでにｎ個すべての最小矩形内を検査していた場合には（ステップＳ１５１３にてＹｅｓ）処理を抜ける。
この処理を一定時間ごとに繰り返し実行することにより、背景画像データを監視する。
〔動作説明〕
以上のデータ監視を行うディスプレイ装置について、機能ブロック図に基づいて説明する。図２２は、ディスプレイ装置の機能ブロック図である。
ディスプレイ装置１４０１は、ＡＰＬ１１１内に、透明ウィンドウ１４１１に表示された上書画像１４１３を囲む最小矩形Ｒを抽出する矩形抽出部３１１と、最小矩形Ｒ内に含まれる背景画像１４０９の変化を監視するコンテンツ監視部３１３と、最小矩形Ｒ内の背景画像１４０９に変更があった場合に背景画像１４０９及び上書画像１４１３を合成して保存するか否かを尋ねるダイアログを表示するコンテンツ変更アラート部３１５と、保存制御部３０５と、ＨＤＤ（Hard Disk Drive）やＣＤ−ＲＯＭ、ＤＶＤ等の記録メディア３１９と、を備えている。
以上のデータ監視を行うディスプレイ装置について、機能ブロック図に基づいて説明する。図２２は、ディスプレイ装置の機能ブロック図である。
ディスプレイ装置１４０１は、ＡＰＬ１１１内に、透明ウィンドウ１４１１に表示された上書画像１４１３を囲む最小矩形Ｒを抽出する矩形抽出部３１１と、最小矩形Ｒ内に含まれる背景画像１４０９の変化を監視するコンテンツ監視部３１３と、最小矩形Ｒ内の背景画像１４０９に変更があった場合に背景画像１４０９及び上書画像１４１３を合成して保存するか否かを尋ねるダイアログを表示するコンテンツ変更アラート部３１５と、保存制御部３０５と、ＨＤＤ（Hard Disk Drive）やＣＤ−ＲＯＭ、ＤＶＤ等の記録メディア３１９と、を備えている。
ディスプレイ装置１４０１の表示データは必ず、画像ＲＡＭ１１５上に展開されている（Ｓ１６０１）。操作者が座標入力面１１２の透明ウィンドウ１４１１上で手書き文字を入力する。手書き文字の入力が終わった瞬間、電子黒板システム１４００は、手書き文字を囲む最小矩形Ｒを計算すると同時に、画像ＲＡＭ１１５上の対応する矩形のコピー（最小矩形Ｒ1’）を画像ＲＡＭ１１５上に作成する（Ｓ１６０２）。ある一定時間内（数十ミリ秒）毎にコンテンツ監視部３１３が画像ＲＡＭ１１５上の該当矩形内のデータが変化したかどうかを監視する（Ｓ１６０３→Ｓ１６０４）。コンテンツ監視部３１３がデータの変化を検知したら、コンテンツ変更アラート部３１５にアラート用のユーザーインターフェースを処理するように制御を渡す（Ｓ１６０５）。コンテンツ変更アラート部３１５は、表示装置２にアラートを表示し、ある決められた時間（数秒間）、ユーザーの指示を待つ（Ｓ１６０６、Ｓ１６０７）。ユーザーから保存指令が出た場合に保存制御部３０５は、透明ウィンドウ１４１１上の上書画像１４１３と透明ウィンドウ１４１１下の背景画像１４０９を合成して、ビットマップ画像１４１５を記録メディア３１９に保存する(Ｓ１６０９)。さもなければ、透明ウィンドウ１４１１上のデータを破棄する。
以上のように、本発明によれば、上書きコンテンツを保存する必要のあるタイミングでシステムが上書きコンテンツを保存するか否かを操作者に尋ねるので、保存するビットマップ画像の量を減らすことができ、後から修正したコンテンツを効率よく参照できる。また、操作者は、必要な上書きコンテンツのみを選択的に保存できるので、コンテンツ保存のための記憶域も少なくて済み、また、保存したコンテンツの参照を効率的にできる。また、透明レイヤ下のコンテンツの変化をシステムに負荷のかからない方法で監視するため、リアルタイムで監視でき、透明レイヤ下のコンテンツの変化を見逃すことがない。
１…座標入力装置、２…表示装置、３…座標検出装置、４…ホスト装置、１１１…ＡＰＬ、１１２…座標入力面、１１３…ディスプレイ画面、１１５…画像ＲＡＭ、３０５…保存制御部、３１１…矩形抽出部、３１３…コンテンツ監視部、３１５…コンテンツ変更アラート部、３１９…記録メディア、１４００…電子黒板システム、１４０１…ディスプレイ装置、１４０３、１４０５…ＰＣ、１４０７…ウィンドウ画面、１４０９…背景画像、１４１１…透明ウィンドウ、１４１３…上書画像、１４１５…ビットマップ画像、１４１７…カメラアイコン、Ｒ…最小矩形
Claims (7)
- 表示画面と、
座標入力装置と、
前記座標入力装置で指定された点の座標を検出する座標検出手段と、
前記表示画面上に表示された各領域上に前記領域と同じ色で表される透明ウィンドウを開き、前記座標検出手段が前記透明ウィンドウ上で検出した座標に基づく画像を、前記透明ウィンドウ上に上書画像として表示する上書手段と、
を備えたディスプレイ装置であって、
前記表示画面に表示された背景画像の変化を監視する監視手段と、
該監視手段により背景画像の変化が検知された場合に、背景画像と上書画像の合成画像を保存するか否かを判断するためのメッセージを表示するアラート手段と、
前記座標入力装置から前記合成画像を保存する旨の入力があった場合に、該合成画像を保存する保存手段と、を備えたことを特徴とするディスプレイ装置。 - 前記監視手段は、前記透明ウィンドウ上に描画されている上書画像を囲む最小矩形を抽出する矩形抽出手段を備え、該矩形抽出手段により抽出された最小矩形内の前記背景画像の変化を監視することを特徴とする請求項１に記載のディスプレイ装置。
- 前記表示画面に表示される画像を一時的に記憶する画像ＲＡＭを備え、
前記透明ウィンドウ上に描画されている上書画像を囲む最小矩形と対応する範囲の該画像ＲＡＭ内上の背景画像データに関し、ある時点におけるコピーデータと、現在の背景画像データとをビット毎に排他的論理和をとることで前記背景画像の変化を検知することを特徴とする請求項１又は２に記載のディスプレイ装置。 - 前記最小矩形内に前記背景画像が存在しない場合に、前記矩形抽出手段は、背景画像データが現れるまで前記最小矩形を拡大することを特徴とする請求項２に記載のディスプレイ装置。
- ディスプレイ装置で実行される上書き制御方法であって、
前記ディスプレイ装置は、制御部と記憶部を備え、前記制御部において実行される、
座標検出手段が、座標入力装置上で指定された点の座標を検出するステップと、
上書手段が、表示画面上に表示された各領域上に前記領域と同じ色で表される透明ウィンドウを開き、前記座標検出手段が前記透明ウィンドウ上で検出した座標に基づく画像を、前記透明ウィンドウ上に上書画像として表示するステップと、
監視手段が、前記表示画面に表示された背景画像の変化を監視するステップと、
アラート手段が、該監視手段により背景画像の変化が検知された場合に、背景画像と上書画像の合成画像を保存するか否かを判断するためのメッセージを表示するステップと、
保存手段が、前記座標入力装置から前記合成画像を保存する旨の入力があった場合に、該合成画像を保存するステップと、を含むことを特徴とする上書き制御方法。 - コンピュータを、
座標入力装置上で指定された点の座標を検出する座標検出手段と、
表示画面上に表示された各領域上に前記領域と同じ色で表される透明ウィンドウを開き、前記座標検出手段が前記透明ウィンドウ上で検出した座標に基づく画像を、前記透明ウィンドウ上に上書画像として表示する上書手段と、
前記表示画面に表示された背景画像の変化を監視する監視手段と、
該監視手段により背景画像の変化が検知された場合に、背景画像と上書画像の合成画像を保存するか否かを判断するためのメッセージを表示するアラート手段と、
前記座標入力装置から前記合成画像を保存する旨の入力があった場合に、該合成画像を保存する保存手段と、として機能させることを特徴とするプログラム。 - 座標入力装置で指定された点の座標を検出する座標検出手段と、
表示画面上に透明ウィンドウを開き、前記座標検出手段が前記透明ウィンドウ上で検出した座標に基づく画像を、前記透明ウィンドウ上に上書画像として表示する上書手段と、
を備えたディスプレイ装置であって、
背景画像の変化が検知された場合に、背景画像と上書画像の合成画像を保存するか否かを判断するためのメッセージを表示するアラート手段と、
前記座標入力装置から前記合成画像を保存する旨の入力があった場合に、該合成画像を保存する保存手段と、を備えたことを特徴とするディスプレイ装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011016553A JP5673144B2 (ja) | 2011-01-28 | 2011-01-28 | ディスプレイ装置、上書き制御方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011016553A JP5673144B2 (ja) | 2011-01-28 | 2011-01-28 | ディスプレイ装置、上書き制御方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012155667A JP2012155667A (ja) | 2012-08-16 |
| JP5673144B2 true JP5673144B2 (ja) | 2015-02-18 |
Family
ID=46837298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011016553A Expired - Fee Related JP5673144B2 (ja) | 2011-01-28 | 2011-01-28 | ディスプレイ装置、上書き制御方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5673144B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6152662B2 (ja) * | 2013-03-06 | 2017-06-28 | 株式会社リコー | 画像処理装置、方法およびプログラム |
| JP6361206B2 (ja) * | 2013-12-02 | 2018-07-25 | セイコーエプソン株式会社 | プロジェクター、プロジェクターの制御方法および表示装置 |
| US10755744B2 (en) * | 2014-06-06 | 2020-08-25 | Fuji Xerox Co., Ltd. | Systems and methods for direct video retouching for text, strokes and images |
| CN108351713B (zh) * | 2015-10-14 | 2022-03-08 | 麦克赛尔株式会社 | 输入终端装置和操作输入方法 |
| JP2017169086A (ja) * | 2016-03-17 | 2017-09-21 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法及びプログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4317385B2 (ja) * | 2002-09-30 | 2009-08-19 | 株式会社リコー | ディスプレイ装置、上書制御方法、プログラムおよび記録媒体 |
| JP4942922B2 (ja) * | 2004-09-15 | 2012-05-30 | 株式会社リコー | 電子会議システムおよび電子会議方法 |
| USRE48352E1 (en) * | 2006-11-20 | 2020-12-15 | Koninklijke Philips N.V. | Rotary shaver with improved support structure for shaving heads |
| JP5338529B2 (ja) * | 2009-07-06 | 2013-11-13 | 株式会社リコー | 情報処理装置、文書拡大表示方法、プログラム及び記録媒体 |
-
2011
- 2011-01-28 JP JP2011016553A patent/JP5673144B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012155667A (ja) | 2012-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2495644B1 (en) | Portable information terminal comprising two adjacent display screens | |
| US7904837B2 (en) | Information processing apparatus and GUI component display method for performing display operation on document data | |
| TWI484403B (zh) | 顯示介面中之圖示管理 | |
| JP5673144B2 (ja) | ディスプレイ装置、上書き制御方法、及びプログラム | |
| JP5625615B2 (ja) | 電子情報ボード装置 | |
| US20130063384A1 (en) | Electronic apparatus, display method, and program | |
| JP4850646B2 (ja) | 表示制御装置及びその制御方法 | |
| US9843691B2 (en) | Image display device, image display system, image display method, and computer-readable storage medium for computer program | |
| KR20110047349A (ko) | 휴대용 단말기에서 터치와 가압을 이용하는 사용자 인터페이스 장치 및 방법 | |
| US20110148918A1 (en) | Information processing apparatus and control method therefor | |
| JP2006350838A (ja) | 情報処理装置およびプログラム | |
| JP4136444B2 (ja) | タッチパネル付きディスプレイ装置 | |
| JP6747262B2 (ja) | ユーザインターフェース方法、情報処理装置、情報処理システム及び情報処理プログラム | |
| US11455073B2 (en) | Method for generating a movement of a three-dimensional part of a three-dimensional assembly in a three-dimensional scene, comprising at least a rotation at most by a predetermined angle | |
| JP4137069B2 (ja) | 制御装置 | |
| JP3809424B2 (ja) | 選択領域制御装置、選択領域制御方法及び選択領域制御プログラム | |
| WO2014061095A1 (ja) | 情報表示装置および情報表示装置における操作制御方法 | |
| JP2009116727A (ja) | 画像入力表示装置 | |
| JP4317385B2 (ja) | ディスプレイ装置、上書制御方法、プログラムおよび記録媒体 | |
| US20140365955A1 (en) | Window reshaping by selective edge revisions | |
| JP2004118752A (ja) | タッチパネル付きディスプレイ装置、上書き制御方法、その方法をコンピュータに実行させるプログラム、そのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4722784B2 (ja) | 電子黒板装置および電子黒板装置における画像処理方法並びにそのプログラム | |
| JP4157337B2 (ja) | タッチパネル付きディスプレイ装置、タッチパネル付きディスプレイ装置の制御方法 | |
| JP6526851B2 (ja) | 図形処理装置および図形処理プログラム | |
| JP6027735B2 (ja) | 表示装置および表示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131202 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140805 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140808 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141028 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141215 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5673144 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |