JP5320800B2 - コンピュータ、上書情報処理装置、上書情報処理方法、プログラム、記憶媒体、および電子会議方法 - Google Patents

コンピュータ、上書情報処理装置、上書情報処理方法、プログラム、記憶媒体、および電子会議方法 Download PDF

Info

Publication number
JP5320800B2
JP5320800B2 JP2008103654A JP2008103654A JP5320800B2 JP 5320800 B2 JP5320800 B2 JP 5320800B2 JP 2008103654 A JP2008103654 A JP 2008103654A JP 2008103654 A JP2008103654 A JP 2008103654A JP 5320800 B2 JP5320800 B2 JP 5320800B2
Authority
JP
Japan
Prior art keywords
document
display
information
conference
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008103654A
Other languages
English (en)
Other versions
JP2009054134A (ja
Inventor
満 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2008103654A priority Critical patent/JP5320800B2/ja
Publication of JP2009054134A publication Critical patent/JP2009054134A/ja
Application granted granted Critical
Publication of JP5320800B2 publication Critical patent/JP5320800B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

この発明は、Windows(登録商標)等の汎用OS(オペレーティングシステム)上で動作する任意のアプリケーションにおける表示画面上に上書きを行なう際に、アプリケーションの表示状態に対応させて、上書きされた描画を関連付けて保存し、それを再表示可能な上書情報処理装置に関し、特に、任意のアプリケーションプログラムが表示する表示文書(画像)のスクロールライン数、スクロールライン長をスクロールボックスの移動により検出することができるコンピュータ、上書情報処理装置、上書情報処理方法、電子会議方法、プログラムおよび記憶媒体に関する。
近年、オフィスでのプレゼンテーションは電子化文書をプロジェクタで投影する方式が増加し、プレゼンテーション機器にも、打合せの場で投影中の画像に専用のペンで書き込みを行い、前記専用のペンの軌跡を検出して電子化し、投影中の画像とともに電子的に保存するものも商品化されている。
なお、本発明に係るプレゼンテーション機器に関連する先行技術としては、特許文献1として、情報表示媒体が、情報の記録を書き換え可能に行える画像表示面を有し、この画像表示面の周辺部には該情報表示媒体の識別情報が記録されていて、画像表示面の下にはこの画像表示面上の座標情報を示すx、y座標情報層が形成され、ペン型の情報入出力装置が、情報表示媒体を識別するための識別情報を検出し、また、前記座標情報を検出する受発光部を備え、検出した識別情報と前記座標情報とは関連づけて処理してメモリに記憶し、パソコンに送信する技術が開示されている。
特許文献2として、白板部の書き込み部上に書き込まれた手書きの書き込み情報をスキャナ部でスキャンして書き込み画像を電子化し、プロジェクタ部が投影している画像と合成、或いは関連付けて管理する簡素な構造の安価なプレゼンテーション機器技術が開示されている。
特許文献3として、文書を解析して、各文字の位置、文字サイズ及び文字種の情報を含む文字情報を生成する文字情報生成部と、文字情報を解析して、各行の文字列、各行の主要文字サイズ及び主要文字種、各行のスコアの情報を含む行情報を生成する行情報生成部と、この行情報を解析して文書構造情報を生成する文書構造情報生成部とを設け、文書構造情報生成部は、行情報のスコア及び行の連続性に基づいて行をグループ化し、文書構造情報を生成する技術が開示されている。
特許文献4として、ディスプレイ画面に表示される表示文書上に重ねて表示させる上書きデータと、前記上書きデータを表示させる位置を前記表示文書上の相対的な位置として示す文書座標とを対応付けて格納する上書きデータ格納手段と、前記表示文書の表示倍率、およびディスプレイ画面上の画面座標を検出する文書情報検出手段と、前記表示文書の表示倍率および前記表示文書の画面座標を利用して、上書きデータ格納手段に格納されている上書きデータの文書座標を画面座標に変換する座標変換手段とを備える技術が開示されている。
しかしながら、上記従来技術には以下のような問題点があった。
すなわち、特許文献1においては、文書にページ情報を付加して印刷、ページ情報を自動検知、上書きとページの整合を図る技術が公知となっているが、一度ページ情報を付加印刷、さらにページ情報を識別する特別な装置が必要となるものであった。
また、特許文献2においては、上書き時のPC画像と手書き情報を分離保存、表示時重ねて表示する方式が公知となっているが、画像と上書きの位置関係は不明で画像の表示位置と上書きを関連付けて管理する必要があるものであった。
また、特許文献3においては、文書の文字サイズ、文字タイプを解析して文書の位置を算出する方式が公知となっているが、解析に莫大な時間を要することになるものであった。
また、複数のPCをネットワーク接続、全PC上に共通の会議資料を表示実施するPC会議において、円滑な会議進行のため説明箇所をマーク、あるいは補足説明のため文字描画することが行なわれる。これに関連する従来の技術として、クライアント・サーバー方式においてサーバーがウィンドウ表示状態を管理し、変更があった場合クライアントのウィンドウの大きさを統一する方式が開示されている(たとえば、特許文献4参照)。また、電子メイルに上書き、電子メイルとは別に送信、電子メイルと上書きを重ねて表示する方式が開示されている(たとえば、特許文献5参照)。
さらに、ウィンドウ位置(表示位置、幅、高さ)を統一するためボタン、キー入力により指示する方式が開示されている(たとえば、特許文献6参照)。また、全画面透明ウィンドウを表示することによりマウス操作を無効にし、ファイル転送、ファイル表示することにより画面を統一することが開示されている(たとえば、特許文献7参照)。
ただし、特許文献4の方式ではウィンドウ表示状態を管理するサーバーが必要となり、また表示位置については管理されていない。また、特許文献5の場合、上書き時と重ねて表示時の電子メイルの表示状態が同一であることが条件となる。また、特許文献6の方式ではウィンドウが表示する内容が更新された場合に表示内容の更新はできない。また、特許文献7の場合、会議資料がページ単位にファイル化される必要がある。
さらに、文書はMicrosoft Word(登録商標)のような文書作成プログラムにより作成する方が手書きより早く、再利用、インターネット配布などからも手書きに対して優位性を持っている。しかし、全てがマウスとキーボード操作により作成することから表現力に限界があり表現力は手書きに劣っている。
ここで、表示文書の位置情報が取得できれば、タブレット、あるいはペン入力操作を想定したTablet PCにより文書上へ手書きにより文字、図形を描画、文書と手書き文字を関連付け、保存、表示、編集等が可能となり両者の優位点を活かすことが可能となる。しかしながら、そのために必要な表示文書の位置情報をAPIにより提供しているのはMicrosoft Office(登録商標)等僅かである。
また、プログラムは一般的に目的の文書を表示するためのツールとしてスクロールバーを持っており、スクロール表示は文書をライン単位に分割、ライン単位で実行され、スクロールボックス位置へ反映される。
しかしながら、このライン長はプログラム毎に異なる値に設定されており、簡単には使用できないものである。すなわち、プログラムの一部(Micosoft Excel(登録商標)等)にはスクロール毎に移動量(スクロールライン長)が異なるものがあり、この場合スクロールライン長、スクロールボックス位置情報から単純に文書位置を特定することができないものであった。
また、従来の技術にあっては、資料をスクロール表示、ページ変更したとき、この上書きは意味を持たなくなり邪魔となるため消去することになるが、再度上書きしたページを表示するとき、先の上書きを必要とする場合がほとんどである。また、上書きが文書に対して実行される場合、上書きのみ保存、表示しても意味が判らなくなるため上書きが実施された文書と関連付け上書きを保存する必要がある。これには、表示文書のページ番号、ライン番号などの位置情報が判らないと関連付けができない。この文書の位置情報を提供するプログラムも存在するがほとんどのプログラムが提供していない。
また、特許文献8によれば拡大・縮小表示、スクロール表示時も上書き位置情報が保持され表示されるが、アプリケーション(APL)が一度表示変更すると消えてなくなり、APLにより同一画像が再表示されたこと、表示位置、表示倍率などの情報を持っておらず上書きデータを位置合わせして表示することができない。
また、会議資料のスクロール表示、ページ変更時、表示情報と上書き情報との関連性がなくなり意味を持たず邪魔となるため、上書きデータを保存、消去することが行なわれる。再度上書きが実行された会議資料が表示された時この上書きを表示するには会議資料の何処に上書きしたか、現在表示中が何処かの情報が必要となる。表示中のページ番号、表示位置、表示倍率等を取得するAPIを提供しているプログラム(Microsoft Office)もあるがほとんどどのプログラムはこの機能を提供していない。
また、上書きは上書き時の会議資料に対して意味を持つもので会議資料の表示変更(スクロール、ページ捲り)が行なわれると邪魔となる。このため、再表示する必要が無い場合は消去、必要な場合は保存操作が必要となる。
特開2000−215000公報 特開2001−016384公報 特開2001−265762公報 特開2004−094679公報 特開平8−185302号公報 特開平11−143794号公報 特開2000−259535公報 特開2003−91490公報 特開2001−312264公報
本発明は、上記従来のいくつかの問題点に鑑みてなされたものであり、その第1の目的として、位置情報を提供しないプログラムにおいても文書位置情報を検出することができる文書位置検出機能を提供することを目的としている。また、本発明は、電子会議において上書きと会議資料位置を関連づけることを第2の目的とする。また、本発明は、電子会議において会議情報に対する上書き情報の保存操作を不要にすることを第3の目的とする。
上述の目的を達成するために、請求項1記載の発明は、コンピュータにおいて、オペレーティングシステム上で動作する任意のアプリケーションプログラムが表示する表示文書について、スクロールボックスの移動による文書の移動量を検出する際に、移動前に所定の位置に描画した線の移動後の位置の座標に基づいて、文書の移動量を検出する文書位置情報検出手段を有することを特徴とする。
また、請求項2記載の発明は、文書表示を行なうアプリケーションが実行されている上書情報処理装置であって、前記アプリケーションが実行されている表示画面の情報を取得する表示画面取得手段と、前記アプリケーションが実行されている表示画面から、文書表示領域の座標を特定する座標特定手段と、前記文書表示領域への上書描画を検知する入力検知手段と、前記座標と前記描画とを対応づけ記憶させる記憶制御手段と、を備え、前記表示画面取得手段が、スクロールボックスの移動による文書の移動量を検出する際に、移動前に所定の位置に描画した線の移動後の位置の座標に基づいて前記文書表示領域の文書の移動量を検出する文書位置情報検出手段を有することを特徴とする。
また、請求項3記載の発明は、前記文書位置情報検出手段が、文書表示領域の画像を取得し、当該取得した画像を文書領域上へ重ねて表示し、スクロールボックスの移動を実行することを特徴とする
また、請求項記載の発明は、前記文書位置情報検出手段が、文書上へ透明ウィンドウを表示し、スクロールボックス移動により文書をスクロール表示することを特徴とする。
また、請求項記載の発明は、前記文書位置情報検出手段が、プログラム毎のスクロール情報を検出し、該検出したスクロール情報を登録し、文書を表示するプログラムを自動認識して、登録されたスクロール情報がある場合、スクロール情報の検出を不要とすることを特徴とする
また、請求項記載の発明は、前記座標特定手段は、前記記憶手段に記憶されている座標に基づいて、表示画面における文書表示領域に対応させる描画を特定する機能を有することを特徴とする。
また、請求項記載の発明は、文書表示を行なうアプリケーションを実行する上書情報処理方法であって、表示画面取得手段により前記アプリケーションが実行されている表示画面の情報を取得するステップと、座標特定手段により前記アプリケーションが実行されている表示画面から、文書表示領域の座標を特定するステップと、入力検知手段により前記文書表示領域への描画を検知するステップと、記憶制御手段により前記座標と前記描画とを対応づけて記憶させるステップと、を備え、前記表示画面の情報を取得するステップが、スクロールボックスの移動による文書の移動量を検出する際に、移動前に所定の位置に描画した線の移動後の位置の座標に基づいて前記文書表示領域の文書の移動量を検出する文書位置情報検出ステップを有することを特徴とする。
また、請求項記載の発明は、文書表示を行なうアプリケーションを実行するにあたり、表示画面取得手段により前記アプリケーションが実行されている表示画面の情報を取得するステップと、座標特定手段により前記アプリケーションが実行されている表示画面から、文書表示領域の座標を特定するステップと、入力検知手段により前記文書表示領域への描画を検知するステップと、記憶制御手段により前記座標と前記描画とを対応づけて記憶させるステップと、を備え、前記表示画面の情報を取得するステップが、スクロールボックスの移動による文書の移動量を検出する際に、移動前に所定の位置に描画した線の移動後の位置の座標に基づいて前記文書表示領域の文書の移動量を検出する文書位置情報検出ステップと、を備えた上書情報処理方法をコンピュータによって実現するプログラムを特徴とする。
また、請求項記載の発明は、文書表示を行なうアプリケーションを実行するにあたり、表示画面取得手段により前記アプリケーションが実行されている表示画面の情報を取得するステップと、座標特定手段により前記アプリケーションが実行されている表示画面から、文書表示領域の座標を特定するステップと、入力検知手段により前記文書表示領域への描画を検知するステップと、記憶制御手段により前記座標と前記描画とを対応づけて記憶させるステップと、を備え、前記表示画面の情報を取得するステップが、スクロールボックスの移動による文書の移動量を検出する際に、移動前に所定の位置に描画した線の移動後の位置の座標に基づいて前記文書表示領域の文書の移動量を検出する文書位置情報検出ステップと、を備えた上書情報処理方法をコンピュータによって実現するプログラムを記憶した記憶媒体であることを特徴とする。
と、を備えた上書情報処理方法をコンピュータによって実現するプログラムを記憶した記憶媒体であることを特徴とする。
また、請求項10記載の発明は、ネットワーク上に、それぞれが会議情報表示手段を備えたコンピュータ装置としての複数のPC端末をPC会議参加端末として接続し、前記複数のPC端末のうち1台を随時PC会議操作権端末とし、PC会議操作権端末上で表示されている会議情報としての表示文書とその上書き情報とを他の前記PC端末それぞれで画面出力して電子会議を行なう電子会議方法において、前記PC会議操作権端末の文書位置情報検出手段が、オペレーティングシステム上で動作する任意のアプリケーションプログラムが前記会議情報表示手段で表示する前記表示文書の位置を水平スクロールバー情報、垂直スクロールバー情報、表示ウィンドウ情報から検知するとともに、スクロールボックスの移動による文書の移動量を検出する際に、移動前に所定の位置に描画した線の移動後の位置の座標に基づいて文書表示領域の文書の移動量を検出して送出し、他の前記PC会議参加端末の位置整合手段が、受信した前記検知された水平スクロールバー情報、垂直スクロールバー情報、表示ウィンドウ情報、並びに前記スクロールボックスの移動により検出された情報に対応させて、自機の前記会議情報表示手段上に表示された前記会議情報としての表示文書の表示状態を、送信元のPC会議操作権端末と同一表示状態にすることを特徴とする。
また、請求項11記載の発明は、ネットワーク上に、それぞれが会議情報表示手段を備えたコンピュータ装置としての複数のPC端末をPC会議参加端末として接続し、前記複数のPC端末のうち1台を随時PC会議操作権端末とし、PC会議操作権端末上で表示されている会議情報としての表示文書とその上書き情報とを他の前記PC端末それぞれで画面出力して電子会議を行なう電子会議方法において、前記PC会議操作権端末の文書位置情報検出手段が、オペレーティングシステム上で動作する任意のアプリケーションプログラムが前記会議情報表示手段で前記表示文書を表示する作業ウィンドウの位置、サイズの変化を検知するとともに、スクロールボックスの移動による文書の移動量を検出する際に、移動前に所定の位置に描画した線の移動後の位置の座標に基づいて文書表示領域の文書の移動量を検出して送出し、前記PC会議参加端末の位置整合手段が、受信した情報に対応させて、自機の前記会議情報表示手段上に表示された前記会議情報としての表示文書を表示している作業ウィンドウの表示状態を、送信元のPC会議操作権端末と同一表示状態にすることを特徴とする。
また、請求項12記載の発明は、請求項10または11記載の電子会議方法において、前記PC会議操作権端末の文書位置情報検出手段が、オペレーティングシステム上で動作する任意のアプリケーションプログラムが表示する会議情報としての表示文書の別な表示文書への切替え変更を検知した場合に、前記PC会議参加端末が、前記変更された別な表示文書のファイルを前記会議情報として取得するとともに、対応させて同一状態に再表示することを特徴とする。
また、請求項13記載の発明は、請求項10乃至12のいずれか1項記載の電子会議方法において、前記PC会議操作権端末の文書位置情報検出手段が、オペレーティングシステム上で動作する任意のアプリケーションプログラムが表示する会議情報としての表示文書への上書きが行われた場合に、上書き文字等の上書き操作の画面上座標を取得して当該画面上座標を文書座標に変換するとともに、スクロールボックスの移動による文書の移動量を検出する際に、移動前に所定の位置に描画した線の移動後の位置の座標に基づいて文書表示領域の文書の移動量を検出して、前記PC会議参加端末へ送信し、且つ、前記文書座標を自機に保存し、前記PC会議参加端末が、前記会議情報表示手段上に表示された前記会議情報としての表示文書に対して当該画面上座標により前記上書き内容を描画して、前記文書資料上への上書きを同一にするとともに、前記スクロールボックスの移動により検出された情報に対応させて同一表示状態にし、且つ、当該画面上座標を文書座標に変換して保存することを特徴とする。
また、請求項14記載の発明は、請求項13記載の電子会議方法において、前記PC会議操作権端末が、前記会議情報表示手段上に表示された表示文書の前記上書き内容が全部または一部、消去された場合に、当該上書き消去操作の画面上座標を取得して、前記PC会議参加端末へ送信し、且つ、当該消去した文書座標を前記自機に保存された文書座標から削除し、前記PC会議操作権端末の文書位置情報検出手段が、当該画面座標により上書き文字を消去して、前記文書資料上への上書き内容を同一にするとともに、当該画面座標に基づき消去した上書き文字の文書座標を算出して、当該消去した文書座標を前記保存された文書座標から削除することを特徴とする。
また、請求項15記載の発明は、請求項13または14記載の電子会議方法において、表示文書の切替え変更時、表示中の表示領域文書空間を算出し、算出結果に合わせて保存文書座標を画面座標へ変換して再描画することにより、会議資料上の上書き内容を同一にすることを特徴とする。
また、請求項16記載の発明は、請求項13乃至15のいずれか1項記載の電子会議方法において、前記PC会議操作権端末が、必要に応じて、上書きが実行された表示文書のファイルを表示し、保存した上書き情報から上書き時の位置へ上書き情報を再描画し、その後、当該上書きの追加、削除等の編集処理が可能なことを特徴とする。
本発明によれば、位置情報を提供しないプログラムにおいても文書位置情報を検出することができる。
それにより、表示文書の位置情報を提供するAPIを持たない任意のプログラムが表示する文書の位置情報を検出することが可能となり、電子文書への手書き入力が文書位置と関連付けられ、手書き入力の利便性を電子データに活用可能となるため多くの作業の効率化(例:作成した電子文書の修正指示を行なう場合、NページのL行目〜のxxxxをxxxxxに修正と、指示文書を別途作成するか、印刷、紙上へ手書き修正する→直接文書上へ手書き描画する等)を図ることができる。
また、任意のアプリケーションプログラムの文書表示領域の文書の移動量が検出され文書位置検出が可能となるため、多くのアプリケーションへの活用が可能となる。
また、文書位置情報検出時も文書表示は固定表示されることから、スクロール表示による不快感の解消ができ、利便性の向上を図ることができる。
また、文書表示領域の文書の移動量がスクロール毎に異なるアプリケーションの文書位置検出が可能となるため、多くのアプリケーションへの活用が可能となる。
また、文書位置情報検出後に元の表示状態に戻るため表示位置を修正する操作が不要となるので利便性の向上を図ることができる。
また、文書位置検制御応用プログラムの操作のみで表示文書のスクロール表示が可能となるため、どちらを操作しているのか間違え誤操作、両者の切替え操作の煩わしさが解消され、利便性の向上を図ることができる。
また、文書位置情報検出時スクロール情報検出を省略することができるため、スクロール表示による不快感の解消ができ、利便性の向上を図ることができる。
また、文書位置情報検出時スクロールライン番号(位置)情報検出を省略することができるため、スクロール表示による不快感の解消、時間の無駄を防止でき、利便性の向上を図ることができる。
また、本発明にかかる電子会議システムによれば、PC会議操作権端末が、会議情報と上書き情報の表示位置が変更された際に、PC会議参加端末へと通知し、PC会議参加端末が、当該変更された会議情報と上書き情報とを同一位置に表示することにより、操作PCの画像が参加PCに迅速に反映することが可能になるため、円滑なPC会議が可能になるとともに、会議の効率化を図ることができる。
[第1実施形態]
以下に添付の図を参照してこの発明の実施形態を詳細に説明する。
本発明の第1番目の態様は装置に関するもので、様々な表示装置において、Windows(登録商標)等の汎用OS(オペレーティングシステム)上で動作する任意のアプリケーションプログラムが表示する文書(画像)のスクロールライン数、スクロールライン長をスクロールボックスの移動により検出する文書位置検出装置にかかるものである。そして、後述する本発明の第2番目の態様は、電子会議システムにかかるものである。
図1は、本発明が適用される様々な表示装置例を示す説明図である。図1(a)は、PC(パソコン)へタブレットを接続して、任意のアプリケーションプログラムが作成する文書上へ手書きにより文書の修正を行い、変更内容を文字描画する表示装置例を示し、図1(b)は、タブレットPCのペンにより任意のアプリケーションプログラムが作成する文書上へ手書きにより文書の修正を行い、変更内容を文字描画する表示装置例を示し、図1(c)は、大型(50インチ、60インチ等)のPDP、リアプロジェクタ等の大型のディスプレイにタッチパネルを装着し、指等により任意のアプリケーションプログラムにより作成した資料上へ上書きすることにより講義や講演の効率化を図る表示装置(表示一体型座標入力装置)の例を示し、図1(d)は、タブレットPC(ノートPC)へプロジェクタを接続し、任意のアプリケーションプログラムにより作成した資料上へ上書きすることにより会議の効率化を図る表示装置例を示す。
図2は、図1(c)に示した表示装置に、本発明による文書位置情報検出装置を適用した一実施形態の概略図である。図2に示すように、この表示装置1は、大型(50インチ、60インチ等)のPDP、液晶リアプロジェクタからなり、タッチパネル3がディスプレイの前面に配設された表示一体型座標検知装置となっており、タッチパネル3はディスプレイ面に触れた指、ペン等の座標指示物を検知するようになっている。
この表示装置1には、表示画像を提供するパソコン(PC)5が接続されていると共に、タッチパネル3が検知する情報により位置を算出し、座標データとしてRS232C、USB等のPC_I/Fを介してPC5へ通知する座標算出制御装置7が接続されている。また、パソコン5は、データ等を記憶するRAMとプログラムを記憶したROMとプログラムを実行するCPUとを有している。
次に、図3を参照して、タッチパネルの座標検知方式の一例として光遮断検知方式について説明する。図3は、タッチパネルにおける光遮断検知方式の説明図である。図3に示すように、この光遮断検知方式のタッチパネルは、X軸、Y軸方向に検知精度に応じて一列に複数個(図においてはXGAディスプレイの解像度である1024x768ピクセルと同じ個数としている)配置され赤外光を発光する発光ダイオード(LED)9と、LED9が発光する赤外光を受光、電気信号へ変換タッチパネル制御装置へ送信するフォトトランジスタ11とを有しており、座標算出制御装置7は、X軸方向、Y軸方向のLEDを順次発光、フォトトランジスタから送信される電気信号が特定量以下である場合、座標指示物が存在するものとして発光LEDから座標位置を算出する。
ここで、座標指示物13が図3に示す位置にある場合、X軸の第2LED Aから発光される赤外光が座標指示物に遮られフォトランジスタにより受光されずX座標「2」が検知され、同様にY軸の第3LED Bから発光される赤外光が座標指示物に遮られ、フォトランジスタにより受光されずY座標「3」が検知されることになる。
座標検知方式としての更に別な光遮断検知方式について図を参照して説明する。
図4および図5は、図3に示した方式と略同様なタッチパネル3における別な態様の光遮断検知方式の説明図である。この方式の表示一体型座標入力装置110は、大きくは、座標入力装置111、表示装置112、ホスト装置113から構成されている。座標入力装置111は、表示装置112の画面を隠さないように設置された画面上に触れた座標指示物の位置を表示装置112の画素(ピクセル)数(X軸方向1024、Y軸方向768など)に対応した(X,Y)座標を周期的(5ms、10msなど)に検出し、ホスト装置113へPCI/F(RS232C、USBなどの通信手段)を介して送出する。表示装置112は、ホスト装置113が出力するRGB画像データを液晶画面、PDP画面へ表示する。
図5は、図4の座標入力装置111における座標検知方式を示す説明図である。左座標指示物検知器115、右座標指示物検知器116は、半導体レーザーにより照射光を発光し、光再帰性反射部材114により反射される光を検知してアナログデータに変換し、座標検知制御装置117へ送出する。画面上に指、ペンなどの座標指示物がない場合、照射光は光再帰性反射部材114により180度反対方向に反射され受光される(画面右側の矢印参照)。
他方、座標指示物が画面上に存在する場合、照射光は遮られ光再帰性反射部材114に反射されず左座標指示物検知器115、右座標指示物検知器116は受光しない。この受光のない方向(光遮断角)を左座標指示物検知器115、右座標指示物検知器116により左光遮断角度(θL)、右光遮断角度(θR)を検出し、図示するH,W,θL,θRから下記の式にしたがって座標指示物のX座標、Y座標を算出する。
X=W×tanθR/(tanθL+tanθR)
Y=H−W×tanθL×tanθR/(tanθL+tanθR)
その後、この検知座標は、ホストPC113に標準装備されているRS232C、USBなどの通信手段により通知される。
更に、上記以外の様々な表示装置例における上書情報の座標検知の方式について、図を用いて説明する。図6および図7は、上書情報の座標検知の方式の他の例の説明図である。上書情報の座標検知の方式は、他に、タブレットPC(Tablet PC)15における方式がある。電子ペンとタブレットPC15に内蔵されたセンサーによりディスプレイ上の電子ペンの位置(座標)を検知し、マウスのクリック、ドラッグ操作をエミュレートする。水平のディスプレイと電子ペンによりマウス操作では困難な手書き文字が紙に文字を書く感覚で描画可能となる。
タブレットPC15は一般的なノートPCと同様に、液晶ディスプレイとキーボード、マウスで構成され同様の操作も可能であるが、キーボードとマウス操作に代わり、電子ペン16で画面上をタッチすることによりマウスの代わりに操作でき、キーボードに代わりテキスト入力を手書き文字描画、あるいは文字認識により行えるようタッチパネル17が備えられている。
図6の左には、タブレットPC15の画面(ディスプレイ)を開いた状態を、図6の右には画面を180度回転させ折り畳んだ状態を示してある。座標検知は、タッチパネルをペンなど押圧したり、静電気によりタッチパネル側で電界等の変化を検知して、座標に置き換えるため、強化ガラス19と液晶ディスプレイユニット21と電磁誘導センサーユニット23とが重ねられた構造となっている。電子ペンが直接接触する面には強化ガラス19が設置され液晶ディスプレイユニット23が傷つくのを防止する。液晶ディスプレイユニット21の下に電子ペン16の位置を検知する電磁誘導センサーユニット23が設置されていてディスプレイの画像品質が損なわれない構造となっている。
次に、上記電磁誘導センサーユニット23による電磁誘導座標検知方式について説明する。
図7(a)に示すように、共振回路25が電子ペン16に内蔵され、電磁誘導センサーユニット23のセンサーコイル27に流れる電流による磁界により、コイル27に誘導起電圧が生じ、コンデンサー等からなる共振回路25が励振され共振電流が流れる。図7(a)は、電磁誘導センサーユニット23による電磁誘導座標検知方式の説明図である。
センサーコイル27は、座標検知精度に比例した密度に設置される。なお、図ではX軸方向を検知するためのセンサーコイルの一部を示す。図示はないがこれと直角の方向にY軸方向を検知するためのセンサーコイルが設置される。
座標検知制御装置29は、送受切替スイッチ31を制御、送受切替スイッチ31を交流電源33に接続し、交流電源33からセンサーコイル27に電流を流し、X軸コイル切替スイッチ35を制御、高速にスイッチを切替え順次センサーコイル27へ電流を流す。これによりセンサーコイル27上に順次磁界が発生する。この磁界により電子ペン16が共振することになる。
次に、送受切替スイッチ31を交流電源33に接続し、X軸コイル切替スイッチ35を順次高速に切り替える。この時、電子ペン16の共振電流により発する磁界によりセンサーコイル27に誘導起電圧が発生する。そして、センサーコイル27に発生する誘導起電圧を増幅し、測定(V)する。
図7(b)の誘導起電圧分布図に、この時検知される誘導起電圧の分布を示す。図7(b)は、電磁誘導センサーユニット23における誘導起電圧分布図である。ここで、電子ペン16がセンサーコイル「2」上にある場合、センサーコイル「2」から受信される誘導起電圧が最も高くなる。これにより誘導起電圧分布の最も高い点を検出することによりX座標が確定する。なお、図示していないが同様にしてY座標を確定する。
そして、検知した電子ペン16の座標はPC5へI/F(RS232C、USBなど汎用I/F、または専用I/F)により通知される。座標検知制御装置はディスプレイ装置に内蔵されている。ここでは、ディスプレイを回転折り畳む形式を示したがディスプレイ部が取りはずせる形態のものもある。
次に、図8を参照して座標入力制御について説明する。図8は、座標入力制御についての説明図であり、(a)は、概念ブロック図であり、(b)および(c)は、座標データとマウスデータの状態を示す説明図である。
図8(a)に示すように、「座標データ」はディスプレイ面に接触する座標指示物をタッチパネル3が検知し、座標算出制御装置7が位置を算出してPC5へ送信する。そして、タッチパネルドライバ41は、RS232C、USB等の通信手段により座標算出制御装置7が送信する「座標データ」を受信し、OSが定義する「マウスデータ」へ変換し、OSが提供するマウスI/F43へ出力する。
「マウスデータ」は、PC5に接続されるマウスにより出力されるデータと同一の形式であり、「アプリケーションプログラム」はマウス操作と同一となる。
すなわち、通常マウスは右ボタン、左ボタンを有し中ボタンを有するマウスも存在するがタッチパネルには存在しないことからタッチ操作をボタンON、デタッチ操作をボタンOFFとして扱い、ボタン種別(右、中、左)についてはタッチパネルドライバが提供するプロパティによりユーザー選択されるものとする。
OSにより実行権が与えられている「アプリケーションプログラム」がマウスI/F43から「マウスデータ」を受け取る。マウス座標下の情報(メニュー、ボタン等)に定義されている機能を実行する。実行結果として画面表示が変更され「画像データ」が更新され、RGB信号に変換されディスプレイに画像として表示される。図8(b)および(c)に、座標データおよびマウスデータの概略構造を示す。
[画面表示情報]
図9を参照してOS(Windows(登録商標))の場合)が提供するI/F(API)により取得できるスクロールボックスの位置情報、表示画像、ウィンドウの位置情報等の画面表示情報について説明する。表示中の全てのウィンドウ情報(左上原点座標、幅、高さ、ウィンドウハンドル、ウィンドウクラス、ウィンドウスタイル、ウィンドウタイトル)を取得できる。
ウィンドウハンドルは表示中のウィンドウにユニークに割り当てられるウィンドウの識別子でこれによりウィンドウの情報取得、設定が行なわれる。垂直スクロールバーはウィンドウとして作成される場合、ウィンドウクラス「ScrollBar」、(ウィンドウ幅<ウィンドウ高さ)、ウィンドウに付属する場合、ウィンドウスタイル「WS_VSCROLL」から識別される。水平スクロールバーはウィンドウとして作成される場合、ウィンドウクラス「ScrollBar」、(ウィンドウ幅>ウィンドウ高さ)、ウィンドウに付属する場合、ウィンドウスタイル「WS_HSCROLL」から識別される。
水平スクロールバーの左上原点座標(HX,HY)、幅(HW)、高さ(HH)を取得できる。
水平スクロール長(HL)は文書の非表示部分も含めた全幅を示し、OSが提供するI/Fにより取得できる。
水平スクロール表示幅(HB)は文書の表示部分の幅を示し、水平スクロールボックス位置(HP)は表示文書左端の位置を示し、OSが提供するI/Fにより取得できる。
垂直スクロールバーの左上原点座標(VX,VY)、幅(VW)、高さ(VH)を取得できる。
垂直スクロール長(VL)は、非表示部分も含めた文書全ページの縦の長さを示し、OSが提供するI/Fにより取得できる。
垂直スクロール表示長(VB)は文書の表示部分の縦長を示し、垂直スクロールボックス位置(VP)は表示文書上端の位置を示し、OSが提供するI/Fにより取得できる。
スクロールバーに接するウィンドウがスクロールバーが制御するウィンドウ(文書表示領域)となり、左上原点座標(WX,WY)、ウィンドウ幅(WW)、ウィンドウ高さ(WH)を取得できる。
ウィンドウタイトル情報からプログラム名、表示文書のファイル名が取得できる。
次に、図9を参照してスクロールバー情報と表示文書の位置関係について説明する。図9は、スクロールバー情報と表示文書の位置関係についての説明図である。
図9Aに示すように、垂直スクロールボックス位置(VP)、垂直スクロールボックス幅(VB)、垂直スクロール長(VL)はOS(Windows(登録商標)の場合)が提供するAPI(アプリケーションインターフェース)により取得可能で、文書表示領域の文書全体における垂直方向の位置関係を示す。
VP:先頭ページから文書表示領域上端までの長さ
VL:文書全体の垂直方向の長さ
VB:表示部分の垂直方向の長さ
図9Bに示すように、水平スクロールボックス位置(HP)、水平スクロールボックス幅(HB)、水平スクロール長(HL)はOSが提供するAPIにより取得可能で、文書表示領域の表示ページにおける水平方向の位置関係を示す。
HP:表示ページ左端から文書表示領域左端までの長さ
HL:表示ページの水平方向の長さ
HB:表示部分の水平方向の長さ
図9Cに、文書表示領域の位置関係を示す。
図10を参照して画面座標から文書座標への変換方法を説明する。
水平スクロール長(HL)が表示文書の水平方向の全長を示し、水平スクロール表示幅(HB)は画面に表示されている部分の幅を示す。
垂直スクロール長(VL)が表示文書の垂直方向のページ長を示し、垂直スクロール表示長(VB)は画面に表示されている部分の高さを示す。
文書全ページ領域(文書座標空間)と画面表示部分の位置関係を示す。
OSが提供する情報により、垂直スクロールボックス位置(VP)をスクロールライン数(LN)に換算、OSが提供する情報のスクロールライン長(LL:スクロールバーボタン押下によりスクロールされる基本単位となるピクセル長)から画面Y座標を、先頭ページ上端を原点とする文書Y座標(SY)へ変換する。
文書Y座標(SY)=LN*LL+(Y−WY)
OSが提供する情報により、水平スクロールボックス位置(HP)を文書ページ左端からの距離(XP:ピクセル長)に換算、水平スクロール長(HL)をピクセル長(XL)に換算、画面X座標を文書ページ中央を原点(左側−、右側+)とする文書X座標(SX)へ変換する。
文書X座標(SX)=(X−WX)−(XL/2 −XP)
OSが提供する情報により、垂直スクロール長をスクロールライン数に換算、文書総ライン数(TL)とする。
図11を参照して文書座標から画面座標への変換方法を説明する。
OSが提供する情報により、垂直スクロールボックス位置(VP)をスクロールライン数(LN)に換算、OSが提供する情報のスクロールライン長(LL)から文書表示領域の文書原点Y座標(DY)を算出する。
表示領域原点文書Y座標(DY)=LN*LL
OSが提供する情報により、水平スクロールボックス位置(HP)を文書ページ左端からの距離(XP:ピクセル長)に換算、OSが提供する情報により、水平スクロール長(HL)をピクセル長(XL)に換算、文書中央座標(DC)を算出する。
文書中央座標(DC)=(XL/2 −XP)+WX
(WX<DC<(WX+WW))である場合、表示領域文書空間は以下となる。
DY≦文書Y座標≦(DY+WH)−(DC−WX)≦文書X座標≦+(WW+WX−DC)
(DC≦WX)である場合、表示領域文書空間は以下となる。
DY≦文書Y座標≦(DY+WH)+(WX−DC)≦文書X座標≦+(WX−DC+WW)
((WX+WY)≦DC)である場合、表示領域文書空間は以下となる。
DY≦文書Y座標≦(DY+WH)−(DC−WX)≦文書X座標≦−(DC−(WX+WY))
文書座標(SX,SY)が表示領域文書空間内となる場合、画面座標(X,Y)へ以下により変換する。
画面X座標=DC+文書X座標
画面Y座標=文書Y座標−DY+WY
次に、図12を参照して、スクロールボックスの位置情報について説明する。
図12のAに示すように、文書表示領域の左上端座標(WX,WY)はOSが提供するAPIにより取得される。
図12のBに示すように、スクロールボックス位置(HP0,VP0)がピクセル座標を示す場合、特定位置(X0,Y0)の文書座標(DX,DY)は以下により算出される。
DX=HP0+(X0−WX)
DY=VP0+(Y0−WY)
図12のCに示すように、スクロール操作によりスクロールボックス位置(HP1,VP1)となった場合、特定位置の画面座標(X1,Y1)は以下により算出される。
X1=(DX−HP1)+WX
Y1=(DY−VP1)+WY
[表示倍率変更]
次に、図13を参照して、文書の表示倍率が変更された場合の表示倍率換算方法について説明する。
文書座標(SX0,SY0)が取得されたときの表示状態を図13に示す。
文書を拡大(縮小)表示する場合、文書ページ左端からの距離は表示倍率に比例して拡大(縮小)されるが、文書ページ左端座標を算出する情報はOSにより提供されていない。
文書座標取得時、垂直スクロール長(VL0)から文書総ライン数(TL0)を算出保存する。
表示倍率変更時の垂直スクロール長(VL1)から文書総ライン数(TL1)を算出する。
表示倍率に関係なくスクロールライン長(LL)は同一であることから、表示倍率が文書総ライン数に比例、以下のようになる。
表示倍率=TL1/TL0
文書座標(SX0,SY0)は表示倍率が変更された時、以下のようになる。
文書X座標(SX1)=SX0*(TL1/TL0)
文書Y座標(SY1)=SY0*(TL1/TL0)
次に、図14を参照して、スクロール情報について説明する。
ここで、アプリケーションプログラム毎にスクロール実行時の移動量、スクロールバー情報の意味する内容に差異があり、スクロールボックス位置を先頭(左端)へ移動、ライン単位にスクロール、このときの移動量(ライン長)を検出することによりスクロール情報を取得する。
図14のAに、ライン番号とスクロールボックス位置が整合する場合を示す。
スクロールタイプ:ライン位置
図14のBに、複数ライン毎にスクロールボックス位置が増加する場合を示す。
スクロールタイプ:ブロック位置
図14のCに、スクロールボックス位置がライン長増加する場合を示す。
スクロールタイプ:ピクセル位置
図14のDに、ライン長が不定の場合を示す。
スクロールタイプ:不特定位置
図14のEに示すように、文書を表示するアプリケーションプログラムのプログラム名、バージョン情報をOSが提供するAPIにより取得される。
ここで、スクロール情報は、スクロール情報ファイルへ保存、位置検知実行時、対象となるアプリケーションプログラムのプログラム名、バージョン情報を取得、スクロール情報ファイルに保存されている場合、保存情報を入力、スクロール情報の検出を省略する。
次に、図15を参照して、スクロールライン長検出(描画方式)について説明する。
ここでは、1回のスクロール操作による文書の移動量(ライン長)を検出している。そして、スクロール時、一般的にスクロールにより残る領域の再描画は行なわれず画像移動が行なわれ、新たに現れる部分のみ描画が行なわれる。また、透明ウィンドウ上の文書領域上画像もスクロール時、同時に移動する。
図15のAに示すように、全画面サイズの透明ウィンドウ(背景が透過され表示される)を表示する。
図15のBに示すように、文書領域の左上端座標(WX,WY)、幅(WW)、高さ(WH)をOSが提供するAPIにより取得、水平線(線長:L)描画位置(X,Y0)を算出する。
X=WX+WW/2−L/2
Y0=WY+WH−32
図15のCに示すように、通常文書、画像に現れない色(R:254、G:1、B:2等)にて開始座標(X,Y0)から長さ(L)、太さ(1)の水平線を描画する。
図15のDに示すように、OSが提供するAPIにより垂直スクロールボックス位置を1ライン下方(LINEDOWN)へ移動する。
この時、文書画像と透明ウィンドウ上へ描画した水平線がスクロール量だけ上方へ移動する。
図15のEに示すように、開始座標を順次(X,Y0)、(X,Y0−1)・・・(X,YL)とする幅(L)、高さ(1)の表示画像を取得、取得データ全てが描画色である場合、スクロールによる移動位置と判定、垂直ライン長(VLL)を算出する。
VLL(垂直ライン長)=Y0−YL
図15のFに示すように、開始座標(X0,Y)、長さ(L)、太さ(1)、色(R:254、G:1、B:2)の垂直線を描画、垂直スクロールライン長検出と同様に、開始座標を順次(X0,Y)、(X0−1,Y)・・・(XL,Y)とする幅(1)、高さ(L)の表示画像を取得することにより水平ライン長(HLL)を検出する。
X0=WX+WW−32
Y=WY+WH/2−L/2
VLL(水平ライン長)=X0−XL
次に、図16を参照して、画像抽出方式によるスクロールライン長検出方式(画像抽出方式)を説明する。
一般的にはスクロールにより残る領域の再描画は行なわれないがアプリケーションプログラムの中には全て再描画するものがある。この時、透明ウィンドウ上の文書領域内の描画は再描画により消失する。このためスクロールライン長検出用の線を検出できずスクロールライン長の検出ができなくなる。
図16のAに示すように、文書領域の左上端座標(WX,WY)、幅(WW)、高さ(WH)をOSが提供するAPIにより取得、開始座標(X,Ys)、幅(WW)、高さ(1)領域の基準画像を取得する。(※最大垂直ライン長は実際に検出した値の最大値とする)
X=WX
Ys=WY+WH−MVL(最大垂直ライン長)
開始座標を順次(X,Ys+1)、(X,Ys+2)、(X,Ys+3)、・・・(X,Ys+MVL−1)とする幅(WW)、高さ(1)の表示画像を取得、基準画像と一致する画像があるか検索する。
図16のBに示すように、一致する画像が存在する場合、開始座標を順次(X,Ys−1)、(X,Ys−1)、(X,Ys−1)、・・・(X,Y0)とする幅(WW)、高さ(1)領域の基準画像を取得、同様に表示画像を取得、一致する画像存在するか検索する。
図16のCに示すように、開始座標(X,Y0)のとき一致する画像が存在しない場合、基準画像とする。
これにより、スクロール移動領域内に基準画像と同一の画像が存在しないことを示す。
図16のDに示すように、OSが提供するAPIにより垂直スクロールボックス位置を1ライン下方(LINEDOWN)へ移動する。
開始座標を順次((X,Y0−1)、(X,Y0−2)、(X,Y0−3)、・・・(X,YL)とする幅(WW)、高さ(1)の表示画像を取得、基準画像と一致する画像があるか検索(開始座標(X,YL)で一致)、垂直ライン長を算出する。
VLL(垂直ライン長)=Y0−YL
図16のEに示すように、開始座標(Xs,Y)、幅(1)、高さ(WH)領域の基準画像を取得する(※最大水平ライン長は実際に検出した値の最大値とする)。
Xs=WX+WW−HML(最大水平ライン長)
Y=WY
図16のFに示すように、開始座標を順次(Xs+1,Y)、(Xs+2,Y)、(Xs+3,Y)、・・・(Xs+MHL−1,Y)とする幅(1)、高さ(WH)の表示画像を取得、基準画像と一致する画像があるか検索する。
図16のGに示すように、一致する画像が存在する場合、開始座標を順次(Xs−1,Y)、(Xs−2,Y)、(Xs−3,Y)、・・・(X0,Y)とする幅(1)、高さ(WH)領域の基準画像を取得、Fと同様に表示画像を取得、一致する画像存在するか検索、存在しない場合、基準表示画像とする。
OSが提供するAPIにより水平スクロールボックス位置を1ライン右方(LINERIGHT)へ移動する。
開始座標を順次((X0−1,Y)、(X0−2,Y)、(X0−3,Y)、・・・(XL,Y)とする幅(1)、高さ(WH)の表示画像を取得、基準画像と一致する画像があるか検索(開始座標(XL,Y)で一致)、水平ライン長を算出する。
HLL(水平ライン長)=X0−XL
次に、図17を参照して、スクロール実行時のスクロール画面固定表示方法を説明する。
図17のAに示すように、文書領域左上端座標(WX,WY)、幅(WW)、高さ(WH)を取得する。
図17のBに示すように、文書領域の画像をOSが提供するAPIにより取得する。
図17のCに示すように、全画面サイズの透明ウィンドウを文書上表示する。
図17のDに示すように、文書領域の取得画像を文書領域と同一位置へ表示する。
これにより、垂直スクロールボックス位置、水平スクロールボックス位置移動によるスクロール制御時、画面はスクロール表示せず固定表示となる。
次に、図18を参照して、現在のライン番号(カレントライン番号)の検出方法を説明する。
図18のAに示すように、スクロールタイプが「ブロック位置」を示す場合、ライン位置がL、L+1、L+2、L+3、L+4の何処にあってもスクロールバー情報から得られるスクロールボックス位置は同一値となる。また、ブロック内のライン位置を取得するAPIは提供されていない。垂直スクロールボックス位置は表示部分上端、水平スクロールボックス位置は表示部分左端を示すがライン位置が「L」の時と「L+4」のときでは表示内容が異なる。
図18のBに示すように、OSが提供するAPIによりLINEUP(LINELEFT)を実行、スクロールボックス位置(N)が減少するまでのライン数(N)を検出する。
図18のCに示すように、スクロールボックス位置を先頭へ移動、スクロールボックス位置が「N」となるまでLINEDOWN(LINERIGHT)を繰り返し、ライン数(S)を検出する。
図18のDに示すように、カレントライン番号=S+(N−1)となる。
図18のEに示すように、スクロールボックス位置が「0」の場合、LINEDOWN(LINERIGHT)によりライン数(N)を検出、スクロールボックス位置「1」までのライン数(S)を検出、カレントライン番号を算出する。
カレントライン番号=S−N
次に、図19を参照して、ライン座標検出方法について説明する。
図19のAに示すように、(1)垂直スクロールタイプが「不特定位置」である場合、垂直スクロールボックス位置を先頭へ移動、LINEDOWN、垂直スクロールライン長検出、加算を繰り返すことにより垂直ライン座標を検出する。
図19のBに示すように、水平スクロールタイプが「不特定位置」である場合、水平スクロールボックス位置を左端へ移動、LINERIGHT、水平スクロールライン長検出、加算を繰り返すことにより水平ライン座標を検出する。
次に、図20を参照して、位置検知ファイル登録について説明する。
図20のAに示すように、位置検知ファイル登録時、「位置検知ファイル」ダイアログを表示する。
「登録」ボタンにより、「登録」ダイアログを表示、位置検知ファイルを入力する。
「開く」ボタンにより、一覧表示から選択されたファイルを表示、位置検知登録ファイルに保存されている情報により位置検知制御を実行する。
「削除」ボタンにより、一覧表示から選択された登録ファイル情報を削除する。
図20のBに示すように、「登録」ダイアログにより入力されたファイルを表示する。図20のCに示すように、ファイルを表示するアプリケーションプログラムのプログラム名、バージョン情報をOSが提供するAPIにより取得する。
図20のDに示すように、表示中のウィンドウ情報(左上端座標(WX,WY)、幅(WW)、高さ(WH)、ウィンドウクラス、ウィンドウタイトル)をOSが提供するAPIにより検索、面積(WW*WH)が最大のウィンドウを文書領域ウィンドウとしてウィンドウ情報(ウィンドウクラス、ウィンドウタイトル)を取得する。
図20のEに示すように、表示中のウィンドウ情報を検索、文書領域に近接する水平スクロールバーのウィンドウ情報(ウィンドウクラス、ウィンドウタイトル)を取得する。
図20のFに示すように、表示中のウィンドウ情報を検索、文書領域に近接する垂直スクロールバーのウィンドウ情報(ウィンドウクラス、ウィンドウタイトル)を取得する。
図20のGに示すように、位置検知制御に必要なスクロール情報を検出保存する。
位置検知制御実行時、位置検知ファイルに登録されている場合、登録情報を用い、スクロール情報の検出を省略する。
次に、図21を参照して、これまで説明した位置検知技術の応用例について説明する。
ここでは、位置検知制御の応用例として、プレゼンテーション等において、また遠隔空間の間で複数の端末装置を使って実施される電子会議等において、表示文書上へ手書きにより文字(図形)を描画することにより説明箇所の明示、補足説明することにより効率化を図る場合を示す。但し、ここでは所定位置・所定サイズ(全画面でも可)に表示設定されている作業ウィンドウとこの作業ウィンドウでの所定文書の表示を前提として、当該文書のスクロール操作の検知に限定して詳述する。
会議等で一般には必要となる、それ以外の表示変更操作における位置検知制御も行われているが、こうしたその他の位置検知制御制御についてはここでは触れず、後で、改めて別な電子会議システムを例として説明する。また、位置検知結果を、接続された他の装置に通知し(WAN等を介して送信も含む)当該他の装置の表示部にて表示内容を一致させて表示する(表示同期)技術についても電子会議システム例で後で説明することとし、ここでは省略している。
図21のAに示すように、「応用部」は目的に応じたツールバーを表示する。
図21のBに示すように、「位置検知制御」は応用部からの要求により位置検知制御機能を実行する。
図21のCに示すように、位置検知開始時、表示中のウィンドウ情報からプログラム名、バージョン情報、文書ファイル名を取得する。
図21のDに示すように、表示プログラムのスクロール情報が「スクロール情報ファイル」に登録されていない場合、スクロール情報を検出、スクロール情報ファイルへ保存する。
登録されている場合、登録情報を入力、スクロール情報の検出を省略する。
図21のEに示すように、「位置検知登録ファイル」に登録されている文書ファイルか検索する。
登録されている場合、登録情報を入力、スクロール情報、スクロールライン数、ライン座標の検出を省略する。
図21のFに示すように、文書上への手書き文字(図形)は、描画操作時のマウス座標間を直線結合することにより描画する。
この時のマウス座標を文書座標へ変換、保存する。
図21のGに示すように、「上」ボタンにより上方へ、「下」ボタンにより下方へ、「右」ボタンにより右方へ、「左」ボタンにより左方へスクロールボックスを移動することによりスクロール表示させる。
図21のHに示すように、表示文書の左上端文書座標(DX,DY)、文書領域幅(DW)、文書領域高さ(DH)を算出、同領域内の文書座標データが存在する場合、文書座標を画面座標変換、座標間を直線結合することにより再描画する。
次に、図22を参照して、文書位置情報検出制御の機能構成を説明する。図22は、図6に示したPC5における文書位置情報検出制御についての説明図であり、(a)は、PC5における文書位置情報検出制御の機能構成ブロック図である。なお、以下の文書位置情報検出制御は、具体的には、PC5におけるROMに記憶されているプログラムに基づいてCPUが実行するものである。
図22(a)において、この文書位置情報検出制御の機能構成は、位置検知制御部が提供する機能を介して、文書へのマウス操作による画面座標を文書座標へ変換保存することにより提供する機能を実現する応用部51と、位置検知開始時に位置検知に必要な情報をスクロール情報ファイルあるいは位置検知登録ファイルより入力あるいは検出する位置検知開始制御部53と、位置検知ファイルのスクロールライン数、ライン座標を検出保存すると共に、既に登録されている位置検知ファイルの削除、表示、登録されている情報により表示文書の位置検知制御を入力して位置検知制御を開始する位置検知ファイル制御部55と、マウス操作による画面座標を文書座標へ変換する文書座標算出制御部57と、文書座標を画面座標へ変換する画面座標算出制御部59と、画面表示文書領域の左上端文書座標、文書幅、文書高さを検出する表示文書領域算出制御部61と、文書を下方、上方、右方、左方へスクロール表示するスクロール制御部63と、文書座標を含む領域の文書を表示する文書座標表示制御部65と、位置検知制御の終了処理をする位置検知終了制御部67と、各制御部から参照可能な領域に設定され、位置検知制御に必要な情報を保持する位置検知制御テーブル69と、各制御部から参照可能な領域に設定され、スクロール情報を保持するスクロール情報テーブル71と、各制御部から参照可能な領域に設定され、垂直ライン番号に対する文書Y座標を保持する垂直ライン座標テーブル73と、各制御部から参照可能な領域に設定され、水平ライン番号に対する文書X座標を保持する水平ライン座標テーブル75とを有している。
なお、図22(b)、(c)、(d)、(e)は、それぞれ位置検知制御テーブル69、スクロール情報テーブル71、水平ライン座標テーブル75、垂直ライン座標テーブル73の内容を示す説明図である。
以降は、位置検知制御部のみについてフローチャートを参照して説明する。
次に、図23を参照して、位置検知開始制御の処理動作を説明する。
ここでは、位置検知開始時、対象となる文書領域の画面座標(X,Y)を入力値として実行される。
図23のステップS101において、画面座標(X,Y)のウィンドウ情報(左上端座標、幅、高さ、ウィンドウハンドル)をOSが提供するAPIにより取得、ウィンドウハンドルを位置検知制御テーブル「文書領域識別」へ設定する。
ステップS103において、表示中のウィンドウ情報を検索、文書領域に近接する垂直スクロールバーのウィンドウ情報(ウィンドウハンドル)を取得、ウィンドウハンドルを位置検知制御テーブル「垂直スクロールバー識別」へ設定する。
ステップS105において、表示中のウィンドウ情報を検索、文書領域に近接する垂直スクロールバーのウィンドウ情報(ウィンドウハンドル)を取得、ウィンドウハンドルを位置検知制御テーブル「垂直スクロールバー識別」へ設定する。
ステップS107において、「カレント垂直ライン番号検出」処理を実行、表示文書のカレント垂直ライン番号を取得、位置検知制御テーブルへ設定する。
ステップS109において、「カレント水平ライン番号検出」処理を実行、表示文書のカレント水平ライン番号を取得、位置検知制御テーブルへ設定する。
ステップS111において、文書を表示するプログラムのプログラム名、バージョン情報をOSが提供するAPIにより取得、位置検知制御テーブルへ設定する。
ステップS113において、表示文書のファイル名、ファイルパスをOSが提供するAPIにより取得する。
ステップS115において、「位置検知登録ファイル」に表示文書の位置検知情報が登録されているか検索する。
ステップS117、119において、スクロール情報を入力、スクロール情報テーブルに設定する。
ステップS121において、垂直スクロールタイプ「不特定位置」である場合、垂直ライン座標テーブルを入力、垂直ライン座標テーブルに設定する。
ステップS123において、水平スクロールタイプ「不特定位置」である場合、水平ライン座標テーブルを入力、水平ライン座標テーブルに設定する。
ステップS125、127、131において、「スクロール情報ファイル」から表示プログラムのスクロール情報が登録されているか検索、登録されている場合、スクロール情報テーブルへ設定する。
ステップS133、135において、垂直スクロールタイプ「不特定位置」の場合、「垂直ライン座標検出」処理を実行、垂直ライン座標テーブルを設定する。
ステップS137において、垂直スクロールタイプ「不特定位置」でない場合、「垂直スクロールライン数検出」処理を実行、垂直スクロールライン数を取得、位置検知制御テーブルへ設定する。
ステップS139、141において、水平スクロールタイプ「不特定位置」の場合、「水平ライン座標検出」処理を実行、水平ライン座標テーブルを設定する。
ステップS143において、水平スクロールタイプ「不特定位置」でない場合、「水平スクロールライン数検出」処理を実行、水平スクロールライン数を取得、位置検知制御テーブルへ設定する。
ステップS145において、スクロール情報が登録されていない場合、「垂直位置検知情報検出」処理を実行、垂直スクロール情報、垂直ライン座標情報を取得、テーブルへ設定する。
ステップS147において、スクロール情報が登録されていない場合、「水平位置検知情報検出」処理を実行、水平スクロール情報、水平ライン座標情報を取得、テーブルへ設定する。
ステップS149において、検出したスクロール情報を「スクロール情報ファイル」へ保存する。
ステップS151において、「垂直ライン表示」処理を実行、カレント垂直ライン番号位置を表示する。
ステップS153において、「水平ライン表示」処理を実行、カレント水平ライン番号位置を表示する。
ステップS155において、全画面サイズの透明ウィンドウ表示、位置検知制御を開始する。
なお、図24(a)、(b)、(c)、(d)、(e)は、位置検知開始制御動作のフローチャートにおける入力値と各テーブルの状態を示す説明図である。
次に、図25を参照して、位置検知ファイル制御動作を説明する。
図25のステップS201において、「位置検知ファイル」ダイアログを表示、処理を開始する。
ステップS203、205、207、209において、「登録」ボタン押下により、「登録ダイアログ」を表示、登録ファイル名を入力する。
ステップS211、213において、入力されたファイルを表示する。
ステップS215において、ファイルを表示するプログラムのプログラム名、バージョン情報を取得する。
ステップS217において、表示中のウィンドウ情報(左上端座標(WX,WY)、幅(WW)、高さ(WH)、ウィンドウクラス、ウィンドウタイトル)をOSが提供するAPIにより検索、面積(WW*WH)が最大のウィンドウを文書領域ウィンドウとしてウィンドウ情報(ウィンドウクラス、ウィンドウタイトル)を取得する。
ステップS219において、表示中のウィンドウ情報を検索、文書領域に近接する水平スクロールバーのウィンドウ情報(ウィンドウクラス、ウィンドウタイトル)を取得する。
ステップS221において、表示中のウィンドウ情報を検索、文書領域に近接する垂直スクロールバーのウィンドウ情報(ウィンドウクラス、ウィンドウタイトル)を取得する。
ステップS223において、「垂直位置検知情報検出」処理を実行、垂直スクロール情報、垂直ライン座標情報を取得する。
ステップS225において、「水平位置検知情報検出」処理を実行、水平スクロール情報、水平ライン座標情報を取得する。
ステップS227において、取得情報を位置検知登録ファイルへ保存する。
ステップS229において、表示ファイルを閉じる。
ステップS231、233において、「削除」ボタン押下により、選択されたファイルを位置検知登録ファイルから削除する。
ステップS235、237、239、241において、「開く」ボタン押下により、「登録ファイル開始」処理を実行、ファイルを表示、位置検知制御を開始する。なお、図26は、位置検知ファイル制御動作のフローチャートにおける位置検知登録ファイルの状態を示す説明図である。
次に、図27を参照して、文書座標算出制御動作を説明する。
ここでは、画面座標を入力値として実行される。
図27のステップS301において、「表示文書領域算出制御」処理を実行、表示文書座標を取得する。
ステップS303において、文書領域識別によりOSが提供するAPIにより文書領域の左上端画面座標(X,Y)を検出する。
ステップS305において、文書X座標=画面X座標−X(左上端画面X座標)+DX(左上端文書X座標)とする。
ステップS307において、文書Y座標=画面Y座標−Y(左上端画面Y座標)+DY(左上端文書Y座標)とする。
ステップS309において、文書座標を要求元へ渡す。
なお、図28(a)、(b)、(c)は、それぞれ文書座標算出制御動作のフローチャートにおける入力値と表示文書座標と文書座標の状態を示す説明図である。
次に、図29を参照して、画面座標算出制御動作を説明する。
ここでは、文書座標を入力値として実行される。
図29のステップS401において、「表示文書領域算出制御」処理を実行、表示文書座標を取得する。
ステップS403において、文書領域識別によりOSが提供するAPIにより文書領域の左上端画面座標(X,Y)を検出する。
ステップS405、407において、文書X座標が表示領域内にある場合、画面X座標に変換する。
画面X座標=文書X座標−DX(左上端文書X座標)+X(左上端画面X座標)
ステップS409において、文書領域外の座標は無効(−1)に設定する。
ステップS411、413において、文書Y座標が表示領域内にある場合、画面Y座標に変換する。
画面Y座標=文書Y座標−DY(左上端文書Y座標)+Y(左上端画面Y座標)
ステップS415において、文書領域外の座標は無効(−1)に設定し、画面座標を要求元へ渡す。
なお、図30(a)、(b)、(c)は、それぞれ画面座標算出制御動作のフローチャートにおける入力値と表示文書座標と文書座標の状態を示す説明図である。
次に、図31を参照して、表示文書領域算出制御動作を説明する。
図31のステップS501において、文書領域識別によりOSが提供するAPIにより文書領域幅(WW)、高さ(WH)取得する。
ステップS503、505、507において、水平スクロールタイプ「ピクセル位置」の場合、水平スクロールボックス位置を取得、左上端文書X座標とする。
ステップS509、511において、水平スクロールタイプ「不特定位置」の場合、水平ライン座標テーブルからカレント水平ライン番号の水平ライン座標を左上端文書X座標とする。
ステップS513において、水平スクロールタイプ「ライン位置、またはブロック位置」の場合、「カレント水平ライン番号*水平ライン長」を左上端文書X座標とする。
ステップS515、517、519において、垂直スクロールタイプ「ピクセル位置」の場合、垂直スクロールボックス位置を左上端文書Y座標とする。
ステップS521、523において、垂直スクロールタイプ「不特定位置」の場合、垂直ライン座標テーブルからカレント垂直ライン番号の垂直ライン座標を左上端文書Y座標とする。
ステップS525において、垂直スクロールタイプ「ライン位置、またはブロック位置」の場合、「カレント垂直ライン番号*垂直ライン長」を左上端文書Y座標とする。
ステップS527、529、531において、文書領域幅(WW)を文書幅とする。
ステップS533において、文書領域高さ(WH)を文書高さとする。
ステップS535において、表示文書座標を要求元へ渡す。
なお、図32(a)、(b)、(c)、(d)、(e)は、それぞれ表示文書領域算出制御動作のフローチャートにおける各テーブルと表示文書座標の状態を示す説明図である。
次に、図33を参照して、スクロール制御動作を説明する。
ここでは、スクロール方向を入力値としてスクロール表示する。
図33のステップS601、603、605、607において、カレント垂直ライン番号が垂直スクロールライン数より小さい場合、OSが提供するAPIを介して垂直スクロールボックス位置を下方移動(LINEDOWN)することによりスクロール表示する。ステップS609、611、613、615において、カレント垂直ライン番号が0(先頭)でない場合、垂直スクロールボックス位置を上方移動(LINEUP)することによりスクロール表示する。
ステップS617、619、621、623において、カレント水平ライン番号が水平スクロールライン数より小さい場合、OSが提供するAPIを介して水平スクロールボックス位置を右方移動(LINERIGHT)することによりスクロール表示する。
ステップS625、627、629、631において、カレント水平ライン番号が0(先頭)でない場合、水平スクロールボックス位置を左方移動(LINELEFT)することによりスクロール表示する。
なお、図34(a)、(b)、(c)は、それぞれスクロール制御動作のフローチャートにおける入力値と各テーブルの状態を示す説明図である。
次に、図35を参照して、文書座標表示制御動作を説明する。
ここでは、文書座標を入力値として文書座標が文書領域左上端近辺となる文書を表示する。
図35のステップS701、703において、水平スクロールタイプ「不特定位置」でない場合、文書X座標に相当する水平ライン番号(H)を算出する。
H=文書X座標/水平ライン長
ステップS705において、垂直スクロールタイプ「不特定位置」でない場合、文書Y座標に相当する垂直ライン番号(V)を算出する。
V=文書Y座標/垂直ライン長
ステップS707、709、711において、水平スクロールタイプ「不特定位置」の場合、水平ライン座標テーブルから最初に「文書X座標≧水平ライン座標」となる水平ライン番号を検索する。
ステップS713、715、717、719、721において、垂直スクロールタイプ「不特定位置」の場合、垂直ライン座標テーブルから最初に「文書Y座標≧垂直ライン座標」となる垂直ライン番号を検索する。
ステップS723、725、727、729、730、731において、文書X座標に相当する水平ライン番号(H)となるまで水平スクロールボックスを右方へ移動する。
ステップS733、735において、文書X座標に相当する水平ライン番号(H)となるまで水平スクロールボックスを左方へ移動する。
ステップS737、739、741、743、745において、文書Y座標に相当する垂直ライン番号(V)となるまで垂直スクロールボックスを下方へ移動する。
ステップS747、749、751において、文書Y座標に相当する水平ライン番号(V)となるまで垂直スクロールボックスを上方へ移動する。
なお、図36(a)、(b)、(c)、(d)、(e)は、それぞれ文書座標表示制御動作のフローチャートにおける入力値と各テーブルの状態を示す説明図である。
次に、図37を参照して、位置検知終了制御動作を説明する。
図37のステップS801において、位置検知終了制御として、画面サイズの透明ウィンドウを消去し、位置検知制御を終了して、アプリケーションプログラムの操作を可能にする。
次に、図38を参照して、登録ファイル開始動作を説明する。
ここでは、位置検知登録ファイルに登録されているファイル名を入力値としてファイルを表示、位置検知制御を開始する。
図38のステップS901において、ファイル名、ファイルパスによりファイルを表示するプログラムを起動し、ファイルを表示する。
ステップS903において、「カレント垂直ライン番号検出」処理を実行、表示文書のカレント垂直ライン番号を取得、位置検知制御テーブルへ設定する。
ステップS905において、「カレント水平ライン番号検出」処理を実行、表示文書のカレント水平ライン番号を取得、位置検知制御テーブルへ設定する。
ステップS907において、文書領域ウィンドウ情報(ウィンドウクラス、ウィンドウタイトル)から文書領域識別(ウィンドウハンドル)を取得、位置検知制御テーブルへ設定する。
ステップS909において、垂直スクロールバー情報(ウィンドウクラス、ウィンドウタイトル)から垂直スクロールバー識別(ウィンドウハンドル)を取得、位置検知制御テーブルへ設定する。
ステップS911において、水平スクロールバー情報(ウィンドウクラス、ウィンドウタイトル)から水平スクロールバー識別(ウィンドウハンドル)を取得、位置検知制御テーブルへ設定する。
ステップS913において、スクロール情報を入力、スクロール情報テーブルへ設定する。
ステップS915において、垂直スクロールタイプ「不特定位置」である場合、垂直ライン座標テーブルを入力、垂直ライン座標テーブルへ設定する。
ステップS917において、水平スクロールタイプ「不特定位置」である場合、水平ライン座標テーブルを入力、水平ライン座標テーブルへ設定する。
ステップS919において、「垂直ライン表示」処理を実行、カレント垂直ライン番号位置を表示する。
ステップS921において、「水平ライン表示」処理を実行、カレント水平ライン番号位置を表示する。
ステップS923において、全画面サイズの透明ウィンドウ表示、位置検知制御を開始する。
なお、図39(a)、(b)、(c)は、それぞれ登録ファイル開始動作のフローチャートにおける入力値と位置検知登録ファイルと位置検知制御テーブルの状態を示す説明図である。
次に、図40を参照して、カレント垂直ライン番号検出動作を説明する。
図40のステップS1001において、「文書表示固定」処理を実行、スクロールボックス位置移動により画面がスクロール表示しないようにする。
ステップS1003において、垂直スクロールボックスの現在位置(B)を取得する。
ステップS1005、1007、1009において、現在位置が「0」の場合、垂直スクロールボックス位置を下方へ移動する。
ステップS1011において、現在位置が「0」でない場合、垂直スクロールボックス位置を上方へ移動する。
ステップS1013、1015、1017において、垂直スクロールボックス位置が現在位置(B)と異なる値となるまで移動を繰り返し、ライン数を取得する。
ステップS1019において、垂直スクロールボックス位置を先頭へ移動する。
ステップS1021、1023、1025、1027、1029、1031において、垂直スクロールボックス位置が「1」となるまでの総ライン数を取得する。
ステップS1033において、カレント垂直ライン番号=総ライン数−ライン数、ステップS1035において、垂直スクロールボックス位置が現在位置(B)となるまでの総ライン数を取得する。
ステップS1037において、カレント垂直ライン番号=総ライン数+(ライン数−1)、ステップS1039において、「文書表示固定解除」処理を実行し、スクロール表示するようにする。
ステップS1041において、カレント垂直ライン番号を要求元へ渡す。
次に、図41を参照して、カレント水平ライン番号検出動作を説明する。
図41のステップS1101において、「文書表示固定」処理を実行、スクロールボックス位置移動により画面がスクロール表示しないようにする。
ステップS1103において、水平スクロールボックスの現在位置(B)を取得する。
ステップS1105、1107、1109において、現在位置が「0」の場合、水平スクロールボックス位置を右方へ移動する。
ステップS1111において、現在位置が「0」でない場合、水平スクロールボックス位置を左方へ移動する。
ステップS1113、1115、1117において、水平スクロールボックス位置が現在位置(B)と異なる値となるまで移動を繰り返し、ライン数を取得する。
ステップS1119において、水平スクロールボックス位置を左端へ移動する。ステップS1121、1123、1125、1127、1129、1131において、水平スクロールボックス位置が「1」となるまでの総ライン数を取得する。
ステップS1133において、カレント水平ライン番号=総ライン数−ライン数、ステップS1135において、水平スクロールボックス位置が現在位置(B)となるまでの総ライン数を取得する。
ステップS1137において、カレント水平ライン番号=総ライン数+ライン数−1、ステップS1139において、「文書表示固定解除」処理を実行、スクロール表示するようにする。
ステップS1141において、カレント水平ライン番号を要求元へ渡す。
次に、図42を参照して、垂直ライン位置表示動作を説明する。
ここでは、垂直ライン番号を入力値として同位置へ移動する。
図42のステップS1201において、「文書表示固定」処理を実行、スクロールボックス位置移動により画面がスクロール表示しないようにする。
ステップS1203において、垂直スクロールボックス位置を先頭へ移動する。
ステップS1205、1207、1209、1211において、垂直スクロールボックス位置が垂直ライン番号と同一になるまで下方移動を繰り返す。
ステップS1213において、「文書表示固定解除」処理を実行、スクロール表示するようにする。
なお、図43は、垂直ライン位置表示動作のフローチャートにおける入力値の状態を示す説明図である。
次に、図44を参照して、水平ライン位置表示動作を説明する。
ここでは、水平ライン番号を入力値として同位置へ移動する。
図44のステップS1301において、「文書表示固定」処理を実行、スクロールボックス位置移動により画面がスクロール表示しないようにする。
ステップS1303において、水平スクロールボックス位置を左端へ移動する。
ステップS1305、1307、1309、1311において、水平スクロールボックス位置が水平ライン番号と同一になるまで右方移動を繰り返す。
ステップS1313において、「文書表示固定解除」処理を実行、スクロール表示するようにする。
なお、図45は、水平ライン位置表示動作のフローチャートにおける入力値の状態を示す説明図である。
次に、図46を参照して、垂直位置検知情報検出動作を説明する。
図46のステップS1401において、「垂直ライン長描画方式検出」処理を実行、垂直ライン長を取得する。
ステップS1403、1405において、検出成功した場合、垂直ライン長検出方式を描画方式に設定する。
ステップS1407において、成功しない場合、垂直ライン長検出方式を画像抽出方式に設定する。
ステップS1409において、「垂直ライン座標検出」処理を実行、ラインごとの文書Y座標を検出する。
ステップS1411において、垂直スクロールライン数をスクロール情報テーブルへ設定する。
ステップS1413において、垂直ライン長(ライン1文書Y座標−ライン0文書Y座標)を全ラインについて算出する。
ステップS1415、1417において、垂直ライン長が同一でない場合、垂直スクロールタイプを「不特定位置」にする。
ステップS1419において、同一の場合、垂直ライン長をスクロール情報テーブルへ設定する。
ステップS1421、1423、1425において、移動前の垂直スクロールボックス位置(P0)と移動後の垂直スクロールボックス位置(P1)を取得する。
ステップS1427、1429において、垂直ライン長と垂直スクロールボックス位置差(P1−P0)が同一である場合、垂直スクロールタイプを「ピクセル位置」に設定する。
ステップS1431において、垂直スクロールバー情報から垂直スクロールボックス位置の最大値を取得する。
ステップS1433、1435において、垂直スクロールライン数と最大値が同一である場合、垂直スクロールタイプを「ライン位置」に設定する。
ステップS1437において、垂直スクロールライン数が最大値より大きい場合、垂直スクロールタイプを「ブロック位置」に設定する。
なお、図47(a)、(b)は、それぞれ垂直位置検知情報検出動作のフローチャートにおける各テーブルの状態を示す説明図である。
次に、図48を参照して、水平位置検知情報検出動作を説明する。
図48のステップS1501において、「水平ライン長描画方式検出」処理を実行、水平ライン長を取得する。
ステップS1503、1505において、検出成功した場合、水平ライン長検出方式を描画方式に設定する。
ステップS1507において、成功しない場合、水平ライン長検出方式を画像抽出方式に設定する。
ステップS1509において、「水平ライン座標検出」処理を実行、ラインごとの文書X座標を検出する。
ステップS1511において、水平スクロールライン数をスクロール情報テーブルへ設定する。
ステップS1513において、水平ライン長(ライン1文書X座標−ライン0文書X座標)を全ラインについて算出する。
ステップS1515、1517において、水平ライン長が同一でない場合、水平スクロールタイプを「不特定位置」にする。
ステップS1519において、同一の場合、水平ライン長を水平ライン長に設定する。 ステップS1521、1523、1525において、移動前の水平スクロールボックス位置(P0)と移動後の水平スクロールボックス位置(P1)を取得する。
ステップS1527、1529において、水平ライン長と水平スクロールボックス位置差(P1−P0)が同一である場合、水平スクロールタイプを「ピクセル位置」に設定する。
ステップS1531において、水平スクロールバー情報から水平スクロールボックス位置の最大値を取得する。
ステップS1533、1535において、水平スクロールライン数と最大値が同一である場合、水平スクロールタイプを「ライン位置」に設定する。
ステップS1537において、水平スクロールライン数が最大値より大きい場合、水平スクロールタイプを「ブロック位置」に設定する。
なお、図49(a)、(b)は、それぞれ水平位置検知情報検出動作のフローチャートにおける各テーブルの状態を示す説明図である。
次に、図50を参照して、垂直スクロールライン数検出動作を説明する。
図50のステップS1601において、「文書表示固定」処理を実行、スクロールボックス位置移動により画面がスクロール表示しないようにする。
ステップS1603において、垂直スクロールボックス位置を先頭へ移動する。
ステップS1605において、垂直スクロールバー情報から垂直スクロールボックス位置の最大値を取得する。
ステップS1607、1609、1611、1613、1615において、垂直スクロールボックス位置が最大値となるまで垂直スクロールボックス下方移動を繰り返し、垂直スクロールライン数を検出する。
ステップS1617において、「文書表示固定解除」処理を実行、スクロール表示するようにする。
ステップS1619において、要求元へ垂直スクロールライン数を渡す。
次に、図51を参照して、水平スクロールライン数検出動作を説明する。
図51のステップS1701において、「文書表示固定」処理を実行、スクロールボックス位置移動により画面がスクロール表示しないようにする。
ステップS1703において、水平スクロールボックスを左端へ移動する。
ステップS1705において、水平スクロールバー情報から水平スクロールボックス位置の最大値を取得する。
ステップS1707、1709、1711、1713、1715において、水平スクロールボックス位置が最大値となるまで水平スクロールボックス右方移動を繰り返し、水平スクロールライン数を検出する。
ステップS1717において、「文書表示固定解除」処理を実行、スクロール表示するようにする。
ステップS1719において、要求元へ水平スクロールライン数を渡す。
次に、図52を参照して、垂直ライン座標検出動作を説明する。
ここでは、垂直ライン長検出方式を入力値として垂直ライン座標を検出、垂直ライン座標テーブルへ設定する。
図52のステップS1801において、垂直スクロールボックス位置を先頭へ移動する。
ステップS1803において、垂直スクロールバー情報から垂直スクロールボックス位置の最大値を取得する。
ステップS1805、1807、1809において、ライン番号までの垂直ライン長の和を垂直ライン座標として、垂直ライン座標テーブルへ設定する。
ステップS1811、1813、1815、1817において、垂直ライン長検出方式が「描画方式」の場合、「垂直ライン長描画方式検出」処理を実行、垂直ライン長を検出する。
ステップS1819において、垂直ライン長検出方式が「画像抽出方式」の場合、「垂直ライン長画像抽出方式検出」処理を実行、垂直ライン長を検出する。
ステップS1821、1823、1825において、垂直スクロールライン数を垂直ライン座標テーブルへ設定する。
なお、図53(a)、(b)は、それぞれ垂直ライン座標検出動作のフローチャートにおける入力値と垂直ライン座標テーブルの状態を示す説明図である。
次に、図54を参照して、水平ライン座標検出動作を説明する。
ここでは、水平ライン長検出方式を入力値として水平ライン座標を検出、水平ライン座標テーブルへ設定する。
図54のステップS1901において、水平スクロールボックス位置を左端へ移動する。
ステップS1903において、水平スクロールバー情報から水平スクロールボックス位置の最大値を取得する。
ステップS1905、1907、1909において、ライン番号までの水平ライン長の和を水平ライン座標として、水平ライン座標テーブルへ設定する。
ステップS1917において、水平ライン長検出方式が「描画方式」の場合、「水平ライン長描画方式検出」処理を実行、水平ライン長を検出する。
ステップS1919において、水平ライン長検出方式が「画像抽出方式」の場合、「水平ライン長画像抽出方式検出」処理を実行、水平ライン長を検出する。
ステップS1921、1923、1925において、水平スクロールライン数を水平ライン座標テーブルへ設定する。
なお、図55(a)、(b)は、それぞれ水平ライン座標検出動作のフローチャートにおける入力値と水平ライン座標テーブルの状態を示す説明図である。
次に、図56を参照して、垂直ライン長描画方式検出動作を説明する。
図56のステップS2001において、文書領域識別(ウィンドウハンドル)により文書領域左上端座標(WX,WY)を取得する。
ステップS2003において、文書領域識別(ウィンドウハンドル)により文書領域幅(WW)、高さ(WH)を取得する。
ステップS2005において、水平線描画の始点座標(X0,Y0)を算出する。
X0=WX+WW/2−L(水平線長)/2
Y0=WY+WH−32
ステップS2007において、(4)始点座標(X0,Y0)、長さ(L)、太さ(1)、色(R:244、G:1、B:2)の水平線を描画する。
ステップS2009において、垂直スクロールボックスを下方へ移動する。
ステップS2011、2013、2015において、(X=X0)、(WY<Y≦Y0−1)の範囲内において、始点座標(X、Y)、幅(L)、高さ(1)の文書表示領域画像を取得、水平線色(R:244、G:1、B:2)と全て一致する画像を検索する。
ステップS2017、2019、2021において、検出できない場合、垂直ライン長を「0」に設定する。
ステップS2023において、水平線のY方向移動量(Y0−Y)を垂直ライン長とする。
ステップS2025において、要求元へ垂直ライン長を渡す。なお、図57は、垂直ライン長描画方式検出動作のフローチャートにおける位置検知制御テーブルの状態を示す説明図である。
次に、図58を参照して、水平ライン長描画方式検出動作を説明する。
図58のステップS2101において、文書領域識別(ウィンドウハンドル)により文書領域左上端座標(WX,WY)を取得する。
ステップS2103において、文書領域識別(ウィンドウハンドル)により文書領域幅(WW)、高さ(WH)を取得する。
ステップS2105において、垂直線描画の始点座標(X0,Y0)を算出する。
X0=WX+WW−32
Y0=WY+WH/2−L(垂直線長)/2
ステップS2107において、始点座標(X0,Y0)、長さ(L)、太さ(1)、色(R:244、G:1、B:2)の垂直線を描画する。
ステップS2109において、水平スクロールボックスを右方へ移動する。
ステップS2111、2113、2115において、(WX<X≦X0−1)の範囲内において、始点座標(X、Y)、幅(1)、高さ(L)の文書表示領域画像を取得、水平線色(R:244、G:1、B:2)と全て一致する画像を検索する。
ステップS2117、2119、2121において、検出できない場合、水平ライン長を0に設定する。
ステップS2123において、垂直線のX方向移動量(X0−X)を水平ライン長とする。
ステップS2125において、要求元へ水平ライン長を渡す。
なお、図59は、水平ライン長描画方式検出動作のフローチャートにおける位置検知制御テーブルの状態を示す説明図である。
次に、図60を参照して、垂直ライン長画像抽出方式動作を説明する。
図60のステップS2201において、文書領域識別(ウィンドウハンドル)により文書領域左上端座標(WX,WY)を取得する。
ステップS2203において、文書領域識別(ウィンドウハンドル)により文書領域幅(WW)、高さ(WH)を取得する。
ステップS2205、2207において、表示画像の始点座標(X0,Y0)を算出する。
X0=WX
Y0=WY+WH−最大垂直ライン長(MVL)
ステップS2209において、始点座標(X0,Y0)、幅(WH)、高さ(1)の文書表示領域画像を基準画像して取得する。
ステップS2211、2213において、(X=X0)、(Y0+1≦Y<Y0+MVL)の範囲内において、始点座標(X、Y)、幅(WH)、高さ(1)の文書表示領域画像を取得、基準画像と全て一致する画像を検索する。
ステップS2215、2217、2219、2221、2223において、基準画像と一致する表示画像が存在する場合、(Y0>WY)の範囲内において同様に基準画像と一致する表示画像が存在するか検索する。
ステップS2225において、基準画像に一致する表示画像が存在する場合、垂直ライン長を「0」に設定する。
ステップS2227において、垂直スクロールボックス位置を下方へ移動する。
ステップS2229、2231、2233、2235において、(X=X0)、(Y0−MVL<Y≦Y0−1)の範囲内において、始点座標(X、Y)、幅(WH)、高さ(1)の文書表示領域画像を取得、基準画像と全て一致する画像を検出する。
ステップS2237において、基準画像のY方向移動量(Y0−Y)を垂直ライン長とする。
ステップS2239において、要求元へ垂直ライン長を渡す。
なお、図61は、垂直ライン長画像抽出方式検出動作のフローチャートにおける位置検知制御テーブルの状態を示す説明図である。
次に、図62を参照して、水平ライン長画像抽出方式動作を説明する。
図62のステップS2301において、文書領域識別により文書領域左上端座標(WX,WY)を取得する。
ステップS2303において、文書領域識別により文書領域幅(WW)、高さ(WH)を取得する。
ステップS2305、2307において、表示画像の始点座標(X0,Y0)を算出する。
X0=WX+WW−最大水平ライン長(MHL)
Y0=WY
ステップS2309において、始点座標(X0,Y0)、幅(1)、高さ(WH)の文書表示領域画像を基準画像して取得する。
ステップS2313において、(X0+1≦X<X0+MHL)、(Y=Y0)の範囲内において、始点座標(X、Y)、幅(1)、高さ(WH)の文書表示領域画像を取得、基準画像と全て一致する画像を検索する。
ステップS2315、2317、2319、2321、2323において、基準画像と一致する表示画像が存在する場合、(X0>WX)の範囲内において同様に基準画像と一致する表示画像が存在すか検出する。
ステップS2325において、基準画像に一致する表示画像が存在する場合、水平ライン長を「0」に設定する。
ステップS2327において、水平スクロールボックス位置を右方へ移動する。
ステップS2329、2331、2333、2335において、(X0−MHL<X≦X0−1)、(Y=Y0)の範囲内において、始点座標(X,Y)、幅(1)、高さ(WH)の文書表示領域画像を取得、基準画像と全て一致する画像を検索する。
ステップS2337において、基準画像のX方向移動量(X0−X)を水平ライン長とする。
ステップS2339において、要求元へ水平ライン長を渡す。
なお、図63は、水平ライン長画像抽出方式検出動作のフローチャートにおける位置検知制御テーブルの状態を示す説明図である。
次に、図64を参照して、文書表示固定動作を説明する。
図64のステップS2401において、文書領域識別により文書領域左上端座標、幅、高さを取得する。
ステップS2403において、文書領域の画像を取得する。
ステップS2405において、全画面サイズの透明ウィンドウを文書上へ表示する。
ステップS2407において、透明ウィンドウ上の文書領域と重なる位置へ文書画像を表示する。
なお、図65は、文書表示固定動作のフローチャートにおける位置検知制御テーブルの状態を示す説明図である。
次に、図66を参照して、文書表示固定解除動作を説明する。
図66のステップS2501において、文書画像を消去する。
ステップS2503において、透明ウィンドウを消去する。
なお、図67は、文書表示固定解除動作のフローチャートにおける位置検知制御テーブルの状態を示す説明図である。
[第2実施形態]
以上、表示機能を含む特定の装置(上書情報処理装置)での文書の表示状態を把握し、他の表示装置へあるいは他の端末の表示装置に同一内容を文書表示させるための技術について説明した。
本発明の第2番目の態様は電子会議システムに関するものである。電子会議システムには、図68のシステム構成図で示すように、(a)多地点会議、(b)室会議、(c)机上会議等の色々な会議形態があるが、いずれの場合でもネットワーク接続された複数の端末装置が用いられ、これら各端末装置の表示を同期させねばならない。以下で説明する、会議システム用の表示同期が可能な端末装置としては、第1実施形態で説明した上書情報処理装置の構成を含み構成された装置を用いている。
引き続き、これまで説明を省略した一部機能も含めて表示変更操作における位置検知制御を利用した本発明にかかる電子会議(多地点会議)システムの実施形態(第2の実施形態)について説明する。
この第2の実施形態においては、特定の装置での文書に上書きがされた場合、また、上書き内容が変更(消去および/または追加上書き)された場合に、当該上書き内容を検出するための技術等、を含めて表示の位置検知制御と、この位置検知結果を、接続された他の装置に通知し(WAN等を介して送信も含む)当該他の装置の表示部に検出内容を反映させて同一内容を文書表示させる(表示同期)ための制御を行っている。
以下に添付図面を参照して、この発明にかかる実施形態の電子会議システムを詳細に説明する。
図69に本実施形態のPC会議システムの概略構成ブロック図を示す。この実施形態の電子会議システムは、先の図68に(a)多地点会議として示されているようにWANを介して会議参加個所(会議参加端末)が接続されている。但し、以下に説明する技術は、図68中の(b)室会議あるいは(c)机上会議においても、接続された複数の装置間で表示内容同期を採る場合にも応用できる技術である。
この第2の実施の形態は、会議情報である文書とこの文書への上書きの位置情報を取得する電子会議システムである。また、表示文書位置と上書き位置を関連付けて保存するために、文書と上書きを表示する画面画像を保存することが実行される。上書き、スクロール表示すると上書が邪魔となるため画面画像を保存、上書きを消去するようになっている。
本実施形態で使用する装置については、既に説明した各種端末と同等構成のものである。会議参加者が供視するための大画面装置あるいは離間して会議に望む各会議参加者が個々に使用するための、これまで説明した各種の端末を適宜組合わせて電子会議システムが構成されている。なお、図示されていないが、各端末装置として、LANあるいはインターネット網を介して接続されているものが混在していても良い。
特に、図68において、タブレットPC1はLAN(Local Area Network:企業情報通信網)、ルーター、WAN(Wide Area Network:広域網)を介して遠隔値、LAN内PC端末と接続される。大型の表示一体型座標入力装置(PDP、液晶リアプロジェクタ等)をディスプレイとするPC端末は会議室などに設置され複数の人に画面共有される。タブレットPC2は無線モデムにより構外から他PC端末と接続される。
タブレットPC3はプロジェクタへ画像を出力してスクリーン表示し、画面を共有する。一般的なPCはペン操作に比べ使い勝手が悪くなるがマウスで操作することになる。以上構成となる多地点におけるPC会議における画面統一方式を権利範囲とする。無線LAN接続によるタブレットPCを用いた室会議も有効である。
また、PC操作データはネットワークを介して、音声は電話器による机上でのPC会議も有効である。会議文書を作成する文書作成プログラムは表示文書の「ページ情報」(Microsoft Wordにおける「ページ番号」、Excelにおける「シート番号」、PowerPointにおける「スライド番号」等)、「表示倍率」(50%、100%等)、表示ファイル名の取得機能を提供するものとする。現在この機能はMicrosoft Word、Excel、PowerPointにより提供されている。また、文書作成プログラムは各PC端末に存在するものとする。なお、これらのプログラムは何れも米マイクロソフト社の登録商標であり、市販されているものである。
これら各端末装置については前実施形態で説明したので、重複する説明は以下では省略する。各端末装置は、第1実施形態で説明した文書位置検出装置同等の機能と、説明を保留した、会議文書に対する上書き機能および/または他機上で行われた上書き内容を自機の表示内容に反映させる機能を、それぞれの装置の役割に応じて備えているものとする。
上書きを含む画面がスクロール操作等された場合においては、上書き位置が残る程度スクロール表示、前の上書きも必要となる場合などには、再描画する必要がある。または、保存した画像を表示、スクロール部分を表示するため文書表示へ戻る等の処理がなされて会議参加の全端末で、常に同一文書(複数も可)の同一内容(上書き分も含めて文書の同一個所)が表示され、円滑な電子会議をサポートする。
[PC会議制御]
図69によりPC会議制御方法を説明する。
図示システムは、複数台のPC(会議参加端末)が、WANにより接続されている。図では、2台の一般的なPC(PC1、PC2)のみが図示されているが、更に他の会議参加端末が接続されていても良い。また、会議参加端末として、既に説明したプロジェクタ等の協視用の大画面表示装置が接続されていても構わない。200は、PC画面、201はPCが実装している、Windows(登録商標)の標準アプリケーション(APL)プログラムとして動作する文書作成プログラムを示している。以下の説明では、便宜的に図中一方のPC(図上部に示されているPC1)を操作権PC、他方のPCを非操作権PCとする。なお、操作権PCは、会議開催中に適宜の一台に割り当てられるが、会議の進行状況に応じて一時的に他の会議参加端末に割り当てることが可能である。
各会議参加端末PC1、PC2に実装されているPC会議制御プログラム202は、初期化制御部204、表示監視制御部205、上書き制御部206、ネットワーク制御部207からなり、表示監視制御部205、上書き制御部206、ネットワーク制御部207はそれぞれ独立に動作する。
「初期化制御部204」はPC会議制御プログラム202を初期化、会議参加PCを入力、表示監視制御部205、上書き制御部206、ネットワーク制御部207を起動、PC会議を開始する。そして、「表示監視制御部205」は文書作成プログラムが表示する会議資料ファイルを検知、会議ファイルを非操作権PCへ配布する。
また、文書作成プログラムウィンドウの表示位置、大きさ、垂直スクロールボックス位置、水平スクロールボックス位置を監視、変化がある場合非操作権PCへ変化を通知する。「上書き制御部206」は会議資料上へのマークあるいは議事録を手書き操作により描画、描画データを上書きファイルへ保存する。「ネットワーク制御部207」は他の会議参加PCより送信されるパケットデータを受信、制御する(パケットデータの送信は各制御部が必要に応じてネットワーク送信する)。
制御データ208は、初期化制御部204、表示監視制御部205、上書き制御部206、ネットワーク制御部207により入出力されPC会議を制御する。会議ファイル209は、文書作成プログラムにより表示される会議資料で操作権PC以外には操作権PCから自動配布される。上書きファイル210は、PC会議時に描画される上書きデータを保存する。
[PC会議制御データ]
つぎに、図70を参照しPC会議制御データについて説明する。各種のパケットデータ211は、ネットワーク(LAN10)を介して送受信されるデータを、制御データ208は、独立して動作するネットワーク制御部207、表示監視制御部205、上書き制御部206により入出力されるデータを示している。
会議開始パケット212は会議を主催する初期化制御部により作成され参加PCに送信され会議を開始する。会議ファイルパケット213は、会議を主催するPCの表示監視制御部205により作成され会議参加PCへ配布され文書作成プログラム91を起動、会議資料として表示する。
PC画面統一パケット214は、操作権のある表示監視制御部が文書作成プログラムのウィンドウ表示位置、大きさ、垂直スクロールボックス位置、水平スクロールボックス位置の変化を監視、変化時送信、PC画面表示を統一する。上書きパケット215は、上書き制御部206が会議資料上への上書き時送信、他PCへ上書きを表示する。上書き消去パケット216は、操作権のある上書き制御が上書き消去時送信、他PCの上書きを消去する。操作権パケット217により会議資料ページ捲り、上書きの操作権を主催PCへ要求、操作権の移動を通知する。会議終了パケット218により主催PCにより会議を終了、参加PCにより退席を通知する。
会議制御データ219によりPC会議を制御する。PC画面統一制御データ220により現在の表示状態を示す。上書き制御データ221により上書きを制御する。
[上書き操作]
ここで、図71を参照して、上書き操作について説明しておく。図に示すように、上書きツールバー「ペン」ボタンにより、手書き文字を描画、「消去」ボタンにより手書き文字を消去することができる(図71[1]参照)。
「APL」ボタンにより通常のプログラム操作を可能とする。上書き描画、消去時、全画面サイズの透明ウィンドウ(背景が透過され表示される)を作成表示する(図71[2]参照)。ペン(マウス)による文字描画操作時、ドラッグ座標間を順次、ペンに設定されている色、太さにてこの透明ウィンドウ上に線描画する。描画座標(上書き操作時のドラッグ座標)を文書座標(スクロール空間座標)に変換、ストロークデータとして上書きファイルへ保存する。(図71[3]参照)。
描画座標を上書きパケット215により1ストローク毎に会議参加PCへ送信する(図71[4]参照)。上書きパケット215を受信したPCは描画座標間を順次ペン色、ペン太さにて線描画する(図71[5]参照)。描画座標を文書座標に変換、ストロークデータとして上書きファイル210へ保存する(図71[6]参照)。
つぎに、図72を参照し上書きストロークデータを説明する。この図72において、(X0,Y0)、(X1,Y1)、(X2,Y2)、(X3,Y3)、(X4,Y4)、(X5,Y5)、(X6,Y6)が1ストロークのドラッグ軌跡を示す。手書き文字描画は2点間((X0,Y0)−(X1,Y1)、(X1,Y1)−(X2,Y2)、...)を設定されている色、太さにて線描画することにより描画する。
文字描画操作によるドラッグ軌跡座標は文書座標へ変換、ストローク単位(ペンダウン(マウスボタンON)からペンアップ(マウスボタンOFF))に上書きファイルへ保存する。手書き文字の消去は、ペンタッチ点を中心に消しゴムに設定されている大きさの矩形領域を消しゴムカーソルとして表示する。消しゴムカーソルは中心がマウス座標で一辺が消しゴムカーソル長の矩形内の上書きが消去の対象となる。手書き文字上へドラッグすることにより矩形領域内の手書き文字を消去する。
手書き文字消去操作により、(X3,Y3)−(X4,Y4)線分、(X4,Y4)−(X5,Y5)線分が消去され2ストロークに分割された状態を示す。消去された線分のストロークデータを上書きファイルから削除する。消去によりストロークが複数に分割される場合、複数ストロークに分割保存する。
なお、上記の上書きファイルをネットワークを介して受信したPCにおいては、上書きパケットを受信すると、描画座標を順次ペン色、ペン太さにて線描画、描画座標を文書座標へ変換、上書きファイルへ保存し、後述するように上書き再描画する。
[会議主催開始]
会議開始時主催PCによる、会議主催開始操作等について説明する。主催PCにより会議参加PCを指定し、接続することにより会議を開始する。他の参加PCは主催PCからの接続を待つ。
図73を参照し会議主催開始方法について説明する。PC会議制御プログラム202をデスクトップアイコンのダブルクリック等OSが提供する手段により起動し、「会議選択ツールバー」を表示する。
「主催」ボタン203の押下により、「会議相手ダイアログボックス」を表示する(図73[1]参照)。会議相手のネットワークアドレスを入力、登録する(図73[3]参照)。登録された会議相手先のネットワークアドレスが表示される(図73[4]参照)。ネットワークアドレスをドラッグ選択、削除する。会議相手の設定を完了(OK)すると「会議開始ツールバー」が表示される(図73[5]参照)。
「開始」ボタンにより「上書きツールバー」が表示され、会議が開始される(図73[6]参照)。会議に参加するPCのネットワークアドレスを会議開始パケット212により会議参加PCへ通知する(図73[7]参照)。
会議資料を表示するAPLウィンドウのタイトルバーから表示中の会議資料ファイルパスを取得、ファイルデータを入力、会議ファイルパケット213にて会議参加PCへ配布する(図73[8]参照)。会議資料を表示するAPLウィンドウのウィンドウ左上原点座標、幅、高さ、水平スクロールボックス位置、垂直スクロールボックス位置を取得、PC画面統一パケット214により会議参加PCの画面表示を統一する(図73[9]参照)。
なお、PC操作権(会議資料のページ捲り、スクロール表示、上書き等)は、会議開催当初は、会議開始時主催PCに与えられているが、後述するようにPC操作権は、他の参加PCに一次的に移動させることができる。ちなみに、複数のPCが同時に操作する態様も可能であるが、どのPCの表示内容を会議資料として表示するのかが判らなくなるので、本実施形態では操作権のあるPCの表示内容を会議資料としている。
なお、「APL」ボタンにより会議資料表示画面から抜け独自に別のページを見るなどできるが、再び会議資料に戻すと操作権のあるPCの表示内容が表示される。
[会議参加開始操作]
つぎに、図74を参照し会議参加開始方法について説明する。PC会議制御プログラム202をデスクトップアイコンのダブルクリック等OSが提供する手段により起動、「会議選択ツールバー」を表示する(図74[1]参照)。
「参加」ボタンにより、「会議接続ダイアログボックス」が表示され会議開始パケットの受信を待ち、受信により消去する(図74[2]参照)。会議メンバ情報を会議制御データ219へ保存する(図74[3]参照)。
会議ファイルパケット213受信によりファイルを作成、ファイルパスを渡し会議資料を表示するプログラムを起動、会議資料を表示する(図74[4]参照)。PC画面統一パケット214により、会議を表示するAPLウィンドウを左上原点座標、幅、高さに表示修正、水平スクロールボックス位置、垂直スクロールボックス位置へ位置修正する(図74[5]参照)。操作権ツールバーを表示する(図74[6]参照)。
[PC画面統一方法]
つぎに、図75を参照しPC画面統一方式を説明する。操作権を持つ会議参加端末装置においては、適宜間隔で、以下の処理が実行される。
画面上に表示されているウィンドウの左上原点座標(X,Y)、幅(W)、高さ(H)、水平スクロールボックス位置(PH)、垂直スクロールボックス位置(PV)の変化を監視する。すなわち、会議文書を表示するAPLウィンドウを検索、ウィンドウタイトル、ウィンドウクラス、ウィンドウ左上原点座標(X,Y)、ウィンドウ幅(W)、ウィンドウ高さ(H)取得する。
文書表示ウィンドウ(一般的にAPLウィンドウの最大サイズのAPLウィンドウの子ウィンドウ)を検索、文書表示ウィンドウ情報(ウィンドウウクラス、ウィンドウタイトル)を取得する。文書表示ウィンドウが「WS_VSCROLL」ウィンドウスタイルの場合、垂直スクロールバーウィンドウクラス、ウィンドウスタイルを「0」に設定する。違う場合、文書表示ウィンドウに近接する垂直スクロールバーを検索、垂直スクロールバーウィンドウ情報(ウィンドウクラス、ウィンドウタイトル)を取得する。
文書表示ウィンドウが「WS_HSCROLL」ウィンドウスタイルの場合、水平スクロールバーウィンドウクラス、ウィンドウスタイルを「0」に設定する。違う場合、文書表示ウィンドウに近接する水平スクロールバーを検索、水平スクロールバーウィンドウ情報(ウィンドウクラス、ウィンドウタイトル)を取得する。
水平スクロールバー情報、垂直スクロールバー情報、文書表示ウィンドウ情報により、表示中の文書の左上端文書座標(PH,PV)を算出する。そして、変化がある場合、PC画面統一パケット214を作成し、会議参加PCへ送信する(図75[1]参照)。
上記の操作結果は、ネットワークを介して受信したPCにおいて描画状態に反映される。PC画面統一パケットを受信した会議参加PCは、ウィンドウを左上原点座標(X,Y)、幅(W)、高さ(H)に表示修正、水平スクロールボックス位置(PH)、垂直スクロールボックス位置(PV)へスクロールボックスを移動する(図75[2]参照)。
すなわち、文書表示領域左上端の文書座標(PH:左上端文書X座標,PV:左上端文書Y座標)とする。
水平スクロールバー情報を取得、水平スクロール長(HL)をピクセル長(XL)に換算、文書左端からの距離(XP)を以下により算出、XPなる位置へ水平スクロールボックスをOSが提供するI/Fにより移動する。
XP=XL/2−|PH|
※| |は絶対値を意味する
OSが提供する情報のスクロールライン長(LL)スクロールライン数(LN)を以下により算出、スクロールライン数なる位置へ垂直スクロールボックスをOSが提供するI/Fにより移動する。
LN=PV/LL
他方、ネットワーク接続された他の会議参加PC側で実行される、特定位置の文書を表示する処理方法を図76を参照して説明する。
APLウィンドウを左上原点座標(X,Y)、ウィンドウ幅(W)、ウィンドウ高さ(H)へ表示する。
文書表示ウィンドウクラス、ウィンドウタイトルから文書表示ウィンドウ情報(ウィンドウクラス、ウィンドウタイトル)を取得する。
垂直スクロールバーウィンドウクラス、ウィンドウタイトルにより垂直スクロールバー情報を取得、左上端文書Y座標(PV)に相当する垂直スクロールボックス位置を算出、同位置へ垂直スクロールボックスを移動する。
文書表示ウィンドウに付属する水平スクロールバー、近接する水平スクロールバーを検索、水平スクロールバー情報を取得、左上端文書X座標(PH)に相当する水平スクロールボックス位置を算出、同位置へ水平スクロールボックスを移動する。
これにより、PC画面表示が操作権PCと同一に保たれる。
[上書き再描画]
上書きがあった場合には、前述した上書きファイルを、ネットワークを介して受信したPCにおいて上記の上書きファイルをネットワークを介して受信したPCにおいて(および必要に応じては自部署において)上書き再描画が実行される。図77により上書き再描画方法を説明する。
つぎに、図77を参照し上書き再描画方法について説明する。水平スクロールボックス位置、垂直スクロールボックス位置、ウィンドウ表示左上原点座標、幅、高さの変化を監視、変化があればPC画面統一パケット214を送信する(図77[1]参照)。表示変更があったとき、水平スクロールバー情報、垂直スクロールバー情報、文書表示ウィンドウ情報を取得、表示領域文書空間を算出、上書きファイルに保存されている文書座標を表示倍率換算、文書座標が表示領域文書空間内であれば画面座標へ変換、座標間をストローク色、ストローク太さにて線接続することにより再描画する(図77[2]参照)。そして、「PC画面統一パケット」を作成して、画面更新要求する。
会議参加端末は、PC画面統一パケット214を受信するとパケット情報に基づきウィンドウ位置、幅、高さへ表示修正、垂直スクロールボックス位置、水平スクロールボックス位置へスクロールボックスを移動、水平スクロールボックス位置、垂直スクロールボックス位置から画面に表示されているスクロール空間を算出、上書きファイルから同空間への上書きデータ検索、文書座標を画面座標へ変換表示する(図77[3]参照)。
つぎに、図78、図79を参照し操作権移動方法について説明する。ここでは、PC操作権(会議資料のページ捲り、スクロール表示、上書き等)は、会議開催当初は、会議開始時主催PCに与えられる。参加PCは会議の進行に従い必要が生じた場合には、操作権ツールバー「操作権」ボタンにより主催PCへ操作権を要求する(図78[1]参照)。「操作権(要求)パケット」による操作権要求は主催PCへ送信される(図78[2]参照)。
主催PCが操作権要求パケットを受信すると「操作権ダイアログボックス」を表示する(図78[3]参照)。「許可」ボタンにより操作権を与え、「却下」ボタンにより操作権要求を却下する。主催PCが操作権を許可すると、「操作権(移動)パケット」が全参加PCへ送信される(図78[4]参照)。
操作権(移動)パケットを受信すると、「操作権移動ダイアログボックス」を表示、操作権移動を通知する(図78[5]参照)。操作権を獲得すると操作権ツールバーから上書きツールバーへ、操作権を失うと上書きツールバーから操作権ツールバーへ表示変更される(図78[6]参照)。
操作権要求が「却下」ボタンにより棄却されると「操作権(却下)パケット」が操作権要求PCへ送信される(図79[7]参照)。操作権(却下)パケットを受信すると、「操作権却下ダイアログボックス」を表示する(図79[8]参照)。
[上書き編集]
続いて、PC会議終了後に、必要に応じて行われる、上書き結果の編集過程について説明する。
図80、図81を参照し上書き編集方法について説明する。PC会議終了時PC会議中に上書き描画された手書き文字(図形)の保存確認ダイアログボックスを表示する(図80[1]参照)。
上書きデータを指定された上書きファイルへ保存する(図80[2]参照)。上書きが実行された会議資料を、会議資料を作成したプログラムを起動して表示する(図80[3]参照)。上書き編集プログラムを起動、開くダイアログボックス表示、会議資料への上書きファイルを入力する(図80[4]参照)。
上書き編集ツールバーを表示、会議資料を表示するウィンドウの左上原点座標、幅、高さ、水平スクロールボックス位置、垂直スクロールボックス位置を取得、画面上のスクロール空間(表示領域文書空間)を算出、この空間への上書きを上書きファイルより検索表示する(図81[5]参照)。
すなわち、上書きファイルに保存されている文書座標を表示倍率換算、文書座標が表示領域文書空間内であれば画面座標へ変換、座標間をストローク色、ストローク太さにて線接続することにより描画する。「ペン」により追加描画、「消去」により上書きを消去編集する。編集された上書きを保存する。
[上書き設定]
つぎに、図82を参照し上書きの設定について説明する。「太さ」から文字描画時の線の太さを選択する(図82[1]参照)。「色」から文字描画時の線の色を選択する(図82[2]参照)。ビューアに選択された色、太さが表示される(図82[3]参照)。消しゴムをクリック(ペンタッチ)、表示されるハンドルをドラッグすることにより消しゴムカーソルの大きさを選択する(図82[4]参照)。
以上、第2実施形態の会議システムと全体動作について説明したが、以下では、これまで説明した会議の過程について、処理毎に分けてその制御動作をフローチャートを用いて説明する。
[初期化制御フロー]
図83のフローチャートを参照し初期化制御動作について説明する。まず、会議制御データを0クリア、自PCのネットワークアドレスを設定し(ステップS3171)、PC画面統一制御データを0クリアする(ステップS3172)。続いて、上書き制御データを0クリア、ペン色、ペン太さ、消しゴムカーソルにデフォルト値を設定する(ステップS3173)。さらに会議選択ツールバーを表示し(ステップS3174)、ツールバー非制御中に設定する(ステップS3175)。会議選択ツールバー上へのペンダウン(マウスボタンON)からペンアップ(マウスボタンOFF)までのマウスデータが入力される(ステップS3176)。
ツールバー非制御中に設定されているかを判断し(ステップS3177)、ツールバー非制御中であれば、ペンダウンによりツールバー制御中に設定する(ステップS3178)。さらにマウス座標のボタンを選択表示にし(ステップS3179)、クリックボタン情報を保存する(ステップS3180)。なお、ボタンは通常表示、選択表示(反転表示等)の2個の表示形態を持つ。
ステップS3177においてツールバー非制御中でなければ、さらにマウスボタンがOFFであるかを判断し(ステップS3181)、マウスボタンOFFであれば、さらにクリックボタン上座標であるかを判断する(ステップS3182)。ここでクリックボタン上座標でなければ、ツールバー制御をOFFに設定し(ステップS3183)、マウスボタンOFF時の座標がクリックボタンと異なる場合、クリックボタンを通常表示へ戻し、ボタン機能の実行は行なわない(ステップS3184)。
ステップS3182においてクリックボタン上座標であれば、会議選択ツールバーを消去し(ステップS3185)、クリックボタンが主催であるかを判断する(ステップS3186)。ここでクリックボタンが主催であれば「主催」ボタンクリックにより「会議主催制御」を実行する(ステップS3187)。ステップS3186においてクリックボタンが主催でなければ、さらにクリックボタンが参加であるかを判断し(ステップS3188)、参加であれば、「参加」ボタンクリックにより「会議参加制御」を実行する(ステップS3189)。
[会議主催制御フロー]
つぎに、図84のフローチャートを参照し会議主催の制御動作について説明する。まず、会議相手ダイアログボックスを表示し(ステップS3191)、会議相手ネットワークアドレスを入力する(ステップS3192)。続いて、会議制御データへ主催PCネットワークアドレス、操作権PCネットワークアドレスを自PCネットワークアドレスに設定、操作権有りに設定、入力した会議相手ネットワークアドレスを参加PCネットワークアドレスに設定する(ステップS3193)。
さらに会議開始ツールバーを表示し(ステップS3194)、ツールバー非制御中に設定する(ステップS3195)。会議開始ツールバー上へのペンダウン(マウスボタンON)からペンアップ(マウスボタンOFF)までのマウスデータが入力される(ステップS3196)。続いて、ツールバー非制御中であるかを判断し(ステップS3197)、ツールバー非制御中であれば、ペンダウンによりツールバー制御中に設定し(ステップS3198)、マウス座標のボタンを選択表示にし(ステップS3199)、クリックボタン情報を保存する(ステップS3200)。
なお、ボタンは通常表示、選択表示(反転表示等)の2個の表示形態を持つ。(ステップS197においてツールバー非制御中でなければ、さらにマウスボタンがOFFであるかを判断し(ステップS3201)、マウスボタンOFFであれば、さらにクリックボタン上座標であるかを判断する(ステップS3202)。ここでクリックボタン上座標でなければ、ツールバー非制御中に設定し(ステップS3203)、マウスボタンOFF時の座標がクリックボタンと異なる場合、クリックボタンを通常表示へ戻し、ボタン機能の実行は行なわない(ステップS3204)。ステップS3202においてクリックボタン上座標であれば、会議開始ツールバーを消去し(ステップS3205)、クリックボタンが開始であるかを判断する(ステップS3206)。
ここで開始のクリックボタンであれば、「開始」ボタンにより、「ネットワーク制御」を起動、パケットデータ受信を開始し(ステップS3207)、「表示監視制御」を起動、ウィンドウ表示常態の監視を開始する(ステップS3208)。さらに、「上書き制御」を起動し、上書きツールバー(操作権有りPC)を表示し(ステップS3209)、会議制御データから会議開始パケットを作成し、全参加PCへ送信する(ステップS3210)。
[会議参加制御フロー]
つぎに、図85のフローチャートを参照し会議参加制御動作について説明する。まず、会議接続ダイアログボックスを表示し、主催PCにより接続されるのを待つ(ステップS3211)。その後、「ネットワーク制御」を起動、パケットデータ受信を開始する(ステップS3212)。
続いて、ネットワーク制御が会議開始パケットを受信、会議開始パケット受信通知するのを待つ(ステップS3213)。会議開始パケットを受信したならば、会議開始パケット受信により会議接続ダイアログボックスを消去する(ステップS3214)。続いて、「表示監視制御」を起動、ウィンドウ表示常態の監視を開始し(ステップS3215)、「上書き制御」を起動し、操作権ツールバー(操作権無しPC)を表示する(ステップS3216)。
[表示監視制御フロー]
つぎに、図86のフローチャートを参照し表示監視制御動作について説明する。まず、主催PCであるかを判断し(ステップS3221)、主催PCであれば、APLプログラムを起動し(ステップS3222)、表示中のAPLウィンドウ情報(APLタイトルが表示されているウィンドウ)を取得する(ステップS3223)。
続いて、APLウィンドウが表示されているかを確認するとともに、APLウィンドウが表示されている場合、文書表示ウィンドウ情報を取得し(ステップS3224)、さらに水平スクロールボックス位置を取得し(ステップS3225)、垂直スクロールボックス位置を取得する(ステップS3226)。そして会議ファイル表示であるかを判断し(ステップS3227)、ウィンドウキャプション情報にファイル名が設定されるのを待つ(ステップS3228)。
続いて、キャプション情報のファイル名のパスを検索、会議ファイルを入力し(ステップS3229)、「会議ファイルパケット」に会議ファイルデータ、会議ファイル名を設定、全参加PCへ送信する(ステップS3230)。続いて、終了通知であるかを判断する(ステップS3231)。つまり、主催PCからの会議終了パケット受信、あるいはツールバー「終了」ボタンによる終了通知により表示監視制御を終了する(ステップS3231)。
終了通知でなければ、操作権有りであるかを判断し(ステップS3232)、APLウィンドウ情報(左上原点座標、幅、高さ)を取得する(ステップS3233)。そして、文書表示ウィンドウ情報を取得し(ステップS3234)、さらに水平スクロールボックス位置を取得し(ステップS3235)、垂直スクロールボックス位置を取得する(ステップS3236)。
続いて、変更有無を判断し(ステップS3238)、変更有りであれば、取得したAPLウィンドウ情報、スクロールボックス位置がPC画面統一制御データと異なる場合、取得値により「PC画面統一パケット」を作成、他の全PCへ送信する(ステップS3239)。さらに取得値をPC画面統一制御データへ設定し(ステップS3240)、周期的(10ms、100msごと等)にAPLウィンドウの表示状態を監視するためウェイトする(ステップS324Z)。
[ネットワーク制御フロー]
つぎに、図87のフローチャートを参照しネットワーク制御動作について説明する。主催PCからの会議終了パケット受信、あるいはツールバー「終了」ボタンによる終了通知によりネットワーク制御を終了する(ステップS3241)。
終了通知でなければ、パケットデータが受信されるのを待ち(ステップS3242)、パケットデータを受信したならば、会議開始パケットであるかを判断する(ステップS3243)。会議開始パケットであれば、「会議開始パケット」受信により、主催PC、操作権PC、参加PCネットワークアドレス、参加PC数を会議制御データへ設定、操作権無しに設定し(ステップS3244)、会議開始パケット受信を「会議参加制御」へ通知する(ステップS3245)。ステップS3243において会議開始パケットでなければ、さらに会議ファイルパケットであるかを判断し(ステップS3246)、会議ファイルパケットであれば、「会議ファイルパケット」受信により、会議ファイルを作成、会議ファイルデータを保存、会議ファイル名を会議制御データへ設定する(ステップS3247)。続いて、作成した会議ファイルにより会議ファイル表示プログラムを起動する(ステップS3248)。
ステップS3246において会議ファイルパケットでなければ、さらにPC画面統一パケットであるかを判断し(ステップS3249)、PC画面統一パケットであれば、「PC画面統一パケット」受信により、「PC画面統一パケット受信制御」を実行する(ステップS3250)。
ステップS3249においてPC画面統一パケットでなければ、さらに上書きパケットであるかを判断し(ステップS3251)、上書きパケットであれば、「上書きパケット」受信により、「上書きパケット受信制御」を実行する(ステップS3252)。ステップS3251において上書きパケットでなければ、さらに上書き消去パケットであるかを判断し(ステップS3253)、上書き消去パケットであれば、「上書き消去パケット」受信により、「上書き消去パケット受信制御」を実行する(ステップS3254)。
ステップS3253において上書き消去パケットでなければ、さらに操作権パケットであるかを判断し(ステップS3255)、操作権パケットであれば、「操作権パケット」により、「操作権パケット受信制御」を実行する(ステップS3256)。ステップS3255において操作権パケットでなければ、さらに会議終了パケットであるかを判断し(ステップS3257)、会議終了パケットであれば、さらに主催PC終了であるかを判断する(ステップS3258)。
ここで主催PC終了でなければ、主催PC以外からの「会議終了パケット」受信により、会議制御データから会議退席PCの参加PCネットワークアドレスを削除する(ステップS3259)。ステップS3258において主催PC終了であれば、主催PCからの「会議終了パケット」受信により、表示監視制御、上書き制御へ終了通知、終了させる(ステップS3260)。
[PC画面統一パケット受信制御フロー]
つぎに、図88のフローチャートを参照しPC画面統一パケット受信制御動作について説明する。まず、表示変更するため一時的に上書きウィンドウを消去する(ステップS3261)。その後、ウィンドウ原点座標の変更有無を判断し(ステップS3262)、ウィンドウ原点座標が変更されたならば、PC画面統一パケットとPC画面統一制御データのウィンドウ左上原点座標を比較、異なる場合、PC画面統一パケット「ウィンドウ左上原点座標」へAPLウィンドウを移動する(ステップS3263)。
続いて、幅高さが変更されたかを判断し(ステップS3264)、幅高さが変更されたならば、ウィンドウ幅、あるいはウィンドウ高さが異なる場合、PC画面統一パケット「ウィンドウ幅」、「ウィンドウ高さ」にウィンドウの大きさを表示変更する(ステップS3265)。続いて、文書表示ウィンドウ情報を取得し(ステップS3266)、水平スクロールバーウィンドウ情報を取得し(ステップS326Y)、水平スクロールボックス位置が変更されたかを判断し(ステップS326Z、水平スクロールボックス位置が変更されたならば、PC画面統一パケット「水平スクロールボックス位置」へ水平スクロールボックスを移動する(ステップS3267)。続いて、垂直スクロールボックス位置が変更されたかを判断し(ステップS3268)、垂直スクロールボックス位置が変更されたならば、垂直スクロールボックス位置が異なる場合、PC画面統一パケット「垂直スクロールボックス位置」へ垂直スクロールボックスを移動する(ステップS3269)。続いて、PC画面統一制御データを設定し(ステップS3270)、「上書き表示制御」を実行、表示変更された文書への上書きを再描画する(ステップS3271)。
[上書きパケット受信制御フロー]
つぎに、図89のフローチャートを参照し上書きパケット受信制御動作について説明する。まず、描画数を0にし(ステップS3281)、描画座標間をペン色、ペン太さにて線描画する(ステップS3282)。その後、描画数を1つ進め(ステップS3283)、描画数<描画座標数であるかを判断し(ステップS3284)、描画数<描画座標数でなければ、文書表示領域のウィンドウ情報(左上原点座標、幅、高さ)を取得する(ステップS3285)。
続いて、水平スクロールバー情報(スクロールボックス位置、幅)を取得し(ステップS3286)、垂直スクロールバー情報(スクロールボックス位置、幅)を取得する(ステップS3287)。さらに描画座標(画面座標)を文書座標へ変換し(ステップS3288)、ストロークデータとして上書きファイルへ保存する(ステップS3289)。
[上書き消去パケット受信制御フロー]
つぎに、図90のフローチャートを参照し上書き消去パケット受信制御動作について説明する。まず、消去数を0にし(ステップS3291)、消去座標を中心、1辺の長さが消しゴムカーソル長からなる矩形領域を透明色に設定する(ステップS3292)。矩形領域の上書きが消去され背景画面が表示される。続いて、消去数を1つ進め(ステップS3293)、消去数<消去座標数であるかを判断し(ステップS3294)、消去数<消去座標数であれば、文書表示領域のウィンドウ情報(左上原点座標、幅、高さ)を取得する(ステップS3295)。
続いて、水平スクロールバー情報(スクロールボックス位置、幅)を取得し(ステップS3296)、さらに垂直スクロールバー情報(スクロールボックス位置、幅)を取得する(ステップS3297)。続いて、消去座標を文書座標へ変換し(ステップS3298)、算出された座標を中心、1辺の長さが消しゴムカーソル長からなるカーソルスクロール空間矩形領域の左上原点座標、幅、高さを算出する(ステップS3299)。
さらに上書きファイルからストロークデータを入力し(ステップS3300)、文書座標表示倍率換算をし(ステップS330Z)、入力したストローク座標がカーソルスクロール空間矩形領域内か判定する(ステップS3301)。ここでカーソルスクロール空間矩形領域内であれば、さらにストローク分割であるかを判断する(ステップS3302)。
ここでストローク分割であれば、ストロークの途中が消去される場合、ストロークを分割する(ステップS3303)。続いて、分割したストロークの後半部分を新ストロークとして上書きファイルへ保存し(ステップS3304)、さらに入力ストロークデータの後半部分を削除する(ステップS3305)。ステップS3302においてストローク分割でなければ、入力ストロークデータの消去座標を削除する(ステップS3306)。
続いて、全ストローク座標を検索したかを判断し(ステップS3307)、全ストローク座標を検索したならば、入力ストロークデータの全ストローク座標完了により更新された入力ストロークデータにより上書きファイルのストロークデータを置き換える(ステップS3308)。全ストローク座標が消去された場合はストロークデータを上書きファイルから削除する。続いて、全ストローク検索したかを判断する(ステップS3309)。すなわち、上書きファイルの全ストロークデータに対して実行する。そして、全消去座標に対して実行する(ステップS3310)。
[操作権パケット受信制御フロー]
つぎに、図91のフローチャートを参照し操作権パケット受信制御動作について説明する。まず、制御コードが要求であるかを判断し(ステップS3311)、要求であれば、操作権(要求)パケットは主催PCへ送信され操作権要求ダイアログボックスを表示する(ステップS3312)。続いて、操作権が許可であるか却下であるかを判断し(ステップS3313)、許可であれば、操作権許可により、会議制御データの操作権PCネットワークアドレスを要求PCネットワークアドレスに変更し(ステップS3314)、操作権(移動)パケットを全参加PCへ送信する(ステップS3315)。
続いて、操作権の有無を判断し(ステップS3316)、操作権有りであれば、主催PCが現在操作権を持っている場合、「上書き制御」へ操作権移動通知し(ステップS3317)、操作権無しに設定する(ステップS3318)。ステップS3313において操作権が却下であれば、操作権却下により、操作権要求PCへ操作権(却下)パケットを送信する(ステップS3319)。
ステップS3311において要求の制御コードでなければ、さらに制御コードが却下であるかを判断し(ステップS3320)、却下の制御コードであれば、操作権(却下)パケット受信により、「上書き制御」へ操作権却下を通知する(ステップS3321)。ステップS3320において却下の制御コードでなければ、さらに移動の制御コードであるかを判断し(ステップS3322)、移動の制御コードであれば、操作権(移動)パケット受信により、会議制御データの操作権PCネットワークアドレスを要求PCネットワークアドレスに変更する(ステップS3323)。
続いて、操作権要求PCであるかを判断し(ステップS3324)、操作権要求PCが操作権(移動)パケットを受信した場合、「上書き制御」へ操作権許可を通知し(ステップS3325)、操作権有りに設定する(ステップS3326)。ステップS3324において操作権PCでなければ、さらに操作権有りであるかを判断し(ステップS3327)、操作権を持っている場合、「上書き制御」へ操作権移動通知し(ステップS3328)、操作権無しに設定する(ステップS3329)。
[上書き制御フロー]
つぎに、図92、図93のフローチャートを参照し上書き制御動作について説明する。まず、上書きファイルを作成、初期化(ストローク総数=0)し(ステップS3331)、上書きファイル名を上書き制御データへ設定する(ステップS3332)。続いて、操作権の有無を判断し(ステップS3333)、操作権が無い場合、操作権ツールバーを表示し(ステップS3334)、全画面サイズの透明ウィンドウを表示、操作権ツールバー以外の操作を無効にする(ステップS3335)。ステップS3333において操作権が有る場合、上書きツールバーを表示し(ステップS3336)、上書きモードをAPLにし(ステップS3337)、上書きモードをAPLに設定、上書きツールバーのAPLボタンを選択表示にする(ステップS3338)。
続いて、主催PCからの会議終了パケット受信、上書きツールバー、あるいは操作権スツールバーの「終了」ボタンによる終了通知により上書き制御を終了する(ステップS3339)。終了通知でなければ、操作権移動通知であるかを判断し(ステップS3340)、操作権パケット受信制御からの操作権移動通知により上書きツールバーを消去する(ステップS3341)。続いて、APLの上書きモードであるかを判断し(ステップS3342)、APLの上書きモードであれば、描画、消去モード時に表示される上書きウィンドウを消去する(ステップS3343)。
さらに、操作権移動通知により操作権ツールバーを表示し(ステップS3344)、上書きウィンドウを表示、操作権ツールバー操作以外無効にする(ステップS3345)。続いて、上書きツールバーへのマウスデータのみ入力され、上書きモードが「描画」または「消去」で有る場合、全マウスデータが入力される(ステップS3346)。操作権ツールバーへのマウスデータが入力され、「操作権ツールバー制御」を実行する(ステップS3346)。
続いて、操作権の有無を判断し(ステップS3347)、操作権が無い場合、操作権ツールバー上へのマウスデータ入力により、「操作権ツールバー制御」を実行する(ステップS3348)。上書きモードが「APL」である場合、(ステップS347において操作権がある場合、さらに上書きツールバー座標であるかを判断し(ステップS3349)、上書きツールバー座標であれば、上書きツールバー上へのマウスデータ入力により、「上書きツールバー制御」を実行する(ステップS3350)。
ステップS3349において上書きツールバー座標でなければ、さらに上書きモードが描画であるか消去であるかを判断し(ステップS3351)、描画の上書きモードであれば、上書きツールバー外マウスデータ入力時、上書きモードが「描画」の場合、「上書き描画制御」を実行する(ステップS3352)。ステップS351において消去の上書きモードであれば、上書きツールバー外マウスデータ入力時、上書きモードが「消去」の場合、「上書き消去制御」を実行する(ステップS3353)。
続いて、操作権の有無を判断しステップS33354)、操作権無し時、表示中の操作権ツールバーを消去し(ステップS3355)、上書きウィンドウを消去する(ステップS3356)。ステップS3354において操作権があれば、上書きツールバーを消去し(ステップS3357)、APLの上書きモードであるかを判断する(ステップS3358)、APLの上書きモードであれば、上書きウィンドウを消去する(ステップS3359)。そして、保存確認ダイアログボックスを表示し(ステップS3360)、上書きデータを保存するか確認する(ステップS3361)。保存する場合、上書きファイルデータを指定ファイルへコピー保存する(ステップS3362)。
[上書きツールバー制御フロー]
つぎに、図94のフローチャートを参照して、上書きツールバー制御動作について説明する。ここでは、マウスボタンON(ペンタッチ)時のマウスデータを引数として実行される。まず、マウスボタンON座標のボタンを選択表示、他を通常表示にし(ステップS3371)、マウスボタンOFF(ペンアップ)までのマウスデータを入力する(ステップS3372)。
続いて、マウスデータの入力有無を判断し(ステップS3373)、マウスボタンOFF時の座標がクリックボタン上で無い場合、ボタン機能は実行しない。続いて、マウスボタンOFFであるかを判断し(ステップS3374)、マウスボタンOFFであれば、さらにクリックボタン上座標であるかを判断し(ステップS3375)、APLモード時「ペン」ボタンが選択された場合、「上書き表示制御」を実行、現在表示されている文書への上書きを上書きファイルから検索、再描画する。続いて、クリックボタンがペンであるかを判断し(ステップS3376)、ペンであれば、さらに上書きモードがAPLであるかを判断する(ステップS3377)。
APLモード時「消去」ボタンが選択された場合、「上書き表示制御」を実行、現在表示されている文書への上書きを上書きファイルから検索、再描画し(ステップS3378)、上書きモードを描画に設定する(ステップS3379)。
ステップS3376においてペンのクリックボタンでなければ、さらに消去のクリックボタンであるかを判断し(ステップS3380)、消去のクリックボタンであれば、さらにAPLの上書きモードであるかを判断し(ステップS3381)、APLの上書きモードであれば、「上書き表示制御」を実行、現在表示されている文書への上書きを上書きファイルから検索、再描画し(ステップS3382)、上書きモードを消去に設定する(ステップS3383)。
ステップS3381においてAPLの上書きモードでなければ、さらにAPLのクリックボタンであるかを判断する(ステップS3384)。APLのクリックボタンであれば、「APL」ボタンにより、上書きウィンドウを消去、通常のプログラム操作が可能な状態へ戻し(ステップS3385)、APLの上書きモードに設定する(ステップS3386)。ステップS3384においてAPLのクリックボタンでなければ、さらに設定のクリックボタンであるかを判断し(ステップS3387)、設定のクリックボタンであれば、「設定」ボタンにより、上書き設定ダイアログボックスを表示、ペン色、太さ、消しゴムカーソル長を入力し(ステップS3388)、上書き設定ダイアログボックス入力値を上書き制御データへ設定する(ステップS3389)。
ステップS3387で設定のクリックボタンでなければ、「終了」ボタンにより、会議終了パケットを作成、他の全PCへ送信し(ステップS3390)、ネットワーク制御、上書き制御、表示監視制御へ終了を通知する(ステップS3391)。ステップS3375においてクリックボタン上座標でなければ、上書きモードボタンの選択表示を行なう(ステップS3392)。
[操作権ツールバー制御フロー]
つぎに、図95のフローチャートを参照し操作権ツールバー制御動作について説明する。ここでは、マウスボタンON(ペンタッチ)時のマウスデータを引数として実行される。まず、マウスボタンON座標のボタンを選択表示、他を通常表示にし(ステップS3401)、クリックボタン情報を保存し(ステップS3402)、マウスボタンOFF(ペンアップ)までのマウスデータを入力する(ステップS3403)。マウスボタンOFFであるかを判断し(ステップS3404)、マウスボタンOFFであれば、クリックボタンを通常表示する(ステップS3405)。
続いて、クリックボタン上座標であるかを判断する(ステップS3406)。ここではマウスボタンOFF時の座標がクリックボタン上で無い場合、ボタン機能は実行しない。続いて、操作権のクリックボタンであるかを判断し(ステップS3407)、操作権のクリックボタンであれば、さらに主催PCであるかを判断する(ステップS3408)。ここで主催PCであれば、「操作権」ボタンにより、主催PCは操作権を獲得、全参加PCへ操作権(移動)パケットを送信する(ステップS3409)。
ステップS3408において主催PCでなければ、「操作権」ボタンにより、参加PCは主催PCへ操作権(要求)パケットを送信、操作権を要求する(ステップS3410)。続いて、ネットワーク制御が操作権(許可)パケットを受信、操作権許可通知するのを待ち(ステップS3411)、さらにネットワーク制御が操作権(却下)パケットを受信、操作権却下通知するのを待つ(ステップS3412)。操作権要求が却下された場合、操作権却下ダイアログボックスを表示する(ステップS3413)。ダイアログボックスは数秒表示後、自動的に閉じる。ステップS411において操作権要求が許可された場合、操作権許可ダイアログボックスを表示する(ステップS3414)。ダイアログボックスは数秒表示後、自動的に閉じる。続いて、操作権ツールバーを消去し(ステップS3415)、上書きウィンドウを消去し(ステップS3416)、上書きツールバーを表示する(ステップS3417)。
さらに上書きモードをAPLに設定し(ステップS3418)、上書きツールバー「APL」ボタンを選択表示にする(ステップS3419)。ステップS3407において終了であれば、「終了」ボタンにより、会議終了パケットを作成、他の全PCへ送信し(ステップS3420)、ネットワーク制御、上書き制御、表示監視制御へ終了を通知する(ステップS3421)。
[上書き表示制御フロー]
つぎに、図96のフローチャートを参照し上書き表示制御動作について説明する。まず、文書表示領域のウィンドウ情報(左上原点座標、幅、高さ)を取得し(ステップS3431)、水平スクロールバー情報(スクロールボックス位置、幅)を取得する(ステップS3432)。さらに垂直スクロールバー情報(スクロールボックス位置、幅)を取得し(ステップS3433)、文書表示領域の文書座標を算出する(ステップS3434)。さらに全画面サイズの透明ウィンドウを表示し(ステップS3435)、上書きファイルからストローク単位にストロークデータを入力する(ステップS3436)。
文書座標表示倍率換算をし(ステップS343Z)、続いて、直前座標を0xFFFFに設定し(ステップS3437)、ストローク座標が文書表示領域か判定する(ステップS3438)。ここでストローク座標が文書表示領域でなければ、直前座標を0xFFFFに設定する(ステップS3439)。ステップS3438において文書表示領域のストローク座標である場合、ストローク座標を画面座標へ変換する(ステップS3440)。続いて、直前座標が0xFFFFであるかを判断し(ステップS3441)、直前座標が0xFFFFでなければ、直前座標と画面座標間をストローク色、ストローク太さにて線描画する(ステップS3442)。
さらに画面座標を直前座標として保存する(ステップS3443)。続いて、1ストローク完了であるかを判断し(ステップS3444)、1ストローク完了であれば、さらに前ストローク完了であるかを判断する(ステップS3445)。ここで全ストロークについて完了していなければ、上書きファイル全ストロークを検索して次ストロークデータを入力し(ステップS3446)、文書座標表示倍率換算をし(ステップS3447)、ステップS3437へ戻る。
[上書き描画制御フロー]
つぎに、図97のフローチャートを参照し上書き描画制御動作について説明する。ここでは、マウスボタンON(ペンダウン)時のマウスデータを引数として実行される。まず、マウス座標を描画座標データに保存、描画座標数を「1」に設定し(ステップS3451)、マウスボタンOFF(ペンアップ)までのマウスデータを入力する(ステップS3452)。続いて、マウスボタンOFFであるかを判断し(ステップS3453)、マウスボタンOFFでなければ、前回座標今回座標間を上書き制御データに設定されているペン色、ペン太さにて線描画し(ステップS3454)、入力したマウス座標を描画座標データに保存する(ステップS3455)。
ステップS3453においてマウスボタンOFFであれば、描画座標データにより上書きパケットを作成、他の全PCへ送信し(ステップS3456)、文書表示領域のウィンドウ情報(左上原点座標、幅、高さ)を取得する(ステップS3457)。さらに水平スクロールバー情報(スクロールボックス位置、幅)を取得し(ステップS3458)、垂直スクロールバー情報(スクロールボックス位置、幅)を取得する(ステップS3459)。続いて、スクロールバー情報により文書総ライン数を算出し、スクロールバー情報、文書ウィンドウ情報により描画座標を文書座標に変換し(ステップS3460)、ストロークデータを上書きファイルへ保存する(ステップS3461)。
[上書き消去制御フロー]
つぎに、図98のフローチャートを参照し上書き消去制御動作を説明する。ここでは、マウスボタンON(ペンダウン)時のマウスデータを引数として実行される。まず、マウス座標を消去座標データに保存し(ステップS3471)、消去座標数を「1」に設定する。続いて、マウス座標を中心、1辺の長さが消しゴムカーソル長からなる矩形領域を透明色に設定する(ステップS3472)。これにより上書きが消去される。
続いて、マウスボタンOFF(ペンアップ)までのマウスデータを入力する(ステップS3473)。さらにマウスボタンOFFであるかを判断し(ステップS3474)、マウスボタンOFFでなければ、マウス座標を中心、1辺の長さが消しゴムカーソル長からなる矩形領域を透明色に設定し(ステップS3475)、マウス座標を消去座標データに消去座標として保存する(ステップS3476)。(ステップS473においてマウスボタンOFFであれば、消去座標データにより上書き消去パケットを作成、他の全PCへ送信し(ステップS3477)、文書表示領域のウィンドウ情報(左上原点座標、幅、高さ)を取得する(ステップS3478)。
さらに、水平スクロールバー情報(スクロールボックス位置、水平スクロール長(幅))を取得し(ステップS3479)、垂直スクロールバー情報(スクロールボックス位置、垂直スクロール長(幅))を取得する(ステップS3480)。続いて、消去座標を文書座標へ変換し(ステップS3481)、算出された消去座標を中心、1辺の長さが消しゴムカーソル長からなるカーソルスクロール空間矩形領域の左上原点座標、幅、高さ(カーソル文書空間)を算出する(ステップS3482)。
さらに上書きファイルからストロークデータを入力する(ステップS3483)。続いて、入力したストローク座標がカーソルスクロール空間内か判定する(ステップS3484)。さらにストローク分割であるかを判断し(ステップS3485)、ストローク分割であれば、ストロークの途中が消去される場合、ストロークを分割する(ステップS3486)。
さらに、分割したストロークの後半部分を新ストロークとして上書きファイルへ保存し(ステップS3487)、入力ストロークデータの後半部分を削除する(ステップS3488)。ステップS3485においてストローク分割でなければ、入力ストロークデータの消去座標を削除する(ステップS3489)。続いて、全ストローク座標を検索したかを判断し(ステップS3490)、全ストローク座標を検索したならば、入力ストロークデータの全ストローク座標完了により更新された入力ストロークデータにより上書きファイルのストロークデータを置き換える。全ストローク座標が削除された場合、上書きファイルのストロークデータを削除する(ステップS3491)。さらに上書きファイルの全ストロークデータに対して実行する(ステップS3492)。さらに全消去座標に対して実行する(ステップS3493)。
[上書き編集制御フロー]
つぎに、図99のフローチャートを参照し上書き編集制御動作について説明する。この上書き編集プログラムはPC会議制御プログラムとは別に存在、上書きの表示、編集に用いる。まず、上書き編集プログラムはデスクトップアイコンのダブルクリックなどのOSが提供する手段により起動されると「開くダイアログボックス」を表示する(ステップS3501)。
続いて、キャンセルであるかを判断し(ステップS3502)、キャンセルでなければ、開くダイアログボックスにより指定された上書きファイルを入力する(ステップS3503)。さらに上書き制御データへ上書きファイル名、デフォルト値のペン色、ペン太さ、消しゴムカーソル長を設定し(ステップS3504)、上書き編集ツールバーを表示し(ステップS3505)、上書き編集モードをAPLにする(ステップS3506)。
さらに上書き編集ツールバー「APL」ボタンを選択表示とする(ステップS3507)。「APL」モード時は上書き編集ツールバー操作マウスデータ、「描画」、「消去」モード時は全マウスデータが入力される(ステップS3508)。続いて、上書き編集ツールバー座標であるかを判断し(ステップS3509)、上書き編集ツールバー座標でなければ、さらに上書き編集モードが描画であるかを判断する(ステップS3510)。
ここで描画の上書き編集モードであれば、描画モード時、入力マウス座標が上書き編集ツールバー外の座標である場合「上書き描画制御」を実行する(ステップS3511)。ステップS3510において描画の上書き編集モードでなければ、消去モード時、入力マウス座標が上書き編集ツールバー外の座標である場合「上書き消去制御」を実行する(ステップS3512)。
ステップS3509において上書き編集ツールバー座標であれば、マウス座標が上書き編集ツールバー上である場合、「上書き編集ツールバー制御」を実行する(ステップS3513)。続いて、終了であるかを判断し(ステップS3514)、終了であれば、上書き編集ツールバー「終了」ボタンにより上書き編集ツールバーを消去する(ステップS3515)。続いて、上書き編集モードがAPLであるかを判断し(ステップS3516)、上書き編集モードがAPLでなければ、上書き表示中である場合、上書きウィンドウを消去する(ステップS3517)。
さらに上書きを保存するか保存確認ダイアログボックスを表示する(ステップS3518)。続いて、保存するかを判断し(ステップS3519)、保存であれば、上書きデータを指定された上書きファイルへ保存する(ステップS3520)。なお、ここでは、上書き描画制御、上書き消去制御はPC会議制御と同様であるため説明は省略する。
[上書き編集ツールバー制御フロー]
つぎに、図100のフローチャートを参照し上書き編集ツールバー制御動作について説明する。ここでは、マウスボタンON(ペンタッチ)時のマウスデータを引数として実行される。まず、マウスボタンON座標のボタンを選択表示、他を通常表示にする(ステップS3521)。
続いて、クリックボタン情報を保存し(ステップS3522)、マウスボタンOFF(ペンアップ)までのマウスデータを入力する(ステップS3523)。続いて、マウスボタンOFFであるかを判断し(ステップS3524)、マウスボタンOFFであれば、マウスボタンOFF時の座標がクリックボタン上で無い場合、ボタン機能は実行しない(ステップS3525)。
続いて、クリックボタンがペンであるかを判断し(ステップS3526)、ペンのクリックボタンであれば、さらに上書き編集モードがAPLであるかを判断し(ステップS3527)、APLモード時「ペン」ボタンが選択された場合、「上書き表示制御」を実行、現在表示されている文書への上書きを上書きファイルから検索、再描画し(ステップS3528)、上書き編集モードを描画に設定する(ステップS3529)。
ステップS3526においてペンのクリックボタンでなければ、消去のクリックボタンであるかを判断し(ステップS3530)、消去のクリックボタンであれば、上書き編集モードがAPLであるかを判断し(ステップS3531)、上書き編集モードがAPLであれば、APLモード時「消去」ボタンが選択された場合、「上書き表示制御」を実行、現在表示されている文書への上書きを上書きファイルから検索、再描画し(ステップS3532)、上書き編集モードを消去に設定する(ステップS3533)。ステップS3530において消去のクリックボタンでなければ、さらにクリックボタンがAPLであるかを判断し(ステップS3534)、クリックボタンがAPLであれば、「APL」ボタンにより、上書きウィンドウを消去、通常のプログラム操作が可能な状態へ戻し(ステップS3535)、上書き編集モードをAPLに設定する(ステップS3536)。
ステップS3534においてクリックボタンがAPLでなければ、さらにクリックボタンが設定であるかを判断する(ステップS3537)。ここでクリックボタンが設定であれば、「設定」ボタンにより、上書き設定ダイアログボックスを表示、ペン色、ペン太さ、消しゴムカーソル長を入力し(ステップS3538)、上書き設定ダイアログボックス入力値を上書き制御データへ設定し(ステップS3539)、上書き編集モードボタンを選択表示、他を通常表示とする(ステップS3540)。
本発明が適用される様々な表示装置例を示す説明図である。 図1(c)に示した表示装置に本発明に係る文書位置検出装置を適用した一実施形態の概略図である。 タッチパネルの一例としての光遮断検知方式の説明図である。 図1(c)に示したと同様な表示一体型座標入力装置の構成を示す概略図である。 タッチパネル用の別な光遮断検知方式の説明図である。 上書情報の座標検知の方式の他の例の説明図である。 電磁誘導センサーユニットの説明図である。 座標入力制御についての説明図である。 OS(Windows(登録商標)の場合)が提供するI/F(API)により取得できる画面表示情報の説明図である。 OS(Windows(登録商標)の場合)が提供するI/F(API)により取得できる画面表示情報の説明図である。 OS(Windows(登録商標)の場合)が提供するI/F(API)により取得できる画面表示情報の説明図である。 画面座標から文書座標への変換方法についての説明図である。 文書座標から画面座標への変換方法についての説明図である。 スクロールボックスの位置情報についての説明図である。 文書の表示倍率が変更された場合の表示倍率換算方法についての説明図である。 スクロール情報についての説明図である。 スクロールライン長検出(描画方式)についての説明図である。 画像抽出方式によるスクロールライン長検出方式(画像抽出方式)についての説明図である。 スクロール実行時のスクロール画面固定表示方法についての説明図である。 現在のライン番号(カレントライン番号)の検出方法についての説明図である。 ライン座標検出方法についての説明図である。 位置検知ファイル登録についての説明図である。 位置検知応用例についての説明図である。 図8に示したPC5における位置検知制御についての説明図である。 位置検知開始制御の処理動作を示すフローチャートである。 位置検知開始制御動作のフローチャートにおける入力値と各テーブルの状態を示す説明図である。 位置検知ファイル制御動作を示すフローチャートである。 位置検知ファイル制御動作のフローチャートにおける位置検知登録ファイルの状態を示す説明図である。 文書座標算出制御動作を示すフローチャートである。 文書座標算出制御動作のフローチャートにおける入力値と表示文書座標と文書座標の状態を示す説明図である。 画面座標算出制御動作を示すフローチャートである。 画面座標算出制御動作のフローチャートにおける入力値と表示文書座標と文書座標の状態を示す説明図である。 表示文書領域算出制御動作を示すフローチャートである。 表示文書領域算出制御動作のフローチャートにおける各テーブルと表示文書座標の状態を示す説明図である。 スクロール制御動作を示すフローチャートである。 スクロール制御動作のフローチャートにおける入力値と各テーブルの状態を示す説明図である。 文書座標表示制御動作を示すフローチャートである。 文書座標表示制御動作のフローチャートにおける入力値と各テーブルの状態を示す説明図である。 位置検知終了制御動作を示すフローチャートである。 登録ファイル開始動作を示すフローチャートである。 登録ファイル開始動作のフローチャートにおける入力値と位置検知登録ファイルと位置検知制御テーブルの状態を示す説明図である。 カレント垂直ライン番号検出動作を示すフローチャートである。 カレント水平ライン番号検出動作を示すフローチャートである。 垂直ライン位置表示動作を示すフローチャートである。 垂直ライン位置表示動作のフローチャートにおける入力値の状態を示す説明図である。 水平ライン位置表示動作を示すフローチャートである。 水平ライン位置表示動作のフローチャートにおける入力値の状態を示す説明図である。 垂直位置検知情報検出動作を示すフローチャートである。 垂直位置検知情報検出動作のフローチャートにおける各テーブルの状態を示す説明図である。 水平位置検知情報検出動作を示すフローチャートである。 水平位置検知情報検出動作のフローチャートにおける各テーブルの状態を示す説明図である。 垂直スクロールライン数検出動作を示すフローチャートである。 水平スクロールライン数検出動作を示すフローチャートである。 垂直ライン座標検出動作を示すフローチャートである。 垂直ライン座標検出動作のフローチャートにおける入力値と垂直ライン座標テーブルの状態を示す説明図である。 水平ライン座標検出動作を示すフローチャートである。 水平ライン座標検出動作のフローチャートにおける入力値と水平ライン座標テーブルの状態を示す説明図である。 垂直ライン長描画方式検出動作を示すフローチャートである。 垂直ライン長描画方式検出動作のフローチャートにおける位置検知制御テーブルの状態を示す説明図である。 水平ライン長描画方式検出動作を示すフローチャートである。 水平ライン長描画方式検出動作のフローチャートにおける位置検知制御テーブルの状態を示す説明図である。 垂直ライン長画像抽出方式動作を示すフローチャートである。 垂直ライン長画像抽出方式検出動作のフローチャートにおける位置検知制御テーブルの状態を示す説明図である。 水平ライン長画像抽出方式動作を示すフローチャートである。 水平ライン長画像抽出方式検出動作のフローチャートにおける位置検知制御テーブルの状態を示す説明図である。 文書表示固定動作を示すフローチャートである。 文書表示固定動作のフローチャートにおける位置検知制御テーブルの状態を示す説明図である。 文書表示固定解除動作を示すフローチャートである。 文書表示固定解除動作のフローチャートにおける位置検知制御テーブルの状態を示す説明図である。 本発明にかかるPC会議システムの各種の形態を説明するシステム構成図である。 本発明の第2の実施の形態にかかるPC会議システムの概略構成を示すブロック図である。 PC会議制御データの構成データを示す説明図である。 上書き操作にかかる説明図である。 上書きストロークデータの説明図である。 会議主催開始方法の説明図である。 会議参加開始方法の説明図である。 PC画面統一方法の説明図である。 特定位置の文書を表示する処理方法の説明図である。 上書き再描画方法の説明図である。 第2の実施の形態にかかる操作権移動方法の説明図である。 第2の実施の形態にかかる操作権移動方法の説明図である。 第2の実施の形態にかかる上書き編集操作例(1)を示す説明図である。 第2の実施の形態にかかる上書き編集操作例(2)を示す説明図である。 第2の実施の形態にかかる上書きの設定を説明する図である。 第2の実施の形態にかかる初期化制御動作を示すフローチャートである。 第2の実施の形態にかかる会議主催の制御動作を示すフローチャートである。 第2の実施の形態にかかる会議参加制御動作を示すフローチャートである。 第2の実施の形態にかかる表示監視制御動作を示すフローチャートである。 第2の実施の形態にかかるネットワーク制御動作を示すフローチャートである。 第2の実施の形態にかかるPC画面統一パケット受信制御動作を示すフローチャートである。 第2の実施の形態にかかる上書きパケット受信制御動作を示すフローチャートである。 第2の実施の形態にかかる上書き消去パケット受信制御動作を示すフローチャートである。 第2の実施の形態にかかる操作権パケット受信制御動作を示すフローチャートである。 第2の実施の形態にかかる上書き制御動作を示すフローチャートである。 第2の実施の形態にかかる上書き制御動作を示すフローチャートである。 第2の実施の形態にかかる上書きツールバー制御動作を示すフローチャートである。 第2の実施の形態にかかる操作権ツールバー制御動作を示すフローチャートである。 第2の実施の形態にかかる上書き表示制御動作を示すフローチャートである。 第2の実施の形態にかかる上書き描画制御動作を示すフローチャートである。 第2の実施の形態にかかる上書き消去制御動作を示すフローチャートである。 第2の実施の形態にかかる上書き編集制御動作を示すフローチャートである。 第2の実施の形態にかかる上書き編集ツールバー制御動作を示すフローチャートである。
符号の説明
1…表示装置、3…タッチパネル、5…PC、7…座標算出制御装置、9…LED、11…フォトトランジスタ、13…座標指示物、15…PC、16…電子ペン、17…タッチパネル、19…強化ガラス、21…液晶ディスプレイユニット、23…電磁誘導センサーユニット、25…共振回路、27…センサーコイル、29…座標検知制御装置、31…送受切替スイッチ、33…交流電源、35…X軸コイル切替スイッチ、41…タッチパネルドライバ、51…応用部、53…位置検知開始制御部、55…位置検知ファイル制御部、57…文書座標算出制御部、59…画面座標算出制御部、61…表示文書領域算出制御部、63…スクロール制御部、65…文書座標表示制御部、67…位置検知終了制御部、69…位置検知制御テーブル、71…スクロール情報テーブル、73…垂直ライン座標テーブル、75…水平ライン座標テーブル、110…表示一体型座標入力装置、200…PC画面、201…文書作成プログラム、202…PC会議制御プログラム、204…初期化制御部、205…表示監視制御部、206…上書き制御部、207…ネットワーク制御部、208…制御データ、209…会議ファイル、210…上書きファイル、211…パケットデータ、212…会議開始パケット、213…会議ファイルパケット、215…上書きパケット、216…上書き消去パケット、217…操作権パケット、218…会議終了パケット、219…会議制御データ、220…PC画面統一制御データ、221…上書き制御データ

Claims (16)

  1. コンピュータにおいて、
    オペレーティングシステム上で動作する任意のアプリケーションプログラムが表示する表示文書について、スクロールボックスの移動による文書の移動量を検出する際に、移動前に所定の位置に描画した線の移動後の位置の座標に基づいて、文書の移動量を検出する文書位置情報検出手段を有することを特徴とするコンピュータ。
  2. 文書表示を行なうアプリケーションが実行されている上書情報処理装置であって、
    前記アプリケーションが実行されている表示画面の情報を取得する表示画面取得手段と、
    前記アプリケーションが実行されている表示画面から、文書表示領域の座標を特定する座標特定手段と、
    前記文書表示領域への上書描画を検知する入力検知手段と、
    前記座標と前記描画とを対応づけ記憶させる記憶制御手段と、を備え、
    前記表示画面取得手段が、スクロールボックスの移動による文書の移動量を検出する際に、移動前に所定の位置に描画した線の移動後の位置の座標に基づいて前記文書表示領域の文書の移動量を検出する文書位置情報検出手段を有することを特徴とする上書情報処理装置。
  3. 前記文書位置情報検出手段が、文書表示領域の画像を取得し、当該取得した画像を文書領域上へ重ねて表示し、スクロールボックスの移動を実行することを特徴とする請求項2記載の上書情報処理装置。
  4. 前記文書位置情報検出手段が、文書上へ透明ウィンドウを表示し、スクロールボックス移動により文書をスクロール表示することを特徴とする請求項2記載の上書情報処理装置。
  5. 前記文書位置情報検出手段が、プログラム毎のスクロール情報を検出し、該検出したスクロール情報を登録し、文書を表示するプログラムを自動認識して、登録されたスクロール情報がある場合、スクロール情報の検出を不要とすることを特徴とする請求項2記載の上書情報処理装置。
  6. 前記座標特定手段は、前記記憶手段に記憶されている座標に基づいて、表示画面における文書表示領域に対応させる描画を特定する機能を有することを特徴とする請求項2記載の上書情報処理装置。
  7. 文書表示を行なうアプリケーションを実行する上書情報処理方法であって、
    表示画面取得手段により前記アプリケーションが実行されている表示画面の情報を取得するステップと、
    座標特定手段により前記アプリケーションが実行されている表示画面から、文書表示領域の座標を特定するステップと、
    入力検知手段により前記文書表示領域への描画を検知するステップと、
    記憶制御手段により前記座標と前記描画とを対応づけて記憶させるステップと、を備え、
    前記表示画面の情報を取得するステップが、スクロールボックスの移動による文書の移動量を検出する際に、移動前に所定の位置に描画した線の移動後の位置の座標に基づいて前記文書表示領域の文書の移動量を検出する文書位置情報検出ステップを有することを特徴とする上書情報処理方法。
  8. 文書表示を行なうアプリケーションを実行するにあたり、
    表示画面取得手段により前記アプリケーションが実行されている表示画面の情報を取得するステップと、
    座標特定手段により前記アプリケーションが実行されている表示画面から、文書表示領域の座標を特定するステップと、
    入力検知手段により前記文書表示領域への描画を検知するステップと、
    記憶制御手段により前記座標と前記描画とを対応づけて記憶させるステップと、を備え、
    前記表示画面の情報を取得するステップが、スクロールボックスの移動による文書の移動量を検出する際に、移動前に所定の位置に描画した線の移動後の位置の座標に基づいて前記文書表示領域の文書の移動量を検出する文書位置情報検出ステップを有する上書情報処理方法をコンピュータによって実現するプログラム。
  9. 文書表示を行なうアプリケーションを実行するにあたり、
    表示画面取得手段により前記アプリケーションが実行されている表示画面の情報を取得するステップと、
    座標特定手段により前記アプリケーションが実行されている表示画面から、文書表示領域の座標を特定するステップと、
    入力検知手段により前記文書表示領域への描画を検知するステップと、
    記憶制御手段により前記座標と前記描画とを対応づけて記憶させるステップと、を備え、
    前記表示画面の情報を取得するステップが、スクロールボックスの移動による文書の移動量を検出する際に、移動前に所定の位置に描画した線の移動後の位置の座標に基づいて前記文書表示領域の文書の移動量を検出する文書位置情報検出ステップを有する上書情報処理方法をコンピュータによって実現するプログラムを記憶した記憶媒体。
  10. ネットワーク上に、それぞれが会議情報表示手段を備えたコンピュータ装置としての複数のPC端末をPC会議参加端末として接続し、前記複数のPC端末のうち1台を随時PC会議操作権端末とし、PC会議操作権端末上で表示されている会議情報としての表示文書とその上書き情報とを他の前記PC端末それぞれで画面出力して電子会議を行なう電子会議方法において、
    前記PC会議操作権端末の文書位置情報検出手段が、オペレーティングシステム上で動作する任意のアプリケーションプログラムが前記会議情報表示手段で表示する前記表示文書の位置を水平スクロールバー情報、垂直スクロールバー情報、表示ウィンドウ情報から検知するとともに、スクロールボックスの移動による文書の移動量を検出する際に、移動前に所定の位置に描画した線の移動後の位置の座標に基づいて文書表示領域の文書の移動量を検出して送出し、
    他の前記PC会議参加端末の位置整合手段が、受信した前記検知された水平スクロールバー情報、垂直スクロールバー情報、表示ウィンドウ情報、並びに前記スクロールボックスの移動により検出された情報に対応させて、自機の前記会議情報表示手段上に表示された前記会議情報としての表示文書の表示状態を、送信元のPC会議操作権端末と同一表示状態にすることを特徴とする電子会議方法。
  11. ネットワーク上に、それぞれが会議情報表示手段を備えたコンピュータ装置としての複数のPC端末をPC会議参加端末として接続し、前記複数のPC端末のうち1台を随時PC会議操作権端末とし、PC会議操作権端末上で表示されている会議情報としての表示文書とその上書き情報とを他の前記PC端末それぞれで画面出力して電子会議を行なう電子会議方法において、
    前記PC会議操作権端末の文書位置情報検出手段が、オペレーティングシステム上で動作する任意のアプリケーションプログラムが前記会議情報表示手段で前記表示文書を表示する作業ウィンドウの位置、サイズの変化を検知するとともに、スクロールボックスの移動による文書の移動量を検出する際に、移動前に所定の位置に描画した線の移動後の位置の座標に基づいて文書表示領域の文書の移動量を検出して送出し、
    前記PC会議参加端末の位置整合手段が、受信した情報に対応させて、自機の前記会議情報表示手段上に表示された前記会議情報としての表示文書を表示している作業ウィンドウの表示状態を、送信元のPC会議操作権端末と同一表示状態にすることを特徴とする電子会議方法。
  12. 前記PC会議操作権端末の文書位置情報検出手段が、オペレーティングシステム上で動作する任意のアプリケーションプログラムが表示する会議情報としての表示文書の別な表示文書への切替え変更を検知した場合に、
    前記PC会議参加端末が、前記変更された別な表示文書のファイルを前記会議情報として取得するとともに、対応させて同一状態に再表示することを特徴とする請求項11または11に記載の電子会議方法。
  13. 前記PC会議操作権端末の文書位置情報検出手段が、オペレーティングシステム上で動作する任意のアプリケーションプログラムが表示する会議情報としての表示文書への上書きが行われた場合に、上書き文字等の上書き操作の画面上座標を取得して当該画面上座標を文書座標に変換するとともに、スクロールボックスの移動による文書の移動量を検出する際に、移動前に所定の位置に描画した線の移動後の位置の座標に基づいて文書表示領域の文書の移動量を検出して、前記PC会議参加端末へ送信し、且つ、前記文書座標を自機に保存し、
    前記PC会議参加端末が、前記会議情報表示手段上に表示された前記会議情報としての表示文書に対して当該画面上座標により前記上書き内容を描画して、前記文書資料上への上書きを同一にするとともに、前記スクロールボックスの移動により検出された情報に対応させて同一表示状態にし、且つ、当該画面上座標を文書座標に変換して保存することを特徴とする請求項10乃至12のいずれか1項に記載の電子会議方法。
  14. 前記PC会議操作権端末が、前記会議情報表示手段上に表示された表示文書の前記上書き内容が全部または一部、消去された場合に、当該上書き消去操作の画面上座標を取得して、前記PC会議参加端末へ送信し、且つ、当該消去した文書座標を前記自機に保存された文書座標から削除し、
    前記PC会議操作権端末の文書位置情報検出手段が、当該画面座標により上書き文字を消去して、前記文書資料上への上書き内容を同一にするとともに、当該画面座標に基づき消去した上書き文字の文書座標を算出して、当該消去した文書座標を前記保存された文書座標から削除することを特徴とする請求項13に記載の電子会議方法。
  15. 表示文書の切替え変更時、表示中の表示領域文書空間を算出し、算出結果に合わせて保存文書座標を画面座標へ変換して再描画することにより、会議資料上の上書き内容を同一にすることを特徴とする請求項13または14に記載の電子会議方法。
  16. 前記PC会議操作権端末が、必要に応じて、上書きが実行された表示文書のファイルを表示し、保存した上書き情報から上書き時の位置へ上書き情報を再描画し、その後、当該上書きの追加、削除等の編集処理が可能なことを特徴とする請求項13乃至15のいずれか1項に記載の電子会議方法。
JP2008103654A 2007-07-31 2008-04-11 コンピュータ、上書情報処理装置、上書情報処理方法、プログラム、記憶媒体、および電子会議方法 Expired - Fee Related JP5320800B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008103654A JP5320800B2 (ja) 2007-07-31 2008-04-11 コンピュータ、上書情報処理装置、上書情報処理方法、プログラム、記憶媒体、および電子会議方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007200009 2007-07-31
JP2007200009 2007-07-31
JP2008103654A JP5320800B2 (ja) 2007-07-31 2008-04-11 コンピュータ、上書情報処理装置、上書情報処理方法、プログラム、記憶媒体、および電子会議方法

Publications (2)

Publication Number Publication Date
JP2009054134A JP2009054134A (ja) 2009-03-12
JP5320800B2 true JP5320800B2 (ja) 2013-10-23

Family

ID=40505128

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008103654A Expired - Fee Related JP5320800B2 (ja) 2007-07-31 2008-04-11 コンピュータ、上書情報処理装置、上書情報処理方法、プログラム、記憶媒体、および電子会議方法

Country Status (1)

Country Link
JP (1) JP5320800B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011008354A (ja) * 2009-06-23 2011-01-13 Ricoh Co Ltd 情報処理装置、文書データ削除方法及び文書データ削除プログラム
JP2011215875A (ja) * 2010-03-31 2011-10-27 Fujitsu General Ltd コラボレーションシステム及びそのプログラム
JP6047917B2 (ja) * 2012-05-07 2016-12-21 セイコーエプソン株式会社 投写型表示装置
KR102162914B1 (ko) * 2019-03-08 2020-10-20 (주)이즈커뮤니케이션즈 콘텐츠 데이터 기반의 컬래버레이션 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4942922B2 (ja) * 2004-09-15 2012-05-30 株式会社リコー 電子会議システムおよび電子会議方法
JP4695957B2 (ja) * 2005-10-13 2011-06-08 クラリオン株式会社 ナビゲーション装置

Also Published As

Publication number Publication date
JP2009054134A (ja) 2009-03-12

Similar Documents

Publication Publication Date Title
EP2498237B1 (en) Providing position information in a collaborative environment
US9335860B2 (en) Information processing apparatus and information processing system
EP2498485B1 (en) Automated selection and switching of displayed information
US8698873B2 (en) Video conferencing with shared drawing
US10620898B2 (en) Method to exchange visual elements and populate individual associated displays with interactive content
Myers et al. Interacting at a distance using semantic snarfing
JP2005056425A (ja) コンテンツ供給システム、方法、及び、コンピュータプログラムプロダクト
CN107643884B (zh) 用于至少两台计算机和一个屏幕交互的方法和系统
JP5320800B2 (ja) コンピュータ、上書情報処理装置、上書情報処理方法、プログラム、記憶媒体、および電子会議方法
JP6595896B2 (ja) 電子機器及び表示制御方法
JP2017211494A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
CN112825022A (zh) 显示装置、显示方法、介质
CN112805664A (zh) 输入装置、输入方法、程序和输入系统
JP2009098990A (ja) 表示装置
EP3330842A1 (en) Touch panel type information terminal device, information input processing method therefor, and program
JP7452155B2 (ja) 手書き入力装置、手書き入力方法、プログラム
JP2023184557A (ja) 表示装置、表示方法、プログラム
EP2701388A2 (en) Method for processing event of projector using pointer and an electronic device thereof
JP2016514274A (ja) ディスプレイ装置に表示された文字の色相変更装置及び方法
WO2023249715A1 (en) Augmenting shared digital content with dynamically generated digital content to improve meetings with multiple displays
JP2015018426A (ja) 情報表示装置
DE102016204692A1 (de) Steuerung der Mehrfachauswahl auf berührungsempfindlichen Flächen
Zhang et al. Developing and Deploying a Real-World Solution for Accessible Slide Reading and Authoring for Blind Users
JP7420016B2 (ja) 表示装置、表示方法、プログラム、表示システム
JP2019219965A (ja) 共有端末、筆記方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110207

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130701

LAPS Cancellation because of no payment of annual fees