JP5002498B2 - 情報処理装置、表示制御方法およびプログラム - Google Patents

Description

本発明は、ＯＳ上で動作する各アプリケーションの文書表示状態をそのアプリケーションに関する表示状態の情報を取得して送信者等の意図の透明化が図れるようにその文書表示時の状態に表示設定することのできる情報処理装置、表示制御方法およびプログラムの発明に関する。

図２を参照しながら、従来技術の問題点について説明する。
図２では、Windows、MAC ＯＳ、Linux等などの汎用ＯＳ（Operating System）上で動作するアプリケーションプログラム（以下、単にアプリケーションという）の一般的な表示状態を示している。

図２に示すように、あるアプリケーションを汎用のＯＳ上で立ち上げて使用してユーザの端末機（情報処理装置）の表示画面にある文書情報を表示している場合について説明する。現在のアプリケーションでは、キーボードなどの文字入力・変換等により文字情報が入力された文書ファイルを表示画面で表示しながら、マウスあるいは表示画面あるいはその他のGUI、UIなどで手書き情報、あるいはある情報の埋め込みなどを付加する機能も追加可能にユーザフレンドリーにされてきている。たとえばこのような元のファイル上に、ある位置を特定位置として、文書表示領域の左上端を原点とする座標（Ｘ０,Ｙ０）で示したとする。この上記ファイルが複数ページに亘る場合ではさらにページ分だけ複雑さが増す。しかし１ページのみのファイルでも、この文書等のファイルに上記したような手書きを加えたとし、これを表示したとする（このときを文書表示時という）。これを元のファイルと、その上書き情報の手書きファイルも前記した元のファイルと関連つけて保存しておく。これらの一連のファイルを他の者が有する端末に、ネットワークを介して配信するとする。そのアプリケーションも公知のものを使用する。通常のアプリケーションでは、元のファイルを開いたとしてもその上書きで作成された手書き情報がその特定のページを開いた際に表示される機能は付与されてはいない。その上、その特定ページの上記したたとえば手書きで形成された情報も同時に表示して特定位置を表示することまでは考慮されてはいない。

このような状況下にあって、汎用のＯＳで動作しているコンピュータに使用されるアプリケーションでは、そのコンピュータの使用者（使用登録者：ユーザＡ）の設定あるいは好みに従い、文字の大きさを調整することができるように拡大・縮小表示機能を各アプリケーション自体で独立して持っている（図２（Ａ）参照）。

そして拡大または縮小する時に、文書位置はその位置が（Ｘ１、Ｙ１）となり、１画面上におけるある座標（Ｘ０、Ｙ０）と異なる文書位置を示すことになる（図２（Ｂ）参照）。

このように、アプリケーションの文書表示領域のサイズ調整が可能なので、ある情報をユーザＢ（たとえばホストあるいは指示者端末など）から受信し、その情報が見られるようにあるアプリケーションを立ち上げる。このような状況下に指示者が意図するページと同ページを他者の情報処理装置を用いてそのページを開けたとしても、アプリケーションの各使用者による設定の変更、あるいはバージョンなどの違いが反映されて各受信者において、その画面表示の条件が異なる。このために、特に手書きなどによる上書き情報（付加情報）が、元（文書表示時）と同じ場所を指し示しているのか、ずれているのか、その配信者であるユーザＢからの指摘箇所（文書表示時の状態）を即座に見出すことは極めて困難である。これが、一般的なアプリケーションの欠点ともなっている（図２（Ｂ）参照）。そしてその後、これらの配信者からの重要な指示内容が上書きとして連続的に情報が送られてくる場合などでは、その配信者の指示等の意図が判らずに不明確なままで受信者に伝わることとなる。受信者が多数存在する場合、その数に従い配信者は元情報（文書表示時情報）がそのままで配信されたものと確認せざるを得ないこととすると、配信者の負担は膨大となってしまう。

このような結果、企業競争の初動の差によって予想外に敗退し、その後の企業活動の制限等、あるいは重要な指示のその箇所が受信者毎にバラバラ、あるいはまちまちであるために信用の欠損なども生じたりする事態も生じるという惧れがある。さらに緊急連絡を配信するような場合に危機管理上の重大な情報が主旨とずれて各受信者にバラバラに配信されてしまい、各受信者は統一した行動等を取れず、過失を見逃したままでの行動の維持継続などという事態も起こり得る。

配信者などのユーザＢにとっては、その特定位置を即座にユーザＡに確認してもらうことが第１義である。たとえユーザＡがそのアプリケーションを開き、その画面を表示し得たとしても、文書表示領域のサイズを調整がされて、ライン毎の文書内容（各字の縦横の比率）が維持される（すなわち各文字が相似に表示される）のが一般的なアプリケーションである。このようなアプリケーションでの実行の結果、送られてくる情報がｍ行ｎ字でページ設定されている情報のファイルをユーザＡ（ユーザＡ端末）ではｉ行ｋ字で設定されているとする。この場合、ライン幅が狭くなると自動的に次のラインへ移動する設定がされるようなアプリケーションでは、文書位置は（X2,Y2）となり、変化前の（X0,Y0）は異なる文書位置を示す。その結果、その箇所以外のところが表示され、最悪の場合、肝心な箇所が表示されないという問題点が発生することも起こり得る。これらの設定を配信される情報毎に受信端末側で一々行うのであれば、受信者側でのアプリケーション表示の手間が膨大ともなってしまう。

また上記のことは１座標点でのことであり、点でなく手書き情報などではさらに複雑化される。そして各受信者端末表示上で異なってしまうため受信者数が増大するに従いさらに複雑化されることになる。しかも情報がユーザＢ（ユーザ端末Ｂ）から連続して送られてくるような場合には、さらに時間的要素も加わり、それを見誤ったり、あるいは見落としたり、結局、送信者側の意図が何ら反映されないという問題点があった（図２（Ｃ）参照）。

文書上のページ、その特定ページのそのページにおける位置までをも特定するためには、表示倍率、表示サイズが送り元のものと同一であることが必要条件である。ユーザＢが指示者（ホスト）であり、ユーザＡが従者（スレイブあるいはゲスト）の関係であっても、ユーザＢの意図が即座に反映されない装置、システムあるいは方法では、結局、産業の発達を阻害することも有り得る。前記したように、特に仕事上のシェアが関係する場合、緊急性の情報伝達の必要な際など、互いの意思疎通が特に重要なケースにおいて上記したものは重要な機能とも言える。

このような技術に関連する発明として特許文献１には、アプリケーションプログラムなどを変更せずにウィンドウ表示の記録再生を可能にするために、入力手段からの入力データを入力イベントとしてアプリケーションプログラムに送信するとともに、該アプリケーションプログラムからの表示出力要求を解釈して出力手段に出力するウインドウ表示制御方法において、前記アプリケーションプログラムへの入力イベントと該アプリケーションプログラムからの表示出力要求の通信を中継プログラムにより仲介し、前記アプリケーションプログラムへの入力イベントと該アプリケーションプログラムからの表示出力要求を記録し、該記録された表示出力要求を予め定まった規則にしたがって変換し再生して前記出力手段に出力することを特徴とするウインドウ表示制御方法の発明が開示されている（特許文献１の特許請求の範囲など）。

しかしながら、この発明は入力装置からの入力データ、出力装置への出力データを中継することによりウィンドウ表示の記録再生を可能に制御する発明であり、前記した機能を十分に発揮する発明とは言えない。

また特許文献２には、画面解像度が変更した際に１つのコントロールでアプリケーションに表示された複数のコントロールの表示位置を自動的に制御するために、画面解像度をメモリから取得し、この取得した画面解像度の変化比率を求め、アプリケーション内で使用されている全てのコントロールの識別子を取得し、その識別子を基に各コントロールの表示位置を変更するコントロールを作成し、これをアプリケーションに組み込むことによってアプリケーション・ソフト間でデータを連携する機能であるオブジェクト・リンキング・アンド・エンベッディング（OLE）の表示位置を指定画面解像度に合わせて自動的に調整することを特徴とするコントロールの表示制御方法（請求項１）が、開示されている。また以下に示す発明も開示されている。

この公報に記載の発明はＯＳがウィンドウズを用いたアプリケーションで、他のアプリケーションに提供するCOM（コンポーネントオブジェクトモデル）を介してコントロール（アプリケーションの部品）を制御する方法である。この公報にも本発明のアプリケーションを動作させてファイルを開くと送られた送信者の意図に従って送られたファイルの特定のページを開かせた上に特定の箇所に注意を向けさせたりすることのできる機能を有する点に関する発明は、開示されてはいない。

また特許文献３には、挿入位置の状況に基づいて、データ入力パネルなど、データ入力ユーザインタフェースの振舞いを制御する技術を開示するとされている。この公報には、データ入力ユーザインタフェースを制御する方法であって、データ入力ユーザインタフェースを制御するために挿入位置の特徴を取得すること、および、前記挿入位置の前記取得した特徴に基づいてデータ入力ユーザインタフェースを制御することを備えたことを特徴とする方法の発明が開示されている（特許文献３の特許請求の範囲など）。

ソフトウェアシステムプロセスがホストしているソフトウェアアプリケーションプロセスにデータを挿入するために前記データ入力ユーザインタフェースを表示することをさらに備え、前記挿入位置の前記特徴は、前記ソフトウェアアプリケーションプロセスによって提供されることを特徴とする請求項１に記載の方法（同文献の請求項１３）、

ソフトウェアシステムプロセスがホストしているソフトウェアアプリケーションプロセスにデータを挿入するために前記データ入力ユーザインタフェースを表示することをさらに備え、前記挿入位置の前記特徴は、前記ソフトウェアシステムプロセスによって提供されることを特徴とする請求項１に記載の方法（同文献の請求項１４）、

ソフトウェアシステムプロセスがホストしているソフトウェアアプリケーションプロセスにデータを挿入するために前記データ入力ユーザインタフェースを表示すること、前記ソフトウェアアプリケーションプロセスのデータ入力フォーカス状態に関するフォーカスメッセージを受信すること、および、前記受信したフォーカスメッセージに基づいて前記データ入力ユーザインタフェースの動作をさらに制御することをさらに備えたことを特徴とする請求項１に記載の方法（同文献の請求項１５）、

ソフトウェアシステムプロセスがホストしているソフトウェアアプリケーションプロセスにデータを挿入するために前記データ入力ユーザインタフェースを表示すること、前記ソフトウェアアプリケーションプロセスによって提供されるアプリケーションユーザインタフェースのアプリケーションユーザインタフェース状態に関するアプリケーションユーザインタフェースメッセージを受信すること、および、前記受信したアプリケーションユーザインタフェースメッセージに基づいて前記データ入力ユーザインタフェースの動作をさらに制御することをさらに備えたことを特徴とする請求項１に記載の方法（同文献の請求項１６）。

しかしこの公報にも本発明のアプリケーションを動作させてファイルを開くと送られた送信者の意図に従って送られたファイルの特定のページ上に一体として上書き的に情報が付与されて特定の箇所に注意が向けることのできる機能を有する点に関する発明は、開示されてはいない。

なお特許文献４は本願発明者による発明であり、データ量を膨大にせずにコンピュータの操作内容を記録でき、専用の固定されたシステムに限定されず、例えば記録時と再生時の環境が異なる場合であっても不具合なく再生が可能なコンピュータ操作記録再生方式を提供することを目的としてなされたものである。そして、その解決手段も本願発明とは異なった発明である。
特開平９−８１４１９号公報 特開２００２−２５１２７７号公報 特開２００４−２３４６５１号公報 特開２００５−６３２７９号公報

本発明は特に２台以上の各ユーザ端末がネットワークを介して連結され、その１台（ホストまたはマスター）の命令あるいは指示内容を含むファイルを受信可能なユーザ端末（ゲストまたはスレイブ）を提供することを目的とする。また、本発明はこの端末装置でＯＳを立ち上げ、前記ファイルを開くアプリケーションにより開いて表示させ、そのファイルのあるページに手書きのマークが表示されて配信者がどう意図してこれを付して配信したかなど、前記装置の表示画面の大きさ、そのアプリケーションのバージョン、表示設定などの条件に左右されることなく配信者等が意図したようにファイルを表示可能な情報処理装置を提供することを目的とする。

上記の課題を達成するため、本発明は以下の特徴を有する。
本発明にかかる情報処理装置は、
ＯＳ（Operating System）上で動作するアプリケーションプログラムを特定するためのアプリケーション識別情報を取得し、前記アプリケーション識別情報に対する前記アプリケーションプログラムによる表示制御情報を取得し、受信された電子文書を当該電子文書に対する上書きと共に表示するように前記表示制御情報に基づいて制御する制御手段を有し、
前記制御手段は、前記アプリケーションプログラムにおけるリスト表示領域の画像に基づいて前記リスト表示領域中の選択位置を特定し、前記選択位置に対応するマウスクリックを出力する、ことを特徴とする。

本発明によれば、任意のアプリケーションが表示する文書の文書位置を特定することが可能となるので文書位置検知により利便性の向上を図れるアプリケーションの開発あるいは既に開発されたアプリケーションの性能の向上化が可能となる。

以下、図面を参照しながら、本発明の情報処理装置について、実施形態により詳細に説明する。

本発明の情報処理装置は、表示画面と、入力手段であるマウス（タブレット）、キーボードなどを有して構成されるパーソナルコンピュータなどのコンピュータ機能を有する装置で構成されている。本装置は、他の装置とネットワークを介して接続されており、ある装置をホストまたはマスターとし、あるいはゲストまたはスレイブ、あるいはサブとするように設定可能にできる機能を備えている。

本装置では、ＯＳとして、上記したような汎用のＯＳを搭載し、その他、ホスト装置、スレイブ（ゲスト）装置では、独立してアプリケーションプログラムを１以上備えて構成されている。たとえばホスト装置として、図１（Ｂ）に示すように、プロジェクタ機能を有するコンピュータあるいはコンピュータ機能を有するプロジェクタが例示されている。

このプロジェクタからネットワークを介して送られた情報は、ユーザＡの端末装置であるコンピュータ（ゲスト）１に受信される。

その情報を開くアプリケーションはそのホストから送られてきた情報を開けることが可能である場合にコンピュータ１では、ダブルクリック等の操作により容易に表示がなされる。この際に本発明の情報処理装置１は、そのアプリケーションによりホストから送られた情報が、そのホストで開いたページのところがゲスト装置で見られるのと同一の表示でこの情報処理装置１上の表示部に表示される機能を有して構成されている。そしてその表示の際に、ホストで位置を指定した箇所（座標表示）と同じ箇所がゲスト装置において直ちに指定された箇所として表示される。

このようなゲスト装置の機能を有するためには、以下のような方法を本装置（ゲスト装置）において、実行することによって行われる。本発明の情報処理装置では、そのために、ＯＳ（Operating System）上で動作するアプリケーションプログラムを特定するためのアプリケーション識別情報を取得し、前記アプリケーション識別情報に対する前記アプリケーションプログラムによる表示倍率、フォントタイプ、表示領域サイズを含む表示制御情報を取得して受信された文書をその文書の修正された上書きを前記文書と共に表示された時にその上書きがなされた時の条件をそのまま維持して前記文書が表示されるように制御される制御手段を有することを特徴とする。この制御手段としてはアプリケーションと情報処理装置内のハードウェア資源であるCPUなどの連動により、形成されたものであってもよい。本発明の情報処理装置のハードウェア構成は通常知られているものを用いることができ、少なくとも本体と、表示部と入力部（マウス、キイボード、タブレットなど。UI、GUIも入力部等に含まれる）とを有している。ＯＳは本体内のHDD上に常駐しているが、アプリケーションは原則としては常駐しているが使用するときは存在する以外常駐まではしないことも有り得る。たとえばメモリ中に記録されているかあるいは少なくともあるメモリ中にファイルとしてアプリケーションは情報処理装置が動作している場合には存在する状態であるような場合も含む。たとえばファイルをチップ状（スティック状）のメモリとして持ち歩き、USBポートでこれを他人の情報処理装置に連結して自機として動作させるようにすることもできる場合も含んでいる。

図３を用いて、まず文書表示制制御コントロール検出方法１について説明する。なお前提として、ホストコンピュータ（たとえばユーザＢ）から、ある情報がゲスト（ユーザ端末Ａ）に送られるものとする。この送られる情報として、文書情報が送られる情報としては、その文書情報の他にこの文書の今開けているページ番号の情報、位置の特定情報、さらにこの文章を上書きした情報などを有して構成されている。この上書きの透明シート（図９中の１参照）が画面上で見られる表示内容を、どのユーザ端末でも共通表示でき、たとえば送信者端末側が上司であり、受信端末側が受け手が部下である場合に、受け手の端末では部下があるレポートをまとめ、そのレポート内容を上司に報告して承認を得るような一連の仕事を例にする。

この場合、部下は端末１から上司にその作成したレポートをファイルとして、ネットを介して上司端末に送信する。上司側では送られたレポートのあるページに間違い、あるいは何の説明か不明な用語があることを指摘するため、その部分を線で囲んだ情報（手書き情報）を上書き情報としてファイルのあるページと関連させて保存する（ここでは上司端末の表示部には、そのあるページの内容と、その表示された表示部上には手書きなどで指し示した箇所とを示した状態（文書表示時の状態）のこと）。この修正したファイルには上書き情報中に修正箇所を示す情報が存在する。この修正ファイルはあるアプリケーションにより作成されたファイルである。この修正ファイルを上司はネットを介して部下に配信する。部下は通常使用している端末以外の端末でこのファイルを正当に受信したとする。この正当に受信されたファイルを、アプリケーションは完備しているがそのバージョンが通常使用している端末と異なっているもので開くとする。部下は例えばこの社のコンペチターなどを含む中で、あるユーザにプレゼンテーションするため、前ファイルを上司に送り、これを上司が上書きを加えた情報を送り返したものである。本発明の情報処理装置では部下はファイルをあるアプリケーションにより開き、あるページを見るとそのページの表示上に、その上書き情報が付加された状態（すなわち文書表示時）でファイルを見ることができる。このようにして上司の指示箇所を見て部下はその上司の指示の意図を間違いなく把握しその後の迅速な統一化した行動が間違わずに取ることが可能にできるという効果も本発明では得ることができる。

本発明の情報処理装置等の発明について、以下その動作の手順を分説する。
まず文書表示コントロール検出について、図３〜５を参照しながら説明する。

[１．文書表示コントロール検出]
（１） マウスクリック座標にある最前面のウィンドウ情報（ウィンドウ左上端座標、ウィンドウ幅、ウィンドウ高さ、ウィンドウクラス名、ウィンドウ名等の情報を含む）をＯＳが提供するＡＰＩ（アプリケーションインターフェース）により検出する（図３（Ａ）および（Ｂ）参照）。
（２） 次に文書表示コントロールの存在するツールバー（図３（Ｃ）中の２）上をクリックすると、表示制御コントロール親ウィンドウ情報が検出される。
（３） また表示コントロール（図３（Ｃ）中の３）上をクリックすると、表示制御コントロールウィンドウ情報が検出される。
（４） 表示コントロールがダイアログボックス上にある場合も同様に、親ウィンドウ情報（図３（Ｄ）の４）、表示コントロールウィンドウ情報を検出する（図３（Ｄ）の矢印参照）。得られた表示コントロール識別の例を図４（Ａ）に示す。
（５） ＯＳが提供するＡＰＩによりアプリケーション識別情報（アプリケーション名、製品名、バージョン情報を含む）を、アプリケーション識別テーブルから検出する。得られたアプリケーション識別例を図４（Ｂ）に示す。
（６） 図５に示すように、検出情報を「アプリケーション制御情報」ファイル（アプリケーション制御情報サーバ６）へ保存する。
この情報を基にアプリケーション固有の表示制御を行う。

次にコントロールについて説明する。
[２．コントロール]
以下、コントロールに汎用ＯＳとしてMicrosoft Windows（米国マイクロソフト社の登録商標）を用い、このＯＳ上で動作する例により、情報処理装置１のコントロール（およびその制御方法）を、図６を参照しながら説明する。
（１） ＯＳが提供するＡＰＩにより、「親クラス名」、「親ウィンドウ名」と一致するウィンドウを検索し、ウィンドウ識別（ウィンドウハンドル）を取得する（図６（Ａ）中の１参照）。
（２） 同様に親ウィンドウ内にある「表示制御クラス名」、「表示制御ウィンドウ名」と一致するウィンドウを検索し、ウィンドウ識別を取得する（図６（Ａ）中の２参照）。
（３） ＯＳが提供するＡＰＩによりダイアログボックス（本例ではポップアップメニュー）を表示するショートカットキー（Control+V等の押下により表示される）出力をエミュレートする（図６（Ａ）中の３参照）。
（４） ＯＳが提供するＡＰＩによりウィンドウハンドルから表示制御コントロールのオブジェクトポインタを取得し、コントロールが提供する機能を実行することにより表示制御値を取得し設定する（図６（Ｂ）の４参照）。
Ａ 表示制御ウィンドウハンドル（From Handle（N））から「ＣＥｄｉｔ」コントロールのオブジェクトポインタを取得する（pEdit=（Cedit*）From Handle（N）：図６（Ｂ）のＡ参照）。
Ｂ 表示中の値（１２５％）を取得する（ｐＥｄｉｔ-＞Get Line（）：図６（Ｂ）のＢ参照）。
Ｃ 値を設定表示する（図６（Ｂ）のＣ参照）。
（５） ＯＳが提供するＡＰＩによりウィンドウハンドルから表示制御コントロールのオブジェクトポインタを取得し、コントロールが提供する機能を実行することにより選択索引番号を入力し、設定する（図６（Ｃ）の５参照）。
Ａ ショートカットキー（たとえばControl+Vキーを押下して表示）入力をエミュレートし、ダイアログボックスを表示する（図６（Ｃ）のＡ参照）。
Ｂ 表示制御ウィンドウハンドル（M）から「CListBox」コントロールのオブジェクトポインタを取得し、選択索引番号を取得する（図６（Ｃ）のＢ参照）。
Ｃ 表示制御ウィンドウハンドル（M）から「CListBox」コントロールのオブジェクトポインタを取得し、選択索引番号を設定する（図６（Ｃ）のＣ参照）。
上記のコントロールで用いたコントロールクラス関数例を図６（Ｄ）に示す。

次に文書表示制御情報設定について、図７を参照しながら説明する。
[３．文書表示制御情報設定]
（１） ＯＳが提供するＡＰＩにより、親クラス名、親ウィンドウ名と一致するウィンドウを検索し、ウィンドウ識別（ウィンドウハンドル）を取得する。そして親ウィンドウ内にある表示制御クラス名、表示制御ウィンドウ名と一致するウィンドウを検索し、ウィンドウハンドルを取得し、このウィンドウハンドルから表示制御コントロールのオブジェクトポインタを取得し、オブジェクトをアクティブにする（図７（Ａ）の１参照）。これによりマウスデータ、キーボードデータがオブジェクトへ渡る。
（２） キーボード出力エミュレートＡＰＩ（Keybd_event（））により表示制御値を設定する（図７（Ａ）中の２参照）。
（３） 「Return」キーにより設定値を確定する（図７（Ａ）中の３参照）。
（４） ショートカットキー（Control+V）出力をエミュレートし、ダイアログボックスを表示する（図７（Ｂ）中の４参照）。
（５） 表示制御コントロールのオブジェクトポインタを取得し、表示制御ウィンドウの左上端座標（WX、WY）、ウィンドウ幅（WW）、ウィンドウ高（WH）を取得する（図７（Ｃ）中の５参照）。
（６） オブジェクトをアクティブにし選択索引番号を設定する（図７（Ｃ）中の６参照）。
（７） 上端座標（X=WX+WW-１、Y=WY）から長さ（WH）の１ライン画像を取得し、背景画像（白）と異なる画素を検索する（図７（Ｃ）中の７参照）。
（８） マウス座標（X=WX+WW/２、Y=WY+TP+１）上で左クリックをエミュレートし、項目選択を確定する（図７（Ｄ）中の８参照）。

次に文書位置整合機能制御について、図８を参照しながら説明する。
[４．文書位置整合機能構成]
（１） アプリケーション識別を取得し、アプリケーション毎の表示情報検出制御を実行する（表示制御情報検出制御：図８中の１参照）。
（２） アプリケーション制御情報から表示制御コントロールオブジェクトを取得し、表示倍率、フォントタイプ（MSゴシック等）、表示タイプ（太字等）等の表示制御情報をアプリケーションのバージョン毎に取得する（アプリケーション検出制御：図８の２参照）。
（３） アプリケーション識別を取得し、アプリケーションごとの表示情報設定制御を実行する（表示制御情報設定制御：図８中の３参照）。
（４） アプリケーション制御情報から表示制御コントロールオブジェクトを取得し、表示倍率、フォントタイプ（MSゴシック等）、表示タイプ（太字等）等の表示制御情報をバージョン毎に設定する（アプリケーション設定制御：図８中の４参照）。
（５） 画面上マウス座標を、先頭ページ左上端を原点とする文書座標へ変換する（文書位置検出制御：図８中の５参照）。
（６） 文書座標の文書を画面へ表示する（文書位置表示制御：図８中の６参照）。
（７） 文書上へ手書き文字、図形、画像等描画、文書位置と関連付け保存する（上書き描画制御：図８中の７参照）。
（８） 画面表示文書上への描画を描画時の文書位置へ表示する（上書き表示制御：図８中の８参照）。
（９） 文書スクロール表示、描画ペン色選択等ユーザーインターフェース機能を実行する（UI制御：図８中の９参照）。

次に図９を参照しながら、文書位置整合応用例として文書上へメモ、補足説明等の目的で手書き文字描画する上書き応用例について説明する。本発明では上書きという場合、このような透明シート状の情報をどのページと関連付けて表示するかを決定する情報を、各スレーブ機（情報処理装置１）に送ることによって、ある特定ページに書き込みを加えたりして、この画像を他の情報処理装置に表示させて１画面上で指示されたあるアプリケーションでも動作が、上書き動作となって、ネットワークを介して情報処理装置１、１’、・・・、に伝達される。透明ウィンドウは１シートとしての機能であってもよく、複数シートの機能（すなわち何回の上書き行うことが可能な機能）を有していてもよい。

[５．上書き応用例]
（１） 文書上へ背景が透けて見える透明ウィンドウを表示し、この透明ウィンドウ上に描画することにより文書上へ描画したように表示する（図９（Ａ）の１に示すように、透明ウィンドウは、重ねても下の文字が透けて見えるため文章上に配置しても下のウィンドウ内の情報が丸見えになってしまう。この透明ウィンドウを図９（Ａ）においてその端の部分を三角に折りたたんだ部分としてこの図では示している。）。
（２） 文書上でのマウスドラッグ操作によりマウス座標間に予め選択されている太さと、色で線描画することにより手書き文字を描画する（図９（Ａ）中の２の線で描いた部分が手書きしたものを示す。）。これらの情報は図９（Ｂ）に示すように、上書きデータファイルに好ましくは保存される。
（３） アプリケーション毎に文書表示位置に影響を与える情報（文書表示領域サイズ、表示倍率、フォントタイプ等）を取得し保存する（図９（Ｃ）が保存されるデータのデータ構造例を示す）。
（４） 上書きデータを文書位置と関連付けて保存する（図９（Ｃ）中の４参照）。
（５） 上書きデータファイルに保存されている上書き操作時の文書表示領域サイズ、表示倍率、フォントタイプに、アプリケーションを設定する（図９（Ｄ）中の５参照）。
（６） 表示文書位置を検出し、表示文書への上書きデータを検索表示する（図９（Ｄ）中の６参照）。

次に表示制御情報検出制御６の流れを、図１０を参照しながら説明する。
[６．表示制御情報検出制御フロー]

本フローは、文書位置整合応用アプリケーションを実行することにより実行される。
（１） アプリケーションのアプリケーション識別情報（ウィンドウハンドル、アプリケーション名、アプリケーションバージョン）を取得する（図１０中の１参照）。
（２） 取得したアプリケーション制御情報ファイルから、「アプリケーション名」、「アプリケーションバージョン」が一致するアプリケーション制御情報を入力し、検索する（図１０中の２参照）。
（３） アプリケーションウィンドウの中から「文書表示領域クラス名」、「文書表示領域ウィンドウ名」が一致する文書表示ウィンドウを検索し、オブジェクトポインタ（pWnd）を取得する（図１０中の３参照）。
（４） 文書表示オブジェクトの文書表示領域サイズを取得する（図１０中の４参照）。
（ＯＳとしてWindowsを用いた例では次の様にする：pWnd→GetWindowRect（）；※関数名のみ示す（以下同様））
（５） アプリケーション名に対するアプリケーション検出制御を実行し、アプリケーション毎の表示制御情報を取得する（図１０中の５参照）。
（６） 取得した取得値を呼び出し元（文書位置整合応用アプリケーション）へ渡す（図１０中の６）。

次に図１１を参照しながら表示制御情報設定制御に関する流れを図１１を参照しながら説明する。

[７．表示制御情報設定制御フロー]
本フローは、文書位置整合応用アプリケーションにより、保存データにより実行内容を再現する時に、実行時の「文書表示領域サイズ」、「表示倍率」、「フォントタイプ」等の表示制御情報を入力値として用いて実行するフローである。
（１） アプリケーションのアプリケーション識別情報（ウィンドウハンドル、アプリケーション名、アプリケーションバージョン情報）を取得する（図１１中の１参照）。
（２） アプリケーション制御情報ファイルから、「アプリケーション名」、「アプリケーションバージョン」が一致するアプリケーション制御情報を入力し検索する（図１１中の２参照）。
（３） アプリケーションウィンドウの中から「文書表示領域クラス名」、「文書表示領域ウィンドウ名」が一致する文書表示ウィンドウを検索し、オブジェクトポインタ（pWnd）を取得する（図１１中の３参照）。
（４） 文書表示オブジェクトの文書表示領域サイズを、入力値「文書表示領域サイズ」に設定する（図１１中の４参照）。
（ＯＳとしてWindowsを用いた例では次のようにする： pWnd→MoveWindow（）； ）
（５） アプリケーション名に対するアプリケーション設定制御を実行、表示状態を設定する（図１１中の５参照）。

次に図１２を参照しながらアプリケーション検出制御についての流れを説明する。
[８．アプリケーション検出制御フロー]

本フローは、アプリケーション制御情報を入力値として表示制御情報を取得するフローである。

実際にはキー入力値取得、リスト選択値取得はアプリケーションにより数、組み合わせが異なる。
（１） 入力値「アプリケーションバージョン」と一致するバージョン処理を実行する（図１２中の１参照）。
（２） アプリケーションバージョンのキー入力値表示制御情報を取得する（図１２中の２参照）。
（３） アプリケーションバージョンのリスト選択表示制御情報を取得する（図１２中の３参照）。

以下、このアプリケーションのバージョンが同じになるまで上記した（１）〜（３）と同様の処理が実行され、表示制御情報の取得値を得る。

次に図１３を参照しながらアプリケーション設定制御方法９に関しての流れを説明する。

[９．アプリケーション設定制御フロー]
本方法は、表示制御情報、アプリケーション制御情報を入力値として表示制御情報を設定する方法である。
※実際にはキー入力値設定、リスト選択値設定はアプリケーションにより数、組み合わせが異なる。
（１） 入力値「アプリケーションバージョン」と一致するバージョン処理を実行する（図１３中の１参照）。
（２） アプリケーションバージョンのキー入力値表示制御情報を設定する（図１３中の２参照）。
（３） アプリケーションバージョンのリスト選択値表示制御情報を設定する（図１３中の３参照）。

以下、このアプリケーションのバージョンが同じになるまで上記した（１）〜（３）と同様の処理が実行され、リスト選択値表示制御情報の取得値を得る。

次に図１４を参照しながらキー入力値取得制御方法１０に関しての流れを説明する。
[１０．キー入力値取得制御フロー]
（１） 入力値「アプリケーションハンドル」からアプリケーションオブジェクトポインタ（pWnd）を取得する（図１４中の１参照）。
（ＯＳとしてWindowsを用いた例では次の様にする。：pWnd=FromHandle（）； ）
（２） アプリケーションオブジェクの子ウィンドウを検索し、入力値「親クラス名」「親ウィンドウ名」と一致する親オブジェクトポインタを取得する（図１４中の２参照）。
（ＯＳとしてWindowsを用いた例では次の様にする。： pWnd→GetTopWindow（）； pWnd→GetNextWindow（ GW_HWNDNEXT ）； ）
（３） 親オブジェクトの子ウィンドウを検索し、入力値「表示制御クラス名」「表示制御ウィンドウ名」と一致する表示制御オブジェクトポインタ（pEdit）を取得する（図１４中の３参照）。
（４） 表示制御オブジェクト機能によりキー入力値（表示制御情報）を取得する（図１４中の４参照）。
（ＯＳとしてWindowsを用いた例では以下の様にする。：pEdit→GetLine（）； ）
（５） キー入力値を呼び出し、元へ渡す（図１４中の５参照）。

次に図１５を参照して、リスト選択値取得制御フローについて説明する。
[１１．リスト選択値取得制御フロー]

（１） 入力値の「アプリケーションハンドル」からアプリケーションオブジェクトポインタ（pWnd）を取得する（図１５中の１および表参照）。
（２） アプリケーションをアクティブにする（図１５中の２参照）。
（ＯＳとしてWindowsを用いた例では以下の様にする。： pWnd→SetActiveWindow（）； ）
（３） 親ウィンドウ表示に設定されているショートカットキーをエミュレート出力し、親ウィンドウを表示する（図１５中の３参照）。
（４） 入力値「親クラス名」「親ウィンドウ名」と一致するポップアップウィンドウを検索し、親オブジェクトポインタを取得する（図１５中の４参照）。
（ＯＳとしてWindowsを用いた例では次の様にする。：pWnd→GetLastActivePopup（）； ）
（５） 親オブジェクトの子ウィンドウを検索し、また入力値「表示制御クラス名」「表示制御ウィンドウ名」と一致するウィンドウを検索して、表示制御オブジェクトポインタ（pList）を取得する（図１５中の５参照）。
（６） 表示制御オブジェクト機能によりリスト選択値を取得する（図１５中の６参照）。
（ＯＳとしてWindowsを用いた例：pList→GetCurSel（）； ）
（７） リスト選択値を呼び出し元へ渡す（図１５中の７参照）。

次にキー入力値設定制御に関して図１６を参照しながらフローを説明する。
[１２．キー入力値設定制御フロー]
（１） 入力値「アプリケーションハンドル」からアプリケーションオブジェクトポインタ（pWnd）を取得する（図１６中の１参照）。
（ＯＳとしてWindowsを用いた例： pWnd = FromHandle（）； ）
（２） アプリケーションオブジェクトの子ウィンドウを検索し、入力値「親クラス名」「親ウィンドウ名」と一致する親オブジェクトポインタを取得する（図１６中の２参照）。
（ＯＳとしてWindowsを用いた例： pWnd→GetTopWindow（）； pWnd→GetNextWindow（ ）； ）
（３） 親オブジェクトの子ウィンドウを検索し、また入力値「表示制御クラス名」「表示制御ウィンドウ名」と一致するウィンドウを検索して、表示制御オブジェクトポインタ（pEdit）を取得する（図１６中の３参照）。
（４） 表示制御ウィンドウをアクティブにする（図１６中の４参照）。
（ＯＳとしてWindowsを用いた例：pEdit→SetActiveWindow（（）； ）
（５） キー入力値をキーエミュレート出力する（図１６中の５参照）。
（ＯＳとしてWindowsを用いた例：Keybd_ｅｖｅｎｔ（）； ）
（６） Returnキーエミュレート出力により確定する（図１６中の６参照）。

次にリスト選択値設定制御について、図１７のフローチャートを参照しながら説明する。

[１３．リスト選択値設定制御フロー]
（１） 入力値「アプリケーションハンドル」から、アプリケーションオブジェクトポインタ（pWnd）を取得する（図１７中の１参照）。
（２） アプリケーションをアクティブにする（図１７中の２参照）。
（ＯＳとしてWindowsを用いた例： pWnd→SetActiveWindow（）； ）
（３） 親ウィンドウ表示に設定されているショートカットキーをエミュレート出力し、親ウィンドウを表示する（図１７中の３参照）。
（４） 入力値「親クラス名」「親ウィンドウ名」と一致するポップアップウィンドウを検索し、親オブジェクトポインタを取得する（図１７中の４参照）。
（ＯＳとしてWindowsを用いた例： pWnd→GetLastActivePopup（）； ）
（５） 親オブジェクトの子ウィンドウを検索し、また入力値「表示制御クラス名」「表示制御ウィンドウ名」と一致するウィンドウを検索して、表示制御オブジェクトポインタ（pList）を取得する（図１７中の５参照）。
（６） 表示制御オブジェクト機能によりリスト選択値を設定する（図１７中の６参照）。
（ＯＳとしてWindowsを用いた例：pList→SetCurSel（）； ）
（７） リスト表示領域を取得する（図１７中の７参照）。
（ＯＳとしてWindowsを用いた例： plist→GetWindowRect（）； ）
（８） リスト表示領域右端垂直１ライン画像を取得する（図１７中の８参照）。
（９） 取得画像から選択画素を検索し、選択位置座標を算出する（図１７中の９参照）。
（１０） 選択座標上での左ボタンクリックをエミュレート出力する（図１７中の１０参照）。
（ＯＳとしてWindowsを用いた例： mouse_ｅｖｅｎｔ（）； ）

以上のように、マスターなどから送られた情報は、本発明の情報処理装置１によって、その情報が受け取られ、そのファイルはある所定のアプリケーションによって情報処理装置の表示部で表示される。そしてこのファイルには、このファイルと関連して上書き情報が付随しており、この上書きの情報はこのアプリケーションにより開くとあるページの上書きされ付加された情報がそのページと共に表示画面に表示される。上書き情報はマスター画面で表示された時と同じように情報処理装置１の表示部上で特定のページが表示されるとそのページの上に重ね合わされて表示される。その結果、その上書きは１以上の透明ウィンドウ情報となっており、その特定のページが表示された際に、その上に重ね合わされて１表示としてどの情報処理装置においても共通のあるページ情報として再現されて見ることができる。このため、本発明では、各情報処理装置間に情報の伝達のズレが発生せず、マスターで送った情報がそのままに表示され、各情報処理装置間の操作者の好みに応じたファイルの開き方によらず、いわば配信者がその画面上で表示した状態のままで各情報処理装置上で再現されることになる。このため、各受信者間で表示画像の違いによる情報の不正確さを生じることがない。マスター装置では、透明ウィンドウにより取り込まれる情報（上書き情報）が１つであり、これがある特定ページと関連付けされており、この取り込んで作成されたいわゆる上書き情報は、透明ウィンドウが１以上から形成されており、これが１以上の情報処理装置１、１’、・・・、に配信される。この一連の情報をファイル情報として受け取った情報処理装置１は、このファイルがアプリケーションに開かれた際に、個々の情報処理装置１、１’、・・・のバージョンの違い、その操作者の好み、画面設定などの違いのため、その大元（配信者：マスター）のファイル情報の上に上書き情報がそのファイルを開いてその特定のページが開かれた際にそのページに関連した上書き情報も同時に表示される。この際に各情報処理装置上の表示装置では、マスターの表示上で行われた上書きの表示と一致して表示画面上で見ることができ、全情報処理装置１、１‘’、・・・上で、いわば同一の事象として各操作者の設定ではなく、配信者のそのままの情報が変形される余地が生じることなく伝達される。したがって各情報処理装置１から情報を得る各ユーザには、アプリケーションの表示設定の違いによる情報の変化は生じる惧れがなく、これによる情報伝達のあいまいさを抑制することが可能である。

また文書表示倍率、表示フォント等の情報を他のアプリケーションプログラムへ通知する機能を提供するアプリケーションは１部（Office等）に限られ、その他の殆どのアプリケーションはこれを包含するようにはなっていない。

このため本発明は任意のアプリケーションの表示倍率、フォントタイプ等、文書表示状態に影響を与える情報の取得、設定を可能にできる。

またメニューバー上のボタン情報は編集可能なものがあり位置が変更されることがある場合など、マウスクリックのエミュレーションによりボタン機能を実行しても目的のボタン機能が実行される。
またコントロールの機能により値を設定した場合、コントロールの値（表示値）は変更されるがこの値が文書の表示状態を制御するコントロールまで伝わらず文書の表示状態が変更されないのを確実に変更可能となる。

さらにコントロール（機能）としてはコントロールのリスト項目の位置（座標）をアプリケーションに通知する機能を提供していないのを取得する機能を提供できる。

また、たとえば本発明では、相互に情報の上書きができるようにすることもできるので、２人あるいはそれ以上の間で交互に情報伝達ができる。この場合に、上書き描画方法としては、特開２００７−３１０７２８号公報に記載してあるように、以下の方法を用いることができる。

（上書き描画方法）
図１８（Ａ）〜（Ｃ）は、文書上へ手書き文字や図形を上書き描画する上書き描画方法を説明するための図である。この上書き描画方法は、上記した文書位置検知技術の応用例として、既存の文書上へ明示、補足説明等を行う目的で手書き文字や図形を描画し、再度同ページが表示されたときに再表示を行う場合である。

図１８（Ａ）に示すように、任意のアプリケーションプログラムで作成された文書上に、全画面サイズの透明ウィンドウ（背景が透過されるウィンドウ）１２０を表示する。そして、ペンや指などの座標指示物を用いて当該文書上へ手書き文字（図形）を描画する。この時の描画軌跡１２１は、図１８（Ａ）のＡ→Ｂ→Ｃ→Ｄ→Ｅ→Ｆ→Ｇ→Ｈ→Ｉ→Ｊ→Ａという順序でマウスデータが入力されると、各座標間を予め設定されている線色（ストローク色）と線幅（ストローク太さ）にて線描画される。

そして、図１８（Ｂ）の上書きデータファイルに示すように、上書きが実行された文書ファイル名１２２、文書を表示するＡＰＬ（アプリケーション）プログラムの識別情報として、ＡＰＬウィンドウタイトル１２３、ＡＰＬウィンドウクラス１２４、文書表示領域の識別情報として文書領域ウィンドウタイトル１２５、文書領域ウィンドウクラス１２６をそれぞれ取得し、その上書きデータファイルに保存する。

さらに、上述したページ追加やページ削除による検知情報として文書総ライン数１２７を算出して保存し、画面座標を文書座標１２８へ変換して、保存する。

また、図１８（Ｃ）に示す画面上の表示領域文書空間を算出し、その表示領域文書空間内となる文書座標を図１８（Ｂ）の上書きデータファイルから検索して画面座標に変換する。そして、変換した画面座標間を所定のストローク色とストローク太さとで線描画することで、文書上に手書き文字や図形の描画軌跡１２９が上書きされたものを再表示することができる。

上記したように、本発明の情報処理装置は上記した機能を搭載しているため、様々な高度な情報交換システム、重要な情報の伝達システム、教育システムなど、幅広く利用可能な情報処理装置、位置検出（海上における航路確認）方法などとして、重要である。

本発明の情報処理装置を含む情報処理システムの例を示す図である。 従来技術の問題点について説明するための図である。 文書表示制制御コントロール検出方法を説明するための図である。 （Ａ）は図３の方法により得られた表示制御コントロール識別の例を示し、（Ｂ）はアプリケーション識別情報の例を示す図である。 図３の方法により得られた検出情報のファイルに保存されるアプリケーション制御情報の例を示す図である。 ＯＳとしてMicrosoft Windowsを用いてコントロール制御する方法の動作例を説明するための図である。 文書表示制御情報設定方法について説明するための図である。 文書位置整合制御に係るアプリケーションを用いた動作例について説明するための図である。 文書位置整合応用例として文書上へメモ、補足説明等の目的で手書き文字描画する場合について説明するための図である。 表示制御情報検出制御方法の流れを説明するためのフローチャートである。 表示制御情報設定制御方法に関する流れを説明するためのフローチャートである。 アプリケーション検出制御に関する流れを説明するためのフローチャートである。 アプリケーション設定制御に関する流れを説明するためのフローチャートである。 キー入力値取得制御に関する流れを説明するためのフローチャートである。 リスト選択値取得制御に関する流れを説明するためのフローチャートである。 キー入力値設定制御に関する流れを説明するためのフローチャートである。 リスト選択値設定制御に関する流れを説明するためのフローチャートである。 ホスト装置として動作する場合の上書き描画方法について説明するための図である。

符号の説明

１、１’、１” 情報処理装置
１１ 表示部（本体）
１２ マウス
１３ キイボード
１４ タブレット

Claims (10)

1. ＯＳ（Operating System）上で動作するアプリケーションプログラムを特定するためのアプリケーション識別情報を取得し、前記アプリケーション識別情報に対する前記アプリケーションプログラムによる表示制御情報を取得し、受信された電子文書を当該電子文書に対する上書きと共に表示するように前記表示制御情報に基づいて制御する制御手段を有し、
   前記制御手段は、前記アプリケーションプログラムにおけるリスト表示領域の画像に基づいて前記リスト表示領域中の選択位置を特定し、前記選択位置に対応するマウスクリックを出力する、ことを特徴とする情報処理装置。
2. 前記制御手段は、前記リスト表示領域の垂直方向の１ラインの画像に基づいて前記選択位置を特定する、ことを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御情報は、表示倍率、フォントタイプ、表示領域サイズを含む、ことを特徴とする請求項１または２記載の情報処理装置。
4. 前記制御手段は、上書きがされた時の条件のままで前記電子文書を表示すように制御する、ことを特徴とする請求項１から３の何れか１項に記載の情報処理装置。
5. 前記制御手段は、前記ＯＳが提供する制御プログラムが用いられて表示制御コントロールのオブジェクトポインタを取得し、前記表示制御コントロールにより前記表示制御情報を取得する、ことを特徴とする請求項１から４の何れか１項に記載の情報処理装置。
6. 前記制御手段は、ショートカットキー入力をエミュレートすることにより、表示制御入力ダイアログボックスメニューを表示し、前記表示制御情報に基づいて制御する、ことを特徴とする請求項１から５の何れか１項に記載の情報処理装置。
7. 前記制御手段は、キーボード入力をエミュレートすることにより、文字入力値を他のアプリケーションに設定する、ことを特徴とする請求項１から６の何れか１項に記載の情報処理装置。
8. 前記制御手段は、マウスクリックをエミュレートすることにより、リスト選択値を他のアプリケーションに設定する、ことを特徴とする請求項１から７の何れか１項に記載の情報処理装置。
9. ＯＳ（Operating System）上で動作するアプリケーションプログラムを特定するためのアプリケーション識別情報を取得し、前記アプリケーション識別情報に対する前記アプリケーションプログラムによる表示制御情報を取得し、受信された電子文書を当該電子文書に対する上書きと共に表示するように前記表示制御情報に基づいて制御する制御工程を有し、
   前記制御工程は、前記アプリケーションプログラムにおけるリスト表示領域の画像に基づいて前記リスト表示領域中の選択位置を特定し、前記選択位置に対応するマウスクリックを出力する、ことを特徴とする表示制御方法。
10. ＯＳ（Operating System）上で動作するアプリケーションプログラムを特定するためのアプリケーション識別情報を取得し、前記アプリケーション識別情報に対する前記アプリケーションプログラムによる表示制御情報を取得し、受信された電子文書を当該電子文書に対する上書きと共に表示するように前記表示制御情報に基づいて制御する制御処理を、コンピュータに実行させ、
    前記制御処理は、前記アプリケーションプログラムにおけるリスト表示領域の画像に基づいて前記リスト表示領域中の選択位置を特定し、前記選択位置に対応するマウスクリックを出力する、ことを特徴とするプログラム。

Images