JP5447525B2 - 情報処理装置、情報処理装置の制御方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置への情報の入力を容易にする技術に関する。

ユーザが端末に文字などを入力する場合、端末の画面が小さいと、画面に表示されている領域と、文字などが入力される領域と、が離れている場合に、入力が困難となる。

具体的には、端末が画像を縮小して全ての画像を表示した場合、画像に含まれる文字等も縮小されてしまうので、ユーザは、入力済の文字等を読みにくくなり、入力操作がしにくい。

文字を読みやすくするため、特許文献１に記載された端末は、画面を２つの領域に分け、一方の領域に文章全体を表示し、その文章の一部を他方の領域に拡大表示している。

入力を容易にするため、特許文献２に記載された端末は、表示すべき画像のサイズが端末の画面に比べて大きい場合、画像を端末の画面に合ったサイズに変更して表示している。

特開２００４−３４９９６５号公報 特開２００６−２７６６９８号公報

しかし、特許文献１、２に記載された端末（情報処理装置）においても、ユーザは、依然として端末を操作しにくいことがあった。

特許文献１に記載された端末では、ユーザが文章全体を表示する領域で文字入力する場合、文字が縮小表示されるため、文字入力が困難であった。また、拡大表示する領域でユーザが文字入力する場合は、入力位置まで画像をスクロールする必要があり、操作が煩雑であった。

特許文献２に記載された端末では、画像のリサイズにより、文章のレイアウトが崩れてしまうことがある。例えば、リサイズ前に行末にあった改行位置が、リサイズ後に行の途中に位置することとなってしまう。このため、ユーザは実際のものとは異なる画像を見ながら入力を行うことになり、入力が困難になることがあった。

本発明は、情報処理装置において、入力操作を容易にする技術を提供することを目的とする。

上記目的を達成するために、本発明の情報処理装置は、
所定のアプリケーションを実行することにより、全体画像を生成する全体画像生成部と、
ユーザが情報を入力するための操作を行った操作時刻を取得する操作時刻取得部と、
前記全体画像生成部により生成された前記全体画像が変化した場合、該全体画像のうち変化のあった領域を含む矩形領域を変化領域として取得するとともに、該全体画像が変化した変化時刻を取得する画像変化取得部と、
前記操作時刻取得部により取得された前記操作時刻と前記画像変化取得部により取得された前記変化時刻との差が所定値以下であれば、前記画像変化取得部により取得された前記変化領域を、前記ユーザが情報を入力している操作領域として取得する操作領域取得部と、
前記全体画像取得部により生成された前記全体画像のうち情報処理装置の画面に表示する矩形領域を参照領域として取得し、前記操作領域取得部により取得された前記操作領域を該参照領域に合成して操作領域付画像を生成する操作領域付画像生成部と、
を有する。

本発明の情報処理装置の制御方法は、
全体画像生成部が、所定のアプリケーションを実行することにより、全体画像を生成し、
操作時刻取得部が、ユーザが情報を入力するための操作を行った操作時刻を取得し、
画像変化取得部が、前記全体画像生成部により生成された前記全体画像が変化した場合、該全体画像のうち変化のあった領域を含む矩形領域を変化領域として取得するとともに、該全体画像が変化した変化時刻を取得し、
操作領域取得部が、前記操作時刻取得部により取得された前記操作時刻と前記画像変化取得部により取得された前記変化時刻との差が所定値以下であれば、前記画像変化取得部により取得された前記変化領域を、前記ユーザが情報を入力している操作領域として取得し、
操作領域付画像生成部が、前記全体画像取得部により生成された前記全体画像のうち情報処理装置の画面に表示する矩形領域を参照領域として取得し、前記操作領域取得部により取得された前記操作領域を該参照領域に合成して操作領域付画像を生成する、情報処理装置の制御方法である。

本発明のプログラムは、
コンピュータに、
所定のアプリケーションを実行することにより、全体画像を生成する全体画像生成手順、
ユーザが情報を入力するための操作を行った操作時刻を取得する操作時刻取得手順、
前記画像生成手順で生成された前記全体画像が変化した場合、該全体画像のうち変化のあった領域を含む矩形領域を変化領域として取得するとともに、該全体画像が変化した変化時刻を取得する画像変化取得手順、
前記操作時刻取得手順で取得された前記操作時刻と前記画像変化取得手順で取得された前記変化時刻との差が所定値以下であれば、前記画像変化取得手順で取得された前記変化領域を、前記ユーザが情報を入力している操作領域として取得する操作領域取得手順、及び
前記全体画像取得手順で生成された前記全体画像のうち情報処理装置の画面に表示する矩形領域を参照領域として取得し、前記操作領域取得手順で取得された前記操作領域を該参照領域に合成して操作領域付画像を生成する操作領域付画像生成手順、
を実行させるためのプログラムである。

本発明によれば、操作時刻と画面が変化した変化時刻との差が所定値以下であれば、変化した領域を操作領域として、参照領域にその操作領域を合成した画像を生成するので、ユーザは、参照領域を参照しながら、操作領域に情報を入力できる。このため、入力操作が容易となる。

本発明の第１の実施形態の端末の一構成例を示すブロック図である。 本発明の第１の実施形態の操作情報の内容を示す表である。 本発明の第１の実施形態の画像変化検出部の一構成例を示すブロック図である。 本発明の第１の実施形態の画像変化情報の内容を示す表である。 本発明の第１の実施形態の操作領域検出部の一構成例を示すブロック図である。 本発明の第１の実施形態の表示画像生成部の一構成例を示すブロック図である。 本発明の第１の実施形態の端末の動作を示すフローチャートである。 本発明の第１の実施形態の操作領域検出処理を示すフローチャートである。 本発明の第１の実施形態の操作領域付画像生成処理を示すフローチャートである。 本発明の第１の実施形態の端末の動作の一例を示すシーケンス図である。 本発明の第１の実施形態の全体画像の一例である。 本発明の第１の実施形態の参照領域の一例である。 本発明の第１の実施形態の全体画像の一例である。 本発明の第１の実施形態の操作領域の一例である。 本発明の第１の実施形態の操作領域付画像の一例である。 本発明の第１の実施形態の全体画像の一例である。 本発明の第１の実施形態の操作領域の一例である。 本発明の第１の実施形態の現操作領域の一例である。 本発明の第２の実施形態の端末及び計算機の一構成例を示すブロック図である。 本発明の第３の実施形態の端末及び計算機の一構成例を示すブロック図である。

本発明を実施するための形態について図面を参照して詳細に説明する。

図１は、本実施形態の端末１の構成を示すブロック図である。端末１は、パーソナルコンピュータなどの情報処理装置である。図１に示すように、端末１は、操作部１０、キー操作検出部２０、画像変化検出部３０、操作領域検出部４０、表示画像生成部５０、及び表示部６０を有する。

操作部１０は、キーボードやマウスなどの入力用のデバイスである。

操作部１０は、操作部１０の動作を検出して入力情報を生成し、キー操作検出部２０及び表示画像生成部５０に入力する。入力情報は、操作部１０をユーザがどのように操作したかを示す情報であり、ユーザが操作したキーの種別の情報等が含まれる。

キー操作検出部２０は、操作部１０から入力情報を受け取ると、端末１内に設けられた時計（不図示）から時刻を取得する。そして、キー操作検出部２０は、取得した時刻を操作時刻として記録し、また、受け取った入力情報からキーの種別を読み出す。

キー操作検出部２０は、ユーザが操作したキーの種別とその操作時間とを示す操作情報を生成し、操作情報を操作領域検出部４０へ出力する。

図２は、操作情報の内容を示す表である。図２を参照すると、操作情報には「操作キー種別」及び「操作時刻」が対応付けて格納される。「操作キー種別」は、ユーザにより操作されたキーの種別である。図２には、操作キー種別の例として、数字キーとエスケープキー（ＥＳＣキー）が記述されている。「操作時刻」は、「操作キー種別」に対応するキーについて操作が行われた時刻である。

図３は、画像変化検出部３０の一構成例を示すブロック図である。図３を参照すると、画像変化検出部３０は、画像変化情報取得部３０１及び全体画像記憶部３０２を有する。

画像変化情報取得部３０１は、表示画像生成部５０から、周期的に全体画像情報を取得する。画像変化情報取得部３０１は、取得した全体画像情報を全体画像記憶部３０２に格納する。

ここで、全体画像情報は、端末１の画面に画像を表示するためのアプリケーションを実行することにより生成された、加工されていない全体画像を示す画像情報である。このアプリケーションは、例えば、テキストデータを生成、編集するためのアプリケーションである。アプリケーションの実行により生成された画像の解像度が、端末１で表示可能な画像の解像度よりも高い場合、端末１は、生成された画像をそのままでは、表示しきれない。そこで、端末１は、その画像の一部を切り出したり、その画像を縮小したりして表示する。画像変化情報取得部３０１が取得する全体画像情報は、切り出し、縮小等の加工前の全体画像を示す画像情報である。

画像変化情報取得部３０１は、２回目以降に全体画像情報を取得したとき、前回取得した全体画像情報を全体画像記憶部３０２から読み出し、今回取得した全体画像情報と比較する。

画像変化情報取得部３０１は、全体画像情報の示す全体画像のうち、変化のあった領域を含む矩形領域（変化領域）を検出する。

そして、画像変化情報取得部３０１は、検出した変化領域を特定するための情報と、検出した時刻を示す情報と、を含む画像変化情報を生成する。

画像変化情報取得部３０１は、全体画像を比較後、今回取得した全体画像情報で、全体画像記憶部３０２に格納された全体画像情報を更新する。

図４は、画像変化情報の内容を示す表である。図４を参照すると、画像変化情報には、「変化領域座標」及び「変化時刻」が対応付けて格納される。

「変化領域座標」は、変化領域の頂点のうち、対向する２つの頂点（例えば左上の頂点と、右下の頂点）の座標である。「変化時刻」は、「変化領域座標」に対応する変化領域が検出された時刻である。

図５は、操作領域検出部４０の一構成例を示すブロック図である。図５を参照すると、操作領域検出部４０は、操作領域判断部４０１及び現操作領域記憶部４０２を有する。

操作領域判断部４０１は、キー操作検出部２０から操作情報を取得し、画像変化検出部３０から画像変化情報を取得する。操作領域判断部４０１は、操作情報の示すキーのうち特定のキーに対応する操作時刻と、画像変化情報の示す変化時刻とを比較する。

変化時刻と操作時刻とを比較する対象のキーは、文字入力に用いられるキーとする。操作情報の示すキーが、ファンクションキーやエスケープキーなど、文字入力に通常使用されないキーであれば、そのキーについての操作時刻は変化時刻との比較から除かれる。

操作時刻と変化時刻との差が所定の閾値以下であれば、操作領域判断部４０１は、画像変化情報の示す変化領域は操作領域であると判断する。

ここで、操作領域は、画像変化検出部３０が全体画像を取得する周期内においてユーザが操作を行った結果、変化が生じた領域である。例えば、ユーザがキー操作を行い、入力した文字を表示することにより変化した領域が変化領域に該当する。一方、ユーザがキー操作をしなくとも、例えば、スクリーンセーバーが動作することによっても画像は変化するが、このような変化領域は、操作領域に該当しない。

そして、操作領域判断部４０１は、現操作領域記憶部４０２から現操作領域情報を読み出す。この現操作領域情報は、現操作領域を特定するための情報である。

現操作領域について説明する。前述したように、画像変化情報取得部３０１は一定の周期で、全体画像情報を取得し、操作領域検出部４０は、変化時刻と操作時刻とを比較することで操作領域を複数回、検出する。

そして、表示画像生成部５０は、現操作領域が、端末１の画面内に収まらなければ、操作領域を加工する。現操作領域は、複数回検出された操作領域のうち、最後に検出された操作領域であり、加工のあった場合、加工後の操作領域である。

操作領域判断部４０１は、読み出した現操作領域と、検出した操作領域と、の距離が閾値以下であるか否かを判断する。ここで、領域間の距離とは、各領域内のいずれかの座標間の距離である。例えば、操作領域判断部４０１は、現操作領域及び操作領域のそれぞれの中心座標間の距離を、閾値と比較する。あるいは、操作領域判断部４０１は、現操作領域及び操作領域のそれぞれの左上の頂点座標間の距離を、閾値と比較する。

領域間の距離が閾値内であれば、操作領域判断部４０１は、検出した操作領域を操作領域候補とし、その操作領域候補を示す操作領域候補情報を表示画像生成部５０へ出力する。

ここで、閾値は、閾値よりも距離が大きいと、検出した操作領域が現操作領域の外部にはみ出してしまうような値とする。操作領域の画面内における位置は、テキストが追加されていくにつれて移動してゆくが、操作領域判断部４０１は、領域間の距離を比較することにより、操作領域の移動に追従して現操作領域を更新することができる。

図６は、表示画像生成部５０の一構成例を示すブロック図である。図６を参照すると、表示画像生成部５０は、全体画像生成部５０１及び画像加工部５０２を有する。

全体画像生成部５０１は、テキスト作成用のアプリケーションなどのアプリケーションを有する。全体画像生成部５０１は、入力情報を操作部１０から取得し、アプリケーションを利用して、入力情報の内容を含む全体画像情報を生成する。全体画像生成部５０１は、生成した全体画像情報を画像加工部５０２及び画像変化検出部３０へ出力する。

画像加工部５０２は、操作領域候補情報を操作領域検出部４０から取得し、全体画像情報を全体画像生成部５０１から取得する。そして、画像加工部５０２は、操作領域候補情報の示す操作領域候補が端末１の画面内に収まらなければ、その画面内に収まるように加工する。また、画像加工部５０２は、全体画像情報の示す全体画像の一部を切り出すなどして画像を加工し、端末１の画面内に収まる画像を生成する。この画像の元の全体画像における領域を参照領域と称する。

操作領域が検出されていない場合、画像加工部５０２は、参照領域を示す画像データである参照領域情報を表示部６０へ出力する。

操作領域が検出された場合、画像加工部５０２は、操作領域候補と参照領域とを合成し、合成した画像を操作領域付画像とする。画像加工部５０２は、操作領域候補の加工を行った場合、加工後に合成を行う。そして、画像加工部５０２は、生成した操作領域付画像を示す操作領域付画像情報を表示部６０へ出力する。また、画像加工部５０２は、操作領域付画像における操作領域を現操作領域とし、その現操作領域を特定するための現操作領域情報を操作領域検出部４０へ出力する。

現操作領域情報は、例えば、現操作領域の頂点のうち、対向する２点（例えば左上の頂点と、右下の頂点）の座標を示す情報である。

次に、図７を参照して、端末１の動作について説明する。図７は、端末１の動作を示すフローチャートである。この動作は、テキスト作成、編集などに用いられるアプリケーションが実行されたときに開始される。

表示画像生成部５０は、アプリケーションが実行されると所定の周期で全体画像情報を取得する。表示画像生成部５０は、最初の周期において、全体画像情報の示す全体画像の一部を切り出し、端末１で表示可能な参照領域を生成する。表示部６０は、その参照領域を画面に表示する（ステップＳ１）。次の周期において、全体画像を取得する時刻になったとき、画像変化取得部３０は、全体画像情報を取得する（ステップＳ２）。

ユーザが操作部１０を操作すると、キー操作検出部２０は、キーの種別と操作時刻とを示す操作情報を取得する（ステップＳ３）。画像変化検出部３０は、前回の全体画像と今回の全体画像とを比較し、変化領域及び変化時刻を示す画像変化情報を取得する（ステップＳ４）。

操作領域検出部４０は、操作領域の候補を検出するための操作領域検出処理を実行する（ステップＳ５）。表示画像生成部５０は、検出された操作領域の候補を画像に表示するための操作領域付画像生成処理を実行する（ステップＳ６）。

端末１は、テキスト作成用のアプリケーションが終了したか否かを判断する（ステップＳ７）。アプリケーションが終了していなければ（ステップＳ７：ＮＯ）、端末１はステップＳ２に戻る。アプリケーションが終了したのであれば（ステップＳ７：ＹＥＳ）、端末１は動作を終了する。

図８は、図７のステップＳ５の操作領域検出処理を示すフローチャートである。図８を参照すると、操作領域検出部４０は、操作情報から操作キーの種別を取得し、検出対象とするキーの操作時刻のみを抽出する（ステップＳ５１）。検出対象とするキーは、例えば、文字入力に用いられるキーとする。

操作領域検出部４０は、検出対象のキーの操作時刻と変化時刻との差が閾値以内であるか否かを判断する（ステップＳ５２）。

操作時刻と変化時刻との差が閾値以内であれば（ステップＳ５２：ＹＥＳ）、操作領域検出部４０は、その変化時刻に対応する変化領域を操作領域として検出する（ステップＳ５３）。

操作領域検出部４０は、記憶しておいた現操作領域を読み出す（ステップＳ５４）。操作領域検出部４０は、検出した操作領域と現操作領域との間の距離を比較し、検出した操作領域が現操作領域内にあるか否かを判断する（ステップＳ５５）。

操作領域が現操作領域内になければ（ステップＳ５５：ＮＯ）、操作領域検出部４０は、検出した操作領域を操作領域候補とする。操作領域検出部４０は、操作領域候補の頂点の座標を示す操作領域候補情報を生成する（ステップＳ５６）。

操作時刻と変化時刻との差が閾値以内でない場合（ステップＳ５２：ＮＯ）、操作領域が現操作領域内にある場合（ステップＳ５５：ＹＥＳ）、又は、ステップＳ５６の後、操作領域検出部４０は、操作領域検出処理を終了する。

図９は、図７のステップＳ６の操作領域付画像生成処理を示すフローチャートである。図９を参照すると、表示画像生成部５０は、全体画像情報の示す全体画像のうち、操作領域候補情報の示す座標内の画像を取得する（ステップＳ６１）。

表示画像生成部５０は、取得した操作領域候補の縦、横の画素数が、端末１に表示可能な画素数のＫ倍よりも大きいか否かを判断する（ステップＳ６２）。

操作領域候補の縦、横の画素数が、端末１に表示可能な画素数のＫ倍よりも大きければ（ステップＳ６２：ＹＥＳ）、操作領域候補の縦、横の画素数がＫ倍以内となるように、操作領域候補の画像を加工する（ステップＳ６３）。

操作領域候補の縦、横の画素数が、端末１に表示可能な画素数のＫ倍以内である場合（ステップＳ６２：ＮＯ）、又は、ステップＳ６３の後、表示画像生成部５０は、参照領域及び操作領域候補を合成して操作領域付画像を生成し、表示部６０に表示する（ステップＳ６４）。そして、表示画像生成部５０は、操作領域付画像における操作領域を現操作領域として操作画像検出部４０に保存する（ステップＳ６５）。ステップＳ６５の後、表示画像生成部５０は、操作領域付画像生成処理を終了する。

図１０は、端末１の動作の一例を示すシーケンス図である。図１０を参照すると、操作部１０は、ユーザの操作に応じて入力情報を入力する（ステップＴ１）。表示画像生成部５０は、入力情報を基に全体画像を生成し、画像変化検出部３０へ出力する。また、表示画像生成部５０は、全体画像の一部を切り出し、参照領域を生成する（ステップＴ２）。表示部６０は、その参照領域を端末１の画面に表示する（ステップＴ３）。

キー操作検出部２０は、特定のキーの操作を検出し、操作情報を生成する（ステップＴ４）。画像変化検出部３０は、全体画像を取得する時刻になったとき、全体画像を取得する（ステップＴ５）。画像変化検出部３０は、今回の全体画像と前回の全体画像とを比較し、変化領域及び変化時刻を取得する（ステップＴ６）。

操作領域検出部４０は、操作時刻と変化時刻との間の差が閾値内であるか否かを判断する（ステップＴ７）。操作時刻と変化時刻との間の差が閾値内であれば（ステップＴ７：ＹＥＳ）、操作領域検出部４０は、変化領域を操作領域として検出する（ステップＴ８）。そして、操作領域検出部４０は、現操作領域を読み出す（ステップＴ９）。

操作領域検出部４０は、検出した操作領域が現操作領域内にあるか否かを判断する（ステップＴ１０）。操作領域が現操作領域内にない場合（ステップＴ１０：ＮＯ）、操作領域検出部４０は、その操作領域を操作領域候補として、表示画像生成部５０へ出力する（ステップＴ１１）。

表示画像生成部５０は、参照領域と操作領域候補とを合成して操作領域付全体画像を生成する（ステップＴ１２）。表示部６０は、その操作領域付全体画像を表示する（ステップＴ１３）。

そして、表示画像生成部５０は、操作領域付候補画像における操作領域を現操作領域として操作領域検出部４０に保存する（ステップＴ１４）。

続いて、図１１〜図１３を参照して、端末１の動作結果の一例について説明する。図１１Ａは、キー操作により変化する前の全体画像Ｇ１の一例である。図１Ａに示すように、テキスト作成用のアプリケーションが実行されたとき、ウィンドウＷ１を含む全体画像Ｇ１が生成される。

端末１は、図１１Ｂに示すように、ウィンドウＷ１の一部を端末１の画面に表示できる大きさに切りだし、参照領域として表示する。

そして、全体画像Ｇ１が取得されてから、次の周期が経過するまでに、「ＡＢＣＤ」が入力された場合について考える。この場合、図１２Ａに示すように、ウィンドウＷ２内に、入力された「ＡＢＣＤ」を含む全体画像Ｇ２が生成される。端末１は、全体画像Ｇ１、Ｇ２を比較し、図１２Ｂに示すように、端末１は、「ＡＢＣＤ」を含む矩形領域を変化領域として抽出する。変化時刻と操作時刻とが同じであったので、端末１は、この変化領域を操作領域として検出する。

図１２Ｃに示すように、端末１は、操作領域と参照領域とを合成して操作領域付画像を生成し、表示する。例えば、端末１は、操作領域が最前面となるように、参照領域に操作領域を重ね合わせる。端末１は、この操作領域付画像における操作領域を現操作領域として保存する。

図１３Ａに示すように、「ＡＢＣＤ」が入力されてから、次の全体画像情報を取得する時刻になるまでに「ＥＦＧＨＩＪＫＬ」が入力された場合について考える。

この場合、端末１は、図１３Ｂに示すように、端末１は、「ＥＦＧＨＩＪＫＬ」を含む矩形領域を操作領域として検出する。ここで、図１３Ｃに示すように、現操作領域は、「ＡＢＣＤ」を含む矩形領域である。検出された操作領域は、現操作領域内に含まれないので、端末１は、検出された操作領域及び参照領域を基に操作領域付画像情報を生成し、現操作領域を更新する。

なお、本実施形態では、入力情報を文字情報としているが、ユーザの入力操作に応じて画面が変化する情報であれば、文字以外の情報を入力情報としてもよい。例えば、文字以外の記号や、音符などであってもよい。

本実施形態の操作部１０が本発明の入力部に該当し、本実施形態の全体画像生成部５０１が本発明の全体画像生成部に該当する。また、本実施形態のキー操作検出部２０が本発明の操作時刻取得部及びキー種別取得部に該当し、本実施形態の操作領域判断部４０２が本発明の判断部に該当し、本実施形態の現操作領域記憶部４０２が本発明の現操作領域記憶部に該当する。また、本実施形態の画像変化検出部３０が本発明の画像変化取得部に該当し、本実施形態の操作領域検出部４０が本発明の操作領域取得部に該当し、本実施形態の画像加工部５０２が本発明の操作領域付画像生成部に該当する。

以上説明したように本実施形態によれば、端末１は、操作時刻と画面が変化した変化時刻との差が所定値以下であれば、変化した領域を操作領域として、参照領域にその操作領域を合成した画像を生成するので、ユーザは、参照領域を参照しながら、操作領域に情報を入力できる。このため、入力操作が容易となる。

また、端末１は、周期的に全体画像を取得するので、その周期内になされたユーザの操作に追従して操作領域を更新できる。

画像変化検出部３０は、変化領域の対向する頂点の座標を示す情報を生成するので、変化領域自体を示す画像自体の情報を生成する場合と比較して、生成する情報のデータ量が小さくなり、処理が速くなる。

操作領域検出部４０は、文字入力のためのキーを検出対象とするので、文字入力以外のキー操作に追従して操作領域を更新することがなくなり、無駄な処理が減少する。

表示画像生成部５０は、操作領域を加工するので、端末１の画面内に操作領域の内容を表示しきれなくなることを防止できる。

操作領域検出部４０は、検出された変化領域が現操作領域内になければ、現操作領域を更新するので、ユーザの操作に応じて変化領域が移動した場合であっても、表示部６０は、追従して操作領域を表示できる。

（第２の実施形態）
本発明の第２の実施形態について、図１４を参照して説明する。図１４は、本実施形態の端末２及び計算機３の構成を示す全体図である。本実施形態の端末２及び計算機３は、第１の実施形態における端末１の各機能を２台の装置に分散している点で第１の実施形態と異なる。端末２及び計算機３は、パーソナルコンピュータなどの情報処理装置である。

本実施形態では、端末２は、端末１における操作部１０、キー操作検出部２０、画像変化検出部３０、操作領域検出部４０、表示画像生成部５０、及び表示部６０のうち、操作部１０、キー操作検出部２０、及び表示部６０を有する。

一方、計算機３は、残りの画像変化検出部３０、操作領域検出部４０、及び表示画像生成部５０を有する。

本実施形態によれば、機能分散により、装置１台にかかる負荷が軽減される。また、故障時のリスクを分散できる。

（第３の実施形態）
本発明の第３の実施形態について、図１５を参照して説明する。図１５は、本実施形態の端末４及び計算機５の構成を示す全体図である。本実施形態の端末４及び計算機５は、第１の実施形態における端末１の各機能を２台の装置に分散している点で第１の実施形態と異なる。端末４及び計算機５は、パーソナルコンピュータなどの情報処理装置である。

本実施形態では、端末４は、端末１における操作部１０、キー操作検出部２０、画像変化検出部３０、操作領域検出部４０、表示画像生成部５０、及び表示部６０のうち、操作部１０、キー操作検出部２０、操作領域検出部４０、表示画像生成部５０、及び表示部６０を有する。

一方、計算機５は、残りの画像変化検出部３０を有する。

本実施形態の表示画像生成部５０が本発明の送信部に該当する。

なお、第２の実施形態や第３の実施形態で示した構成以外の構成で機能を分散してもよいのは勿論である。

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものでない。本発明の構成や詳細には、本発明の範囲内で当業者が理解し得る様々な変更をすることができる。

本出願は、２００９年８月３１日に出願された日本出願特願２００９−２０００６２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (11)

1. 所定のアプリケーションを実行することにより、全体画像を生成する全体画像生成部と、
   ユーザが情報を入力するための操作を行った操作時刻を取得する操作時刻取得部と、
   前記全体画像生成部により生成された前記全体画像が変化した場合、該全体画像のうち変化のあった領域を含む矩形領域を変化領域として取得するとともに、該全体画像が変化した変化時刻を取得する画像変化取得部と、
   前記操作時刻取得部により取得された前記操作時刻と前記画像変化取得部により取得された前記変化時刻との差が所定値以下であれば、前記画像変化取得部により取得された前記変化領域を、前記ユーザが情報を入力している操作領域として取得する操作領域取得部と、
   前記全体画像取得部により生成された前記全体画像のうち情報処理装置の画面に表示する矩形領域を参照領域として取得し、前記操作領域取得部により取得された前記操作領域を該参照領域に合成して操作領域付画像を生成する操作領域付画像生成部と、
   を有する情報処理装置。
2. 前記画像変化取得部は、前記全体画像生成部により生成された前記全体画像を周期的に取得し、今回取得した全体画像と前回取得した全体画像とを比較することにより、前記変化領域を取得する、請求項１に記載の情報処理装置。
3. 前記画像変化取得部は、前記変化領域の対向する２つの頂点の座標を示す変化領域情報を生成し、
   前記操作領域付画像生成部は、前記操作領域取得部により生成された前記変化領域情報に基づいて前記変化領域を特定する、請求項１又は２に記載の情報処理装置。
4. 前記操作が行われたキーの種別を示す種別情報を取得するキー種別取得部を更に有し、
   前記操作領域取得部は、前記キー種別取得部により取得された前記キーの種別が所定の種別であり、且つ、前記操作時刻と前記変化時刻との差が所定値以下であれば、前記変化領域を前記操作領域として取得する、請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記操作領域付画像生成部は、前記操作領域の縦方向の総画素数、又は、該操作領域の横方向の総画素数が最大値以上であるか否かを判断し、該総画素数が該最大値以上であれば、該総画素数が該最大値未満となるように該操作領域を加工し、加工後の該操作領域を前記参照領域に合成する、請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記操作領域取得部は、
   前記操作領域画像生成部により生成された前記操作領域付画像における前記操作領域を現操作領域として記憶する現操作領域記憶部と、
   前記操作時刻と前記変化時刻との間の差が所定値以下であれば、前記変化領域が、前記現操作領域記憶部に記憶された前記現操作領域に含まれているか否かを判断し、該変化領域が該現操作領域に含まれていなければ、該変化領域を前記操作領域として取得する判断部と、
   を有する、請求項５に記載の情報処理装置。
7. ユーザの操作に応じて情報を入力する入力部を更に有し、
   前記操作時刻取得部は、前記入力部により情報が入力された時刻を操作時刻として取得する、請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記操作領域付画像生成部により取得された前記参照領域、又は、前記操作領域付画像生成部により生成された前記操作領域付画像を表示する表示部を更に有する、請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記全体画像生成部により生成された前記全体画像を自己以外の情報処理装置に送信する送信部を更に有し、
   前記画像変化取得部は、自己以外の情報処理装置から前記全体画像を受信する、請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 全体画像生成部が、所定のアプリケーションを実行することにより、全体画像を生成し、
    操作時刻取得部が、ユーザが情報を入力するための操作を行った操作時刻を取得し、
    画像変化取得部が、前記全体画像生成部により生成された前記全体画像が変化した場合、該全体画像のうち変化のあった領域を含む矩形領域を変化領域として取得するとともに、該全体画像が変化した変化時刻を取得し、
    操作領域取得部が、前記操作時刻取得部により取得された前記操作時刻と前記画像変化取得部により取得された前記変化時刻との差が所定値以下であれば、前記画像変化取得部により取得された前記変化領域を、前記ユーザが情報を入力している操作領域として取得し、
    操作領域付画像生成部が、前記全体画像取得部により生成された前記全体画像のうち情報処理装置の画面に表示する矩形領域を参照領域として取得し、前記操作領域取得部により取得された前記操作領域を該参照領域に合成して操作領域付画像を生成する、情報処理装置の制御方法。
11. コンピュータに、
    所定のアプリケーションを実行することにより、全体画像を生成する全体画像生成手順、
    ユーザが情報を入力するための操作を行った操作時刻を取得する操作時刻取得手順、
    前記画像生成手順で生成された前記全体画像が変化した場合、該全体画像のうち変化のあった領域を含む矩形領域を変化領域として取得するとともに、該全体画像が変化した変化時刻を取得する画像変化取得手順、
    前記操作時刻取得手順で取得された前記操作時刻と前記画像変化取得手順で取得された前記変化時刻との差が所定値以下であれば、前記画像変化取得手順で取得された前記変化領域を、前記ユーザが情報を入力している操作領域として取得する操作領域取得手順、及び
    前記全体画像取得手順で生成された前記全体画像のうち情報処理装置の画面に表示する矩形領域を参照領域として取得し、前記操作領域取得手順で取得された前記操作領域を該参照領域に合成して操作領域付画像を生成する操作領域付画像生成手順、
    を実行させるためのプログラム。
    

Images