JP6904187B2 - 座標情報管理システム、方法およびプログラム - Google Patents

座標情報管理システム、方法およびプログラム Download PDF

Info

Publication number
JP6904187B2
JP6904187B2 JP2017177821A JP2017177821A JP6904187B2 JP 6904187 B2 JP6904187 B2 JP 6904187B2 JP 2017177821 A JP2017177821 A JP 2017177821A JP 2017177821 A JP2017177821 A JP 2017177821A JP 6904187 B2 JP6904187 B2 JP 6904187B2
Authority
JP
Japan
Prior art keywords
coordinates
window
predetermined point
origin
coordinate information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017177821A
Other languages
English (en)
Other versions
JP2019053573A (ja
Inventor
晃治 岡本
晃治 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2017177821A priority Critical patent/JP6904187B2/ja
Publication of JP2019053573A publication Critical patent/JP2019053573A/ja
Application granted granted Critical
Publication of JP6904187B2 publication Critical patent/JP6904187B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、GUI(Graphical User Interface)コンポーネントの座標情報を管理する座標情報管理システム、座標情報管理方法および座標情報管理プログラムに関する。
近年、RPA(Robotic Process Automation)等の分野において、GUIコンポーネントに対する操作を自動化する処理が要求されている。この処理を実現するためには、GUIコンポーネントに対する自動操作機能を実現するためのプログラム(以下、RPAツールと記す。)に従って動作する操作手段に、操作情報を提供する必要がある。操作情報とは、「画面上のどことを操作するか」および「画面上のどのGUIコンポーネントを操作するか」のいずれか、または、両方である。
一般に、RPAツールに従って動作する操作手段は、例えば、以下の方法で、操作情報を取得する。
(1)OS(Operating System)のAPI(Application Programming Interface)を利用する。
(2)画面上の座標を直接指定する。
(3)GUIコンポーネントの画像を検索してGUIコンポーネントの位置を特定する。
また、特許文献1には、プログラムを変更または拡張することなく、設定ファイルを書き換えるだけで、入出力GUI部品間の依存関係を含む詳細なアプリケーションのカスタマイズを可能とする情報処理装置が記載されている。
特開2009−37531号公報
一般的に、操作情報は、各RPAツールに固有の仕様や記法等により記録されている。そのため、例えば、異なるRPAツールに操作情報を移行する場合等に、操作情報を再設定する必要が生じる。すなわち、例えば、RPAツールを変更するときに、操作情報の再設定が必要になる。
そこで、本発明は、自動的にGUIコンポーネントを操作する際に用いられるGUIコンポーネントの座標に関する情報を、RPAツールの仕様に依存しない共通的な方法で管理することができる座標情報管理システム、座標情報管理方法および座標情報管理プログラムを提供することを目的とする。
本発明による座標情報管理システムは、表示画面の所定の点を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを関連付けた情報を記憶する座標情報記憶手段と、前記GUIコンポーネントに対する操作を実行する操作実行手段から前記変数を指定された場合に、前記情報に基づいて、前記変数の値となるGUIコンポーネントの基準点の座標を算出し、算出した当該座標を前記操作実行手段に渡す座標提供手段とを備えることを特徴とする。
また、本発明による座標情報管理方法は、表示画面の所定の点を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを関連付けた情報を記憶する座標情報記憶手段を備えた座標情報管理システムに適用される座標情報管理方法であって、前記座標情報管理システムの座標提供手段が、前記GUIコンポーネントに対する操作を実行する操作実行手段から前記変数を指定された場合に、前記情報に基づいて、前記変数の値となるGUIコンポーネントの基準点の座標を算出し、算出した当該座標を前記操作実行手段に渡すことを特徴とする。
また、本発明による座標情報管理プログラムは、コンピュータを、表示画面の所定の点を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを関連付けた情報を記憶する座標情報記憶手段、および、前記GUIコンポーネントに対する操作を実行する操作実行手段から前記変数を指定された場合に、前記情報に基づいて、前記変数の値となるGUIコンポーネントの基準点の座標を算出し、算出した当該座標を前記操作実行手段に渡す座標提供手段として機能させることを特徴とする。
本発明によれば、自動的にGUIコンポーネントを操作する際に用いられるGUIコンポーネントの座標に関する情報を、RPAツールの仕様に依存しない共通的な方法で管理することができる。
本発明の第1の実施形態の座標情報管理システムの構成例を示すブロック図である。 GUIコンポーネントを含むウィンドウを表示している表示画面の例を示す模式図である。 座標情報記憶手段に記憶されるGUIコンポーネントの基準点の座標を表す変数の例を示す模式図である。 座標情報記憶手段に記憶される、第2の所定点を原点としたきのGUIコンポーネントの基準点の座標の例を示す模式図である。 座標情報記憶手段に記憶される、第1の所定点を原点としたときの第2の所定点の座標の例を示す模式図である。 中継手段を備えていない座標情報管理システムの構成例を示すブロック図である。 第1の実施形態の処理経過の例を示すフローチャートである。 第1の実施形態の処理経過の例を示すフローチャートである。 ウィンドウを移動する操作が行われた後の表示画面の例を示す模式図である。 座標情報記憶手段に記憶される、第1の所定点を原点としたときの第2の所定点の座標の例を示す模式図である。 GUIコンポーネントの配置が変更された後のウィンドウの例を示す模式図である。 座標情報記憶手段に記憶される、第2の所定点を原点としたきのGUIコンポーネントの基準点の座標の例を示す模式図である。 本発明の各実施形態に係るコンピュータの構成例を示す概略ブロック図である。 本発明の座標情報管理システムの概要を示すブロック図である。
以下、本発明の実施形態を図面を参照して説明する。
実施形態1.
図1は、本発明の第1の実施形態の座標情報管理システムの構成例を示すブロック図である。本実施形態の座標情報管理システムは、プログラム記憶手段1と、座標情報記憶手段3と、操作実行手段4と、座標提供手段5と、座標情報登録手段6と、中継手段7とを備える。
プログラム記憶手段1は、GUIプログラム2を記憶する記憶装置である。GUIプログラム2は、GUIコンポーネントを含むウィンドウを表示させるためのプログラムである。GUIコンポーネントとして、例えば、テキストボックスやボタン等が挙げられる。以下、GUIコンポーネントがテキストボックスである場合を例にして説明するが、GUIコンポーネントはテキストボックスに限定されない。
操作実行手段4は、GUIプログラム2に従って、ディスプレイ装置(図示略)に、GUIコンポーネントを含むウィンドウを表示させ、また、RPAツールに従って、そのウィンドウ内のGUIコンポーネントに対して自動的に操作を行う。すなわち、操作実行手段4は、人間の操作に依らずに、自動的にGUIコンポーネントに対して操作を行う。
図2は、GUIコンポーネントを含むウィンドウを表示している表示画面の例を示す模式図である。GUIプログラム2では、図2に示す表示画面11の所定の点21(以下、表示画面11の左上の頂点とする。)を原点としたときのウィンドウ12内のGUIコンポーネント13の基準点23の座標を表す変数が規定されている。ここで、GUIコンポーネント13の基準点23は、予め定められている。以下の説明では、GUIコンポーネント13がテキストボックスであり、左側に1文字目が入力される箇所をGUIコンポーネント13の基準点23とする。すなわち、GUIプログラム2では、表示画面11の左上の頂点を原点としたときに、GUIコンポーネント13の基準点23の座標を表す変数が規定されている。GUIコンポーネント13の基準点23の座標を表す変数を(ax1,ay1)とする。ax1は、GUIコンポーネント13の基準点23のx座標を表す変数であり、ay1は、GUIコンポーネント13の基準点23のy座標を表す変数である。また、表示画面11の所定の点21(表示画面11の左上の頂点)を、第1の所定点21と記す。変数(ax1,ay1)の値となるx座標、y座標は、表示画面11内におけるウィンドウ12の位置によって変化する。第1の所定点21を原点としたときのGUIコンポーネント13の基準点23の座標を表す変数を、変数(ax1,ay1)と記す場合がある。
また、GUIプログラム2では、ウィンドウ12の所定の点22(以下、ウィンドウ12の左上の頂点とする。)を原点としたときのGUIコンポーネント13の基準点23の座標が規定されている。また、ウィンドウ12の所定の点22(ウィンドウ12の左上の頂点)を、第2の所定点22と記す。第2の所定点22を原点としたときのGUIコンポーネント13の基準点23の座標として、(cx1、cy1)が規定されているものとする。(cx1、cy1)は、ウィンドウ12内におけるGUIコンポーネント13の位置が変更されない限り、変化しない値である。
上記のように、GUIプログラム2では、第1の所定点21を原点としたときのGUIコンポーネント13の基準点23の座標を表す変数(ax1,ay1)が規定され、また、第2の所定点22を原点としたときのGUIコンポーネント13の基準点23の座標(cx1、cy1)が規定されている。
座標情報記憶手段3は、表示画面11の所定の点21(第1の所定点21)を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数(上記の例では変数(ax1,ay1))と、そのウィンドウの所定の点を原点としたときのそのGUIコンポーネントの基準点の座標と、表示画面11の所定の点21(第1の所定点21)を原点としたときのそのウィンドウの所定の点の座標とを関連付けた情報を記憶する記憶装置である。GUIコンポーネントを含むウィンドウの数が多いほど、また、1つのウィンドウに含まれるGUIコンポーネントの数が多いほど、座標情報記憶手段3に記憶される情報は多くなる。また、後述するように、座標情報登録手段6が、座標情報記憶手段3に新たに情報を記憶させてもよい(換言すれば、新たな情報を登録してもよい)。
図2を例にして説明すると、第1の所定点21を原点としたときのウィンドウ12内のGUIコンポーネント13の基準点23の座標を表す変数は(ax1,ay1)である。座標情報記憶手段3は、変数(ax1,ay1)を、図3に示すように記憶する。図3に示すウィンドウIDは、ウィンドウのIDであり、コンポーネントIDは、GUIコンポーネントのIDである。図3では、ウィンドウ12のウィンドウIDが“1”であり、ウィンドウ12内のGUIコンポーネント13のコンポーネントIDも“1”であることを示している。さらに、図3は、第1の所定点21を原点としたときのGUIコンポーネント13の基準点23のx座標を表す変数がax1であり、その基準点23のy座標を表す変数がay1であることを示している。すなわち、座標情報記憶手段3は、ウィンドウIDおよびコンポ―ネットIDの組合せともに変数(ax1,ay1)を記憶する。
また、そのウィンドウ12の所定の点22(第2の所定点22)を原点としたときの、そのGUIコンポーネント13の基準点23の座標は(cx1、cy1)である。座標情報記憶手段3は、基準点23の座標(cx1、cy1)を図4に示すように記憶する。図3に示す場合と同様に、図4に示すウィンドウIDは、ウィンドウのIDであり、コンポーネントIDは、GUIコンポーネントのIDである。また、図4は、第2の所定点22を原点としたときのGUIコンポーネント13の基準点23のx座標がcx1であり、その基準点23のy座標がcy1であることを示している。すなわち、座標情報記憶手段3は、ウィンドウIDおよびコンポ―ネットIDの組合せともに、GUIコンポーネント13の基準点23の座標(cx1,cy1)を記憶する。
また、図2に示す例では、第1の所定点21を原点としたときのそのウィンドウ12の所定の点22(第2の所定点22)の座標は(wx1,wy1)である。座標情報記憶手段3は、第1の所定点21を原点としたときの第2の所定点22の座標(wx1,wy1)を図5に示すように記憶する。図3および図4に示す場合と同様に、図5に示すウィンドウIDは、ウィンドウのIDである。また、図5は、第1の所定点21を原点としたときの第2の所定点22のx座標がwx1であり、第2の所定点22のy座標がwy1であることを示している。
座標情報記憶手段3は、図3、図4および図5に示す情報を記憶する。ここで、図3、図4および図5に示す情報は、共通のウィンドウIDによって関連付けられている。さらに、図3および図4に示す情報は、共通のウィンドウIDおよび共通のコンポーネントIDによって関連付けられている。座標情報記憶手段3は、このように関連付けられた情報を記憶する
なお、図2に示す座標や補助線等は、便宜的に図示したものであり、実際には、表示されない。また、第1の所定点21、第2の所定点22、およびGUIコンポーネント13の基準点23を、便宜的に黒丸で強調して図示しているが、実際には、図2に示す黒丸は表示されない。この点は、後述の図9においても同様である。
前述のように、操作実行手段4は、ディスプレイ装置(図示略)に、GUIコンポーネントを含むウィンドウを表示させ、GUIコンポーネントに対して自動的に操作を行う。操作実行手段4は、GUIコンポーネント13を操作するために、GUIコンポーネント13の基準点23の座標が必要になった場合、GUIコンポーネント13の基準点23の座標を表す変数(ax1,ay1)を座標提供手段5に渡し、座標提供手段5から基準点23の座標を受け取る。
座標提供手段5は、操作実行手段4から変数(ax1,ay1)を受け取ると(換言すれば、操作実行手段4によって変数(ax1,ay1)が指定されると)、座標情報記憶手段3に記憶されている情報(本例では、図3、図4および図5に示す情報)に基づいて、その変数の値となる座標を算出し、算出した座標を操作実行手段4に渡す。
具体的には、座標提供手段5は、第1の所定点21を原点としたときの第2の所定点22のx座標(wx1)と、第2の所定点22を原点としたときのGUIコンポーネント13の基準点23のx座標(cx1)との和を計算することによって、変数ax1の値を計算する。また、座標提供手段5は、第1の所定点21を原点としたときの第2の所定点22のy座標(wy1)と、第2の所定点22を原点としたときのGUIコンポーネント13の基準点23のy座標(cy1)との和を計算することによって、変数ay1の値を計算する。
すなわち、座標提供手段5は、以下に示す式(1)の計算によって、変数(ax1,ay1)の値となる座標を算出する。
x1=wx1+cx1
y1=wy1+cy1
・・・(1)
座標提供手段5は、操作実行手段4によって指定された変数(ax1,ay1)、およびその変数に関連付けられた情報(第2の所定点を原点としたときのGUIコンポーネントの基準点の座標(図4参照)、および、第1の所定点を原点としたときの第2の所定点の座標(図5参照))が座標情報記憶手段3に記憶されていない場合、中継手段7を介して、座標情報登録手段6に対してその変数を指定する。座標提供手段5が座標情報登録手段6に対してその変数を指定するということは、図3、図4および図5に示す情報を生成し、その情報を座標情報記憶手段3に記憶するとともに、その情報を座標提供手段5に渡すことを要求していることを意味する。ここでは、図3、図4および図5に示す情報が座標情報記憶手段3に記憶されていないことにより、座標提供手段5が、座標情報登録手段6に対して変数(ax1,ay1)を指定した場合を例にして説明する。
座標情報登録手段6は、変数(ax1,ay1)に対応するウィンドウIDおよびコンポーネントIDを、GUIプログラム2から取得し、図3に例示する情報を生成する。GUIプログラム2では、第1の所定点21を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数が規定されている。すなわち、変数とウィンドウIDおよびコンポーネントIDとの対応関係が規定されている。従って、座標情報登録手段6は、変数(ax1,ay1)に対応するウィンドウIDおよびコンポーネントIDを、GUIプログラム2から取得することができる。以下、ウィンドウIDがウィンドウ12(図2参照)を表し、コンポーネントIDがGUIコンポーネント13を表しているものとして説明する。
また、座標情報登録手段6は、第2の所定点22を原点としたときのGUIコンポーネント13の基準点23の座標を、GUIプログラム2から取得し、図4に例示する情報を生成する。GUIプログラム2では、第2の所定点22を原点としたときのGUIコンポーネント13の基準点23の座標が規定されている。すなわち、基準点23の座標とウィンドウIDおよびコンポーネントIDとの対応関係が規定されている。従って、座標情報登録手段6は、ウィンドウIDおよびコンポーネントIDとの組合せに対応する基準点23の座標を、GUIプログラム2から取得することができる。
また、座標情報登録手段6は、第1の所定点21を原点としたときの第2の所定点22の座標を、座標情報管理システムに搭載されたOSから取得し、ウィンドウIDと対応付けて、図5に例示する情報を作成する。
既に説明したように、図3、図4および図5に例示する情報はウィンドウIDによって関連付けられている。座標情報登録手段6は、生成した情報(図3、図4および図5に例示する情報)を座標情報記憶手段3に記憶させる。さらに、座標情報登録手段6は、生成した情報(図3、図4および図5に例示する情報)を、中継手段7を介して、座標提供手段5に渡す。
座標提供手段5は、座標情報登録手段6から、変数(座標情報登録手段6に対して指定した変数)と、第2の所定点22を原点としたときのGUIコンポーネント13の基準点23の座標と、第1の所定点21を原点としたときの第2の所定点22の座標を受け取る。具体的には、座標提供手段5は、図3、図4および図5に例示する情報を座標情報登録手段6から受け取る。そして、座標提供手段5は、その情報に基づいて、操作実行手段4によって指定された変数(ax1,ay1)の値となる座標(第1の所定点21を原点としたときのGUIコンポーネント13の基準点23の座標)を算出する。変数(ax1,ay1)の値となる座標の算出方法については既に説明したので、ここでは、説明を省略する。座標提供手段5は、変数(ax1,ay1)の値として算出した座標を、操作実行手段4に渡す。
中継手段7は、座標提供手段5と座標情報登録手段6との間で情報を中継する。
操作実行手段4、座標提供手段5、座標情報登録手段6および中継手段7は、例えば、座標情報管理プログラムに従って動作するそのコンピュータのCPU(Central Processing Unit )によって実現される。例えば、CPUが、コンピュータのプロクラム記憶装置等のプログラム記録媒体から座標情報管理プログラムを読み込み、その座標情報管理プログラムに従って、操作実行手段4、座標提供手段5、座標情報登録手段6および中継手段7として動作すればよい。
また、中継手段7は、座標提供手段5と座標情報登録手段6との間で情報を中継するが、座標提供手段5と座標情報登録手段6とが、中継手段7を介さずに、情報の授受を行ってもよい。この場合、中継手段7が設けられていなくてもよい。すなわち、本実施形態の座標情報管理システムは、図6に例示する構成であってもよい。図6に示す座標情報管理システムは、中継手段7が設けられていない。また、座標提供手段5と座標情報登録手段6とは、中継手段を介さずに、直接、情報の授受を行う。その他の点は、図1に示す座標情報管理システムと同様である。以下、図6に示す座標情報管理システムを参照して説明する。すなわち、座標提供手段5と座標情報登録手段6とが、中継手段を介さずに、直接、情報の授受を行うものとして説明する。図1に示す構成と、図6に示す構成とでは、座標提供手段5と座標情報登録手段6とが、中継手段7を介して情報を授受するか、中継手段7を介さずに直接、情報を授受するかという点が異なるが、この相違は、発明の本質部分に関する相違ではない。
次に、第1の実施形態の処理経過について説明する。図7および図8は、第1の実施形態の処理経過の例を示すフローチャートである。なお、既に説明した事項については、適宜、説明を省略する。
操作実行手段4は、GUIコンポーネント13を操作するために、GUIコンポーネント13の基準点23の座標が必要になった場合、GUIコンポーネント13の基準点23の座標を表す変数(ax1,ay1)を座標提供手段5に渡す(ステップS1)。
次に、座標提供手段5は、操作実行手段4から渡された変数(ax1,ay1)、およびその変数に関連付けられた情報(第2の所定点を原点としたときのGUIコンポーネントの基準点の座標(図4参照)、および、第1の所定点を原点としたときの第2の所定点の座標(図5参照))が座標情報記憶手段3に記憶されているか否かを判定する(ステップS2)。具体的には、座標提供手段5は、図3、図4および図5に例示する情報が座標情報記憶手段3に記憶されているか否かを判定する。
変数(ax1,ay1)およびその変数に関連付けられた情報が座標情報記憶手段3に記憶されている場合(ステップS2のYes)、座標提供手段5は、変数(ax1,ay1)およびその変数に関連付けられた情報に基づいて、変数(ax1,ay1)の値となる座標を算出する(ステップS3)。具体的には、座標提供手段5は、図3、図4および図5に例示する情報に基づいて、変数(ax1,ay1)の値となる座標を算出する。
なお、ステップS4,S5については、図8に示す。
ステップS3の後、座標提供手段5は、算出した座標を操作実行手段4に渡す(ステップS4)。
操作実行手段4は、座標提供手段5から渡された座標をもとに、GUIコンポーネントに対する操作を実行する(ステップS5)。
また、変数(ax1,ay1)およびその変数に関連付けられた情報が座標情報記憶手段3に記憶されていない場合(ステップS2のNo)、座標提供手段5は、変数(ax1,ay1)を座標情報登録手段6に渡す(ステップS6)。
次に、座標情報登録手段6は、第2の所定点を原点としたときのGUIコンポーネントの基準点の座標、および、第1の所定点を原点としたときの第2の所定点の座標を取得する(ステップS7)。
具体的には、座標情報登録手段6は、変数(ax1,ay1)に対応するウィンドウIDおよびコンポーネントIDを、GUIプログラム2から取得し、図3に例示する情報を生成する。以下、ウィンドウIDがウィンドウ12(図2参照)を表し、コンポーネントIDがGUIコンポーネント13を表しているものとして説明する。
さらに、座標情報登録手段6は、第2の所定点22を原点としたときのGUIコンポーネント13の基準点23の座標を、GUIプログラム2から取得し、図4に例示する情報を生成する。また、座標情報登録手段6は、第1の所定点21を原点としたときの第2の所定点22の座標をOSから取得し、図5に例示する情報を生成する。
次に、座標情報登録手段6は、変数(ax1,ay1)、および、ステップS7で取得した情報を、座標情報記憶手段3に記憶させる(ステップS8)。具体的には、座標情報登録手段6は、ステップS7で生成した図3、図4および図5に例示する情報を座標情報記憶手段3に記憶させる。
次に、座標情報登録手段6は、変数(ax1,ay1)、および、ステップS7で取得した情報を、座標提供手段5に渡す(ステップS9)。具体的には、座標情報登録手段6は、ステップS7で生成した図3、図4および図5に例示する情報を座標提供手段5に渡す。
次に、座標提供手段5は、座標情報登録手段6から渡された情報に基づいて、変数(ax1,ay1)の値となる座標を算出する(ステップS10)。具体的には、座標提供手段5は、図3、図4および図5に例示する情報に基づいて、変数(ax1,ay1)の値となる座標を算出する。ステップS10における座標の算出方法は、ステップS3における座標の算出方法と同様である。
ステップS10の後、ステップS4,S5(図8参照)を実行する。ステップS4,S5については既に説明したので、ここでは、説明を省略する。
第1の実施形態によれば、座標情報記憶手段3が、第1の所定点21を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数と、第2の所定点22を原点としたときのそのGUIコンポーネントの基準点の座標と、第1の所定点21を原点としたときの第2の所定点22の座標とを関連付けた情報を記憶する。第1の実施形態で示した例では、座標情報記憶手段3が、図3、図4および図5に例示する情報を記憶する。そして、GUIコンポーネントに対して自動的に操作を行う操作実行手段4は、変数(ax1,ay1)を座標提供手段5に渡すことで、変数(ax1,ay1)の値となる座標の算出を座標提供手段5に要求し、座標提供手段5は、座標情報記憶手段3に記憶されている上記の情報に基づいて、変数(ax1,ay1)の値となる座標を算出する。そして、座標提供手段5は、その座標を操作実行手段4に渡す。従って、自動的にGUIコンポーネントを操作する際に用いられるGUIコンポーネントの座標に関する情報を、RPAツールの仕様に依存しない共通的な方法で管理することができる。また、操作実行手段4に対して、RPAツールの仕様に依存せずに、操作対象のGUIコンポーネントの基準点の座標を提供することができる。
実施形態2.
第2の実施形態の座標情報管理システムは、第1の実施形態の座標情報管理システムの動作を行うとともに、表示画面内でウィンドウが移動した場合の動作も行う。また、第2の実施形態の座標情報管理システムは、ウィンドウ内でのGUIコンポーネントの位置が変更された場合の動作を行ってもよい。
本発明の第2の実施形態の座標情報管理システムは、第1の実施形態の座標情報管理システムと同様に、図1または図6に示すブロック図で表すことができる。以下、図6を用いて、第2の実施形態を説明する。第1の実施形態と同様の事項については、適宜、説明を省略する。
プログラム記憶手段1、GUIプログラム2、操作実行手段4、座標提供手段5および座標情報記憶手段3はそれぞれ、第1の実施形態におけるプログラム記憶手段1、GUIプログラム2、操作実行手段4、座標提供手段5および座標情報記憶手段3と同様である。
座標情報登録手段6は、第1の実施形態の座標情報登録手段6と同様の動作を行うとともに、以下の動作も行う。座標情報登録手段6は、表示画面内でウィンドウを移動する操作が行われると、ウィンドウの移動に応じて、座標情報記憶手段3に記憶されている、第1の所定点(表示画面の左上の頂点)を原点としたときの第2の所定点(ウィンドウの左上の頂点)の座標を更新する。
座標情報登録手段6は、ウィンドウが移動した後の第2の所定点の座標を、座標情報管理システムに搭載されたOSから取得し、座標情報記憶手段3に記憶されている第2の所定点の座標をその座標で更新すればよい。
ウィンドウの移動操作前の表示画面が、図2に示す表示画面11であったとする。また、座標情報記憶手段3には、図3、図4および図5に示す情報が記憶されているとする。
図9は、表示画面11内のウィンドウ12を移動する操作が行われた後の表示画面11の例を示す模式図である。ウィンドウ12の移動により、第2の所定点22の座標は、(wx1,wy1)から、(wx2,wy2)に変化する。
座標情報登録手段6は、表示画面内11でウィンドウ12を移動する操作が行われたことを検出すると、移動後のウィンドウ12における第2の所定点22の座標を、座標情報管理システムに搭載されたOSから取得する。本例では、座標情報登録手段6は、第2の所定点22の座標として、(wx2,wy2)を取得する。
また、ウィンドウ12のウィンドウIDは“1”である。従って、座標情報登録手段6は、座標情報記憶手段3において、ウィンドウID“1”に対応付けられている第2の所定点22の座標を、新たに取得した座標(wx2,wy2)で更新する。この結果、座標情報記憶手段3に記憶されていた図5に示す情報は、図10に示す情報に更新される。
また、表示画面11内でウィンドウ12が移動しただけでは、第1の所定点21を原点としたときのウィンドウ12内のGUIコンポーネント13の基準点23の座標を表す変数、および、第2の所定点22を原点としたときのGUIコンポーネント13の基準点23の座標に変更はない。
上記のように、図5に示す情報が図10に示すように更新された後、操作実行手段4が座標提供手段5に対して、第1の所定点21を原点としたときのGUIコンポーネント13の基準点23の座標を表す変数(ax1,ay1)を渡したとする。この場合、座標提供手段5は、座標情報記憶手段3に記憶されている図3、図4および図10に示す情報に基づいて、変数(ax1,ay1)の値となる座標を計算すればよい。
具体的には、座標提供手段5は、第1の所定点21を原点としたときの第2の所定点22のx座標(wx2)と、第2の所定点22を原点としたときのGUIコンポーネント13の基準点23のx座標(cx1)との和を計算することによって、変数ax1の値を計算する。また、座標提供手段5は、第1の所定点21を原点としたときの第2の所定点22のy座標(wy2)と、第2の所定点22を原点としたときのGUIコンポーネント13の基準点23のy座標(cy1)との和を計算することによって、変数ay1の値を計算する。
すなわち、座標提供手段5は、以下に示す式(2)の計算によって、変数(ax1,ay1)の値となる座標を算出する。
x1=wx2+cx1
y1=wy2+cy1
・・・(2)
また、GUIプログラム2が変更され、ウィンドウ内のGUIコンポーネントの位置が変更される場合がある。GUIプログラム2の変更により、ウィンドウ内のGUIコンポーネントの位置が変更された場合、座標情報登録手段6は、そのGUIコンポーネントの位置の変更に応じて、座標情報記憶手段3に記憶されている、第2の所定点(そのウィンドウの左上の頂点)を原点としたときのそのGUIコンポーネントの基準点の座標を更新する。
以下、図2に示すウィンドウ12およびGUIコンポーネント13を例にして説明する。GUIコンポーネント13の位置が変更される前における、第2の所定点22(図2参照)を原点としたときのGUIコンポーネント13の基準点23の座標が(cx1、cy1)であるとする。そして、図3、図4および図5に示す情報が座標情報記憶手段3に記憶されているとする。
その後、GUIプログラム2が変更され、変更後のGUIプログラム2において、ウィンドウ12内におけるGUIコンポーネント13の基準点23の座標が(cx2、cy2)になったとする。図11は、GUIコンポーネント13の配置が変更された後のウィンドウ12の例を示す模式図である。基準点23の座標が(cx2、cy2)となるように変更された場合、ウィンドウ12のウィンドウID“1”とGUIコンポーネント13のコンポーネントID“1”との組合せに対応するGUIコンポーネント13の基準点23の座標(cx2、cy2)が、GUIプログラム2において規定される。
GUIプログラム2が変更され、ウィンドウ12のウィンドウID“1”とGUIコンポーネント13のコンポーネントID“1”との組合せに対応する基準点23の座標が変更されたことを検出すると、座標情報登録手段6は、GUIプログラム2から、ウィンドウ12のウィンドウID“1”とGUIコンポーネント13のコンポーネントID“1”との組合せに対応する基準点23の座標(本例では、(cx2、cy2))を取得する。
そして、座標情報登録手段6は、座標情報記憶手段3において、ウィンドウ12のウィンドウID“1”とGUIコンポーネント13のコンポーネントID“1”との組合せに対応する基準点23の座標を(cx1、cy1)から、(cx2、cy2)に更新する。この結果、座標情報記憶手段3に記憶されていた図4に示す情報は、図12に示す情報に更新される。
また、第1の所定点21を原点としたときのウィンドウ12内のGUIコンポーネント13の基準点23の座標を表す変数に変更はないものとする。また、第1の所定点21を原点としたときの第2の所定点22の座標は、図2に示すように、(wx1、wy1)であるとする。従って、座標情報記憶手段3に記憶されている図3および図5に示す情報に変更はない。
上記のように、図4に示す情報が、図12に示すように更新された後、操作実行手段4が座標提供手段5に対して、第1の所定点21を原点としたときのGUIコンポーネント13の基準点23の座標を表す変数(ax1,ay1)を渡したとする。この場合、座標提供手段5は、座標情報記憶手段3に記憶されている図3、図12および図5に示す情報に基づいて、変数(ax1,ay1)の値となる座標を計算すればよい。
具体的には、座標提供手段5は、第1の所定点21を原点としたときの第2の所定点22のx座標(wx1)と、第2の所定点22を原点としたときのGUIコンポーネント13の基準点23のx座標(cx2)との和を計算することによって、変数ax1の値を計算する。また、座標提供手段5は、第1の所定点21を原点としたときの第2の所定点22のy座標(wy1)と、第2の所定点22を原点としたときのGUIコンポーネント13の基準点23のy座標(cy2)との和を計算することによって、変数ay1の値を計算する。
すなわち、座標提供手段5は、以下に示す式(3)の計算によって、変数(ax1,ay1)の値となる座標を算出する。
x1=wx1+cx2
y1=wy1+cy2
・・・(3)
本実施形態によれば、第1の実施形態と同様の効果が得られる。さらに、本実施形態では、座標情報登録手段6は、表示画面内でウィンドウを移動する操作が行われると、ウィンドウの移動に応じて、座標情報記憶手段3に記憶されている、第1の所定点(表示画面の左上の頂点)を原点としたときの第2の所定点(ウィンドウの左上の頂点)の座標を更新する。また、座標情報登録手段6は、ウィンドウ内のGUIコンポーネントの位置が変更された場合、そのGUIコンポーネントの位置の変更に応じて、座標情報記憶手段3に記憶されている、第2の所定点(そのウィンドウの左上の頂点)を原点としたときのそのGUIコンポーネントの基準点の座標を更新する。従って、表示画面内でウィンドウが移動したり、あるいは、ウィンドウ内のGUIコンポーネントの位置が変更されたりしたとしても、自動的にGUIコンポーネントを操作する際に用いられるGUIコンポーネントの座標に関する情報を、RPAツールの仕様に依存しない共通的な方法で管理することができる。そして、表示画面内でウィンドウが移動したり、あるいは、ウィンドウ内のGUIコンポーネントの位置が変更されたりしたとしても、RPAツールの仕様に依存せずに、操作対象のGUIコンポーネントの基準点の座標を提供することができる。
図13は、本発明の各実施形態に係るコンピュータの構成例を示す概略ブロック図である。コンピュータ1000は、CPU1001と、主記憶装置1002と、補助記憶装置1003と、インタフェース1004とを備える。
本発明の各実施形態の座標情報管理システムは、コンピュータ1000に実装される。座標情報管理システムの動作は、プログラムの形式で補助記憶装置1003に記憶されている。CPU1001は、座標情報管理プログラムを補助記憶装置1003から読み出して主記憶装置1002に展開し、その座標情報管理プログラムに従って上記の処理を実行する。
補助記憶装置1003は、一時的でない有形の媒体の例である。一時的でない有形の媒体の他の例として、インタフェース1004を介して接続される磁気ディスク、光磁気ディスク、CD−ROM(Compact Disk Read Only Memory )、DVD−ROM(Digital Versatile Disk Read Only Memory )、半導体メモリなどが挙げられる。また、このプログラムが通信回線によってコンピュータ1000に配信される場合、配信を受けたコンピュータ1000がそのプログラムを主記憶装置1002に展開し、上記の処理を実行してもよい。
次に、本発明の概要について説明する。図14は、本発明の座標情報管理システムの概要を示すブロック図である。本発明の座標情報管理システムは、座標情報記憶手段3と、座標提供手段5とを備える。
座標情報記憶手段3は、表示画面(例えば、表示画面11)の所定の点(例えば、左上の頂点)を原点としたときのウィンドウ内のGUIコンポーネントの基準点(例えば、ウィンドウ12内のGUIコンポーネント13の基準点23)の座標を表す変数(例えば、(ax1,ay1))と、そのウィンドウの所定の点(例えば、左上の頂点)を原点としたときのそのGUIコンポーネントの基準点の座標(例えば、(cx1、cy1))と、その表示画面の所定の点を原点としたときのそのウィンドウの所定の点の座標(例えば、図2に例示する(wx1,wy1))とを関連付けた情報を記憶する。
座標提供手段5は、GUIコンポーネントに対する操作を実行する操作実行手段(例えば、操作実行手段4)からその変数を指定された場合に、上記の情報に基づいて、変数の値となるGUIコンポーネントの基準点の座標を算出し、算出した当該座標を操作実行手段に渡す。
そのような構成によって、自動的にGUIコンポーネントを操作する際に用いられるGUIコンポーネントの座標に関する情報を、RPAツールの仕様に依存しない共通的な方法で管理することができる。
上記の本発明の実施形態は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
(付記1)
表示画面の所定の点を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを関連付けた情報を記憶する座標情報記憶手段と、
前記GUIコンポーネントに対する操作を実行する操作実行手段から前記変数を指定された場合に、前記情報に基づいて、前記変数の値となるGUIコンポーネントの基準点の座標を算出し、算出した当該座標を前記操作実行手段に渡す座標提供手段とを備える
ことを特徴とする座標情報管理システム。
(付記2)
表示画面の所定の点を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数が座標提供手段によって指定された場合に、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを取得し、前記変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを関連付けた情報を座標情報記憶手段に記憶させるとともに、前記変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを前記座標提供手段に渡す座標情報登録手段を備え、
前記座標提供手段は、
操作実行手段から、前記表示画面の所定の点を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数を指定された場合に、前記変数が前記座標情報記憶手段に記憶されていなければ、前記座標情報登録手段に前記変数を指定し、
前記座標情報登録手段から渡された、前記変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とに基づいて、前記変数の値となるGUIコンポーネントの基準点の座標を算出し、算出した当該座標を前記操作実行手段に渡す
付記1に記載の座標情報管理システム。
(付記3)
座標情報登録手段は、
表示画面内でウィンドウを移動する操作が行われると、ウィンドウの移動に応じて、座標情報記憶手段に記憶されている、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標を更新する
付記2に記載の座標情報管理システム。
(付記4)
座標情報登録手段は、
ウィンドウ内のGUIコンポーネントの位置が変更されると、前記GUIコンポーネントの位置の変更に応じて、座標情報記憶手段に記憶されている、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標を更新する
付記2または付記3に記載の座標情報管理システム。
(付記5)
表示画面の所定の点を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを関連付けた情報を記憶する座標情報記憶手段を備えた座標情報管理システムに適用される座標情報管理方法であって、
前記座標情報管理システムの座標提供手段が、
前記GUIコンポーネントに対する操作を実行する操作実行手段から前記変数を指定された場合に、前記情報に基づいて、前記変数の値となるGUIコンポーネントの基準点の座標を算出し、算出した当該座標を前記操作実行手段に渡す
ことを特徴とする座標情報管理方法。
(付記6)
座標情報管理システムの座標提供手段が、
操作実行手段から、表示画面の所定の点を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数を指定された場合に、前記変数が座標情報記憶手段に記憶されていなければ、前記座標情報管理システムの座標情報登録手段に前記変数を指定し、
前記座標情報登録手段が、
前記表示画面の所定の点を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数が前記座標提供手段によって指定された場合に、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを取得し、前記変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを関連付けた情報を座標情報記憶手段に記憶させるとともに、前記変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを前記座標提供手段に渡し、
前記座標提供手段が、
前記座標情報登録手段から渡された、前記変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とに基づいて、前記変数の値となるGUIコンポーネントの基準点の座標を算出し、算出した当該座標を前記操作実行手段に渡す
付記5に記載の座標情報管理方法。
(付記7)
コンピュータを、
表示画面の所定の点を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを関連付けた情報を記憶する座標情報記憶手段、および、
前記GUIコンポーネントに対する操作を実行する操作実行手段から前記変数を指定された場合に、前記情報に基づいて、前記変数の値となるGUIコンポーネントの基準点の座標を算出し、算出した当該座標を前記操作実行手段に渡す座標提供手段
として機能させるための座標情報管理プログラム。
(付記8)
コンピュータを、
表示画面の所定の点を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数が座標提供手段によって指定された場合に、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを取得し、前記変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを関連付けた情報を座標情報記憶手段に記憶させるとともに、前記変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを前記座標提供手段に渡す座標情報登録手段として機能させ、
前記コンピュータに、
操作実行手段から、前記表示画面の所定の点を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数を指定された場合に、前記変数が前記座標情報記憶手段に記憶されていなければ、前記座標情報登録手段に前記変数を指定し、
前記座標情報登録手段から渡された、前記変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とに基づいて、前記変数の値となるGUIコンポーネントの基準点の座標を算出し、算出した当該座標を前記操作実行手段に渡す処理を実行させる
付記7に記載の座標情報管理プログラム。
本発明は、GUIコンポーネントの座標情報を管理する座標情報管理システムに好適に適用される。
1 プログラム記憶手段
2 GUIプログラム
3 座標情報記憶手段
4 操作実行手段
5 座標提供手段
6 座標情報登録手段
7 中継手段

Claims (8)

  1. 表示画面の所定の点を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを関連付けた情報を記憶する座標情報記憶手段と、
    前記GUIコンポーネントに対する操作を実行する操作実行手段から前記変数を指定された場合に、前記情報に基づいて、前記変数の値となるGUIコンポーネントの基準点の座標を算出し、算出した当該座標を前記操作実行手段に渡す座標提供手段とを備える
    ことを特徴とする座標情報管理システム。
  2. 表示画面の所定の点を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数が座標提供手段によって指定された場合に、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを取得し、前記変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを関連付けた情報を座標情報記憶手段に記憶させるとともに、前記変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを前記座標提供手段に渡す座標情報登録手段を備え、
    前記座標提供手段は、
    操作実行手段から、前記表示画面の所定の点を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数を指定された場合に、前記変数が前記座標情報記憶手段に記憶されていなければ、前記座標情報登録手段に前記変数を指定し、
    前記座標情報登録手段から渡された、前記変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とに基づいて、前記変数の値となるGUIコンポーネントの基準点の座標を算出し、算出した当該座標を前記操作実行手段に渡す
    請求項1に記載の座標情報管理システム。
  3. 座標情報登録手段は、
    表示画面内でウィンドウを移動する操作が行われると、ウィンドウの移動に応じて、座標情報記憶手段に記憶されている、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標を更新する
    請求項2に記載の座標情報管理システム。
  4. 座標情報登録手段は、
    ウィンドウ内のGUIコンポーネントの位置が変更されると、前記GUIコンポーネントの位置の変更に応じて、座標情報記憶手段に記憶されている、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標を更新する
    請求項2または請求項3に記載の座標情報管理システム。
  5. 表示画面の所定の点を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを関連付けた情報を記憶する座標情報記憶手段を備えた座標情報管理システムに適用される座標情報管理方法であって、
    前記座標情報管理システムの座標提供手段が、
    前記GUIコンポーネントに対する操作を実行する操作実行手段から前記変数を指定された場合に、前記情報に基づいて、前記変数の値となるGUIコンポーネントの基準点の座標を算出し、算出した当該座標を前記操作実行手段に渡す
    ことを特徴とする座標情報管理方法。
  6. 座標情報管理システムの座標提供手段が、
    操作実行手段から、表示画面の所定の点を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数を指定された場合に、前記変数が座標情報記憶手段に記憶されていなければ、前記座標情報管理システムの座標情報登録手段に前記変数を指定し、
    前記座標情報登録手段が、
    前記表示画面の所定の点を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数が前記座標提供手段によって指定された場合に、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを取得し、前記変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを関連付けた情報を座標情報記憶手段に記憶させるとともに、前記変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを前記座標提供手段に渡し、
    前記座標提供手段が、
    前記座標情報登録手段から渡された、前記変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とに基づいて、前記変数の値となるGUIコンポーネントの基準点の座標を算出し、算出した当該座標を前記操作実行手段に渡す
    請求項5に記載の座標情報管理方法。
  7. コンピュータを、
    表示画面の所定の点を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを関連付けた情報を記憶する座標情報記憶手段、および、
    前記GUIコンポーネントに対する操作を実行する操作実行手段から前記変数を指定された場合に、前記情報に基づいて、前記変数の値となるGUIコンポーネントの基準点の座標を算出し、算出した当該座標を前記操作実行手段に渡す座標提供手段
    として機能させるための座標情報管理プログラム。
  8. コンピュータを、
    表示画面の所定の点を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数が座標提供手段によって指定された場合に、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを取得し、前記変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを関連付けた情報を座標情報記憶手段に記憶させるとともに、前記変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とを前記座標提供手段に渡す座標情報登録手段として機能させ、
    前記コンピュータに、
    操作実行手段から、前記表示画面の所定の点を原点としたときのウィンドウ内のGUIコンポーネントの基準点の座標を表す変数を指定された場合に、前記変数が前記座標情報記憶手段に記憶されていなければ、前記座標情報登録手段に前記変数を指定し、
    前記座標情報登録手段から渡された、前記変数と、前記ウィンドウの所定の点を原点としたときの前記GUIコンポーネントの基準点の座標と、前記表示画面の所定の点を原点としたときの前記ウィンドウの所定の点の座標とに基づいて、前記変数の値となるGUIコンポーネントの基準点の座標を算出し、算出した当該座標を前記操作実行手段に渡す処理を実行させる
    請求項7に記載の座標情報管理プログラム。
JP2017177821A 2017-09-15 2017-09-15 座標情報管理システム、方法およびプログラム Active JP6904187B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017177821A JP6904187B2 (ja) 2017-09-15 2017-09-15 座標情報管理システム、方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017177821A JP6904187B2 (ja) 2017-09-15 2017-09-15 座標情報管理システム、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2019053573A JP2019053573A (ja) 2019-04-04
JP6904187B2 true JP6904187B2 (ja) 2021-07-14

Family

ID=66014926

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017177821A Active JP6904187B2 (ja) 2017-09-15 2017-09-15 座標情報管理システム、方法およびプログラム

Country Status (1)

Country Link
JP (1) JP6904187B2 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3517301B2 (ja) * 1995-03-28 2004-04-12 富士通株式会社 仮想画面表示処理システム
JP3008872B2 (ja) * 1997-01-08 2000-02-14 日本電気株式会社 Guiシステム自動操作装置および操作マクロ実行装置
JPH11259667A (ja) * 1998-03-09 1999-09-24 Sony Corp データ生成方法、情報処理装置および記録媒体
JP5633904B2 (ja) * 2011-05-30 2014-12-03 日本電信電話株式会社 画面遷移グラフの自動生成方法およびその装置

Also Published As

Publication number Publication date
JP2019053573A (ja) 2019-04-04

Similar Documents

Publication Publication Date Title
US20150294488A1 (en) Graph generating device, graph generating method and graph generating program
KR101399472B1 (ko) 다중 프로세싱을 이용한 렌더링 처리 장치 및 방법
US20210081078A1 (en) Hmi development support device, hmi development support method, and hmi development support program
WO2015055087A1 (zh) 图纸中实体的选择方法和装置
US9513778B1 (en) Defining objects using an object-relationship map
US20140142728A1 (en) Programmable display device and control system
US20170344199A1 (en) Display control method, display control device, and recording medium
WO2019039255A1 (ja) 端末装置、ui拡張方法及びui拡張プログラム
JP6904187B2 (ja) 座標情報管理システム、方法およびプログラム
JP2007094294A (ja) プログラマブル表示器、制御プログラムおよびそのプログラムを記録した記録媒体、ならびに画面作成装置、画面作成プログラムおよびそのプログラムを記録した記録媒体
US11175801B2 (en) Interactor for a graphical object
JP6448500B2 (ja) 画像処理装置、画像処理方法
WO2017112121A1 (en) Image processor for wearable device
KR101769129B1 (ko) 온라인 환경에서 구현되는 대시보드 내 차트간 인터랙션 방법
JP2007065914A (ja) 画面作成装置、画面作成プログラムおよびそのプログラムを記録した記録媒体
KR101926463B1 (ko) 영상 처리를 위한 공정 관리장치 및 그 동작 방법
CN113176921B (zh) 一种桌面自动化定制化系统
JP2014130504A (ja) 表示制御装置、表示制御方法及びそのプログラム
JP2009169731A (ja) マニュアル作成支援システム
JP2017194738A (ja) 制御プログラム作成装置及び制御プログラム作成方法
JP7251329B2 (ja) 制御プログラム、制御方法および制御装置
JP5472615B2 (ja) マルチウインドウ表示装置、マルチウインドウ表示方法、及びプログラム
JP6536666B2 (ja) 描画制御装置、およびその制御プログラム、描画制御方法
JP7303424B2 (ja) 情報提供システム、サーバおよび情報提供方法
JP6685169B2 (ja) 制御プログラム作成装置及び制御プログラム作成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200812

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210519

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210607

R150 Certificate of patent or registration of utility model

Ref document number: 6904187

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150