JP5327908B2 - 自動操作部品の特定方法およびその装置 - Google Patents
自動操作部品の特定方法およびその装置 Download PDFInfo
- Publication number
- JP5327908B2 JP5327908B2 JP2011168995A JP2011168995A JP5327908B2 JP 5327908 B2 JP5327908 B2 JP 5327908B2 JP 2011168995 A JP2011168995 A JP 2011168995A JP 2011168995 A JP2011168995 A JP 2011168995A JP 5327908 B2 JP5327908 B2 JP 5327908B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- display screen
- node
- tree
- scenario
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
特許文献1や非特許文献1に代表される従来技術では、例示操作を実施した画面に基づいて特定情報を算出する。
・情報リソースの指定
・表示画面の情報における部品木のノードとその属性情報の指定
・表示画面の情報における属性値の条件を満たす部品木のノードとその属性情報の指定
・表示画面の情報における属性情報における属性の指定
などが挙げられる。
−ノードnとノードn’の子ノードが存在するならば、ノードnの子ノードの属性情報の多重集合(集合内要素の重複を許す集合)とノードn’の子ノードの属性情報の多重集合が等しい。但し、子ノードが「Don't Care」である場合には、子ノード配下で「Don't Care」ではないノードが存在する下位階層のノードの属性情報の多重集合も判定に含める。例えば、図14に示すルートノードであるオブジェクト1のノードの対が対応関係Pに含まれるか決定する場合には、オブジェクト2、オブジェクト4、オブジェクト6の属性情報が判定対象となる。もし、子ノードが「Don't Care」であって、子ノード配下のノードが存在しない、もしくは配下のいかなるノードも「Don't Care」である場合は、そのような子ノードの属性情報を判定対象には含めない。例えば、図15では、オブジェクト1の「Don't Care」である子ノードの配下のノードは、全て「Don't Care」であるため、この場合のオブジェクト1に関する対が対応関係Pに含まれるか決定する際には、オブジェクト2とオブジェクト4の属性情報を判定対象とする。また、図16では、オブジェクト1の「Don't Care」である子ノードの配下のノードは存在しないため、図15の例と同様に、オブジェクト1に関する対が対応関係Pに含まれるか決定する際には、オブジェクト2とオブジェクト4の属性情報が判定対象となる。
−ノードnとノードn’にそれぞれ子ノードが存在するならば、ノードnの子ノードの属性情報の多重集合とノードn’の子ノードの属性情報の多重集合が等しい。但し、子ノードが「Don't Care」である場合には、子ノード配下で「Don't Care」ではないノードが存在する下位階層のノードの属性情報の多重集合も判定に含める。もし、子ノードが「Don't Care」であって、その子ノード配下のノードが存在しない、もしくは配下のいかなるノードも「Don't Care」である場合は、そのような子ノードの属性情報は判定対象には含めない。
・ノードnもしくはノードn’の属性情報が「Don't Care」である、
・ノードn,n’の属性情報がともに「Don't Care」ではなく、かつノードn,n’のそれぞれの属性情報における同一属性の値が等しい、
のいずれかを満たす場合のことである。
・ノードnもしくはノードn’の属性情報における同一属性の値のいずれかが「Don't Care」である、
・ノードnおよびノードn’の属性情報における同一属性の値が同一である、
の両方を満たす場合のことである。
Claims (7)
- 操作対象ソフトウェアのGUIへの操作を自動化するためのシナリオであって、シナリオ作成のために入力装置から入力された例示操作の操作順を表す操作順番と、当該例示操作が入力されたときの表示画面におけるウインドウとその配下の部品をノードとして当該ウインドウと部品の包含関係を親子関係で示す部品木の情報および前記ウインドウと部品の属性情報を少なくとも1つの情報リソースを用いて表した表示画面の情報と、前記例示操作された部品に対応する前記部品木におけるノードの位置情報とを記録してなるシナリオと、当該シナリオ中の表示画面の情報を限定するためのフィルタリング条件の集合とに基づいて、操作対象ソフトウェアの表示画面を構成する部品のうちの自動操作する部品を、コンピュータを用いて特定する方法であって、
当該コンピュータが、
前記シナリオに記録された各操作順番に対する例示操作が入力されたときの表示画面の部品木の情報および各ウインドウと部品の属性情報と、前記例示操作された部品に対応する前記部品木におけるノードの位置情報とを取り出すステップと、
シナリオ再生時の操作対象ソフトウェアの表示画面における前記部品木の情報および属性情報を取得するステップと、
入力されたフィルタリング条件により、例示操作時の表示画面における部品木の情報および属性情報、並びに再生時の表示画面における部品木の情報および属性情報を更新するステップと、
更新された例示操作時の表示画面における部品木のノードと、再生時の表示画面における部品木のノードとの対応関係を求めるステップと、
例示操作時の表示画面における部品木から、前記例示操作された部品のノードの位置情報に該当するノードを取り出すステップと、
前記求めた対応関係から、前記取り出したノードに対応する再生時の表示画面における部品木のノードを取り出すステップとを具備する
ことを特徴とする自動操作部品の特定方法。 - 入力されたフィルタリング条件により、例示操作時の表示画面における部品木の情報および属性情報、並びに再生時の表示画面における部品木の情報および属性情報を更新するステップにあっては、
フィルタリング条件に該当する情報リソース、ノード、属性情報、属性の値を「Don't Care」というデータに置き換える
ことを特徴とする請求項1に記載の自動操作部品の特定方法。 - 更新された例示操作時の表示画面における部品木のノードと、再生時の表示画面における部品木のノードとの対応関係を求めるステップにあっては、
それぞれの部品木におけるルートノードのウインドウと対応する属性情報が等しく、さらにルートノードの「Don't Care」で置き換えられていない子ノードと対応する部品の属性情報の多重集合が等しいとき、ルートノード同士が対応すると判定する
ことを特徴とする請求項2に記載の自動操作部品の特定方法。 - 更新された例示操作時の表示画面における部品木のノードと、再生時の表示画面における部品木のノードとの対応関係を求めるステップにあっては、
それぞれの親ノード同士が対応し、かつそれぞれのノードと対応する部品の属性情報が等しく、かつ「Don't Care」で置き換えられていない子ノードと対応する部品の属性情報の多重集合が等しいとき、それぞれのノード同士が対応すると判定する
ことを特徴とする請求項2に記載の自動操作部品の特定方法。 - 例示操作時と再生時の表示画面に対するウインドウおよび/または部品の属性情報の等しさの判定にあっては、
どちらかの属性情報が「Don't Care」である、もしくは属性情報に含まれる属性の値がそれぞれの等しいときに、属性情報が等しいと判定する
ことを特徴とする請求項3または4に記載の自動操作部品の特定方法。 - 例示操作時と再生時の表示画面に対するウインドウおよび/または部品の属性情報に含まれる同一属性の値の等しさの判定にあっては、
どちらかの属性の値が「Don't Care」である、もしくは属性の値同士が同一であるとき、属性の値が等しいと判定する
ことを特徴とする請求項5に記載の自動操作部品の特定方法。 - 操作対象ソフトウェアのGUIへの操作を自動化するためのシナリオに従って当該操作対象ソフトウェアの表示画面を構成する部品を特定して自動操作する装置であって、
入力装置から入力された操作対象ソフトウェアに対する例示操作を検知し、例示操作の操作順を表す操作順番と、当該例示操作が入力されたときの表示画面におけるウインドウとその配下の部品をノードとして当該ウインドウと部品の包含関係を親子関係で示す部品木の情報および前記ウインドウと部品の属性情報を少なくとも1つの情報リソースを用いて表した表示画面の情報と、前記例示操作された部品に対応する前記部品木におけるノードの位置情報とを記録してなるシナリオを自動生成する例示操作記録装置と、
例示操作記録装置が自動生成したシナリオを記録する記憶装置と、
記憶装置に記録されているシナリオと、入力装置より入力された前記シナリオ中の表示画面の情報を限定するためのフィルタリング条件の集合とに基づいて、当該シナリオに記録された各操作順番に対する例示操作が入力されたときの表示画面の部品木の情報および各ウインドウと部品の属性情報と、前記例示操作された部品に対応する前記部品木におけるノードの位置情報を取り出し、シナリオ再生時の操作対象ソフトウェアの表示画面における前記部品木の情報および属性情報を取得し、入力されたフィルタリング条件により、例示操作時の表示画面における部品木の情報および属性情報、並びに再生時の表示画面における部品木の情報および属性情報を更新し、更新された例示操作時の表示画面における部品木のノードと、再生時の表示画面における部品木のノードとの対応関係を求め、例示操作時の表示画面における部品木から、前記例示操作された部品のノードの位置情報に該当するノードを取り出し、前記求めた対応関係から、前記取り出したノードに対応する再生時の表示画面における部品木のノードを取り出す自動操作部品特定装置と、
自動操作部品特定装置から渡された再生時の表示画面に対する部品木のノードと対応する再生時の表示画面の部品を自動操作する自動操作装置とを少なくとも備えた
ことを特徴とする自動操作部品の特定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011168995A JP5327908B2 (ja) | 2011-08-02 | 2011-08-02 | 自動操作部品の特定方法およびその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011168995A JP5327908B2 (ja) | 2011-08-02 | 2011-08-02 | 自動操作部品の特定方法およびその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013033377A JP2013033377A (ja) | 2013-02-14 |
JP5327908B2 true JP5327908B2 (ja) | 2013-10-30 |
Family
ID=47789218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011168995A Active JP5327908B2 (ja) | 2011-08-02 | 2011-08-02 | 自動操作部品の特定方法およびその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5327908B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5907534B2 (ja) * | 2013-02-20 | 2016-04-26 | 日本電信電話株式会社 | ユーザインタフェース制御方法、その装置およびプログラム |
JP5931806B2 (ja) * | 2013-06-24 | 2016-06-08 | 日本電信電話株式会社 | 画像認識による自動操作装置、その方法及びプログラム |
JP6428220B2 (ja) * | 2014-12-08 | 2018-11-28 | コニカミノルタ株式会社 | Gui制御システム、gui制御方法、gui制御システム用プログラム、およびguiシステム用プログラムが記録されたコンピュータ読み取り可能な記録媒体 |
JP6561775B2 (ja) * | 2015-10-29 | 2019-08-21 | 富士通株式会社 | 操作記録再生プログラム、操作再生プログラム、操作再生方法及び操作記録再生装置 |
JP6910494B1 (ja) * | 2020-03-31 | 2021-07-28 | 株式会社 ディー・エヌ・エー | 情報処理プログラム、情報処理装置及び情報処理方法 |
WO2021240823A1 (ja) * | 2020-05-29 | 2021-12-02 | 日本電信電話株式会社 | 識別装置、識別方法および識別プログラム |
US20240273931A1 (en) * | 2021-06-11 | 2024-08-15 | Nippon Telegraph And Telephone Corporation | Identification device, identification method, and identification program |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09231060A (ja) * | 1996-02-20 | 1997-09-05 | Canon Inc | 情報処理装置及び操作プロセス実行方法 |
JP2005266954A (ja) * | 2004-03-16 | 2005-09-29 | Hitachi Software Eng Co Ltd | 操作情報記録・再生装置 |
JP4164481B2 (ja) * | 2004-08-06 | 2008-10-15 | キヤノン株式会社 | 画像形成装置、操作設定方法、画像形成システムおよび情報処理装置 |
JP2008225683A (ja) * | 2007-03-09 | 2008-09-25 | Toshiba Corp | 画面操作システムおよびプログラム |
JP5026451B2 (ja) * | 2009-02-26 | 2012-09-12 | 日本電信電話株式会社 | シナリオ編集方法、その装置及びプログラム |
JP2010204840A (ja) * | 2009-03-02 | 2010-09-16 | Nippon Telegr & Teleph Corp <Ntt> | ユーザインターフェース操作統合システムのカスタマイズ方法及び端末装置並びにコンピュータプログラム及び情報記録媒体 |
JP2010231594A (ja) * | 2009-03-27 | 2010-10-14 | Fujitsu Ltd | 試験プログラム及び試験装置 |
JP2010286867A (ja) * | 2009-06-09 | 2010-12-24 | Hitachi Solutions Ltd | マクロスクリプト編集プログラム |
-
2011
- 2011-08-02 JP JP2011168995A patent/JP5327908B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013033377A (ja) | 2013-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5327908B2 (ja) | 自動操作部品の特定方法およびその装置 | |
US11249731B2 (en) | System and method implementing campaign products and services within an intelligent digital experience development platform | |
US10303581B2 (en) | Graphical transaction model | |
CN102915237B (zh) | 根据用户应用程序要求改写数据质量规则的方法和系统 | |
US8910113B2 (en) | Methods and systems for visual code refactoring | |
EP2228726B1 (en) | A method and system for task modeling of mobile phone applications | |
US20120266131A1 (en) | Automatic program generation device, method, and computer program | |
KR20090120481A (ko) | 소프트웨어 자산 기반 솔루션을 개발하기 위한 일관된 방법, 시스템 및 컴퓨터 프로그램 | |
US20110083120A1 (en) | Modeling and linking documents for packaged software application configuration | |
CN111818123A (zh) | 网络前端远程回放方法、装置、设备及存储介质 | |
US20140053021A1 (en) | Automatic classification adjustment of recorded actions for automation script | |
CN111722873A (zh) | 代码重构方法、装置、设备及介质 | |
CN113641591A (zh) | 测试用例生成方法及装置、测试方法及装置 | |
US10884711B2 (en) | Code management system and code management method using a visual programming tool | |
KR20080066669A (ko) | Uml 다이어그램의 탐색 방법, 시스템 및 컴퓨터프로그램 | |
CN118259906A (zh) | 一种基于PaaS框架的多端页面适配方法、设备及介质 | |
Sboui et al. | A UI-DSPL approach for the development of context-adaptable user interfaces | |
JP7318704B2 (ja) | テスト装置、テスト方法及びプログラム | |
JP2016009423A (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
CN113296759B (zh) | 用户界面处理方法、用户界面处理系统、设备及存储介质 | |
CN113672509A (zh) | 自动化测试方法、装置、测试平台及存储介质 | |
US8266093B2 (en) | Data processing apparatus and method for constructing interactive contents and recording media | |
US20230376280A1 (en) | Methods, systems and computer program products for optimizing computer programming for workflow development | |
CN111259063B (zh) | 一种以api方式实现数据导出的方法及装置 | |
CN118095199A (zh) | 富文本处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130717 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130718 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5327908 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |