WO2021176523A1 - 画面認識装置、画面認識方法およびプログラム - Google Patents

画面認識装置、画面認識方法およびプログラム Download PDF

Info

Publication number
WO2021176523A1
WO2021176523A1 PCT/JP2020/008708 JP2020008708W WO2021176523A1 WO 2021176523 A1 WO2021176523 A1 WO 2021176523A1 JP 2020008708 W JP2020008708 W JP 2020008708W WO 2021176523 A1 WO2021176523 A1 WO 2021176523A1
Authority
WO
WIPO (PCT)
Prior art keywords
gui component
screen
mouse cursor
gui
change
Prior art date
Application number
PCT/JP2020/008708
Other languages
English (en)
French (fr)
Inventor
テキ 李
晴久 野末
和陽 明石
健一 田山
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/908,233 priority Critical patent/US11954507B2/en
Priority to JP2022504782A priority patent/JP7416203B2/ja
Priority to PCT/JP2020/008708 priority patent/WO2021176523A1/ja
Publication of WO2021176523A1 publication Critical patent/WO2021176523A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Definitions

  • the present invention relates to a screen recognition device, a screen recognition method, and a program.
  • Patent Document 1 A proposal has been made for the purpose of automatically generating a user operation scenario from a GUI program without taking extra time in the development process (for example, Patent Document 1).
  • GUI Graphic User Interface
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to create a GUI component in the screen without analyzing the program code of the application software or the object in the terminal memory of the target application. It is an object of the present invention to provide a screen recognition device, a screen recognition method and a program capable of recognizing.
  • One aspect of the present invention is an extraction unit that extracts GUI components included in the screen from the display screen of the application software, and the mouse cursor when the mouse cursor is superimposed on the GUI component extracted by the extraction unit.
  • a determination unit for determining the type of the GUI component and the operation possible for the GUI component is provided based on the change of the GUI component and the change of the GUI component.
  • FIG. 1 is a block diagram showing a GUI component analysis unit and a GUI component database (DB) unit according to an embodiment of the present invention.
  • FIG. 2 is a flowchart showing a processing content for specifying the shape and position of the GUI component in the screen according to the embodiment.
  • FIG. 3 is a flowchart showing a processing content for specifying the type and operation of the GUI component in the screen according to the embodiment.
  • FIG. 4 is a diagram illustrating a screen on which the home page of the website according to the embodiment is displayed.
  • FIG. 1 is a block diagram showing a functional configuration of a device that performs screen recognition, and is a block showing a GUI component analysis unit 10 and a GUI component database (DB) unit 20 that records a large amount of information on GUI components to be recognized. It is a figure.
  • the GUI component analysis unit 10 includes a GUI component shape and position determination unit 11, a GUI component type identification unit 12, and a GUI component operation identification unit 13. The results of sequential analysis processing by each of the GUI component type and position determination unit 11, the GUI component type identification unit 12, and the GUI component operation identification unit 13 are all recorded in the GUI component DB unit 20.
  • FIG. 1 is a block diagram of the functional conceptual configuration of a software program (hereinafter referred to as "analysis software") that performs analysis according to the present embodiment, and is a configuration on hardware.
  • analysis software a software program
  • FIG. 2 is a flowchart showing a processing content when the GUI component shape and the position determination unit 11 specify the shape and position of the GUI component in the screen provided by the application software by the analysis software of the present embodiment.
  • the GUI component type and the position determination unit 11 accept key operations such as simultaneous operation of the "Ctrl (control)" key + “A” key on the keyboard or continuous operation of the "Tab” key.
  • the GUI component in the screen is subjected to marker processing (step S111).
  • the GUI component is marker-processed, and the area range in which the display form of the mouse cursor and the GUI component does not change when the mouse cursor is superimposed is regarded as the background area other than the GUI component, and the GUI is used. Exclude from the target of component analysis processing (step S112).
  • the range in which the display form of at least one of the mouse cursor and the GUI component is changed at the time when the mouse cursor is superimposed is defined as the range of the GUI component in the analysis processing. It is the target.
  • the GUI component shape and the position determination unit 11 then shift to the process of specifying the position range of the GUI component.
  • the GUI component type and the position determination unit 11 are operated by combining the "Home" key + “End” key on the keyboard and the "PgUp (page up)” key + “PgDn (page down)” key.
  • the process of determining the operation range of the GUI component on the screen is executed (step S113).
  • the mouse cursor is sequentially and continuously superimposed on the operation range of the specified GUI component (mouse cursor over) (step S114), and when the mouse cursor is superimposed on the screen of the application software, the operation of each GUI component is performed. Acquire the change in state that occurs between the range and the mouse cursor itself (step S115).
  • the GUI component shape and the position determination unit 11 create a coordinate range on the screen of the GUI component based on the change of each GUI component, and recognize the shape drawn by the outer contour (step S116).
  • the GUI component shape and the position determination unit 11 comprehensively determine the shape and position range of each GUI component on the screen from the above results, and record the determination result in the GUI component DB unit 20 (step S117). This completes the processing by the GUI component type and the position determination unit 11.
  • the GUI component shape and the position determination unit 11 have a function of specifying the shape of the GUI component in steps S111 and S12, and a function of specifying the position of the GUI component as shown in steps S113 to S117. ing.
  • FIG. 3 is a flowchart showing a series of processing contents for specifying the type and operation of one GUI component by the analysis software of the present embodiment.
  • the GUI component type identification unit 12 superimposes a mouse cursor on the GUI component based on the determination result of the shape and position range of each GUI component recorded in the GUI component DB unit 20 (mouse cursor over). Then, the display form is changed between the mouse cursor itself and the GUI component in the screen of the application software (step S121).
  • the GUI component type specifying unit 12 determines whether or not the type of the GUI component can be determined only by changing the mouse cursor (step S122).
  • the GUI component type specifying unit 12 specifies the type of the GUI component (step S123).
  • step S122 when it is determined that the type of the GUI component cannot be specified only by the change of the mouse cursor (NO in step S122), the GUI component type specifying unit 12 causes both the change of the cursor and the change of the GUI component.
  • the type of the GUI component is specified (step S124).
  • the GUI component operation specifying unit 13 specifies the operation corresponding to the GUI component (step S131), and the specified result is obtained from the GUI component DB unit 20. Is recorded in the above, and the process of FIG. 3 is completed.
  • the GUI component type identification unit 12 and the GUI component operation identification unit 13 repeatedly execute the process of FIG. 3 for the number of GUI components recorded in the GUI component DB unit 20, and all the recorded GUI component types and their types.
  • the operation corresponding to the type is specified, and the specified result is recorded in the GUI component DB unit 20.
  • FIG. 4 is a diagram illustrating a screen on which a home page (Home) of a certain website is displayed by a web browser as an example of application software.
  • the search guide unit SG that assists the search of the content in the website is displayed in the center of the screen, and the search symbol SS and the search text for instructing the execution of the search are displayed in the search guide unit SG.
  • a text input box TB for input and a microphone symbol MS for instructing text input by voice are arranged.
  • a search button SB for instructing the execution of the search is displayed.
  • a search symbol SS in a circular range a text input box TB in a rectangular range, a microphone symbol MS in a rectangular range, and a search button SB in a rectangular range are used. It is recognized separately from screen backgrounds other than.
  • the arrow pointer AP is displayed as a mouse cursor as a whole. On the other hand, it is displayed especially when the instruction point at the tip of the arrow of the arrow pointer AP moves to the search symbol SS, the microphone symbol MS, and the search button SB, which are recognized as GUI components, and the mouse cursor is over.
  • the mouse cursor changes from the arrow pointer AP to the hand pointer HP, and the GUI component is in a state of waiting for a jump to a preset link destination by a click operation.
  • the displayed mouse cursor changes from the arrow pointer AP to the I beam pointer IP.
  • the text input box TB is in a state of waiting for input of text information.
  • the symbol image of the mouse cursor is determined to be displayed by setting the property of the mouse cursor. For example, it is operated by the type of GUI component at the pointed position, such as arrow pointer AP for normal mouse cursor, I beam pointer IP for text input, and hand pointer HP for link selection.
  • the mouse cursor corresponding to the content to be displayed will be displayed.
  • the GUI can be combined with an operation that is performed by a normal user and does not affect the computer system or the like, for example, a key input operation such as mouse cursor over or text. You will be able to recognize drawings related to components.
  • I-beam pointer IP corresponding to text input can be displayed when the mouse cursor is input to the area where text can be input and the area where text can be copied.
  • the distinction between simple text data and text links can be determined by the combination of the link selection cursor and underline.
  • -Simple characters and figures can be determined by simultaneously operating the "Ctrl" key + "A” key.
  • -It can be determined by displaying a guide message while changing the symbol image between the normal mouse cursor for selection and the mouse cursor for objects that the object area such as a button or icon has been selected.
  • the mouse cursor that selects a link has the characteristic that it is not displayed unless there is a link destination, it can be useful for determining areas such as the menu bar and title bar where the possibility of link selection is low.
  • the function of the area in which the arrow pointer AP is displayed can be determined from the display form of the arrow pointer AP immediately before the change. -You can grasp the top range of the page by operating the "Home” key or “PgUp” key on the keyboard. -You can grasp the bottom range of the page by operating the "End” key or "PgDn” key on the keyboard. And so on.
  • the GUI on the screen The component can be recognized, and the recognition accuracy can be improved by considering not only the mouse cursor but also the change of the GUI component.
  • the GUI component prior to specifying the type of GUI component and the corresponding operation, the GUI component is sequentially superimposed on the GUI component on the screen, or the operation of the preset combination key is accepted.
  • the GUI when the type of the GUI component cannot be specified only by the change of the mouse cursor when the mouse cursor is superimposed on the GUI component, the GUI is based on the change of the mouse cursor and the change of the GUI component. Since the component type is specified, the GUI component type can be specified more efficiently.
  • the device of the present invention can also be realized by a computer and a program, and the program can be recorded on a recording medium or provided through a network.
  • the present invention is not limited to the above-described embodiment, and can be variously modified at the implementation stage without departing from the gist thereof.
  • the embodiments include inventions at various stages, and various inventions can be extracted by an appropriate combination in a plurality of disclosed constituent requirements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and the effect described in the column of effect of the invention can be solved. If is obtained, a configuration in which this configuration requirement is deleted can be extracted as an invention.
  • GUI component analysis department 11 ... GUI component type and position determination unit, 12 ... GUI component type identification part, 13 ... GUI component operation specific part, 20 ... GUI component database (DB) section, AA ... Around the search box, AP ... Arrow pointer, HP ... Hand pointer, IP ... I beam pointer, MS ... Microphone symbol, SB ... Search button, SG ... Search Guide Department, SS ... Search symbol, TB ... Text input box.
  • DB GUI component database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

アプリケーションソフトのプログラムコードを解析せずに、画面内のＧＵＩコンポーネントを認識すること。　アプリケーションソフトの表示画面から当該画面に含まれているＧＵＩコンポーネントを抽出し、ＧＵＩコンポーネントの形と位置とを判定するＧＵＩコンポーネント形と位置判定部１１と、ＧＵＩコンポーネントにマウスカーソルを重畳させた際のマウスカーソルの変化とＧＵＩコンポーネントの変化とに基づいてＧＵＩコンポーネントの種類とＧＵＩコンポーネントに対して可能な操作とを判定するＧＵＩコンポーネント種類特定部１２およびＧＵＩコンポーネント操作特定部１３とを備える。

Description

画面認識装置、画面認識方法およびプログラム
　本発明は、画面認識装置、画面認識方法およびプログラムに関する。
　開発工程において別途手間をかけることなく、ＧＵＩプログラムからユーザ操作シナリオを自動生成することを目的とした提案がなされている（例えば、特許文献１）。
日本国特開２０１０－１０２６２０号公報
　ＯＳＳ（Ｏｐｅｒａｔｉｏｎ　Ｓｕｐｐｏｒｔ　Ｓｙｓｔｅｍ）を用いた業務を自動化するために、ＯＳＳの画面上のＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）コンポーネントの位置や形と、文字やボタン、テキストボックスなどの種類とを抽出し、画面上で可能な操作を特定する必要がある。
　従来、この種の抽出と特定に関しては、特許文献１に記載された技術を含めて、プログラムコードや対象アプリケーションの端末メモリ内のオブジェクトを解析して判定する必要があった。そのため、プログラムコードや対象アプリケーションの端末メモリ内のオブジェクトなどを解析できないような環境、例えばソースコードがオペレータには見えないＯＳＳの画面などには適用することができなかった。
　本発明は前記のような実情に鑑みてなされたもので、その目的とするところは、アプリケーションソフトのプログラムコードや対象アプリケーションの端末メモリ内のオブジェクトなどを解析せずに、画面内のＧＵＩコンポーネントを認識することが可能な画面認識装置、画面認識方法およびプログラムを提供することにある。
　本発明の一態様は、アプリケーションソフトの表示画面から当該画面に含まれているＧＵＩコンポーネントを抽出する抽出部と、前記抽出部で抽出した前記ＧＵＩコンポーネントにマウスカーソルを重畳させた際の前記マウスカーソルの変化と前記ＧＵＩコンポーネントの変化とに基づいて、前記ＧＵＩコンポーネントの種類と前記ＧＵＩコンポーネントに対して可能な操作とを判定する判定部と、を備える。
　本発明の一態様によれば、アプリケーションソフトのプログラムコードや対象アプリケーションの端末メモリ内のオブジェクトなどを解析せずに、画面内のＧＵＩコンポーネントを認識することが可能となる。
図１は、本発明の一実施形態に係るＧＵＩコンポーネント解析部とＧＵＩコンポーネントデータベース（ＤＢ）部とを示すブロック図である。 図２は、同実施形態に係る画面内のＧＵＩコンポーネントの形と位置とを特定する処理内容を示すフローチャートである。 図３は、同実施形態に係る画面内のＧＵＩコンポーネントの種類と操作とを特定する処理内容を示すフローチャートである。 図４は、同実施形態に係るウェブサイトのホームページを表示させた画面を例示する図である。
　以下、本発明を画面認識を行なう装置に適用した場合の一実施形態について説明する。
　［構成］
　図１は、画面認識を行なう装置の機能構成を示すブロック図であり、ＧＵＩコンポーネント解析部１０と、認識対象となるＧＵＩコンポーネントの情報を多数記録するＧＵＩコンポーネントデータベース（ＤＢ）部２０とを示すブロック図である。ＧＵＩコンポーネント解析部１０内には、ＧＵＩコンポーネント形と位置判定部１１、ＧＵＩコンポーネント種類特定部１２、およびＧＵＩコンポーネント操作特定部１３が備えられる。ＧＵＩコンポーネント形と位置判定部１１、ＧＵＩコンポーネント種類特定部１２、およびＧＵＩコンポーネント操作特定部１３の各部で順次解析処理した結果は、いずれもＧＵＩコンポーネントＤＢ部２０に記録される。
　なお、図１に示した内容は、本実施形態に係る解析を行なうソフトウェアプログラム（以下「解析ソフト」と称する）の機能的な概念構成をブロック図化したものであり、ハードウェア上での構成は、一般的なコンピュータと同様であって、入力部としてのキーボードやマウスなどのポインティングデバイス、出力部として画面表示を行なうモニタディスプレイ、処理部としてプロセッサや各種のメモリおよびストレージデバイスなどを備える。
　［動作］
　次に本実施形態の動作について説明する。
　図２は、ＧＵＩコンポーネント形と位置判定部１１により、アプリケーションソフトで提供される画面内のＧＵＩコンポーネントの形と位置とを本実施形態の解析ソフトにより特定する際の処理内容を示すフローチャートである。
　処理当初にＧＵＩコンポーネント形と位置判定部１１は、キーボードでの「Ｃｔｒｌ（コントロール）」キー＋「Ａ」キーの同時操作、あるいは「Ｔａｂ（タブ）」キーの連続操作のようなキー操作を受け付けることで、画面内のＧＵＩコンポーネントにマーカー処理する（ステップＳ１１１）。
　こうしてＧＵＩコンポーネントをマーカー処理し、マウスカーソルが重畳された時点で、マウスカーソルとＧＵＩコンポーネントのいずれも表示形態が変化しなかった領域範囲を、ＧＵＩコンポーネント以外の背景となる領域であるものとして、ＧＵＩコンポーネントの解析処理の対象から除外する（ステップＳ１１２）。
　これは、換言すると、ＧＵＩコンポーネントをマーカー処理する際に、マウスカーソルが重畳された時点で、マウスカーソルおよびＧＵＩコンポーネントの少なくとも一方の表示形態が変化した範囲を、ＧＵＩコンポーネントの範囲として、解析処理の対象とするものである。
　以上でＧＵＩコンポーネントの形の特定処理を終えたものとして、次にＧＵＩコンポーネント形と位置判定部１１は、ＧＵＩコンポーネントの位置範囲の特定処理に移行する。
ＧＵＩコンポーネント形と位置判定部１１は、まずキーボードでの「Ｈｏｍｅ（ホーム）」キー＋「Ｅｎｄ（エンド）」キーの組み合わせ操作や「ＰｇＵｐ（ページアップ）」キー＋「ＰｇＤｎ（ページダウン）」キーなどの組み合わせ操作を受け付けることで、画面中のＧＵＩコンポーネントの操作範囲を確定する処理を実行する（ステップＳ１１３）。
　さらにマウスカーソルを、特定したＧＵＩコンポーネントの操作範囲に順次連続して重畳（マウスカーソルオーバー）させると共に（ステップＳ１１４）、当該アプリケーションソフトの画面内でマウスカーソルが重畳された時点で各ＧＵＩコンポーネントの操作範囲と、マウスカーソル自体とに生じる状態の変化を取得する（ステップＳ１１５）。
　ＧＵＩコンポーネント形と位置判定部１１では、各ＧＵＩコンポーネントの変化に基づいて当該ＧＵＩコンポーネントの画面中での座標範囲を作成すると共に、その外輪郭が描く形を認識する（ステップＳ１１６）。
　ＧＵＩコンポーネント形と位置判定部１１は、以上の結果から総合的に画面内の各ＧＵＩコンポーネントの形と位置の範囲とを判定し、判定結果をＧＵＩコンポーネントＤＢ部２０に記録して（ステップＳ１１７）、以上でＧＵＩコンポーネント形と位置判定部１１での処理を終える。
　前述したように、ＧＵＩコンポーネント形と位置判定部１１は、ステップＳ１１１、Ｓ１２においてＧＵＩコンポーネントの形を特定する機能と、ステップＳ１１３～Ｓ１１７で示すようにＧＵＩコンポーネントの位置を特定する機能とを有している。
　次に、ＧＵＩコンポーネントの形と位置を特定した後の、ＧＵＩコンポーネント種類特定部１２およびＧＵＩコンポーネント操作特定部１３による処理について図３を用いて説明する。
　図３は、本実施形態の解析ソフトにより、１つのＧＵＩコンポーネントに関して、その種類と操作と特定する一連の処理内容を示すフローチャートである。まずＧＵＩコンポーネント種類特定部１２が、ＧＵＩコンポーネントＤＢ部２０に記録されている、各ＧＵＩコンポーネントの形と位置の範囲の判定結果に基づいて、当該ＧＵＩコンポーネント上にマウスカーソルを重畳（マウスカーソルオーバー）させ、当該アプリケーションソフトの画面内でマウスカーソル自体および当該ＧＵＩコンポーネントとで表示形態を変化させる（ステップＳ１２１）。
　ここでＧＵＩコンポーネント種類特定部１２は、マウスカーソルの変化のみにより当該ＧＵＩコンポーネントの種類を判定できるかどうかを判断する（ステップＳ１２２）。
　マウスカーソルの変化のみにより当該ＧＵＩコンポーネントの種類を判定できると判断した場合（ステップＳ１２２のＹＥＳ）、ＧＵＩコンポーネント種類特定部１２は当該ＧＵＩコンポーネントの種類を特定する（ステップＳ１２３）。
　またステップＳ１２２において、マウスカーソルの変化のみでは当該ＧＵＩコンポーネントの種類を特定できないと判断した場合（ステップＳ１２２のＮＯ）、ＧＵＩコンポーネント種類特定部１２は、カーソルの変化と当該ＧＵＩコンポーネントの変化の双方によって当該ＧＵＩコンポーネントの種類を特定する（ステップＳ１２４）。
　ステップＳ１２３またはステップＳ１２４で特定したＧＵＩコンポーネントの種類に基づいて、次にＧＵＩコンポーネント操作特定部１３が、当該ＧＵＩコンポーネントに対応した操作を特定し（ステップＳ１３１）、特定した結果をＧＵＩコンポーネントＤＢ部２０に記録させて、以上で図３の処理を終了する。
　ＧＵＩコンポーネント種類特定部１２およびＧＵＩコンポーネント操作特定部１３は、ＧＵＩコンポーネントＤＢ部２０に記録されたＧＵＩコンポーネントの数だけ図３の処理を繰り返し実行することで、記録したすべてのＧＵＩコンポーネントの種類とその種類に対応した操作とを特定し、特定した結果をＧＵＩコンポーネントＤＢ部２０に記録する。
　図４は、アプリケーションソフトの一例としてウェブブラウザで、あるウェブサイトのホームページ（Ｈｏｍｅ）を表示させた画面を例示する図である。同図では、画面中央で当該ウェブサイト内でのコンテンツの検索を補助する検索ガイド部ＳＧを表示しており、検索ガイド部ＳＧ内に検索の実行を指示するための検索シンボルＳＳ、検索テキストを入力するためのテキスト入力ボックスＴＢ、および音声によるテキスト入力を指示するためのマイクロホンシンボルＭＳを配置している。また、検索ガイド部ＳＧの下部側には、検索の実行を指示するための検索ボタンＳＢを表示している。
　ここでは、具体的なＧＵＩコンポーネントとして、円形状の範囲の検索シンボルＳＳ、矩形状の範囲のテキスト入力ボックスＴＢ、矩形状の範囲のマイクロホンシンボルＭＳ、および矩形状の範囲の検索ボタンＳＢが、それら以外の画面背景と区別して認識される。
　検索ガイド部ＳＧを含む周辺領域ＡＡでは、全体にマウスカーソルとしてアローポインタＡＰが表示される。一方で、特にＧＵＩコンポーネントとして認識される検索シンボルＳＳ、マイクロホンシンボルＭＳ、および検索ボタンＳＢにアローポインタＡＰの矢印先端の指示ポイントが移動してマウスカーソルオーバーの状態となった場合には、表示されるマウスカーソルがアローポインタＡＰからハンドポインタＨＰに変化し、当該ＧＵＩコンポーネント内ではクリック操作により、それぞれ予め設定されているリンク先へのジャンプを待機する状態となる。
　さらに、テキスト入力ボックスＴＢにアローポインタＡＰの矢印先端の指示ポイントが移動してマウスカーソルオーバーの状態となった場合には、表示されるマウスカーソルがアローポインタＡＰからＩビームポインタＩＰに変化し、テキスト入力ボックスＴＢ内でテキスト情報の入力を待機する状態となる。
　ここで、マウスカーソルの変化に基づいた画面の特にＧＵＩコンポーネントの解析についてあらためて説明しておく。　
　前述したようにマウスカーソルのプロパティの設定により、表示すべくマウスカーソルのシンボルイメージが決定される。例えば、通常のマウスカーソルであればアローポインタＡＰ、テキストの入力であればＩビームポインタＩＰ、リンクの選択であればハンドポインタＨＰのように、ポイントする位置にあるＧＵＩコンポーネントの種類によって、操作すべき内容に対応したマウスカーソルが表示されることとなる。
　そのため、マウスカーソルが変化する特性に基づいて、通常のユーザが行なう操作で、コンピュータシステム等への影響を与えないような操作、例えばマウスカーソルオーバーやテキスト等のキー入力操作への組合せによって、ＧＵＩコンポーネントに関する図面認識ができるようになる。
　以下に具体例を列挙する。例えば、ウェブサイトの画面などの解析においては、　
・テキスト入力に対応したＩビームポインタＩＰは、テキストが入力可能なエリア、およびテキストをコピー可能なエリアにマウスカーソルが入力された時点で表示できるようになる。　
・単なるテキストデータと、テキストリンクの区別は、リンクの選択カーソルと下線の組合せで判断できる。　
・単なる文字や図形は、「Ｃｔｒｌ」キー＋「Ａ」キーの同時操作により判断できる。　
・ボタンやアイコンなど選択できるオブジェクト領域に入ったことが、通常の選択用マウスカーソルとオブジェクト用のマウスカーソルとでシンボルイメージを変化させるとともに、ガイドメッセージの表示によって判断できる。　
・リンクを選択するマウスカーソルは、リンク先がないと表示されない特性があるため、メニューバーやタイトルバーなどリンクの選択の可能性が低いエリアの判断に役立てることができる。　
・通常のアローポインタＡＰから他のマウスカーソルに変化する場合、変化直前のアローポインタＡＰの表示形態により、そのアローポインタＡＰを表示していたエリアの機能が判断できる。　
・キーボードの「Ｈｏｍｅ」キーまたは「ＰｇＵｐ」キーの操作でページのトップ範囲を把握できる。　
・キーボードの「Ｅｎｄ」キーまたは「ＰｇＤｎ」キーの操作でページのボトム範囲を把握できる。　
などが挙げられる。
　そのため、「画面内の特定のエリアでしか表示されないマウスカーソルがあること」および「特定の操作に移行するマウスカーソルがあること」から、マウスカーソルの変化特性を利用することによって、画面内のＧＵＩコンポーネントの認識ができるようになるもので、特にマウスカーソルのみならず、ＧＵＩコンポーネントの変化も勘案することで、認識精度を向上させることができる。
　［実施形態の効果］
　以上に詳述した如く本実施形態によれば、アプリケーションソフトのプログラムコードや対象アプリケーションの端末メモリ内のオブジェクトなどの解析が不要となるので、プログラムコードを解析できない環境などにおいてもＧＵＩコンポーネントを認識することができるため、例えば事業プロセス自動化技術の１つであるＲＰＡ（Ｒｏｂｏｔｉｃ　Ｐｒｏｃｅｓｓ　Ａｕｔｏｍａｔｉｏｎ）などに寄与できる。
　また本実施形態では、ＧＵＩコンポーネントの種類と対応する操作の特定に先立って、画面内でＧＵＩコンポーネントに順次マウスカーソルを重畳させ、あるいは予め設定されている組み合わせキーの操作を受け付けることで、ＧＵＩコンポーネント周囲の表示形態が変化を生じなかった範囲を背景として削除し、残ったＧＵＩコンポーネントの範囲を抽出するものとしたことで、後の特定作業を効率化できる。
　さらに本実施形態では、ＧＵＩコンポーネントにマウスカーソルを重畳させた際の、マウスカーソルの変化のみによってＧＵＩコンポーネントの種類が特定できなかった場合に、マウスカーソルの変化とＧＵＩコンポーネントの変化とに基いてＧＵＩコンポーネントの種類を特定するものとしたので、ＧＵＩコンポーネントの種類の特定をより効率化できる。
　なお本発明の装置は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能となる。
　その他、本願発明は、前記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、前記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
１０…ＧＵＩコンポーネント解析部、
１１…ＧＵＩコンポーネント形と位置判定部、
１２…ＧＵＩコンポーネント種類特定部、
１３…ＧＵＩコンポーネント操作特定部、
２０…ＧＵＩコンポーネントデータベース（ＤＢ）部、
ＡＡ…検索ボックス周辺、
ＡＰ…アローポインタ、
ＨＰ…ハンドポインタ、
ＩＰ…Ｉビームポインタ、
ＭＳ…マイクロホンシンボル、
ＳＢ…検索ボタン、
ＳＧ…検索ガイド部、
ＳＳ…検索シンボル、
ＴＢ…テキスト入力ボックス。

Claims (6)

  1. 　アプリケーションソフトの表示画面から当該画面に含まれているＧＵＩコンポーネントを抽出する抽出部と、
    　前記抽出部で抽出した前記ＧＵＩコンポーネントにマウスカーソルを重畳させた際の前記マウスカーソルの変化と前記ＧＵＩコンポーネントの変化とに基づいて、前記ＧＵＩコンポーネントの種類と前記ＧＵＩコンポーネントに対して可能な操作とを判定する判定部と、
    を備える画面認識装置。
  2. 　前記判定部は、前記ＧＵＩコンポーネントにマウスカーソルを重畳させた際の、前記マウスカーソルの変化により前記ＧＵＩコンポーネントの種類が判定できなかった場合に、前記マウスカーソルの変化と前記ＧＵＩコンポーネントの変化とに基いて、前記ＧＵＩコンポーネントの種類を判定する、
    請求項１に記載の画面認識装置。
  3. 　前記抽出部は、アプリケーションソフトの表示画面でＧＵＩコンポーネントに順次マウスカーソルを重畳させ、ＧＵＩコンポーネント周囲の表示形態が変化を生じなかった範囲を背景として削除し、残ったＧＵＩコンポーネントの範囲を抽出する、
    請求項１または２に記載の画面認識装置。
  4. 　前記抽出部は、アプリケーションソフトの表示画面でＧＵＩコンポーネントに対する予め設定されている組み合わせキーの操作を受け付け、ＧＵＩコンポーネント周囲の表示形態が変化を生じなかった範囲を背景として削除し、残ったＧＵＩコンポーネントの範囲を抽出する、
    請求項１または２に記載の画面認識装置。
  5. 　アプリケーションソフトの表示画面から当該画面に含まれているＧＵＩコンポーネントを抽出する抽出工程と、
    　前記抽出工程で抽出した前記ＧＵＩコンポーネントにマウスカーソルを重畳させた際の前記マウスカーソルの変化と前記ＧＵＩコンポーネントの変化とに基づいて、前記ＧＵＩコンポーネントの種類と前記ＧＵＩコンポーネントに対して可能な操作とを判定する判定工程と、
    を有する画面認識方法。
  6. 　請求項１乃至４いずれかに記載の画面認識装置が備える各部の処理を、前記画面認識装置のプロセッサに実行させるプログラム。
PCT/JP2020/008708 2020-03-02 2020-03-02 画面認識装置、画面認識方法およびプログラム WO2021176523A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/908,233 US11954507B2 (en) 2020-03-02 2020-03-02 GUI component recognition apparatus, method and program
JP2022504782A JP7416203B2 (ja) 2020-03-02 2020-03-02 画面認識装置、画面認識方法およびプログラム
PCT/JP2020/008708 WO2021176523A1 (ja) 2020-03-02 2020-03-02 画面認識装置、画面認識方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/008708 WO2021176523A1 (ja) 2020-03-02 2020-03-02 画面認識装置、画面認識方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2021176523A1 true WO2021176523A1 (ja) 2021-09-10

Family

ID=77612933

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/008708 WO2021176523A1 (ja) 2020-03-02 2020-03-02 画面認識装置、画面認識方法およびプログラム

Country Status (3)

Country Link
US (1) US11954507B2 (ja)
JP (1) JP7416203B2 (ja)
WO (1) WO2021176523A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11966566B2 (en) 2021-10-21 2024-04-23 UiPath, Inc. Mapping interactive UI elements to RPA object repositories for RPA development

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240045561A1 (en) * 2022-08-04 2024-02-08 Micro Focus Llc Using mouseover to scan a graphical user interface to improve accuracy of graphical object recognition

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0784765A (ja) * 1993-08-06 1995-03-31 Toshiba Corp Ｇｕｉテスト装置
JP2005044241A (ja) * 2003-07-24 2005-02-17 Nec Corp ポインティングデバイス通知装置および通知方法
JP2009032099A (ja) * 2007-07-27 2009-02-12 Toshiba Corp シナリオ生成装置およびシナリオ生成プログラム
JP2010102620A (ja) * 2008-10-27 2010-05-06 Nec Corp ユーザ操作シナリオ生成装置、方法およびプログラム
JP2012221318A (ja) * 2011-04-11 2012-11-12 Toshiba Corp シナリオ生成装置およびシナリオ生成プログラム
WO2013157092A1 (ja) * 2012-04-18 2013-10-24 富士通株式会社 マウスカーソル制御方法、マウスカーソル制御装置およびプログラム
JP2019159405A (ja) * 2018-03-07 2019-09-19 株式会社東芝 Ｇｕｉテスト装置、ｇｕｉテスト方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4319077B2 (ja) * 2004-03-25 2009-08-26 富士通株式会社 図形オブジェクト指定装置、図形オブジェクト指定方法、図形オブジェクト指定プログラム
KR20110035204A (ko) * 2009-09-30 2011-04-06 엘지전자 주식회사 입력 문자 인디케이터 표시 장치 및 방법
US20110214107A1 (en) * 2010-03-01 2011-09-01 Experitest, Ltd. Method and system for testing graphical user interfaces
US10430180B2 (en) * 2010-05-26 2019-10-01 Automation Anywhere, Inc. System and method for resilient automation upgrade
EP3112965A1 (en) 2015-07-02 2017-01-04 Accenture Global Services Limited Robotic process automation
US10296444B1 (en) * 2016-06-03 2019-05-21 Georgia Tech Research Corporation Methods and systems for testing mobile applications for android mobile devices

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0784765A (ja) * 1993-08-06 1995-03-31 Toshiba Corp Ｇｕｉテスト装置
JP2005044241A (ja) * 2003-07-24 2005-02-17 Nec Corp ポインティングデバイス通知装置および通知方法
JP2009032099A (ja) * 2007-07-27 2009-02-12 Toshiba Corp シナリオ生成装置およびシナリオ生成プログラム
JP2010102620A (ja) * 2008-10-27 2010-05-06 Nec Corp ユーザ操作シナリオ生成装置、方法およびプログラム
JP2012221318A (ja) * 2011-04-11 2012-11-12 Toshiba Corp シナリオ生成装置およびシナリオ生成プログラム
WO2013157092A1 (ja) * 2012-04-18 2013-10-24 富士通株式会社 マウスカーソル制御方法、マウスカーソル制御装置およびプログラム
JP2019159405A (ja) * 2018-03-07 2019-09-19 株式会社東芝 Ｇｕｉテスト装置、ｇｕｉテスト方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11966566B2 (en) 2021-10-21 2024-04-23 UiPath, Inc. Mapping interactive UI elements to RPA object repositories for RPA development

Also Published As

Publication number Publication date
US20230153126A1 (en) 2023-05-18
JP7416203B2 (ja) 2024-01-17
JPWO2021176523A1 (ja) 2021-09-10
US11954507B2 (en) 2024-04-09

Similar Documents

Publication Publication Date Title
US9703462B2 (en) Display-independent recognition of graphical user interface control
US9098313B2 (en) Recording display-independent computerized guidance
US20050060653A1 (en) Object operation apparatus, object operation method and object operation program
US8645829B1 (en) Partial functionality indicator
US20160350137A1 (en) Guide file creation program
JP2007304669A (ja) 電子機器の制御方法およびプログラム
US9459780B1 (en) Documenting interactive graphical designs
US9405558B2 (en) Display-independent computerized guidance
WO2021176523A1 (ja) 画面認識装置、画面認識方法およびプログラム
JP2011081778A (ja) ディスプレイ非依存のコンピュータによるガイダンス方法および装置
JPH08241191A (ja) Ｇｕｉ自動評価装置
JP6910494B1 (ja) 情報処理プログラム、情報処理装置及び情報処理方法
JP5344220B2 (ja) 測定装置および測定装置の操作方法
JP6774862B2 (ja) プログラム、制御装置、および情報記憶媒体
US20070038954A1 (en) Displaying apparatus of ui parts and displaying method of ui parts
JP4613770B2 (ja) 分析機器用標準操作手順書作成支援ソフトウエア
JP5527533B2 (ja) Ｗｅｂベースシステム用ユーザビリティ評価支援装置、方法、及びプログラム
US10628005B2 (en) Image display device, image display method, and information storage medium
JP6657799B2 (ja) 図形処理装置、図形処理方法、および、図形処理プログラム
JP3150889B2 (ja) ソフトウェア開発支援方法及び装置
JPH04288674A (ja) ハイパーテキスト編集装置
JP7421137B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7373828B2 (ja) 情報処理装置、及びプログラム
KR102106098B1 (ko) 도움말 제공 장치 및 방법
JP4446714B2 (ja) 文書検索装置、文書検索方法、および文書検索プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20923671

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022504782

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20923671

Country of ref document: EP

Kind code of ref document: A1