KR20210147471A - 객체 정보 생성 장치 및 방법 - Google Patents

객체 정보 생성 장치 및 방법 Download PDF

Info

Publication number
KR20210147471A
KR20210147471A KR1020200064737A KR20200064737A KR20210147471A KR 20210147471 A KR20210147471 A KR 20210147471A KR 1020200064737 A KR1020200064737 A KR 1020200064737A KR 20200064737 A KR20200064737 A KR 20200064737A KR 20210147471 A KR20210147471 A KR 20210147471A
Authority
KR
South Korea
Prior art keywords
information
objects
generating
internal
initial
Prior art date
Application number
KR1020200064737A
Other languages
English (en)
Inventor
김효영
이재철
이홍렬
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020200064737A priority Critical patent/KR20210147471A/ko
Publication of KR20210147471A publication Critical patent/KR20210147471A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
    • G06F9/4488—Object-oriented
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

객체 정보 생성 장치 및 방법이 개시된다. 일 실시예에 따른 객체 정보 생성 장치는 자동화 시나리오가 실행되는 화면에 표시된 복수의 객체 각각의 초기 정보를 획득하는 획득부 및 상기 복수의 객체 각각의 초기 정보에 기초하여 상기 복수의 객체 중 적어도 일부 객체 사이의 계층(hierarchy)을 나타내는 객체 트리 및 상기 적어도 일부 객체 각각의 객체 경로 정보를 생성하는 객체 구조화부를 포함한다.

Description

객체 정보 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING OBJECT INFORMATION}
개시되는 실시예들은 로봇 처리 자동화 기술과 관련된다.
근래 개인용 컴퓨터(PC; Personal Computer)를 이용한 업무 수행이 보편화되면서, 많은 기업들이 업무의 효율화를 도모하고자 단순 반복 업무에 한해서는 PC가 자체적으로 수행할 수 있도록 다양한 시도를 하고 있다.
이 중 각광받는 것이 로봇 처리 자동화(RPA; Robotic Process Automation) 방식으로, 사용자가 PC의 사용자 인터페이스(UI; User Interface) 상에서 단순 반복 업무를 수행하기 위한 행위를 기록하여 자동화 시나리오를 생성하면, 소프트웨어로 구현된 로봇이 생성된 자동화 시나리오를 실행함으로써 업무 자동화를 달성한다.
그러나, 자동화 시나리오를 실행하는 로봇은 업무의 수행에 앞서 업무의 대상이 될 객체를 탐지하는데, 자동화 시나리오가 생성되는 환경과 실행되는 환경이 다른 경우 객체의 정보가 변경되어 로봇이 객체를 탐지하는 데 실패하는 문제점이 있다.
실제로, 종래의 RPA 방식은 객체를 탐지하기 위해 객체의 위치, 이미지, 객체명 등의 객체 정보를 사용하는데, 객체의 위치나 이미지는 화면의 해상도가 변경됨에 따라 함께 변경될 우려가 있으며, 객체명은 사용자의 입력에 따라 한 화면에서 여러 개의 객체에 대해 동일한 값이 할당될 가능성이 있다. 이에 따라, 종래의 객체 정보를 이용하여 객체를 탐지할 경우, 객체 탐지에 실패하거나 탐지하지 않아야 하는 객체를 탐지할 가능성이 존재한다.
일본 공개특허공보 특개 2020-003905호 (2020.01.09. 공개)
개시되는 실시예들은 로봇 처리 자동화를 위한 객체 정보 생성 장치 및 방법을 제공하기 위한 것이다.
개시되는 일 실시예에 따른 객체 정보 생성 장치는, 자동화 시나리오가 실행되는 화면에 표시된 복수의 객체 각각의 초기 정보를 획득하는 획득부 및 상기 복수의 객체 각각의 초기 정보에 기초하여 상기 복수의 객체 중 적어도 일부 객체 사이의 계층(hierarchy)을 나타내는 객체 트리 및 상기 적어도 일부 객체 각각의 객체 경로 정보를 생성하는 객체 구조화부를 포함한다.
상기 객체 구조화부는, 상기 복수의 객체 중 상기 화면의 현재 활성화된 윈도우(window) 내에 포함된 복수의 내부 객체 각각의 초기 정보에 기초하여 내부 객체 트리 및 내부 객체 경로 정보를 생성할 수 있다.
상기 객체 구조화부는, 상기 복수의 내부 객체 각각의 초기 정보에 포함된 상기 복수의 내부 객체 각각의 위치 정보 및 타입 정보에 기초하여 상기 내부 객체 트리 및 상기 내부 객체 경로 정보를 생성할 수 있다.
상기 객체 구조화부는, 상기 화면의 하나 이상의 윈도우 중 상기 현재 활성화된 윈도우를 탐색하고, 상기 복수의 객체 각각의 초기 정보 중 상기 복수의 내부 객체 각각의 초기 정보를 선택하고, 상기 위치 정보 및 상기 타입 정보에 기초하여 상기 내부 객체 트리 및 상기 내부 객체 경로 정보를 생성할 수 있다.
다른 실시예에 따른 객체 정보 생성 장치는, 상기 복수의 객체 각각의 초기 정보 및 상기 객체 트리에 기초하여 상기 복수의 객체 중 적어도 일부 객체 각각의 상기 객체 트리 상의 위치와 매칭되는 객체 인덱스 정보를 생성하는 객체 인덱싱부를 더 포함할 수 있다.
상기 객체 인덱싱부는, 상기 복수의 객체 각각의 초기 정보에 기초하여 객체 검색용 질의를 생성하고, 상기 객체 검색용 질의에 대해 동일한 응답을 생성하는 2 이상의 객체를 검색하고, 상기 2 이상의 객체가 검색되는 경우, 상기 2 이상의 객체 각각의 상기 객체 트리 상의 위치와 매칭되는 객체 인덱스 정보를 생성할 수 있다.
다른 실시예에 따른 객체 정보 생성 장치는, 상기 복수의 객체 각각의 초기 정보에 기초하여, 응용 소프트웨어(application software)가 상기 복수의 객체 중 적어도 일부 객체 각각을 참조함에 따라 생성되는 특성 정보를 추출하는 특성 정보 추출부를 더 포함할 수 있다.
상기 특성 정보 추출부는, 상기 복수의 객체 각각의 초기 정보에 기초하여 상기 응용 소프트웨어의 종류를 판단하고, 상기 응용 소프트웨어의 종류에 따라 러닝 객체 테이블(ROT; Running Object Table) 또는 문서 객체 모델(DOM; Document Object Model)에 기초하여 상기 특성 정보를 추출할 수 있다.
일 실시예에 따른 객체 정보 생성 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 자동화 시나리오가 실행되는 화면에 표시된 복수의 객체 각각의 초기 정보를 획득하는 단계 및 상기 복수의 객체 각각의 초기 정보에 기초하여 상기 복수의 객체 중 적어도 일부 객체 사이의 계층(hierarchy)을 나타내는 객체 트리 및 상기 적어도 일부 객체 각각의 객체 경로 정보를 생성하는 단계를 포함한다.
상기 생성하는 단계는, 상기 복수의 객체 중 상기 화면의 현재 활성화된 윈도우(window) 내에 포함된 복수의 내부 객체 각각의 초기 정보에 기초하여 내부 객체 트리 및 내부 객체 경로 정보를 생성할 수 있다.
상기 생성하는 단계는, 상기 복수의 내부 객체 각각의 초기 정보에 포함된 상기 복수의 내부 객체 각각의 위치 정보 및 타입 정보에 기초하여 상기 내부 객체 트리 및 상기 내부 객체 경로 정보를 생성할 수 있다.
상기 생성하는 단계는, 상기 화면의 하나 이상의 윈도우 중 상기 현재 활성화된 윈도우를 탐색하는 단계, 상기 복수의 객체 각각의 초기 정보 중 상기 복수의 내부 객체 각각의 초기 정보를 선택하는 단계 및 상기 위치 정보 및 상기 타입 정보에 기초하여 상기 내부 객체 트리 및 상기 내부 객체 경로 정보를 생성하는 단계를 포함할 수 있다.
다른 실시예에 따른 객체 정보 생성 방법은, 상기 복수의 객체 각각의 초기 정보 및 상기 객체 트리에 기초하여 상기 복수의 객체 중 적어도 일부 객체 각각의 상기 객체 트리 상의 위치와 매칭되는 객체 인덱스 정보를 생성하는 단계를 더 포함할 수 있다.
상기 객체 인덱스 정보를 생성하는 단계는, 상기 복수의 객체 각각의 초기 정보에 기초하여 객체 검색용 질의를 생성하는 단계, 상기 객체 검색용 질의에 대해 동일한 응답을 생성하는 2 이상의 객체를 검색하는 단계 및 상기 2 이상의 객체가 검색되는 경우, 상기 2 이상의 객체 각각의 상기 객체 트리 상의 위치와 매칭되는 객체 인덱스 정보를 생성하는 단계를 포함할 수 있다.
다른 실시예에 따른 객체 정보 생성 방법은, 상기 복수의 객체 각각의 초기 정보에 기초하여, 응용 소프트웨어(application software)가 상기 복수의 객체 중 적어도 일부 객체 각각을 참조함에 따라 생성되는 특성 정보를 추출하는 단계를 더 포함할 수 있다.
상기 추출하는 단계는, 상기 복수의 객체 각각의 초기 정보에 기초하여 상기 응용 소프트웨어의 종류를 판단하는 단계 및 상기 응용 소프트웨어의 종류에 따라 러닝 객체 테이블(ROT; Running Object Table) 또는 문서 객체 모델(DOM; Document Object Model)에 기초하여 상기 특성 정보를 추출하는 단계를 포함할 수 있다.
개시되는 실시예들에 따르면, 자동화 시나리오의 객체 정보로서 자동화 시나리오 실행 환경의 변화에 강인한 객체 트리 및 객체 경로 정보를 추가로 생성함으로써, 자동화 시나리오가 생성되는 환경과 실행되는 환경이 상이한 경우에도 성공적으로 객체를 탐지할 수 있다.
또한 개시되는 실시예들에 따르면, 객체 경로 정보에 더하여 객체 인덱스 정보 또는 객체의 특성 정보를 추가로 생성함으로써, 보다 극적인 환경 변화에도 안정적으로 객체를 탐지할 수 있다.
도 1은 제1 실시예에 따른 객체 정보 생성 장치를 설명하기 위한 블록도
도 2는 제2 실시예에 따른 객체 정보 생성 장치를 설명하기 위한 블록도
도 3은 제3 실시예에 따른 객체 정보 생성 장치를 설명하기 위한 블록도
도 4는 제1 실시예에 따른 객체 정보 생성 방법을 설명하기 위한 흐름도
도 5는 제1 실시예에 따른 420 단계를 상세히 설명하기 위한 흐름도
도 6은 제2 실시예에 따른 객체 정보 생성 방법을 설명하기 위한 흐름도
도 7은 제2 실시예에 따른 630 단계를 상세히 설명하기 위한 흐름도
도 8은 제3 실시예에 따른 객체 정보 생성 방법을 설명하기 위한 흐름도
도 9는 제3 실시예에 따른 830 단계를 상세히 설명하기 위한 흐름도
도 10은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치(12)를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 개시되는 실시예들은 이에 제한되지 않는다.
실시예들을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 개시되는 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 개시되는 실시예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 제1 실시예에 따른 객체 정보 생성 장치(100)를 설명하기 위한 블록도이다.
도시된 바와 같이, 제1 실시예에 따른 객체 정보 생성 장치(100)는 획득부(110) 및 객체 구조화부(120)를 포함한다.
획득부(110)는 자동화 시나리오가 실행되는 화면에 표시된 복수의 객체 각각의 초기 정보를 획득한다.
이하에서, '자동화 시나리오'는 사용자에 의해 컴퓨터의 사용자 인터페이스(UI; User Interface) 상에서 수행되는 단순 반복 업무(예를 들어, 이메일 수신 및 발신, 문서 양식 작성 등)를 소프트웨어로 구현된 로봇이 자체적으로 수행할 수 있도록, 로봇 처리 자동화(RPA; Robotic Process Automation) 기능을 제공하는 소프트웨어에 의해 생성 및 제공되는 일련의 정보를 의미한다.
또한 이하에서, '초기 정보'는 복수의 객체 각각이 자동화 시나리오가 실행되는 화면 공간 상에서 표시되는 위치를 나타내는 '위치 정보' 및 복수의 객체 각각의 타입을 나타내는 '타입 정보'를 포함하나, 반드시 이에 한정되는 것은 아니며, 초기 정보는 실시예에 따라 복수의 객체 각각의 객체 이름, 복수의 객체 각각의 객체 크기(size), 복수의 객체 각각이 속한 클래스의 이름, 복수의 객체 각각에 일 대 일 대응되는 식별 정보 등을 더 포함할 수도 있다.
일 실시예에 따르면, 자동화 시나리오가 실행되는 화면에는 하나 이상의 윈도우(window)가 표시될 수 있다. 이때, 윈도우는 자동화 시나리오가 실행되는 화면에 표시되는 시각적인 영역을 의미하며, 하나의 윈도우 내에는 복수의 객체가 포함될 수 있다. 예를 들어, '메모장' 프로그램의 실행 시 표시되는 윈도우 내에는 제목(title)을 나타내는 객체, 작업 상태를 나타내는 객체, 텍스트 편집을 위한 객체 등이 포함될 수 있다.
객체 구조화부(120)는 복수의 객체 각각의 초기 정보에 기초하여 복수의 객체 중 적어도 일부 객체 사이의 계층(hierarchy)을 나타내는 객체 트리 및 복수의 객체 중 적어도 일부 객체 각각의 객체 경로 정보를 생성한다.
이하에서, '객체 트리'는 복수의 객체 중 적어도 일부 객체 각각의 위치 정보 및 타입 정보에 기초하여 복수의 객체 중 적어도 일부 객체 각각의 부모-자식 관계를 나타낸 트리 구조를 의미할 수 있다. 이때, 객체 트리는 확장 가능 마크 업 언어(XML; Extensible Mark-up Language)로 기술될 수 있다.
또한 이하에서, '객체 경로 정보'는 복수의 객체 각각의 초기 정보가 저장된 시스템 상에서 복수의 객체 중 적어도 일부 객체 각각의 초기 정보가 저장된 디렉토리(directory)에 접근하기 위한 경로 정보를 의미할 수 있다.
일 실시예에 따르면, 객체 구조화부(120)는 복수의 객체 중 자동화 시나리오가 실행되는 화면의 현재 활성화된 윈도우(window) 내에 포함된 복수의 내부 객체 각각의 초기 정보에 기초하여 내부 객체 트리 및 내부 객체 경로 정보를 생성한다.
이때, '내부 객체 트리'는 복수의 내부 객체 사이의 계층을 나타내는 객체 트리를 의미하며, '내부 객체 경로 정보'는 복수의 내부 객체 각각의 객체 경로 정보를 의미한다.
구체적으로, 객체 구조화부(120)는 복수의 내부 객체 각각의 초기 정보에 포함된 복수의 내부 객체 각각의 위치 정보 및 복수의 내부 객체 각각의 타입 정보에 기초하여 내부 객체 트리 및 내부 객체 경로 정보를 생성할 수 있다.
보다 구체적으로, 객체 구조화부(120)는 다음의 (1) 내지 (3)의 프로세스를 통해 내부 객체 트리 및 내부 객체 경로 정보를 생성할 수 있다.
(1) 자동화 시나리오가 실행되는 화면의 하나 이상의 윈도우 중 현재 활성화된 윈도우를 탐색
(2) 복수의 객체 각각의 초기 정보 중 복수의 내부 객체 각각의 초기 정보를 선택
(3) 복수의 내부 객체 각각의 초기 정보에 포함된 복수의 내부 객체 각각의 위치 정보 및 복수의 내부 객체 각각의 타입 정보에 기초하여 내부 객체 트리 및 내부 객체 경로 정보를 생성
도 2는 제2 실시예에 따른 객체 정보 생성 장치(200)를 설명하기 위한 블록도이다.
도시된 바와 같이, 제2 실시예에 따른 객체 정보 생성 장치(200)는 획득부(110), 객체 구조화부(120) 및 객체 인덱싱부(210)를 포함한다.
도 2에 도시된 획득부(110) 및 객체 구조화부(120)는 도 1에 도시된 획득부(110) 및 객체 구조화부(120)와 동일한 구성이므로, 이에 대한 보다 중복적인 설명은 생략하도록 한다.
객체 인덱싱부(210)는 복수의 객체 각각의 초기 정보 및 객체 트리에 기초하여 복수의 객체 중 적어도 일부 객체 각각의 객체 트리 상의 위치와 매칭되는 객체 인덱스 정보를 생성할 수 있다.
이하에서, '객체 인덱스 정보'는 복수의 객체 중 초기 정보 및 객체 경로 정보만으로는 구별하기 힘든 2 이상의 객체가 존재하는 경우, 해당 2 이상의 객체 각각의 객체 트리 상의 위치에 따라 해당 2 이상의 객체 각각에 부여되는 인덱스 정보를 의미한다. 예를 들어, 객체 인덱스 정보는 구별하고자 하는 n개의 객체(이때, n은 2 이상의 자연수) 각각에 부여되는 1부터 n까지의 숫자 값일 수 있으나, 반드시 이에 한정되는 것은 아니다.
일 실시예에 따르면, 객체 인덱싱부(210)는 다음의 (1) 내지 (3)의 프로세스를 통해 객체 인덱스 정보를 생성할 수 있다.
(1) 복수의 객체 각각의 초기 정보에 기초하여 객체 검색용 질의를 생성
구체적으로, 객체 검색용 질의는 객체 트리에서 복수의 객체 각각을 검색하기 위해 복수의 객체 각각의 초기 정보에 기초하여 생성된 쿼리(query)일 수 있다. 이때, 객체 검색용 질의는 복수의 객체 각각의 초기 정보 중 사용자에 의해 선택된 정보에만 기초하여 생성될 수도 있으며, 이에 따라 외부 환경의 영향에 강인한 초기 정보만을 이용하여 객체 검색용 질의를 생성함으로써 객체 검색의 정확도를 제고할 수 있다.
(2) 객체 검색용 질의에 대해 동일한 응답을 생성하는 2 이상의 객체를 검색
(3) 2 이상의 객체가 검색되는 경우, 2 이상의 객체 각각의 객체 트리 상의 위치와 매칭되는 객체 인덱스 정보를 생성
구체적으로, 객체 인덱싱부(210)는 검색된 2 이상의 객체 각각이 트리 구조 상에서 위치한 순서에 따라 검색된 2 이상의 객체를 식별함으로써 객체 인덱스 정보를 생성할 수 있다.
예를 들어, 하나의 윈도우 내에 포함된 2개의 레이블(label) 객체가 동일한 텍스트를 표시하며 동일한 객체 경로 정보를 갖는 경우, 객체 인덱싱부(210)는 2개의 레이블 객체 중 트리 구조 상에서 앞서 위치한 객체에 1번을, 나중에 위치한 객체에 2번을 매칭함으로써 객체 인덱스 정보를 생성할 수 있다.
도 3은 제3 실시예에 따른 객체 정보 생성 장치(300)를 설명하기 위한 블록도이다.
도시된 바와 같이, 제3 실시예에 따른 객체 정보 생성 장치(300)는 획득부(110), 객체 구조화부(120) 및 특성 정보 추출부(310)를 포함한다.
도 3에 도시된 획득부(110) 및 객체 구조화부(120)는 도 1에 도시된 획득부(110) 및 객체 구조화부(120)와 동일한 구성이므로, 이에 대한 중복적인 설명은 생략하도록 한다.
특성 정보 추출부(310)는 복수의 객체 각각의 초기 정보에 기초하여, 응용 소프트웨어(application software)가 복수의 객체 중 적어도 일부 객체 각각을 참조함에 따라 생성되는 특성 정보를 추출할 수 있다.
이하에서, '응용 소프트웨어'는 운영 체제 상에서 사용자가 직접 사용하는 소프트웨어(예를 들어, 워드프로세서 등)를 통칭할 수 있으나, 반드시 이에 한정되는 것은 아니며, 실시예에 따라 운영 체제 상에서 실행되는 모든 소프트웨어를 통칭할 수 있다.
또한 이하에서, '특성 정보'는 응용 소프트웨어가 객체를 참조함에 따라 참조되는 객체의 초기 정보에 새로이 생성되는 임의의 정보를 의미할 수 있다.
일 실시예에 따르면, 특성 정보 추출부(310)는 다음의 (1) 및 (2)의 프로세스를 통해 특성 정보를 생성할 수 있다.
(1) 복수의 객체 각각의 초기 정보에 기초하여 응용 소프트웨어의 종류를 판단
예를 들어, 특성 정보 추출부(310)는 복수의 객체 각각을 참조하는 응용 소프트웨어의 종류가 ERP(Enterprise Resource Planning) 소프트웨어(예를 들어, SAP ERP)인지 판단하거나, 웹 브라우저(web browser) 소프트웨어(예를 들어, 익스플로러, 크롬 등)인지 판단할 수 있다.
(2) 응용 소프트웨어의 종류에 따라 러닝 객체 테이블(ROT; Running Object Table) 또는 문서 객체 모델(DOM; Document Object Model)에 기초하여 특성 정보를 추출
구체적으로, 응용 소프트웨어의 종류가 ERP 소프트웨어인 경우, 특성 정보 추출부(310)는 ERP 소프트웨어의 ROT에 저장된 객체 리스트를 획득할 수 있다. 이때, 이 객체 리스트에 포함된 객체는 현재 ERP 소프트웨어가 참조하는 객체이므로, 특성 정보 추출부(310)는 객체 리스트 내 객체가 ERP 소프트웨어에 의해 참조됨에 따라 생성되는 정보를 특성 정보로서 추출할 수 있다.
한편, 응용 소프트웨어의 종류가 웹 브라우저 소프트웨어인 경우, 특성 정보 추출부(310)는 DOM으로부터 웹 브라우저 소프트웨어에 의해 참조되는 객체에 대응되는 특성 정보를 추출할 수 있다. 이때, 특성 정보는 웹 브라우저 소프트웨어에 의해 참조되는 객체에 대해 DOM 상에 기 설정된 언어 기반의 코드로 기술된 정보일 수 있다. 예를 들어, 특성 정보는 XPath 언어 기반의 코드로 기술된 정보이거나, CSS 언어 기반의 코드로 기술된 정보일 수 있다. 그러나, 특성 정보는 반드시 이에 한정되는 것은 아니며, XPath 언어 기반의 코드로 기술된 정보와 CSS 언어 기반의 코드로 기술된 정보를 모두 포함하는 정보일 수도 있다.
도 4는 제1 실시예에 따른 객체 정보 생성 방법을 설명하기 위한 흐름도이다.
도 4에 도시된 방법은 예를 들어, 상술한 객체 정보 생성 장치(100)에 의해 수행될 수 있다.
410 단계에서, 객체 정보 생성 장치(100)는 자동화 시나리오가 실행되는 화면에 표시된 복수의 객체 각각의 초기 정보를 획득한다.
420 단계에서, 객체 정보 생성 장치(100)는 자동화 시나리오가 실행되는 화면에 표시된 복수의 객체 각각의 초기 정보에 기초하여 복수의 객체 중 적어도 일부 객체 사이의 계층을 나타내는 객체 트리 및 적어도 일부 객체 각각의 객체 경로 정보를 생성한다.
도 5는 제1 실시예에 따른 420 단계를 상세히 설명하기 위한 흐름도이다.
510 단계에서, 객체 정보 생성 장치(100)는 자동화 시나리오가 실행되는 화면에 표시된 하나 이상의 윈도우 중 현재 활성화된 윈도우를 탐색할 수 있다.
520 단계에서, 객체 정보 생성 장치(100)는 복수의 객체 각각의 초기 정보 중 복수의 내부 객체 각각의 초기 정보를 선택할 수 있다.
530 단계에서, 객체 정보 생성 장치(100)는 복수의 내부 객체 각각의 위치 정보 및 복수의 내부 객체 각각의 타입 정보에 기초하여 내부 객체 트리 및 내부 객체 경로 정보를 생성할 수 있다.
도 6은 제2 실시예에 따른 객체 정보 생성 방법을 설명하기 위한 흐름도이다. 도 6에 도시된 방법은 예를 들어, 상술한 객체 정보 생성 장치(200)에 의해 수행될 수 있다.
도 6에 도시된 610 단계 및 620 단계는 각각 도 4를 참조하여 설명한 410 단계 및 420 단계와 대응되므로, 이에 대한 보다 구체적인 설명은 생략하도록 한다.
630 단계에서, 객체 정보 생성 장치(200)는 자동화 시나리오가 실행되는 화면에 표시된 복수의 객체 각각의 초기 정보 및 객체 트리에 기초하여 복수의 객체 각각의 객체 트리 상의 위치와 매칭되는 객체 인덱스 정보를 생성할 수 있다.
도 7은 제2 실시예에 따른 630 단계를 상세히 설명하기 위한 흐름도이다.
710 단계에서, 객체 정보 생성 장치(200)는 복수의 객체 각각의 초기 정보에 기초하여 객체 검색용 질의를 생성할 수 있다.
720 단계에서, 객체 정보 생성 장치(200)는 객체 검색용 질의에 대해 동일한 응답을 생성하는 2 이상의 객체를 검색할 수 있다.
730 단계에서, 2 이상의 객체가 검색되는 경우, 객체 정보 생성 장치(200)는 검색된 2 이상의 객체 각각의 객체 트리 상의 위치와 매칭되는 객체 인덱스 정보를 생성할 수 있다.
도 8은 제3 실시예에 따른 객체 정보 생성 방법을 설명하기 위한 흐름도이다. 도 8에 도시된 방법은 예를 들어, 상술한 객체 정보 생성 장치(300)에 의해 수행될 수 있다.
도 8에 도시된 810 단계 및 820 단계는 각각 도 4를 참조하여 설명한 410 단계 및 420 단계와 대응되므로, 이에 대한 보다 구체적인 설명은 생략하도록 한다.
830 단계에서, 객체 정보 생성 장치(300)는 자동화 시나리오가 실행되는 화면에 표시된 복수의 객체 각각의 초기 정보에 기초하여, 응용 소프트웨어가 복수의 객체 중 적어도 일부 객체 각각을 참조함에 따라 생성되는 특성 정보를 추출할 수 있다.
도 9는 제3 실시예에 따른 830 단계를 상세히 설명하기 위한 흐름도이다.
910 단계에서, 객체 정보 생성 장치(300)는 복수의 객체 각각의 초기 정보에 기초하여 응용 소프트웨어의 종류를 판단할 수 있다.
920 단계에서, 객체 정보 생성 장치(300)는 응용 소프트웨어의 종류에 따라 러닝 객체 테이블 또는 문서 객체 모델에 기초하여 특성 정보를 추출할 수 있다.
이상의 도 4 내지 도 9에 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 동시에 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 10은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치(12)를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 제1 실시예에 따른 객체 정보 생성 장치(100)일 수 있다. 또한, 컴퓨팅 장치(12)는 제2 실시예에 따른 객체 정보 생성 장치(200)일 수 있다. 또한, 컴퓨팅 장치(12)는 제3 실시예에 따른 객체 정보 생성 장치(300)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100, 200, 300: 객체 정보 생성 장치
110: 획득부
120: 객체 구조화부
210: 객체 인덱싱부
310: 특성 정보 추출부

Claims (16)

  1. 자동화 시나리오가 실행되는 화면에 표시된 복수의 객체 각각의 초기 정보를 획득하는 획득부; 및
    상기 복수의 객체 각각의 초기 정보에 기초하여 상기 복수의 객체 중 적어도 일부 객체 사이의 계층(hierarchy)을 나타내는 객체 트리 및 상기 적어도 일부 객체 각각의 객체 경로 정보를 생성하는 객체 구조화부를 포함하는, 객체 정보 생성 장치.
  2. 청구항 1에 있어서,
    상기 객체 구조화부는,
    상기 복수의 객체 중 상기 화면의 현재 활성화된 윈도우(window) 내에 포함된 복수의 내부 객체 각각의 초기 정보에 기초하여 내부 객체 트리 및 내부 객체 경로 정보를 생성하는, 객체 정보 생성 장치.
  3. 청구항 2에 있어서,
    상기 객체 구조화부는,
    상기 복수의 내부 객체 각각의 초기 정보에 포함된 상기 복수의 내부 객체 각각의 위치 정보 및 타입 정보에 기초하여 상기 내부 객체 트리 및 상기 내부 객체 경로 정보를 생성하는, 객체 정보 생성 장치.
  4. 청구항 3에 있어서,
    상기 객체 구조화부는,
    상기 화면에 표시된 하나 이상의 윈도우 중 상기 현재 활성화된 윈도우를 탐색하고,
    상기 복수의 객체 각각의 초기 정보 중 상기 복수의 내부 객체 각각의 초기 정보를 선택하고,
    상기 위치 정보 및 상기 타입 정보에 기초하여 상기 내부 객체 트리 및 상기 내부 객체 경로 정보를 생성하는, 객체 정보 생성 장치.
  5. 청구항 1에 있어서,
    상기 복수의 객체 각각의 초기 정보 및 상기 객체 트리에 기초하여 상기 복수의 객체 중 적어도 일부 객체 각각의 상기 객체 트리 상의 위치와 매칭되는 객체 인덱스 정보를 생성하는 객체 인덱싱부를 더 포함하는, 객체 정보 생성 장치.
  6. 청구항 5에 있어서,
    상기 객체 인덱싱부는,
    상기 복수의 객체 각각의 초기 정보에 기초하여 객체 검색용 질의를 생성하고,
    상기 객체 검색용 질의에 대해 동일한 응답을 생성하는 2 이상의 객체를 검색하고,
    상기 2 이상의 객체가 검색되는 경우, 상기 2 이상의 객체 각각의 상기 객체 트리 상의 위치와 매칭되는 객체 인덱스 정보를 생성하는, 객체 정보 생성 장치.
  7. 청구항 1에 있어서,
    상기 복수의 객체 각각의 초기 정보에 기초하여, 응용 소프트웨어(application software)가 상기 복수의 객체 중 적어도 일부 객체 각각을 참조함에 따라 생성되는 특성 정보를 추출하는 특성 정보 추출부를 더 포함하는, 객체 정보 추출 장치.
  8. 청구항 7에 있어서,
    상기 특성 정보 추출부는,
    상기 복수의 객체 각각의 초기 정보에 기초하여 상기 응용 소프트웨어의 종류를 판단하고,
    상기 응용 소프트웨어의 종류에 따라 러닝 객체 테이블(ROT; Running Object Table) 또는 문서 객체 모델(DOM; Document Object Model)에 기초하여 상기 특성 정보를 추출하는, 객체 정보 추출 장치.
  9. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    자동화 시나리오가 실행되는 화면에 표시된 복수의 객체 각각의 초기 정보를 획득하는 단계; 및
    상기 복수의 객체 각각의 초기 정보에 기초하여 상기 복수의 객체 중 적어도 일부 객체 사이의 계층(hierarchy)을 나타내는 객체 트리 및 상기 적어도 일부 객체 각각의 객체 경로 정보를 생성하는 단계를 포함하는, 객체 정보 생성 방법.
  10. 청구항 9에 있어서,
    상기 생성하는 단계는,
    상기 복수의 객체 중 상기 화면의 현재 활성화된 윈도우(window) 내에 포함된 복수의 내부 객체 각각의 초기 정보에 기초하여 내부 객체 트리 및 내부 객체 경로 정보를 생성하는, 객체 정보 생성 방법.
  11. 청구항 10에 있어서,
    상기 생성하는 단계는,
    상기 복수의 내부 객체 각각의 초기 정보에 포함된 상기 복수의 내부 객체 각각의 위치 정보 및 타입 정보에 기초하여 상기 내부 객체 트리 및 상기 내부 객체 경로 정보를 생성하는, 객체 정보 생성 방법.
  12. 청구항 11에 있어서,
    상기 생성하는 단계는,
    상기 화면에 표시된 하나 이상의 윈도우 중 상기 현재 활성화된 윈도우를 탐색하는 단계;
    상기 복수의 객체 각각의 초기 정보 중 상기 복수의 내부 객체 각각의 초기 정보를 선택하는 단계; 및
    상기 위치 정보 및 상기 타입 정보에 기초하여 상기 내부 객체 트리 및 상기 내부 객체 경로 정보를 생성하는 단계를 포함하는, 객체 정보 생성 방법.
  13. 청구항 9에 있어서,
    상기 복수의 객체 각각의 초기 정보 및 상기 객체 트리에 기초하여 상기 복수의 객체 중 적어도 일부 객체 각각의 상기 객체 트리 상의 위치와 매칭되는 객체 인덱스 정보를 생성하는 단계를 더 포함하는, 객체 정보 생성 방법.
  14. 청구항 13에 있어서,
    상기 객체 인덱스 정보를 생성하는 단계는,
    상기 복수의 객체 각각의 초기 정보에 기초하여 객체 검색용 질의를 생성하는 단계;
    상기 객체 검색용 질의에 대해 동일한 응답을 생성하는 2 이상의 객체를 검색하는 단계; 및
    상기 2 이상의 객체가 검색되는 경우, 상기 2 이상의 객체 각각의 상기 객체 트리 상의 위치와 매칭되는 객체 인덱스 정보를 생성하는 단계를 포함하는, 객체 정보 생성 방법.
  15. 청구항 9에 있어서,
    상기 복수의 객체 각각의 초기 정보에 기초하여, 응용 소프트웨어(application software)가 상기 복수의 객체 중 적어도 일부 객체 각각을 참조함에 따라 생성되는 특성 정보를 추출하는 단계를 더 포함하는, 객체 정보 생성 방법.
  16. 청구항 15에 있어서,
    상기 추출하는 단계는,
    상기 복수의 객체 각각의 초기 정보에 기초하여 상기 응용 소프트웨어의 종류를 판단하는 단계; 및
    상기 응용 소프트웨어의 종류에 따라 러닝 객체 테이블(ROT; Running Object Table) 또는 문서 객체 모델(DOM; Document Object Model)에 기초하여 상기 특성 정보를 추출하는 단계를 포함하는, 객체 정보 생성 방법.
KR1020200064737A 2020-05-29 2020-05-29 객체 정보 생성 장치 및 방법 KR20210147471A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200064737A KR20210147471A (ko) 2020-05-29 2020-05-29 객체 정보 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200064737A KR20210147471A (ko) 2020-05-29 2020-05-29 객체 정보 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210147471A true KR20210147471A (ko) 2021-12-07

Family

ID=78867958

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200064737A KR20210147471A (ko) 2020-05-29 2020-05-29 객체 정보 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20210147471A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020003905A (ja) 2018-06-26 2020-01-09 株式会社日本総合研究所 Ｒｐａ装置、ｒｐａシステム、及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020003905A (ja) 2018-06-26 2020-01-09 株式会社日本総合研究所 Ｒｐａ装置、ｒｐａシステム、及びプログラム

Similar Documents

Publication Publication Date Title
KR100623245B1 (ko) 자동 컨피규레이션 생성
US20180225010A1 (en) Software robots for programmatically controlling computer programs to perform tasks
US7493596B2 (en) Method, system and program product for determining java software code plagiarism and infringement
US7395456B2 (en) Query-based identification of user interface elements
CN108762743B (zh) 一种数据表操作代码生成方法及装置
JP7096762B2 (ja) コントロールを使用して汎用プログラムを構成する技法
US20140013297A1 (en) Query-Based Software System Design Representation
CN102804147A (zh) 执行abap源代码的代码检查的代码检查执行系统
US20050132336A1 (en) Analyzing software performance data using hierarchical models of software structure
US8904352B2 (en) Systems and methods for processing source code during debugging operations
US10649744B1 (en) Systems and methods for handling renaming of programming constructs in programming environments
US20160239509A1 (en) File explorer system usable in an emulated integrated development environment (ide)
CN113051514B (zh) 元素的定位方法、装置、电子设备及存储介质
US20160124795A1 (en) Evaluation method and apparatus
JP2020119348A (ja) 解析プログラム、解析方法および解析装置
EP2951680B1 (en) Acquiring identification of an application lifecycle management entity associated with similar code
KR101798705B1 (ko) 유연성을 갖춘 메타데이터 구성 기법
US9886271B2 (en) Change method, apparatus, and recording medium
CN112667218A (zh) 一种处理方法、装置、设备及存储介质
JPH03294925A (ja) 同値データ項目検出方法
KR20210147471A (ko) 객체 정보 생성 장치 및 방법
CN115481025A (zh) 自动化测试的脚本录制方法、装置、计算机设备及介质
US7873949B2 (en) In source code suppression of binary analysis
CN113687880A (zh) 一种调用组件的方法、装置、设备和介质
US20070124686A1 (en) Locating graphical elements for an object