KR20220094848A - Method and device for automating process with image - Google Patents

Method and device for automating process with image Download PDF

Info

Publication number
KR20220094848A
KR20220094848A KR1020200186492A KR20200186492A KR20220094848A KR 20220094848 A KR20220094848 A KR 20220094848A KR 1020200186492 A KR1020200186492 A KR 1020200186492A KR 20200186492 A KR20200186492 A KR 20200186492A KR 20220094848 A KR20220094848 A KR 20220094848A
Authority
KR
South Korea
Prior art keywords
image
work start
screen
start image
user terminal
Prior art date
Application number
KR1020200186492A
Other languages
Korean (ko)
Other versions
KR102483475B1 (en
Inventor
최혜민
Original Assignee
주식회사 레이드백
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 레이드백 filed Critical 주식회사 레이드백
Priority to KR1020200186492A priority Critical patent/KR102483475B1/en
Publication of KR20220094848A publication Critical patent/KR20220094848A/en
Application granted granted Critical
Publication of KR102483475B1 publication Critical patent/KR102483475B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a method for automating a process using an image, which specifically comprises the steps of: obtaining a first screen image representing a first screen being output from an output unit of a user terminal; obtaining a work start image included in the first screen image; obtaining an event associated with the work start image; obtaining a second screen image representing a second screen being output from the output unit of the user terminal after the first screen is output; determining whether the work start image is included in the second screen image; and executing the event associated with the work start image when it is determined that the work start image is included in the second screen image.

Description

이미지를 활용한 프로세스 자동화 방법 및 장치 {Method and device for automating process with image}Method and device for automating process with image}

본 발명은 프로세스 자동화 방법에 관한 것으로, 더욱 상세하게는 이미지를 활용한 프로세스 자동화 방법에 관한 것이다.The present invention relates to a process automation method, and more particularly, to a process automation method using an image.

컴퓨터 기술이 발달하고, 컴퓨터가 많이 보급화되고 있다. 대다수의 사무업무가 컴퓨터를 이용하여 이루어지고 있으며, 컴퓨터를 사용하여 반복적인 양식이나 유형으로 처리되는 업무 또한 크게 증가하고 있다.With the development of computer technology, computers are becoming widespread. Most of the office work is done using a computer, and the number of tasks processed in a repetitive form or type using a computer is also increasing significantly.

이에 따라, 컴퓨터를 사용한 업무를 빠르고 효율적으로 처리하기 위한 자동 처리 시스템(Automatic Processing System)에 대한 요구가 높아지고 있는 추세이다. Accordingly, the demand for an automatic processing system for quickly and efficiently processing tasks using a computer is increasing.

종래의 자동 처리 시스템의 예로는 매크로 프로그램(Macro Program)이 있다. 매크로 프로그램은 자주 사용하는 다수 개의 명령어를 묶어서 하나의 키 입력 동작으로 다수 개의 명령어가 함께 실행되게 한다. 매크로 프로그램은 반복적으로 수행되는 일정 패턴의 작업을 수행할 때 조작자가 매번 다수 개의 명령어를 입력할 필요 없이 매크로 기능을 저장된 특정 명령어 하나만을 입력함으로써 동일한 패턴의 반복 업무를 빠르고 편리하게 수행할 수 있다. An example of a conventional automatic processing system is a macro program. A macro program bundles a number of frequently used commands so that multiple commands are executed together with a single key input operation. The macro program can perform repetitive tasks of the same pattern quickly and conveniently by inputting only one specific command stored in the macro function, without the operator having to input multiple commands each time when performing a repetitively performed regular pattern job.

그러나, 이러한 종래의 자동 처리 시스템은 단순한 패턴을 갖는 업무에 관하여 적용될 수 있어 복잡한 컴퓨터 작업에는 활용할 수 없는 문제점이 있었다. However, since this conventional automatic processing system can be applied with respect to a task having a simple pattern, there is a problem that it cannot be utilized for a complex computer task.

또한, 종래의 자동 처리 시스템은 자동 업무 처리 프로세스를 설정한 컴퓨터와 다른 환경을 가진 컴퓨터에서는 설정된 자동 업무 처리 프로세스가 제대로 실행되지 않아 실제 업무환경에서 활용하기 어려운 문제점이 있었다.In addition, the conventional automatic processing system has a problem in that it is difficult to utilize the set automatic business processing process in an actual business environment because the set automatic business processing process is not properly executed in a computer having a different environment from the computer on which the automatic business processing process is set.

이에 더하여, 종래의 자동 처리 시스템은 사용자가 소정의 반복업무를 수행하는 업무 처리를 자동으로 수행하는 자동 업무 처리 프로세스를 설정하기 위하여 특정 명령어, 실행순서, 실행 위치, 방식 등과 같은 구체적인 사항을 설정해야 한다. 이러한 구체적인 사항에 대한 설정은 컴퓨터를 잘 다루는 사람이 아닌 경우에는 자동 업무 처리 프로세스를 설정하기 어려운 문제점이 있었다.In addition to this, in the conventional automatic processing system, the user must set specific details such as a specific command, execution order, execution location, method, etc. in order to set an automatic business processing process that automatically performs business processing for performing predetermined repetitive tasks. do. The setting for these specific details has a problem in that it is difficult to set up an automatic business processing process if you are not a person who handles computers well.

대한민국 공개특허공보 제10-2020-0046769호Republic of Korea Patent Publication No. 10-2020-0046769 대한민국 등록특허공보 제10-2039422호Republic of Korea Patent Publication No. 10-2039422

따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 자동 업무 처리 프로세스를 설정하기 위한 구체적인 사항들을 작업개시 이미지 및 이벤트 정보를 설정하여 처리하도록 함으로써, 자동 업무처리 프로세스를 설정하기 위한 작업 편리성 및 효율성을 높일 수 있도록 하는 업무 프로세스 자동화 방법을 제공함에 있다.Accordingly, the present invention has been proposed to solve the above problems, and by setting the work start image and event information to process specific details for setting the automatic business processing process, for setting the automatic business processing process It is to provide a work process automation method that can increase work convenience and efficiency.

본 발명의 목적은 이상에서 언급한 것으로 제한되지 않으며,언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.Objects of the present invention are not limited to those mentioned above, and other objects not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description.

본 발명의 일 실시예에 따른 이미지를 활용한 프로세스 자동화방법은, 사용자 단말의 출력부에서 출력되고 있는 제 1화면을 나타내는 제 1 화면이미지를 획득하는 단계; 상기 제 1 화면이미지에 포함된 작업개시 이미지를 획득하는 단계; 상기 작업개시 이미지와 연관된 이벤트를 획득하는 단계; 상기 사용자 단말의 출력부에서 상기 제 1 화면이 출력된 이후에 출력되고 있는 제 2 화면을 나타내는 제 2 화면이미지를 획득하는 단계; 상기 제 2 화면이미지에 상기 작업개시 이미지가 포함되어 있는지를 결정하는 단계; 및 상기 제 2 화면이미지에 상기 작업개시 이미지가 포함되어 있다고 결정한 경우, 상기 작업개시 이미지와 연관된 이벤트를 실행하는 단계를 포함한다.A process automation method using an image according to an embodiment of the present invention includes: acquiring a first screen image representing a first screen being output from an output unit of a user terminal; obtaining a work start image included in the first screen image; acquiring an event associated with the work start image; obtaining a second screen image representing a second screen being output after the first screen is output from an output unit of the user terminal; determining whether the work start image is included in the second screen image; and when it is determined that the work start image is included in the second screen image, executing an event associated with the work start image.

상기 작업개시 이미지와 연관된 이벤트 정보는 복수 개의 이벤트 및 각 이벤트의 실행 순서 또는 실행 시간에 대한 정보를 포함하고, 상기 이벤트를 실행하는 단계는 상기 복수 개의 이벤트를 각 이벤트의 실행 순서 또는 실행 시간에 따라 실행한다.,The event information associated with the work start image includes information about a plurality of events and an execution order or execution time of each event, and the executing of the event may include setting the plurality of events according to the execution order or execution time of each event. run,

상기 제 2 화면이미지에 상기 작업개시 이미지가 포함되어 있는지를 결정하는 단계는 상기 제 2 화면이미지를 소정의 해상도를 갖는 이미지 절편으로 분할하는 이미지 분할 필터를 이용하여, 상기 제 2 화면이미지를 복수 개의 이미지 절편으로 분할하는 단계; 및 상기 복수 개의 이미지 절편 각각을 상기 작업개시 이미지와 비교하고, 상기 복수 개의 이미지 절편 중 상기 작업개시 이미지와 대응되는 이미지 절편이 존재하는지를 결정하는 단계를 포함하고, 상기 제 2 화면이미지에 상기 작업개시 이미지가 포함되어 있는지를 결정하는 단계는 상기 작업개시 이미지와 대응되는 이미지 절편이 존재하는 경우 상기 제 2 화면이미지에 상기 작업개시 이미지가 포함되어 있다고 결정하고, 그렇지 않은 경우 상기 제 2 화면이미지에 상기 작업개시 이미지가 포함되어 있지 않다고 결정한다.The step of determining whether the work start image is included in the second screen image may include dividing the second screen image into a plurality of segmenting into image slices; and comparing each of the plurality of image segments with the work start image, and determining whether there is an image segment corresponding to the work start image among the plurality of image segments, wherein the work starts on the second screen image In the step of determining whether an image is included, it is determined that the work start image is included in the second screen image if there is an image fragment corresponding to the work start image, otherwise, the second screen image is It is decided that the work start image is not included.

상기 작업개시 이미지와 대응되는 이미지 절편이 존재하는지를 결정하는 단계는 각 이미지 절편과 작업개시 이미지 사이의 유사도를 산출하는 단계; 및 상기 산출된 유사도 및 임계 유사도를 비교하고, 비교 결과에 기초하여 상기 작업개시 이미지와 대응되는 이미지 절편이 존재하는지를 결정하는 단계를 포함하고, 상기 비교 결과에 기초하여 상기 작업개시 이미지와 대응되는 이미지 절편이 존재하는지를 결정하는 단계는 산출된 유사도가 임계 유사도 이상인 이미지 절편이 존재하는 경우 상기 복수 개의 이미지 절편 중 상기 작업개시 이미지와 대응되는 이미지 절편이 존재한다고 결정하고, 산출된 유사도가 임계 유사도 이상인 이미지 절편이 존재하지 않는 경우 상기 복수 개의 이미지 절편 중 상기 작업개시 이미지와 대응되는 이미지 절편이 존재하지 않는다고 결정한다.The step of determining whether an image segment corresponding to the work start image exists may include calculating a degree of similarity between each image segment and the work start image; and comparing the calculated similarity and threshold similarity, and determining whether an image fragment corresponding to the work start image exists based on the comparison result, and an image corresponding to the work start image based on the comparison result. The step of determining whether a slice exists includes determining that an image slice corresponding to the work start image exists among the plurality of image slices when an image slice having a calculated similarity equal to or higher than a threshold similarity is present, and an image having a calculated similarity equal to or higher than a threshold similarity is determined. When the segment does not exist, it is determined that the image segment corresponding to the work start image does not exist among the plurality of image segments.

본 발명의 일 실시예에 따른 프로세스 자동화 방법에서,상기 작업개시 이미지와 대응되는 이미지 절편이 존재하는지를 결정하는 단계에서 상기 작업개시 이미지와 대응되는 이미지 절편이 존재하지 않는다고 결정된 경우, 상기 제 2 화면이미지를 복수 개의 이미지 절편으로 분할하는 단계는 상기 이미지 분할 필터에 분할되는 이미지 절편의 소정의 해상도를 변경하고 상기 제 2 화면이미지를 변경된 해상도를 갖는 복수 개의 이미지 절편으로 분할한다.In the process automation method according to an embodiment of the present invention, when it is determined that there is no image segment corresponding to the work start image in the step of determining whether an image segment corresponding to the work start image exists, the second screen image In the step of dividing the image segment into a plurality of image segments, a predetermined resolution of the image segment divided by the image segmentation filter is changed and the second screen image is divided into a plurality of image segments having the changed resolution.

본 발명의 일 실시예에 따른 프로세스 자동화 방법에서, 상기 제 2 화면이미지를 복수 개의 이미지 절편으로 분할하는 단계 및 상기 이미지 절편이 존재하는지를 결정하는 단계는 상기 작업개시 이미지와 대응되는 이미지 절편을 찾을 때까지 또는 사전에 설정된 한계 수행 횟수만큼 반복하여 수행된다.In the process automation method according to an embodiment of the present invention, dividing the second screen image into a plurality of image fragments and determining whether the image fragments exist are performed when an image fragment corresponding to the work start image is found. up to or as many times as the preset limit is performed.

상기 이벤트를 실행하는 단계는 상기 작업개시 이미지와 대응되는 이미지 절편의 위치를 산출하는 단계; 상기 산출된 위치로 마우스 커서를 이동시키는 단계; 및 상기 마우스 커서가 이동된 위치에서 상기 작업개시 이미지와 연관된 이벤트를 실행하는 단계를 포함한다.The step of executing the event comprises: calculating the position of the image fragment corresponding to the work start image; moving the mouse cursor to the calculated position; and executing an event related to the work start image at the position where the mouse cursor is moved.

본 발명의 다른 실시예에 따른 이미지를 활용한 프로세스 자동화 방법을 수행하는 사용자 단말은, 상기 사용자 단말이 사용자로부터 입력된 데이터를 획득하는 입력부; 상기 사용자 단말의 사용자에게 데이터를 출력하는 출력부; 상기 사용자 단말의 출력부에서 출력되고 있는 제 1 화면을 나타내는 제 1 화면이미지를 획득하고,상기 제 1 화면이미지에 포함된 작업개시 이미지를 획득하고, 상기 사용자 단말의 출력부에서 상기 제 1 화면이 출력된 이후에 출력되고 있는 제 2 화면을 나타내는 제 2 화면이미지를 획득하는 이미지 획득부; 상기 작업개시 이미지와 연관된 이벤트를 획득하는 이벤트 획득부; 상기 제 2 화면이미지에 상기 작업개시 이미지가 포함되어 있는지를 결정하는 이미지 분석부; 및 상기 제 2 화면이미지에 상기 작업개시 이미지가 포함되어 있다고 결정한 경우, 상기 작업개시 이미지와 연관된 이벤트를 실행하는 프로세서를 포함한다.A user terminal for performing a process automation method using an image according to another embodiment of the present invention includes: an input unit for obtaining data input by the user terminal from a user; an output unit for outputting data to a user of the user terminal; Obtaining a first screen image representing a first screen being output from an output unit of the user terminal, obtaining a work start image included in the first screen image, and outputting the first screen from an output unit of the user terminal an image acquisition unit configured to acquire a second screen image representing a second screen being output after being output; an event acquisition unit for acquiring an event related to the work start image; an image analysis unit for determining whether the work start image is included in the second screen image; and a processor executing an event related to the work start image when it is determined that the work start image is included in the second screen image.

이미지를 활용한 프로세스 자동화 방법은 사용자의 컴퓨터 작업과 관련하여 작업개시 이미지 및 이와 연관된 적어도 하나의 이벤트를 설정하고, 작업개시 이미지가 사용자 단말에서 수행 중인 화면에서 검색된 경우, 작업개시 이미지와 연관된 적어도 하나의 이벤트를 자동으로 실행하여 처리할 수 있다. 사용자에 의해 설정된 작업개시 이미지가 검출된 경우, 사용자가 컴퓨터를 조작하지 않더라도 자동으로 작업개시 이미지와 연관된 적어도 하나의 이벤트가 자동으로 실행되어 처리됨으로써, 사용자의 컴퓨터 작업의 편리성 및 효율성을 높일 수 있다.The process automation method using an image sets a work start image and at least one event related thereto in relation to the user's computer work, and when the work start image is found on the screen being performed in the user terminal, at least one associated with the work start image of event can be automatically executed and processed. When the work start image set by the user is detected, even if the user does not operate the computer, at least one event related to the work start image is automatically executed and processed, thereby increasing the convenience and efficiency of the user's computer operation. have.

또한, 본 발명에 의하면, 프로세스 자동화를 설정할 때 사용자에 의해 설정된 작업개시 이미지를 검색할 때, 검색 비율을 변경하면서 작업개시 이미지가 현재 출력 중인 화면에 포함되어 있는지를 검색한다. 본원발명은 현재 출력 중인 화면에서 미리 설정된 작업개시 이미지가 포함되어 있는지 여부를 검색할 때 다양한 해상도로 이미지 절편을 추출하고, 추출된 이미지 절편을 작업개시 이미지와 비교함으로써, 작업개시 이미지의 검출 정확도를 향상시킬 수 있다. In addition, according to the present invention, when searching for a work start image set by a user when setting process automation, it is searched whether the work start image is included in the currently output screen while changing the search ratio. The present invention extracts image fragments at various resolutions when searching whether a preset work start image is included in the currently output screen, and compares the extracted image fragments with the work start image, thereby improving the detection accuracy of the work start image can be improved

또한, 본원발명은 사용자 단말의 출력부에 출력된 화면에 포함된 이미지를 활용하여 작업개시 이미지를 설정한다. 예를 들어,사용자가 마우스를 드래그하여 특정 이미지를 작업개시 이미지로 설정할 수 있다. 이처럼 본원발명은 프로세스 자동화를 설정할 때, 사용자가 간단한 조작으로 작업개시 이미지를 설정할 수 있다. 이에 따라, 컴퓨터 또는 프로세스 자동화에 대한 전문적인 지식이 없는 사람도 용이하게 프로세스 자동화 방법을 설정할 수 있다.In addition, the present invention sets a work start image by using the image included in the screen output to the output unit of the user terminal. For example, a user can set a specific image as a work start image by dragging the mouse. As such, in the present invention, when setting the process automation, the user can set the work start image with a simple operation. Accordingly, even a person without computer or professional knowledge on process automation can easily set the process automation method.

본 발명의 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.Effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description.

도 1은 본 발명의 일 실시예에 따른 이미지를 활용한 프로세스 자동화 장치인 사용자 단말의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 이미지를 활용한 프로세스 자동화 방법의 흐름도이다.
도 3은 작업개시 이미지를 설정하는 예시화면을 도시한 도면이다.
도 4는 도 2에 도시된 이미지 데이터를 활용한 프로세스 자동화 방법에서 제 2 화면이미지가 작업개시 이미지를 포함하고 있는지를 결정하는 단계의 상세흐름도이다.
도 5는 본 발명의 실시예에 따라 이미지를 비교하는 방법을 도식화한 도면이다.
도 6은 도 3에 도시된 작업개시 이미지와 연관된 이벤트를 실행하는 단계의 상세흐름도이다.1 is a block diagram of a user terminal as a process automation device using an image according to an embodiment of the present invention.
2 is a flowchart of a process automation method using an image according to an embodiment of the present invention.
3 is a view showing an example screen for setting a work start image.
4 is a detailed flowchart of a step of determining whether a second screen image includes a work start image in the process automation method using the image data shown in FIG. 2 .
5 is a diagram schematically illustrating a method of comparing images according to an embodiment of the present invention.
6 is a detailed flowchart of a step of executing an event associated with the work start image shown in FIG. 3 .

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 할 것이다.Since the present invention is capable of various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어일 수 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.First, terms used in the present specification and claims have been selected in consideration of functions in various embodiments of the present invention. However, these terms may vary depending on the intention of a person skilled in the art, legal or technical interpretation, and emergence of new technology. Also, some terms may be arbitrarily selected by the applicant. These terms may be interpreted in the meanings defined herein, and in the absence of specific definitions, they may be interpreted based on the general content of the present specification and common technical common sense in the art.

또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조 번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명하도록 한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성 요소를 모두 도시하고 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.Also, the same reference numerals or reference numerals in each drawing appended hereto indicate parts or components that perform substantially the same functions. For convenience of description and understanding, the same reference numbers or reference numerals are used in different embodiments to be described. That is, even though all the components having the same reference number are shown in the plurality of drawings, the plurality of drawings do not mean one embodiment.

또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 '제1', '제2' 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성 요소들을 서로 구별하기 위하여 사용하는 것이며, 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안될 것이다. 일 예로, 이러한 서수와 결합된 구성 요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한 해석되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.Also, in this specification and claims, terms including ordinal numbers such as 'first' and 'second' may be used to distinguish between elements. This ordinal number is used to distinguish the same or similar components from each other, and the meaning of the term should not be limitedly interpreted due to the use of the ordinal number. As an example, for components combined with such an ordinal number, the order of use or arrangement should not be construed as being limited by the number. If necessary, each ordinal number may be used interchangeably.

본 명세서에서 단수의 표현은 문맥상 명백하게 다름을 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '구성하다' 등의 용어는 명세서 상에 기재된 특성, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특성들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this specification, the singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as 'comprise' or 'comprise' are intended to designate the existence of a characteristic, number, step, operation, component, part, or combination thereof described in the specification, but one or more other It should be understood that this does not preclude the possibility of addition or existence of features or numbers, steps, operations, components, parts, or combinations thereof.

또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.Also, in an embodiment of the present invention, when it is said that a part is connected to another part, this includes not only direct connection but also indirect connection through another medium. In addition, the meaning that a certain part includes a certain component means that other components may be further included, rather than excluding other components, unless specifically stated to the contrary.

이하의 본 발명의 실시예들에 대한 상세한 설명에서 기재된 용어는 다음과 같은 의미를 갖는다. "프로세스"는 사용자 단말와 같은 장치에서 실행 중인 프로그램, 일(task)를 의미한다."이벤트(event)"는 사용자 단말에서 실행되는 임의의 동작 또는 사건을 의미하는 것으로, 마우스 입력, 명령어 입력 등을 예로 들 수 있다. 본 발명의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자라면, 상술한 용어에 대하여 용이하게 이해할 수 있다. The terms described in the detailed description of the embodiments of the present invention below have the following meanings. “Process” refers to a program or task being executed in a device such as a user terminal. “Event” refers to an arbitrary operation or event executed in a user terminal. for example. Those of ordinary skill in the art to which the embodiments of the present invention pertain can easily understand the above-mentioned terms.

이하, 첨부된 도면을 참조하여 본 발명을 더욱 구체적으로 설명하기로 한다.Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 이미지를 활용한 프로세스 자동화 장치인 사용자 단말의 블록도이다.1 is a block diagram of a user terminal as a process automation device using an image according to an embodiment of the present invention.

도 1을 참조하면,사용자단말(1000)은 프로세서(1100), 스토리지(1200), 입력부(1300), 출력부(1400), 이미지 획득부(1500), 이미지 분석부(1600), 및 이벤트획득부(1700)로 이루어져 있다.Referring to FIG. 1 , the user terminal 1000 includes a processor 1100 , a storage 1200 , an input unit 1300 , an output unit 1400 , an image acquisition unit 1500 , an image analysis unit 1600 , and an event acquisition It consists of part 1700 .

프로세서(1100)는 사용자 단말(1000)에서 명령을 해독하고 실행하기 위한 처리 및 가공하는 기능을 포함한 하드웨어이다. 프로세서(1100)는 하드웨어적인 측면에서 컴퓨터 내에서 프로그램을 수행하는 하드웨어 유닛으로, 대표적인 예로 중앙처리장치(Central Processing Unit, CPU)일 수 있다. 프로세서(1100)는 사용자 단말(1000)에서 수행되는 일반적인 태스크(task)를 처리한다.The processor 1100 is hardware including processing and processing functions for decoding and executing instructions in the user terminal 1000 . The processor 1100 is a hardware unit that executes a program in a computer in terms of hardware, and may be a central processing unit (CPU) as a representative example. The processor 1100 processes a general task performed by the user terminal 1000 .

스토리지(1200)는 데이터를 전자기 형태로 저장하는 저장소로서, 사용자단말(1000)에서 이미지를 활용한 프로세스 자동화 방법을 수행하기 위하여 필요한 데이터를 저장한다. 스토리지(1200)에 저장되는 데이터는 프로세스 정보, 작업 개시 이미지 및 연관된 이벤트 데이터를 포함할 수 있다.The storage 1200 is a storage for storing data in an electromagnetic form, and stores data required to perform a process automation method using an image in the user terminal 1000 . Data stored in the storage 1200 may include process information, a work start image, and associated event data.

입력부(1300)는 사용자 단말(1000)이사용자로부터 입력된 데이터를 획득하기 위한 구성이다. 입력부(1300)의 대표적인 예로는, 키보드, 마우스, 터치스크린 등을 들 수 있다. 사용자 단말(1000)의 사용자는 입력부(1300)을 통하여 명령어 등을 입력할 수 있다. 입력부(1300)에서 입력될 수 있는 데이터는 작업개시 이미지, 작업개시 이미지와 연관된 이벤트에 대한 데이터일 수 있다.The input unit 1300 is a configuration for the user terminal 1000 to obtain data input from the user. Representative examples of the input unit 1300 include a keyboard, a mouse, and a touch screen. The user of the user terminal 1000 may input a command or the like through the input unit 1300 . Data that can be input from the input unit 1300 may be a work start image and data about an event related to the work start image.

출력부(1400)는 사용자 단말(1000)의 사용자에게 데이터를 출력해주기 위한 구성으로, 대표적인 예로 모니터, 프린터, 스피커 등을 들 수 있다. 출력부(1400)에서 출력할 수 있는 데이터는 사용자 단말(1000)에서 수행 중인 프로세스를 나타내는 화면, 작업개시 이미지, 작업개시 이미지와 연관된 이벤트를 포함할 수 있다.The output unit 1400 is a configuration for outputting data to the user of the user terminal 1000 , and representative examples include a monitor, a printer, a speaker, and the like. Data that can be output from the output unit 1400 may include a screen indicating a process being performed by the user terminal 1000, a work start image, and an event related to the work start image.

이미지 획득부(1500)는 현재 사용자 단말(1000)의 출력부(1400)에서 출력 중인 화면을 나타내는 이미지를 획득하기 위한 구성부이다. 이미지 획득부(1500)는 현재 출력부(1400)에서 출력되고 있는 화면을 캡처하는 방식으로 현재 출력되고 있는 화면을 나타내는 화면이미지를 생성한다. 화면이미지는 사용자 단말(1000)에 의해 수행되는 프로세스를 보여주는 화면을 나타내는 이미지 이다. 또한,이미지 획득부(1500)는 사용자로부터 작업개시 이미지를 나타내는 작업개시 이미지 데이터를 획득한다. 사용자는 입력부(1300)를 이용하여 작업개시 이미지로 지정하려는 이미지를 사용자 단말(1000)에 입력할 수 있다. 이미지 획득부(1500)는 사용자로부터 입력된 작업개시 이미지를 획득한다.The image acquisition unit 1500 is a component for acquiring an image representing a screen currently being output from the output unit 1400 of the user terminal 1000 . The image acquisition unit 1500 generates a screen image representing the currently output screen by capturing the screen currently being output from the output unit 1400 . The screen image is an image representing a screen showing a process performed by the user terminal 1000 . In addition, the image acquisition unit 1500 acquires the work start image data representing the work start image from the user. The user may input an image to be designated as a work start image into the user terminal 1000 by using the input unit 1300 . The image acquisition unit 1500 acquires a work start image input by the user.

이미지 분석부(1600)는 이미지 획득부(1500)에서 획득한 화면이미지 및 작업개시 이미지를 분석하기 위한 구성부이다. 보다 구체적으로, 이미지 분석부(1600)는 화면이미지와 작업개시 이미지를 비교하고, 비교 결과에 기초하여 화면이미지에 작업개시 이미지가 포함되어 있는지를 결정한다. 이미지 분석부(1600)는 이미지 분할부(1601), 유사도 산출부(1602), 비교부(1603), 및 필터 조정부(1064)를 포함한다.The image analysis unit 1600 is a component for analyzing the screen image and the work start image acquired by the image acquisition unit 1500 . More specifically, the image analysis unit 1600 compares the screen image with the work start image, and determines whether the work start image is included in the screen image based on the comparison result. The image analysis unit 1600 includes an image division unit 1601 , a similarity calculation unit 1602 , a comparison unit 1603 , and a filter adjustment unit 1064 .

이미지 분할부(1601)는 화면이미지를 이미지 분할필터를 이용하여 소정의 해상도를 갖는 복수 개의 이미지 절편으로 분할한다. 이미지 분할필터는 화면이미지를 소정의 해상도를 갖는 이미지 절편으로 분할한다. 이미지 분할부(1601)는 화면이미지를 이미지 분할필터의 소정의 해상도를 갖는 복수 개의 이미지 절편으로 분할한다. 여기에서, 이미지 분할필터의 해상도는 사용자에 의하여 또는 사용자 단말(1000)의 프로세서(1100)에 의하여 가변한다.The image division unit 1601 divides the screen image into a plurality of image segments having a predetermined resolution using an image segmentation filter. The image segmentation filter divides the screen image into image segments having a predetermined resolution. The image segmentation unit 1601 divides the screen image into a plurality of image segments having a predetermined resolution of the image segmentation filter. Here, the resolution of the image segmentation filter is changed by the user or the processor 1100 of the user terminal 1000 .

유사도 산출부(1602)는 이미지 분할부(1601)에 의해 분할된 복수 개의 이미지 절편 각각과 작업개시 이미지를 비교하고, 각 이미지 절편과 작업개시 이미지 사이의 유사도를 산출한다. 여기에서, 유사도는 양 이미지 사이의 비슷한 정도를 의미한다. 유사도 산출부(1602)는 양 이미지의 유사도를 0 에서100 사이의 숫자로 산출한다. 양 이미지 사이의 유사도가 '0'인 경우, 양 이미지는 유사한 부분이 전혀 없다는 의미이고, 양 이미지 사이의 유사도 '100'인 경우, 양 이미지는 완전히 일치한다는 의미이다. 유사도 산출부(1602)는 2개의 이미지가 입력되면 2개의 이미지 사이의 유사도를 산출하도록 사전에 트레이닝된 인공신경망일 수 있다.The similarity calculator 1602 compares each of the plurality of image segments divided by the image segmentation unit 1601 with the work start image, and calculates a similarity between each image segment and the work start image. Here, the similarity refers to the degree of similarity between the two images. The similarity calculator 1602 calculates the similarity of both images as a number between 0 and 100. When the similarity between the two images is '0', it means that both images have no similar parts. The similarity calculator 1602 may be an artificial neural network trained in advance to calculate a similarity between two images when two images are input.

비교부(1603)는 유사도 산출부(1602)에서 산출된 유사도를 사용자에 의해 미리 설정된 임계 유사도와 비교한다. 비교부(1603)는 이미지 절편과 작업개시 이미지 사이의 유사도와 임계 유사도를 비교하고, 산출된 유사도가 임계 유사도 이상인지 미만인지를 결정한다. 산출된 유사도 임계 유사도 이상인 경우, 비교부(1603)는 해당 유사도를 갖는 이미지 절편이 작업개시 이미지와 대응된다고 결정한다.The comparison unit 1603 compares the similarity calculated by the similarity calculation unit 1602 with a threshold similarity preset by the user. The comparison unit 1603 compares the similarity between the image fragment and the work start image with the threshold similarity, and determines whether the calculated similarity is greater than or less than the threshold similarity. When the calculated similarity is equal to or greater than the threshold similarity, the comparator 1603 determines that the image segment having the corresponding similarity corresponds to the work start image.

필터 조정부(1064)는 이미지 분할 필터의 해상도를 조정한다. 화면이미지로부터 분할된 복수 개의 이미지 절편 중 작업개시 이미지와 대응되는 이미지 절편이 존재하지 않는 경우, 필터 조정부(1604)는 이미지 분할 필터의 해상도를 조정한다. 여기에서, 필터 조정부(1604)는 종전에 이미지 절편의 해상도와 상이한 해상도를 갖도록 이미지 분할 필터의 해상도를 변경한다. 필터 조정부(1604)는 이미지 분할 필터의 해상도를 변경함으로써, 이미지 분할부(1601)에서 화면이미지를 다양한 해상도의 이미지 절편으로 분할할 수 있게 한다.The filter adjustment unit 1064 adjusts the resolution of the image segmentation filter. When there is no image segment corresponding to the work start image among the plurality of image segments divided from the screen image, the filter adjustment unit 1604 adjusts the resolution of the image segmentation filter. Here, the filter adjusting unit 1604 changes the resolution of the image segmentation filter so as to have a different resolution from that of the previous image segment. The filter adjuster 1604 changes the resolution of the image segmentation filter so that the image segmentation unit 1601 can divide the screen image into image segments having various resolutions.

이벤트 획득부(1700)는 사용자로부터 입력된 작업개시 이미지와 연관된 이벤트에 대한 정보를 획득하기 위한 구성부이다. 보다 구체적으로, 사용자는 사용자 단말(1000)의 입력부(1300)를 통하여 입력된 작업개시 이미지와 연관된 이벤트를 입력할 수 있고, 이벤트 정보는 마우스 커서의 이동, 마우스 커서의 동작, 텍스트 입력 등을 포함한다.The event acquisition unit 1700 is a component for acquiring information about an event related to a work start image input from a user. More specifically, the user may input an event related to the work start image input through the input unit 1300 of the user terminal 1000, and the event information includes mouse cursor movement, mouse cursor operation, text input, and the like. do.

본 발명의 실시예들에 따른 사용자 단말(1000)에서, 이미지 획득부(1500), 이미지 분석부(1600)및 이벤트 획득부(1700)는 프로세서(1100)와 다른 별개의 전용 프로세서에 의해 구현될 수 있으며, 프로세서(1100)에 의해 수행되는 컴퓨터 프로그램의 실행에 의하여 구현될 수도 있다.In the user terminal 1000 according to the embodiments of the present invention, the image acquisition unit 1500 , the image analysis unit 1600 , and the event acquisition unit 1700 may be implemented by a dedicated processor different from the processor 1100 . Also, it may be implemented by the execution of a computer program executed by the processor 1100 .

도 2는 본 발명의 일 실시예에 따른 이미지를 활용한 프로세스 자동화 방법에 대한 흐름도이다.2 is a flowchart of a process automation method using an image according to an embodiment of the present invention.

도 2를 참조하면, S1010 단계에서, 사용자 단말(1000)은 사용자 단말(1000)의 출력부(1400)에서 출력되고 있는 화면을 나타내는 제1 이미지를 획득한다. 보다 구체적으로, 사용자 단말(1000)의 이미지 획득부(1500)는 사용자 단말(1000)의 출력부(1400)인 디스플레이에서 출력되고 있는 화면을 캡쳐하여, 현재 디스플레이에서 출력되고 있는 제 1 화면을 나타내는 제 1 화면이미지를 표현하는 제 1 화면이미지데이터를 획득한다. 이미지 데이터는 현재 사용자 단말(1000)의 출력부(1400)에 의해 출력되고 있는 화면을 나타내는 데이터이다. 예를 들어, 컴퓨터의 모니터에서 웹 브라우저가 실행 중인 경우, 이미지 데이터는 웹 브라우저의 화면에 대한 데이터이다. 이미지데이터는 이미지를 구성하는 픽셀(pixel)들의 수, 각 픽셀들의 색깔을 포함한다. 이미지 획득부(1500)는 사용자 단말(1000)의 출력부(1400)에서 출력되고 있는 화면을 캡쳐한 이미지를 획득한다.Referring to FIG. 2 , in step S1010 , the user terminal 1000 acquires a first image representing a screen being output from the output unit 1400 of the user terminal 1000 . More specifically, the image acquisition unit 1500 of the user terminal 1000 captures a screen output from the display, which is the output unit 1400 of the user terminal 1000 , and displays the first screen currently being output on the display. Acquire first screen image data representing a first screen image. The image data is data representing a screen currently being output by the output unit 1400 of the user terminal 1000 . For example, when a web browser is running on a monitor of a computer, image data is data for a screen of the web browser. The image data includes the number of pixels constituting the image and the color of each pixel. The image acquisition unit 1500 acquires an image captured by the screen being output from the output unit 1400 of the user terminal 1000 .

S1020 단계에서, 사용자 단말(1000)은 사용자 단말(1000)의 사용자로부터 작업개시 이미지를 획득한다. 보다 구체적으로, 사용자 단말(1000)의 이미지 획득부(1500)는 입력부(1300)를 통하여 사용자로부터 입력된 작업개시 이미지를 나타내는 작업개시 이미지데이터를 획득한다. 사용자 단말(1000)의 사용자는 입력부(1300)를 통하여 작업개시 이미지를 설정할 수 있다.In step S1020 , the user terminal 1000 obtains a work start image from the user of the user terminal 1000 . More specifically, the image obtaining unit 1500 of the user terminal 1000 obtains work start image data representing the work start image input from the user through the input unit 1300 . The user of the user terminal 1000 may set a work start image through the input unit 1300 .

이와 관련하여, 본 발명의 도 3은 작업개시 이미지를 설정하는 예시화면을 도시한 도면이다. 도 3을 참고하면, 사용자는 입력부(1300)인 마우스를 이용하여 작업개시 이미지를 설정할 수 있다.도 3에 도시된 예시에 따르면, 작업개시 이미지로 설정하고 싶은 이미지 부분을 마우스 커서로 드래그하는 방식으로 작업개시 이미지를 설정할 수 있다.In this regard, FIG. 3 of the present invention is a view showing an example screen for setting a work start image. Referring to FIG. 3 , the user can set the work start image by using the mouse, which is the input unit 1300 . According to the example shown in FIG. 3 , a method of dragging an image part to be set as the work start image with the mouse cursor You can set the work start image with .

이미지 획득부(1500)는 사용자에 의해 입력된 작업개시 이미지를 나타내는 작업개시 이미지 데이터를 획득한다. 작업개시 이미지 데이터는 사용자가 설정한 작업개시 이미지의 크기, 작업개시 이미지의 위치(예를 들어, 출력부의 화면에서의 좌표), 작업개시 이미지에 포함된 픽셀 수, 각 픽셀의 색깔을 포함한다. 이미지 획득부(1500)는 획득된 작업개시 이미지 데이터를 스토리지(1200)에 저장한다.The image acquisition unit 1500 acquires the work start image data representing the work start image input by the user. The work start image data includes the size of the work start image set by the user, the position of the work start image (eg, coordinates on the screen of the output unit), the number of pixels included in the work start image, and the color of each pixel. The image acquisition unit 1500 stores the acquired work start image data in the storage 1200 .

S1030 단계에서, 사용자 단말(1000)은 사용자로부터 입력된 작업개시 이미지와 연관된 이벤트를 획득한다. 사용자 단말(1000)의 이벤트 획득부(1700)는 입력부(1300)를 통하여 사용자로부터 입력된 작업개시 이미지와 연관된 이벤트에 대한 이벤트 데이터를 획득한다. 보다 구체적으로, 사용자는 사용자 단말(1000)의 입력부(1300)를 통하여 S1020 단계에서 입력된 작업개시 이미지와 연관된 이벤트를 입력할 수 있다. 여기에서, 연관된 이벤트는 작업개시 이미지와 연관되어 사용자 단말(1000)에서 실행되는 태스크로서, 마우스 커서의 이동, 마우스 커서의 동작 등을 포함한다. 연관된 이벤트 데이터는 사용자가 입력한 작업개시 이미지와 연관된 이벤트를 나타내는 데이터를 의미한다. In step S1030, the user terminal 1000 acquires an event related to the work start image input from the user. The event acquisition unit 1700 of the user terminal 1000 acquires event data for an event related to the work start image input from the user through the input unit 1300 . More specifically, the user may input an event related to the work start image input in step S1020 through the input unit 1300 of the user terminal 1000 . Here, the related event is a task executed in the user terminal 1000 in association with the work start image, and includes a movement of a mouse cursor, an operation of the mouse cursor, and the like. The associated event data means data representing an event associated with a work start image input by a user.

S1030 단계에서, 작업개시 이미지와 연관된 이벤트는 복수 개의 이벤트일 수 있다. 사용자는 사용자 단말(1000)의 입력부(1300)를 통하여 작업개시 이미지와 연관된 복수 개의 이벤트를 설정할 수 있다. 사용자는 복수 개의 이벤트 각각에 대한 실행 순서 또는 실행 시간을 입력할 수 있다. 복수 개의 이벤트는 사용자 단말(1000)에서 실행 중인 임의의 프로세스에서 작업개시 이미지가 검색된 경우, 각 이벤트들 사이에 실행 순서에 따라 또는 각 이벤트 별 실행 시간에 따라 사용자 단말(1000)에서 실행된다.In step S1030, the event associated with the work start image may be a plurality of events. The user may set a plurality of events related to the work start image through the input unit 1300 of the user terminal 1000 . The user may input an execution order or execution time for each of a plurality of events. A plurality of events are executed in the user terminal 1000 according to an execution order between each event or according to an execution time for each event when a work initiation image is found in any process running in the user terminal 1000 .

사용자 단말(1000)에서 실행 중인 임의의 프로세스에 작업개시 이미지가 포함된 경우, 이러한 작업 개시 이미지와 연관된 이벤트가 사용자 단말(1000)에서 자동으로 실행된다. 예를 들어, 작업개시 이미지로 모바일 메신저 프로그램의 알림을 나타내는 이미지가 설정되고, 작업개시 이미지와 연관된 이벤트로 모바일 메신저를 실행시키는 태스크가 설정되었다고 가정한다. 이러한 예시에서, 사용자 단말(1000)에서 실행 중인 프로세스가 모바일 메신저 프로그램의 알림을 나타내는 이미지를 포함하는 경우(즉, 모바일 메신저 프로그램의 알림이 실행된 경우), 사용자가 모바일메신저를 실행하라는 명령을 입력하지 않더라도 사용자 단말(1000)의 프로세서(1100)는 모바일메신저의 알림으로 마우스 커서의 위치를 이동시키고, 마우스 커서가 지시하는 이미지(즉, 모바일 메신저) 실행하는 이벤트를 실행한다. 사용자 단말(1000)는 작업 개시 이미지 및 연관된 이벤트 정보를 스토리지(1200)에 저장한다. When an arbitrary process running in the user terminal 1000 includes a work initiation image, an event associated with this work initiation image is automatically executed in the user terminal 1000 . For example, it is assumed that an image indicating a notification of a mobile messenger program is set as the work start image, and a task of executing the mobile messenger is set as an event related to the work start image. In this example, when the process running in the user terminal 1000 includes an image representing a notification of the mobile messenger program (that is, when the notification of the mobile messenger program is executed), the user inputs a command to run the mobile messenger Even if not, the processor 1100 of the user terminal 1000 moves the position of the mouse cursor as a notification of the mobile messenger and executes an event of executing the image (ie, the mobile messenger) indicated by the mouse cursor. The user terminal 1000 stores the work start image and related event information in the storage 1200 .

도 3에 도시된 예시에서, 사용자는 키보드, 마우스 등과 같은 입력부(1300)를 이용하여 작업개시 이미지로 설정된 지문을 나타내는 이미지(도 3에서 사각 박스로 구획된 이미지 부분)를 작업개시 이미지로 입력한다. 사용자 단말(1000)에서 실행 중인 프로세스에서 작업개시 이미지와 동일한 이미지를 포함하는 경우, 사용자 단말(1000)은 마우스 커서의 위치를 작업개시 이미지와 동일한 이미지 부분으로 이동시키고, 연관된 이벤트인 지문을 나타내는 이미지 부분을 확대하는 이벤트를 실행한다.In the example shown in FIG. 3 , the user inputs an image representing a fingerprint set as a work start image (the image portion partitioned by a square box in FIG. 3) as a work start image using an input unit 1300 such as a keyboard or mouse. . When the process running in the user terminal 1000 includes the same image as the work start image, the user terminal 1000 moves the position of the mouse cursor to the same image part as the work start image, and an image representing a fingerprint that is a related event Executes an event to enlarge a part.

S1040 단계에서, 사용자 단말(1000)은 사용자 단말(1000)의 출력부(1400)에서 제 1 화면이 출력된 이후에 출력되고 있는 제 2 화면을 나타내는 제 2 화면이미지를 획득한다.보다 구체적으로,사용자 단말(1000)의 이미지 획득부(1500)는 사용자 단말(1000)의 출력부(1400)인 디스플레이에서 현재 출력되고 있는 화면을 캡쳐하고, 현재 디스플레이에서 출력되고 있는 제 2 화면을 나타내는 제 2 화면이미지를 표현하는 제 2 화면이미지 데이터를 획득한다. 이미지 획득부(1500)는 획득된 제 2 화면이미지 데이터를 이미지 분석부(1600)로 입력한다.In step S1040, the user terminal 1000 acquires a second screen image representing the second screen being output after the first screen is output from the output unit 1400 of the user terminal 1000. More specifically, The image acquisition unit 1500 of the user terminal 1000 captures a screen currently being output from the display that is the output unit 1400 of the user terminal 1000, and a second screen representing the second screen currently being output from the display. Second screen image data representing an image is acquired. The image acquisition unit 1500 inputs the acquired second screen image data to the image analysis unit 1600 .

S1050 단계에서, 사용자 단말(1000)은제 2 화면이미지에 작업개시 이미지가 포함되어 있는지를 결정한다. 사용자 단말(1000)의 이미지 분석부(1600)는 사용자 단말(1000)의 출력부(1400)에서 출력되고 있는 화면을 나타내는 제2 이미지에서 작업개시 이미지가 포함하고 있는지를 결정한다. 보다 구체적으로, 이미지 분석부(1600)는 제 2 이미지와 작업개시 이미지를 비교한다. 이미지 분석부(1600)는 작업개시 이미지 데이터가 나타내는 이미지와 동일한 이미지를 제 2 화면이미지가 포함하고 있는 여부를 결정한다. 이미지 분석부(1600)에서 제 2 화면이미지가 작업개시 이미지를 포함하고 있다고 결정하면 S1060 단계로 진행하고, 그렇지 않으면 S1040 단계로 진행한다. 사용자 단말(1000)이 제 2 화면이미지에 작업개시 이미지가 포함되어 있는지 여부를 결정하는 구체적인 과정에 대하여는 이하에서 도 4를 참고하여 설명하기로 한다.In step S1050, the user terminal 1000 determines whether a work start image is included in the second screen image. The image analysis unit 1600 of the user terminal 1000 determines whether the work start image is included in the second image representing the screen being output from the output unit 1400 of the user terminal 1000 . More specifically, the image analysis unit 1600 compares the second image and the work start image. The image analysis unit 1600 determines whether the second screen image includes the same image as the image indicated by the work start image data. If the image analysis unit 1600 determines that the second screen image includes the work start image, the process proceeds to step S1060; otherwise, the process proceeds to step S1040. A detailed process of determining whether the user terminal 1000 includes the work start image in the second screen image will be described below with reference to FIG. 4 .

도 4는 도 2에 도시된 이미지를 활용한 프로세스 자동화 방법에서 제 2 화면이미지가 작업개시 이미지를 포함하고 있는지를 결정하는 단계의 상세흐름도이다. 도 4를 참고하면, S1051 단계에서, 사용자 단말(1000)의 이미지 분석부(1600)는 제 2 화면이미지 데이터의 제 2 화면이미지로부터 소정의 해상도를 갖는 이미지 절편으로 분할하는 이미지 분할 필터를 이용하여 제 2 화면이미지를 제 2 화면이미지의 일부분을 나타내는 소정의 해상도를 갖는 이미지 절편으로 분할한다. 이미지 분석부(1600)의 이미지 분할부(1601)는 이미지 분할 필터의 소정의 해상도에 따라 제 2 화면이미지를 소정의 해상도를 갖는 복수 개의 이미지 절편으로 나누고, 나누어진 복수 개의 이미지 절편을 출력한다. 복수 개의 이미지 절편 각각은 이미지 분할 필터의 소정의 해상도를 갖는다.4 is a detailed flowchart of a step of determining whether a second screen image includes a work start image in the process automation method using the image shown in FIG. 2 . Referring to FIG. 4 , in step S1051 , the image analysis unit 1600 of the user terminal 1000 uses an image segmentation filter to divide the second screen image of the second screen image data into image fragments having a predetermined resolution. The second screen image is divided into image segments having a predetermined resolution representing a portion of the second screen image. The image division unit 1601 of the image analysis unit 1600 divides the second screen image into a plurality of image fragments having a predetermined resolution according to a predetermined resolution of the image division filter, and outputs the divided plurality of image fragments. Each of the plurality of image segments has a predetermined resolution of the image segmentation filter.

여기에서, 복수 개의 이미지 절편 중 서로 인접한 이미지 절편들 각각의 유사도는 소정의 임계 유사도 이상이다. 예를 들어, 인접한 이미지 절편의 임계 유사도는 90점(전체 픽셀 중 90%가 동일) 일 수 있다. 인접한 이미지 절편 각각이 나타내는 이미지는 상당 부분 유사하다. 제 1 이미지 절편이 나타내는 이미지와 제 2 이미지 절편이 나타내는 이미지는 테두리 부분을 제외한 부분에서 겹쳐진다. Here, the similarity of each of the image fragments adjacent to each other among the plurality of image fragments is equal to or greater than a predetermined threshold similarity. For example, the threshold similarity of adjacent image slices may be 90 points (90% of all pixels are the same). The images represented by each of the adjacent image slices are substantially similar. The image indicated by the first image segment and the image indicated by the second image segment overlap in portions except for the border portion.

예를 들어, 제 2이미지 절편이 제 1 이미지 절편의 우측에 바로 인접한 이미지 절편인 경우, 제 1 이미지 절편과제 2 이미지 절편은 좌측 또는 우측 최외곽의 픽셀 열만 상이하고, 나머지 부분은 서로 동일한 픽셀을 갖는다. 다시 말해, 제 1 이미지 절편 및 제 2 이미지 절편의 이미지는 서로 겹친다. For example, when the second image segment is an image segment immediately adjacent to the right side of the first image segment, the first image segment and the second image segment differ only in the left or right outermost pixel column, and the remaining portion contains the same pixels have In other words, the images of the first image segment and the second image segment overlap each other.

여기에서, 이미지 절편의 유사도의 임계 유사도는 90점, 80점, 70점 등으로 설계자에 의해 미리 설정될 수 있다. 유사도의 점수는 0점인 경우, 두 이미지는 동일한 부분이 없다는 것을 의미하고, 유사도의 점수가 100점인 경우에는 두 이미지가 완전히 일치한다는 것을 의미한다.Here, the threshold similarity of the similarity of the image segment may be preset by a designer to 90 points, 80 points, 70 points, or the like. When the similarity score is 0, it means that the two images do not have identical parts, and when the similarity score is 100, it means that the two images are completely identical.

S1052 단계에서, 사용자 단말(1000)의 이미지 분석부(1600)는 추출된 복수 개의 이미지 절편 각각과 작업개시 이미지를 비교하고, 복수 개의 이미지 절편 중 작업개시 이미지와 대응되는 이미지가 존재하는지를 결정한다. 이미지 분석부(1600)는 작업개시 이미지와 대응되는 이미지 절편이 존재하는 경우 제 2 화면이미지에 작업개시 이미지가 포함되어 있다고 결정하고, 그렇지 않은 경우 제 2 화면이미지에 작업개시 이미지가 포함되어 있지 않다고 결정한다. 작업개시 이미지와 대응되는 이미지 절편이 존재하는지 여부를 결정하는 방식에 대하여는 이하에서 상세하게 설명하기로 한다.In step S1052, the image analysis unit 1600 of the user terminal 1000 compares each of the plurality of extracted image segments with the work start image, and determines whether an image corresponding to the work start image among the plurality of image segments exists. The image analysis unit 1600 determines that the work start image is included in the second screen image when there is an image fragment corresponding to the work start image, otherwise the second screen image does not include the work start image decide A method of determining whether an image fragment corresponding to the work start image exists will be described in detail below.

보다 구체적으로, 이미지 분석부(1600)의 유사도 산출부(1602)는 각 이미지 절편과 작업개시 이미지를 비교하고, 각 이미지 절편과 작업개시 이미지 사이의 유사도를 산출한다. More specifically, the similarity calculating unit 1602 of the image analysis unit 1600 compares each image segment with the work start image, and calculates the similarity between each image segment and the work start image.

여기에서, 유사도 산출부(1602)는 양 이미지의 유사도를 산출하도록 미리 트레이닝된 인공신경망이다. 유사도 산출부(1602)는 복수 개의 이미지 및 이미지 사이의 유사도를 포함하는 학습용 데이터 세트에 의해 사전에 트레이닝된 인공신경망이다. 본 발명에 따른 유사도 산출부(1602)는 2개의 이미지가 입력되면, 각 이미지의 유사도를 산출하여 출력한다. Here, the similarity calculating unit 1602 is an artificial neural network trained in advance to calculate the similarity of both images. The similarity calculating unit 1602 is an artificial neural network trained in advance by a training data set including a plurality of images and similarities between the images. When two images are input, the similarity calculating unit 1602 according to the present invention calculates and outputs the similarity of each image.

인공신경망은 인공신경망 전체가 합성곱 연산으로 이루어진 FCN(fully convolution network), 여러 개의 퍼셉트론을 포함하는 다층 구조 퍼셉트론(multi layer perceptron), 다수의 컨볼루션 레이어(convolution layer)를 포함하는 CNN(convolutional neural network), 순환구조를 갖는 RNN(recurrent neural network) 등으로 구현될 수 있다.An artificial neural network is a fully convolutional network (FCN) in which the entire artificial neural network is composed of convolution operations, a multi-layer perceptron including several perceptrons, and a convolutional neural network (CNN) including a plurality of convolution layers. network), a recurrent neural network (RNN) having a cyclic structure, and the like.

유사도 산출부(1602)는 산출된 유사도를 비교부(1603)로 입력한다. The similarity calculating unit 1602 inputs the calculated similarity to the comparing unit 1603 .

이미지 분석부(1600)의 비교부(1603)는 산출된 유사도 및 임계 유사도를 비교하고, 비교 결과에 기초하여 작업개시 이미지와 대응되는 이미지 절편이 존재하는 지를 결정한다. 보다 구체적으로, 비교부(1603)는 산출된 유사도 중 임계 유사도를 넘는 이미지가 존재하는지 여부를 결정한다. 이미지 분석부(1600)의 비교부(1603)는 산출된 각 이미지 절편과 작업개시 이미지 사이의 유사도 중 임계 유사도를 비교한다. 비교부(1603)는 비교결과 산출된 유사도가 임계 유사도 이상인 이미지 절편이 존재하는 경우 복수 개의 이미지 절편 중 작업개시 이미지와 대응되는 이미지 절편이 존재한다고 결정하고, 산출된 유사도가 임계 유사도 이상인 이미지 절편이 존재하지 않는 경우 복수 개의 이미지 절편 중 작업개시 이미지와 대응되는 이미지 절편이 존재하지 않는다고 결정한다. 비교부(1603)는 비교 결과 임계 유사도 이상인 이미지 절편이 존재하는 경우, S1060 단계로 진행하고 그렇지 않은 경우 S1053 단계로 진행한다. The comparison unit 1603 of the image analysis unit 1600 compares the calculated similarity and threshold similarity, and determines whether an image fragment corresponding to the work start image exists based on the comparison result. More specifically, the comparison unit 1603 determines whether there is an image exceeding a threshold similarity among the calculated similarities. The comparison unit 1603 of the image analysis unit 1600 compares the threshold similarity among the similarities between each calculated image segment and the work start image. The comparison unit 1603 determines that, among the plurality of image fragments, an image fragment corresponding to the work start image exists, when an image fragment having a similarity calculated as a result of the comparison is equal to or greater than the threshold similarity, and the calculated similarity is equal to or greater than the threshold similarity. If it does not exist, it is determined that the image segment corresponding to the work start image does not exist among the plurality of image segments. The comparison unit 1603 proceeds to step S1060 if there is an image fragment equal to or greater than the threshold similarity as a result of the comparison; otherwise, it proceeds to step S1053.

S1053 단계에서, 이미지 분석부(1600)는 제 2 화면이미지를 복수 개의 이미지 절편으로 분할하는 S1051 단계를 수행한 횟수가 한계 수행 횟수를 초과하였는지를 결정한다. 이미지 분석부(1600)는 이미지 절편으로 분할하는 단계를 수행한 횟수가 사용자에 의해 미리 설정된 한계 수행 횟수를 초과하는지를 결정한다. 이미지 분석부(1600)는 하나의 제 2 화면이미지에 대하여 제 2 화면이미지를 상이한 해상도의 이미지 절편으로 분할하였는지를 결정한다. 이미지 절편을 분할하는 단계를 수행한 횟수가 한계 수행 횟수를 초과한 경우 S1040 단계로 진행하고, 그렇지 않으면 S1054 단계로 진행한다. In step S1053 , the image analysis unit 1600 determines whether the number of times of performing step S1051 of dividing the second screen image into a plurality of image segments exceeds a limit number of executions. The image analysis unit 1600 determines whether the number of times of performing the step of dividing the image into fragments exceeds the number of times of performing a limit preset by the user. The image analysis unit 1600 determines whether the second screen image is divided into image segments having different resolutions for one second screen image. If the number of times of performing the step of segmenting the image fragment exceeds the limit of the number of times performed, the process proceeds to step S1040; otherwise, the process proceeds to step S1054.

S1054 단계에서, 이미지 분석부(1600)는 제 2 화면이미지 데이터로부터 이미지 절편을 분할하는 이미지 분할 필터의 해상도를 변경한다. 이미지 분석부(1600)의 필터 조정부(1604)는 제 2 화면이미지 데이터로부터 추출된 이미지 절편 중 작업개시 이미지와 대응되는 이미지 절편이 존재하지 않는 경우, 이미지 분할 필터의 해상도를 변경한다. 필터 조정부(1604)는 해상도가 변경된 필터를 이미지 분할부(1701)로 입력한다.In step S1054, the image analysis unit 1600 changes the resolution of the image segmentation filter for segmenting the image segment from the second screen image data. The filter adjustment unit 1604 of the image analysis unit 1600 changes the resolution of the image segmentation filter when there is no image segment corresponding to the work start image among the image segments extracted from the second screen image data. The filter adjustment unit 1604 inputs the filter whose resolution is changed to the image division unit 1701 .

S1051 단계에서, 이미지 분석부(1600)의 이미지 분할부(1601)는 해상도가 조정된 이미지 분할 필터를 이용하여 제 2 화면이미지를 조정된 소정의 해상도를 갖는 이미지 절편으로 분할한다. 이미지 분할부(1601)는 해상도가 조정된 이미지 분할 필터를 이용하여 제 2 화면이미지를 종전의 이미지 절편과 상이한 해상도를 갖는 이미지 절편으로 분할한다. 이미지 분할부(1601)는 분할된 복수 개의 이미지 절편을 출력한다.In step S1051 , the image dividing unit 1601 of the image analyzing unit 1600 divides the second screen image into image segments having the adjusted predetermined resolution using the image segmentation filter with the adjusted resolution. The image division unit 1601 divides the second screen image into image fragments having a different resolution from the previous image fragments by using the resolution-adjusted image division filter. The image segmentation unit 1601 outputs a plurality of segmented image segments.

사용자 단말(1000), 특히 이미지 분석부(1600)는 이전에 수행된 이미지 절편과 상이한 해상도를 갖는 복수 개의 이미지 절편에 대하여 S1052, S1053, S1054 단계를 다시 수행한다. The user terminal 1000 , particularly the image analysis unit 1600 , performs steps S1052 , S1053 , and S1054 again on a plurality of image slices having different resolutions from the previously performed image slices.

상술한 내용을 종합하면, 본 발명의 실시예들에 따른 프로세스 자동화방법은 S1051 내지 S1054 단계를 반복한다. 이미지 분석부(1600)는 제 1이미지 분할 필터를 이용하여 제 2 화면이미지를 제 1 해상도를 갖는 복수 개의 이미지 절편으로 분할하고, 제 1 해상도를 갖는 이미지 절편 각각을 작업개시 이미지와 비교한다. 비교 결과 작업개시 이미지와 대응되는 이미지 절편이 존재하지 않는 경우, 이미지 분석부(1600)는 제 1 이미지 분할 필터의 해상도를 조정하여 제 2 화면이미지를 제 1 해상도와 상이한 제 2 해상도를 갖는 복수 개의 이미지 절편으로 분할한다. 이미지 분석부(1600)는 제 2 해상도를 갖는 이미지 절편을 작업개시 이미지와 비교하고, 작업개시 이미지와 대응되는 이미지 절편이 존재하는 지를 결정한다. 본 발명의 실시예들에 따른 프로세스 자동화방법은 제 2 화면이미지를 소정의 해상도를 갖는 이미지 절편으로 분할하고, 분할된 이미지 절편 중 작업개시 이미지와 대응되는 이미지 절편이 존재하지 않는 경우 제 2 화면이미지를 상이한 해상도를 갖는 이미지 절편으로 분할하고 분할된 이미지 절편을 작업개시 이미지와 비교한다. 이처럼 본 발명은 제 2 화면이미지를 상이한 해상도를 갖는 이미지 절편으로 분할하고 분할된 이미지 절편을 작업개시 이미지와 비교함으로써, 작업개시 이미지를 검출하는 정확도를 향상시킬 수 있다.Summarizing the above, the process automation method according to embodiments of the present invention repeats steps S1051 to S1054. The image analysis unit 1600 divides the second screen image into a plurality of image segments having a first resolution by using the first image segmentation filter, and compares each of the image segments having the first resolution with the work start image. As a result of the comparison, if there is no image segment corresponding to the work start image, the image analysis unit 1600 adjusts the resolution of the first image segmentation filter to display the second screen image in a plurality of pieces having a second resolution different from the first resolution. Split the image into slices. The image analysis unit 1600 compares the image segment having the second resolution with the work start image, and determines whether an image segment corresponding to the work start image exists. The process automation method according to the embodiments of the present invention divides the second screen image into image fragments having a predetermined resolution, and when there is no image fragment corresponding to the work start image among the divided image fragments, the second screen image is divided into image fragments with different resolutions, and the segmented image fragments are compared with the starting image. As such, the present invention divides the second screen image into image segments having different resolutions and compares the divided image segments with the work start image, thereby improving the accuracy of detecting the work start image.

도 5는 본 발명의 실시예에 따라 이미지를 비교하는 방법을 도식화한 도면이다. 도 5에서 "A"는 현재 사용자 단말(1000)의 출력부(1400)에서 출력되고 있는 화면, 즉 제 2화면이미지고, "B"는 제2 이미지에 포함된 작업 개시 이미지이다. 도 5를 참고하면, 이상에서 기재한 바와 같이 사용자 단말(1000)의 출력부(1400)에서 출력되고 있는 화면을 소정의 해상도를 갖는 이미지 절편(도 5 상에서 점선으로 된 사각형)으로 분할한다. 이미지 분석부(1600)는 분할된 이미지 절편 각각을 스토리지(1200)에 저장된 작업개시 이미지와 비교한다. 이미지 절편과 작업개시 이미지의 비교 결과, 유사도가 설계자에 의해 미리 설정된 임계 유사도 이상인 이미지 절편이 검색되지 않은 경우, 이미지 분석부(1600)는 제 2화면이미지로부터 분할되는 이미지 절편의 해상도를 변경한다. 이미지 분석부(1600)는 변경된 해상도로 분할된 이미지 절편을 작업개시 이미지와 비교하고, 작업개시 이미지와 유사도가 임계 유사도 이상인 이미지 절편을 검출한다. 5 is a diagram schematically illustrating a method for comparing images according to an embodiment of the present invention. In FIG. 5 , "A" is a screen currently being output from the output unit 1400 of the user terminal 1000, that is, a second screen image, and "B" is a work start image included in the second image. Referring to FIG. 5 , as described above, the screen output from the output unit 1400 of the user terminal 1000 is divided into image segments (a dotted rectangle in FIG. 5 ) having a predetermined resolution. The image analysis unit 1600 compares each of the segmented image segments with the work start image stored in the storage 1200 . As a result of comparing the image fragment and the work start image, if an image fragment having a similarity level greater than or equal to a threshold similarity preset by the designer is not searched, the image analysis unit 1600 changes the resolution of the image fragment divided from the second screen image. The image analysis unit 1600 compares the image segment divided by the changed resolution with the work start image, and detects an image segment whose similarity to the work start image is equal to or greater than a threshold similarity.

본 발명의 일 실시예에 따른 프로세스 자동화 방법에서, 사용자 단말(1000)은 작업개시 이미지와 대응되는 이미지 절편이 검출될 때까지 또는 사용자에 의해 미리 설정된 한계 수행 횟수 만큼 S1051 단계 내지 S1054 단계를 반복한다. 여기에서, 한계 수행 횟수는 작업개시 이미지와 대응되는 이미지 절편이 검출되지 않은 경우, S1051 단계 내지 S1054 단계를 수행하는 최대 횟수이다. 제 2 화면이미지가 작업개시 이미지와 대응되는 이미지를 포함하고 있지 않은 경우, 사용자 단말(1000)은 사용자에 의해 미리 설정된 한계 수행 횟수만큼 이미지 분할 필터의 해상도를 조정하여 제 2 화면이미지로부터 이미지 절편을 추출하고, 추출된 이미지 절편을 작업개시 이미지와 비교한다.In the process automation method according to an embodiment of the present invention, the user terminal 1000 repeats steps S1051 to S1054 until an image fragment corresponding to the work start image is detected or as many times as the number of times of performing a preset limit by the user. . Here, the limit number of times is the maximum number of times that steps S1051 to S1054 are performed when an image fragment corresponding to the work start image is not detected. When the second screen image does not include an image corresponding to the work start image, the user terminal 1000 adjusts the resolution of the image segmentation filter by the number of times preset by the user to perform the image segmentation from the second screen image. Extract, and compare the extracted image fragment with the starting image.

한계 수행 횟수만큼 제 2 화면이미지를 이미지 절편으로 분할하고 비교한 결과, 작업개시 이미지와 대응되는 이미지 절편이 존재하지 않는 경우, 사용자 단말(1000)은 제 2 화면이미지에 작업개시 이미지를 포함하고 있지 않다고 결정한다. 다시 말해, 사용자 단말(1000)은 사용자 단말(1000)의 출력부(1400)에서 출력되고 있는 화면에 작업개시 이미지가 표시되어 있지 않다고 결정한다. As a result of dividing and comparing the second screen image into image fragments as many as the limiting number of executions, if there is no image fragment corresponding to the work start image, the user terminal 1000 does not include the work start image in the second screen image. decide not to In other words, the user terminal 1000 determines that the work start image is not displayed on the screen being output from the output unit 1400 of the user terminal 1000 .

한계 수행 횟수에 도달하기 이전에 제 2 화면이미지로부터 분할된 이미지 절편 중 작업개시 이미지와 대응되는 이미지 절편이 존재하는 경우, 사용자 단말(1000)은 제 2 화면이미지에 작업개시 이미지가 포함되어 있다고 결정하고, S1051 단계 내지 S1054 단계를 반복하는 것을 중단한다.If there is an image segment corresponding to the work start image among the image segments divided from the second screen image before reaching the limit number of executions, the user terminal 1000 determines that the work start image is included in the second screen image and stop repeating steps S1051 to S1054.

S1060 단계에서, 사용자 단말(1000)은 작업개시 이미지와 연관된 이벤트를 실행한다. S1050 단계에서, 사용자 단말(1000)이 현재 사용자 단말(100)의 출력부(1400)에서 출력 중인 화면인 제 2 화면이미지에서 S1030 단계에서 획득된 작업개시 이미지와 유사한 이미지 절편을 검출한 경우, 사용자 단말(1000)의 프로세서(1100)는 스토리지(1200)에 저장된 작업개시 이미지와 연관된 이벤트 정보를 판독하고, 연관된 이벤트 정보가 나타내는 이벤트를 실행한다.In step S1060, the user terminal 1000 executes an event related to the work start image. In step S1050, when the user terminal 1000 detects an image fragment similar to the work start image obtained in step S1030 in the second screen image that is the screen currently being output from the output unit 1400 of the user terminal 100, the user The processor 1100 of the terminal 1000 reads event information related to the work start image stored in the storage 1200 and executes an event indicated by the related event information.

작업개시 이미지와 연관된 이벤트를 실행하는 S1060 단계는 다음의 단계들로 구성된다. 도 6은 도 3에 도시된 작업개시 이미지와 연관된 이벤트를 실행하는 단계의 상세흐름도이다. 도 6을 참고하면, S1061 단계에서, 사용자 단말(1000)은 제 2 화면이미지에서 검출된 작업개시 이미지와 대응하는 이미지 절편의 위치를 산출한다. 보다 자세하게는, 사용자 단말(1000)의 이미지 분석부(1600)는 제 2 화면이미지로부터 분할된 이미지 절편들 중 S1030 단계에서 획득된 작업개시 이미지와 유사한 이미지 절편(즉, 작업개시 이미지와 유사도가 임계 유사도 이상인 이미지 절편)의 위치를 산출한다. 사용자 단말(1000)의 이미지 분석부(1600)는 이미지 절편이 현재 출력 중인 화면에서 배치된 위치의 좌표를 산출하는 방식으로 작업개시 이미지와 유사한 이미지 절편의 위치를 산출한다.Step S1060 of executing an event related to the work start image consists of the following steps. 6 is a detailed flowchart of a step of executing an event associated with the work start image shown in FIG. 3 . Referring to FIG. 6 , in step S1061 , the user terminal 1000 calculates the position of the image fragment corresponding to the work start image detected from the second screen image. In more detail, the image analysis unit 1600 of the user terminal 1000 is an image segment similar to the work start image obtained in step S1030 among the image segments divided from the second screen image (that is, the similarity to the work start image is critical The location of the image segment with a degree of similarity or higher) is calculated. The image analysis unit 1600 of the user terminal 1000 calculates the position of the image fragment similar to the work start image by calculating the coordinates of the location where the image fragment is currently being output on the screen.

S1062 단계에서, 사용자 단말(1000)은 S1061 단계에서 산출된 이미지 절편의 위치로 마우스 커서의 위치를 이동시킨다. 보자 자세하게는, 사용자 단말(1000)의 프로세서(1100)는 마우스 커서의 위치를 작업개시 이미지와의 유사도가 임계 유사도 이상인 이미지 절편의 위치로 이동시킨다. In step S1062, the user terminal 1000 moves the position of the mouse cursor to the position of the image fragment calculated in step S1061. In detail, the processor 1100 of the user terminal 1000 moves the position of the mouse cursor to the position of the image segment having a similarity with the work start image equal to or greater than the threshold similarity.

S1063 단계에서, 사용자 단말(1000)은 마우스 커서가 이동된 위치에서 작업개시 이미지와 연관된 이벤트를 실행한다. 사용자 단말(1000)의 프로세서(1100)는 작업개시 이미지와 유사한 이미지 절편의 위치로 이동된 마우스 커서에서 S1040 단계에서 획득된 이벤트를 실행한다. In step S1063, the user terminal 1000 executes an event related to the work start image at the position where the mouse cursor is moved. The processor 1100 of the user terminal 1000 executes the event acquired in step S1040 from the mouse cursor moved to the position of the image fragment similar to the work start image.

도 5에 도시된 예시에 따르면, 사용자 단말(1000)은 사용자 단말(1000)에서 출력 중인 화면에 작업개시 이미지로 설정된 "B"이미지와 동일한 이미지를 포함하는지를 결정한다. "B"이미지와 유사한 이미지가 검색된 경우, 사용자 단말(1000)의 프로세서(1100)는 현재 출력 중인 화면에서"B" 이미지의 위치로 이동시키고, 이동된 마우스 커서의 좌측버튼의 더블클릭과 동일한 이벤트인"B"이미지와 연관된 프로그램을 실행하는 이벤트를 실행한다. According to the example shown in FIG. 5 , the user terminal 1000 determines whether the image being output from the user terminal 1000 includes the same image as the "B" image set as the work start image. When an image similar to the "B" image is found, the processor 1100 of the user terminal 1000 moves to the location of the "B" image on the currently output screen, and the same event as the double click of the left button of the moved mouse cursor Executes an event that executes the program associated with the "B" image.

상술한 본 발명의 실시예들에 따르면, 이미지를 활용한 프로세스 자동화 방법은 사용자의 컴퓨터 작업과 관련하여 작업개시 이미지 및 이와 연관된 적어도 하나의 이벤트를 설정하고, 작업개시 이미지가 사용자 단말에서 수행 중인 화면에서 검색된 경우, 작업개시 이미지와 연관된 적어도 하나의 이벤트를 자동으로 실행하여 처리할 수 있다. 사용자에 의해 설정된 작업개시 이미지가 검출된 경우, 사용자가 컴퓨터를 조작하지 않더라도 자동으로 작업개시 이미지와 연관된 적어도 하나의 이벤트가 자동으로 실행되어 처리됨으로써, 사용자의 컴퓨터 작업의 편리성 및 효율성을 높일 수 있다.According to the above-described embodiments of the present invention, the process automation method using an image sets the work start image and at least one event related thereto in relation to the user's computer work, and the screen where the work start image is being performed in the user terminal If it is found in , at least one event related to the work start image may be automatically executed and processed. When the work start image set by the user is detected, even if the user does not operate the computer, at least one event related to the work start image is automatically executed and processed, thereby increasing the convenience and efficiency of the user's computer operation. have.

또한, 본 발명에 의하면, 프로세스 자동화를 설정할 때 사용자에 의해 설정된 작업개시 이미지를 검색할 때, 검색 비율을 변경하면서 작업개시 이미지가 현재 출력 중인 화면에 포함되어 있는지를 검색한다. 본원발명은 현재 출력 중인 화면에서 미리 설정된 작업개시 이미지가 포함되어 있는지 여부를 검색할 때 다양한 해상도로 이미지 절편을 추출하고, 추출된 이미지 절편을 작업개시 이미지와 비교함으로써, 작업개시 이미지의 검출 정확도를 향상시킬 수 있다. In addition, according to the present invention, when searching for a work start image set by a user when setting process automation, it is searched whether the work start image is included in the currently output screen while changing the search ratio. The present invention extracts image fragments at various resolutions when searching whether a preset work start image is included in the currently output screen, and compares the extracted image fragments with the work start image, thereby improving the detection accuracy of the work start image can be improved

또한, 본원발명은 사용자 단말의 출력부에 출력된 화면에 포함된 이미지를 활용하여 작업개시 이미지를 설정한다. 예를 들어, 사용자가 마우스를 드래그하여 특정 이미지를 작업개시 이미지로 설정할 수 있다. 이처럼 본원발명은 프로세스 자동화를 설정할 때, 사용자가 간단한 조작으로 작업개시 이미지를 설정할 수 있다.이에 따라, 컴퓨터 또는 프로세스 자동화에 대한 전문적인 지식이 없는 사람도 용이하게 프로세스 자동화 방법을 설정할 수 있다.In addition, the present invention sets a work start image by using the image included in the screen output to the output unit of the user terminal. For example, a user can set a specific image as a work start image by dragging the mouse. As such, in the present invention, when setting process automation, a user can set a work start image through a simple operation. Accordingly, even a person without computer or professional knowledge about process automation can easily set the process automation method.

한편, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.On the other hand, although preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims In addition, various modifications are possible by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.

이제까지 본 발명에 대하여 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, preferred embodiments of the present invention have been mainly looked at. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments are to be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

1000:사용자 단말
1100:프로세서 1200: 스토리지
1300:입력부 1400: 출력부
1500:이미지 획득부 1600: 이미지 분석부
1700:이벤트 획득부 1000: user terminal
1100: Processor 1200: Storage
1300: input unit 1400: output unit
1500: image acquisition unit 1600: image analysis unit
1700: Event Acquisition Department

Claims (9)

이미지를 활용한 프로세스 자동화방법에있어서,
사용자 단말의 출력부에서 출력되고 있는 제 1 화면을 나타내는 제 1 화면이미지를 획득하는 단계;
상기 제 1 화면이미지에 포함된 작업개시 이미지를 획득하는 단계;
상기 작업개시 이미지와 연관된 이벤트를 획득하는 단계;
상기 사용자 단말의 출력부에서 상기 제 1화면이 출력된 이후에 출력되고 있는 제 2 화면을 나타내는 제 2 화면이미지를 획득하는 단계;
상기 제 2 화면이미지에 상기 작업개시 이미지가 포함되어 있는지를 결정하는 단계; 및
상기 제 2 화면이미지에 상기 작업개시 이미지가 포함되어 있다고 결정한 경우, 상기 작업개시 이미지와 연관된 이벤트를 실행하는 단계를 포함하는 것을 특징으로 하는 이미지를 활용한 프로세스 자동화방법. In the process automation method using images,
obtaining a first screen image representing a first screen being output from an output unit of the user terminal;
obtaining a work start image included in the first screen image;
acquiring an event associated with the work start image;
obtaining a second screen image representing a second screen being output after the first screen is output from an output unit of the user terminal;
determining whether the work start image is included in the second screen image; and
and executing an event related to the work start image when it is determined that the work start image is included in the second screen image. 제 1 항에 있어서,
상기 작업개시 이미지와 연관된 이벤트 정보는 복수 개의 이벤트 및 각 이벤트의 실행 순서 또는 실행 시간에 대한 정보를 포함하고,
상기 이벤트를 실행하는 단계는 상기 복수 개의 이벤트를 각 이벤트의 실행 순서 또는 실행 시간에 따라 수행하는 것을 특징으로 하는 이미지를 활용한 프로세스 자동화 방법.The method of claim 1,
The event information associated with the work start image includes information about a plurality of events and the execution order or execution time of each event,
The step of executing the event is a process automation method using an image, characterized in that the plurality of events are performed according to the execution order or execution time of each event. 제 1 항에 있어서,
상기 제 2 화면이미지에 상기 작업개시 이미지가 포함되어 있는지를 결정하는 단계는
상기 제 2 화면이미지를 소정의 해상도를 갖는 이미지 절편으로 분할하는 이미지 분할 필터를 이용하여, 상기 제 2 화면이미지를 복수 개의 이미지 절편으로 분할하는 단계; 및
상기 복수 개의 이미지 절편 각각을 상기 작업개시 이미지와 비교하고, 상기 복수 개의 이미지 절편 중 상기 작업개시 이미지와 대응되는 이미지 절편이 존재하는지를 결정하는 단계를 포함하고,
상기 제 2 화면이미지에 상기 작업개시 이미지가 포함되어 있는지를 결정하는 단계는 상기 작업개시 이미지와 대응되는 이미지 절편이 존재하는 경우 상기 제 2 화면이미지에 상기 작업개시 이미지가 포함되어 있다고 결정하고, 그렇지 않은 경우 상기 제 2 화면이미지에 상기 작업개시 이미지가 포함되어 있지 않다고 결정하는 것을 특징으로 하는 이미지를 활용한 프로세스 자동화방법. The method of claim 1,
The step of determining whether the work start image is included in the second screen image
dividing the second screen image into a plurality of image segments using an image segmentation filter that divides the second screen image into image segments having a predetermined resolution; and
Comprising the step of comparing each of the plurality of image segments with the work start image, and determining whether an image segment corresponding to the work start image exists among the plurality of image segments,
The step of determining whether the work start image is included in the second screen image determines that the work start image is included in the second screen image if there is an image segment corresponding to the work start image, otherwise If not, the process automation method using an image, characterized in that it is determined that the work start image is not included in the second screen image. 제 3 항에있어서,
상기 작업개시 이미지와 대응되는 이미지 절편이 존재하는지를 결정하는 단계는
각 이미지 절편과 작업개시 이미지 사이의 유사도를 산출하는 단계; 및
상기 산출된 유사도 및 임계 유사도를 비교하고, 비교 결과에 기초하여 상기 작업개시 이미지와 대응되는 이미지 절편이 존재하는지를 결정하는 단계를 포함하고,
상기 비교 결과에 기초하여 상기 작업개시 이미지와 대응되는 이미지 절편이 존재하는지를 결정하는 단계는 산출된 유사도가 임계 유사도 이상인 이미지 절편이 존재하는 경우 상기 복수 개의 이미지 절편 중 상기 작업개시 이미지와 대응되는 이미지 절편이 존재한다고 결정하고, 산출된 유사도가 임계 유사도 이상인 이미지 절편이 존재하지 않는 경우 상기 복수 개의 이미지 절편 중 상기 작업개시 이미지와 대응되는 이미지 절편이 존재하지 않는다고 결정하는 것을 특징으로 하는 이미지를 활용한 프로세스 자동화방법. 4. The method of claim 3,
The step of determining whether an image fragment corresponding to the work start image exists
calculating a degree of similarity between each image segment and the work start image; and
Comparing the calculated similarity and threshold similarity, and determining whether an image fragment corresponding to the work start image exists based on the comparison result,
The step of determining whether an image segment corresponding to the work start image exists based on the comparison result includes an image segment corresponding to the work start image among the plurality of image segments when an image segment having a calculated similarity equal to or greater than a threshold similarity exists. is determined to exist, and when there is no image fragment having a calculated similarity greater than or equal to a threshold similarity, it is determined that an image fragment corresponding to the work start image does not exist among the plurality of image fragments. automation method. 제 3 항에 있어서,
상기 작업개시 이미지와 대응되는 이미지 절편이 존재하는지를 결정하는 단계에서 상기 작업개시 이미지와 대응되는 이미지 절편이 존재하지 않는다고 결정된 경우, 상기 제 2화면이미지를 복수 개의 이미지 절편으로 분할하는 단계는 상기 이미지 분할 필터에 분할되는 이미지 절편의 소정의 해상도를 변경하고 상기 제 2 화면이미지를 변경된 해상도를 갖는 복수 개의 이미지 절편으로 분할하는 것을 특징으로 하는 이미지를 활용한 프로세스 자동화방법.4. The method of claim 3,
If it is determined that the image fragment corresponding to the work start image does not exist in the step of determining whether an image segment corresponding to the work start image exists, dividing the second screen image into a plurality of image segments is the image segmentation A process automation method using an image, characterized in that the predetermined resolution of the image segment divided by the filter is changed and the second screen image is divided into a plurality of image segments having the changed resolution. 제 5 항에 있어서,
상기 제 2 화면이미지를 복수 개의 이미지 절편으로 분할하는 단계 및 상기 이미지 절편이 존재하는지를 결정하는 단계는 상기 작업개시 이미지와 대응되는 이미지 절편을 찾을 때까지 또는 사전에 설정된 한계 수행 횟수만큼 반복하여 수행되는 것을 특징으로 하는 이미지를 활용한 프로세스 자동화 방법6. The method of claim 5,
The steps of dividing the second screen image into a plurality of image fragments and determining whether the image fragments exist are repeatedly performed until an image fragment corresponding to the work start image is found or as many times as the preset limit is performed. Process automation method using images characterized in that 제 1 항에 있어서,
상기 이벤트를 실행하는 단계는
상기 작업개시 이미지와 대응되는 이미지 절편의 위치를 산출하는 단계;
상기 산출된 위치로 마우스 커서를 이동시키는 단계; 및
상기 마우스 커서가 이동된 위치에서 상기 작업개시 이미지와 연관된 이벤트를 실행하는 단계를 포함하는 것을 특징으로 하는 이미지를 활용한 프로세스 자동화 방법.The method of claim 1,
The step of executing the event is
calculating the position of the image fragment corresponding to the work start image;
moving the mouse cursor to the calculated position; and
Process automation method using an image comprising the step of executing an event associated with the work start image at the position where the mouse cursor is moved. 이미지를 활용한 프로세스 자동화 방법을 수행하는 사용자 단말에 있어서,
상기 사용자 단말이 사용자로부터 입력된 데이터를 획득하는 입력부;
상기 사용자 단말의 사용자에게 데이터를 출력하는 출력부;
상기 사용자 단말의 출력부에서 출력되고 있는 제 1 화면을 나타내는 제 1 화면이미지를 획득하고, 상기 제 1 화면이미지에 포함된 작업개시 이미지를 획득하고, 상기 사용자 단말의 출력부에서 상기 제 1 화면이 출력된 이후에 출력되고 있는 제 2 화면을 나타내는 제 2 화면이미지를 획득하는 이미지 획득부;
상기 작업개시 이미지와 연관된 이벤트를 획득하는 이벤트 획득부;
상기 제 2 화면이미지에 상기 작업개시 이미지가 포함되어 있는지를 결정하는 이미지 분석부; 및
상기 제 2 화면이미지에 상기 작업개시 이미지가 포함되어 있다고 결정한 경우, 상기 작업개시 이미지와 연관된 이벤트를 실행하는 프로세서를 포함하는 것을 특징으로 하는 사용자 단말.In a user terminal for performing a process automation method using an image,
an input unit for obtaining data input by the user from the user terminal;
an output unit for outputting data to a user of the user terminal;
Obtaining a first screen image representing the first screen being output from the output unit of the user terminal, obtaining a work start image included in the first screen image, and obtaining the first screen from the output unit of the user terminal an image acquisition unit for acquiring a second screen image representing a second screen being output after being output;
an event acquisition unit for acquiring an event related to the work start image;
an image analysis unit for determining whether the work start image is included in the second screen image; and
and a processor executing an event related to the work start image when it is determined that the work start image is included in the second screen image. 제1항 내지 제7항 중 어느 한 항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한 기록매체. A computer-readable recording medium in which a program for performing the method according to any one of claims 1 to 7 is recorded.
KR1020200186492A 2020-12-29 2020-12-29 Method and device for automating process with image KR102483475B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200186492A KR102483475B1 (en) 2020-12-29 2020-12-29 Method and device for automating process with image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200186492A KR102483475B1 (en) 2020-12-29 2020-12-29 Method and device for automating process with image

Publications (2)

Publication Number Publication Date
KR20220094848A true KR20220094848A (en) 2022-07-06
KR102483475B1 KR102483475B1 (en) 2022-12-29

Family

ID=82400555

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200186492A KR102483475B1 (en) 2020-12-29 2020-12-29 Method and device for automating process with image

Country Status (1)

Country Link
KR (1) KR102483475B1 (en)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020007764A (en) * 2000-07-19 2002-01-29 신영현 Keyboard with Macro Functions
KR20070000540A (en) * 2005-06-27 2007-01-03 봉래 박 System and method of automatically generating macro
JP2007293785A (en) * 2006-04-25 2007-11-08 Takeshi Nakadokoro Program specification-defining method
KR20080102644A (en) * 2007-05-21 2008-11-26 삼성전자주식회사 Apparatus and method for making macro
KR20130131106A (en) * 2012-05-23 2013-12-03 삼성전자주식회사 Method for providing service using image recognition and an electronic device thereof
KR20140009687A (en) * 2012-07-12 2014-01-23 삼성전자주식회사 Method for processing composite inputs using macro function and device thereof
KR101639404B1 (en) * 2015-10-14 2016-07-13 주식회사 다날 Fingerprint segmentation recognition based user authentication apparatus and method
KR20190097184A (en) * 2016-12-19 2019-08-20 구글 엘엘씨 Smart Assist for Repeated Actions
KR102039422B1 (en) 2018-09-21 2019-11-04 (주)투비소프트 Apparatus and method for automatically processing images
KR20200046769A (en) 2018-10-25 2020-05-07 주식회사 피앤피소프트 Method for providing business process management system based on automatic report generation
KR20200082839A (en) * 2018-12-31 2020-07-08 주식회사 포스코아이씨티 Process Editor Apparatus and Method for Robot Process Automation

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020007764A (en) * 2000-07-19 2002-01-29 신영현 Keyboard with Macro Functions
KR20070000540A (en) * 2005-06-27 2007-01-03 봉래 박 System and method of automatically generating macro
JP2007293785A (en) * 2006-04-25 2007-11-08 Takeshi Nakadokoro Program specification-defining method
KR20080102644A (en) * 2007-05-21 2008-11-26 삼성전자주식회사 Apparatus and method for making macro
KR20130131106A (en) * 2012-05-23 2013-12-03 삼성전자주식회사 Method for providing service using image recognition and an electronic device thereof
KR20140009687A (en) * 2012-07-12 2014-01-23 삼성전자주식회사 Method for processing composite inputs using macro function and device thereof
KR101639404B1 (en) * 2015-10-14 2016-07-13 주식회사 다날 Fingerprint segmentation recognition based user authentication apparatus and method
KR20190097184A (en) * 2016-12-19 2019-08-20 구글 엘엘씨 Smart Assist for Repeated Actions
KR102039422B1 (en) 2018-09-21 2019-11-04 (주)투비소프트 Apparatus and method for automatically processing images
KR20200046769A (en) 2018-10-25 2020-05-07 주식회사 피앤피소프트 Method for providing business process management system based on automatic report generation
KR20200082839A (en) * 2018-12-31 2020-07-08 주식회사 포스코아이씨티 Process Editor Apparatus and Method for Robot Process Automation

Also Published As

Publication number Publication date
KR102483475B1 (en) 2022-12-29

Similar Documents

Publication Publication Date Title
CN110837403B (en) Robot process automation
JP7000468B2 (en) Duplicate video determination method and equipment
US10169853B2 (en) Score weights for user interface (UI) elements
EP2980755B1 (en) Method for partitioning area, and inspection device
US10936472B2 (en) Screen recording preparation method for evaluating software usability
US8417026B2 (en) Gesture recognition methods and systems
US8938123B2 (en) Electronic device and handwritten document search method
US20150264205A1 (en) Image display device, image display system, image display method, and computer-readable storage medium for computer program
US20120092712A1 (en) Image processing apparatus, image processing method, and storage medium
US11482001B2 (en) Image processing device, image processing method, and image processing system
US10656814B2 (en) Managing electronic documents
JP2016058027A (en) Data processing device, data processing method, and program
KR102133018B1 (en) Method and its apparatus for controlling a mouse cursor using eye recognition
US8861857B2 (en) Image processing apparatus and image processing method
US10289656B2 (en) Efficiently relocating objects within a digital document to an equidistant position relative to reference objects
JPWO2019180917A1 (en) Object tracking device, object tracking method, and object tracking program
US20210406588A1 (en) Image processing device, image processing method, and image processing program
KR102483475B1 (en) Method and device for automating process with image
US12029987B2 (en) Image processing apparatus, image processing method, image processing program, and recording medium storing image processing program
JP5898158B2 (en) Human image display control device, control method thereof, control program thereof, and recording medium storing the control program
JP2006201926A (en) Similar document retrieval system, similar document retrieval method and program
CN114663902B (en) Document image processing method, device, equipment and medium
US9361859B2 (en) Information processing device, method, and computer program product
US10845945B2 (en) Managing electronic documents
JP4522323B2 (en) Image processing apparatus and control method thereof

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant