KR20210044688A

KR20210044688A - 인공 지능(ai)을 사용한 미디어 대 워크플로우 생성

Info

Publication number: KR20210044688A
Application number: KR1020200123219A
Authority: KR
Inventors: 카르틱 아이어; 라다크리쉬난 아이어; 나빈 엠. 쿠마
Original assignee: 유아이패스, 인크.
Priority date: 2019-10-15
Filing date: 2020-09-23
Publication date: 2021-04-23
Also published as: US11372380B2; JP2021064360A; CN112668988A; KR102453990B1; US20210109487A1

Abstract

로봇 프로세스 자동화(robotic process automation; RPA) 워크플로우는 텍스트, 이미지, 및/또는 미디어 파일로부터 자동적으로 생성될 수도 있다. 워크플로우 시퀀스는 광학 문자 인식(OCR)을 사용하여 디지털 포맷으로 변환될 수도 있으며, 이 정보는, 그 다음, 인공 지능(AI) 모델에 의해 분석되어 예측된 RPA 워크플로우로 변환될 수도 있다. 예측된 RPA 워크플로우는 승인, 거부, 또는 수정을 위해 개발자에게 제시될 수도 있다. 개발자에 의한 선택에 관련이 있는 정보는, 그 다음, 예측 정확도를 향상시키기 위해 AI 모델의 후속하는 재트레이닝을 위해 사용될 수도 있다.

Description

인공 지능(AI)을 사용한 미디어 대 워크플로우 생성{MEDIA-TO-WORKFLOW GENERATION USING ARTIFICIAL INTELLIGENCE (AI)}

관련 출원에 대한 교차 참조

본 출원은 2019년 10월 15일자로 출원된 인도 특허 출원 번호 제201911041765호의 35 U.S.C. §119하에서의 이점 및 우선권을 주장한다. 이들 이전에 출원된 출원의 주제는 참조에 의해 그 전체가 본원에 통합된다.

기술분야

본 발명은 일반적으로 로봇 프로세스 자동화(robotic process automation; RPA)에 관한 것이며, 더 구체적으로는, 텍스트, 이미지, 오디오, 또는 이들의 임의의 조합으로부터 워크플로우를 자동적으로 생성하기 위해 딥 러닝(deep learning; DL) 또는 AI를 사용하는 것에 관한 것이다.

RPA 워크플로우는 적절한 환경 또는 애플리케이션(예를 들면, UiPath Studio™(유아이패쓰 스튜디오))에서 개발될 수도 있다. 그러나, 개발자가 RPA 워크플로우를 개발하기 위해 스튜디오 애플리케이션을 사용하지 않는 경우(예를 들면, 개발자가 출퇴근하고 있거나 또는 다른 태스크를 수행하고 있는 경우), 워크플로우는 처음에 스튜디오 애플리케이션에서 캡쳐되지 않는다. 그들 경우에, 개발자는 텍스트 또는 문서 편집기(예를 들면, Notepad™(노트패드) 또는 Microsoft Word™(마이크로소프트 워드))에서의 텍스트로서, 또는 임의의 다른 적절한 캡쳐 메커니즘을 통해 종이 상에 로직 단계를 시퀀스를 기록하고, 그 다음 , 나중의 시간에 RPA 워크플로우 개발 애플리케이션에서 워크플로우를 수동으로 생성할 수도 있다. 이들 경우에, 워크플로우를 생성하려는 노력은 중복된다.

개발자가 코드를 기록하는 것을 요구하지 않으면서 RPA 워크플로우를 구축하기 위한 드래그 앤 드랍 기능성(drag and drop functionality)을 제공하는 현존하는 솔루션이 있다. 예를 들면, UiPath Studio™는 그러한 기능성을 제공한다. 그러나, 이것은, 개발자가 RPA 워크플로우 개발 애플리케이션 외부에서 생성한 워크플로우를 그 또는 그녀가 수동으로 재현하는 것을 여전히 필요로 한다. 예를 들면, 유저가 그의 또는 그녀의 워크플로우가 어떻게 설계되고 정의되어야 하는지의 아이디어를 가지고 있다는 것을 가정하면, 유저는 스튜디오 애플리케이션으로 가서, 백그라운드 시퀀스, Excel(엑셀) 활동, 로그 메시지, 등등을 포함하는 활동을 차례로 수동으로 드래그 앤 드랍해야만 한다. 이것에 추가하여, 그 또는 그녀는 데이터타입을 식별하고 사용될 변수를 또한 정의해야만 한다. 이것은, 최소화될 수 있는 시간 및 노력의 상당한 투자로 나타난다.

그러므로, 향상된 접근법이 유익할 수도 있다.

본 발명의 소정의 실시형태는 RPA 기술에 의해 아직 완전히 식별, 인식, 또는 해결되지 않은 본 기술 분야에서의 문제점 및 요구에 대한 솔루션을 제공할 수도 있다. 예를 들면, 본 발명의 몇몇 실시형태는 AI를 사용하여 RPA 워크플로우 개발 애플리케이션 외부의 소스로부터 RPA 워크플로우를 자동적으로 생성하는 것에 관한 것이다.

한 실시형태에서, RPA 워크플로우를 생성하기 위한 컴퓨터 구현 방법은, 컴퓨팅 시스템 상의 워크플로우 개발 애플리케이션을 통해 제안된 워크플로우를 포함하는 미디어 파일을 수신하는 것, 및 제안된 워크플로우의 수신된 미디어 파일을, 프로세싱을 위해, 워크플로우 생성 모듈로 포워딩하는 것을 포함한다. 방법은 또한, 워크플로우 생성 모듈에 의해, 모델 데이터베이스에 액세스하여 하나 이상의 워크플로우 모델을 인출하는(pull) 것을 포함할 수도 있다. 방법은, 워크플로우 생성 모듈에 의해, 하나 이상의 워크플로우 모델을 로딩하는 것 및 컴퓨팅 시스템의 유저가 선택할 하나 이상의 워크플로우를 예측하는 것을 더 포함할 수도 있다. 방법은 여전히 또한, 워크플로우 생성 모듈로부터, 하나 이상의 워크플로우를 포함하는 가능한 XAML 파일의 목록을, 유저가 선택할 워크플로우 개발 애플리케이션으로 송신하는 것을 포함한다.

다른 실시형태에서, 비일시적 컴퓨터 판독 가능 매체 상에 포함되는 컴퓨터 프로그램은, 적어도 하나의 프로세서로 하여금, 컴퓨팅 시스템 상의 워크플로우 개발 애플리케이션을 통해 제안된 워크플로우를 포함하는 미디어 파일을 수신하게 하도록 구성된다. 컴퓨터 프로그램은 또한, 적어도 하나의 프로세서로 하여금, 제안된 워크플로우의 수신된 미디어 파일을, 프로세싱을 위해, 워크플로우 생성 모듈로 포워딩하게 하도록, 그리고, 워크플로우 생성 모듈에 의해, 모델 데이터베이스에 액세스하여 하나 이상의 워크플로우 모델을 인출하게 하도록 구성된다. 컴퓨터 프로그램은 또한, 적어도 하나의 프로세서로 하여금, 워크플로우 생성 모듈에 의해, 하나 이상의 워크플로우 모델을 로딩하게 하도록 그리고 컴퓨팅 시스템의 유저가 선택할 하나 이상의 워크플로우를 예측하게 하도록 구성된다. 컴퓨터 프로그램은 또한, 적어도 하나의 프로세서로 하여금, 워크플로우 생성 모듈로부터, 하나 이상의 워크플로우를 포함하는 가능한 XAML 파일의 목록을, 유저가 선택할 워크플로우 개발 애플리케이션으로 송신하게 하도록 구성된다.

또 다른 실시형태에서, 컴퓨터 시스템은 머신 판독 가능 컴퓨터 프로그램 명령어들을 저장하는 메모리, 및 컴퓨터 프로그램 명령어들을 실행하도록 구성되는 적어도 하나의 프로세서를 포함한다. 명령어들은, 적어도 하나의 프로세서로 하여금, 컴퓨팅 시스템 상의 워크플로우 개발 애플리케이션을 통해 제안된 워크플로우를 포함하는 미디어 파일을 수신하게 하도록, 그리고 제안된 워크플로우의 수신된 미디어 파일을, 프로세싱을 위해, 워크플로우 생성 모듈로 포워딩하게 하도록 구성된다. 명령어들은 또한, 적어도 하나의 프로세서로 하여금, 워크플로우 생성 모듈에 의해, 모델 데이터베이스에 액세스하여 하나 이상의 워크플로우 모델을 인출하게 하도록 구성된다. 명령어들은 또한, 적어도 하나의 프로세서로 하여금, 워크플로우 생성 모듈에 의해, 하나 이상의 워크플로우 모델을 로딩하게 하도록 그리고 컴퓨팅 시스템의 유저가 선택할 하나 이상의 워크플로우를 예측하게 하도록 구성된다. 명령어들은 또한, 적어도 하나의 프로세서로 하여금, 워크플로우 생성 모듈로부터, 하나 이상의 워크플로우를 포함하는 가능한 XAML 파일의 목록을, 유저가 선택할 워크플로우 개발 애플리케이션으로 송신하게 하도록 구성된다.

본 발명의 소정의 실시형태의 이점이 쉽게 이해되도록, 첨부된 도면에서 예시되는 특정한 실시형태에 대한 참조에 의해 상기에서 간략하게 설명되는 본 발명의 보다 구체적인 설명이 제공될 것이다. 이들 도면이 본 발명의 통상적인 실시형태만을 묘사하며 따라서 그 범위를 제한하는 것으로 간주되지 않는다는 것이 이해되어야 하지만, 본 발명은 첨부하는 도면의 사용을 통해 추가적으로 특이하게 그리고 상세하게 기술되고 설명될 것인데, 첨부하는 도면에서:
도 1은, 본 발명의 한 실시형태에 따른, RPA 시스템을 예시하는 아키텍쳐 다이어그램이다.
도 2는, 본 발명의 한 실시형태에 따른, 배치된 RPA 시스템을 예시하는 아키텍쳐 다이어그램이다.
도 3은, 본 발명의 한 실시형태에 따른, 디자이너(designer), 활동, 및 드라이버 사이의 관계를 예시하는 아키텍쳐 다이어그램이다.
도 4는, 본 발명의 한 실시형태에 따른, RPA 시스템을 예시하는 아키텍쳐 다이어그램이다.
도 5는, 본 발명의 한 실시형태에 따른, RPA 워크플로우를 자동적으로 생성하도록 구성되는 컴퓨팅 시스템을 예시하는 아키텍쳐 다이어그램이다.
도 6은, 본 발명의 한 실시형태에 따른, RPA 워크플로우를 자동적으로 생성하기 위한 시스템을 예시하는 흐름도이다.
도 7은, 본 발명의 한 실시형태에 따른, RPA 워크플로우 생성 프로세스를 예시하는 플로우차트이다.
도 8은, 본 발명의 한 실시형태에 따른, 유저의 워크플로우 텍스트를 예시하는 그래픽 유저 인터페이스(graphical user interface; GUI)이다.
도 9는, 본 발명의 한 실시형태에 따른, 유저에 의해 생성되는 RPA 워크플로우를 예시하는 이미지이다.
도 10은, 본 발명의 한 실시형태에 따른, 도 8의 유저 텍스트로부터 생성되는 RPA 워크플로우를 예시하는 이미지이다.
도 11은, 본 발명의 한 실시형태에 따른, 유저가 워크플로우를 수정하기 이전에 미디어 파일로부터 생성되는 워크플로우를 예시하는 이미지이다.
도 12는, 본 발명의 한 실시형태에 따른, 워크플로우의 유저 수정 동안 미디어 파일로부터 생성되는 워크플로우를 예시하는 이미지이다.
도 13은, 본 발명의 한 실시형태에 따른, 워크플로우의 유저 수정이 완료된 이후 미디어 파일로부터 생성되는 워크플로우를 예시하는 이미지이다.

몇몇 실시형태는 텍스트, 이미지, 오디오, 또는 이들의 임의의 조합으로부터 로봇 프로세스 자동화(RPA) 워크플로우를 자동적으로 생성하는 것에 관한 것이다. 몇몇 실시형태에서, 트레이닝된 AI 모델을 사용하여, RPA 워크플로우는 텍스트 파일로 기록되는 로직 단계의 시퀀스로부터, 로직 단계의 시퀀스를 포함하는 이미지로부터, 로직 단계의 시퀀스를 포함하는 오디오 파일로부터, 로직 단계를 전달하기 위한 임의의 다른 적절한 메커니즘으로부터, 또는 이들의 임의의 조합으로부터 생성된다. 트레이닝된 AI 모델은 로직 단계의 시퀀스를 이해할 수도 있고 몇몇 실시형태에서 확장성 애플리케이션 마크업 언어(extensible application markup language; XAML) 파일 포맷으로 RPA 워크플로우를 자동적으로 생성할 수도 있다. 몇몇 실시형태에서, 트레이닝된 AI 모델은, 제안된 RPA 워크플로우 중 하나를 선택하는 것에 의해 RPA 워크플로우 개발 애플리케이션에서 개발자에 의해 사용될 수 있는 다수의 RPA 워크플로우를 갖는 제안을, 로직 단계의 시퀀스를 초안을 작성했을(drafted) 수도 있는 개발자에게 제공할 수도 있다. 몇몇 실시형태는 개발자가 지능적으로 생성된 RPA 워크플로우를 사용하는 것을 허용하여, 워크플로우 개발 라이프사이클에서 개발 시간 및 노력을 감소시킨다.

도 1은, 본 발명의 한 실시형태에 따른, RPA 시스템(100)을 예시하는 아키텍쳐 다이어그램이다. RPA 시스템(100)은 개발자가 워크플로우를 설계 및 구현하는 것을 허용하는 디자이너(110)를 포함한다. 디자이너(110)는 애플리케이션 통합뿐만 아니라, 써드파티 애플리케이션, 관리 정보 기술(Information Technology; IT) 태스크, 및 비즈니스 IT 프로세스를 자동화하기 위한 솔루션을 제공할 수도 있다. 디자이너(110)는 비즈니스 프로세스의 그래픽 표현인 자동화 프로젝트(automation project)의 개발을 용이하게 할 수도 있다. 간단히 말하면, 디자이너(110)는 워크플로우 및 로봇의 개발 및 배치를 용이하게 한다.

자동화 프로젝트는 개발자에게 실행 순서의 제어 및, 본원에서 "활동(activity)"으로 정의되는, 워크플로우에서 개발되는 커스텀 세트의 단계 사이의 관계를 제공하는 것에 의해 규칙 기반의 프로세스의 자동화를 가능하게 한다. 디자이너(110)의 실시형태의 하나의 상업적인 예는 UiPath Studio™이다. 각각의 활동은, 버튼 클릭, 파일 판독, 로그 패널에 대한 기록, 등등과 같은 액션을 포함할 수도 있다. 몇몇 실시형태에서, 워크플로우는 네스트화되거나 또는 임베딩될 수도 있다.

몇몇 타입의 워크플로우는 시퀀스, 플로우차트, 유한 상태 머신(Finite State Machine; FSM), 및/또는 전역적 예외 핸들러를 포함할 수도 있지만 그러나 이들로 제한되지는 않는다. 시퀀스는 선형 프로세스에 특히 적합할 수도 있어서, 워크플로우를 흩뜨리지 않으면서 하나의 활동으로부터 다른 활동으로의 흐름을 가능하게 할 수도 있다. 플로우차트는 더욱 복잡한 비즈니스 로직에 특히 적합할 수도 있어서, 다수의 분기 로직 연산자를 통해 의사 결정의 통합 및 활동의 연결을 더욱 다양한 방식으로 가능하게 할 수도 있다. FSM은 대규모 워크플로우에 특히 적합할 수도 있다. FSM은, 조건(즉, 전이) 또는 활동에 의해 트리거되는 그들의 실행에서 유한한 수의 상태를 사용할 수도 있다. 전역적 예외 핸들러는, 실행 에러를 조우하는 경우 워크플로우 거동을 결정하는 데 그리고 프로세스를 디버깅하는 데 특히 적합할 수도 있다.

일단 워크플로우가 디자이너(110)에서 개발되면, 비즈니스 프로세스의 실행은 컨덕터(120)에 의해 편성되는데(orchestrate), 컨덕터(120)는, 디자이너(110)에서 개발되는 워크플로우를 실행하는 하나 이상의 로봇(130)을 편성한다. 컨덕터(120)의 실시형태의 하나의 상업적인 예는 UiPath Orchestrator™(유아이패쓰 오케스터레이터)이다. 컨덕터(120)는 한 환경에서의 리소스의 생성, 모니터링 및 배치의 관리를 용이하게 한다. 컨덕터(120)는 또한 써드파티 솔루션 및 애플리케이션과의 통합 지점으로서 역할을 할 수도 있다.

컨덕터(120)는 일단의(a fleet of) 로봇(130)을 관리할 수도 있어서, 중앙 집중식 지점으로부터 로봇(130)을 연결하고 실행할 수도 있다. 관리될 수도 있는 로봇(130)의 타입은, 유인 로봇(attended robot; 132), 무인 로봇(unattended robot; 134), 개발 로봇(무인 로봇(134)과 유사하지만, 그러나 개발 및 테스트 목적을 위해 사용됨), 및 비생산 로봇(nonproduction robot)(유인 로봇(132)과 유사하지만, 그러나 개발 및 테스트 목적을 위해 사용됨)을 포함하지만, 그러나 이들로 제한되지는 않는다. 유인 로봇(132)은 유저 이벤트에 의해 트리거되고 동일한 컴퓨팅 시스템 상에서 사람 옆에서 동작한다. 유인 로봇(132)은 중앙 집중식 프로세스 배치 및 로깅 매체(logging medium)를 위해 컨덕터(120)와 함께 사용될 수도 있다. 유인 로봇(132)은 인간 유저가 다양한 태스크를 수행하는 것을 도울 수도 있고, 유저 이벤트에 의해 트리거될 수도 있다. 몇몇 실시형태에서, 프로세스는 이러한 타입의 로봇 상에서 컨덕터(120)로부터 시작될 수 없고 및/또는 그들은 잠금 화면(locked screen) 하에서 실행될 수 없다. 소정의 실시형태에서, 유인 로봇(132)은 오직 로봇 트레이로부터 또는 커맨드 프롬프트로부터 시작될 수 있다. 몇몇 실시형태에서, 유인 로봇(132)은 인간의 감독 하에서 실행되어야 한다.

무인 로봇(134)은 가상 환경에서 무인으로(unattended) 실행되며 많은 프로세스를 자동화할 수 있다. 무인 로봇(134)은 원격 실행, 모니터링, 스케줄링, 및 작업 큐에 대한 지원의 제공을 담당할 수도 있다. 모든 로봇 타입에 대한 디버깅은 몇몇 실시형태에서 디자이너(110)에서 실행될 수도 있다. 유인 및 무인 로봇 둘 모두는, 메인 프레임, 웹 애플리케이션, VM, 엔터프라이즈 애플리케이션(예를 들면, SAP^®, SalesForce^®(세일즈포스), Oracle^®(오라클), 등등에 의해 생성되는 애플리케이션), 및 컴퓨팅 시스템 애플리케이션(예를 들면, 데스크탑 및 랩탑 애플리케이션, 모바일 디바이스 애플리케이션, 웨어러블 컴퓨터 애플리케이션, 등등)을 포함하는, 그러나 이들로 제한되지는 않는 다양한 시스템 및 애플리케이션을 자동화할 수도 있다.

컨덕터(120)는, 프로비저닝(provisioning), 배치, 구성, 큐잉, 모니터링, 로깅, 및/또는 상호 연결성의 제공을 포함하는, 그러나 이들로 제한되지는 않는 다양한 성능을 가질 수도 있다. 프로비저닝은 로봇(130)과 컨덕터(120)(예를 들면, 웹 애플리케이션) 사이의 연결의 생성 및 유지 보수를 포함할 수도 있다. 배치는 실행을 위한 할당된 로봇(130)에 패키지 버전의 정확한 전달을 보장하는 것을 포함할 수도 있다. 구성은 로봇 환경 및 프로세스 구성의 유지 보수 및 전달을 포함할 수도 있다. 큐잉은 큐 및 큐 아이템의 관리를 제공하는 것을 포함할 수도 있다. 모니터링은 로봇 식별 데이터를 계속 추적하는 것 및 유저 퍼미션을 유지하는 것을 포함할 수도 있다. 로깅은 데이터베이스(예를 들면, SQL 데이터베이스) 및/또는 다른 스토리지 메커니즘(예를 들면, 대규모 데이터세트를 저장하고 빠르게 조회하는 능력을 제공하는 ElasticSearch^®(엘라스틱서치))에 로그를 저장하고 인덱싱하는 것을 포함할 수도 있다. 컨덕터(120)는 써드파티 솔루션 및/또는 애플리케이션에 대한 통신의 중앙 집중식 지점으로서 작용하는 것에 의해 상호 연결성을 제공할 수도 있다.

로봇(130)은 디자이너(110)에 내장되는 워크플로우를 실행하는 실행 에이전트이다. 로봇(들)(130)의 몇몇 실시형태의 하나의 상업적인 예는 UiPath Robots™(유아이패쓰 로봇)이다. 몇몇 실시형태에서, 로봇(130)은, 디폴트로, Microsoft Windows^®(마이크로소프트 윈도우즈) 서비스 제어 관리자(Service Control Manager; SCM) 관리 서비스를 설치한다. 결과적으로, 그러한 로봇(130)은 로컬 시스템 계정 하에서 상호 작용식 Windows^®(윈도우즈) 세션을 열 수도 있고, Windows^® 서비스의 권한을 가질 수 있다.

몇몇 실시형태에서, 로봇(130)은 유저 모드에서 설치될 수 있다. 그러한 로봇(130)의 경우, 이것은, 그들이 주어진 로봇(130)이 설치되었던 유저와 동일한 권리를 갖는다는 것을 의미한다. 이 피쳐는 고밀도(High Density; HD) 로봇에 대해서도 또한 이용 가능할 수도 있는데, 이 피쳐는 각각의 머신의 최대 전원에서 각각의 머신의 완전한 활용을 보장한다. 몇몇 실시형태에서, 임의의 타입의 로봇(130)은 HD 환경에서 구성될 수도 있다.

몇몇 실시형태에서 로봇(130)은 여러 가지 컴포넌트로 분할되는데, 각각은 특정한 자동화 태스크에 전용된다. 몇몇 실시형태에서 로봇 컴포넌트는, SCM 관리 로봇 서비스, 유저 모드 로봇 서비스, 실행기(executor), 에이전트, 및 커맨드 라인을 포함하지만 그러나 이들로 제한되지는 않는다. SCM 관리 로봇 서비스는 Windows^® 세션을 관리 및 모니터링하고 컨덕터(120)와 실행 호스트(즉, 로봇(130)이 실행되는 컴퓨팅 시스템) 사이의 프록시로서 역할을 한다. 이들 서비스는 로봇(130)에 대한 자격 증명(credential)을 사용하여 신뢰되고 그 자격 증명을 관리한다. 콘솔 애플리케이션은 로컬 시스템 하에서 SCM에 의해 론칭된다.

몇몇 실시형태에서 유저 모드 로봇 서비스는 Windows^® 세션을 관리 및 모니터링하고 컨덕터(120)와 실행 호스트 사이의 프록시로서 역할을 한다. 유저 모드 로봇 서비스는 로봇(130)에 대한 자격 증명을 사용하여 신뢰될 수도 있고 그 자격 증명을 관리할 수도 있다. SCM 관리 로봇 서비스가 설치되지 않은 경우 Windows^® 애플리케이션이 자동적으로 론칭될 수도 있다.

실행기는 Windows^® 세션 하에서 주어진 작업을 실행할 수도 있다(즉, 그들은 워크플로우를 실행할 수도 있다). 실행기는 모니터마다의 인치당 도트(dots per inch; DPI) 설정을 알고 있을 수도 있다. 에이전트는 시스템 트레이 윈도우(system tray window)에서 이용 가능한 작업을 디스플레이하는 Windows^® 프리젠테이션 파운데이션(Windows^® Presentation Foundation; WPF) 애플리케이션일 수도 있다. 에이전트는 서비스의 클라이언트일 수도 있다. 에이전트는 작업을 시작 또는 중지할 것을 그리고 설정을 변경할 것을 요청할 수도 있다. 커맨드 라인은 서비스의 클라이언트이다. 커맨드 라인은, 작업을 시작할 것을 요청할 수 있고 그들의 출력을 대기하는 콘솔 애플리케이션이다.

상기에서 설명되는 바와 같이 로봇(130)의 컴포넌트를 분할하는 것은, 개발자가 유저를 지원하는 것, 및 컴퓨팅 시스템이 각각의 컴포넌트가 실행하고 있는 것을 더욱 쉽게 실행하고, 식별하고 추적하는 것을 돕는다. 실행기 및 서비스에 대해 상이한 방화벽 규칙을 셋업하는 것과 같은 방식으로, 컴포넌트별로 특수한 거동이 구성될 수도 있다. 실행기는 몇몇 실시형태에서 모니터당 DPI 설정을 항상 인식할 수도 있다. 결과적으로, 워크플로우는, 그들이 생성되었던 컴퓨팅 시스템의 구성에 관계없이, 임의의 DPI에서 실행될 수도 있다. 디자이너(110)로부터의 프로젝트는 또한, 몇몇 실시형태에서, 브라우저 줌 레벨과 무관할 수도 있다. DPI를 알지 못하는 또는 알지 못하는 것으로 의도적으로 마킹되는 애플리케이션의 경우, 몇몇 실시형태에서, DPI는 디스에이블될 수도 있다.

도 2는, 본 발명의 한 실시형태에 따른, 배치된 RPA 시스템(200)을 예시하는 아키텍쳐 다이어그램이다. 몇몇 실시형태에서, RPA 시스템(200)은 도 1의 RPA 시스템(100)일 수도 있거나 또는 그 일부일 수도 있다. 클라이언트 측, 서버 측, 또는 둘 모두는 본 발명의 범위를 벗어나지 않으면서 임의의 소망되는 수의 컴퓨팅 시스템을 포함할 수도 있다는 것을 유의해야 한다. 클라이언트 측에서, 로봇 애플리케이션(210)은 실행기(212), 에이전트(214), 및 디자이너(216)를 포함한다. 그러나, 몇몇 실시형태에서, 디자이너(216)는 컴퓨팅 시스템(210) 상에서 실행되고 있지 않을 수도 있다. 실행기(212)는 프로세스를 실행하고 있다. 도 2에서 도시되는 바와 같이, 여러 비즈니스 프로젝트가 동시에 실행될 수도 있다. 에이전트(214)(예를 들면, Windows^® 서비스)는 이 실시형태에서 모든 실행기(212)에 대한 단일의 접촉 지점이다. 이 실시형태의 모든 메시지는 컨덕터(230)에 로그인되는데, 컨덕터(230)는 데이터베이스 서버(240), 인덱서 서버(indexer server)(250) 또는 둘 모두를 통해 그들을 추가로 프로세싱한다. 도 1과 관련하여 상기에서 논의되는 바와 같이, 실행기(212)는 로봇 컴포넌트일 수도 있다.

몇몇 실시형태에서, 로봇은 머신 이름과 유저명 사이의 관련화(association)를 나타낸다. 로봇은 동시에 다수의 실행기를 관리할 수도 있다. 동시에 실행되는 다수의 상호 작용식 세션을 지원하는 컴퓨팅 시스템(예를 들면, Windows^® Server(윈도우즈 서버) 2012) 상에서, 다수의 로봇이 동시에 실행될 수도 있는데, 각각은 고유의 유저명을 사용하여 별개의 Windows^® 세션 내에 있다. 이것은 상기에서 HD 로봇으로 지칭된다.

에이전트(214)는 또한, 로봇의 상태를 전송하는 것(예를 들면, 로봇이 여전히 기능하고 있다는 것을 나타내는 "하트비트(heartbeat)" 메시지를 주기적으로 전송함) 및 실행될 패키지의 필요한 버전을 다운로드하는 것을 담당한다. 에이전트(214)와 컨덕터(230) 사이의 통신은 몇몇 실시형태에서 에이전트(214)에 의해 항상 개시된다. 통지 시나리오에서, 에이전트(214)는, 커맨드를 로봇으로 전송하기 위해(예를 들면, 시작, 정지, 등등) 컨덕터(230)에 의해 나중에 사용되는 WebSocket(웹소켓) 채널을 개방할 수도 있다.

서버 측 상에서, 프리젠테이션 계층(웹 애플리케이션(232), 개방 데이터 프로토콜(Open Data Protocol; OData) 대표 상태 전송(Representative State Transfer; REST) 애플리케이션 프로그래밍 인터페이스(Application Programming Interface; API) 엔드포인트(234), 및 통지 및 모니터링(236)), 서비스 계층(API 구현/비즈니스 로직(238)), 및 퍼시스턴스 계층(persistence layer)(데이터베이스 서버(240) 및 인덱서 서버(250))이 포함된다. 컨덕터(230)는 웹 애플리케이션(232), OData REST API 엔드포인트(234), 통지 및 모니터링(236), 및 API 구현/비즈니스 로직(238)을 포함한다. 몇몇 실시형태에서, 유저가 컨덕터(230)의 인터페이스에서 (예를 들면, 브라우저(220)를 통해) 수행하는 대부분의 액션은 다양한 API를 호출하는 것에 의해 수행된다. 그러한 액션은, 본 발명의 범위를 벗어나지 않으면서, 로봇 상에서 작업을 시작하는 것, 큐에서 데이터를 추가/제거하는 것, 무인으로 실행할 작업을 스케줄링하는 것, 등등을 포함할 수도 있지만, 그러나, 이들로 제한되지는 않는다. 웹 애플리케이션(232)은 서버 플랫폼의 시각적 계층(visual layer)이다. 이 실시형태에서, 웹 애플리케이션(232)은 하이퍼텍스트 마크업 언어(Hypertext Markup Language; HTML) 및 JavaScript(자바스크립트)(JS)를 사용한다. 그러나, 본 발명의 범위를 벗어나지 않으면서, 임의의 소망되는 마크업 언어, 스크립트 언어, 또는 임의의 다른 포맷이 사용될 수도 있다. 유저는, 컨덕터(230)를 제어하기 위한 다양한 액션을 수행하기 위해, 이 실시형태에서 브라우저(220)를 통해 웹 애플리케이션(232)으로부터의 웹 페이지와 상호 작용한다. 예를 들면, 유저는 로봇 그룹을 생성할 수도 있고, 로봇에 패키지를 할당할 수도 있고, 로봇마다 및/또는 프로세스마다 로그를 분석할 수도 있고, 로봇을 시작 및 중지할 수도 있고, 등등을 할 수도 있다.

웹 애플리케이션(232) 외에, 컨덕터(230)는 또한, OData REST API 엔드포인트(234)를 노출시키는 서비스 계층을 포함한다. 그러나, 본 발명의 범위를 벗어나지 않으면서 다른 엔드포인트가 포함될 수도 있다. REST API는 웹 애플리케이션(232) 및 에이전트(214) 둘 모두에 의해 소비된다. 에이전트(214)는 이 실시형태에서 클라이언트 컴퓨터 상의 하나 이상의 로봇의 감독자(supervisor)이다.

이 실시형태에서의 REST API는 구성, 로깅, 모니터링 및 큐잉 기능성을 포괄한다. 구성 엔드포인트는, 몇몇 실시형태에서, 애플리케이션 유저, 퍼미션, 로봇, 자산, 릴리스, 및 환경을 정의하고 구성하기 위해 사용될 수도 있다. 로깅 REST 엔드포인트는, 예를 들면, 에러, 로봇에 의해 전송되는 명시적 메시지, 및 다른 환경 고유의 정보와 같은 상이한 정보를 로깅하기(log) 위해 사용될 수도 있다. 배치 REST 엔드포인트는, 작업 시작 커맨드가 컨덕터(230)에서 사용되는 경우 실행되어야 하는 패키지 버전을 조회하기 위해 로봇에 의해 사용될 수도 있다. 큐잉 REST 엔드포인트는, 큐 및 큐 아이템 관리, 예컨대 데이터를 큐에 추가하는 것, 큐로부터 트랜잭션을 획득하는 것, 트랜잭션의 상태를 설정하는 것, 등등을 담당할 수도 있다.

모니터링 REST 엔드포인트는 웹 애플리케이션(232) 및 에이전트(214)를 모니터링한다. 통지 및 모니터링 API(236)는, 에이전트(214)를 등록하기 위해, 구성 설정을 에이전트(214)에 전달하기 위해, 그리고 서버 및 에이전트(214)로부터의 통지를 전송/수신하기 위해 사용되는 REST 엔드포인트일 수도 있다. 통지 및 모니터링 API(236)는 또한, 몇몇 실시형태에서, 웹소켓 통신을 사용할 수도 있다.

퍼시스턴스 계층은 이 실시형태에서 한 쌍의 서버 - 데이터베이스 서버(240)(예를 들면, SQL 서버) 및 인덱서 서버(250) - 를 포함한다. 이 실시형태에서의 데이터베이스 서버(240)는 로봇, 로봇 그룹, 관련된 프로세스, 유저, 역할, 스케줄, 등등의 구성을 저장한다. 이 정보는 몇몇 실시형태에서 웹 애플리케이션(232)을 통해 관리된다. 데이터베이스 서버(240)는 큐 및 큐 아이템을 관리할 수도 있다. 몇몇 실시형태에서, 데이터베이스 서버(240)는 (인덱서 서버(250)에 추가하여 또는 그것을 대신하여) 로봇에 의해 로깅되는 메시지를 저장할 수도 있다.

몇몇 실시형태에서 옵션 사항인(optional) 인덱서 서버(250)는 로봇에 의해 로깅되는 정보를 저장 및 인덱싱한다. 소정의 실시형태에서, 인덱서 서버(250)는 구성 설정을 통해 디스에이블될 수도 있다. 몇몇 실시형태에서, 인덱서 서버(250)는 오픈 소스 프로젝트 풀텍스트 검색 엔진(open source project full-text search engine)인 ElasticSearch^®를 사용한다. (예를 들면, 메시지 로깅(log message) 또는 라인 기록(write line)과 같은 활동을 사용하여) 로봇에 의해 로깅되는 메시지는 로깅 REST 엔드포인트(들)를 통해 인덱서 서버(250)로 전송될 수도 있는데, 여기서 그들은 미래의 활용을 위해 인덱싱된다.

도 3은, 본 발명의 한 실시형태에 따른, 디자이너(310), 활동(320, 330), 및 드라이버(340) 사이의 관계(300)를 예시하는 아키텍쳐 다이어그램이다. 상기에 따르면, 개발자는 디자이너(310)를 사용하여 로봇에 의해 실행되는 워크플로우를 개발한다. 워크플로우는 유저 정의 활동(320) 및 UI 자동화 활동(330)을 포함할 수도 있다. 몇몇 컴퓨터 비전(computer vision; CV) 활동은, 클릭, 타이핑(type), 텍스트 가져오기(get text), 호버링(hover), 엘리먼트 존재, 리프레시 범위, 하이라이트, 등등을 포함할 수도 있지만, 그러나 이들로 제한되지는 않는다. 몇몇 실시형태에서의 클릭은, 예를 들면, CV, 광학 문자 인식(optical character recognition; OCR), 퍼지 텍스트 매칭, 및 멀티 앵커(multi-anchor)를 사용하여 엘리먼트를 식별하고, 그것을 클릭한다. 타이핑은 상기의 것을 사용하여 엘리먼트를 식별할 수도 있고 그 엘리먼트에서 타이핑한다. 텍스트 가져오기는 특정한 텍스트의 위치를 식별하고 OCR을 사용하여 그것을 스캔할 수도 있다. 호버링은 엘리먼트를 식별하고 그 위에서 호버링할 수도 있다. 엘리먼트 존재는 상기에서 설명되는 기술을 사용하여 화면 상에 엘리먼트가 존재하는지의 여부를 체크할 수도 있다. 몇몇 실시형태에서, 디자이너(310)에서 구현될 수 있는 수 백 또는 심지어 수 천 개의 활동이 있을 수도 있다. 그러나, 본 발명의 범위를 벗어나지 않으면서 임의의 수 및/또는 타입의 활동이 이용 가능할 수도 있다.

UI 자동화 활동(330)은, 하위 레벨 코드로 기록되는 특수한 하위 레벨 활동(예를 들면, CV 활동)의 서브세트이며 화면과의 상호 작용을 용이하게 한다. UI 자동화 활동(330)은, 로봇이 소망되는 소프트웨어와 상호 작용하는 것을 허용하는 드라이버(340)를 통해 이들 상호 작용을 용이하게 한다. 예를 들면, 드라이버(340)는 OS 드라이버(342), 브라우저 드라이버(344), VM 드라이버(346), 엔터프라이즈 애플리케이션 드라이버(348), 등등을 포함할 수도 있다.

드라이버(340)는 후크를 찾는, 키를 모니터링하는, 등등을 하는 낮은 레벨에서 OS와 상호 작용할 수도 있다. 그들은 Chrome^®(크롬), IE^®, Citrix^®(시트릭스), SAP^®, 등등과의 통합을 용이하게 할 수도 있다. 예를 들면, "click(클릭)" 활동은 드라이버(340)를 통해 이들 상이한 애플리케이션에서 동일한 역할을 수행한다.

도 4는, 본 발명의 한 실시형태에 따른, RPA 시스템(400)을 예시하는 아키텍쳐 다이어그램이다. 몇몇 실시형태에서, RPA 시스템(400)은 도 1 및/또는 도 2의 RPA 시스템(100 및/또는 200)일 수도 있거나 또는 그들을 포함할 수도 있다. RPA 시스템(400)은 로봇을 실행하는 다수의 클라이언트 컴퓨팅 시스템(410)을 포함한다. 컴퓨팅 시스템(410)은 컨덕터 컴퓨팅 시스템(420)과 그 상에서 실행되는 웹 애플리케이션을 통해 통신할 수 있다. 컨덕터 컴퓨팅 시스템(420)은, 결국에는, 데이터베이스 서버(430) 및 옵션 사항인 인덱서 서버(440)와 통신할 수 있다.

도 1 및 도 3과 관련하여, 웹 애플리케이션이 이들 실시형태에서 사용되는 동안, 본 발명의 범위를 벗어나지 않으면서 임의의 적절한 클라이언트/서버 소프트웨어가 사용될 수도 있다는 것을 유의해야 한다. 예를 들면, 컨덕터는 클라이언트 컴퓨팅 시스템 상의 웹 기반이 아닌 클라이언트 소프트웨어 애플리케이션과 통신하는 서버 측 애플리케이션을 실행할 수도 있다.

도 5는, 본 발명의 한 실시형태에 따른, RPA 워크플로우를 자동적으로 생성하도록 구성되는 컴퓨팅 시스템(500)을 예시하는 아키텍쳐 다이어그램이다. 몇몇 실시형태에서, 컴퓨팅 시스템(500)은 본원에서 묘사되는 및/또는 설명되는 컴퓨팅 시스템 중 하나 이상일 수도 있다. 컴퓨팅 시스템(500)은 정보를 전달하기 위한 버스(505) 또는 다른 통신 메커니즘, 및 정보를 프로세싱하기 위한 버스(505)에 커플링되는 프로세서(들)(510)를 포함한다. 프로세서(들)(510)는 중앙 프로세싱 유닛(Central Processing Unit; CPU), 주문형 집적 회로(Application Specific Integrated Circuit; ASIC), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array; FPGA), 그래픽 프로세싱 유닛(Graphics Processing Unit; GPU), 이들의 다수의 인스턴스, 및/또는 이들의 임의의 조합을 비롯한, 임의의 타입의 범용 또는 특수 목적의 프로세서일 수도 있다. 프로세서(들)(510)는 또한 다수의 프로세싱 코어를 가질 수도 있고, 코어 중 적어도 일부는 특수 기능을 수행하도록 구성될 수도 있다. 몇몇 실시형태에서, 다중 병렬 프로세싱이 사용될 수도 있다. 소정의 실시형태에서, 프로세서(들)(510) 중 적어도 하나는 생물학적 뉴런을 모방하는 프로세싱 엘리먼트를 포함하는 뉴로모픽 회로(neuromorphic circuit)일 수도 있다. 몇몇 실시형태에서, 뉴로모픽 회로는 폰 노이만(Von Neumann) 컴퓨팅 아키텍쳐의 통상적인 컴포넌트를 요구하지 않을 수도 있다.

컴퓨팅 시스템(500)은 프로세서(들)(510)에 의해 실행될 정보 및 명령어를 저장하기 위한 메모리(515)를 더 포함한다. 메모리(515)는 랜덤 액세스 메모리(Random Access Memory; RAM), 리드 온리 메모리(Read Only Memory; ROM), 플래시 메모리, 캐시, 자기 또는 광학 디스크와 같은 정적 스토리지, 또는 임의의 다른 타입의 비일시적 컴퓨터 판독 가능 매체 또는 이들의 조합의 임의의 조합으로 구성될 수 있다. 비일시적 컴퓨터 판독 가능 매체는 프로세서(들)(510)에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수도 있고, 휘발성 매체, 불휘발성 매체, 또는 둘 모두를 포함할 수도 있다. 매체는 또한 착탈식일 수도 있거나, 비착탈식일 수도 있거나, 또는 둘 모두일 수도 있다.

추가적으로, 컴퓨팅 시스템(500)은, 무선 및/또는 유선 연결을 통해 통신 네트워크에 대한 액세스를 제공하기 위해, 트랜스시버와 같은 통신 디바이스(520)를 포함한다. 몇몇 실시형태에서, 통신 디바이스(520)는, 주파수 분할 다중 액세스(Frequency Division Multiple Access; FDMA), 싱글 캐리어 FDMA(Single Carrier FDM; SC-FDMA), 시분할 다중 액세스(Time Division Multiple Access; TDMA), 코드 분할 다중 액세스(Code Division Multiple Access; CDMA), 직교 주파수 분할 멀티플렉싱(Orthogonal Frequency Division Multiplexing; OFDM), 직교 주파수 분할 다중 액세스(Orthogonal Frequency Division Multiple Access; OFDMA), 이동 통신용 글로벌 시스템(Global System for Mobile communications; GSM), 일반 패킷 무선 서비스(General Packet Radio Service; GPRS), 범용 이동 통신 시스템(Universal Mobile Telecommunications System; UMTS), cdma2000, 광대역 CDMA(Wideband CDMA; W-CDMA), 고속 다운링크 패킷 액세스(High-Speed Downlink Packet Access; HSDPA), 고속 업링크 패킷 액세스(High-Speed Uplink Packet Access; HSUPA), 고속 패킷 액세스(High-Speed Packet Access; HSPA), 롱 텀 에볼루션(Long Term Evolution; LTE), LTE 어드밴스드(LTE Advanced; LTE-A), 802.11x, Wi-Fi(와이파이), Zigbee(지그비), 초광대역(Ultra-WideBand; UWB), 802.16x, 802.15, 홈 Node-B(Home Node-B; HnB), Bluetooth(블루투스), 무선 주파수 식별(Radio Frequency Identification; RFID), 적외선 데이터 연합(Infrared Data Association; IrDA), 근접장 통신(Near-Field Communications; NFC), 5 세대(5G), 뉴 라디오(New Radio; NR), 이들의 임의의 조합, 및/또는 본 발명의 범위를 벗어나지 않는 임의의 다른 현재 존재하는 또는 미래에 구현될 통신 표준 및/또는 프로토콜을 사용하도록 구성될 수도 있다. 몇몇 실시형태에서, 통신 디바이스(520)는 본 발명의 범위를 벗어나지 않으면서 단일(singular), 배열(arrayed), 위상(phased), 스위치(switched), 빔포밍(beamforming), 빔조향(beamsteering), 이들의 조합 및 또는 임의의 다른 안테나 구성인 하나 이상의 안테나를 포함할 수도 있다.

프로세서(들)(510)는, 버스(505)를 통해, 플라즈마 디스플레이, 액정 디스플레이(Liquid Crystal Display; LCD), 발광 다이오드(Light Emitting Diode; LED) 디스플레이, 전계 방출 디스플레이(Field Emission Display; FED), 유기 발광 다이오드(Organic Light Emitting Diode; OLED) 디스플레이, 플렉시블 OLED 디스플레이, 플렉시블 기판 디스플레이, 프로젝션 디스플레이, 4K 디스플레이, 고선명 디스플레이, Retina^®(레티나) 디스플레이, 인 플레인 스위칭(In-Plane Switching; IPS) 디스플레이, 또는 정보를 유저에게 디스플레이하기 위한 임의의 다른 적절한 디스플레이와 같은 디스플레이(525)에 추가로 커플링된다. 디스플레이 (525)는, 저항성, 용량성, 표면 탄성파(surface-acoustic wave; SAW) 용량성, 적외선, 광학 이미징, 분산 신호 기술, 음향 펄스 인식, 불완전 내부 전반사(frustrated total internal reflection), 등등을 사용하여 터치(햅틱) 디스플레이, 삼차원(three dimensional; 3D) 터치 디스플레이, 멀티 입력 터치 디스플레이, 멀티 터치 디스플레이, 등등으로서 구성될 수도 있다. 임의의 적절한 디스플레이 디바이스 및 햅틱 I/O가 본 발명의 범위를 벗어나지 않으면서 사용될 수도 있다.

키보드(530) 및 커서 제어 디바이스(535), 예컨대 컴퓨터 마우스, 터치패드, 등등은 유저가 컴퓨팅 시스템과 인터페이싱하는 것을 가능하게 하기 위해 버스(505)에 추가로 커플링된다. 그러나, 소정의 실시형태에서, 물리적 키보드 및 마우스가 존재하지 않을 수도 있고, 유저는 디스플레이(525) 및/또는 터치패드(도시되지 않음)를 통해서만 디바이스와 상호 작용할 수도 있다. 입력 디바이스의 임의의 타입 및 조합이 설계 선택의 문제로서 사용될 수도 있다. 소정의 실시형태에서, 어떠한 물리적 입력 디바이스 및/또는 디스플레이도 존재하지 않는다. 예를 들면, 유저는 컴퓨팅 시스템(500)과 통신하는 다른 컴퓨팅 시스템을 통해 컴퓨팅 시스템(500)과 원격으로 상호 작용할 수도 있거나, 또는 컴퓨팅 시스템(500)은 자율적으로 동작할 수도 있다.

메모리(515)는 프로세서(들)(510)에 의해 실행될 때 기능성을 제공하는 소프트웨어 모듈을 저장한다. 모듈은 컴퓨팅 시스템(500)을 위한 오퍼레이팅 시스템(540)을 포함한다. 모듈은 본원에서 설명되는 프로세스 또는 그 파생물의 모두 또는 일부를 수행하도록 구성되는 워크플로우 생성 모듈(545)을 더 포함한다. 컴퓨팅 시스템(500)은, 추가적인 기능성을 포함하는 하나 이상의 추가적인 기능 모듈(550)을 포함할 수도 있다.

기술 분야의 숙련된 자는, "시스템"이, 본 발명의 범위를 벗어나지 않으면서, 서버, 임베딩된 컴퓨팅 시스템, 퍼스널 컴퓨터, 콘솔, 개인 휴대형 정보 단말(personal digital assistant; PDA), 셀 폰, 태블릿 컴퓨팅 디바이스, 양자 컴퓨팅 시스템, 또는 임의의 다른 적절한 컴퓨팅 디바이스, 또는 디바이스의 조합으로서 구현될 수도 있다는 것을 인식할 것이다. "시스템"에 의해 수행되는 것으로 상기에서 설명된 기능을 제시하는 것은, 어떠한 방식으로든 본 발명의 범위를 제한하도록 의도되는 것이 아니라, 본 발명의 많은 실시형태의 하나의 예를 제공하도록 의도된다. 실제로, 본원에서 개시되는 방법, 시스템, 및 장치는, 클라우드 컴퓨팅 시스템을 비롯하여, 컴퓨팅 기술과 일치하는 국소화되고 분산된 형태로 구현될 수도 있다.

본 명세서에서 설명되는 시스템 피쳐 중 일부는, 그들의 구현 독립성을 특히 강조하기 위해, 모듈로서 제시되었다는 것을 유의해야 한다. 예를 들면, 모듈은 주문형(custom) 대규모 집적(very large scale integration; VLSI) 회로 또는 게이트 어레이, 로직 칩과 같은 기성의(off-the-shelf) 반도체, 트랜지스터, 또는 다른 별개의 컴포넌트를 포함하는 하드웨어 회로로서 구현될 수도 있다. 모듈은 또한, 필드 프로그래머블 게이트 어레이, 프로그래머블 어레이 로직, 프로그래머블 로직 디바이스, 그래픽 프로세싱 유닛, 또는 등등과 같은 프로그래머블 하드웨어 디바이스에서 구현될 수도 있다.

모듈은 또한 다양한 타입의 프로세서에 의한 실행을 위해 소프트웨어로 적어도 부분적으로 구현될 수도 있다. 실행 가능 코드의 식별된 단위는, 예를 들면, 객체, 프로시져, 또는 함수로서 편제될 수도 있는, 예를 들면, 컴퓨터 명령어의 하나 이상의 물리적 또는 논리적 블록을 포함할 수도 있다. 그럼에도 불구하고, 식별된 모듈의 실행 파일은 물리적으로 함께 위치될 필요는 없지만, 그러나 논리적으로 함께 결합될 때, 모듈을 포함하며 모듈에 대한 지정된 목적을 달성하는 상이한 위치에 저장되는 별개의 명령어를 포함할 수도 있다. 게다가, 모듈은, 예를 들면, 하드 디스크 드라이브, 플래시 디바이스, RAM, 테이프, 및/또는 본 발명의 범위를 벗어나지 않으면서 데이터를 저장하기 위해 사용되는 임의의 다른 그러한 비일시적 컴퓨터 판독 가능 매체일 수도 있는 컴퓨터 판독 가능 매체 상에 저장될 수도 있다.

실제로, 실행 가능 코드의 모듈은 단일의 명령어, 또는 다수의 명령어일 수 있으며, 심지어 몇몇 상이한 코드 세그먼트에 걸쳐, 상이한 프로그램 사이에서, 그리고 몇몇 메모리 디바이스에 걸쳐 분산될 수도 있다. 유사하게, 동작 데이터는 본원에서 모듈 내에서 식별되고 예시될 수도 있으며, 임의의 적절한 형태로 구체화되고 임의의 적절한 타입의 데이터 구조 내에서 편제될 수도 있다. 동작 데이터는 단일의 데이터 세트로서 수집될 수도 있거나, 또는 상이한 저장 디바이스에 걸치는 것을 비롯하여 상이한 위치에 걸쳐 분산될 수도 있으며, 적어도 부분적으로는, 단지, 시스템 또는 네트워크 상의 전자 신호로서 존재할 수도 있다.

RPA 워크플로우 생성

RPA 워크플로우는 로직 단계의 시퀀스에 기초하여 생성될 수도 있다. 이 시퀀스는 몇몇 실시형태에서 텍스트 파일로 기록 및 저장될 수도 있지만, 그러나, 단계를 캡쳐하기 위한 임의의 다른 적절한 메커니즘이 본 발명의 범위를 벗어나지 않으면서 사용될 수도 있다. 예를 들면, 로직 단계의 시퀀스가 종이에 기록될 때, 시퀀스는 이미지로 캡쳐될 수도 있다. 다른 예에서, 시퀀스는 오디오 파일로 발화되고 녹음/캡쳐될 수도 있다. 이들 예에서, 시퀀스(들)는 플로우차트, 블록도, 또는 둘 모두를 포함할 수도 있다.

몇몇 실시형태에서, 개발자 또는 자동화된 프로세스를 생성하는 데 관심이 있는 임의의 다른 개인은 RPA 워크플로우 개발 애플리케이션의 텍스트 디자이너 모듈에서 시퀀스를 기록한다. 그러나, MS Word^®와 같은 임의의 소망되는 텍스트 편집기 또는 문서 편집기가 본 발명의 범위를 벗어나지 않으면서 사용될 수도 있다. 써드파티 텍스트 편집기 또는 문서 편집기가 사용되는 경우, RPA 워크플로우를 생성하기 위해, 텍스트의 사본이 RPA 워크플로우 개발 애플리케이션의 텍스트 디자이너 모듈에 붙여넣기될(pasted) 수도 있다.

소정의 실시형태에서, 개발자는 종이에 시퀀스, 플로우차트, 및/또는 블록도를 기록한다. 그 다음, 시퀀스, 플로우차트, 및/또는 블록도의 이미지가 사진 애플리케이션에 의해, RPA 워크플로우 개발 애플리케이션과 관련되는 이미지 캡쳐 모듈에 의해, 또는 본 발명의 범위를 벗어나지 않는 임의의 다른 적절한 메커니즘을 통해 캡쳐된다. 몇몇 실시형태에서, 이미지 캡쳐 모듈은 캡쳐된 이미지를 업로드하기 위한 옵션을 포함할 수도 있다. 소정의 실시형태에서, 애플리케이션은 이미지에 추가로 또는 이미지 대신에 오디오를 캡쳐할 수도 있다.

캡쳐된 이미지의 업로드시 및/또는 오디오 파일의 업로드시, RPA 워크플로우 개발 애플리케이션의 RPA 워크플로우 생성 모듈은 캡쳐된 이미지에 대해 OCR을 수행할 수도 있고 및/또는 캡쳐된 오디오 파일에 대해 음성 대 텍스트 인식(speech-to-text recognition)을 수행하여 이 정보를 디지털 포맷으로 변환할 수도 있다. 그 다음, RPA 워크플로우 생성 모듈은 트레이닝된 AI 모델에 기초하여 RPA 워크플로우를 생성할 수도 있다. 트레이닝된 AI 모델은 RPA 개발자에게 하나 이상의 워크플로우를 제공할 수도 있고 개발자가 이들 워크플로우 중 하나 이상을 선택하는 것을 허용할 수도 있다.

몇몇 실시형태에서, AI 모델은 XAML 파일 데이터세트에 대해 트레이닝된다. XAML 파일은 본질적으로 워크플로우를 포함한다. 입력 데이터는 공통 포맷(사전 프로세싱 섹션에서 설명됨)에서 AI 모델로 전달된다. AI 모델은 이 입력을 소비할 수도 있고 그 다음 각각의 활동을 예측할 수도 있다. 이 예측 출력의 포맷은 XAML 파일이다.

RPA 워크플로우 개발 애플리케이션에 의해 생성되는 워크플로우가 개발자에 대해 적합하지 않은 경우, 그 또는 그녀는 몇몇 실시형태에서 워크플로우를 거부할 수 있다. 소정의 실시형태에서, 개발자는 다른 워크플로우를 선택하는 것에 의해 워크플로우를 거부할 수도 있다. RPA 개발자의 선택(들)은, 워크플로우 생성 모듈 자체를 재트레이닝시키고 미래의 더 나은 워크플로우를 추천하기 위한 워크플로우 생성 모듈에 대한 피드백으로서 사용될 수도 있다. 몇몇 실시형태에서, 선택 정보의 배치(batch)는 어떤 시간 기간에 걸쳐 수집될 수도 있으며, 이 정보는, 그 다음, 재트레이닝을 위해 사용될 수도 있다.

따라서, 워크플로우 생성 모듈은 시간이 지남에 따라 더욱 향상될 수도 있으며, 재트레이닝됨에 따라 더 정확하고 강력한 워크플로우를 생성할 수도 있다. 소정의 실시형태에서, 개발자는 이 접근법을 사용하여 완전히 발달한(full-fledged) 워크플로우를 구축하거나 또는 활동의 간단한 시퀀스를 구축할 수도 있다.

도 6은, 본 발명의 한 실시형태에 따른, RPA 워크플로우를 자동적으로 생성하기 위한 시스템(600)을 예시하는 흐름도이다. 몇몇 실시형태에서, RPA 개발자 또는 워크플로우 생성자(creator)는 로직 단계의 시퀀스를 포함하는 텍스트 파일(들), 이미지 파일(들), 오디오 파일(들), 또는 이들의 임의의 조합(통칭하여(collectively), "파일")을 RPA 워크플로우 개발 애플리케이션(602)으로 업로딩한다. 그 다음, RPA 워크플로우 개발 애플리케이션(602)은 시퀀스를 포함하는 파일을 디지털 포맷으로 변환하거나, 또는 써드파티 OCR 애플리케이션에 의해 파일을 디지털 포맷으로 변환되게 하고, 디지털 포맷을 사전 프로세싱을 위해 모델 서버(604)로 전송한다.

사전 프로세싱은 다음 미디어 타입에 기초하여 수행된다:

이미지: OCR 엔진을 사용하여 텍스트를 추출함.

음성: 음성 대 텍스트 엔진을 사용하여 오디오를 텍스트 파일로 변환함.

텍스트: 상기의 출력 및 텍스트와 함께, 입력이 불용어(stop-word), 구두점, 등등의 제거와 같이 추가적으로 사전 프로세싱될 것임.

모델 서버(604)는 모델 데이터베이스(610)에 저장되는 AI 모델(들)을 사용하여 워크플로우를 예측할 수도 있다. 상기의 사전 프로세싱 단계로부터, 텍스트는, 주석이 달린 워크플로우 데이터세트(XAML 포맷)를 사용하여 감독된 방식으로 트레이닝된 AI 모델에 공급된다. 각각의 텍스트 입력에 대해, AI 모델은 피쳐를 추출하고 소정의 확률 점수를 가지고 워크플로우를 예측한다. 이들 확률 점수에 기초하여, 워크플로우가 생성되어 유저에게 제시된다.

워크플로우(들)를 예측한 이후(예를 들면, 몇몇 실시형태에서 적어도 최소 신뢰도 임계치를 갖는 후보인 것으로 보이는 하나 이상의 워크플로우를 식별함), 모델 서버(604)는 예측된 RPA 워크플로우(들)를 RPA 워크플로우 개발 애플리케이션(602)에게 반환한다. 몇몇 실시형태에서, 예측된 RPA 워크플로우(들)는 XAML 파일의 세트로서 제공된다. 예측 확률 점수에 기초하여, 하나 이상의 워크플로우가 생성된다. 한 실시형태에서, 유저는 확률 점수 임계치를 설정할 수 있으며, 하나보다 더 많은 워크플로우가 임계치와 매치하는 경우, 별개의 워크플로우가 유저에게 제시된다. 심지어 입력이 모호한 경우에도, AI 모델은, 이전 학습에 기초하여, 다수의 워크플로우를 생성하고 워크플로우를 유저에게 제시할 수도 있다.

RPA 워크플로우 개발 애플리케이션(602)은 개발자가 예측된 워크플로우(들)를 사용하는 것을 가능하게 할 수도 있다. 추가적으로 또는 대안적으로, 몇몇 실시형태에서, 개발자는 RPA 워크플로우 개발 애플리케이션(602)을 통해 예측된 워크플로우(들)를 수정할 수도 있거나 또는 예측된 워크플로우(들)를 거부할 수도 있다. 예측된 워크플로우(들)가 개발자에 의해 승인되거나 또는 수정되는 경우, RPA 워크플로우 개발 애플리케이션(602)은 승인된 또는 수정된 워크플로우를 저장을 위해 트레이닝 데이터베이스(606)로 전송할 수도 있다. 트레이닝 데이터베이스(606)는 저장되는 승인된 또는 수정된 RPA 워크플로우를 트레이닝 모듈(608)로 포워딩할 수도 있고, 따라서, 워크플로우는 미래에 AI 모델을 재트레이닝시키기 위해 사용될 수 있다.

예측된 워크플로우가 유저의 사용 사례를 충족하지 않는 경우, 그 또는 그녀는 그의 요건에 따라 워크플로우를 수정할 수 있고, 그 다음, 재트레이닝 목적을 위한 AI 모델에 대한 입력 트레이닝 데이터로서 수정된 워크플로우를 공급하기 위해 디자이너 탭의 업로드 버튼을 사용할 수도 있다. 피드백의 일부로서 업로딩되는 워크플로우는 모델을 재트레이닝시키기 이전에 추가적으로 주석이 달린다. 일단 모델이 재트레이닝되면, 그것은 유효성 확인 데이터세트(validation dataset)에 대해 평가될 것이고, 메트릭(metric)이 이전 모델보다 더 나은 경우, 업데이트된 모델은 모델 데이터베이스로 푸시될 것이다.

재트레이닝이 발생한 이후, 승인된 또는 수정된 워크플로우의 재트레이닝된 모델은, 그 다음, 후속하는 사용을 위해 모델 데이터베이스(610)에 저장된다.

소정의 실시형태에서, 모델 데이터베이스(610)는 AI 모델 및 관련된 정보를 저장한다. 몇몇 실시형태에서, AI 모델 및 관련된 정보는 트레이닝 프로세스 이후에 획득되는 학습된 피쳐를 포함하는 파일로서 정의될 수도 있다.

메트릭 모듈(612)은 정밀도, 재현율(recall) 및 f1 점수, 등등과 같은 AI 도메인에서 사용되는 표준 메트릭을 포함할 수도 있다. 이들 메트릭은 AI 모델의 성능 및 효율성에 대한 통찰력을 제공받는다.

도 7은, 본 발명의 한 실시형태에 따른, RPA 워크플로우 생성 프로세스(700)를 예시하는 플로우차트이다. 몇몇 실시형태에서, 개발자는, 702에서, RPA 워크플로우 개발 애플리케이션을 통해 로직 단계의 시퀀스를 포함하는 텍스트 파일(들), 이미지 파일(들), 오디오 파일(들), 또는 이들의 임의의 조합(통칭하여, "파일")을 업로드한다. 몇몇 실시형태에서, 파일 업로드를 용이하게 하기 위해, 명시된 텍스트 편집 도구, 이미징 도구, 및/또는 오디오 도구가 RPA 워크플로우 개발 애플리케이션 내에 통합될 수도 있다.

704에서, 일단 입력 파일이 업로드되면, 파일은 워크플로우 생성 모듈(또는 "모델")로 전송된다. 워크플로우 생성 모듈은 파일을 사전 프로세싱하는 것, AI 모델 로딩하는 것, 및 예측을 행하는 것을 담당한다. 몇몇 실시형태에서, 시퀀스가 이미지 파일에 캡쳐되면, 워크플로우 생성 모듈은, 텍스트를 캡쳐하기 위해, OCR을 수행하거나, 또는 OCR로 하여금 수행되게 한다. 소정의 실시형태에서, 시퀀스가 오디오 파일에서 캡쳐되는 경우, 워크플로우 생성 모듈은, 음성 텍스트를 캡쳐하기 위해, 음성 대 텍스트 인식을 수행하거나, 또는 음성 대 텍스트 인식이 수행되게 한다. 일단 텍스트가 캡쳐되면, 그 다음, 텍스트는 워크플로우를 예측하도록 프로세싱될 수도 있다.

706에서, 워크플로우 생성 모듈은 모델 데이터베이스에 액세스하여 가장 최근의 워크플로우 모델(들)을 인출한다. 이것은 지금까지 가장 높은 점수를 받은 AI 모델일 것인데, 예측을 위해 사용될 것이다. 여기서, 비교는, 현재 모델과의 이전에 트레이닝된 모델의 점수와의 것이다. 워크플로우 모델(들)은, 이전에 저장된 워크플로우 모델을 저장하는 워크플로우 모델 인벤토리(model inventory)로부터 인출될 수도 있다.

708에서, 워크플로우 생성 모듈은 워크플로우 모델(들)을 로딩하고, 단계(704)로부터의 사전 프로세싱된 텍스트를 사용하여 워크플로우를 예측한다. 710에서, 워크플로우 생성 모듈은 예측(들)에 기초하여 가능한 XAML 파일의 목록을 RPA 워크플로우 개발 애플리케이션으로 송신한다. 712에서, RPA 워크플로우 개발 애플리케이션은 개발자가 선택할 가능한 XAML 파일의 목록을 디스플레이한다. 워크플로우는 프로젝트 범위 내에서 생성되어 별개의 폴더에 다운로드되는데, 이것은, 예를 들면, UiPath Studio Project™(유아이패쓰 스튜디오 프로젝트) 뷰에서 관찰될 수 있다. 파일을 클릭하는 것은 UiPath Studio Project™에서 파일을 연다. 가능한 XAML 파일의 목록은 개발자에 의한 선택을 위해 이용 가능한 상이한 워크플로우에 관련이 있다. 714에서, RPA 워크플로우 개발 애플리케이션은 개발자로부터 선택을 수신하여, 선택된 워크플로우를 생성한다.

텍스트 대 워크플로우 생성(TEXT-TO-WORKFLOW GENERATION)

텍스트 대 워크플로우 생성에서, 몇몇 실시형태에서, 개발자는 RPA 워크플로우 개발 애플리케이션을 열고 그것의 텍스트 편집기를 선택한다. 텍스트 편집기 내에서, 개발자는 몇몇 실시형태에서 로직 단계의 시퀀스를 기록할 수도 있다. 예를 들면, 본 발명의 한 실시형태에 따른, RPA 워크플로우로 변환될 텍스트의 형태의 로직 단계의 시퀀스를 예시하는 그래픽 유저 인터페이스(GUI)(800)인 도 8을 참조한다. 몇몇 실시형태에서, 개발자는 텍스트 또는 문서 편집기에서 로직 단계의 시퀀스를 기록할 수도 있다는 것이 인식되어야 한다. 그러한 실시형태에서, 개발자는 RPA 워크플로우 개발 애플리케이션의 텍스트 편집기에 단계를 복사하여 붙여넣기할 수도 있다.

텍스트 편집기에서 텍스트를 입력한 이후, 개발자는, 예를 들면, "GENERATE(생성)" 버튼을 클릭할 수도 있다. 이것은 텍스트를 사용하여 워크플로우를 구축하고 생성된 워크플로우를 XAML 포맷으로 반환하도록 AI 모델을 트리거한다. 예를 들면, 본 발명의 한 실시형태에 따른, 도 8의 텍스트로부터 생성되는 RPA 워크플로우를 예시하는 이미지(900)인 도 10을 참조한다. 그 다음, 생성된 RPA 워크플로우는 RPA 워크플로우 개발 애플리케이션에서 개발자에게 나타내어질 수도 있다. RPA 워크플로우가 생성된 이후, 개발자는 몇몇 실시형태에서 워크플로우를 사용할 수도 있거나, 또는 워크플로우를 거부할 수도 있거나, 또는 워크플로우를 수정할 수도 있다. 예를 들면, 수정 이전에, 유저가 워크플로우로부터 아이템을 삭제하는 경우 수정 동안, 그리고 워크플로우의 수정이 유저에 의해 완료된 이후에 수신되는 바와 같은 워크플로우를 예시하는 이미지(1100, 1200, 및 1300)인 도 11 내지 도 13을 참조한다. 이 피드백은 더욱 효율적이고 개인화된 워크플로우를 생성하기 위해 AI 모델의 후속하는 재트레이닝을 위해 캡쳐 및 저장될 수도 있다.

이미지 대 워크플로우 생성

이미지 대 워크플로우 생성에서, 몇몇 실시형태에서, RPA 개발자는 RPA 워크플로우 개발 애플리케이션을 열고 이미지 디자이너 모듈을 선택한다. 텍스트, 순서도, 블록도, 등등의 시퀀스를 갖는 워크플로우의 이미지가 이미지 디자이너 모듈을 통해 업로드될 수도 있다. 예를 들면, 본 발명의 한 실시형태에 따른, 종이에 기록되는 예시적인 워크플로우를 예시하는 이미지(1000)인 도 9를 참조한다. 이 실시형태에서, 이미지(1000)는 OCR을 사용하여 이미지를 프로세싱하는, 또는 OCR로 하여금 수행되게 하는 AI 모델로 공급된다. AI 모델은 요건 및 로직을 이해할 수도 있고, 이미지에서 도시되는 컴포넌트를 RPA 활동에 매핑하여 RPA 워크플로우를 생성할 수도 있다. RPA 워크플로우가 구축된 이후, RPA 개발자는, 몇몇 실시형태에서, 워크플로우를 사용할 것을, 워크플로우를 거부할 것을, 또는 워크플로우를 수정할 것을 선택할 수도 있다. 이 피드백은, 개발자의 스타일 및 개발자가 워크플로우를 생성하는 방법에 대해 학습하도록 AI 모델의 후속하는 재트레이닝을 위해 캡쳐 및 저장될 수도 있다.

AI 모델은, 몇몇 실시형태에서, RPA 워크플로우를 생성하기 위해 사람이 그린 이미지 또는 머신이 그린 이미지를 프로세싱할 수 있다. 이것은, 개발자가 출퇴근 중이거나 또는 다르게는 RPA 워크플로우를 생성하기 위해 RPA 워크플로우 개발 애플리케이션을 갖는 컴퓨팅 시스템에 액세스할 수 없는 경우 그 또는 그녀가 종이에 이미지를 그리는 것 또는 다른 소프트웨어 애플리케이션에서 그것을 생성하는 것을 허용한다. 그러나, 몇몇 실시형태에서, RPA 워크플로우 개발 애플리케이션은 모바일 디바이스 상에 있을 수도 있고, 따라서, 유저는 그 또는 그녀가 어디에 있든 애플리케이션에 액세스할 수도 있다는 것을 유의해야 한다. 상기에서 언급되는 바와 같이, 몇몇 실시형태에서 워크플로우를 생성하는 버튼이 선택되는 경우, 워크플로우가 생성된다.

오디오 대 텍스트 생성

몇몇 실시형태의 RPA 워크플로우 개발 애플리케이션은 음성 대 텍스트 모듈을 포함할 수도 있거나 또는 그것에 액세스할 수도 있다. 그러한 실시형태에서, 개발자는, 녹음 디바이스(예를 들면, 마이크를 갖는 이동 전화 또는 랩탑 컴퓨터)를 사용하여 RPA 워크플로우에 관련이 있는 오디오 녹음을 녹음한다. 일단 개발자가 RPA 워크플로우 개발 애플리케이션에 액세스할 수 있으면, 개발자는, 예를 들면, 오디오 파일을 오디오 대 워크플로우 모듈(audio-to-workflow module)에 업로드할 수도 있고, "워크플로우 생성(create workflow)" 버튼을 선택할 수도 있다. 내부적으로, 오디오 파일은 음성 대 텍스트 모듈을 사용하여 프로세싱될 수도 있다. 이 모듈은 음성을 텍스트로 변할 수도 있고, 그 다음, 다른 실시형태에서, 상기에서 언급되는 바와 동일한 방식으로 텍스트를 소비할 수도 있다.

하나 이상의 실시형태는 RPA 개발자가 RPA 워크플로우 개발 애플리케이션 외부에서 생성되는 RPA 워크플로우를 재현하는 데 필요한 시간을 감소시킨다. 개발자는 텍스트 또는 문서 편집기 애플리케이션에서 텍스트 포맷으로 워크플로우를 기록할 수도 있고, 종이에 플로우차트를 기록할 수도 있고, 등등을 할 수도 있다. 그러한 실시형태에서, 로직 단계의 시퀀스가 어떻게 기록되는지에 관해 미리 정의된 구문(syntax)이 없을 수도 있다. 또한, 몇몇 실시형태는 개발자가 텍스트 포맷으로 워크플로우 아이디어를 생성할 수 있으므로, 그 또는 그녀는 RPA 워크플로우 개발 애플리케이션 내의 모듈에 관한 지식을 가질 필요가 없다. 모델은 몇몇 실시형태에서 개발자의 선호도 및 요구에 적합하도록 커스터마이징될 수도 있다.

도 6 및 도 7에서 수행되는 프로세스 단계는, 본 발명의 실시형태에 따라, 프로세서(들)가 도 6 및 도 7에서 설명되는 프로세스(들)의 적어도 일부를 수행하기 위한 명령어를 인코딩하는 컴퓨터 프로그램에 의해 수행될 수도 있다. 컴퓨터 프로그램은 비일시적 컴퓨터 판독 가능 매체 상에 포함될 수도 있다. 컴퓨터 판독 가능 매체는, 하드 디스크 드라이브, 플래시 디바이스, RAM, 테이프, 및/또는 데이터를 저장하기 위해 사용되는 임의의 다른 그러한 매체 또는 매체의 조합일 수도 있지만, 그러나 이들로 제한되지는 않는다. 컴퓨터 프로그램은, 또한 컴퓨터 판독 가능 매체 상에 저장될 수도 있는, 도 6 및 도 7에 설명되는 프로세스 단계의 모두 또는 일부를 구현하기 위해 컴퓨팅 시스템의 프로세서(들)(예를 들면, 도 5의 컴퓨팅 시스템(500)의 프로세서(들)(510))를 제어하기 위한 인코딩된 명령어를 포함할 수도 있다.

컴퓨터 프로그램은 하드웨어, 소프트웨어, 또는 하이브리드 구현예에서 구현될 수 있다. 컴퓨터 프로그램은, 서로 동작 가능하게 통신하는, 정보 또는 명령어를 디스플레이에 전달하도록 설계되는 모듈로 구성될 수 있다. 컴퓨터 프로그램은 범용 컴퓨터, ASIC, 또는 임의의 다른 적절한 디바이스 상에서 동작하도록 구성될 수 있다.

본원의 도면에서 일반적으로 설명되고 예시되는 바와 같이, 본 발명의 다양한 실시형태의 컴포넌트는 아주 다양하고 상이한 구성으로 배열 및 설계될 수도 있다는 것이 쉽게 이해될 것이다. 따라서, 첨부된 도면에서 표현되는 바와 같이, 본 발명의 실시형태의 상세한 설명은 청구되는 바와 같은 본 발명의 범위를 제한하도록 의도되는 것이 아니라, 단지 본 발명의 선택된 실시형태를 대표하는 것에 불과하다.

본 명세서 전반에 걸쳐 설명되는 본 발명의 피쳐, 구조체, 또는 특성은 하나 이상의 실시형태에서 임의의 적절한 방식으로 결합될 수도 있다. 예를 들면, 본 명세서 전체에 걸친 "소정의 실시형태", "몇몇 실시형태" 또는 유사한 언어에 대한 언급은, 실시형태와 관련하여 설명되는 특정한 피쳐, 구조체 또는, 특성이 본 발명의 적어도 하나의 실시형태에서 포함된다는 것을 의미한다. 따라서, 본 명세서 전체에 걸친 어구 "소정의 실시형태에서", "몇몇 실시형태에서", "다른 실시형태에서" 또는 유사한 언어의 출현은, 반드시 모두 동일한 그룹의 실시형태를 가리키는 것은 아니며, 설명되는 피쳐, 구조체, 또는 특성은 하나 이상의 실시형태에서 임의의 적절한 방식으로 결합될 수도 있다.

본 명세서 전반에 걸친 피쳐, 이점 또는 유사한 언어에 대한 언급은, 본 발명을 사용하여 실현될 수도 있는 피쳐 및 이점 모두가 본 발명의 임의의 단일의 실시형태에 있어야 한다는 또는 있다는 것을 암시하지는 않는다. 오히려, 피쳐 및 이점을 언급하는 언어는, 실시형태와 관련하여 설명되는 특정한 피쳐, 이점, 또는 특성이 본 발명의 적어도 하나의 실시형태에 포함된다는 것을 의미하는 것으로 이해된다. 따라서, 본 명세서 전체에 걸친 피쳐 및 이점의 논의, 및 유사한 언어는 동일한 실시형태를 지칭할 수도 있지만, 그러나 반드시 그런 것은 아니다.

더구나, 본 발명의 설명되는 피쳐, 이점, 및 특성은 하나 이상의 실시형태에서 임의의 적절한 방식으로 결합될 수도 있다. 관련 기술 분야에서 숙련된 자는, 본 발명이 특정한 실시형태의 특정한 피쳐 또는 이점 중 하나 이상이 없어도 실시될 수 있다는 것을 인식할 것이다. 다른 경우에, 소정의 실시형태에서 본 발명의 모든 실시형태에서 존재하지 않을 수도 있는 추가적인 피쳐 및 이점이 인식될 수도 있다.

기술 분야에서 통상의 스킬을 가진 자는, 상기에서 논의되는 바와 같은 본 발명이 상이한 순서의 단계로, 및/또는 개시되는 것과는 상이한 구성의 하드웨어 엘리먼트로 실시될 수도 있다는 것을 쉽게 이해할 것이다. 따라서, 비록 본 발명이 이들 바람직한 실시형태에 기초하여 설명되었지만, 본 발명의 취지 및 범위 내에 남아 있으면서, 소정의 수정예, 변형예, 및 대안적인 구성예가 명백할 것이다는 것이 기술 분야의 숙련된 자에게 명백할 것이다. 따라서, 본 발명의 경계 및 범위를 결정하기 위해, 첨부된 청구범위에 대한 참조가 이루어져야 한다.

Claims

로봇 프로세스 자동화(robot process automation; RPA) 워크플로우를 생성하기 위한 컴퓨터 구현(computer-implemented) 방법으로서,
컴퓨팅 시스템 상의 워크플로우 개발 애플리케이션을 통해 제안된 워크플로우를 포함하는 미디어 파일을 수신하는 단계;
상기 제안된 워크플로우의 상기 수신된 미디어 파일을, 프로세싱을 위해, 워크플로우 생성 모듈로 포워딩하는 단계;
상기 워크플로우 생성 모듈에 의해, 모델 데이터베이스에 액세스하여 하나 이상의 워크플로우 모델을 인출하는(pull) 단계;
상기 워크플로우 생성 모듈에 의해, 상기 하나 이상의 워크플로우 모델을 로딩하고 상기 컴퓨팅 시스템의 유저가 선택할 하나 이상의 워크플로우를 예측하는 단계; 및
상기 워크플로우 생성 모듈로부터, 상기 하나 이상의 워크플로우를 포함하는 가능한 XAML 파일의 목록을, 상기 유저가 선택할 상기 워크플로우 개발 애플리케이션으로 송신하는 단계를 포함하는, 로봇 프로세스 자동화(RPA) 워크플로우를 생성하기 위한 컴퓨터 구현 방법.
제1항에 있어서,
상기 미디어 파일은 상기 제안된 워크플로우의 텍스트 파일, 상기 제안된 워크플로우의 이미지 파일, 및/또는 상기 제안된 워크플로우의 오디오 파일이되, 상기 워크플로우는 로직 단계의 시퀀스를 포함하는 것인, 로봇 프로세스 자동화(RPA) 워크플로우를 생성하기 위한 컴퓨터 구현 방법.
제1항에 있어서,
상기 미디어 파일은 상기 워크플로우 개발 애플리케이션을 통해 업로드되는 것인, 로봇 프로세스 자동화(RPA) 워크플로우를 생성하기 위한 컴퓨터 구현 방법.
제1항에 있어서,
상기 미디어 파일이 상기 제안된 워크플로우의 이미지 파일을 포함하는 경우, 상기 워크플로우 생성 모듈에 의해, 상기 미디어 파일에 대한 광학 문자 인식(optical character recognition; OCR)을 수행하는 단계를 더 포함하는, 로봇 프로세스 자동화(RPA) 워크플로우를 생성하기 위한 컴퓨터 구현 방법.
제1항에 있어서,
상기 미디어 파일이 상기 제안된 워크플로우의 오디오 파일을 포함하는 경우, 상기 워크플로우 생성 모듈에 의해, 상기 미디어 파일에 대한 음성 대 텍스트 인식(speech-to-text recognition)을 수행하는 단계를 더 포함하는, 로봇 프로세스 자동화(RPA) 워크플로우를 생성하기 위한 컴퓨터 구현 방법.
제1항에 있어서,
상기 하나 이상의 워크플로우 모델은 모델 인벤토리(model inventory)에 저장되는 복수의 이전에 트레이닝된 인공 지능(artificial intelligence; AI) 모델 중에서 가장 높은 점수를 갖는 AI 모델인 것인, 로봇 프로세스 자동화(RPA) 워크플로우를 생성하기 위한 컴퓨터 구현 방법.
제1항에 있어서,
상기 워크플로우 개발 애플리케이션에 의해, 상기 유저가 선택할 상기 하나 이상의 워크플로우를 디스플레이하는 단계; 및
상기 워크플로우 개발 애플리케이션에서, 상기 하나 이상의 워크플로우에 대한 유저 선택을 수신하는 단계를 더 포함하는, 로봇 프로세스 자동화(RPA) 워크플로우를 생성하기 위한 컴퓨터 구현 방법.
제7항에 있어서,
상기 유저 선택은 선택된 워크플로우, 수정된 워크플로우, 또는 거부된 워크플로우를 포함하는 것인, 로봇 프로세스 자동화(RPA) 워크플로우를 생성하기 위한 컴퓨터 구현 방법.
제8항에 있어서,
상기 선택된 워크플로우, 상기 수정된 워크플로우, 또는 상기 거부된 워크플로우를 트레이닝 데이터베이스에서 저장하는 단계; 및
상기 선택된 워크플로우, 상기 수정된 워크플로우, 또는 상기 거부된 워크플로우를 사용하여 상기 AI 모델을 재트레이닝시키는 단계를 더 포함하는, 로봇 프로세스 자동화(RPA) 워크플로우를 생성하기 위한 컴퓨터 구현 방법.
제9항에 있어서,
상기 AI 모델의 메트릭(metric)이 이전 AI 모델의 메트릭보다 더 큰 경우, 상기 재트레이닝된 AI 모델을 상기 모델 데이터베이스에 푸시하는 단계를 더 포함하는, 로봇 프로세스 자동화(RPA) 워크플로우를 생성하기 위한 컴퓨터 구현 방법.
비일시적 컴퓨터 판독 가능 매체 상에 포함되는 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은 적어도 하나의 프로세서로 하여금:
컴퓨팅 시스템 상의 워크플로우 개발 애플리케이션을 통해 제안된 워크플로우를 포함하는 미디어 파일을 수신하게 하도록;
상기 제안된 워크플로우의 상기 수신된 미디어 파일을, 프로세싱을 위해, 워크플로우 생성 모듈로 포워딩하게 하도록;
상기 워크플로우 생성 모듈에 의해, 모델 데이터베이스에 액세스하여 하나 이상의 워크플로우 모델을 인출하게 하도록;
상기 워크플로우 생성 모듈에 의해, 상기 하나 이상의 워크플로우 모델을 로딩하고 상기 컴퓨팅 시스템의 유저가 선택할 하나 이상의 워크플로우를 예측하게 하도록;
상기 워크플로우 생성 모듈로부터, 상기 하나 이상의 워크플로우를 포함하는 가능한 XAML 파일의 목록을, 상기 유저가 선택할 상기 워크플로우 개발 애플리케이션으로 송신하게 하도록 구성되는 것인, 비일시적 컴퓨터 판독 가능 매체 상에 포함되는 컴퓨터 프로그램.
제11항에 있어서,
상기 미디어 파일은 상기 제안된 워크플로우의 텍스트 파일, 상기 제안된 워크플로우의 이미지 파일, 및/또는 상기 제안된 워크플로우의 오디오 파일이되, 상기 워크플로우는 로직 단계의 시퀀스를 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체 상에 포함되는 컴퓨터 프로그램.
제11항에 있어서,
상기 미디어 파일은 상기 워크플로우 개발 애플리케이션을 통해 업로드되는 것인, 비일시적 컴퓨터 판독 가능 매체 상에 포함되는 컴퓨터 프로그램.
제11항에 있어서,
상기 컴퓨터 프로그램은 또한 상기 적어도 하나의 프로세서로 하여금:
상기 미디어 파일이 상기 제안된 워크플로우의 이미지 파일을 포함하는 경우, 상기 워크플로우 생성 모듈에 의해, 상기 미디어 파일에 대한 광학 문자 인식(optical character recognition; OCR)을 수행하게 하도록 구성되는 것인, 비일시적 컴퓨터 판독 가능 매체 상에 포함되는 컴퓨터 프로그램.
제11항에 있어서,
상기 컴퓨터 프로그램은 또한 상기 적어도 하나의 프로세서로 하여금:
상기 미디어 파일이 상기 제안된 워크플로우의 오디오 파일을 포함하는 경우, 상기 워크플로우 생성 모듈에 의해, 상기 미디어 파일에 대한 음성 대 텍스트 인식을 수행하게 하도록 구성되는 것인, 비일시적 컴퓨터 판독 가능 매체 상에 포함되는 컴퓨터 프로그램.
제11항에 있어서,
상기 하나 이상의 워크플로우 모델은 모델 인벤토리에 저장되는 복수의 이전에 트레이닝된 인공 지능(artificial intelligence; AI) 모델 중에서 가장 높은 점수를 갖는 AI 모델인 것인, 비일시적 컴퓨터 판독 가능 매체 상에 포함되는 컴퓨터 프로그램.
제11항에 있어서,
상기 컴퓨터 프로그램은 또한 상기 적어도 하나의 프로세서로 하여금:
상기 워크플로우 개발 애플리케이션에 의해, 상기 유저가 선택할 상기 하나 이상의 워크플로우를 디스플레이하게 하도록; 그리고
상기 워크플로우 개발 애플리케이션에서, 상기 하나 이상의 워크플로우에 대한 유저 선택을 수신하게 하도록 구성되는 것인, 비일시적 컴퓨터 판독 가능 매체 상에 포함되는 컴퓨터 프로그램.
제17항에 있어서,
상기 유저 선택은 선택된 워크플로우, 수정된 워크플로우, 또는 거부된 워크플로우를 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체 상에 포함되는 컴퓨터 프로그램.
제18항에 있어서,
상기 컴퓨터 프로그램은 또한 상기 적어도 하나의 프로세서로 하여금:
상기 선택된 워크플로우, 상기 수정된 워크플로우, 또는 상기 거부된 워크플로우를 트레이닝 데이터베이스에서 저장하게 하도록; 그리고
상기 선택된 워크플로우, 상기 수정된 워크플로우, 또는 상기 거부된 워크플로우를 사용하여 상기 AI 모델을 재트레이닝시키게 하도록 구성되는 것인, 비일시적 컴퓨터 판독 가능 매체 상에 포함되는 컴퓨터 프로그램.
제19항에 있어서,
상기 컴퓨터 프로그램은 또한 상기 적어도 하나의 프로세서로 하여금:
상기 AI 모델의 메트릭이 이전 AI 모델의 메트릭보다 더 큰 경우, 상기 재트레이닝된 AI 모델을 상기 모델 데이터베이스에 푸시하게 하도록 구성되는 것인, 비일시적 컴퓨터 판독 가능 매체 상에 포함되는 컴퓨터 프로그램.