KR101745330B1 - Computer input automation system - Google Patents

Computer input automation system Download PDF

Info

Publication number
KR101745330B1
KR101745330B1 KR1020160136243A KR20160136243A KR101745330B1 KR 101745330 B1 KR101745330 B1 KR 101745330B1 KR 1020160136243 A KR1020160136243 A KR 1020160136243A KR 20160136243 A KR20160136243 A KR 20160136243A KR 101745330 B1 KR101745330 B1 KR 101745330B1
Authority
KR
South Korea
Prior art keywords
input
computer system
input device
automatic
computer
Prior art date
Application number
KR1020160136243A
Other languages
Korean (ko)
Inventor
지형근
Original Assignee
지형근
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지형근 filed Critical 지형근
Priority to KR1020160136243A priority Critical patent/KR101745330B1/en
Application granted granted Critical
Publication of KR101745330B1 publication Critical patent/KR101745330B1/en
Priority to PCT/KR2017/009343 priority patent/WO2018074729A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0238—Programmable keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Abstract

사무/공장 자동화를 위한 컴퓨터 입력 시스템이 개시된다. 본 발명에 따른 컴퓨터 입력 시스템은, 키보드 입력신호를 생성하여 컴퓨터 시스템에 전송하는 자동입력장치; 및 상기 컴퓨터 시스템에 대해 미리 설정된 입력 시퀀스가 마련되고, 상기 자동입력장치가 상기 입력 시퀀스에 대응하는 키보드 입력신호를 생성하도록 상기 자동입력장치를 제어하는 입력 에이전트를 포함한다.A computer input system for office / factory automation is disclosed. A computer input system according to the present invention includes: an automatic input device for generating a keyboard input signal and transmitting it to a computer system; And an input agent provided with a preset input sequence for the computer system and the automatic input device controlling the automatic input device to generate a keyboard input signal corresponding to the input sequence.

Description

사무/공장 자동화를 위한 컴퓨터 입력 시스템{COMPUTER INPUT AUTOMATION SYSTEM}[0001] COMPUTER INPUT AUTOMATION SYSTEM [0002]

본 발명은 사무 자동화나 공장 자동화 측면에서 컴퓨터 시스템에 대해 입력 작업을 자동으로 처리하기 위한 컴퓨터 입력 시스템에 관한 것이다. The present invention relates to a computer input system for automatically processing an input operation for a computer system in terms of office automation or factory automation.

컴퓨터 시스템은 가정, 사무실, 공장 등에서 폭넓게 사용되고 있는데, 특히 사무 자동화 및 공장 자동화 영역에서 필수적인 요소로 여겨지고 있다.Computer systems are widely used in homes, offices, factories and the like, and are considered to be an essential element in the field of office automation and factory automation.

그런데, 종래의 컴퓨터 입력 자동화 기술은 해당 컴퓨터 시스템에 대해 소프트웨어 측면에서만 구현되기 때문에, 해당 컴퓨터 시스템에 설치된 키보드 보안프로그램 등의 보안프로그램이나 해당 응용프로그램의 보안모듈에 의해 차단되거나 해당 응용프로그램에서 오픈 API(Application Programming Interface)를 제공하지 않는 경우에는 사용할 수 없는 문제점이 있었다. 또한, 해당 컴퓨터 시스템(특히, 공장 내의 설비나 장비에 적용되는 임베디드 시스템)이 아주 옛날에 개발된 것이어서 사용하고 있는 운영 체계, 프로그래밍 언어 등이 최근의 것과는 상이하여 스크립트 파일을 설치하거나 실행할 수 없는 경우에도 이와 같은 문제점은 발생한다. 이러한 문제점은 사무 자동화 및 공장 자동화를 구현하는데 있어서 방해 요소로 작용하고 있다However, since the conventional computer input automation technology is implemented only in terms of software for the computer system, it is blocked by a security program such as a keyboard security program installed in the computer system or a security module of the application program, (Application Programming Interface) is not provided. In addition, since the computer system (especially the embedded system applied to the facilities and equipment in the factory) has been developed a long time ago and the operating system and the programming language used are different from the recent ones and the script file can not be installed or executed This problem also occurs. These problems are obstacles in implementing office automation and factory automation

관련 선행기술문헌으로는 한국등록특허공보 10-1278726호(발명의 명칭: 사용자 데이터 입력장치 및 이를 이용한 사용자 데이터 보안 방법, 등록일: 2013년 06월 19일)가 있다.Related reference literature includes Korean Patent Registration No. 10-1278726 entitled " User Data Input Device and User Data Security Method Using the Same, " filed on June 19, 2013).

본 발명의 목적은, 보안프로그램의 실행, 오픈 API의 미제공, 아주 오래된 컴퓨터 시스템 등의 요인에 의해 제한되지 않고 컴퓨터 시스템에서 요구되는 일련의 입력 작업을 자동으로 처리할 수 있는 컴퓨터 입력 시스템을 제공하는 것이다.It is an object of the present invention to provide a computer input system capable of automatically processing a series of input operations required in a computer system without being limited by factors such as the execution of a security program, the failure of an open API, a very old computer system, will be.

상기 목적은, 본 발명에 따라, 키보드 입력신호를 생성하여 컴퓨터 시스템에 전송하는 자동입력장치; 및 상기 컴퓨터 시스템에 대해 미리 설정된 입력 시퀀스가 마련되는 입력 에이전트를 포함하는 사무/공장 자동화를 위한 컴퓨터 입력 시스템에 의해 달성된다.This object is achieved according to the invention by an automatic input device for generating a keyboard input signal and transmitting it to a computer system; And an input agent provided with a preset input sequence for the computer system.

바람직하게, 상기 입력 에이전트는 상기 자동입력장치가 상기 입력 시퀀스에 대응하는 키보드 입력신호를 생성하도록 상기 자동입력장치를 제어할 수 있다.Advantageously, the input agent is capable of controlling the automatic input device such that the automatic input device generates a keyboard input signal corresponding to the input sequence.

바람직하게, 상기 입력 시퀀스는 상기 컴퓨터 시스템에 설치된 특정 응용프로그램에서 요구되는 입력 작업에 대하여 사전에 분석하여 프로그래밍된 스크립트 파일로 제공될 수 있다.Preferably, the input sequence may be provided as a preprogrammed script file by analyzing an input operation required by a specific application installed in the computer system.

바람직하게, 상기 스크립트 파일은 상기 응용프로그램에서 출력하는 화면에 대한 이미지 정보 및 좌표 정보에 기초하여 프로그래밍될 수 있다.Preferably, the script file may be programmed based on image information and coordinate information of a screen output from the application program.

바람직하게, 상기 입력 에이전트는 상기 컴퓨터 시스템에서 출력하는 화면에 대한 영상을 전송 받아 상기 출력화면에 대해 이미지 분석을 수행하는 출력화면 분석부; 및 상기 자동입력장치가 상기 입력 시퀀스에 대응하는 키보드 입력신호를 생성하도록 상기 출력화면 분석부에 의한 분석 결과를 반영하여 제어신호를 생성하고 상기 제어신호를 상기 자동입력장치를 전송하는 입력장치 제어부를 포함할 수 있다.Preferably, the input agent includes an output screen analyzer for receiving an image of a screen output from the computer system and performing an image analysis on the output screen; And an input device control unit for generating a control signal by reflecting an analysis result by the output screen analysis unit so that the automatic input device generates a keyboard input signal corresponding to the input sequence and transmitting the control signal to the automatic input device .

바람직하게, 상기 출력화면 분석부는 그 분석 결과로 상기 컴퓨터 시스템에서 출력하는 화면에 대한 이미지 정보 및 좌표 정보를 제공하고, 상기 입력장치 제어부는 상기 출력화면 분석부에 의해 제공되는 이미지 정보 및 좌표 정보에 기초하여 상기 제어신호를 생성할 수 있다.Preferably, the output screen analyzing unit provides image information and coordinate information on a screen output from the computer system as a result of the analysis, and the input device control unit controls the input screen analyzing unit to display image information and coordinate information The control signal can be generated based on the control signal.

바람직하게, 상기 입력장치 제어부는 상기 출력화면 분석부에 의한 분석 결과에 기초하여 상기 입력 시퀀스를 벗어나는 입력 오류 상황을 판단할 수 있다.Preferably, the input device control unit may determine an input error condition that deviates from the input sequence based on the analysis result of the output screen analysis unit.

바람직하게, 상기 입력장치 제어부는 상기 입력 오류 상황이 발생한 것으로 판단한 경우, 상기 자동입력장치의 작동 일시적으로 중단시키고 상기 입력 오류 상황이 발생한 시점에 대응하는 상기 입력 시퀀스의 시점으로 복귀하여 상기 입력 시퀀스에 따른 상기 자동입력장치의 제어를 재개할 수 있다.Preferably, when the input device control unit determines that the input error condition has occurred, the input device control unit suspends operation of the automatic input device temporarily, returns to the time point of the input sequence corresponding to the time when the input error condition occurs, The control of the automatic input device can be resumed.

바람직하게, 상기 컴퓨터 시스템에서 출력하는 화면에 대한 영상을 추출하여 상기 출력화면 분석부에 전송하는 영상추출장치를 더 포함할 수 있다.The image processing apparatus may further include an image extracting unit for extracting an image of a screen output from the computer system and transmitting the extracted image to the output screen analyzing unit.

바람직하게, 상기 영상추출장치는 카메라를 이용하여 상기 컴퓨터 시스템에서 출력하는 화면을 촬영하여 영상을 추출하거나 상기 컴퓨터 시스템의 영상 출력 단자로부터 상기 컴퓨터 시스템에서 출력하는 화면에 대한 영상을 추출할 수 있다.Preferably, the image extracting device may extract an image of a screen output from the computer system using a camera, or may extract an image of a screen output from the computer system from a video output terminal of the computer system.

바람직하게, 상기 자동입력장치는 통상의 컴퓨터 키보드와는 별도로 제공되고 상기 컴퓨터 시스템에 접속 연결되어 상기 컴퓨터 시스템에 키보드 입력신호를 전송할 수 있다.Preferably, the automatic input device is provided separately from a conventional computer keyboard and can be connected to the computer system to transmit a keyboard input signal to the computer system.

바람직하게, 상기 입력 에이전트는 상기 컴퓨터 시스템상에 설치되는 하나의 응용프로그램으로 제공되거나, 상기 컴퓨터 시스템과는 물리적으로 분리되며 소프트웨어와 하드웨어를 포함한 별도의 장치로 제공될 수 있다.Preferably, the input agent is provided as an application program installed on the computer system, or may be physically separated from the computer system and provided as a separate device including software and hardware.

바람직하게, 상기 입력 에이전트는 상기 자동입력장치와의 무선 통신 연결을 위한 무선 통신부를 더 포함하고, 상기 입력장치 제어부는 상기 무선 통신부를 통해 상기 제어신호를 상기 자동입력장치에 전송할 수 있다.Preferably, the input agent further includes a wireless communication unit for wireless communication connection with the automatic input device, and the input device control unit may transmit the control signal to the automatic input device through the wireless communication unit.

바람직하게, 상기 컴퓨터 시스템은 복수 개의 컴퓨터 시스템으로 제공되고,Preferably, the computer system is provided as a plurality of computer systems,

상기 자동입력장치는 상기 복수 개의 컴퓨터 시스템 각각에 대응하도록 복수 개의 자동입력장치로 제공되며, 상기 입력 에이전트는 상기 복수 개의 자동입력장치에 유선 또는 무선으로 접속하여 상기 복수 개의 자동입력장치를 일괄적으로 제어할 수 있다.Wherein the automatic input device is provided as a plurality of automatic input devices corresponding to each of the plurality of computer systems, and the input agent is connected to the plurality of automatic input devices by wire or wirelessly so that the plurality of automatic input devices are collectively Can be controlled.

바람직하게, 상기 자동입력장치는 마우스 입력신호를 더 생성하여 상기 컴퓨터 시스템에 전송하고, 상기 입력 에이전트는 상기 자동입력장치가 상기 입력 시퀀스에 대응하는 키보드 입력신호 및 마우스 입력신호를 생성하도록 상기 자동입력장치를 제어할 수 있다.Preferably, the automatic input device further generates a mouse input signal and transmits the mouse input signal to the computer system, and the input agent inputs the automatic input signal so that the automatic input device generates a keyboard input signal and a mouse input signal corresponding to the input sequence, The device can be controlled.

도 1은 본 발명의 일 실시예에 따른 사무/공장 자동화를 위한 컴퓨터 입력 시스템의 구성을 설명하기 위한 블록 구성도이다.
도 2는 도 1의 컴퓨터 입력 시스템이 컴퓨터 시스템과 연결되는 일 예를 나타내는 개략적인 구성도이다.
도 3는 도 1의 컴퓨터 입력 시스템이 컴퓨터 시스템과 연결되는 다른 예를 나타내는 개략적인 구성도이다.
도 4는 도 1의 컴퓨터 입력 시스템이 다수의 컴퓨터 시스템에 대해 일괄적 혹은 통합적으로 입력 작업을 수행하는 모습을 나타내는 도면이다.
도 5는 도 1의 컴퓨터 입력 시스템에서 입력 에이전트의 세부 구성 및 그 기능을 설명하기 위한 블록 구성도이다.
도 6은 영상추출장치를 더 포함하는 도 1의 컴퓨터 입력 시스템의 구성을 설명하기 위한 블록 구성도이다.1 is a block diagram illustrating a configuration of a computer input system for office / factory automation according to an embodiment of the present invention.
FIG. 2 is a schematic diagram showing an example in which the computer input system of FIG. 1 is connected to a computer system.
FIG. 3 is a schematic diagram showing another example in which the computer input system of FIG. 1 is connected to a computer system. FIG.
FIG. 4 is a diagram illustrating a computer input system of FIG. 1 performing input operations collectively or integrally with respect to a plurality of computer systems.
FIG. 5 is a block diagram illustrating a detailed configuration of an input agent and its function in the computer input system of FIG. 1. FIG.
6 is a block diagram for explaining the configuration of the computer input system of FIG. 1 further including an image extracting apparatus.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.In order to fully understand the present invention, operational advantages of the present invention, and objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the accompanying drawings which illustrate preferred embodiments of the present invention.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. It is noted that the technical terms used herein are used only to describe specific embodiments and are not intended to limit the invention. Also, the technical terms used herein should be interpreted in a sense that is generally understood by those skilled in the art to which the present invention belongs, unless otherwise defined in this specification, and it should be understood that an overly comprehensive It should not be construed as a meaning or an overly reduced meaning.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 다만, 본 발명을 설명함에 있어서 이미 공지된 기능 혹은 구성에 대한 설명은, 본 발명의 요지를 명료하게 하기 위하여 생략하기로 한다.Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in order to avoid unnecessary obscuration of the present invention.

도 1은 본 발명의 일 실시예에 따른 사무/공장 자동화를 위한 컴퓨터 입력 시스템의 구성을 설명하기 위한 블록 구성도이고, 도 2 및 도 3은 도 1의 컴퓨터 입력 시스템이 컴퓨터 시스템과 연결되는 일 예들을 나타내는 개략적인 구성도이다.FIG. 1 is a block diagram illustrating a configuration of a computer input system for office / factory automation according to an embodiment of the present invention. FIGS. 2 and 3 are diagrams Fig. 8 is a schematic configuration diagram showing examples. Fig.

도 1 내지 도 3을 참조하면, 본 발명의 일 실시예에 따른 사무/공장 자동화를 위한 컴퓨터 입력 시스템(100, 이하 ‘컴퓨터 입력 시스템’이라 함)은 키보드 입력신호 및/또는 마우스 입력신호를 생성하여 컴퓨터 시스템(10)에 전송하는 자동입력장치(110)와, 컴퓨터 시스템(10)에 대해 미리 설정된 입력 시퀀스가 마련되는 입력 에이전트(130)를 포함한다. 그리고, 입력 에이전트(130)는 자동입력장치(110)가 상기 입력 시퀀스에 대응하는 키보드 입력신호 및/또는 마우스 입력신호를 생성하도록 자동입력장치(110)를 제어한다. 한편, 컴퓨터 시스템(10)은 사무 자동화 영역에서는 사무용 퍼스널 컴퓨터일 수 있고, 공장 자동화 영역에서는 공장 내에 설치된 각각의 장비나 설비에 연결되어 이를 운용하는 컴퓨터 시스템 혹은 임베디드 시스템일 수 있다.1 to 3, a computer input system 100 for office / factory automation according to an embodiment of the present invention generates a keyboard input signal and / or a mouse input signal And an input agent 130 in which an input sequence preset for the computer system 10 is provided. Then, the input agent 130 controls the automatic input device 110 such that the automatic input device 110 generates a keyboard input signal and / or a mouse input signal corresponding to the input sequence. Meanwhile, the computer system 10 may be an office personal computer in an office automation area, and may be a computer system or an embedded system that is connected to and operates each equipment or facility installed in a factory in a factory automation area.

여기서, 입력 시퀀스는 컴퓨터 시스템(10)에 설치된 특정 응용프로그램에서 요구되는 일련의 입력 작업을 수행하기 위한 입력 이벤트들을 일정한 순서에 따라 설정해 둔 것이다. 구체적으로, 입력 시퀀스는 컴퓨터 시스템(10)에 설치된 특정 응용프로그램에서 요구되는 일련의 입력 작업에 대하여 사전에 분석하여 프로그래밍된 스크립트 파일로 제공될 수 있다. 쉽게 설명하면, 입력 시퀀스는 일종의 매크로 기능(Macro function)을 수행하기 위한 스크립트 파일로 이해될 수 있다.Herein, the input sequence is set in a predetermined order for input events for performing a series of input operations required by a specific application program installed in the computer system 10. [ Specifically, the input sequence may be provided as a preprogrammed script file for a series of input operations required by a particular application program installed in the computer system 10. In other words, the input sequence can be understood as a script file for performing a macro function.

이러한 입력 시퀀스가 정의된 스크립트 파일, 예컨대 자바 스크립트 파일을 적용하여 사용자가 컴퓨터 키보드나 컴퓨터 마우스를 통해 입력 작업을 직접 수행하지 않더라도 사무 자동화 측면에서 컴퓨터 시스템에 대한 입력을 자동화하는 기술은 이미 잘 알려져 있다.Techniques for automating input to a computer system in terms of office automation are well known, even if the user does not directly perform input operations via a computer keyboard or a computer mouse by applying a script file, such as a JavaScript file, .

그런데, 이와 같은 종래의 컴퓨터 입력 자동화 기술은 해당 컴퓨터 시스템에 대해 소프트웨어 측면에서만 구현되기 때문에, 해당 컴퓨터 시스템에 설치된 키보드 보안프로그램 등의 보안프로그램이나 해당 응용프로그램의 보안모듈에 의해 차단되거나 해당 응용프로그램에서 오픈 API(Application Programming Interface)를 제공하지 않는 경우에는 사용할 수 없는 문제점이 있었다. 또한, 해당 컴퓨터 시스템(특히, 공장 내의 설비나 장비에 적용되는 임베디드 시스템)이 아주 옛날에 개발된 것이어서 사용하고 있는 운영 체계, 프로그래밍 언어 등이 최근의 것과는 상이하여 스크립트 파일을 설치하거나 실행할 수 없는 경우에도 이와 같은 문제점은 발생한다However, since such a conventional computer input automation technology is implemented only in terms of software for the computer system, it is difficult to prevent a security program such as a keyboard security program installed in the computer system, a security module of the application program, There is a problem that it can not be used when an open API (application programming interface) is not provided. In addition, since the computer system (especially the embedded system applied to the facilities and equipment in the factory) has been developed a long time ago and the operating system and the programming language used are different from the recent ones and the script file can not be installed or executed This problem also occurs

이에, 본 발명은 키보드/마우스 입력신호를 생성하는 자동입력장치(110)라는 하드웨어적 구성요소와 미리 설정된 입력 시퀀스에 따라 자동입력장치(110)를 제어하는 입력 에이전트(130)라는 소프트웨어적 구성요소를 함께 적용함으로써, 해당 컴퓨터 시스템이나 해당 응용프로그램에 보안프로그램이 실행되고 있거나 해당 응용프로그램에서 오픈 API를 제공하지 않는 등의 종래의 컴퓨터 입력 자동화 기술을 사용할 수 없는 경우라도, 컴퓨터 시스템에 대한 일련의 입력 작업을 자동으로 처리할 수 있으므로, 사무 자동화는 물론 공장 자동화에 있어서 크게 기여할 수 있다. 더 나아가, 같은 맥락에서 본 발명은 이기종 응용프로그램간이나 이기종 컴퓨터 시스템간의 입력 작업을 아무런 제한 없이 자동으로 처리할 수 있다.Accordingly, the present invention is applicable to a hardware component called an automatic input device 110 that generates a keyboard / mouse input signal and a software component called an input agent 130 that controls the automatic input device 110 according to a preset input sequence , It is possible to apply a series of computer-aided design techniques to a computer system, even if the computer system or the application program is not able to use conventional computer input automation techniques such as running a security program or not providing an open API in the application Since input work can be processed automatically, it can contribute greatly to office automation as well as factory automation. Furthermore, in the same context, the present invention can automatically process input work between heterogeneous application programs or heterogeneous computer systems without any limitation.

다시 말해서, 본 발명은 자동입력장치(110)와 입력 에이전트(130)의 구성에 의해 컴퓨터 시스템(10)상의 특정 응용프로그램에서 요구되는 일련의 입력 작업이 미리 설정된 입력 시퀀스에 따라 자동 입력되는 것임에도 불구하고 컴퓨터 시스템(10)의 입장에서는 마치 사용자가 통상의 컴퓨터 키보드를 타이핑하거나 통상의 컴퓨터 마우스를 클릭하여 수동 입력된 것과 동일하게 인식하게 되므로, 보안프로그램의 실행, 오픈 API의 미제공, 아주 오래된 컴퓨터 시스템 등의 요인에 의해 제한되지 않고 컴퓨터 시스템의 특정 응용프로그램에서 요구되는 일련의 입력 작업을 자동으로 처리할 수 있는 것이다. In other words, although the present invention is configured such that a series of input operations required by a specific application program on the computer system 10 is automatically input according to a preset input sequence by the configuration of the automatic input device 110 and the input agent 130 However, in the case of the computer system 10, since the user typifies a normal computer keyboard or clicks a normal computer mouse to recognize the same as a manual input, the execution of the security program, the failure of the open API, System, and the like, and can automatically process a series of input operations required by a specific application program of a computer system.

자동입력장치(110)는 키보드 입력신호 및/또는 마우스 입력신호를 생성하지만, 도 2 및 도 3에 도시된 바와 같이 컴퓨터 입력장치인 통상의 컴퓨터 키보드(11)나 컴퓨터 마우스(13)와는 다른 별도의 입력장치이다. 자동입력장치(110)에 의해 생성되는 키보드 입력신호 및/또는 마우스 입력신호는 통상의 컴퓨터 키보드(11)나 컴퓨터 마우스(13)와 마찬가지로 컴퓨터 시스템(10)에 설치된 키보드 드라이버나 마우스 드라이버를 통해 컴퓨터 시스템(10)에 전송된다. 이에, 컴퓨터 시스템(10)의 입장에서는 자동입력장치(110)가 통상의 컴퓨터 키보드(11)나 컴퓨터 마우스(13)와는 다른 별도의 입력장치임에도 불구하고 자동입력장치(110)에 의해 자동 입력되는 키보드 입력신호나 마우스 입력신호를 사용자가 통상의 컴퓨터 키보드(11)를 타이핑하거나 통상의 컴퓨터 마우스(13)를 클릭하여 생성된 입력신호와 구분하지 못하고 동일하게 인식하게 되는 것이다.The automatic input device 110 generates a keyboard input signal and / or a mouse input signal, but is separate from a conventional computer keyboard 11 or a computer mouse 13 as a computer input device as shown in FIGS. 2 and 3 Lt; / RTI > The keyboard input signal and / or the mouse input signal generated by the automatic input device 110 are input to the computer 10 via a keyboard driver or a mouse driver installed in the computer system 10, like a normal computer keyboard 11 or a computer mouse 13. [ And transmitted to the system 10. Therefore, the computer system 10 may be configured such that the automatic input device 110 is automatically input by the automatic input device 110 even though the automatic input device 110 is a separate input device from the ordinary computer keyboard 11 or the computer mouse 13 The user can recognize the keyboard input signal or the mouse input signal without typing the normal computer keyboard 11 or clicking the normal computer mouse 13 without distinguishing it from the generated input signal.

한편, 자동입력장치(110)는 컴퓨터 시스템(10)의 USB 포트 등을 통해 도 2 및 도 3에 도시된 바와 같이 컴퓨터 시스템(10)에 접속 연결되어 생성한 키보드 입력신호 및/또는 마우스 입력신호를 컴퓨터 시스템(10)에 전송할 수 있다. 이와 다르게, 자동입력장치(110)는 컴퓨터 키보드(11)나 컴퓨터 마우스(13)에 내장되는 형태로 제공되거나, 하나의 어댑터로 컴퓨터 키보드(11)나 컴퓨터 마우스(13)에 접속 연결되는 형태로 제공될 수 있다. 이러한 경우 자동입력장치(110)는 컴퓨터 키보드(11)나 컴퓨터 마우스(13)를 통해 소정의 키보드/마우스 입력신호를 생성한다.2 and 3, the automatic input device 110 is connected to the computer system 10 through a USB port of the computer system 10 and generates a keyboard input signal and / or a mouse input signal To the computer system 10. Alternatively, the automatic input device 110 may be provided in the form of being embedded in the computer keyboard 11 or the computer mouse 13, or may be connected to the computer keyboard 11 or the computer mouse 13 through an adapter Can be provided. In this case, the automatic input device 110 generates a predetermined keyboard / mouse input signal through the computer keyboard 11 or the computer mouse 13.

입력 에이전트(130)는 앞서 설명한 바와 같이 자동입력장치(110)가 미리 설정된 입력 시퀀스에 따라 키보드 입력신호 및/또는 마우스 입력신호를 생성하도록 자동입력장치(110)를 제어한다. 이러한 입력 에이전트(130)는 도 2에 도시된 바와 같이 컴퓨터 시스템(10)에 설치되는 하나의 응용프로그램으로 제공될 수 있는데, 이 경우 입력 에이전트(130)는 컴퓨터 시스템(10)을 통해 컴퓨터 시스템(10)에 접속 연결된 자동입력장치(110)를 제어할 수 있다. 이와 다르게, 입력 에이전트(130)는 도 3에 도시된 바와 같이 컴퓨터 시스템(10)과는 물리적으로 분리되며 소정의 소프트웨어와 하드웨어를 포함한 별도의 장치(혹은 컴퓨터 시스템)로 제공될 수 있는데, 이 경우 입력 에이전트(130)는 도 3에 도시된 바와 같이 블루투스(Bluetooth), 와이파이(Wi-Fi) 등의 무선통신 네트워크를 통해 자동입력장치(110)에 접속하여 자동입력장치(110)를 제어할 수 있다.The input agent 130 controls the automatic input device 110 such that the automatic input device 110 generates a keyboard input signal and / or a mouse input signal according to a predetermined input sequence, as described above. This input agent 130 may be provided as an application program installed in the computer system 10 as shown in Figure 2 wherein the input agent 130 is connected to the computer system 10 via the computer system 10. [ 10 connected to the automatic input device 110. Alternatively, the input agent 130 may be physically separate from the computer system 10 as shown in FIG. 3 and may be provided as a separate device (or computer system) including predetermined software and hardware. In this case, The input agent 130 may access the automatic input device 110 through a wireless communication network such as Bluetooth or Wi-Fi to control the automatic input device 110 as shown in FIG. 3 have.

도 4는 도 1의 컴퓨터 입력 시스템이 다수의 컴퓨터 시스템에 대해 일괄적 혹은 통합적으로 입력 작업을 수행하는 모습을 나타내는 도면이다.FIG. 4 is a diagram illustrating a computer input system of FIG. 1 performing input operations collectively or integrally with respect to a plurality of computer systems.

도 4를 참조하면, 컴퓨터 시스템(10)은 복수 개의 컴퓨터 시스템(10-1,10-2,10-3,~,10-N)으로 제공되고, 자동입력장치(110)는 복수 개의 컴퓨터 시스템(10-1,10-2,10-3,~,10-N) 각각에 대응하도록 복수 개의 자동입력장치(110)로 제공된다. 그리고, 입력 에이전트(130)는 블루투스, 와이파이 등의 무선통신 네트워크를 통해 복수 개의 자동입력장치(110)에 각각 접속하여 복수 개의 자동입력장치(110)를 일괄적으로 혹은 통합적으로 제어한다. 한편, 이와 다르게, 입력 에이전트(130)은 유선으로 복수 개의 자동입력장치(110) 각각에 접속 연결될 수도 있다.Referring to Figure 4, a computer system 10 is provided in a plurality of computer systems 10-1, 10-2, 10-3, ..., 10-N, Are provided to the plurality of automatic input devices 110 so as to correspond to the respective input devices 10-1, 10-2, 10-3, ..., 10-N. The input agent 130 is connected to a plurality of automatic input devices 110 through a wireless communication network such as Bluetooth or Wi-Fi, and collectively or integrally controls the plurality of automatic input devices 110. Alternatively, the input agent 130 may be connected to the plurality of automatic input devices 110 by wire.

이처럼, 본 발명은 하나의 컴퓨터 시스템(10)에 대해 입력 작업을 자동화하는데 그치는 것이 아니라 하나의 입력 에이전트(130)를 통해 다수의 컴퓨터 시스템(10-1,10-2,10-3,~,10-N)에 대해 입력 작업을 자동화할 수 있다. 즉, 본 발명은 자동 입력 작업의 대상이 되는 컴퓨터 시스템의 개수를 확장할 수 있다. 이는 본 발명의 컴퓨터 입력 시스템(100)에 일종의 N스크린(N-screen) 개념을 적용한 것이라 볼 수 있다. 이에, 본 발명은 사무 자동화나 공장 자동화를 더욱 효율적으로 구현할 수 있는 것이다.As such, the present invention is not limited to automating input operations for one computer system 10, but rather may be implemented by a plurality of computer systems 10-1, 10-2, 10-3, 10-N). ≪ / RTI > That is, the present invention can expand the number of computer systems to be subjected to the automatic input operation. This can be regarded as applying a kind of N-screen concept to the computer input system 100 of the present invention. Accordingly, the present invention can more efficiently implement office automation or factory automation.

도 5는 도 1의 컴퓨터 입력 시스템에서 입력 에이전트의 세부 구성 및 그 기능을 설명하기 위한 블록 구성도이다.FIG. 5 is a block diagram illustrating a detailed configuration of an input agent and its function in the computer input system of FIG. 1. FIG.

도 5를 참조하면, 입력 에이전트(130)는 입력시퀀스 저장부(131), 출력화면 분석부(133) 및 입력장치 제어부(135)를 포함한다. 또한, 입력 에이전트(130)가 앞서 설명한 바와 같이 무선통신 네트워크를 통해 자동입력장치(110) 접속하는 경우, 입력 에이전트(130)는 소정의 제어신호를 자동입력장치(110)에 무선으로 전송하기 위해 무선 통신부(미도시)를 더 포함할 수 있다. 상기 무선 통신부는 블루투수 모듈, 와이파이 모듈 등으로 쉽게 구현될 수 있다.Referring to FIG. 5, the input agent 130 includes an input sequence storage unit 131, an output screen analysis unit 133, and an input device control unit 135. When the input agent 130 connects to the automatic input device 110 through the wireless communication network as described above, the input agent 130 transmits a predetermined control signal to the automatic input device 110 by wireless And a wireless communication unit (not shown). The wireless communication unit can be easily implemented as a blue pitcher module, a Wi-Fi module, or the like.

입력시퀀스 저장부(131)는 앞서 설명한 바와 같이 컴퓨터 시스템(10)의 특정 응용프로그램에서 요구되는 입력 작업에 대하여 사전에 분석하여 프로그래밍된 스크립트 파일로 제공되는 입력 시퀀스가 저장된다. 이때, 자동 입력 대상이 되는 특정 응용프로그램이 업데이트 또는 버전업 되는 경우, 해당 스크립트 파일을 다시 프로그래밍하여 정의된 입력 시퀀스를 입력시퀀스 저장부(131)에 업데이트할 수 있다.As described above, the input sequence storage unit 131 stores an input sequence provided as a preprogrammed script file by analyzing an input operation required by a specific application program of the computer system 10. At this time, if the specific application program to be automatically input is updated or upgraded, the script file may be reprogrammed to update the input sequence stored in the input sequence storage unit 131.

출력화면 분석부(133)는 컴퓨터 시스템(10)에서 출력하는 화면에 대한 영상을 전송 받아 상기 출력화면에 대해 이미지 분석을 수행한다. 그리고, 출력화면 분석부(133)는 그 분석 결과로 컴퓨터 시스템(10)에서 출력하는 화면에 대한 이미지 정보 및 좌표 정보를 후술할 입력장치 제어부(135)에 제공한다. 여기서, 이미지 분석이란 예컨대 이미지 매칭 알고리즘 등을 적용하여 컴퓨터 시스템(10)의 출력화면에서 특정 아이콘 이미지 등의 이미지 정보를 찾아내고 그 좌표 정보를 얻는 과정이다. 더 구체적으로, 입력 시퀀스를 구현하는 스크립트 파일은 특정 응용프로그램에서 출력하는 화면에 대한 이미지 정보 및 좌표 정보에 기초하여 프로그래밍되어 있다. 예컨대, 상기 스크립트 파일에 특정 응용프로그램에서 화면으로 출력되는 아이콘 이미지를 미리 입력해두고 그 아이콘 이미지를 클릭하여 입력 작업을 진행하는 명령을 설정한 경우, 출력화면 분석부(133)는 해당 아이콘 이미지를 출력화면에서 이미지 매칭 분석을 통해 찾아내고 그 좌표 정보를 입력장치 제어부(135)에 제공한다. 이에, 입력장치 제어부(135)는 좌표 정보에 기초하여 자동입력장치(110)가 해당 아이콘 이미지를 클릭하여 소정의 입력 작업을 수행하기 위한 키보드/마우스 입력신호를 생성하도록 자동입력장치(110)를 제어할 수 있는 것이다. 더 나아가, 출력화면 분석부(133)는 문자인식 알고리즘을 적용하여 컴퓨터 시스템(10)의 출력화면에서 필요한 소정의 문자 정보를 획득할 수도 있다.The output screen analyzing unit 133 receives an image of a screen output from the computer system 10 and performs an image analysis on the output screen. The output screen analysis unit 133 provides the input device control unit 135 with image information and coordinate information of the screen output from the computer system 10 as a result of the analysis. Here, the image analysis is a process of finding image information such as a specific icon image on the output screen of the computer system 10 by applying, for example, an image matching algorithm or the like, and obtaining coordinate information thereof. More specifically, a script file that implements the input sequence is programmed based on image information and coordinate information for a screen output by a specific application program. For example, when an icon image output from the specific application program to the screen is input in advance to the script file, and an instruction to proceed with the input operation is set by clicking the icon image, the output screen analysis unit 133 displays the corresponding icon image And provides the coordinate information to the input device control unit 135. The input device control unit 135 receives the coordinate information from the input device. The input device control unit 135 controls the automatic input device 110 to generate a keyboard / mouse input signal for the automatic input device 110 to click on the corresponding icon image to perform a predetermined input operation based on the coordinate information It can be controlled. Furthermore, the output screen analyzing unit 133 may acquire necessary character information on the output screen of the computer system 10 by applying a character recognition algorithm.

입력장치 제어부(135)는 자동입력장치(110)가 미리 설정된 입력 시퀀스에 기초하여 키보드 입력신호 및/또는 마우스 입력신호를 생성하도록 자동입력장치(110)를 제어한다. 즉, 입력장치 제어부(135)는 자동입력장치(110)가 상기 입력 시퀀스에 대응하는 키보드 입력신호 및/또는 마우스 입력신호를 생성하도록 하는 제어신호를 생성하고 이를 자동입력장치(110)에 전송한다. 이에, 컴퓨터 시스템(10)의 입장에서는 컴퓨터 시스템(10)상의 특정 응용프로그램에서 요구되는 일련의 입력 작업이 미리 설정된 입력 시퀀스에 따라 입력 에이전트(130)와 자동입력장치(110)에 의해 자동 입력되는 것임에도 불구하고, 마치 사용자가 통상의 컴퓨터 키보드(11)를 타이핑하거나 통상의 컴퓨터 마우스(13)를 클릭하여 수동 입력된 것과 동일하게 인식하게 된다.The input device control unit 135 controls the automatic input device 110 such that the automatic input device 110 generates a keyboard input signal and / or a mouse input signal based on a preset input sequence. That is, the input device control unit 135 generates a control signal for causing the automatic input device 110 to generate a keyboard input signal and / or a mouse input signal corresponding to the input sequence, and transmits the control signal to the automatic input device 110 . Accordingly, in the computer system 10, a series of input operations required in a specific application program on the computer system 10 are automatically input by the input agent 130 and the automatic input device 110 according to a preset input sequence The user recognizes the same as if the user typed the normal computer keyboard 11 or clicked the normal computer mouse 13,

구체적으로, 입력장치 제어부(135)는 자동입력장치(110)가 입력 시퀀스에 대응하는 키보드 입력신호를 생성하도록 출력화면 분석부(133)에 의한 분석 결과를 반영하여 제어신호를 생성하고 상기 제어신호를 자동입력장치(110)를 전송한다. 이때, 입력장치 제어부(135)는 전술한 출력화면 분석부(133)에 의해 제공되는 이미지 정보 및 좌표 정보에 기초하여 상기 제어신호를 생성한다. 참고로, 입력 에이전트(130)가 무선통신 네트워크를 통해 자동입력장치(110)에 접속하는 경우, 입력장치 제어부(135)는 전술한 무선 통신부(미도시)를 통해 상기 제어신호를 자동입력장치(110)에 전송할 수 있다.Specifically, the input device control unit 135 generates a control signal by reflecting the analysis result by the output screen analysis unit 133 so that the automatic input device 110 generates a keyboard input signal corresponding to the input sequence, To the automatic input device (110). At this time, the input device control unit 135 generates the control signal based on the image information and the coordinate information provided by the output screen analysis unit 133 described above. When the input agent 130 is connected to the automatic input device 110 via the wireless communication network, the input device control unit 135 transmits the control signal to the automatic input device (not shown) through the wireless communication unit 110).

또한, 입력장치 제어부(135)는 출력화면 분석부(133)에 의한 분석 결과에 기초하여 상기 입력 시퀀스를 벗어나는 입력 오류 상황을 판단할 수 있다. 여기서, ‘입력 오류 상황’이란 해당 컴퓨터 시스템에서 하드웨어 또는 소프트웨어의 문제로 인해 더 이상 정상적으로 작업을 수행할 수 없는 시스템 다운 혹은 시스템 장애 등이 발생하여 미리 설정된 입력 시퀀스에 따라 자동 입력 작업이 진행되지 못한 상황을 말한다. 또한, 해당 컴퓨터 시스템에서 시스템 다운이나 장애가 발생하지 않더라도 어떠한 이유로 인해 미리 설정된 입력 시퀀스에 따라 자동 입력 작업이 진행되지 못하는 상황, 예컨대 입력 순서가 순차적으로 하나씩 밀린 상황도 포함한다. 이러한 입력 오류 상황은 컴퓨터 시스템(10)에서 출력하는 화면에 대한 이미지 분석을 기초로 판단할 수 있다. 예컨대, 입력장치 제어부(135)는 출력화면 분석부(133)에 의해 컴퓨터 시스템(10)의 출력화면을 이미지 분석한 결과, 화면이 전체적으로 검정색으로 출력되면 컴퓨터 시스템(10)이 다운된 것으로 판단할 수 있다. Also, the input device control unit 135 can determine an input error situation that deviates from the input sequence based on the analysis result by the output screen analysis unit 133. [ In this case, 'input error situation' means that a system failure or system failure which can not normally perform a job due to a hardware or software problem in the corresponding computer system occurs and the automatic input operation can not proceed according to a preset input sequence Tell the situation. The present invention also includes a situation in which the automatic input operation can not proceed according to a preset input sequence for some reason even if the system down or failure does not occur in the computer system, for example, the input order is sequentially pushed one by one. Such an input error situation can be determined based on an image analysis on a screen output from the computer system 10. [ For example, when the output screen analyzing unit 133 analyzes the output screen of the computer system 10, the input device control unit 135 determines that the computer system 10 is down when the screen is entirely displayed in black .

그리고, 입력장치 제어부(135)는 상기 입력 오류 상황이 발생한 것으로 판단한 경우, 그에 대한 조치로서 자동입력장치(10)의 작동 일시적으로 중단시키고 상기 입력 오류 상황이 발생한 시점에 대응하는 입력 시퀀스의 시점으로 복귀하여 상기 입력 시퀀스에 따른 자동입력장치(110)의 제어를 재개할 수 있다.If the input device control unit 135 determines that the input error condition has occurred, the input device control unit 135 temporarily suspends the operation of the automatic input device 10 as a measure for the input error condition and sets the time point of the input sequence corresponding to the time And the control of the automatic input device 110 according to the input sequence can be resumed.

이처럼, 본 발명은 컴퓨터 시스템(10)에서 출력하는 화면에 대한 이미지 분석에 기초하여 입력 오류 상황을 판단하고 이에 적절한 조치를 취함으로써, 자동화를 위한 컴퓨터 입력 시스템의 신뢰성을 더욱 향상시킬 수 있는 것이다.As described above, the present invention can further improve the reliability of the computer input system for automation by determining the input error condition based on the image analysis on the screen output from the computer system 10 and taking appropriate measures.

도 6은 영상추출장치를 더 포함하는 도 1의 컴퓨터 입력 시스템의 구성을 설명하기 위한 블록 구성도이다.6 is a block diagram for explaining the configuration of the computer input system of FIG. 1 further including an image extracting apparatus.

도 6을 참조하면, 본 발명의 일 실시예에 따른 컴퓨터 입력 시스템(100)은 컴퓨터 시스템(10)에서 출력하는 화면에 대한 영상을 추출하여 입력 에이전트(130), 더 구체적으로 출력화면 분석부(133)에 전송하는 영상추출장치(150)를 더 포함한다.Referring to FIG. 6, a computer input system 100 according to an exemplary embodiment of the present invention extracts an image of a screen output from the computer system 10 and outputs the extracted image to an input agent 130, more specifically, 133 to the image extracting apparatus 150.

이러한 영상추출장치(150)는 입력 에이전트(130)가 컴퓨터 시스템(10)에 대해 화면 캡쳐 방식을 통해 컴퓨터 시스템(10)에서 출력하는 화면을 얻을 수 없는 경우에 사용된다. 즉, 해당 컴퓨터 시스템(10)의 특정 응용프로그램에서 정책상 또는 보안상의 이유로 화면 캡쳐를 제한하거나 차단한 경우, 입력 에이전트(130)는 해당 컴퓨터 시스템(10)에 대해 직접적으로 출력화면을 확보할 수 없으므로, 영상추출장치(150)를 통해 이를 전송받는 것이다.The image extracting apparatus 150 is used when the input agent 130 can not obtain a screen output from the computer system 10 through the screen capture method for the computer system 10. That is, if a specific application program of the computer system 10 restricts or blocks screen capture for policy or security reasons, the input agent 130 can directly obtain an output screen for the computer system 10 It is transmitted through the image extracting apparatus 150. [

구체적으로, 영상추출장치(150)는 카메라를 이용하여 컴퓨터 시스템(10)에서 출력하는 화면을 촬영하는 방식으로 영상을 추출하거나, 컴퓨터 시스템(10)의 영상 출력 단자로부터 직접 컴퓨터 시스템(10)에서 출력하는 화면에 대한 영상을 추출할 수 있다.Specifically, the image extracting apparatus 150 extracts an image by capturing a screen output from the computer system 10 using a camera, or extracts an image from the image output terminal of the computer system 10 directly from the computer system 10 It is possible to extract an image of a screen to be output.

이상은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다. The foregoing is merely illustrative of the present invention, and various modifications may be made by those skilled in the art without departing from the spirit of the present invention. Accordingly, the embodiments disclosed in the specification of the present invention are not intended to limit the present invention. The scope of the present invention should be construed according to the following claims, and all the techniques within the scope of equivalents should be construed as being included in the scope of the present invention.

10: 컴퓨터 시스템
11: 컴퓨터 키보드
13: 컴퓨터 마우스
100: 컴퓨터 입력 시스템
110: 자동입력장치
130: 입력 에이전트
131: 입력시퀀스 저장부
133: 출력화면 분석부
135: 입력장치 제어부
150: 영상추출장치10: Computer system
11: Computer keyboard
13: Computer Mouse
100: Computer Input System
110: Automatic input device
130: input agent
131: input sequence storage unit
133: Output screen analysis section
135: Input device controller
150: Image extraction device

Claims (15)

키보드 입력신호를 생성하여 컴퓨터 시스템에 전송하는 자동입력장치; 및
상기 컴퓨터 시스템에 대해 미리 설정된 입력 시퀀스가 마련되는 입력 에이전트를 포함하고,
상기 입력 시퀀스는,
상기 컴퓨터 시스템에 설치된 특정 응용프로그램에서 요구되는 입력 작업에 대하여 사전에 분석하여 프로그래밍된 스크립트 파일로 제공되며,
상기 스크립트 파일은,
상기 응용프로그램에서 출력하는 화면에 대한 이미지 정보 및 좌표 정보에 기초하여 프로그래밍된 것을 특징으로 하는 사무/공장 자동화를 위한 컴퓨터 입력 시스템
An automatic input device for generating a keyboard input signal and transmitting it to a computer system; And
And an input agent provided with a preset input sequence for the computer system,
Wherein the input sequence comprises:
The program being provided as a programmed script file by analyzing an input job required by a specific application installed in the computer system,
The script file includes:
Wherein the computer program is programmed based on image information and coordinate information of a screen output from the application program.
제1항에 있어서,
상기 입력 에이전트는,
상기 자동입력장치가 상기 입력 시퀀스에 대응하는 키보드 입력신호를 생성하도록 상기 자동입력장치를 제어하는 것을 특징으로 하는 사무/공장 자동화를 위한 컴퓨터 입력 시스템.
The method according to claim 1,
Wherein the input agent comprises:
Wherein the automatic input device controls the automatic input device to generate a keyboard input signal corresponding to the input sequence.
삭제delete 삭제delete 키보드 입력신호를 생성하여 컴퓨터 시스템에 전송하는 자동입력장치; 및
상기 컴퓨터 시스템에 대해 미리 설정된 입력 시퀀스가 마련되는 입력 에이전트를 포함하고,
상기 입력 에이전트는,
상기 자동입력장치가 상기 입력 시퀀스에 대응하는 키보드 입력신호를 생성하도록 상기 자동입력장치를 제어하며,
상기 입력 에이전트는,
상기 컴퓨터 시스템에서 출력하는 화면에 대한 영상을 전송 받아 상기 출력화면에 대해 이미지 분석을 수행하는 출력화면 분석부; 및
상기 자동입력장치가 상기 입력 시퀀스에 대응하는 키보드 입력신호를 생성하도록 상기 출력화면 분석부에 의한 분석 결과를 반영하여 제어신호를 생성하고 상기 제어신호를 상기 자동입력장치에 전송하는 입력장치 제어부를 포함하는 것을 특징으로 하는 사무/공장 자동화를 위한 컴퓨터 입력 시스템.
An automatic input device for generating a keyboard input signal and transmitting it to a computer system; And
And an input agent provided with a preset input sequence for the computer system,
Wherein the input agent comprises:
The automatic input device controls the automatic input device to generate a keyboard input signal corresponding to the input sequence,
Wherein the input agent comprises:
An output screen analyzer receiving an image of a screen output from the computer system and performing an image analysis on the output screen; And
And an input device control unit for generating a control signal by reflecting the analysis result by the output screen analysis unit and transmitting the control signal to the automatic input device so that the automatic input device generates a keyboard input signal corresponding to the input sequence A computer input system for office / factory automation.
제5항에 있어서,
상기 출력화면 분석부는 그 분석 결과로 상기 컴퓨터 시스템에서 출력하는 화면에 대한 이미지 정보 및 좌표 정보를 제공하고,
상기 입력장치 제어부는 상기 출력화면 분석부에 의해 제공되는 이미지 정보 및 좌표 정보에 기초하여 상기 제어신호를 생성하는 것을 특징으로 하는 사무/공장 자동화를 위한 컴퓨터 입력 시스템.
6. The method of claim 5,
Wherein the output screen analyzing unit provides image information and coordinate information of a screen output from the computer system as a result of the analysis,
Wherein the input device control unit generates the control signal based on the image information and the coordinate information provided by the output screen analysis unit.
제5항에 있어서,
상기 입력장치 제어부는,
상기 출력화면 분석부에 의한 분석 결과에 기초하여 상기 입력 시퀀스를 벗어나는 입력 오류 상황을 판단하는 것을 특징으로 하는 사무/공장 자동화를 위한 컴퓨터 입력 시스템.
6. The method of claim 5,
The input device control unit,
And an input error state that deviates from the input sequence is determined based on an analysis result of the output screen analysis unit.
제7항에 있어서,
상기 입력장치 제어부는,
상기 입력 오류 상황이 발생한 것으로 판단한 경우, 상기 자동입력장치의 작동을 일시적으로 중단시키고 상기 입력 오류 상황이 발생한 시점에 대응하는 상기 입력 시퀀스의 시점으로 복귀하여 상기 입력 시퀀스에 따른 상기 자동입력장치의 제어를 재개하는 것을 특징으로 하는 사무/공장 자동화를 위한 컴퓨터 입력 시스템.
8. The method of claim 7,
The input device control unit,
When the input error condition is determined to have occurred, the operation of the automatic input device is temporarily stopped, and the operation is returned to the time point of the input sequence corresponding to the time when the input error situation occurs and the control of the automatic input device according to the input sequence The computer input system for office / factory automation.
제5항에 있어서,
상기 컴퓨터 시스템에서 출력하는 화면에 대한 영상을 추출하여 상기 출력화면 분석부에 전송하는 영상추출장치를 더 포함하는 것을 특징으로 하는 사무/공장 자동화를 위한 컴퓨터 입력 시스템
6. The method of claim 5,
Further comprising an image extracting unit for extracting an image of a screen output from the computer system and transmitting the extracted image to the output screen analyzing unit.
제9항에 있어서,
상기 영상추출장치는,
카메라를 이용하여 상기 컴퓨터 시스템에서 출력하는 화면을 촬영하여 영상을 추출하거나 상기 컴퓨터 시스템의 영상 출력 단자로부터 상기 컴퓨터 시스템에서 출력하는 화면에 대한 영상을 추출하는 것을 특징으로 하는 사무/공장 자동화를 위한 컴퓨터 입력 시스템.
10. The method of claim 9,
Wherein the image extracting device comprises:
A computer for office / factory automation, which extracts an image of a screen output from the computer system using a camera, or extracts an image of a screen output from the computer system from a video output terminal of the computer system Input system.
제1항 또는 제2항에 있어서,
상기 자동입력장치는,
통상의 컴퓨터 키보드와는 별도로 제공되고 상기 컴퓨터 시스템에 접속 연결되어 상기 컴퓨터 시스템에 키보드 입력신호를 전송하는 것을 특징으로 하는 사무/공장 자동화를 위한 컴퓨터 입력 시스템.
3. The method according to claim 1 or 2,
The automatic input device includes:
A computer input system for office / factory automation, provided separately from a conventional computer keyboard and connected to the computer system to transmit a keyboard input signal to the computer system.
제1항에 있어서,
상기 입력 에이전트는,
상기 컴퓨터 시스템상에 설치되는 하나의 응용프로그램으로 제공되거나, 상기 컴퓨터 시스템과는 물리적으로 분리되며 소프트웨어와 하드웨어를 포함한 별도의 장치로 제공되는 것을 특징으로 하는 사무/공장 자동화를 위한 컴퓨터 입력 시스템.
The method according to claim 1,
Wherein the input agent comprises:
Wherein the computer system is provided as an application program installed on the computer system or physically separated from the computer system and provided as a separate device including software and hardware.
제5항에 있어서,
상기 입력 에이전트는 상기 자동입력장치와의 무선 통신 연결을 위한 무선 통신부를 더 포함하고,
상기 입력장치 제어부는 상기 무선 통신부를 통해 상기 제어신호를 상기 자동입력장치에 전송하는 것을 특징으로 하는 사무/공장 자동화를 위한 컴퓨터 입력 시스템.
6. The method of claim 5,
Wherein the input agent further comprises a wireless communication unit for wireless communication connection with the automatic input device,
Wherein the input device control unit transmits the control signal to the automatic input device through the wireless communication unit.
제2항에 있어서,
상기 컴퓨터 시스템은 복수 개의 컴퓨터 시스템으로 제공되고,
상기 자동입력장치는 상기 복수 개의 컴퓨터 시스템 각각에 대응하도록 복수 개의 자동입력장치로 제공되며,
상기 입력 에이전트는 상기 복수 개의 자동입력장치에 유선 또는 무선으로 접속하여 상기 복수 개의 자동입력장치를 일괄적으로 제어하는 것을 특징으로 하는 사무/공장 자동화를 위한 컴퓨터 입력 시스템.
3. The method of claim 2,
The computer system is provided as a plurality of computer systems,
Wherein the automatic input device is provided as a plurality of automatic input devices corresponding to each of the plurality of computer systems,
Wherein the input agent is connected to the plurality of automatic input devices by wire or wirelessly to collectively control the plurality of automatic input devices.
제1항에 있어서,
상기 자동입력장치는 마우스 입력신호를 더 생성하여 상기 컴퓨터 시스템에 전송하고,
상기 입력 에이전트는 상기 자동입력장치가 상기 입력 시퀀스에 대응하는 키보드 입력신호 및 마우스 입력신호를 생성하도록 상기 자동입력장치를 제어하는 것을 특징으로 하는 사무/공장 자동화를 위한 컴퓨터 입력 시스템.The method according to claim 1,
The automatic input device further generates a mouse input signal and transmits it to the computer system,
Wherein the input agent controls the automatic input device so that the automatic input device generates a keyboard input signal and a mouse input signal corresponding to the input sequence.
KR1020160136243A 2016-10-20 2016-10-20 Computer input automation system KR101745330B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160136243A KR101745330B1 (en) 2016-10-20 2016-10-20 Computer input automation system
PCT/KR2017/009343 WO2018074729A1 (en) 2016-10-20 2017-08-25 Computer input system for office/factory automation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160136243A KR101745330B1 (en) 2016-10-20 2016-10-20 Computer input automation system

Publications (1)

Publication Number Publication Date
KR101745330B1 true KR101745330B1 (en) 2017-06-20

Family

ID=59281532

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160136243A KR101745330B1 (en) 2016-10-20 2016-10-20 Computer input automation system

Country Status (2)

Country Link
KR (1) KR101745330B1 (en)
WO (1) WO2018074729A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220043712A (en) 2020-09-29 2022-04-05 주식회사 에이쏠컴퍼니 Personnel matters, salary and social insurance management office automation system using information technology

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10832010B2 (en) 2018-06-05 2020-11-10 International Business Machines Corporation Training of conversational agent using natural language
KR102234332B1 (en) * 2019-10-14 2021-03-31 (주) 이든티앤에스 Method and Apparatus for Automating Business Process

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4634966B2 (en) 2006-05-23 2011-02-16 関西電力株式会社 Equipment data analysis processing system and method
KR101120772B1 (en) * 2007-10-29 2012-04-20 벨킨 인터내셔널 인크 Apparatus and system for managing multiple computers

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007218751A (en) * 2006-02-17 2007-08-30 Dkk Toa Corp Analyzer with simple operation modes
US20090119618A1 (en) * 2007-11-06 2009-05-07 David Everton Norman User-specified configuration of prediction services
KR101540800B1 (en) * 2013-10-25 2015-07-31 (주)시스윈일렉트로닉스 System for Monitoring Remote Image by Transmitting Uncompressed Video
KR101629676B1 (en) * 2014-04-18 2016-06-21 (주) 카피앤패이스트 System and Method on provicing device information using external server, apparatus therefor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4634966B2 (en) 2006-05-23 2011-02-16 関西電力株式会社 Equipment data analysis processing system and method
KR101120772B1 (en) * 2007-10-29 2012-04-20 벨킨 인터내셔널 인크 Apparatus and system for managing multiple computers

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220043712A (en) 2020-09-29 2022-04-05 주식회사 에이쏠컴퍼니 Personnel matters, salary and social insurance management office automation system using information technology

Also Published As

Publication number Publication date
WO2018074729A1 (en) 2018-04-26

Similar Documents

Publication Publication Date Title
CN110035088B (en) Method and equipment for automatically logging in remote control operating system based on RPA
US8171406B1 (en) Automating user interface navigation
US9317403B2 (en) Method for creating a label
US10275112B2 (en) Computer readable medium, relay device and information processing device
KR101745330B1 (en) Computer input automation system
JP2018535459A (en) Robotic process automation
CN105139470A (en) Checking-in method, device and system based on face recognition
WO2015023443A1 (en) User interface tool kit for mobile devices
WO2018090731A1 (en) Control method and system for multi-system touch control screen
CN108769175B (en) Remote real machine access control method and device, storage medium and electronic equipment
US9435777B2 (en) Analyzing system and control method thereof
CN113642053A (en) Method, system, equipment and storage medium for remote control interface display
CN108646679B (en) distributed visual detection system and industrial personal computer
CN112911283B (en) Smart television testing method and device
US20130191756A1 (en) Analyzing Device Control System
EP3049925B1 (en) Systems and methods for session state transfer to a mobile device
KR101774815B1 (en) Cursor location recognition test automation system and test automation method using the same
KR101796009B1 (en) Program automatic analysis system and automatic analysis method using the same
CN103793321B (en) application program detection method and system
CN113220195B (en) Screen interaction system capable of displaying virtual window
JP5266416B1 (en) Test system and test program
CN104199629A (en) Multi-interface linkage system and multi-interface linkage implementation method of multi-interface linkage system through network connection
KR101735713B1 (en) Device for protecting access of remote control
US10359931B2 (en) Remote operation apparatus, remote operation system, and non-transitory computer readable medium storing program
CN110058994B (en) Method and system for debugging program in android medical terminal

Legal Events

Date Code Title Description
GRNT Written decision to grant