KR100776864B1 - 어플리케이션간의 데이터 제휴 지원 방법 - Google Patents

Abstract

스크린 플러그(22)는, 타깃 APL(23)로부터 표시 화면의 화면 이미지 데이터를 취득하고, 그 화면 이미지 데이터로부터 제휴할 데이터를 취득한다. 그리고, 취득한 데이터를 제휴 APL(21)에 출력한다. 이로써, 스크린 플러그(22)는, 제휴 APL(21)과 타깃 APL(23) 사이에서의 데이터 제휴를 실현한다.

스크린 플러그, 타깃 APL, 데이터 제휴, 이미지 데이터,

Description

어플리케이션간의 데이터 제휴 지원 방법{METHOD FOR SUPPORTING DATA LINKAGE BETWEEN APPLICATIONS}

본 발명은, 어플리케이션간에서 데이터를 제휴시키는 기술에 관한 것이다.

임의의 어플리케이션(이하, 타깃 APL이라 함)의 표시 화면에 표시되는 정보를, 또 다른 어플리케이션(이하, 제휴 APL이라 함)에서 이용할 수 있도록 시스템을 개조하는 것이 필요해지는 경우가 있다. 이러한 경우, 종래 기술에 따르면 이하와 같은 수순을 행한다.

1) 우선, 타깃 APL의 데이터 항목을 표시하는 화면을 종이 등에 출력시키고, 사람의 손을 이용하여, 그 화면 중에서 필요한 데이터 항목을 제휴 APL에 재입력한다.

2) 타깃 APL과 제휴 APL 간에서 데이터 제휴가 가능해지도록, 양방의 APL에 개조를 행한다.

이 종래 기술에 따르면, 수순 1)에서는 작업시에 사람의 손이 필요하기 때문에, 데이터 입력의 부담이 발생함과 함께 잘못 입력하는 경우가 발생할 가능성이 있다는 문제가 있었다. 수순 2)에서는, 제휴 APL 뿐만아니라 타깃 APL을 개조하는 것이 필요해지기 때문에, 시스템 개발의 규모가 커지고, 이에 수반하여, 개발 예산 및 기간이 증대한다는 문제가 있었다. 또한, 타깃 APL의 개발자가 제휴 APL의 개발자와 상이한 경우 등에는, 기밀 정보의 개시가 필요해지는 경우도 있어, 개발자 쌍방의 합의를 얻을 수 없으면, 애당초, 타깃 APL을 개조할 수 없는 경우도 있다는 문제가 있었다.

또한, 일본 공개특허공보 평8-83285호에 따르면, 스캐너를 이용하여 종이에 출력된 데이터를 화상 데이터로서 판독하고, 그 화상 데이터로부터 문자를 표시하는 영역을 인식하고, 인식된 영역 중의 화상 데이터로부터 문자 코드를 생성하여, 그 문자 코드를 데이터베이스에 등록하는 시스템이 개시되어 있다.

또한, 일본 공개특허공보 평10-240901호에 따르면, 미리 문서 구조의 레이아웃 규칙을 기억하고, 또한, 문서의 화상 데이터를 축적하고, 축적된 화상 데이터의 레이아웃을 상기 레이아웃 규칙에 기초하여 해석하고, 해석 결과에 기초하여 상기 화상 데이터로부터 문자 패턴을 잘라내고, 그 잘라내진 문자 패턴으로부터 문자를 인식하여, 문자인식의 결과를 파일에 저장하는 시스템을 개시한다.

양 발명은, 상기의 수순 1)에서의 사람의 손을 이용한 재입력을 생략할 수 있게 한다. 그러나, 양 발명 모두 프로그램간의 데이터 제휴를 가능하게 하기 위해서는, 화면을 종이에 출력하는 것, 및, 타깃 APL 및 제휴 APL에 개조를 행할 필요가 있다는 문제를 여전히 갖는다.

<발명의 개시>

본 발명의 목적은, 타깃 APL과 제휴 APL 간에서 데이터 제휴를 할 수 있도록 시스템을 개조할 때에, 화면의 종이 매체에의 출력, 사람의 손에 의한 데이터 항목의 입력, 및 타깃 APL 및 제휴 APL의 개조를 불필요하게 하는 것을 목적으로 한다.

상기 목적을 달성하기 위해, 본 발명의 양태에 따르면, 프로그램간의 데이터 제휴를 지원하는 데이터 제휴 지원 장치에 있어서, 제1 프로그램(타깃 APL)으로부터 표시 화면의 화면 이미지 데이터를 취득하는 표시 화면 취득 수단과, 취득된 상기 화면 이미지 데이터로부터 제2 프로그램(제휴 APL)에 출력할 제휴 데이터를 취득하는 항목 정보 취득 수단과, 취득된 상기 제휴 데이터를 상기 제2 프로그램에 출력하는 항목 정보 출력 수단을 구비한다.

상기 구성에 있어서, 제1 프로그램 중의 표시 화면을 종이 등에 출력하는 것이 아니라, 제1 프로그램으로부터 화면 이미지 데이터로서 취득하고, 취득된 화면 이미지 데이터로부터 제휴 데이터를 취득하고, 취득된 제휴 데이터를 제2 프로그램에 출력한다. 이로써, 상기 목적을 달성한다.

또한, 상기 데이터 제휴 지원 장치는, 표시 화면 중의 영역을 나타내는 좌표 정보 및 상기 영역에 표시되는 이미지 데이터를 포함하는 화면 종별 판정 정보에 기초하여, 상기 화면 이미지 데이터로부터 상기 영역에 표시되는 이미지 데이터를 잘라내고, 잘라낸 이미지 데이터와 상기 화면 종별 판정 정보에 포함되는 이미지 데이터가 일치하는지의 여부를 판정함으로써 표시 화면을 식별하는 화면 종별 판정 수단을 더 포함하고, 상기 항목 정보 취득 수단은, 식별된 표시 화면의 화면 이미지 데이터로부터 제휴 데이터를 취득하는 것으로 하여도 된다.

이로써, 표시 화면의 식별을 이미지 데이터에 기초하여 자동적으로 행할 수 있게 된다.

또한, 상기 항목 정보 취득 수단은, 표시 화면 중의 영역을 나타내는 좌표 정보 및 상기 영역에 표시되는 데이터의 속성을 나타내는 데이터 속성 정보를 포함하는 인식 항목 정보에 기초하여, 상기 화면 이미지 데이터로부터 상기 영역에 표시되는 데이터를 잘라내고, 잘라낸 데이터를 상기 데이터 속성 정보에 기초하여 인식하고, 상기 제휴 데이터를 인식 결과로서 취득하는 것으로 하여도 된다.

또한, 상기 데이터 제휴 지원 장치는, 상기 제2 프로그램에 의해서 처리된 상기 제휴 데이터를 상기 제1 프로그램에 출력하는 항목 정보 출력 수단을 더 구비하는 것으로 하여도 된다. 이로써, 제2 프로그램에 의한 제휴 데이터의 처리 결과를 제1 프로그램에 돌려줄 수 있게 된다.

또한, 상기 항목 정보 출력 수단은, 표시 화면 중의 영역을 나타내는 좌표 정보를 포함하는 출력 방법 정보에 기초하여, 상기 제2 프로그램에 의해서 처리된 상기 제휴 데이터는, 상기 제1 프로그램의 표시 화면 중의 상기 영역에 출력하는 것으로 하여도 된다.

또한, 본 발명의 다른 양태에 따르면, 프로그램간의 데이터 제휴를 지원하는 데이터 제휴 지원 장치에 있어서, 제1 프로그램으로부터 표시 화면의 화면 이미지 데이터를 취득하는 표시 화면 취득 수단과, 표시 화면 중의 영역을 나타내는 좌표 정보 및 상기 영역에 표시되는 이미지 데이터를 포함하는 화면 종별 판정 정보에 기초하여, 상기 화면 이미지 데이터로부터 상기 영역에 표시되는 이미지 데이터를 잘라내고, 잘라낸 이미지 데이터와 상기 화면 종별 판정 정보에 포함되는 이미지 데이터가 일치하는지의 여부를 판정함으로써 표시 화면을 식별하는 화면 종별 판정 수단과, 제2 프로그램에 의해서 처리된 제휴 데이터를 상기 제1 프로그램에 출력하는 항목 정보 출력 수단을 포함한다.

상기 구성에 있어서, 제1 프로그램 중의 표시 화면을 화면 이미지 데이터로서 취득하고, 취득한 화면 이미지 데이터에 기초하여 취득된 표시 화면을 식별하고, 식별된 표시 화면에, 제2 프로그램에 의해서 처리된 데이터를 출력시키는 것이 가능하게 된다. 이에 의해서도, 제1 및 제2 프로그램을 개조하지 않더라도, 제1 및 제2 프로그램의 사이에서 데이터 제휴를 실현하는 것이 가능해져, 상기 목적을 달성한다.

또한, 상기 데이터 제휴 지원 장치에 의해서 행해지는 처리와 마찬가지의 수순을 행하는 데이터 제휴 지원 방법에 의해서도, 상기 컴퓨터와 마찬가지의 작용·효과를 얻을 수 있다. 따라서, 상기 데이터 제휴 지원 방법도 상기 목적을 달성할 수 있다.

또한, 상기 데이터 제휴 지원 방법에 있어서 행해지는 수순과 마찬가지의 제어를 프로세서에 실행시키는 프로그램도, 그 프로그램을 프로세서에 실행시킴으로써, 상기 목적을 달성하는 것이 가능하다. 또한, 상기 프로그램을 기록한 기록 매체(기록 장치)로부터, 그 프로그램을 프로세서에 판독하게 하여 실행시킴으로써도, 상기 목적을 달성할 수 있다.

도 1은 컴퓨터의 구성도.

도 2는 제1 실시 형태에 관한 시스템의 구성도.

도 3은 스크린 플러그의 기능 구성도.

도 4는 화면 정의 처리의 개요를 설명하는 도면.

도 5는 데이터 제휴 처리의 개요를 설명하는 도면.

도 6은 표시 화면 취득 처리의 수순을 나타내는 흐름도.

도 7은 화면 종별 정의 처리의 수순을 나타내는 흐름도.

도 8은 상기 화면 종별 판정 정의 서브루틴의 수순을 나타내는 흐름도.

도 9는 인식 항목 정의 서브루틴의 수순을 나타내는 흐름도.

도 10은 제휴 방법 정의 서브루틴의 수순을 나타내는 흐름도.

도 11은 정의 중복 확인 처리의 수순을 나타내는 흐름도.

도 12는 화면 종별 판정 처리의 수순을 나타내는 흐름도.

도 13은 이미지 비교 서브루틴의 수순을 나타내는 흐름도.

도 14는 항목 정보 취득·인식 처리의 수순을 나타내는 흐름도.

도 15는 제휴 처리의 수순을 나타내는 흐름도.

도 16은 항목 정보 출력 처리의 수순을 나타내는 흐름도.

도 17은 타깃 APL의 표시 화면의 일례를 나타내는 도면.

도 18은 화면 종별 판정 정보의 일례를 나타내는 도면이다.

도 19는 인식 항목 정보의 일례를 나타내는 도면.

도 20은 제휴 방법 정보의 일례를 나타내는 도면.

도 21은 출력 방법 정보의 일례를 나타내는 도면.

도 22는 화면 이미지 데이터중에서 잘라내지는 영역에 대하여 설명하는 도면.

도 23은 이미지 비교 서브루틴에 있어서 마스크되는 부분에 대하여 설명하는 도면.

도 24는 화면 이미지 데이터중에서 제휴할 데이터를 추출하여 인식하는 처리에 대하여 설명하는 도면.

도 25는 도 19에 나타내는 인식 항목 정보에 기초하여 도 24에 나타내는 화면에서 취득된 인식 항목을 나타내는 도면.

도 26은 도 24에 나타내는 화면에서 취득된 인식 항목의 확인 화면의 일례를 나타내는 도면.

도 27은 제휴 APL에 의한 인감 대조 처리의 결과를 나타내는 화면의 일례를 나타내는 도면.

도 28은 제휴 처리의 결과의 확인 화면의 일례를 나타내는 도면.

도 29는 타깃 APL의 화면에 제휴 결과 정보를 출력한 화면의 일례를 나타내는 도면.

도 30은 제1 실시 형태의 1변형예에서의 데이터 제휴 처리의 개요를 설명하는 도면.

도 31은 제2 실시 형태에 관한 시스템의 구성도.

<발명을 실시하기 위한 최량의 형태>

본 발명의 실시 형태에 대하여 도면을 참조하면서 설명한다. 또한, 동일한 장치 등에는 동일한 참조 번호를 붙여, 설명을 생략한다.

본 발명은, 컴퓨터를 이용하여 실현된다. 우선, 도 1을 이용하여 컴퓨터의 구성에 대하여 설명한다.

도 1에 나타낸 바와 같이 컴퓨터는, CPU(11), 메모리(12), 입력 장치(13), 출력 장치(14), 외부 기억 장치(15), 매체 구동 장치(16), 및 네트워크 접속 장치(17)를 구비하고, 이들은 버스(18)에 의해 상호 접속되어 있다.

메모리(12)는, 예를 들면, ROM(Read 0nly Memory), RAM(Random Access Memory) 등을 포함하며, 처리에 이용되는 프로그램과 데이터를 저장한다.

프로그램간의 데이터 제휴를 지원하는 제어를 컴퓨터에 실행시키는 데이터 제휴 지원 프로그램(후술)은, 컴퓨터의 메모리(12)의 특정한 프로그램 코드 세그먼트에 저장된다. 또한, 메모리(12)는, 후술하는 화면 이미지 기입부(228)를 실현한다.

CPU(11)는, 메모리(12)를 이용하여 상술한 프로그램을 실행함으로써, 필요한 처리를 행한다. 메모리(12)에, 데이터 제휴 지원 프로그램을 저장하고, 이 프로그램을 CPU(11)에 실행시킴으로써, 컴퓨터에, 데이터 제휴 지원 장치로서 기능시키는 것이 가능해진다.

입력 장치(13)는, 예를 들면, 키보드, 포인팅 디바이스, 터치 패널 등으로, 유저로부터의 지시나 정보의 입력에 이용된다. 출력 장치(14)는, 예를 들면, 디스플레이나 프린터 등으로, 컴퓨터의 유저에 대한 조회, 처리 결과 등의 출력에 이용 된다.

외부 기억 장치(15)는, 예를 들면, 자기 디스크 장치, 광 디스크 장치, 광 자기 디스크 장치 등이다. 외부 기억 장치(15)는, 후술하는 화면 정보 DB(229)를 실현한다. 또한, 상술한 프로그램을 컴퓨터의 외부 기억 장치(15)에 보존해 놓고, 필요에 따라, 이들을 메모리(12)에 로드하여 사용할 수도 있다.

매체 구동 장치(16)는, 운반가능 기록 매체(19)를 구동하여, 그 기록 내용에 액세스한다. 운반가능 기록 매체(19)로는, 메모리 카드, 메모리스틱, 플렉시블 디스크, CD-R0M(Compact Disc Read 0nly Memory), 광 디스크, 광 자기 디스크, DVD(Digital Versatile Disk) 등, 임의의 컴퓨터 판독 가능한 기록 매체가 이용된다. 이 운반가능 기록 매체(19)에 상술한 데이터 제휴 지원 프로그램을 저장해 놓고, 필요에 따라, 그것을 컴퓨터의 메모리(12)에 로드하여 사용할 수도 있다.

네트워크 접속 장치(17)는, LAN, WAN 등의 임의의 네트워크(회선)를 통하여 외부의 장치와 통신하고, 통신에 수반하는 데이터 변환을 행한다. 또한, 필요에 따라, 상술한 프로그램을 외부의 장치로부터 취득하여, 그것을 컴퓨터의 메모리(12)에 로드하여 사용할 수도 있다.

다음으로, 도 2를 이용하여, 본 발명의 제1 실시 형태에 관한 시스템의 구성에 대하여 설명한다.

도 2에 나타낸 바와 같이 컴퓨터(20)에는, 제휴 APL(21), 데이터 제휴 지원 프로그램(이하, 스크린 플러그라 함)(22), 타깃 APL(23) 및 오퍼레이션 시스템(이하, OS)(24)이 인스톨되어 있다.

제휴 APL(21)은, 스크린 플러그(22)를 통하여 타깃 APL(23)으로부터 제휴할 데이터를 수취하고, 그 데이터를 이용하여 소정의 알고리즘에 기초하여 처리를 행한다.

스크린 플러그(22)는, 타깃 APL(23)으로부터 표시 화면의 화면 이미지 데이터를 취득하고, 그 화면 이미지 데이터로부터 데이터를 취득한다. 그리고, 추출한 데이터를 제휴 APL(21)에 출력한다. 이로써, 스크린 플러그(22)는, 제휴 APL(21)과 타깃 APL(23) 사이의 데이터 제휴를 실현한다. 또한, 필요에 따라, 스크린 플러그(22)는, 제휴 APL(21)에 의한 처리 결과를 타깃 APL(23)로 되돌린다.

타깃 APL(23)은, 소정의 알고리즘에 기초하여 데이터를 처리한다. OS(24)는, 제휴 APL(21), 스크린 플러그(22) 및 타깃 APL(23) 등의 어플리케이션에 대하여, 시스템 관리 기능을 제공한다.

또한, 스크린 플러그(22)가 데이터를 제휴시키는, 제휴 APL(21) 및 타깃 APL(23)이 행하는 처리는, 어떠한 것이어도 된다. 도 2에서는, 예로서, 컴퓨터(20)와 컴퓨터(30)는 네트워크를 통하여 접속되고, 컴퓨터(20) 내의 타깃 APL(23)은, 컴퓨터(30)의 데이터베이스(31)로부터 검색 시스템(32)을 통하여 데이터를 취득하고, 그 데이터를 이용하여 처리를 행하는 경우를 나타낸다. 여기서, 네트워크 N은, 1개의 네트워크이어도 되고, 복수의 네트워크의 조합이어도 된다. 네트워크 N으로서, 인터넷, 전화 회선망, 무선 회선망 등의 WAN(Wide Area Network) 및 LAN(Local Area Network) 등을 고려할 수 있다.

이하, 도 3을 이용하여, 스크린 플러그(22)의 기능 구성에 대하여 설명한다.

도 3에 나타낸 바와 같이 스크린 플러그(22)는, 표시 화면 취득부(221), 화면 종별 정의부(222), 정의 중복 확인부(223), 화면 종별 판정부(224), 항목 정보 취득/인식부(225), 제휴 처리부(226), 항목 정보 출력부(227), 화면 이미지 기입부(228), 화면 정보 데이터베이스(이하, 데이터베이스를 DB라 약기함)(229)를 구비한다.

스크린 플러그(22)가 행하는 처리에는, 크게 나누어, 화면 정의 처리와 데이터 제휴 처리가 있다. 전자는, 데이터 제휴를 행하기 전에 행하는 처리로서, 타깃 APL(23)으로부터 취득할 데이터가, 어느 표시 화면의 어느 위치에 어떠한 데이터 형식으로 존재하는가, 취득한 데이터를 어느 프로그램에 어떻게 하여 출력하는가 등을 정의하는 처리이다. 표시 화면 취득부(221), 화면 종별 정의부(222) 및 정의 중복 확인부(223)에 의해서 이 처리가 행하여지고, 이 처리의 결과는, 화면 정보 DB(229)에 기입된다. 후자는, 화면 정의 처리의 결과에 기초하여, 타깃 APL(23)으로부터 추출한 데이터를 제휴 APL(21)에 제휴시키는 처리이다. 표시 화면 취득부(221), 화면 종별 판정부(224), 항목 정보 취득/인식부(225), 제휴 처리부(226) 및 항목 정보 출력부(227)에 의해서 이 처리가 행하여진다. 이 처리 시에는, 화면 정보 DB(229)에 기입된 화면 정의 처리의 결과가 이용된다.

이하, 각 부가 행하는 처리에 대하여 설명한다.

표시 화면 취득부(221)는, 타깃 APL(23)으로부터 표시 화면의 화면 이미지 데이터를 취득하여, 화면 이미지 기입부(228)에 기입한다.

화면 종별 정의부(222)는, 화면 이미지 기입부(228)에 기입된 화면 이미지 데이터에 기초하여, 타깃 APL(23)으로부터 추출할 데이터의 화면에서의 위치 및 데이터의 속성 등을 정의하는 화면 정의 정보를 작성한다. 화면 정의 정보에 포함되는 정보에 대하여 자세한 내용은 후술한다. 정의 중복 확인부(223)는, 화면 종별 정의부(222)에 의해서 작성된 화면 정의 정보가, 화면 정보 DB(229)에 저장되어 있는 화면 정의 정보와 중복되어 있는지의 여부를 확인하고, 중복되지 않은 것을 확인한 경우, 작성된 화면 정의 정보를 화면 정보 DB(229)에 저장시킨다.

화면 종별 판정부(224)는, 화면 정보 DB(229)에 저장된 화면 정의 정보와 화면 이미지 기입부(228)에 기입된 화면 이미지 데이터에 기초하여, 취득된 화면을 식별한다. 화면이 식별된 경우, 항목 정보 취득/인식부(225)는, 화면 정의 정보에 기초하여, 화면 이미지 데이터로부터 제휴 APL(21)에서 제휴시킬 데이터를 추출한다.

제휴 처리부(226)는, 추출된 데이터를 데이터의 제휴처로 되는 제휴 APL(21)의 소정의 데이터 영역에 소정의 제휴 방법으로 출력한다. 또한, 데이터의 제휴처로 되는 제휴 APL은 제휴처 식별 정보에 의해서 미리 지정되고, 데이터의 제휴 방법은 제휴 방법 지정 정보에 의해서 미리 정의되어 있다. 제휴처 식별 정보 및 제휴 방법 지정 정보는 모두, 화면 정의 정보에 포함된다. 또한, 제휴 처리부(226)는, 제휴 APL(21)로부터 처리된 데이터를 수취하여, 항목 정보 출력부(227)에 출력한다. 항목 정보 출력부(227)는, 제휴 APL(21)에 의해서 처리된 데이터를 타깃 APL(23) 또는, 다른 어플리케이션에 출력한다. 제휴 APL(21)에 의한 처리 결과의 출력처는, 화면 정의 정보에 포함되는 출력처 정의 정보에 의해서 지정된다. 또 한, 도 2에서는, 제휴 APL(21)에 의한 처리 결과가 타깃 APL(23)로 회신되는 경우를 나타내고 있다.

화면 이미지 기입부(228)에는, 표시 화면 취득부(221)에 의해서 취득된 화면 이미지 데이터가 기입된다. 이 화면 이미지 기입부(228)는, 원칙적으로, 현재, 화면 정의 처리 또는 데이터 추출 처리의 대상으로 되어 있는 화면의 화면 이미지 데이터가 기입된다.

화면 정보 DB(229)에는, 화면 종별 정의부(222)에 의해서 작성된 화면 정의 정보가 저장된다.

이하, 도 4 및 도 5를 이용하여, 상기 화면 정의 처리 및 데이터 제휴 처리의 개요에 대하여 설명한다. 도 4 및 도 5에서, 스크린 플러그(22)에 의해서 행해지는 처리는, 점선으로 둘러싸여 있다. 각 처리에 대하여, 자세한 내용은 후술한다.

우선, 화면 정의 처리의 개요에 대하여 설명한다. 키보드 등의 입력 장치(13)로부터의 입력을 계기로 하여 화면 정의 처리가 개시되면, 우선, 표시 화면 취득부(221)는, 타깃 APL(23)으로부터 표시 화면을 취득하는 표시 화면 취득 처리를 행한다. 취득된 화면의 화면 이미지 데이터는 화면 이미지 기입부(228)에 기입된다. 화면 종별 정의부(222)는, 화면 이미지 기입부(228)에 기입된 화면 이미지 데이터 및 유저의 지시에 기초하여 화면 정의 정보를 작성하고, 작성된 화면 정의 정보를 화면 정보 DB(229)에 기입한다. 정의 중복 확인부(223)는, 화면 정보 DB(229)에 저장되어 있는 화면 정의 정보 중에 서로 중복되어 있는 것이 있는지의 여부를 확인하는 정의 중복 확인 처리를 행한다. 확인 결과, 중복되어 있는 경우, 정의 중복 확인부(223)는, 중복되어 있다는 취지를 나타내는 정보를 출력한다.

다음으로, 데이터 제휴 처리의 개요에 대하여 설명한다. 키보드 등의 입력 장치(13)로부터의 입력을 계기로 하여 데이터 제휴 처리가 개시되면, 우선, 표시 화면 취득부(221)는, 타깃 APL(23)로부터 표시 화면을 취득하는 표시 화면 취득 처리를 행한다. 취득된 화면의 화면 이미지 데이터는 화면 이미지 기입부(228)에 기입된다. 화면 종별 판정부(224)는, 화면 정보 DB(229)로부터 화면 정의 정보를 판독하고, 그 화면 정의 정보에 기초하여 화면 이미지 기입부(228)에 화면 이미지 데이터가 기입된 화면을 식별한다. 항목 정보 취득/인식부(225)는, 식별 결과 및 그 화면에 대응하는 화면 정의 정보에 기초하여, 화면 이미지 데이터로부터 제휴 APL(21)에 출력할 데이터를 추출하고, 추출한 데이터를 확인하기 위한 확인 화면을 출력 장치(14)에 표시시킨다. 유저는, 이 확인 화면에 기초하여 추출된 데이터를 확인할 수 있다. 또한, 이 확인 화면의 표시 처리는, 생략할 수 있다.

계속해서, 제휴 처리부(226)는, 화면 정의 정보에 포함되는 제휴 방법 정보에 기초하여, 추출된 데이터를 소정의 제휴 APL(21)에 소정의 제휴 방법으로 출력한다. 또한, 제휴 처리부(226)는, 제휴 APL(21)로부터 처리된 데이터를 수취하고, 그 데이터를 확인하는 제휴 결과의 확인 화면을 출력 장치(14)에 표시시킨다. 또한, 이 제휴 결과의 확인 화면의 표시 처리는 생략 가능하다.

항목 정보 출력부(227)는, 화면 정의 정보에 포함되는 출력 방법 정보에 기초하여, 제휴 결과로서 얻어진 데이터를 타깃 APL(23)의 소정의 영역에 출력한다. 또한, 항목 정보 출력부(227)는, 이 데이터 제휴 처리의 결과를 확인하는 결과 확인 화면을 출력 장치(14)에 표시시킨다. 또한, 제휴 결과로서 얻어진 데이터의 출력 처리 및 그 확인 화면의 표시 처리는 생략 가능하다. 또한, 도 2와 마찬가지로, 도 5에서도, 제휴 APL(21)에 의한 처리 결과가 타깃 APL(23)로 회신되는 경우를 나타내고 있다.

이하, 도 6부터 도 29까지를 이용하여 각 처리에 대하여 자세히 설명한다. 또한, 이하의 설명에서, 타깃 APL(23)을 금융 송금 업무용 프로그램이라고 가정하고, 제휴 APL(21)을 인감 대조 프로그램이라고 가정한다. 그리고, 타깃 APL(23)의「송금 처리」 화면으로부터 추출된 데이터 항목에 기초하여 제휴 APL(21)에 인감 대조 처리를 행하게 하고, 그 대조 결과를 타깃 APL(23)에 회신하게 하는 경우를 예로 든다. 또한, 설명함에 있어서, 구체적인 송금 처리 화면의 예를 이용한다. 이러한 가정은, 설명을 구체적으로 함으로써 이해를 용이하게 하기 위함으로, 타깃 APL(23) 및 제휴 APL(21)을 한정하거나, 본 발명의 응용 범위를 한정하려는 취지는 아니다.

우선, 도 6을 이용하여, 표시 화면 취득 처리의 수순에 대하여 설명한다. 도 6에 나타낸 바와 같이, 우선, 표시 화면 취득부(221)는, 타깃 APL(23)로부터 표시 화면을 취득하고, 그 화면 중의 캐럿 혹은 커서를 비표시 상태로 한다(단계 S1). 계속해서, 표시 화면 취득부(221)는, 그 화면의 화면 이미지 데이터가 존재하는 메모리 중의 영역을 취득하고(단계 S2), 그 영역으로부터 그 화면의 화면 이미지 데이터를 복사한다(단계 S3). 그 후, 표시 화면 취득부(221)는, 그 표시 화 면 중의 캐럿 혹은 커서를 표시 상태로 되돌린다(단계 S4). 표시 화면 취득부(221)는, 복사된 화면 이미지 데이터를, 화면 이미지 기입부(228)에 기입한다(단계 S5).

도 17에, 표시 화면 취득부(221)에 의해서 취득된 표시 화면의 일례를 나타낸다. 도 17에 나타내는 표시 화면은, 금융 송금 업무용 프로그램에 의한 송금 처리에 있어서 표시된다. 이 화면에는, 이 화면에서 행해지는 처리를 나타내는 문자 정보로서 도 17을 정면에서 봤을 때 좌측 상단에 「송신 처리」가 표시되고, 또한, 화면 식별 번호로서 도 17을 정면에서 봤을 때 우측 상단에「Menu 00201」이 표시되어 있다. 또한, 화면 식별 번호는, 화면 종별 정의부(222)가 설정하는 화면 ID와 일치할 필요는 없다.

또한, 이 화면에는, 거래 정보로서, 고객 데이터베이스 번호(CIF 번호, CIF:Customer Interaction File), 고객명, 송금 금액, 인감 대조의 결과를 입력하는 란, 및 송금 처리의 신청 용지로부터 판독된 인감(이하, 판독인이라 함)의 화상 이미지(이하, 판독인)가 표시되어 있다.

이하, 도 17에 나타내는 이 표시 화면의 화면 이미지 데이터를 참조하면서, 도 7부터 도 10까지를 이용하여, 화면 종별 정의 처리의 수순에 대하여 설명한다. 이 화면 종별 정의 처리는, 화면 정의 처리에 포함된다. 우선, 도 7에 나타낸 바와 같이, 화면 종별 정의 처리에서, 화면 종별 정의부(222)는, 화면 이미지 기입부(228)로부터 화면 이미지 데이터를 판독한다(단계 S11). 계속해서, 화면 종별 정의부(222)는, 화면을 식별하는 화면 ID를 설정한다(단계 S12). 또한, 화면 종별 정의부(222)는, 화면 종별 판정 정의 서브루틴(단계 S13), 인식 항목 정의 서브루틴(단계 S14), 및 제휴 방법 정의 서브루틴(단계 S15)을 행하고, 처리를 종료한다. 각 서브루틴에 대하여 자세한 내용은 후술한다.

화면 정의 정보는, 제휴시킬 데이터를 포함하는 화면에 대응하여 작성된다. 화면 정의 정보는, 화면 종별 판정 정보, 인식 항목 정보 및 제휴 방법 정보를 포함한다. 제휴 APL(21)에 의한 처리 결과를 소정의 어플리케이션에 출력하는 경우, 화면 정의 정보는, 또한, 출력 방법 정보를 포함한다. 화면 종별 판정 정보는 화면 종별 판정 정의 서브루틴에서, 인식 항목 정의 정보는 인식 항목 정의 서브루틴에서, 제휴 방법 정보와 출력 방법 정보는 제휴 방법 정의 서브루틴에서, 각각 작성된다.

이하, 도 8 및 도 18을 이용하여, 상기 화면 종별 판정 정의 서브루틴의 수순에 대하여 설명한다. 도 8에 나타낸 바와 같이, 화면 종별 정의부(222)는, 취득된 화면으로부터 화면 종별 판정 정보로서 추출할 항목의 지정을 받으면, 그 항목에 항목 ID를 붙인다(단계 S21). 계속해서, 화면 종별 정의부(222)는, 화면 이미지 중에서 추출할 항목이 표시되어 있는 영역(식별 부분)의 지정을 받으면(단계 S22), 그 좌표에 기초하여 화면 이미지 데이터로부터 이미지 데이터를 잘라낸다(단계 S23). 화면 종별 정의부(222)는, 항목 ID, 좌표 및 잘라낸 이미지 데이터를 포함하는 화면 식별 판정 정보를 작성한다. 단계 S21부터 S23까지를 화면 종별 판정 정보로서 추출할 모든 항목에 대하여 행한 경우(단계 S24:Yes), 처리를 종료한다. 그렇지 않은 경우(단계 S24:No), 단계 S21로 되돌아간다.

도 18에, 도 17에 나타내는 화면에 대한 화면 종별 판정 정보의 일례를 나타낸다. 도 18에 나타낸 바와 같이, 도 17에 나타내는 화면에 대한 화면 종별 판정 정보는 2개 있다. 1개는, 도 17을 정면에서 봤을 때 좌측 상단에 표시되는 「송신 처리」라는 문자가 표시되는 화면 중의 영역을 나타내는 좌표 정보 및 그 좌표 정보에 기초하여 잘라낸 이미지 데이터를 포함하는 화면 종별 판정 정보이고, 1개는, 「Menu 00201」이라는 번호가 표시되는 화면 중의 영역을 나타내는 좌표 정보 및 그 좌표 정보에 기초하여 잘라낸 이미지 데이터를 포함하는 화면 종별 판정 정보이다. 또한, 도 18에서, 예로서, 영역은, 사각형을 형성하는 4개의 정점 중 서로 마주보는 2개의 정점의 좌표를 이용하여 나타내지고 있다. 또한, 도 18에서, 화면 종별 판정 정보에는 「항목 ID」 대신에 「항목명」이 포함되어 있는데, 어느 쪽이든 상관없다. 화면 종별 판정 정보는, 후술하는 데이터 제휴 처리에서, 타깃 APL(23)로부터 취득된 화면을 식별할 때에 이용된다.

다음으로, 도 9 및 도 19를 이용하여, 인식 항목 정의 서브루틴의 수순에 대하여 설명한다. 도 9에 나타낸 바와 같이, 우선, 화면 종별 정의부(222)는, 표시 화면 취득부(221)에 의해서 취득된 화면으로부터 인식 항목으로서 추출할 데이터의 항목명의 지정을 받는다. 또한, 이 항목명은, 화면 중의 항목명과 일치시키는 것으로 하여도 된다(단계 S31). 계속해서, 화면 종별 정의부(222)는, 그 화면 중에서, 인식 항목이 표시되는 영역의 지정을 받는다(단계 S32). 또한, 화면 종별 정의부(222)는, 그 영역에 표시되는 데이터의 속성의 지정을 받는다(단계 S33). 화면 종별 정의부(222)는, 단계 S31부터 S33까지의 지정에 기초하여, 화면 종별 정의 부(222)는, 항목명, 지정된 영역을 나타내는 좌표 정보, 및 데이터 속성을 나타내는 데이터 속성 정보를 포함하는 인식 항목 정보를 작성한다. 데이터 속성으로서, 예를 들면, 문자 데이터, 에디트 컨트롤, 스태틱 컨트롤 및 이미지 데이터 등을 들 수 있다. 단계 S31부터 S33까지를 인식 항목으로서 추출할 모든 항목에 대하여 행한 경우(단계 S34:"예"), 처리를 종료한다. 그렇지 않은 경우(단계 S34:"아니오"), 단계 S31로 되돌아간다. 인식 항목 정보는, 후술하는 데이터 제휴처리에서, 타깃 APL(23)로부터 취득한 화면으로부터 제휴 APL(21)에 제휴시킬 데이터를 추출할 때에 이용된다.

도 19에, 도 17에 나타내는 화면에 대한 인식 항목 정보의 일례를 나타낸다. 도 19에 나타낸 바와 같이, 도 17에 나타내는 화면에 대한 인식 항목 정보는, 4개가 있다. 첫번째는, CIF 번호의 입력 란에 대응하는 인식 항목 정보이고, 두번째는, 고객명의 입력 란에 대응하는 인식 항목 정보이고, 세번째는, 송금 금액의 입력 란에 대응하는 인식 항목 정보이고, 네번째는, 판독인의 화상 이미지에 대응하는 인식 항목 정보이다. 또한, 도 19에 나타낸 바와 같이, 각 인식 항목 정보는, 항목명, 그 항목이 화면 상에 표시되어 있는 영역을 나타내는 좌표 정보, 및 그 항목의 데이터 속성 정보를 포함한다. 도 18과 마찬가지로, 도 19에서도, 영역은, 사각형을 형성하는 서로 마주보는 2개의 정점의 좌표를 이용하여 나타내지고 있다.

다음으로, 도 10, 도 20 및 도 21을 이용하여, 제휴 방법 정의 서브루틴의 수순에 대하여 설명한다. 도 10에 나타낸 바와 같이, 우선, 화면 종별 정의부(222)는, 제휴 APL(21)의 지정과 제휴 방법의 지정을 받는다(단계 S41). 화면 종 별 정의부(222)는, 지정에 기초하여, 제휴 APL(21)을 식별하는 제휴처 식별 정보와 제휴 방법을 지정하는 제휴 방법 지정 정보를 포함하는 제휴 방법 정보를 작성한다. 제휴 방법으로서, 예를 들면, TCP/IP(Transmission Control Protocol/Inter- net Protocol), HTTP(Hypertext Transmission Protocol), API(Application Program Interface), DLL(Dynamic Link Library) 등을 들 수 있다.

도 20에, 제휴 방법 정보의 일례를 나타낸다. 도 20에 나타내는 예에서는, 제휴 방법 정보에는, 제휴 APL(21)을 식별하는 제휴처 식별 정보로서 제휴 APL(21)의 프로그램명이 포함되어 있다. 또한, 제휴 APL(21)과 타깃 APL(23) 간의 데이터의 제휴 방법으로서 TCP/IP, 소켓 통신이 지정되어 있다.

계속해서, 화면 종별 정의부(222)는, 제휴 APL(21)이 제휴된 데이터를 처리한 결과로서 얻어진 정보(이하, 제휴 결과 정보)를 제휴 APL(21)로부터 타깃 APL(23)에 출력하는지의 여부를 지정하는 정보를 받는다(단계 S42). 지정에 기초하여, 제휴 결과 정보를 타깃 APL(23)에 출력한다고 판정한 경우(단계 S42:"예"), 단계 S43으로 진행한다. 그렇지 않은 경우(단계 S42:"아니오"), 단계 S46으로 진행한다.

단계 S42에서 "예"인 경우, 단계 S43에서, 화면 종별 정의부(222)는, 유저의 지정에 기초하여 제휴 결과 정보의 항목명 및 그 제휴 결과 정보를 표시해야 되는 화면 중의 출력처 영역을 나타내는 좌표 정보를 포함하는 출력 방법 정보를 작성한다(단계 S43 및 S44). 또한, 제휴 결과 정보로서 복수의 항목을 출력하는 경우, 각 항목에 대응하여 복수의 출력 방법 정보가 작성된다.

화면 종별 정의부(222)는, 제휴 결과 정보를 출력해야 되는 모든 항목에 대하여 단계 S41부터 S43까지를 행한 경우(단계 S45:"예"), 처리를 종료한다. 그렇지 않은 경우(단계 S45:"아니오"), 단계 S43으로 되돌아간다. 이 출력 방법 정보는, 후술하는 데이터 제휴 처리에서, 제휴 결과 정보를 타깃 APL(23)의 화면에 출력할 때에 이용된다.

단계 S42에서 "아니오"인 경우, 단계 S46에서, 출력 방법 정보를 작성할 필요는 없기 때문에, 처리를 종료한다.

도 21에, 출력 방법 정보의 일례를 나타낸다. 도 21에 나타낸 바와 같이 출력 방법 정보는, 제휴 결과 정보의 항목명과 그 제휴 결과 정보를 출력해야 되는 화면 상의 출력처 영역을 나타내는 좌표 정보를 포함한다. 도 21의 경우, 제휴 결과 정보로서 출력되는 항목은 1개이기 때문에, 작성되는 출력 방법 정보도 1개이다. 이 출력 방법 정보에 기초하여, 제휴 결과 정보는, 도 17에 나타내는 화면 중의 대조 결과의 입력 란에 표시된다.

상기의 화면 종별 정의 처리에서 작성된 화면 정의 정보는, 화면 정보 DB(229)에 기입된다. 계속해서, 정의 중복 확인 처리에서, 작성된 화면 정의 정보가, 먼저 작성된 화면 정의 정보와 중복되어 있는지의 여부를 확인된다. 이 정의 중복 확인 처리는, 화면 정의 처리에 포함된다. 이하, 도 11을 이용하여, 정의 중복 확인 처리의 수순에 대하여 설명한다. 도 11에 나타낸 바와 같이 우선, 정의 중복 확인부(223)는, 아직 중복 확인 처리를 행하고 있지 않는 화면 정의 정보를 화상 정보 DB(229)로부터 판독한다(단계 S51). 화상 정보 DB(229) 중의 모든 화면 정의 정보에 대하여 중복 확인 처리를 이미 행한 경우(단계 S52:"예"), 단계 S58로 진행한다. 그렇지 않은 경우(단계 S52:"아니오"), 단계 S53 이후를 행한다.

화면 정의 정보에는 1이상의 화면 종별 판정 정보가 포함된다. 각 화면 종별 판정 정보에는, 화면 상의 영역을 나타내는 좌표 정보 및 이미지 데이터가 포함된다. 단계 S53에서, 정의 중복 확인부(223)는, 단계 S51에서 판독한 화면 정의 정보로부터, 아직 중복 판정 처리가 행하여지지 않은 화면 종별 판정 정보로부터 이미지 데이터를 취득한다. 단계 S51에서 판독한 화면 정의 정보 중의 모든 화면 종별 판정 정보에 대하여 중복 확인 처리를 이미 행한 경우(단계 S54:"예"), 단계 S57로 진행한다. 그렇지 않은 경우(단계 S54:"아니오"), 단계 S55 및 S56을 행한다.

단계 S55에서, 정의 중복 확인부(223)는, 단계 S53에서 취득한 이미지 데이터에 대응하는 좌표 정보에 기초하여, 화면 이미지 기입부(228)에 기입되어 있는 화면 이미지 데이터로부터 이미지 데이터를 잘라낸다. 그리고, 정의 중복 확인부(223)는, 단계 S53에서 취득한 이미지 데이터와, 잘라낸 이미지 데이터를 비교하고, 이미지 데이터의 비교 결과에 기초하여, 양자가 일치하는지의 여부를 판정한다. 이 이미지를 비교하는 수순에 대해서는, 이미지 비교 서브루틴으로서, 자세한 내용은 후술한다. 그리고, 정의 중복 확인부(223)는, 단계 S53에서 취득한 이미지 데이터에 대한 판정 결과를 일시 기억 저장 영역에 기록하고(단계 S56), 단계 S53으로 되돌아간다.

단계 S57에서, 정의 중복 확인부(223)는, 일시 기억 저장 영역에 기록된 판 정 결과가, 「모든 판정에 있어서 일치」를 나타내는지의 여부를 판정하고, 단계 S51에서 판독된 화면 정의 정보에 대한 판정 결과를 「일치」로서 일시 기억 저장 영역에 저장하고, 단계 S53으로 되돌아간다.

단계 S58에서, 정의 중복 확인부(223)는, 판정 결과가「일치」로 되어 있는 화면 정의 정보의 수를 카운트한다. 또한, 정의 중복 확인부(223)는, 그 수가 「1」인 경우 「중복 없음」으로 판정하고, 그 수가 「2 이상」인 경우 「중복 있음」으로 판정한다. 정의 중복 확인부(223)는, 판정 결과를 유저에게 통지하고, 처리를 종료한다.

또한, 상기에서, 화면 정의 정보를 작성할 때마다 정의 중복 확인 처리를 행하는 것으로 설명했다. 그러나, 정의할 모든 화면에 대한 화면 정의 정보를 작성하여, 화면 정보 DB(229)에 기입한 후, 정의 중복 확인 처리를 행하고, 화면 정보 DB(229)에 중복된 화면 정의 정보가 저장되어 있는지의 여부를 판정하는 것으로 하여도 된다.

이하, 도 12 및 도 22를 이용하여, 화면 종별 판정 처리의 수순에 대하여 설명한다. 이 화면 종별 판정 처리는, 데이터 제휴 처리에 포함된다. 우선, 화면 종별 판정 처리에 앞서서, 도 6을 이용하여 설명한 바와 같이 하여 표시 화면 취득 처리가 행하여진다. 그 후, 화면 종별 판정부(224)는, 화면 이미지 기입부(228)로부터 화면 이미지 데이터를 취득하고(단계 S61), 또한, 화면 정보 DB(229)로부터, 아직 화면 종별 판정 처리가 행하여지지 않은 화면 정의 정보를 하나 추출한다(단계 S62).

화상 정보 DB(229) 중의 모든 화면 정의 정보에 대하여 화면 종별 처리를 이미 행한 경우(단계 S63:"예"), 단계 S69로 진행한다. 그렇지 않은 경우(단계 S63:"아니오"), 단계 S64 이후를 행한다.

화면 정의 정보에는, 1 이상의 화면 종별 판정 정보가 포함되고, 각 화면 종별 판정 정보에는, 화면 이미지 데이터 중의 영역을 나타내는 좌표 정보 및 이미지 데이터가 포함된다. 단계 S64부터 S66까지는, 단계 S62에서 취득한 화면 정의 정보에 포함되는 모든 화면 종별 판정 정보에 대하여 행해진다.

단계 S64에서, 화면 종별 판정부(224)는, 단계 S62에서 취득한 화면 정의 정보로부터 1개의 화면 종별 판정 정보를 취득한다. 또한, 화면 종별 판정부(224)는, 그 화면 종별 판정 정보 중의 좌표 정보에 기초하여, 단계 S61에서 취득한 화면 이미지 데이터로부터 이미지 데이터를 잘라낸다.

이하, 도 22를 이용하여, 화면 이미지 데이터 중에서 잘라내어지는 영역에 대하여 설명한다.

도 22에는, 도 18에 나타내는 화면 종별 판정 정보 중의 좌표에 의해서 나타내어지는 영역이 화살표로 표시되어 있다. 도 22에 나타낸 바와 같이 화면 이미지 데이터로부터, 문자 「송금 처리」가 표시되는 영역 및 화면 식별 번호 「Menu 00201」가 표시되는 영역이, 화면 종별 판정 처리를 위하여 도 18에 나타내는 화면 종별 판정 정보에 기초하여 잘라낸다.

계속해서, 화면 종별 판정부(224)는, 단계 S64에서 취득한 화면 종별 판정 정보 중의 이미지 데이터와, 화면 이미지 데이터로부터 잘라낸 이미지 데이터를 비 교하는 이미지 비교 서브루틴을 행한다(단계 S65). 이 이미지 비교 서브루틴에 대하여, 자세한 내용은 후술한다.

계속해서, 화면 종별 판정부(224)는, 이미지 비교 서브루틴의 결과에 기초하여, 화면 종별 판정 정보에 포함되는 이미지 데이터와 단계 S64에서 잘라낸 이미지 데이터가 일치하는지의 여부를 판정한다(단계 S66). 양자가 일치하지 않는 경우(단계 S66:"아니오"), 단계 S62로 되돌아간다. 양자가 일치하는 경우(단계 S66:"예"), 단계 S67로 진행한다.

단계 S67에서, 화면 종별 판정부(224)는, 단계 S62에서 취득된 화면 정의 정보 중의 모든 화면 종별 판정 정보에 대하여 단계 S64부터 S66까지를 행하였는지의 여부를 판정한다. 모든 화면 종별 판정 정보에 대하여 단계 S64부터 S66까지를 행한 경우(단계 S67:"예"), 단계 S68로 진행한다. 그렇지 않은 경우(단계 S67:"아니오"), 단계 S64로 되돌아간다.

단계 S68에서, 화면 종별 판정부(224)는, 단계 S62에서 취득한 화면 정의 정보는, 단계 S61에서 취득한 화면 이미지 데이터에 대응한다고 판정하고(단계 S68), 처리를 종료한다.

단계 S69에서, 화면 종별 판정부(224)는, 화면 정보 DB(229)에는, 단계 S61에서 취득된 화면 이미지 데이터에 대응하는 화면 정의 정보는 저장되어 있지 않다고 판정한다. 화면 종별 판정부(224)는, 취득한 그 화면은, 데이터베이스에 등록되어 있지 않기 때문에 처리 에러가 발생하였다는 취지를 유저에게 통지하고, 처리를 종료한다.

이하, 도 13 및 도 23을 이용하여 이미지 비교 서브루틴의 수순에 대하여 설명한다. 도 13에 나타낸 바와 같이 우선, 화면 종별 판정부(224)는, 단계 S64에서 취득한 화면 종별 판정 정보 중의 이미지 데이터와, 화면 이미지 데이터로부터 잘라낸 이미지 데이터에 대하여, 1 화소마다의 색의 분포를 검출한다(단계 S71). 계속해서, 화면 종별 판정부(224)는, 화면 종별 판정 정보 중의 이미지 데이터와 화면 이미지 데이터로부터 잘라낸 이미지 데이터의 각각에 대하여, 색의 분포에 기초하여 배경색으로 되어 있는 색을 결정하고, 그 색을 마스크한다(단계 S72).

또한, 화면 종별 판정부(224)는, 화면 종별 판정 정보 중의 이미지 데이터에 있어서 마스크되지 않고 남은 부분의 화상 패턴과, 화면 이미지 데이터로부터 잘라낸 이미지 데이터에 있어서의 마스크되지 않고 남은 부분의 화상 패턴을 비교하여, 양자의 매칭을 행한다(단계 S73). 그 매칭 결과는, 상기 단계 S66의 판정에 이용된다(단계 S74).

이하, 도 23를 이용하여, 이미지 비교 서브루틴에 있어서 마스크되는 부분에 대하여 설명한다.

도 23에는, 도 18에 나타내는 2개의 화면 종별 판정 정보 중에 포함되는 이미지 데이터와, 각 화면 종별 판정 정보에 포함되는 좌표에 기초하여 잘라낸 이미지 데이터가 도시되어 있다. 예를 들면, 항목명이 「처리명」인 2개의 이미지 데이터는, 문자 「송금 처리」를 표시한다. 이들 이미지 데이터에 있어서, 음영 부분이 배경색으로서 판정되어, 마스크된다. 이 결과, 양 이미지 데이터 중, 문자 「송금 처리」를 표시하는 화상 패턴이 마스크되지 않고 남아, 화면 종별 판정부 (224)에 의해서 서로 비교된다.

다음으로, 도 14 및 도 24을 이용하여, 항목 정보 취득·인식 처리의 수순에 대하여 설명한다. 이 항목 정보 취득·인식 처리는, 데이터 제휴 처리에 포함된다. 화면 정의 정보에는, 1 이상의 인식 항목 정보가 포함된다. 이하의 단계 S81부터 S93까지는, 단계 S61에서 취득한 화면 이미지 데이터에 대응하는 화면 정의 정보에 포함되는 인식 항목 정보 각각에 대하여 행해진다.

우선, 항목 정보 취득/인식부(225)는, 하나의 인식 항목 정보를 화면 정의 정보로부터 취득하고, 그 인식 항목 정보에 포함되는 데이터 속성을 나타내는 정보에 기초하여, 항목 인식의 처리 모드를 판정한다(단계 S81). 예를 들면, 데이터 속성이 「문자 데이터」를 나타내는 경우, 항목 정보 취득/인식부(225)는, 처리 모드를 OCR(Optical Character Reader) 등을 이용한 문자 인식이라고 판정하고(단계 S81:인식), 단계 S82로 진행한다. 또한, 예를 들면, 데이터 속성이 「에디트 컨트롤」이나 「스태틱 컨트롤」을 나타내는 경우, 항목 정보 취득/인식부(225)는, 처리 모드를 데이터 항목의 판독이라고 판정하고(단계 S81:항목 판독), 단계 S89로 진행한다. 데이터 속성이 「이미지 데이터」를 나타내는 경우(단계 S81: 이미지), 단계 S93으로 진행한다.

단계 S82에서, 항목 정보 취득/인식부(225)는, 그 인식 항목 정보에 포함되는 좌표 정보에 기초하여, 취득된 화면 이미지 데이터로부터 이미지 데이터를 잘라내고, 그 이미지 데이터를 구성하는 화소 하나하나를 주사하여 색의 판정을 행함으로써, 문자를 나타내는 색과 배경을 나타내는 색을 판정한다(단계 S82).

계속해서, 항목 정보 취득/인식부(225)는, 배경 화상과 문자를 분리하는 임계값을 이용하여 이미지 데이터를 2치화함으로써, 문자를 나타내는 색과 배경을 나타내는 색을 분리한다(단계 S83). 2치화함으로써 문자를 나타내는 색이 백색, 배경 화상을 나타내는 색이 흑색으로 되어 버린 경우, 항목 정보 취득/인식부(225)는, 양자의 색을 나타내는 값(비트)을 반전시킨다(단계 S84).

또한, 항목 정보 취득/인식부(225)는, 연속하는 흑 화소군(라벨 정보)을 취득함으로써, 1 문자씩의 라벨 정보를 추출한다(단계 S85). 항목 정보 취득/인식부(225)는, 라벨 정보를 추출한 결과에 기초하여 1 문자의 사이즈를 판정하고, 그 1 문자의 사이즈가 문자 인식 처리를 위해 적당하지 않은 경우, 적당한 사이즈로 되 도록 문자를 확대 또는 축소한다(단계 S86).

계속해서, 항목 정보 취득/인식부(225)는 문자의 인식을 행하고(단계 S87),그 인식 결과를 유저에게 통지한다. 또한, 2 이상의 인식 항목 정보가 화면 정의 정보에 포함되는 경우, 모든 인식 항목 정보에 대한 인식 처리가 종료한 후에, 확인 화면을 표시시킴으로써 인식 결과를 유저에게 통지하는 것으로 하여도 된다.

단계 S89에서, 항목 정보 취득/인식부(225)는, 인식 항목 정보에 포함되는 좌표에 기초하여 인식할 데이터 항목의 컨트롤 핸들을 취득한다. 또한, 인식 항목 정보에 포함되는 데이터 속성을 나타내는 정보에 기초하여, 컨트롤이 에디트 컨트롤인지, 스태틱 컨트롤인지를 판정한다(단계 S90).

컨트롤이 에디트 컨트롤인 경우 (단계 S90:에디트 컨트롤), 항목 정보 취득/인식부(225)는, 예를 들면, 클래스 멤버 함수 GetLine() 등을 이용하여, 컨트롤로 부터 데이터를 판독하여, 인식 결과로서 취득하고(단계 S91), 단계 S88로 진행한다. 컨트롤이 스태틱 컨트롤인 경우(단계 S90:스태틱 컨트롤), 항목 정보 취득/인식부(225)는, 예를 들면, 클래스 멤버 함수 GetText() 등을 이용하여, 컨트롤로부터 데이터를 판독하여, 인식 결과로서 취득하고(단계 S92), 단계 S88로 진행한다.

단계 S93에서, 항목 정보 취득/인식부(225)는, 인식 항목 정보에 포함되는 좌표 정보에 기초하여, 화면 이미지 데이터로부터 이미지 데이터를 잘라내고, 단계 S88로 진행한다.

이하, 도 24를 이용하여, 화면 이미지 데이터 중에서 제휴할 데이터를 추출하여 인식하는 처리에 대하여 설명한다.

도 24에는, 도 19에 나타내는 4개의 인식 항목 정보에 기초하여 추출되는 화면 이미지 데이터 중의 4개의 인식 항목을 나타낸다. 예를 들면, 항목명이 「CIF 번호」인 인식 항목은, 화상 이미지 데이터로부터 이미지 데이터로서 잘라내고, 문자 인식 처리를 거쳐 문자 데이터로서 취득된다. 또한, 예를 들면, 항목명이 「고객명」인 인식 항목 및 항목명이 「송금 금액」인 인식 항목은, 각각 화상 이미지 데이터 중의 입력 란으로부터 직접 데이터로서 취득된다. 또한, 항목명이 「판독인」인 인식 항목은, 화상 이미지 데이터로부터 이미지 데이터로서 잘라내고, 그대로 취득된다. 또한, 도 24에서, 구체적인 클래스 멤버 함수가 기재되어 있지만, 이것은 예시에 불과하다. 도 25에, 도 19에 나타내는 인식 항목 정보에 기초하여 도 24에 나타내는 화면으로부터 취득된 인식 항목을 나타낸다.

도 26에, 도 24에 나타내는 화면으로부터 취득된 인식 항목의 확인 화면의 일례를 나타낸다. 도 26에서, 데이터 속성이 「이미지 데이터」인 인식 항목 이외의 인식 항목에 대해서는, 화면 이미지 데이터로부터 잘라내고, 아직 인식 처리가 되어 있지 않은 데이터, 및 인식 처리의 결과 얻어진 데이터의 양방이 비교 가능하도록 표시된다. 도면에서, 인식 항목마다, 잘라낸 채로 인식 처리가 되어 있지 않은 데이터가 상단에 표시되고, 인식 처리의 결과 얻어진 데이터가 하단에 표시된다. 데이터 속성이 「이미지 데이터」인 인식 항목에 대해서는, 화면 이미지 데이터로부터 잘라낸 이미지 데이터가 표시된다. 유저는, 이 확인 화면에 기초하여, 인식 처리가 적절하게 행해져 있는지의 여부를 판정하고, 필요에 따라, 이 확인 화면에서 인식 결과를 수정한다. 확인 및 수정의 결과, 데이터 제휴 처리를 행하여도 된다고 판정한 경우, 유저는, 도 26에 나타내는 「제휴 개시」 버튼을 누른다. 이로써, 항목 정보 취득/인식부(225)로부터 인식 결과가 제휴 처리부(226)에 출력되어 제휴 처리가 개시된다. 또한, 유저에의 인식 결과의 통지 및 확인 화면의 표시는 생략 가능하다.

이하, 도 15를 이용하여 제휴 처리의 수순에 대하여 설명한다. 이 제휴 처리는, 데이터 제휴 처리에 포함된다. 도 15에 나타낸 바와 같이 우선, 제휴 처리부(226)는, 항목 정보 취득/인식부(225)로부터 인식 결과를 제휴할 데이터로서 수취한다(단계 S101). 또한, 제휴 처리부(226)는, 취득된 화상 이미지 데이터에 대응하는 화상 정의 정보로부터 제휴 방법 정보를 추출한다(단계 S102).

제휴 방법 정보에는, 제휴할 데이터의 출력처가 되는 제휴 APL(21)을 식별하는 제휴처 식별 정보 및 제휴 방법을 지정하는 제휴 방법 지정 정보를 포함한다. 제휴 처리부(226)는, 제휴 방법 정보에 기초하여, 지정된 제휴 APL(21)에, 지정된 제휴 방법으로, 제휴할 데이터를 출력한다(단계 S103). 그 응답으로서, 제휴 처리부(226)는, 제휴 APL(21)로부터 처리된 데이터(제휴 결과 정보)를 받아, 그 제휴 처리의 결과의 확인 화면을 출력한다(단계 S104). 그 후, 처리를 종료한다. 또한, 제휴 처리의 결과의 확인 화면의 출력은 생략 가능하다.

이하, 도 27 및 도 28을 이용하여, 이 설명에 있어서 제휴 APL(21)로서 가정되어 있는 인감 대조 프로그램에 의해서 행해지는 처리에 대하여 설명한다. 상기한 바와 같이, 타깃 APL(23)인 금융 송금 업무용 프로그램의 화면으로부터, 4개의 항목, 「CIF 번호」, 「고객명」, 「송금 금액」 및 「판독인」이 취득되어, 제휴 APL(21)에 출력된다. 제휴 APL(21)은, 그 CIF 번호 및 고객명에 대응하는 신청인의 화상 이미지를 도시되지 않은 신청인을 기록하는 DB로부터 취득하고, 그 신청인의 화상 이미지와 타깃 APL(23)로부터 취득된 판독인의 화상 이미지가 일치하는지의 여부를 판정한다. 또한, 인감의 대조 처리에 대하여 자세한 내용은 생략한다.

도 27에, 제휴 APL(21)에 의한 인감 대조 처리의 결과를 나타내는 화면의 일례를 나타낸다. 도 27에 나타내는 화면에는, 타깃 APL(23)의 화면으로부터 취득된 CIF 번호, 고객명 및 판독인의 화상 이미지, 및, DB로부터 취득된 신청인의 화상 이미지가 표시되어 있다. 또한, 화면에는 대조 결과로서, 양자를 중첩시킨 화상이 표시되어 있다. 도 27에 나타내는 화면에 의하면, 인감 대조의 결과, 판독인과 신청인의 화상 데이터는 일치한다고 판정되어 있음을 알 수 있다.

도 28에, 제휴 처리의 결과의 확인 화면의 일례를 나타낸다. 도 28은, 제휴 처리의 결과, 판독인과 신청인의 화상 데이터는 일치한다고 판정되어 있는 경우의 확인 화면을 나타낸다. 유저는, 이 확인 화면에 기초하여, 제휴 처리가 양호하게 실행되었는지의 여부를 판정하고, 제휴 처리가 양호하게 실행된 경우, 「처리 계속」 버튼을 누름으로써, 후속하는 처리의 실행을 지시할 수 있다.

이하, 도 16 및 도 29을 이용하여, 항목 정보 출력 처리의 수순에 대하여 설명한다. 또한, 이 항목 정보 출력 처리는, 제휴 결과 정보를 타깃 APL(23)에 출력하는 것이 필요한 경우에 행해진다. 제휴 결과 정보를 타깃 APL(23)에 출력하는 것이 불필요한 경우에는, 생략 가능하다.

우선, 도 16에 나타낸 바와 같이 항목 정보 출력부(227)는, 제휴 처리부(226)로부터 제휴 결과 정보를 수취하고(단계 S111), 또한, 현재 처리 중인 화면에 대응하는 화면 정의 정보로부터 출력 방법 정보를 취득한다(단계 S112). 화면 정의 정보에는, 1 이상의 출력 방법 정보가 포함되고, 각 출력 방법 정보에는, 제휴 결과 정보의 항목명 및 그 제휴 결과 정보를 표시해야 되는 화면 중의 출력처 영역을 나타내는 좌표 정보가 포함된다.

이하의 처리는, 출력 방법 정보마다 행해진다.

우선, 항목 정보 출력부(227)는, 1개의 출력 방법 정보를 추출하고, 출력 방법 정보에 포함되는 좌표 정보에 기초하여, 출력처 영역에 대한 컨트롤 정보를, 타깃 APL(23) 중의 출력처로 되는 화면의 화면 데이터로부터 취득하고(단계 S113), 이 컨트롤 정보에 기초하여, 화면 중의 출력처 영역에, 그 제휴 결과 정보를 표시시킨다(단계 S114).

또한, 항목 정보 출력부(227)는, 모든 출력 방법 정보에 대한 출력 처리를 종료하였는지의 여부를 판정한다(단계 S115). 모든 출력 방법 정보에 대하여 출력 처리가 종료하지 않은 경우(단계 S115:"아니오"), 항목 정보 출력부(227)는, 출력 처리가 끝난 출력 방법 정보의 수를 1 인크리먼트하고, 미처리의 출력 방법 정보를 1개 추출한다(단계 S116). 또한, 항목 정보 출력부(227)는, 아직 출력 처리가 끝나지 않은 항목을 제휴 결과 정보로부터 추출하고(단계 S117), 단계 S114로 되돌아간다.

카운트 수가, 출력 방법 정보의 총수와 동일한 값으로 된 경우, 항목 정보 출력부(227)는 모든 출력 방법 정보에 대하여 출력 처리가 종료하였다고 판정하고(단계 S115:"예"), 처리를 종료한다.

도 29에, 타깃 APL(23)의 화면에 제휴 결과 정보를 출력한 화면의 일례를 나타낸다. 도 29에서, 「대조 결과」라고 기재된 입력 란에 제휴 결과 정보로서 「인감의 대조를 확인」이 출력되어 있다.

다음으로, 제1 실시 형태의 변형예에 대하여 설명한다. 제1 실시 형태에서는, 타깃 APL(23)의 화면에서 제휴할 데이터를 추출하고, 추출한 데이터를 제휴 APL(21)에 출력하는 것으로 하여 설명했다. 그러나, 타깃 APL(23)의 화면을 식별하고, 그 식별된 화면에, 제휴 APL(21)에서 처리된 데이터를 제휴할 데이터로서 출력시키는 것도 가능하다. 이하, 이 경우에 대해 설명한다.

이 변형예에 따르면, 타깃 APL(23)의 화면을 식별하지만, 그 식별된 화면에서 제휴할 데이터를 추출할 필요는 없고, 그 데이터를 제휴 APL(21)에 출력할 필요 도 없다. 따라서, 상기 제1 실시 형태와 제1 실시 형태의 변형예는, 이하의 점이 상이하다.

제1 실시 형태의 변형예에 따르면, 스크린 플러그(22)는, 항목 정보 취득/인식부(225)를 구비할 필요는 없다. 따라서, 제1 실시 형태의 변형예에 관한 스크린 플러그(22)는, 도 3의 기능 구성도로부터 항목 정보 취득/인식부(225)를 제외한 구성을 갖는 것으로 하여도 된다.

·제1 실시 형태의 변형예에 따르면, 화면 정의 정보는, 인식 항목 정보를 포함하지 않는다.

·제1 실시 형태의 변형예에 따르면, 화면 종별 정의부(222)는, 화면 종별 정의 처리에 있어서 인식 항목 정의 서브루틴을 행하지 않는다.

·제1 실시 형태의 변형예에 따르면, 데이터 제휴 처리에 있어서 항목 정보 취득·인식 처리는 행해지지 않는다.

이하, 도 30을 이용하여, 제1 실시 형태의 변형예인 경우의 데이터 제휴 처리의 개요에 대하여 설명한다. 또한, 제1 실시 형태에서 이미 설명했기 때문에, 여기서는 재차 각 처리에 대하여 자세히 설명하는 것을 생략한다.

도 30에 나타낸 바와 같이 제1 실시 형태의 변형예에 따르면, 키보드 등의 입력 장치(13)로부터의 입력을 계기로 하여 데이터 제휴 처리가 개시되면, 우선, 표시 화면 취득부(221)는, 타깃 APL(23)로부터 표시 화면을 취득하는 표시 화면 취득 처리를 행한다. 취득된 표시 화면의 화면 이미지 데이터는 화면 이미지 기입부(228)에 기입된다. 화면 종별 판정부(224)는, 화면 정보 DB(229)로부터 화면 정의 정보를 판독하고, 그 화면 정의 정보에 기초하여 화면 이미지 기입부(228)에 화면 이미지 데이터가 기입된 화면을 식별한다. 화면 종별 판정부(224)는, 화면의 식별 결과를 확인하기 위한 확인 화면을 출력 장치(14)에 표시시킨다. 유저는, 이 확인 화면에 기초하여 추출된 데이터를 확인할 수 있다. 또한, 이 확인 화면의 표시 처리는, 생략할 수 있다. 제휴 처리부(226)는, 제휴 방법 정보에 기초하여, 지정된 제휴 방법으로 지정된 제휴 APL(21)로부터 처리된 데이터를 수취하고, 그 데이터를 확인하는 제휴 결과의 확인 화면을 출력 장치(14)에 표시시킨다. 또한, 이 제휴 결과의 확인 화면의 표시 처리는 생략 가능하다. 항목 정보 출력부(227)는, 화면 정의 정보에 포함되는 출력 방법 정보에 기초하여, 얻어진 데이터를 타깃 APL(23)의 소정의 영역에 출력한다. 또한, 항목 정보 출력부(227)는, 이 데이터 제휴 처리의 결과를 확인하는 결과 확인 화면을 출력 장치(14)에 표시시킨다. 또한, 확인 화면의 표시 처리는 생략 가능하다. 이와 같이, 제1 실시 형태와는 달리, 제1 실시 형태의 변형예에서는, 타깃 APL(23)의 화면으로부터 정보를 취득하는 항목 정보 취득·인식 처리가 행하여지지 않는다. 이 양자의 상위점은, 도 5와 도 30을 비교하면 명확하다.

이하, 타깃 APL(23)을 금융 송금 업무용 프로그램이라고 가정하고, 제휴 APL(21)을 전표 처리 및 인감 대조 프로그램이라고 가정하여, 제1 실시 형태의 변형예에 대하여 구체적으로 설명한다. 제휴 APL(21)은, 계좌 번호 및 송금 금액이 기재되고, 판독인이 날인된 예금 입금 전표를, 스캐너를 이용하여 화상 이미지 데이터로서 판독하고, 그 화상 이미지 데이터로부터 판독인의 화상 이미지를 절취하 여, 계좌 번호 및 송금 금액을 문자 데이터로서 인식한다. 또한, 제휴 APL(21)은, 계좌 번호에 대응한다. IF 번호, 고객명 및 신청인의 화상 이미지를 도시되지 않은 DB로부터 취득하여, 판독인의 화상 이미지와 신청인의 화상 이미지에 기초하여 인감을 대조한다.

한편, 스크린 플러그(22)는, 타깃 APL(23)의 「송금 처리」 화면을 식별하여, CIF 번호, 고객명, 송금 금액, 대조 결과 및 판독인의 화상 이미지를 제휴 APL(21)로부터 수취하고, 수취한 이들 정보를 식별된 화면에 출력시킨다. 「송금 처리」 화면의 예는, 도 17에 도시된다. 제1 실시 형태의 변형예인 경우, 타깃 APL(23)의 「송금 처리」 화면 중의 「CIF 번호」, 「고객명」, 「송금 금액」, 「대조 결과」 및 「판독인」의 각 입력 란은, 화면의 식별 당초에는 「공백」으로, 스크린 플러그(22)가, 제휴 APL(21)에 의한 처리 데이터를 이 화면에 출력시킨다.

이로써, 스캐너를 이용하여 예금 입금 전표를 화상 데이터로서 판독하고, 그 화상 데이터로부터 필요한 정보를 취득하는 기능을 갖고 있지 않은 타깃 APL(23)에, 그 기능을 갖는 제휴 APL(21)에 의한 처리 결과를 부여하는 일이 가능하게 된다. 나아가, 타깃 APL(23)에 개조를 행하지 않고, 타깃 APL(23)에 새로운 기능을 부여하는 것이 가능하게 된다.

또한, 이들 가정은, 설명을 구체적으로 함으로써 이해를 용이하게 하기 위한 것으로, 타깃 APL(23) 및 제휴 APL(21)을 한정하거나, 본 발명의 응용 범위를 한정하려는 취지는 아니다. 다음으로, 제1 실시 형태의 또 다른 변형예에 대하여 설명한다. 제1 실시 형태에서는, 타깃 APL(23)과 제휴 APL(21)은, 동일한 컴퓨터에 인 스톨되어 있지만, 양자를 다른 컴퓨터에 인스톨하는 것으로 하여도 된다. 이 경우, 스크린 플러그(22)는, 타깃 APL(23)이 인스톨되는 컴퓨터에 구비되는 것으로 된다. 이 경우도, 처리의 수순은 상기와 같다.

또한, 상기 설명에서, 제휴 결과 정보는, 타깃 APL(23)로부터 제휴할 데이터를 추출한 화면과 동일 화면 상에 출력되는 것으로 설명했지만, 타깃 APL(23) 중의 데이터를 추출한 화면과 다른 화면에 출력되는 것으로 하여도 된다. 이 경우, 제휴 결과 정보를 출력하는 화면을 미리 정의할 필요가 있다.

또한, 제휴 결과 정보는, 타깃 APL(23) 이외의 제3 프로그램에 출력되는 것으로 하여도 된다. 이 경우, 출력 방법 정보는, 제3 프로그램을 식별하는 정보를 더 포함하게 된다. 또한, 제휴 결과 정보는, 그 프로그램에서 더 처리되는 것으로 하여도 된다.

다음으로, 제2 실시 형태에 대하여 설명한다. 제1 실시 형태에서, 타깃 APL(23)로부터 추출된 데이터가 제휴 APL(21)에 출력되어 제휴 처리되고, 그 제휴 처리 결과가 타깃 APL(23)에 회신되는 경우에 대해 설명하였다. 이 경우, 데이터는, 타깃 APL(23)로부터 제휴 APL(21)의 방향으로 출력된다. 제2 실시 형태에서는, 타깃 APL과 제휴 APL이 쌍방향으로 데이터를 추출하여, 제휴하는 것을 가능하게 하는 구성에 대하여 설명한다.

도 31에, 제2 실시 형태에 관한 시스템의 구성을 나타낸다. 도 31에 나타낸 바와 같이 타깃 APL(23-1)과 타깃 APL(23-2)이 동일한 컴퓨터에 인스톨되어 있다. 스크린 플러그(22-1)는, 타깃 APL(23-1)의 화면 상에서 제휴할 데이터를 추출하여, 그 데이터를 타깃 APL(23-2)에 출력한다. 그 응답으로서, 스크린 플러그(22-1)는, 타깃 APL(23-2)로부터 제휴 처리의 결과를 받아, 타깃 APL(23-1)에 출력한다. 한편, 스크린 플러그(22-2)는, 타깃 APL(23-2)의 화면 상에서 제휴할 데이터를 추출하여, 그 데이터를 타깃 APL(23-1)에 출력한다. 그 응답으로서, 스크린 플러그(22-2)는, 타깃 APL(23-1)로부터 제휴 처리의 결과를 받아, 타깃 APL(23-2)에 출력한다. 즉, 타깃 APL(23-2)은, 타깃 APL(23-1)의 제휴 APL로 되어 있고, 타깃 APL(23-1)은, 타깃 APL(23-2)의 제휴 APL로 되어 있다. 이로써, 2개의 프로그램간에서 쌍방향으로 데이터를 제휴시키는 것이 가능하게 된다. 이 경우도, 데이터 제휴를 위해 양 프로그램을 개조하는 일은 불필요하다.

또한, 제1 실시 형태의 변형예와 마찬가지로, 타깃 APL(23-1) 및 타깃 APL(23-2)은, 다른 2개의 컴퓨터에 인스톨되는 것으로 하여도 된다. 이 경우, 타깃 APL(23-1)과 스크린 플러그(22-1)는, 한쪽의 컴퓨터에 인스톨되고, 타깃 APL(23-2)과 스크린 플러그(22-2)는, 다른 쪽의 컴퓨터에 인스톨된다.

이상, 본 발명의 실시 형태에 대하여 설명했지만, 본 발명은 상술한 실시 형태에 한정되는 것이 아니라, 그 밖의 다양한 변경이 가능하다.

상기한 바와 같이, 본 발명에 관한 데이터 제휴 기술에 따르면, 기존의 어플리케이션을 개조하지 않고, 기존의 어플리케이션의 표시 화면에 표시되는 정보를, 또 다른 어플리케이션에서 이용하는 것을 가능하게 하는 효과를 발휘한다. 또한, 데이터의 종이 매체에의 출력 및 사람의 손을 이용한 입력 작업도 불필요해지는 효과를 발휘한다.

이상과 같이, 본 발명에 관한 데이터 제휴 기술은, 컴퓨터를 이용하여 처리를 행하는 시스템에 유용하다.

Claims (9)

1. 컴퓨터가, 어플리케이션 프로그램간의 데이터 제휴를 지원하는 데이터 제휴 지원 방법으로서,

   제1 어플리케이션 프로그램으로부터, 하나 이상의 항목의 각각에 대응하여 데이터가 표시된 표시 화면의 화면 이미지 데이터를 취득하고,

   하나 이상의 종별의 화면 각각에 대하여 정의된, 표시 화면 중의 하나 이상의 영역을 나타내는 좌표 정보 및 상기 하나 이상의 영역에 각각 표시되는 이미지 데이터를 포함하는 화면 종별 판정 정보에 기초하여, 상기 화면 이미지 데이터로부터 상기 하나 이상의 영역에 각각 표시되는 이미지 데이터를 잘라내고, 잘라낸 이미지 데이터와 상기 화면 종별 판정 정보에 포함되는 이미지 데이터가 일치하는지의 여부를 상기 하나 이상의 영역의 각각에 대하여 판정함으로써, 상기 표시 화면이 상기 하나 이상의 종별 중 어느 종별인지를 식별하고,

   상기 식별된 표시 화면의 상기 화면 이미지 데이터로부터, 상기 항목 중, 제2 어플리케이션 프로그램에 의한 처리에 이용되는 항목으로서 상기 식별된 종별에 대응하여 미리 지정된 항목에 대응하고, 상기 항목에 따라 미리 지정된 데이터 속성에 따른 처리 모드의 처리에 의하여 획득된 상기 데이터 속성을 갖는 데이터로 이루어지는 제휴 데이터를 취득하고,

   상기 제휴 데이터를 상기 제2 어플리케이션 프로그램에 출력하는 것

   을 포함하는 것을 특징으로 하는 데이터 제휴 지원 방법.
2. 삭제
3. 제1항에 있어서,

   표시 화면 중의 영역을 나타내는 좌표 정보 및 상기 영역에 표시되는 데이터의 데이터 속성을 나타내는 데이터 속성 정보를 포함하는 인식 항목 정보에 기초하여, 상기 화면 이미지 데이터로부터 상기 영역에 표시되는 데이터를 잘라내고, 잘라낸 데이터를 상기 데이터 속성 정보에 기초하여 인식하는 것을 더 포함하고,

   상기 제휴 데이터는, 인식 결과로서 취득되는 것을 특징으로 하는 데이터 제휴 지원 방법.
4. 제1항에 있어서,

   상기 제2 어플리케이션 프로그램에 의해서 처리된 상기 제휴 데이터는, 상기 제1 어플리케이션 프로그램에 출력되는 것을 더 포함하는 것을 특징으로 하는 데이터 제휴 지원 방법.
5. 제1항에 있어서,

   표시 화면 중의 영역을 나타내는 좌표 정보를 포함하는 출력 방법 정보에 기초하여, 상기 제2 어플리케이션 프로그램에 의해서 처리된 상기 제휴 데이터는, 상기 제1 어플리케이션 프로그램의 표시 화면 중의 상기 영역에 출력되는 것을 더 포함하는 것을 특징으로 하는 데이터 제휴 지원 방법.
6. 삭제
7. 컴퓨터에 어플리케이션 프로그램간의 데이터 제휴를 지원하는 제어를 실행시키는 프로그램을 기록하는, 상기 컴퓨터로 판독 가능한 기록 매체로서,

   제1 어플리케이션 프로그램으로부터, 하나 이상의 항목의 각각에 대응하여 데이터가 표시된 표시 화면의 화면 이미지 데이터를 취득하고,

   하나 이상의 종별의 화면 각각에 대하여 정의된, 표시 화면 중의 하나 이상의 영역을 나타내는 좌표 정보 및 상기 하나 이상의 영역에 각각 표시되는 이미지 데이터를 포함하는 화면 종별 판정 정보에 기초하여, 상기 화면 이미지 데이터로부터 상기 하나 이상의 영역에 각각 표시되는 이미지 데이터를 잘라내고, 잘라낸 이미지 데이터와 상기 화면 종별 판정 정보에 포함되는 이미지 데이터가 일치하는지의 여부를 상기 하나 이상의 영역의 각각에 대하여 판정함으로써, 상기 표시 화면이 상기 하나 이상의 종별 중 어느 종별인지를 식별하고,

   상기 식별된 표시 화면의 상기 화면 이미지 데이터로부터, 상기 항목 중, 제2 어플리케이션 프로그램에 의한 처리에 이용되는 항목으로서 상기 식별된 종별에 대응하여 미리 지정된 항목에 대응하고, 상기 항목에 따라 미리 지정된 데이터 속성에 따른 처리 모드의 처리에 의하여 획득된 상기 데이터 속성을 갖는 데이터로 이루어지는 제휴 데이터를 취득하고,

   상기 제휴 데이터를 상기 제2 어플리케이션 프로그램에 출력하는

   것을 포함하는 제어를 상기 컴퓨터에 실행시키는 프로그램을 저장한 기록 매체.
8. 삭제
9. 어플리케이션 프로그램간의 데이터 제휴를 지원하는 데이터 제휴 지원 장치로서,

   제1 어플리케이션 프로그램으로부터, 하나 이상의 항목의 각각에 대응하여 데이터가 표시된 표시 화면의 화면 이미지 데이터를 취득하는 표시 화면 취득 수단과,

   하나 이상의 종별의 화면 각각에 대하여 정의된, 표시 화면 중의 하나 이상의 영역을 나타내는 좌표 정보 및 상기 하나 이상의 영역에 각각 표시되는 이미지 데이터를 포함하는 화면 종별 판정 정보에 기초하여, 상기 화면 이미지 데이터로부터 상기 하나 이상의 영역에 각각 표시되는 이미지 데이터를 잘라내고, 잘라낸 이미지 데이터와 상기 화면 종별 판정 정보에 포함되는 이미지 데이터가 일치하는지의 여부를 상기 하나 이상의 영역의 각각에 대하여 판정함으로써, 상기 표시 화면이 상기 하나 이상의 종별 중 어느 종별인지를 식별하는 식별수단과,

   취득되어 상기 종별이 식별된 상기 화면 이미지 데이터로부터, 상기 항목 중, 제2 어플리케이션 프로그램에 의한 처리에 이용되는 항목으로서 상기 식별된 종별에 대응하여 미리 지정된 항목에 대응하고, 상기 항목에 따라 미리 지정된 데이터 속성에 따른 처리 모드의 처리에 의하여 획득된 상기 데이터 속성을 갖는 데이터로 이루어지는 제휴 데이터를 취득하는 항목 정보 취득 수단과,

   취득된 상기 제휴 데이터를 상기 제2 어플리케이션 프로그램에 출력하는 제휴 처리 수단

   을 구비하는 것을 특징으로 하는 데이터 제휴 지원 장치.

Images