KR102393926B1 - 이미지 검색 기반의 가공 이미지 및 설명 생성 방법, 정보 관리 시스템, 이를 위한 컴퓨터 프로그램 - Google Patents

Abstract

본 발명은 이미지 검색 기반의 가공 이미지 및 설명 생성 방법, 정보 관리 시스템, 이를 위한 컴퓨터 프로그램에 관한 것이다.
본 발명의 실시예에 따르면, 문서 파일로부터 추출한 도표 이미지와 이미지 관련 설명을 저장한 DB에 기반하여, 이미지를 검색하고 가공하여 사용자가 원하는 형태로 가공 이미지를 생성하고 가공 이미지에 관한 설명을 생성하도록 구성된 이미지 검색 기반의 가공 이미지 및 설명 생성 방법, 정보 관리 시스템, 이를 위한 컴퓨터 프로그램이 개시된다.

Description

이미지 검색 기반의 가공 이미지 및 설명 생성 방법, 정보 관리 시스템, 이를 위한 컴퓨터 프로그램 {Generating method of processed image and descriptions based on image search, information management system, and computer program therefor}

본 발명은 이미지 검색 기반의 가공 이미지 및 설명 생성 방법, 정보 관리 시스템, 이를 위한 컴퓨터 프로그램에 관한 것으로서, 문서 파일로부터 추출한 도표 이미지와 이미지 관련 설명을 저장한 DB에 기반하여, 이미지를 검색하고 가공하여 사용자가 원하는 형태로 가공 이미지를 생성하고 가공 이미지에 관한 설명을 생성하도록 구성된 이미지 검색 기반의 가공 이미지 및 설명 생성 방법, 정보 관리 시스템, 이를 위한 컴퓨터 프로그램에 관한 것이다.

인터넷을 통해 검색한 문서 파일로부터 이미지, 텍스트를 추출하고 이를 가공 변환하여 사용하고자 하는 기술적 시도들이 있었다.

관련된 종래기술의 일예로, 대한민국 공개특허 10-2006-0101803 (2006년09월26일)는 동적 열람이 가능한 전자 문서의 제작 및 열람 방법에 관한 것으로서, 각종 원본전자 문서 또는 원본이미지를 온/오프라인 환경에서 플랫폼에 독립적으로 열람할 수 있도록 변환하는 방법 및 이를 지원하는 문서 포맷을 제공하는 구성을 제안하였다.

또다른 종래기술의 일예로, 대한민국 공개특허 10-2007-0034343 (2007년03월28일)는 이미지파일의 내용검색이 가능한 전자문서 전환 장치에 관한 것으로서, 종이문서를 데이터베이스화함에 있어 이미지와 히든 텍스트로 구성하여 내용 검색이 가능하고, 응용프로그램에 관계없이 어느 단말기에서도 뷰잉이 가능한 이미지파일의 내용검색이 가능한 전자문서 전환 장치를 제안하였다.

또다른 종래기술의 일예로, 대한민국 공개특허 10-2009-0039323 (2009년04월22일)는 정보분석형 도표 컨텐츠 추출 및 생성을 위한 시스템 및 그 방법에 관한 것으로서, 인터넷 상의 각종 문서형 파일에서 그림이나 표로 된 부분을 선택적으로 추출하여 그림이나 표를 전문적으로 검색하고 활용할 수 있도록 데이터베이스의 각 레코드를 자동으로 생성하기에 적당하도록 한 정보분석형 도표 컨텐츠 추출 및 생성을 위한 시스템 및 그 방법을 제안하였다.

그러나 종래기술들은 문서파일에 포함된 이미지 및/또는 텍스트의 검색/열람의 편의성을 높이기 위해 데이터베이스화하는 구성에 주안점을 두었으며, 데이터베이스화된 이미지 및/또는 텍스트를 활용하는 구성을 제안하지는 않았다.

대한민국 공개특허 10-2006-0101803 (2006년09월26일) 대한민국 공개특허 10-2007-0034343 (2007년03월28일) 대한민국 공개특허 10-2009-0039323 (2009년04월22일)

본 발명은 상기와 같은 문제점을 감안하여 안출한 것으로서, 문서 파일로부터 추출한 도표 이미지와 이미지 관련 설명을 저장한 DB에 기반하여, 이미지를 검색하고 가공하여 사용자가 원하는 형태로 가공 이미지를 생성하고 가공 이미지에 관한 설명을 생성하도록 구성된 이미지 검색 기반의 가공 이미지 및 설명 생성 방법, 정보 관리 시스템, 이를 위한 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.

상기 목적을 감안한 본 발명의 일 측면에 따르면, 정보 관리 시스템이 이미지 파일을 검색하고 가공하여 가공 이미지를 생성하는 방법으로서, 1) 사용자 클라이언트로부터 입력된 키워드에 기초하여 이미지 메타정보 DB에 검색 질의를 하여 도표 이미지를 검색하는 단계- 상기 이미지 메타정보 DB는 문서 파일로부터 추출한 도표 이미지 및 이미지 관련 설명을 저장한 DB임-; 2) 하나 이상의 검색된 도표 이미지를 사용자 클라이언트로 제공하고, 상기 제공한 도표 이미지에 기초하여 가공 이미지 생성에 이용할 하나 이상의 도표 이미지를 선택 입력받는 단계; 3) 선택 입력된 하나 이상의 도표 이미지를 분석하여 이미지 가공을 위한 분석 데이터를 추출하는 단계; 4) 사용자 클라이언트로부터 입력된 이미지 가공 명령에 따라 상기 분석 데이터를 이용하여 가공 이미지를 생성하는 단계; 및 5) 상기 이미지 메타정보 DB에 저장된 이미지 관련 설명을 이용하여 가공 이미지에 관한 설명을 생성하는 단계;를 포함하여 구성된 이미지 검색 기반의 가공 이미지 및 설명 생성 방법이 개시된다.

바람직하게, 상기 이미지 메타정보 DB의 구성은, 11) 수집된 문서 파일을 대상으로 문서 레이아웃을 탐지하는 단계; 12) 문서 레이아웃을 구성하는 도표 이미지를 추출하는 단계; 13) 추출된 도표 이미지에 대한 이미지 관련 설명을 추출하는 단계; 및 14) 추출된 도표 이미지의 메타정보, 이미지 관련 설명을 이미지 메타정보 DB에 저장하고, 추출된 도표 이미지는 이미지 저장소에 저장하는 단계;를 포함하여 구성된다.

바람직하게, 상기 13)단계에서 상기 이미지 관련 설명을 추출하는 것은, 상기 12)단계에서 추출한 도표 이미지의 영역과 가장 인접한 텍스트 영역을 해당 도표 이미지의 캡션(Caption) 영역으로 지정하여 해당 도표 이미지에 대한 이미지 관련 설명으로서 추출한다.

바람직하게, 상기 13)단계에서 상기 이미지 관련 설명을 추출하는 것은, 상기 12)단계에서 도표 이미지를 추출한 문서 페이지의 텍스트 영역 중 해당 도표 이미지의 도표 식별 번호와 동일한 텍스트를 포함하는 텍스트 영역을 해당 도표 이미지에 대한 이미지 관련 설명으로서 추출한다.

바람직하게 본 발명은, 상기 2)단계에서, 가공 이미지 생성에 이용할 2 이상의 도표 이미지를 함께 선택 입력받으며, 상기 3)단계에서, 선택 입력된 2 이상의 도표 이미지를 분석하여 각각의 도표 이미지로부터 이미지 가공을 위한 분석 데이터를 각각 추출하며, 상기 4)단계에서, 각각의 도표 이미지로부터 추출한 각각의 분석 데이터를 함께 이용하여 하나의 가공 이미지를 생성한다.

바람직하게, 상기 3)단계에서 도표 이미지를 분석하여 분석 데이터를 추출하는 것은, 31) 도표 이미지의 유형을 분석하는 단계; 32) 도표 이미지에 포함된 도표의 좌표축을 감지하는 단계: 33) 도표의 축 제목, 데이터 레이블, 데이터 값, 범례에 관한 정보를 분석 데이터로서 추출하는 단계: 및 34) 추출된 분석 데이터를 포함하는 데이터 테이블을 생성하는 단계;를 포함하여 구성된다.

바람직하게, 상기 분석 데이터는 데이터 테이블 형태로 구성되며, 상기 4)단계에서 상기 가공 이미지를 생성하는 것은, 분석 데이터가 포함된 데이터 테이블의 테이블 구조가 변경된 가공 데이터 테이블을 생성하고, 상기 가공 데이터 테이블에 기초하여 가공 이미지를 생성한다.

바람직하게, 상기 분석 데이터는 데이터 테이블 형태로 구성되며, 상기 4)단계에서 상기 가공 이미지를 생성하는 것은, 분석 데이터가 포함된 2 이상의 데이터 테이블을 이용하여 하나의 가공 데이터 테이블을 생성하고, 상기 가공 데이터 테이블에 기초하여 가공 이미지를 생성한다.

바람직하게, 상기 분석 데이터는 데이터 테이블 형태로 구성되며, 상기 4)단계에서 상기 가공 이미지를 생성하는 것은, 분석 데이터가 포함된 데이터 테이블의 데이터를 가공하여 가공 데이터를 생성하고, 상기 가공 데이터가 포함된 가공 데이터 테이블을 생성하고, 상기 가공 데이터 테이블에 기초하여 가공 이미지를 생성한다.

바람직하게, 상기 5)단계에서, 가공 이미지에 관한 설명을 생성하는 것은, 가공 이미지 생성에 이용할 2 이상의 도표 이미지에 각각 기초하여 추출되어 이미지 메타정보 DB에 저장된 각각의 이미지 관련 설명을 요약문 생성기를 이용하여 결합하여 가공 이미지에 관한 설명을 생성한다.

바람직하게, 상기 분석 데이터는 데이터 테이블 형태로 구성되며, 상기 가공 이미지는 상기 데이터 테이블에 기초하여 생성된 도표 이미지이며, 상기 5)단계에서, 가공 이미지에 관한 설명을 생성하는 것은, 사용자 클라이언트로부터 선택 입력된 설명 스타일에 기초하여 상기 데이터 테이블에 포함된 분석 데이터에 관한 설명을 생성한다.

바람직하게, 상기 데이터 테이블은 수치 데이터에 관한 데이터 테이블이며, 상기 선택 입력된 설명 스타일은, 상기 데이터 테이블에 포함된 하나의 수치 데이터를 설명하는 단일형 스타일, 상기 데이터 테이블에 포함된 2 이상의 수치 데이터를 나열하여 설명하는 나열형 스타일, 상기 데이터 테이블에 포함된 2 이상의 수치 데이터 중 가장 큰 수치 데이터와 가장 작은 수치 데이터를 설명하는 최대/최소형 스타일, 사용자 입력된 기준 및 비교 대상에 기초하여 상기 데이터 테이블에 포함된 2 이상의 수치 데이터를 비교 설명하는 비교형 스타일, 사용자 입력된 계산 규칙에 기초하여 상기 데이터 테이블에 포함된 2 이상의 수치 데이터를 계산하여 계산 결과값을 설명하는 계산형 스타일 중의 어느 하나이다.

본 발명의 또다른 일 측면에 따르면, 하나 이상의 명령을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서를 포함하고, 상기 프로세서는, 사용자 클라이언트로부터 입력된 키워드에 기초하여 이미지 메타정보 DB에 검색 질의를 하여 도표 이미지를 검색하고- 상기 이미지 메타정보 DB는 문서 파일로부터 추출한 도표 이미지 및 이미지 관련 설명을 저장한 DB임-; 하나 이상의 검색된 도표 이미지를 사용자 클라이언트로 제공하고, 상기 제공한 도표 이미지에 기초하여 가공 이미지 생성에 이용할 하나 이상의 도표 이미지를 선택 입력받으며; 선택 입력된 하나 이상의 도표 이미지를 분석하여 이미지 가공을 위한 분석 데이터를 추출하고; 사용자 클라이언트로부터 입력된 이미지 가공 명령에 따라 상기 분석 데이터를 이용하여 가공 이미지를 생성하며; 상기 이미지 메타정보 DB에 저장된 이미지 관련 설명을 이용하여 가공 이미지에 관한 설명을 생성하는 것;을 특징으로 하는 정보 관리 시스템이 개시된다.

본 발명의 또다른 일 측면에 따르면, 하나 이상의 명령을 저장하는 메모리와 상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서를 포함하는 하드웨어와 결합되어 이미지 검색 기반의 가공 이미지 및 설명 생성 방법을 실행하도록 매체에 저장된 컴퓨터 프로그램으로서, 상기 이미지 검색 기반의 가공 이미지 및 설명 생성 방법은, 사용자 클라이언트로부터 입력된 키워드에 기초하여 이미지 메타정보 DB에 검색 질의를 하여 도표 이미지를 검색하는 단계- 상기 이미지 메타정보 DB는 문서 파일로부터 추출한 도표 이미지 및 이미지 관련 설명을 저장한 DB임-; 하나 이상의 검색된 도표 이미지를 사용자 클라이언트로 제공하고, 상기 제공한 도표 이미지에 기초하여 가공 이미지 생성에 이용할 하나 이상의 도표 이미지를 선택 입력받는 단계; 선택 입력된 하나 이상의 도표 이미지를 분석하여 이미지 가공을 위한 분석 데이터를 추출하는 단계; 사용자 클라이언트로부터 입력된 이미지 가공 명령에 따라 상기 분석 데이터를 이용하여 가공 이미지를 생성하는 단계; 및 상기 이미지 메타정보 DB에 저장된 이미지 관련 설명을 이용하여 가공 이미지에 관한 설명을 생성하는 단계;를 포함하여 구성된 것을 특징으로 하는 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램이 개시된다.

이와 같은 본 발명은, 문서 파일로부터 추출한 도표 이미지와 이미지 관련 설명을 저장한 DB에 기반하여, 사용자가 원하는 형태의 가공 이미지 및 가공 이미지에 관한 설명을 생성하여 제공하는 장점이 있다.

특히 본 발명은, 사용자가 작성 하고자 하는 문서의 형태에 알맞은 이미지와 설명을 가공하여 생성시킬수 있으므로, 복수개의 문서를 토대로 하는 분석/동향 보고서 작성의 소요 시간을 줄일 수 있게 한다.

도 1은 본 발명의 일실시예에 따른 이미지 검색 기반의 가공 이미지 및 설명 생성 방법이 실행되는 전체 시스템 구성도,
도 2는 본 발명의 일실시예에 따른 정보 관리 시스템의 구성도,
도 3은 본 발명의 일실시예에 따른 정보 관리 시스템의 하드웨어 관점의 모식도,
도 4는 본 발명의 일실시예에 따른 이미지 검색 기반의 가공 이미지 및 설명 생성 방법의 흐름도,
도 5 내지 도 14은 본 발명의 실시예에 따른 이미지 검색 기반의 가공 이미지 및 설명 생성 방법을 설명하기 위한 모식도이다.

본 발명은 그 기술적 사상 또는 주요한 특징으로부터 벗어남이 없이 다른 여러가지 형태로 실시될 수 있다. 따라서, 본 발명의 실시예들은 모든 점에서 단순한 예시에 지나지 않으며 한정적으로 해석되어서는 안 된다.

제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다.

본 출원에서 사용한 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구비하다", "가지다" 등의 용어는 명세서에 기재된 구성요소 또는 이들의 조합이 존재하는 것을 표현하려는 것이지, 다른 구성요소 또는 특징이 존재 또는 부가될 가능성을 미리 배제하는 것은 아니다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.

도 1은 본 발명의 일실시예에 따른 이미지 검색 기반의 가공 이미지 및 설명 생성 방법이 실행되는 전체 시스템 구성도, 도 2는 본 발명의 일실시예에 따른 정보 관리 시스템의 구성도, 도 3은 본 발명의 일실시예에 따른 정보 관리 시스템의 하드웨어 관점의 모식도이다.

본 발명의 일실시예에 따른 이미지 검색 기반의 가공 이미지 및 설명 생성 방법은 네트워크(10)를 통해 문서정보 웹 서버(2000)와 연결된 정보 관리 시스템(1000)에서 실행된다.

본 실시예의 정보 관리 시스템(1000)은 네트워크(10)를 통해 사용자 클라이언트(3000) 및 관리자 클라이언트(4000)와 연동한다.

상기 정보 관리 시스템(1000)은 네트워크(10)를 통해 문서정보 웹 서버(2000)에서 운영하는 웹사이트에 접속하여 문서 파일을 수집하고, 문서 파일에 포함된 이미지를 가공하여 가공 이미지를 생성하며, 사용자 클라이언트(3000)를 통해 가공 이미지를 제공한다. 일예로, 문서 파일은 각종 정책 정보 문서, 논문, 동향 보고서 등이 될 수 있으며, 문서 파일에 포함된 이미지는 도표 이미지일 수 있다.

도표는 여러 가지 자료를 분석하여 그 관계를 일정한 양식의 그림으로 나타낸 표를 말하며, 그림(diagram), 그래프(graph), 차트(chart)를 포함한다. 일반적으로 도표는 수치 데이터를 포함하는 데이터 테이블에 기초하여 작성될 수 있다.

도표는 다양한 유형으로 작성될 수 있으며, 예를 들어, 세로 막대형, 꺾은 선형, 원형, 가로 막대형, 영역형, 분산형, 표면형, 도넛형, 거품형, 방사형 등의 다양한 데이터 표시 형태를 가질 수 있으며, 2차원 또는 3차원의 표시 형태를 가질 수 있다. 이러한 다양한 도표의 유형은 마이크로소프트 엑셀(Microsoft Excel)과 같은 다양한 상용 프로그램을 통해 널리 알려져 있다.

일예로, 도표는 데이터값을 표시하기 위해 하나 이상의 좌표축을 포함하며, 일반적으로 좌표축의 축 제목, 데이터 레이블, 데이터 값, 범례에 관한 정보를 포함하여 구성된다.

상기 정보 관리 시스템(1000)은 사용자 클라이언트(3000)를 통해 가공 이미지 생성을 위한 사용자 입력 환경을 제공한다.

사용자 클라이언트(3000)는 정보 관리 시스템(1000)에 인터넷 또는 인트라넷 등의 네트워크(10)를 통해 접속하여 이미지 검색 기반의 가공 이미지 및 설명 생성 서비스를 이용하는 사용자의 클라이언트이다. 사용자는 통상의 사용자 회원 등록 프로세스를 통해 정보 관리 시스템(1000)에 등록된 사용자일 수 있으며, 다만 이에 한정되는 것은 아니다.

관리자 클라이언트(4000)는 정보 관리 시스템(1000)에 인터넷 또는 인트라넷 등의 네트워크(10)를 통해 접속하여, 이미지 검색 기반의 가공 이미지 및 설명 생성 서비스를 구현하기 위한 데이터 관리 및 사용자 등록 관리 등을 실행하는 관리자의 클라이언트이다.

상기 사용자 클라이언트(3000) 및 관리자 클라이언트(4000)는 통신 모듈 및 웹브라우징 소프트웨어가 구비되어 웹사이트에 접속가능 하도록 구성되는 PC, 스마트폰, 태블릿 등으로 이해될 수 있으며, 문자 및 이미지 표시 기능과 입력 기능을 수행할 수 있다.

일예로, 상기 문서정보 웹 서버(2000)는 정부기관, 정부산하기관, 공공기관, 연구기관 및 대학 등에서 운영하는 문서정보 제공용 웹사이트를 운영하는 서버이다.

도 2에 도시된 바와 같이, 본 실시예의 정보 관리 시스템(1000)은 기능적 관점에서, 문서정보 제공용 웹사이트에 접속하여 문서 파일을 수집하고 관리하는 문서파일 관리 모듈(102), 수집한 문서 파일로부터 도표 이미지의 메타정보와 이미지 관련 설명을 추출하여 이미지 메타정보 DB(122)에 저장하고 도표 이미지를 추출하여 이미지 저장소에 저장하고 관리하는 이미지 정보 관리 모듈(104), 가공 이미지 생성을 위한 이미지 검색과 이미지 선택, 이미지 가공 등의 사용자 입력 처리를 실행하는 사용자 입력 처리 모듈(106), 도표 이미지를 분석하여 이미지 가공을 위한 분석 데이터를 추출하고 분석 데이터를 가공 처리하는 분석 데이터 처리 모듈(108), 분석 데이터를 이용하여 가공 이미지를 생성하는 가공 이미지 생성 모듈(110), 이미지 메타정보 DB(122)에 저장된 이미지 관련 설명을 이용하여 가공 이미지에 관한 설명을 생성하는 설명 생성 모듈(112)을 포함하며, 도시되지는 않았지만 시스템 운영 전반을 관리하며 상기 문서정보 웹 서버(2000)와 사용자 클라이언트(3000)와의 네트워크(10)를 통한 통신 기능을 제공할 수 있도록 하는 운영 모듈을 포함한다.

또한, 상기 정보 관리 시스템(1000)은, 문서 파일로부터 추출된 도표 이미지의 메타정보와 이미지 관련 설명을 저장하고 관리하는 이미지 메타정보 DB(122), 문서 파일로부터 추출된 도표 이미지를 저장하고 관리하는 이미지 저장소(124), 도표 이미지를 분석하여 추출된 분석 데이터를 저장하고 관리하는 분석 데이터 저장소(126), 생성된 가공 이미지를 저장하고 관리하는 가공 이미지 저장소(128), 생성된 설명을 저장하고 관리하는 설명 저장소(130)를 포함하며, 도시되지는 않았지만 사용자 정보를 저장하고 각각의 사용자의 로그 기록 등을 저장, 관리하는 사용자 데이터베이스(미도시)를 포함한다.

도 3을 참조하면 하드웨어적 관점에서, 본 실시예의 정보 관리 시스템(1000)은 하나 이상의 명령을 저장하는 메모리(2) 및 상기 메모리(2)에 저장된 상기 하나 이상의 명령을 실행하는 프로세서(4)를 포함하며, 이미지 검색 기반의 가공 이미지 및 설명 생성 방법을 실행하도록 매체에 저장된 컴퓨터 프로그램이 실행되는 컴퓨팅 장치이다. 본 실시예의 정보 관리 시스템(1000)은 데이터 입출력 인터페이스(6)와 통신 인터페이스(8), 데이터 표시 수단(3), 데이터 저장 수단(5)을 더욱 포함할 수 있다.

도 4는 본 발명의 일실시예에 따른 이미지 검색 기반의 가공 이미지 및 설명 생성 방법의 흐름도, 도 5 내지 도 14은 본 발명의 실시예에 따른 이미지 검색 기반의 가공 이미지 및 설명 생성 방법을 설명하기 위한 모식도이다.

사용자는 수집된 대량의 문서를 대상으로 검색하고자 하는 핵심 키워드를 입력하고, 정보 관리 시스템(1000)은 해당 키워드의 내용을 분석하여 저장된 이미지 중에 관련 이미지를 보여주고, 사용자는 사용할 이미지만을 선택하여 가공할 수 있다.

1)단계에서 정보 관리 시스템(1000)은, 사용자 클라이언트(3000)로부터 입력된 키워드에 기초하여 이미지 메타정보 DB(122)에 검색 질의(search query)를 하여 도표 이미지를 검색한다.

바람직하게, 1)단계에서는 사용자 입력 키워드를 기반으로 관련 키워드를 확장하여 이미지 메타정보 DB(122)에 검색 질의를 보내어, 관련된 키워드의 이미지를 검색할 수 있다. 예를 들어, "자동자 배터리"라는 키워드가 사용자 입력된 경우, 관련 키워드로서 "전기차, 반도체, 배터리, 자동차" 등의 관련 키워드로 확장하여 키워드 검색 결과를 도출할 수 있다(도 5 참조). 일예로, 이러한 관련 키워드는 정보 관리 시스템(1000)에서 관련 키워드 사전 형태로 관리되어 확장 제공될 수 있다. 검색 결과에 대해, 문서의 출처, 연도, 국가 등의 추가 필터링을 통해 사용자는 자신이 원하는 이미지들을 추려낼 수 있다.

상기 이미지 메타정보 DB(122)는 문서 파일로부터 추출한 도표 이미지 및 이미지 관련 설명을 저장한 DB이다.

일예로, 상기 이미지 메타정보 DB(122)는 다음과 같이 구성될 수 있다.

11)단계에서 정보 관리 시스템(1000)은, 수집된 문서 파일을 대상으로 문서 레이아웃을 탐지한다(도 6 참조). 일예로, 문서 파일은 PDF 형식을 포함하는 다양한 문서 형식을 포함할 수 있다. 문서 파일의 수집은 예를 들어, 미리 설정된 키워드에 기초하여 웹크롤링 방식으로 이뤄질 수 있다.

예를 들어, 수집된 문서 파일에 대해 이미지 객체탐지 모델인 Mask-RCNN 모델을 사용하여 Title, Text, List, Figure, Table의 영역을 탐지할 수 있다. Transformer 계열의 알고리즘 또는 다른 계열의 알고리즘이 사용될 수도 있다.

12)단계에서 정보 관리 시스템(1000)은, 문서 레이아웃을 구성하는 도표 이미지를 추출한다.

예를 들어, 이미지 추출은 객체 탐지 기법을 통해 탐지된 Figure, Table의 영역에 대해 OpenCV의 trim 기법을 사용해 Figure/Table을 추출할 수 있다.

13)단계에서 정보 관리 시스템(1000)은, 추출된 도표 이미지에 대한 이미지 관련 설명을 추출한다.

일예로, 상기 13)단계에서 상기 이미지 관련 설명을 추출하는 것은, 상기 12)단계에서 추출한 도표 이미지의 영역과 가장 인접한 텍스트 영역을 해당 도표 이미지의 캡션(Caption) 영역으로 지정하여 해당 도표 이미지에 대한 이미지 관련 설명으로서 추출하는 방식으로 구성될 수 있다.

다른예로, 상기 13)단계에서 상기 이미지 관련 설명을 추출하는 것은, 상기 12)단계에서 도표 이미지를 추출한 문서 페이지의 텍스트 영역 중 해당 도표 이미지의 도표 식별 번호(예, 표 1, 그림 1, Figure 1, Table 1)와 동일한 텍스트를 포함하는 텍스트 영역을 해당 도표 이미지에 대한 이미지 관련 설명으로서 추출하는 방식으로 구성될 수 있다. 텍스트 영역은 문장 또는 단락 등의 형태로 설정될 수 있다.

14)단계에서 정보 관리 시스템(1000)은, 추출된 도표 이미지의 메타정보, 이미지 관련 설명을 이미지 메타정보 DB(122)에 저장하고, 추출된 도표 이미지는 이미지 저장소에 저장한다.

예를 들어, 각각의 도표 이미지의 메타정보인 Figure/Table의 caption, 각 Figure/Table의 설명문, 문서의 제목, 기관명은 검색 가능하도록 검색 엔진의 Text type의 field에 저장된다.

Figure/Table의 저장경로는 검색에 사용하지 않고 형태소 분석이 필요가 없으므로 Keyword type의 field에 색인이 되며, 추출된 Figure/Table의 이미지는 별도의 저장공간에 image 파일로 저장이 된다.

2)단계에서 정보 관리 시스템(1000)은, 하나 이상의 검색된 도표 이미지를 사용자 클라이언트(3000)로 제공하고, 상기 제공한 도표 이미지에 기초하여 가공 이미지 생성에 이용할 하나 이상의 도표 이미지를 선택 입력받는다.

바람직하게, 정보 관리 시스템(1000)은, 상기 2)단계에서 가공 이미지 생성에 이용할 2 이상의 도표 이미지를 함께 선택 입력받고, 3)단계에서 선택 입력된 2 이상의 도표 이미지를 분석하여 각각의 도표 이미지로부터 이미지 가공을 위한 분석 데이터를 각각 추출하며, 4)단계에서 각각의 도표 이미지로부터 추출한 각각의 분석 데이터를 함께 이용하여 하나의 가공 이미지를 생성할 수 있다.

본 실시예에서는, 상기 2)단계에서 2 이상의 도표 이미지를 함께 선택 입력받고, 이에 기초하여 가공 이미지 및 설명을 생성하는 경우를 예시 설명한다.

예를 들어, 도 5와 같이 "자동자 배터리"라는 키워드를 확장하여 "전기차, 반도체, 배터리, 자동차"등의 관련 키워드로 이미지 검색하여 나온 결과 이미지들을 썸네일 형식으로 보여주고, 도 7과 같이 사용자가 "전기차" 와 관련한 2 이상의 도표 이미지를 클릭하여 선택한 2 이상의 도표 이미지에 대한 정보를 제공한다.

도표 이미지에 대한 정보는 선택된 도표 이미지의 문서 파일로부터 추출된 이미지 관련 설명을 해당 도표 이미지와 함께 표시하는 방식으로 제공될 수 있다(도 8).

도표 이미지들은 함께 여러 개의 선택 입력이 가능하다. 여러 개의 선택이 가능하다는 것은 여러 도표 이미지를 한 번에 가공하고 설명을 생성할 수 있음을 의미한다. 즉, 단순히 하나의 도표 이미지를 분석하는 것이 아니라 여러 이미지를 분석하여 하나의 가공된 결과로 제공할 수 있다.

3)단계에서 정보 관리 시스템(1000)은, 선택 입력된 하나 이상의 도표 이미지를 분석하여 이미지 가공을 위한 분석 데이터를 추출한다. 바람직하게, 상기 분석 데이터는 데이터 테이블 형태로 구성된다. 도 9는 도표 이미지를 분석하여 데이터 테이블 형태의 분석 데이터를 추출한 상태를 예시한다.

일예로, 상기 3)단계에서 도표 이미지를 분석하여 분석 데이터를 추출하는 것은 다음과 같이 구성될 수 있다(도 10 참조).

31)단계에서 정보 관리 시스템(1000)은, 도표 이미지의 유형을 분석한다.

일예로, 도표 이미지의 유형은 세로 막대형, 꺾은 선형, 원형, 가로 막대형, 영역형, 분산형, 표면형, 도넛형, 거품형, 방사형 등의 다양한 데이터 표시 형태를 가질 수 있으며, 2차원 또는 3차원의 표시 형태를 가질 수 있다.

예를 들어, 도표 이미지의 유형 분석은 미리 학습된 머신 러닝 모델, 또는 객체 분류 모델 등을 통해 이뤄질 수 있다.

일예로, 도표는 데이터값을 표시하기 위해 하나 이상의 좌표축을 포함하며, 좌표축(x축, y축)의 축 제목, 데이터 레이블(데이터 구분 정보), 데이터 값(데이터 값 정보), 범례(차트 요소 정보)에 관한 정보를 포함하여 구성된다.

32)단계에서 정보 관리 시스템(1000)은, 도표 이미지에 포함된 도표의 좌표축을 감지한다.

33)단계에서 정보 관리 시스템(1000)은, 도표의 축 제목, 데이터 레이블, 데이터 값, 범례에 관한 정보를 분석 데이터로서 추출한다.

34)단계에서 정보 관리 시스템(1000)은, 추출된 분석 데이터를 포함하는 데이터 테이블을 생성한다.

도 10은 세로 막대형 도표로서, 도 10의 예의 경우 상기 과정은 다음과 같이 구현될 수 있다. x축과 y축을 수평/수직 축으로 구분하고, OCR엔진 AWS Rekognition2(Chinmayee Rane et al, ChartReader: Automatic Parsing of Bar-Plots) 및 Chart OCR(junyu Luo et al, ChartOCR: Data Extraction from Charts Images cia a Deep Hybrid Framework)을 사용하여 텍스트 및 텍스트의 위치를 탐지한다. 그리고 감지된 텍스트를 범례, x축, y축 등으로 필터링한다. 필터링 과정에서 상기 감지한 도표 이미지 유형을 참고한다. 그 후 막대 차트의 픽셀 값과 눈금을 변환하여 데이터 값을 얻는다. 그 결과로 사용자가 원하는 대로 가공할 수 있도록 분석 데이터(x축, y축, 데이터 값 등)를 추출하여 데이터 테이블을 생성한다.

4)단계에서 정보 관리 시스템(1000)은, 사용자 클라이언트(3000)로부터 입력된 이미지 가공 명령에 따라 상기 분석 데이터를 이용하여 가공 이미지를 생성한다.

4)단계는, 3)단계에서 생성된 분석 데이터, 특히 데이터 테이블 형태의 분석 데이터를 사용자가 원하는 바에 따라 가공하고 새로운 가공 이미지를 생성하는 단계이다. 4)단계에서는, 분석 데이터를 이용하여 사용자가 x축, y축을 선택해서 원하는 데이터 구조를 새로이 만들거나 기존의 데이터에서 빠진 부분들을 보강하여 가공 데이터를 생성하고 이에 기초하여 가공 이미지를 생성한다.

일예로, 상기 4)단계에서 상기 가공 이미지를 생성하는 것은, 분석 데이터가 포함된 데이터 테이블의 테이블 구조가 변경된 가공 데이터 테이블을 생성하고, 상기 가공 데이터 테이블에 기초하여 가공 이미지를 생성하는 방식으로 구성될 수 있다.

예를 들어, 3)단계에서 생성된 데이터 테이블의 x축, y축을 상호 교차한 위치로 데이터 테이블을 변경하고 이에 기초하여 가공 이미지를 생성하거나, x축 및/또는 y축을 구성하는 데이터 중 일부만 발췌하여 새로운 데이터 테이블을 생성하고 이에 기초하여 가공 이미지를 생성 수 있다.

다른예로, 상기 4)단계에서 상기 가공 이미지를 생성하는 것은, 분석 데이터가 포함된 2 이상의 데이터 테이블을 이용하여 하나의 가공 데이터 테이블을 생성하고, 상기 가공 데이터 테이블에 기초하여 가공 이미지를 생성하는 방식으로 구성될 수 있다(도 11 참조).

도 11을 예로 들면, 하나의 데이터 테이블은 2016년~2018년까지의 분기별 서버 출하량, QoQ(분기별 비교) 데이터가 포함된 데이터 테이블이고, 또다른 하나의 데이터 테이블은 2020년~2021년까지의 분기별 서버 출하량, QoQ(분기별 비교) 데이터가 포함된 데이터 테이블이다. 이 경우, 2개의 데이터 테이블을 결합하여 2016년~2021년까지의 분기별 서버 출하량, QoQ(분기별 비교) 데이터가 포함된 하나의 데이터 테이블을 생성하고 이에 기초하여 가공 이미지(도표)를 생성할 수 있다.

다른예로, 상기 4)단계에서 상기 가공 이미지를 생성하는 것은, 분석 데이터가 포함된 데이터 테이블의 데이터를 가공하여 가공 데이터를 생성하고, 상기 가공 데이터가 포함된 가공 데이터 테이블을 생성하고, 상기 가공 데이터 테이블에 기초하여 가공 이미지를 생성하는 방식으로 구성될 수 있다. 가공 데이터는 기존의 데이터를 논리 연산 또는 수리 연산 처리하여 생성된 데이터로 이해될 수 있다.

예를 들어, 정책문서의 도표 이미지들은 주로 분기나 기간별로 나타낸 것이 많다. 일예로, 중간에 기간이 건너뛰어 있다면 보간법을 이용하여 예측한 임의의 숫자를 중간 시점의 데이터(가공 데이터)로 삽입하여 수정된 데이터 테이블을 만들고 이에 기초하여 가공 이미지를 생성할 수 있다. 다른예로, 도표 이미지의 분석 데이터가 4개의 분기별로 나누어져 있다면(도 12), 사용자가 원하는 대로 2분기로 줄이거나, 분기별이 아닌 연도별로 수정된 데이터 테이블을 만들고 이에 기초하여 가공 이미지를 생성할 수 있다(도 13).

5)단계에서 정보 관리 시스템(1000)은, 상기 이미지 메타정보 DB(122)에 저장된 이미지 관련 설명을 이용하여 가공 이미지에 관한 설명을 생성한다.

일예로, 상기 분석 데이터는 데이터 테이블 형태로 구성되며(도 14 참조), 상기 가공 이미지는 상기 데이터 테이블에 기초하여 생성된 도표 이미지일 수 있다. 특히, 상기 데이터 테이블은 수치 데이터에 관한 데이터 테이블일 수 있다.

2 이상의 도표 이미지에 기초하여 하나의 가공 이미지를 생성하는 경우, 5)단계는 다음과 같이 더욱 상세하게 구성될 수 있다.

일예로, 상기 5)단계에서, 가공 이미지에 관한 설명을 생성하는 것은, 가공 이미지 생성에 이용할 2 이상의 도표 이미지에 각각 기초하여 추출되어 이미지 메타정보 DB(122)에 저장된 각각의 이미지 관련 설명을 요약문 생성기를 이용하여 결합하여 가공 이미지에 관한 설명을 생성하는 방식으로 구성될 수 있다.

예를 들어, 요약문 생성기는 BERT(Bidirectional Encoder Representations from Transformers)와 같은 오픈소스를 사용하여 요약문을 생성하거나, TextRank를 이용하여 요약문을 생성할 수 있다. 요약문 생성기의 구성은 본 발명자에 의해 선출원 등록된 대한민국 등록특허 10-2158352 (2020년09월15일) 등을 통해 공지된 바 있으므로, 상세 설명은 생략한다.

다른예로, 상기 5)단계에서, 가공 이미지에 관한 설명을 생성하는 것은, 사용자 클라이언트(3000)로부터 선택 입력된 설명 스타일에 기초하여 상기 데이터 테이블에 포함된 분석 데이터에 관한 설명을 생성하는 방식으로 구성될 수 있다.

이 경우, 설명의 생성은, 분석 데이터를 포함하는 데이터 테이블을 기반으로 텍스트 생성 모듈의 학습을 통해 설명 생성이 이뤄지도록 하되, 명시적인 Control Code를 입력 받아 Controllable generation을 통해 패턴화된 요약 생성을 하는 방식으로 이뤄질 수 있다.

일예로, 텍스트 생성 모듈은 데이터 테이블과 해당 데이터 테이블의 생성에 이용한 도표 이미지의 이미지 관련 설명을 훈련 데이터로 하고 각각의 설명 스타일별 설명 예문을 목표 데이터로 하여 학습을 하는 방식으로 구성될 수 있다. 학습된 텍스트 생성 모듈은 데이터 테이블의 입력 시에 이미지 메타정보 DB(122)에 저장된 이미지 관련 설명을 이용하여 데이터 테이블에 대한 설명을 생성할 수 있다. 텍스트 생성 모듈은 상술한 정보 관리 시스템(1000)의 설명 생성 모듈(112)의 일부 또는 전부를 구성할 수 있다.

2 이상의 도표 이미지에 기초하여 새로운 설명을 생성하는 경우, 사용자가 원하는 설명 스타일을 입력 설정하여 설명을 생성할 수 있고, 추가적으로 5W1H(Why, Where, What, When, Who, How)에 해당하는 Control Code를 지정/조작하여 설명 생성을 제어할 수 있다.

도 14를 참조하면, 상기 선택 입력되는 설명 스타일은 다음과 같이 다양한 형태로 구성될 수 있다. 도 14는 연간 화장품 판매 장소별 비중을 나타낸 데이터 테이블이다.

단일형 스타일은 상기 데이터 테이블에 포함된 하나의 수치 데이터를 설명한다. 단일형 스타일에 기초하여 도 14에 관한 설명을 생성하는 경우, 예를 들어 '화장품 판매 장소 중 홈쇼핑의 비중은 2019년도에 20%를 차지했다'와 같이 설명이 생성될 수 있다. 도 14가 '화장품 판매 장소'에 관한 데이터 테이블이라는 점은 이미지 메타정보 DB(122)에 저장된 이미지 관련 설명(도 14가 연간 화장품 판매 장소별 비중을 나타낸 데이터 테이블이라는 설명)에 기초하여 파악하고, '홈쇼핑의 비중은 2019년도에 20%를 차지했다'는 점은 데이터 테이블의 행/렬의 제목과 각각의 데이터값에 기초하여 파악하며, 학습된 텍스트 생성 모듈이 이러한 정보에 기초하여 예문과 같은 설명 문장을 생성한다. 설명은 모든 개별 데이터에 대해 생성될 수도 있고, 사용자에 의해 선택된 하나 이상의 데이터에 대해 생성될 수도 있다.

나열형 스타일은 상기 데이터 테이블에 포함된 2 이상의 수치 데이터를 나열하여 설명한다. 나열형 스타일에 기초하여 도 14에 관한 설명을 생성하는 경우, 예를 들어 '화장품 판매 장소 중 홈쇼핑의 비중은 2018년도에 18%, 2019년도에 20%, 2020년도에 30%, 2021년도에 32%를 차지했다'와 같이 설명이 생성될 수 있다.

최대/최소형 스타일은 상기 데이터 테이블에 포함된 2 이상의 수치 데이터 중 가장 큰 수치 데이터와 가장 작은 수치 데이터를 설명한다. 최대/최소형 스타일에 기초하여 도 14에 관한 설명을 생성하는 경우, 예를 들어 '2021년도 면세점과 2018년도 온라인의 비중이 13%로 가장 작다'와 같이 설명이 생성될 수 있다.

비교형 스타일은 사용자 입력된 기준 및 비교 대상에 기초하여 상기 데이터 테이블에 포함된 2 이상의 수치 데이터를 비교 설명한다. 비교형 스타일에 기초하여 도 14에 관한 설명을 생성하는 경우, 예를 들어 '2018년도에는 온라인의 비중이 가장 작았지만, 2021년도에는 온라인의 비중이 가장 커졌다'와 같이 설명이 생성될 수 있다. 즉, '온라인'을 기준으로 2018년도와 2021년도의 수치 데이터를 비교 설명할 수 있다.

계산형 스타일은 사용자 입력된 계산 규칙에 기초하여 상기 데이터 테이블에 포함된 2 이상의 수치 데이터를 계산하여 계산 결과값을 설명한다. 계산형 스타일에 기초하여 도 14에 관한 설명을 생성하는 경우, 예를 들어 '2018년도에 홈쇼핑과 온라인을 합친 비중은 31%지만, 2021년도 홈쇼핑과 온라인을 합친 비중은 67%이다'와 같이 설명이 생성될 수 있다.

변형예로서, 비교형 스타일에 Control Code(예, 'Why' 타입의 Control Code)를 부여하는 경우, '2018년도에는 온라인의 비중이 가장 작았지만, 코로나의 영향으로(Why) 2021년도에는 온라인의 비중이 가장 커졌다'와 같이 설명이 생성될 수 있다.

상기와 같이 설명 스타일에 기초하여 설명을 생성하는 방식은 다음과 같은 장점이 있다.

사용자가 선택하는 기준(Control Code)에 따라 설명 내용의 흐름을 다양하게 변화를 줄 수 있다. 또한 상기와 같이 생성된 설명 패턴들을 복합적으로 선택할 수도 있고, 각 기준에 따라 생성 결과가 달라지는 만큼 다양한 설명을 생성할 수도 있다.

또한, 가공 전의 이미지 설명을 고려하여 설명의 정확도를 보완할 수 있으며, 빠진 구성요소 부분이 있어도 S&L(Search & Learning) 과정을 통해 누락된 데이터를 넣을 수 있다. 획득한 이미지와 설명으로 새로운 정책문서를 작성할 때, 자료를 구하고 그에 대한 설명을 작성하는 것에 있어 편리하며 시간 단축이 가능하다.

특히, 이미지 및 설명을 생성하는 과정에서 사용자 측에서 직접 설정할 수 있으므로, 사용자 개개인의 문서에 맞는 형태로 결과를 낼 수 있다. 또한 가공된 이미지 및 설명은 추후 텍스트 생성 모듈의 학습에 재사용할 수도 있다.

본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램과 이를 기록한 컴퓨터 판독 가능 기록 매체를 포함한다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD, USB 드라이브와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

1000: 정보 관리 시스템
2000: 문서정보 웹 서버
3000: 사용자 클라이언트
4000: 관리자 클라이언트

Claims (14)

1. 정보 관리 시스템이 이미지 파일을 검색하고 가공하여 가공 이미지를 생성하는 방법으로서,
   1) 사용자 클라이언트로부터 입력된 키워드에 기초하여 이미지 메타정보 DB에 검색 질의를 하여 도표 이미지를 검색하는 단계- 상기 이미지 메타정보 DB는 문서 파일로부터 추출한 도표 이미지 및 이미지 관련 설명을 저장한 DB임-;
   2) 하나 이상의 검색된 도표 이미지를 사용자 클라이언트로 제공하고, 상기 제공한 도표 이미지에 기초하여 가공 이미지 생성에 이용할 하나 이상의 도표 이미지를 선택 입력받는 단계;
   3) 선택 입력된 하나 이상의 도표 이미지를 분석하여 이미지 가공을 위한 분석 데이터를 추출하는 단계;
   4) 사용자 클라이언트로부터 입력된 이미지 가공 명령에 따라 상기 분석 데이터를 이용하여 가공 이미지를 생성하는 단계; 및
   5) 상기 이미지 메타정보 DB에 저장된 이미지 관련 설명을 이용하여 가공 이미지에 관한 설명을 생성하는 단계;를 포함하며,
   상기 2)단계에서, 가공 이미지 생성에 이용할 2 이상의 도표 이미지를 함께 선택 입력받으며,
   상기 3)단계에서, 선택 입력된 2 이상의 도표 이미지를 분석하여 각각의 도표 이미지로부터 이미지 가공을 위한 분석 데이터를 각각 추출하며,
   상기 4)단계에서, 각각의 도표 이미지로부터 추출한 각각의 분석 데이터를 함께 이용하여 하나의 가공 이미지를 생성하는 것을 특징으로 하는 이미지 검색 기반의 가공 이미지 및 설명 생성 방법.
   
2. 제1항에 있어서,
   상기 이미지 메타정보 DB의 구성은,
   11) 수집된 문서 파일을 대상으로 문서 레이아웃을 탐지하는 단계;
   12) 문서 레이아웃을 구성하는 도표 이미지를 추출하는 단계;
   13) 추출된 도표 이미지에 대한 이미지 관련 설명을 추출하는 단계; 및
   14) 추출된 도표 이미지의 메타정보, 이미지 관련 설명을 이미지 메타정보 DB에 저장하고, 추출된 도표 이미지는 이미지 저장소에 저장하는 단계;를 포함하여 구성된 것을 특징으로 하는 이미지 검색 기반의 가공 이미지 및 설명 생성 방법.
   
3. 제2항에 있어서,
   상기 13)단계에서 상기 이미지 관련 설명을 추출하는 것은,
   상기 12)단계에서 추출한 도표 이미지의 영역과 가장 인접한 텍스트 영역을 해당 도표 이미지의 캡션(Caption) 영역으로 지정하여 해당 도표 이미지에 대한 이미지 관련 설명으로서 추출하는 것을 특징으로 하는 이미지 검색 기반의 가공 이미지 및 설명 생성 방법.
   
4. 제2항 또는 제3항에 있어서,
   상기 13)단계에서 상기 이미지 관련 설명을 추출하는 것은,
   상기 12)단계에서 도표 이미지를 추출한 문서 페이지의 텍스트 영역 중 해당 도표 이미지의 도표 식별 번호와 동일한 텍스트를 포함하는 텍스트 영역을 해당 도표 이미지에 대한 이미지 관련 설명으로서 추출하는 것을 특징으로 하는 이미지 검색 기반의 가공 이미지 및 설명 생성 방법.
   
5. 삭제
6. 제1항에 있어서,
   상기 3)단계에서 도표 이미지를 분석하여 분석 데이터를 추출하는 것은,
   31) 도표 이미지의 유형을 분석하는 단계;
   32) 도표 이미지에 포함된 도표의 좌표축을 감지하는 단계:
   33) 도표의 축 제목, 데이터 레이블, 데이터 값, 범례에 관한 정보를 분석 데이터로서 추출하는 단계: 및
   34) 추출된 분석 데이터를 포함하는 데이터 테이블을 생성하는 단계;를 포함하여 구성된 것을 특징으로 하는 이미지 검색 기반의 가공 이미지 및 설명 생성 방법.
   
7. 제1항에 있어서,
   상기 분석 데이터는 데이터 테이블 형태로 구성되며,
   상기 4)단계에서 상기 가공 이미지를 생성하는 것은,
   분석 데이터가 포함된 데이터 테이블의 테이블 구조가 변경된 가공 데이터 테이블을 생성하고,
   상기 가공 데이터 테이블에 기초하여 가공 이미지를 생성하는 것을 특징으로 하는 이미지 검색 기반의 가공 이미지 및 설명 생성 방법.
   
8. 제1항에 있어서,
   상기 분석 데이터는 데이터 테이블 형태로 구성되며,
   상기 4)단계에서 상기 가공 이미지를 생성하는 것은,
   분석 데이터가 포함된 2 이상의 데이터 테이블을 이용하여 하나의 가공 데이터 테이블을 생성하고,
   상기 가공 데이터 테이블에 기초하여 가공 이미지를 생성하는 것을 특징으로 하는 이미지 검색 기반의 가공 이미지 및 설명 생성 방법.
   
9. 제1항에 있어서,
   상기 분석 데이터는 데이터 테이블 형태로 구성되며,
   상기 4)단계에서 상기 가공 이미지를 생성하는 것은,
   분석 데이터가 포함된 데이터 테이블의 데이터를 가공하여 가공 데이터를 생성하고,
   상기 가공 데이터가 포함된 가공 데이터 테이블을 생성하고,
   상기 가공 데이터 테이블에 기초하여 가공 이미지를 생성하는 것을 특징으로 하는 이미지 검색 기반의 가공 이미지 및 설명 생성 방법.
   
10. 제1항에 있어서,
    상기 5)단계에서, 가공 이미지에 관한 설명을 생성하는 것은,
    가공 이미지 생성에 이용할 2 이상의 도표 이미지에 각각 기초하여 추출되어 이미지 메타정보 DB에 저장된 각각의 이미지 관련 설명을 요약문 생성기를 이용하여 결합하여 가공 이미지에 관한 설명을 생성하는 것을 특징으로 하는 이미지 검색 기반의 가공 이미지 및 설명 생성 방법.
    
11. 제1항에 있어서,
    상기 분석 데이터는 데이터 테이블 형태로 구성되며,
    상기 가공 이미지는 상기 데이터 테이블에 기초하여 생성된 도표 이미지이며,
    상기 5)단계에서, 가공 이미지에 관한 설명을 생성하는 것은,
    사용자 클라이언트로부터 선택 입력된 설명 스타일에 기초하여 상기 데이터 테이블에 포함된 분석 데이터에 관한 설명을 생성하는 것을 특징으로 하는 이미지 검색 기반의 가공 이미지 및 설명 생성 방법.
    
12. 제11항에 있어서,
    상기 데이터 테이블은 수치 데이터에 관한 데이터 테이블이며,
    상기 선택 입력된 설명 스타일은,
    상기 데이터 테이블에 포함된 하나의 수치 데이터를 설명하는 단일형 스타일,
    상기 데이터 테이블에 포함된 2 이상의 수치 데이터를 나열하여 설명하는 나열형 스타일,
    상기 데이터 테이블에 포함된 2 이상의 수치 데이터 중 가장 큰 수치 데이터와 가장 작은 수치 데이터를 설명하는 최대/최소형 스타일,
    사용자 입력된 기준 및 비교 대상에 기초하여 상기 데이터 테이블에 포함된 2 이상의 수치 데이터를 비교 설명하는 비교형 스타일,
    사용자 입력된 계산 규칙에 기초하여 상기 데이터 테이블에 포함된 2 이상의 수치 데이터를 계산하여 계산 결과값을 설명하는 계산형 스타일 중의 어느 하나인 것을 특징으로 하는 이미지 검색 기반의 가공 이미지 및 설명 생성 방법.
    
13. 하나 이상의 명령을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서를 포함하고,
    상기 프로세서는,
    사용자 클라이언트로부터 입력된 키워드에 기초하여 이미지 메타정보 DB에 검색 질의를 하여 도표 이미지를 검색하고- 상기 이미지 메타정보 DB는 문서 파일로부터 추출한 도표 이미지 및 이미지 관련 설명을 저장한 DB임-;
    하나 이상의 검색된 도표 이미지를 사용자 클라이언트로 제공하고, 상기 제공한 도표 이미지에 기초하여 가공 이미지 생성에 이용할 하나 이상의 도표 이미지를 선택 입력받으며;
    선택 입력된 하나 이상의 도표 이미지를 분석하여 이미지 가공을 위한 분석 데이터를 추출하고;
    사용자 클라이언트로부터 입력된 이미지 가공 명령에 따라 상기 분석 데이터를 이용하여 가공 이미지를 생성하며;
    상기 이미지 메타정보 DB에 저장된 이미지 관련 설명을 이용하여 가공 이미지에 관한 설명을 생성하는 것;을 특징으로 하며,
    상기 도표 이미지를 선택 입력받는 과정에서, 가공 이미지 생성에 이용할 2 이상의 도표 이미지를 함께 선택 입력받으며,
    상기 분석 데이터를 추출하는 과정에서, 선택 입력된 2 이상의 도표 이미지를 분석하여 각각의 도표 이미지로부터 이미지 가공을 위한 분석 데이터를 각각 추출하며,
    상기 가공 이미지를 생성하는 과정에서, 각각의 도표 이미지로부터 추출한 각각의 분석 데이터를 함께 이용하여 하나의 가공 이미지를 생성하는 것을 특징으로 하는 정보 관리 시스템.
    
14. 하나 이상의 명령을 저장하는 메모리와 상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서를 포함하는 하드웨어와 결합되어 이미지 검색 기반의 가공 이미지 및 설명 생성 방법을 실행하도록 매체에 저장된 컴퓨터 프로그램으로서,
    상기 이미지 검색 기반의 가공 이미지 및 설명 생성 방법은,
    1) 사용자 클라이언트로부터 입력된 키워드에 기초하여 이미지 메타정보 DB에 검색 질의를 하여 도표 이미지를 검색하는 단계- 상기 이미지 메타정보 DB는 문서 파일로부터 추출한 도표 이미지 및 이미지 관련 설명을 저장한 DB임-;
    2) 하나 이상의 검색된 도표 이미지를 사용자 클라이언트로 제공하고, 상기 제공한 도표 이미지에 기초하여 가공 이미지 생성에 이용할 하나 이상의 도표 이미지를 선택 입력받는 단계;
    3) 선택 입력된 하나 이상의 도표 이미지를 분석하여 이미지 가공을 위한 분석 데이터를 추출하는 단계;
    4) 사용자 클라이언트로부터 입력된 이미지 가공 명령에 따라 상기 분석 데이터를 이용하여 가공 이미지를 생성하는 단계; 및
    5) 상기 이미지 메타정보 DB에 저장된 이미지 관련 설명을 이용하여 가공 이미지에 관한 설명을 생성하는 단계;를 포함하며,
    상기 2)단계에서, 가공 이미지 생성에 이용할 2 이상의 도표 이미지를 함께 선택 입력받으며,
    상기 3)단계에서, 선택 입력된 2 이상의 도표 이미지를 분석하여 각각의 도표 이미지로부터 이미지 가공을 위한 분석 데이터를 각각 추출하며,
    상기 4)단계에서, 각각의 도표 이미지로부터 추출한 각각의 분석 데이터를 함께 이용하여 하나의 가공 이미지를 생성하는 것을 특징으로 하는 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램.
    

Images